Учёные китайского Университета Цинхуа представили метод, позволяющий различным моделям искусственного интеллекта общаться друг с другом напрямую без генерации текста. Метод получил название Cache-to-Cache (C2C), разработчикам уже доступен исходный код решения.
Источник изображения: Steve A Johnson / unsplash.com
Сейчас при совместной деятельности нескольких языковых моделей в рамках единого конвейера обработки данных взаимодействие между ними осуществляется недостаточно эффективно — одной приходится преобразовывать результаты своих «рассуждений» в текстовые предложения, чтобы вторая могла их прочитать. При генерации текста расходуются вычислительные ресурсы и теряются некоторые мелкие детали. Данные обо всех обработанных ранее сведениях модель ИИ хранит в оперативной памяти (кеше). Технология C2C исключает работу с текстовым языком — одна модель передаёт содержимое своей оперативной памяти в память другой модели.
За процесс передачи отвечает вспомогательная программа Fuser — она преобразует и адаптирует данные таким образом, чтобы вторая могла ими пользоваться. Различные модели ИИ используют совершенно разные внутренние форматы, объёмы и структуры для хранения данных, поэтому простая передача «сырой» информации, вероятно, привела бы к сбоям в работе или потере связности ответов. Чтобы избежать этого, C2C предусматривает интеллектуальный фильтр, определяющий, какие фрагменты поступающих данных следует принять и усвоить немедленно. Одни внутренние слои принимают новую информацию сразу, а другие продолжают выполнять вычисления автономно, без внешнего вмешательства. Этот подход, утверждают исследователи, при выполнении совместных задач позволяет увеличить скорость работы моделей ИИ на 100–150 %. Точность работы по сравнению с обработкой данных в автономном режиме возрастает на 14,2 %; точность прямого обмена информацией по сравнению с текстовым форматом возрастает на величину 3,1–5,4 %.
Пока метод применим только к моделям с открытыми весами, потому что требуется прямой доступ к кешу и структуре слоёв модели. Генерация текста при совместной работе двух моделей всегда замедляла работу машин, указывают исследователи, потому что вынуждала ИИ «мыслить» подобно людям.
Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
