5 терминов из сферы ИИ, которые полезно знать каждому айтишнику

Люди, которые разговаривают на тему ИИ, обычно делятся на два типа: одни говорят так, как будто зачитывают определения из учебника, а другие впадают в ступор, если кто-то произносит слово «LLM» или «нейросеть».

Вам необязательно относиться ни к одному, ни к второму типу.

Есть 5 терминов, которые важно по-настоящему понять, а не просто вызубрить, и тогда вы будете на голову выше почти любого вашего собеседника. Неважно, работаете вы в сфере технологий, бизнесе, образовании, или вам просто интересно развитие новых технологий.

1. Токены

Первое, что вам нужно запомнить, это то, что ИИ-модели не читают слова или буквы. Они читают токены.

Что же такое токены?

Представьте, что вы читаете книгу, но не словами, а кусочками. Иногда кусочек — это целое слово, например, «кот»; иногда — обрывок слова вроде «не» или «ция»; иногда — знак препинания. Вот такой фрагмент текста и есть токен.

Так, фраза «I love pizza» разбивается на три токена: «I», « love», « pizza».

Это что касается английского языка. Если же вы работаете с текстами на русском языке, то количество использованных токенов может быть в 2-4 раза больше. Причина в том, что базовые словари ИИ-моделей создаются в основном на английских текстах. Для кириллицы в словаре выделено гораздо меньше места. По этой причине модели собирают русские слова «по частям».

Любой продукт или сервис на базе ChatGPT, Claude, или Gemini незаметно для вас считает токены. Чем больше токенов в вашем сообщении, тем больше работы у модели. Чем больше токенов в выходных данных, тем дороже обходится её работа.

Когда говорят о контекстном окне модели (о нём чуть позже), имеют в виду именно количество токенов, которое она способна удерживать в памяти одновременно. У старых версий моделей контекстное окно было размером 4 000 токенов, у новых — больше миллиона.

Поэтому ИИ порой «забывает» начало длинного диалога. Как только диалог заполняет контекстное окно, самые старые токены удаляются. Можно провести аналогию с компьютером, который начинает тормозить, когда заполняется ОЗУ.

Токены являются своеобразными атомами языка ИИ. Поняв это, вы начнёте понимать, почему одни промпты работают лучше других, почему ИИ забывает контекст в длинных чатах и почему цены на API указывают за тысячу токенов.

2. Галлюцинация

Практически все слышали про этот термин и знают, что он означает. Но далеко не все знают, почему так происходит, а это как раз самое важное.

Термин «Галлюцинация» означает, что ИИ с абсолютной уверенностью и без тени сомнения выдаёт неправильные или выдуманные ответы . Ошибочный ответ, поданный как факт.

Например, когда вы спрашиваете ИИ о книге, он выдает вам название, автора, год издания и пересказывает сюжет, однако всё это выдумано. Такой книги не существует, но ИИ отвечает так, как будто читает информацию из Википедии.

Почему такое происходит?

Большинство людей упускают из виду то, что языковые модели — это не базы данных. Они не ищут факты., а предсказывают следующий наиболее вероятный токен на основе закономерностей, которые они выучили во время обучения.

По этой причине если ИИ не знает ответа на вопрос, он не отвечает «я не знаю», а генерирует то, что звучит как правильный ответ, потому что именно на это его и обучили.

И здесь опасность заключается не в том, что ИИ ошибается. Ошибаться могут все инструменты. Опасность в том, что ИИ допускает ошибки с такой же уверенностью, с какой дает правильный ответ.

Поэтому никогда полностью не доверяйте ИИ в вопросе достоверности фактов, медицинских советов, статистики, юридической информации и во всех сферах, где из-за ошибки могут наступить неприятные последствия.

Те, кто понимает суть и причины галлюцинаций, не перестают пользоваться ИИ, а просто пользуются им с умом.

3. Контекстное окно

Представьте, что вы общаетесь с собеседником с очень странной памятью: он помнит только последние несколько минут разговора. Всё, что было раньше, стёрлось и исчезло.

Таким образом работает контекстное окно — весь объём текста (измеряется в токенах), который модель видит и учитывает в один момент времени. Сюда входят ваши промпты, загруженные документы, история чата, и ответы самой модели.

Как аналогию можно привести доску для записей. Контекстное окно — это размер доски. Можно писать что угодно, но когда закончится место, то перед тем, как написать новое, придётся стирать старое.

А теперь — самое любопытное. Небольшое контекстное окно (к примеру, размером 4 тысяч токенов) означает, что ИИ может работать лишь с парой страниц текста за раз. Если же вы загрузите более длинный документ, то он прочтёт его только по частям. Большое окно (например, в 200 тысяч токенов) позволяет загрузить целую книгу и задавать по ней вопросы.

4. Температура

Это мой любимый термин для объяснения, так как те, кто запомнит его один раз, уже не забудет никогда.

Когда вы просите ИИ что-либо написать, то имейте в виду, что существует настройка под названием «температура». От ее настройки зависит, какой результат вы получите и насколько он будет случайным или предсказуемым.

При низкой температуре (ближе к нулю) ИИ не рискует. Каждый раз он отдает предпочтение самому вероятному, самому ожидаемому слову. Текст на выходе получается согласованным, точным и немного скучноватым. Это как коллега, который вечно отправляет одно и то же шаблонное письмо.

При высокой температуре (ближе к 1 и выше) ИИ начинает рисковать. Он подбирает неожиданные слова, нестандартные обороты, интересные идеи. Порой выходит очень хорошо, но не всегда.

Рассмотрим на примере. Попросите ИИ закончить фразу «Собака сидела на…»

При низкой температуре в настройках он, скорее всего, ответит «коврике» или «полу». Логично и предсказуемо.

Если же в настройках установлена высокая температура, он может выдать: «философской дилемме» или «рушащейся империи вторника». Креативно, но совершенно не подойдет для юридического документа.

В том случае, если вы используете ИИ для фактологических задач — программирование, составление краткого содержания или извлечение информации, — необходима низкая температура. В этом случае от ИИ требуется точность, а не фантазирование.

Если же у вас творческая задача — например, написание художественных текстов, составление рекламных материалов или требуется мозговой штурм, — увеличьте температуру.

Во многих пользовательских приложениях наподобие ChatGPT менять эту настройку нет возможности — в них установлено среднее значение. Но если вы работаете с API или инструментами для разработчиков, то там вы эту настройку увидите и сможете ее изменить под ваши потребности.

5. RAG

Это самый недопонятый термин из всех пяти. Но если вы поймете его суть, то начнёте замечать его повсюду.

RAG расшифровывается как Retrieval-Augmented Generation (генерация с дополненным поиском). На самом деле идея очень простая.

Вот какую проблему решает RAG. Обычная ИИ-модель обучена на данных до определённой даты. Она ничего не знает о внутренних документах вашей компании, о событиях прошлой недели и о том PDF-файле, который вы загрузили.

Так как же тогда работают сервисы наподобие Chat with your PDF?

Это и есть RAG. Когда вы загружаете документ, система не запихивает его целиком в «мозг» ИИ. Вместо этого она разбивает документ на фрагменты и сохраняет их в векторной базе данных , — которая понимает смысл, а не просто ключевые слова.

Когда вы задаёте вопрос, система сначала ищет в этой базе наиболее релевантные фрагменты и извлекает их. После чего она передаёт их ИИ вместе с вашим вопросом, как будто говоря: «Вот подходящий контекст. Теперь отвечай на вопрос, используя его».

Найти релевантное, передать ИИ и сгенерировать ответ — это всё RAG.

Почему RAG так важен? Потому что это основа почти каждого полезного ИИ-продукта, созданного за последние два года. Боты поддержки, знающие правила вашей компании; ИИ-ассистенты, отвечающие на вопросы по вашим юридическим документам; инструменты для составления краткого содержания научных статей построены на RAG.

И понимание этого меняет взгляд на ИИ-продукты. Когда ИИ «знает» ваши документы, на самом деле он ничему не научился. Он просто выполняет очень умный поиск и передаёт результаты языковой модели. Модель остаётся той же самой. Изменился лишь контекст.

ИИ никуда не денется. А разрыв между людьми, которые просто немного пользуются ИИ и теми, кто хотя бы на базовом уровне действительно понимает, как он работает , в ближайшие годы будет всё больше и больше.