Откуда взялся ИИ и причем тут слово перцептрон

Путь от первой попытки смоделировать нейрон до систем, которые сегодня пишут код и ведут диалог, занял меньше 70 лет — и почти обвалился на середине. Разбираемся, как перцептрон Розенблатта чуть не похоронил идею нейросетей, что вернуло ее к жизни, и почему трансформеры изменили все.

Возникновение понятия нейронная сеть. Перцептрон

Одной из первых моделей искусственной нейронной сети стал перцептрон, который в 1958 году предложил ученый Фрэнк Розенблатт. Его разработка представляла собой новую математическую, или компьютерную, модель, которая могла имитировать процесс восприятия информации мозгом.

Перцептрон состоял из входного слоя, весов и выходного нейрона. Каждый входной сигнал умножался на свой вес, после чего модель суммировала значения и сравнивала результат с порогом. Если порог был превышен, модель выдавала один класс, если нет — другой.

В упрощенном виде модель вычисляет:

Здесь xi — входные признаки, wi — обучаемые веса, а b — смещение.

Розенблатт не просто описал формулу, а построил аппаратную систему Mark I Perceptron. Она использовала массив фотодатчиков и могла обучаться распознавать простые визуальные паттерны. Для своего времени это был важный шаг: машина впервые могла корректировать параметры на основе ошибок, а не работать исключительно по заранее заданным правилам.

Какие проблемы имел перцептрон

Как и у любой ранней вычислительной модели, у перцептрона были серьезные ограничения.

Трудности обобщения и решения задач. Если нейросеть обучали на задачах с яблоками, то она плохо решала задачи с новыми объектами, например апельсинами. Перцептрон имел всего один слой нейронов. Поэтому, однослойный перцептрон умеет разделять только линейно разделимые классы: в двумерном пространстве — классы, между которыми можно провести прямую. Если для решения задачи требуется нелинейная граница, модель не справится независимо от числа итераций обучения. 

Очень узкий круг возможностей. Из-за отсутствия большого количества ресурсов нейросеть не всегда могла справляться даже с простыми задачами, которые легко решал человек. Ограниченные возможности модели были связаны с небольшим объемом данных для обучения.

Долгое обучение, которое не всегда давало плоды. Любой нейросети необходимо обучение, в том числе и перцептрону. Но обучение не всегда позволяло ему достигать приемлемой точности.

ИИ‑роутер — доступ к 300+ моделям из одной панели

Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.

Запустить ИИ‑роутер →

Зима искусственного интеллекта

Переломным моментом в развитии нейросетей стала книга Марвина Минского и Сеймура Пейперта «Perceptrons» (1969) — они математически доказали, что однослойный перцептрон принципиально не способен решить задачу XOR (исключающее ИЛИ), одну из базовых нелинейных операций. Строго говоря, это ограничение только однослойных сетей: многослойная архитектура решает XOR без проблем, но тогда еще не существовало эффективного алгоритма ее обучения. 

Книга усилила скепсис к перцептронам и стала одним из символов первой волны разочарования в нейросетях. Вместе с завышенными ожиданиями, слабой вычислительной базой и отсутствием практических результатов это способствовало сокращению интереса и финансирования в 1970-х.

Все внимание перетянули на себя другие направления искусственного интеллекта, в том числе символьный ИИ. Позднее, интерес к нейросетям постепенно вернулся благодаря многослойным сетям, backpropagation, росту вычислительных мощностей и накоплению цифровых данных

Начало рассвета нейросетей — революция интеллекта

Первые нейронные сети были разработаны еще в 20 веке, а 2010-е годы стали периодом их стремительного развития. Вычислительная техника совершенствовалась, данных в открытых источниках становилось все больше, а разработка новых алгоритмов машинного обучения позволила значительно расширить возможности искусственного интеллекта. В период становления и развития были созданы модели, оказавшие существенное влияние на дальнейшую динамику отрасли.

Наиболее значимой разработкой в области ИИ того периода стала AlexNet. Эта глубокая сверточная нейросеть первой показала высокую точность в задачах классификации изображений. Она успешно классифицировала фото по 1 000 разных категорий, архитектура состояла из восьми слоев и была прорывной. Успех AlexNet дал другим компаниям импульс к развитию подобных моделей.

Архитектура CNN (Convolutional Neural Networks) — сверточная сеть, является основой для многих современных систем компьютерного зрения. Эта сеть хорошо работает с изображениями за счет анализа небольших участков изображений и нахождения в них различных признаков. Архитектура применяется для распознавания и классификации объектов и изображений. 

Архитектура RNN (Recurrent Neural Networks) — рекуррентная сеть, специализируется на работе с последовательностями данных. Сеть учитывает порядок элементов и использует информацию о предыдущих шагах при обработке новых. Использовали ее для работы с текстом и анализа последовательных данных. Эта сеть имеет проблему с анализом длинных последовательностей — информация о ранних текстах постепенно «забывалась». 

Достижением стало появление GAN (Generative Adversarial Networks) — генеративно-состязательных сетей. Одна модель создает контент, а вторая определяет, является ли он настоящим или искусственно сгенерированным. В процессе обучения сеть-генератор постепенно учится создавать более реалистичные результаты.

Ограничения искусственного интеллекта

Несмотря на заметный прогресс, нейросети все еще имели ряд серьезных ограничений. Чтобы понять масштаб проблема, можно рассмотреть две ключевые архитектуры того времени.

AlexNet снизила ошибку классификации с 26,2% до 15,3% благодаря обучению на 1,2 млн изображений в течении около шести дней, используя две GTX 580 с 3 ГБ VRAM каждая. Сеть была разделена между двумя GPU, поскольку целиком не помещалась в память одной карты. Их 6 ГБ видеопамяти сейчас хватит для запуска небольшой модели, примерно до 3 млрд параметров с квантованием. Длинный контекст при этом может занять всю память.

Важно не путать обучение и инференс. Шесть дней — это время обучения AlexNet с многократными проходами по датасету и обратным распространением ошибки. Приведенный ниже бенчмарк измеряет скорость инференса: как быстро уже обученная модель классифицирует готовые изображения.

По данным бенчмарков за 2017 год, обработка 1 млн изображений на восьми GTX 1080 занимало уже 1 минуту 46 секунд при стоимости 0,19 €.

VGGNet стала следующей моделью с крупной архитектурой. Исследователи решили улучшить точность путем увеличения глубины сети — от 16 до 19 слоев и имели 138 и 144 млн параметров. Данные показатели более чем вдвое превосходили показатели AlexNet. Результат точности вырос — ошибка снизилась с 15,3% до 7,3%. 

Но цена за такую точность стала непропорционально высокой. По данным бенчмарков, обработка миллиона изображений на VGG16 занимала 38 минут 53 секунды на восьми GTX 1080 — в 22 раза медленнее, чем AlexNet. Простое масштабирование архитектуры оказалось неэффективным — неплохой прирост точности обернулся кратным ростом времени вычислений.

Большинство моделей требовала значительных вычислительных ресурсов, а обучение крупной сети могло занимать недели. Карты уровня GTX 580 или GTX 1080, на которых велась работа и которые считались флагманскими, в данный момент серьезно устарели.

Качество и количество обучающих данных на тот момент были неудовлетворительными. Хотя объем информации постепенно увеличивался, их все равно было недостаточно для обучения универсальных моделей. Данные, содержащие ошибки, напрямую влияли на точность работы искусственного интеллекта. В результате модели могли неправильно распознавать объекты, делать ошибочные заключения и выдавать недостоверную информацию.

Языковые модели того времени были способны поддерживать короткие диалоги. По мере увеличения его длины они начинали терять часть предыдущего контекста, из-за чего ответы становились менее связными. Иногда модель могла противоречить собственным утверждениям или повторять уже сказанную информацию.

Многие системы были ориентированы только на выполнение задач в одной сфере. Живой пример тому — рассмотренные ранее AlexNet и VGGNet, которые могли только классифицировать изображения. Если модель обучалась распознавать картинки, она уже не могла работать с текстом или звуком без отдельного обучения и изменения архитектуры. Универсальных моделей, способных одинаково хорошо выполнять разные типы задач, в тот период практически не существовало.

По сравнению с современными нейросетями возможности искусственного интеллекта в 2010-х годах выглядели значительно скромнее. Однако именно в этот период были разработаны технологии, которые стали основой дальнейшего развития отрасли.

Появление архитектуры Transformer

Следующим этапом развития искусственного интеллекта стало появление архитектуры Transformer, которую в 2017 году представили исследователи компании Google. Это событие стало ключевым для машинного обучения, потому что именно эта архитектура легла в основу большинства современных языковых моделей.

Ранее для обработки текста в основном использовались рекуррентные нейронные сети, которые последовательно анализировали слова. Такой подход эффективно работал с короткими предложениями, но при увеличении количества текста эффективность сильно снижалась. Модели хуже учитывали взаимосвязи между словами, расположенными далеко друг от друга, а обучение требовало времени.

Архитектура Transformer показала другой способ обработки информации. Последовательный анализ заменялся на возможность работать со всем текстом одновременно и выделять ключевые слова за счет вычисления весов внимания между токенами. Этот способ повысил точность обработки естественного языка, и само обучение стало значительно быстрее.

Механизм self-Attention

Особенностью архитектуры Transformer является механизм self-attention. Его задача заключается в том, чтобы выявить ключевые части текста.

Механизм работает аналогично человеческому восприятию информации — при чтении длинного предложения людям не приходится запоминать каждое слово отдельно — смысл формируется за счет понимания связей между словами. 

Во время обработки текста модель оценивает взаимосвязь между словами и определяет, какая информация действительно необходима для формирования ответа.

Самовнимание модели позволило работать с более длинными текстами и держать более длительный диалог за счет учитывания широкого контекста. Качество обучения моделей также возросло. За счет изменения порядка обработки данных, которая перестала быть строго последовательной, возросли и вычислительные мощности.

Недостатки у подхода тоже были. Затраты вычислительных ресурсов и памяти увеличивались с объемом входного текста, поэтому для работы современных LLM компании стали закупать значительно больше вычислительных мощностей. Это не единственная причина взрывного роста спроса на GPU — тут накладываются и рост размеров самих моделей, и объемы обучающих данных, — но именно квадратичная зависимость self-attention от длины контекста стала одним из факторов, подстегнувших спрос на дорогое железо. 

Появление GPT и развитие больших языковых моделей

Архитектура Transformer дала мощный импульс для развития искусственного интеллекта. Самым популярным семейством моделей, основывающихся на Трансформере, стал GPT (Generative Pre-trained Transformer), разработанный компанией OpenAI.

Первые версии использовались для генерации текста и несложных задач. Истинная популярность технологии появилась после выхода GPT-3 и GPT-3.5, когда интерес к большим языковым моделям сильно вырос. 

Но главной проблемой моделей оставалась достоверность ответов. ИИ мог со стопроцентной уверенностью выдумывать факты, допускать логические ошибки или писать код, который содержал в себе ошибки и уязвимости. Эти ошибки были связаны с ограничениями данных, используемых для обучения, а также со спецификой работы языковых моделей, которые формируют наиболее вероятный вариант ответа, а не наиболее правдивый.

Современные области применения искусственного интеллекта

Сегодня искусственный интеллект используется практически во всех сферах деятельности человека. Если раньше нейронные сети ассоциировались с генерацией текста или изображений, то теперь они стали частью повседневной жизни современного человека.

Одной из наиболее известных областей применения является транспорт. Автомобили оснащаются системами помощи водителю с ИИ, которые способны распознавать объекты, людей, дорожную разметку и знаки. Полностью автономное управление пока остается сложной задачей, требующей анализа и прогнозирования поведения других участников дорожного движения.

Искусственный интеллект активно применяется и в робототехнике. В некоторых городах можно встретить автономных роботов-курьеров, которые самостоятельно доставляют заказы. Они строят маршрут с помощью камер и лидаров, распознают препятствия и могут самостоятельно передвигаться по городу без участия человека. 

Еще одним примером являются устройства дополненной реальности. Современные гарнитуры используют нейросети для анализа окружающего пространства. Они способны распознавать предметы, людей, отслеживать движения рук и головы пользователя. Благодаря этому взаимодействие с устройством становится более удобным и необычным. 

Нейронные сети широко используются и в современных смартфонах. Искусственный интеллект помогает улучшать качество фотографий, автоматически выбирать параметры съемки, удалять нежелательные объекты с изображений, переводить текст с фотографий на другие языки. 

Отдельного внимания заслуживает применение ИИ в медицине. Нейронные сети помогают врачам анализировать информацию и ставить более точные диагнозы. Несмотря на то что окончательное решение всегда принимает специалист, подобные технологии становятся важным инструментом в современной диагностике.

ИИ активно используется в образовании, промышленных сферах и многом другом. Некоторые рутинные задачи выполняются моделями значительно быстрее человека, позволяя специалистам сосредоточиться на принятии решений и выполнении более сложной работы.

Конкуренция между современными системами искусственного интеллекта

Стремительное развитие технологий привело к тому, что сегодня искусственный интеллект стал одним из наиболее конкурентных направлений в сфере информационных технологий. Крупнейшие мировые компании инвестируют значительные средства в разработку новых моделей, заключают контракты на поставки комплектующих для дата-центров и нагоняют ажиотаж на каждую новую модель.

Общество стало более активно реагировать на использование нейросетей в интернете, например, при генерации фильмов и рекламы. Развитие ИИ сопровождается не только техническим прогрессом, но и формированием новых правовых и этических норм.

Заключение

История развития нейронных сетей показывает, насколько быстро могут развиваться современные технологии, если их достаточно финансируют и освещают в интернете. За достаточно короткий промежуток времени искусственный интеллект прошел путь от коробки с проводами, способные решать лишь отдельные простые задачи, до сложных интеллектуальных систем, которые применяются в повседневной жизни, в работе и научных исследованиях.

Развитие ИИ в наши дни ощущается как постоянная гонка вооружений, все чаще гремят заголовки о заморозке выхода новой модели, из-за того, что она может нанести вред людям и системам, а локальные модели, без явных ограничений и логирования, уже стали конкурировать с  облачными моделями. Я бы предположил, что нейросети продолжат развиваться и начнут забирать на себя все больше повседневных задач. Но важно оставаться человеком, мыслить, а не деградировать, сохранять критическое мышление и не полагаться на ИИ без проверки полученной информации.