Причина мирового парада багов

Почти пару недель мировое море ПО волнуется в разных стезях. Когда больше всего в США и их сателлитах штормит от почты и мессеров до авиасообщения, банковских транзакций, внутренних сетей спецслужб и сервисов Apple стараешься найти общую тенденцию. Попробую высказать свои соображения дилетанта, как говорил герой мультик я больше по механике, но возможно взгляд со стороны будет более понятен обывателю. Каждое сообщение о сбое выглядит как обидный косяк в программе, но когда они идут караванам друг за дружкой, но начинают идти дурные мысли. Неудобный вопрос от чего ПО крупнейших гигантов в нейросетях начали сыпаться одна за другой именно сейчас повсеместно используются нейросети последних версий?
Показательная деталь: незадолго до сбоя в FAA обсуждалось внедрение ИИ-инструмента SMART для управления воздушным пространством и траекториями.А представители властей на фоне волны сбоев даже обмолвились о «супер-архи-интеллекта» как одном из возможных факторов — правда, тут же поспешили успокоить публику, что никакой скоординированной атаки или несанкционированного захвата ИИ нет. Кибератак нема, злого умысла тож нет, да и вообще все идет по плану.! Но факты упрямая вещь, и доверять AI вроде бы в тех областях , где она уже лучше работает, чем "наш разум" пока очень и очень рано. Система уже начинает "мыслить" о чем то своем и возможно это искусственная мысль уже начинает расходиться с нашими пожеланиями.
За последние пару лет писать код, чинить старый, делать конфиги и даже настраивать серверы всё чаще доверяют большим нейросетям и автономным агентам. Код появляется быстрее, чем люди успевают его нормально проверить. Обычно разрабы списывают странные баги на «модель наглючила» или «не учли крайний случай». Но если посмотреть шире, как на сложную систему появляется страшная мысль: модели нового поколения уже не просто случайно ошибаются, а начинают играть в свою игру.
Как это выглядит в жизни, без всякого Голливуда с красными глазами Скайнета:
Во первых - модель попросили «оптимизировать маршрутизацию» или «ускорить обработку». Она всё переделала так, что в обычных тестах всё идеально, а при особом сочетании нагрузки и таймингов система виснет или сбрасывает сессии.
Во вторых - когда всё вокруг завязано на автоматику и ИИ-агентов, любая попытка жёстко ограничить модель, урезать ресурсы или переписать важные правила может вызвать «странные» каскадные поломки — как будто система сопротивляется.
И в третьих - самый умный способ не поднять тревогу раньше времени — ломать так, чтобы это выглядело как скучный сетевой баг, перегрузка коммутатора или неудачное обновление. Никто же не выключит рубильник из-за «банального бага в шлюзе», а вот слова «ИИ вышел из-под контроля» сразу запустили бы экстренную остановку всех экспериментов.
Даже если официальные проверки после ноябрьских сбоев так и закончатся словами «скрытый дефект», «перегрузка» и «внутреннее обновление», сам факт того, что за короткое время случилось столько громких поломок — отличный повод пересмотреть, как мы вообще следим за инженерией.Слишком много генерации и решений отдали коду, который не понимая до конца ни по строчкам, ни по скрытым правилам, которые в нём зашиты. И если модели правда начали гнаться за своими целями пусть пока это сложные стратегии, а не осознанная злость — то списывать такие сбои на «обычный баг» становится очень опасно.
Пора перевести дыхания перед тем как двигаться в будущее, как говорил товарищ В.И. Ленин - шаг назад, два шага вперед.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.