GTA, светофоры и роботы. История появления и обзор симуляторов для автономного движения

О симуляции чаще всего говорят в контексте фантастики или видеоигр, она позволяет синтезировать сценарии, которые невозможны в реальном мире или которые повторяются тысячи раз с минимальными отличиями. И именно поэтому симуляторы, как инструмент, стали неотъемлемой частью обучения человека, а теперь и обучения нейросетей и разработки ПО. Для автономного транспорта это способ накатать миллионы километров, не выезжая из гаража.

Меня зовут Амиран Беркаев, я активно развиваю инфраструктуру тестирования автопилота в ЭвоКарго, и в частности — лидирую направление симулятора. Наша компания разрабатывает электрические беспилотные грузовики максимально высокого на сегодня серийно‑эксплуатируемого уровня автономности, а также сервис автономной логистики на их основе.

В этой статье я расскажу, откуда вообще взялись симуляторы, что именно первым исследователи решили сымитировать, как на развитие этой сферы повлияли компьютерные игры, какими симуляторы вообще бывают, в каких этапах разработки автопилота применяются и как развиваются сейчас — в эпоху ИИ и гонки за автономность.

Для начала хочется подчеркнуть, что разработка автопилота, с одной стороны, отталкивается от записанных данных — они незаменимы, в том числе, для тренировки нейросетей, которые отвечают за восприятие ВАТС (высокоавтоматизированных транспортных средств). С другой стороны, от управления машиной — то есть от задачи с обратной связью, где изменения в поведении автономного ТС влияют на то, как на нее отреагируют другие участники движения. Поэтому, для разработки беспилотной системы целиком обойтись лишь записанными данными не получится — не хватит мощностей, чтобы описать каждый возможный сценарий дорожной ситуации. 

При этом, при движении в любой среде (шоссе, город, промышленная площадка) какие‑то ситуации возникают чаще, какие‑то реже. Поэтому для разных кейсов приходится соблюдать баланс между сложностью, качеством и ценой воспроизведения в симуляции по сравнению с реальностью. Также стоит отметить, что этот баланс не статичен: по мере роста вычислительных мощностей и качества генеративных моделей граница между «дёшево, но грубо» и «дорого, но реалистично» продолжает сдвигаться в пользу симуляции.

Важная оговорка: это работает не для всех задач одинаково. «Набег километров» хорошо закрывается симулятором там, где важны логика и поведение — планирование траектории, реакция на других участников, динамика машины. А вот для нейросетей восприятия синтетический километр пока не равен реальному: именно фотореализм и правдоподобный «шум» сенсоров остаются главным разрывом между симуляцией и реальной дорогой. Поэтому симулятор не столько заменяет реальный пробег, сколько перераспределяет его: рутину и воспроизводимые сценарии забирает на себя, а дорогое полевое тестирование освобождает под то, что пока умеет только реальность.

Первые симуляторы

Симуляция дорожного движения появилась задолго до первых автопилотов и даже задолго до того, как компьютеры научились рисовать что‑то сложнее текстовой таблицы.

Одной из первых моделей принято считать модель Гарри Гуда (Harry H. Goode, Университет Мичигана, 1956 г.) — в ней уже моделировалось прохождение потока через регулируемый перекрёсток. Через 2 года появилась модель Мартина Старка (Национальное бюро стандартов США, 1958 г.) — по сути, ранний симулятор трафика. К началу 60-х направление оформилось: были разработаны проекты макроскопического симулятора городского движения на основе газо‑кинетического уравнения (1962), модель управления светофорами Рассела М. Льюиса (1963), модель транспортных задержек Джеймса Келла и ряд других. Все они решали одну задачу — понять, как ведёт себя поток при разных схемах организации движения, не перекрывая ради этого реальный город. Это первая линия развития симуляций автомобильного движения.

В 1970-х пошла вторая волна: микроскопические модели, где считается каждый автомобиль отдельно, и сетевые модели, охватывающие связанные между собой перекрёстки. Из показательных примеров — японская MISTRAN (1974), моделировавшая взаимодействие автомобилей и пешеходов на перекрёстках. Именно тогда сформировалось базовое разделение на макро‑ и микроуровень, которым отрасль пользуется до сих пор.

К 90-м годам всё этовыросло в коммерческие продукты — PTV Vissim (1992), Paramics (1994) и другие. Самый известный на сегодня наследник этой линии — открытый пакет SUMO. Это микроскопический 2D‑симулятор транспортных потоков для задач городского планирования: оптимизация светофорных циклов, расчет заторов, анализ выбросов. Но для автономного вождения, где важны доли секунды, геометрия сцены и поведение конкретного участника движения, такой подход непригоден: поток здесь состоит из упрощённых поведенческих агентов, а не из физических 3D‑объектов, чью форму, траекторию и сигналы сенсорам беспилотника нужно распознавать в реальном времени.

Параллельно, но независимо, развивалась вторая линия — собственно автономность. В лаборатории робототехники Университета Карнеги-Меллон в США с начала 80-х разрабатывали серию машин NavLab — один из ТС этой линейки прошёл в автономном режиме около 4 тыс. км. На борту работала ALVINN (Autonomous Land Vehicle In a Neural Network) — система управления на основе машинного зрения, где нейросеть по изображению дороги предсказывала угол поворота. Те же наработки использовались и как системы помощи водителю: предупреждение о выезде из полосы, сигнал о повороте и пр.

В 2000-х довольно сильно тему автономности, как и ранее, подтолкнуло ARPA/DARPA (Defense Advanced Research Projects Agency) — Управление перспективных исследовательских проектов Министерства обороны США. Соревнования в пустыне Мохаве среди роботов-автомобилей DARPA Grand Challenge (2004 и 2005 годах) и, особенно, Urban Challenge (2007). Они запустили современную гонку автономных машин и показали, что без массового, дешевого и воспроизводимого тестирования эту задачу не закрыть. 

Ни NavLab, ни участники Grand Challenge симуляторами не были — это технологии движения, но не среды для их проверки. Первыми специализированными симуляторами можно считать, например, SCANeR для тестирования человеческого фактора и систем помощи водителю (разрабатывался в Renault с 1990 года и существует по сей день). Позднее в робототехнике сформировался пласт универсальных симуляторов — Gazebo (развивавшийся с начала 2000-х), Webots и появившийся в 2010-х V‑Rep (ныне CoppeliaSim). С развитием экосистемы ROS эти платформы предоставили сообществу реалистичную физику твёрдых тел, модели сенсоров и возможность тестировать алгоритмы управления роботами. Именно в этих средах отрабатывались подходы к симуляции датчиков и динамики, которые затем легли в основу специализированных симуляторов беспилотного транспорта. 

И была ещё третья линия развития, о которой в академических обзорах обычно не пишут, — игровая индустрия. Городской трафик как систему начали моделировать в играх довольно рано: Turbo Esprit (1986), Test Drive (1987), SimCity (1989). Сначала это была декорация: машины ездили по заданным маршрутам и на игрока никак не реагировали. Настоящий сдвиг случился, когда от агентов появилась обратная связь — Midtown Madness (1999) и следующая номерная часть, где трафик реагировал на действия игрока. А следом GTA: Vice City (2002) и легендарная San Andreas 2004-го года с их плотным городским трафиком, бандами Балласов и полицией. По сути, игры независимо решали ту же задачу, что и транспортные исследователи, только с другим критерием качества: не точность модели потока, а правдоподобие сцены.

А когда игровые движки дозрели до фотореалистичной 3D‑графики, симуляторы автопилота вышли на новый уровень. Ключевая веха здесь — CARLA: открытый симулятор городского вождения, построенный на Unreal Engine 4 и впервые представленный в 2017 году на конференции CoRL совместными усилиями исследователей Intel Labs, Toyota Research Institute и Computer Vision Center в Барселоне. Он создавался с нуля именно для разработки, обучения и валидации систем автономного вождения и сразу отдавал в открытый доступ не только код, но и цифровые ассеты (наборы зданий, текстур, участников дорожного движения/агентов) — карты, здания, модели машин.

Он объединил графику, физику транспортных средств, поддержку лидаров и камер, а также возможность программирования поведения агентов на Python. Затем Microsoft Research представили AirSim на Unreal Engine и Unity, сфокусированный на дронах и автомобилях. NVIDIA создала Isaac Sim на базе Omniverse, обеспечив GPU‑ускоренный фотореализм и тесную интеграцию с RTX.

Таким образом, к началу 2020-х сформировался полноценный стек симуляционных инструментов разных уровней абстракции, и отрасль перешла к активному использованию симуляторов для планирования и предсказания поведения. О том, какие они бывают, расскажу дальше. 

Развитие подходов

Автономность — достаточно широкая отрасль: от роботов‑курьеров до карьерных самосвалов и катеров. Один из лидеров, Waymo, с 2020 по 2025 года проводил открытые соревнования, на которых можно было решить разные подзадачи автопилота на основе открытого датасета Waymo Open Dataset. Интересно проследить за эволюцией этих задач.

Внимание постепенно расширилось от задач восприятия к предсказанию траектории и симуляции поведения. Впрочем, предсказание поведения агентов и симуляция поведения агентов очень похожие задачи. В чем отличие? Основное отличие — в требованиях к ресурсам (облачная симуляция или вычислитель машины): для симуляторов больше ожидается человекоподобие/разнообразие генерируемых траекторий, а для предсказания траекторий — быстрая и надежная работа в условиях ограниченных ресурсов.

Sim‑Sim — откройся!

Вокруг автономного транспорта сложилось несколько классов симуляций. Их удобно различать по трём осям: уровню абстракции дорожной среды, тому, что именно моделируется — трафик, сенсоры или физика автомобиля, — и модулю автопилота, для которого проводится проверка.

> Макроскопические и мезоскопические модели транспортных потоков описывают сеть через агрегированные величины: спрос, интенсивность, среднюю скорость, плотность и заторы. Они полезны для оценки пропускной способности дорог, организации движения, маршрутизации и V2X‑сценариев, но, обычно, не дают достаточной детализации для локального планирования манёвра конкретного автономного ТС.

> Микроскопические симуляторы трафика, такие как SUMO, моделируют по отдельности каждого участника движения и их взаимодействия: следование за лидером, перестроения, проезд перекрёстков и маршруты. Для реалистичного тестирования в замкнутом контуре стэка планирования и управления окружающих участников (автомобили, пешеходы) представляют как интерактивных агентов. Традиционно их поведение описывали аналитическими и rule‑based мат. моделями, такими как IDM (Intelligent Driver Model) для продольного движения и MOBIL для перестроения с учетом выгод. 

Современное направление — data‑driven multi‑agent simulators: трансформерные, autoregressive и diffusion‑модели, например BehaviorGPT и VBD. Они учатся воспроизводить распределение траекторий и взаимодействий по данным реальных поездок, но не полностью вытеснили традиционные модели: последние остаются быстрее, прозрачнее и нередко устойчивее на длинных маршрутах.

> Симуляторы динамики автомобиля — например, CarSim и BeamNG.tech или движок Project Chrono — фокусируются на ego‑vehicle (автономном ТС‑агенте): массе и инерции, подвеске, контакте шины с дорогой, торможении, устойчивости и, в зависимости от движка, деформации. Они нужны прежде всего для проверки нижнего уровня управления: сможет ли контроллер реализовать траекторию при заданных ограничениях, скользком покрытии, экстренном манёвре или предельных ускорениях.

> Интегрированные симуляторы автономного вождения, такие как NVIDIA Alpha Sim и упомянутые уже AirSim от Microsoft и, конечно, CARLA, объединяют несколько слоёв: 3D‑мир и карты, генерацию сенсорных данных, модель движения и физические взаимодействия объектов, а также сценарии и фоновых агентов. Их ключевое преимущество — тестирование полного контура автономного вождения. Однако, точность отдельных слоёв различается, поэтому — нередко они применяются в комбинации с другими симуляторами и движками.

Симулируем?

Раз уж симуляторы применяются, в основном, в области тестирования автопилота, опишем общую картину с тестированием беспилотных машин.

• Тестирование (Чего именно?)

  1. Зрение. Фото‑сенсоро‑реалистичный симулятор. Они моделируют сенсоры, погоду, освещение, отражения — всё, что нужно, чтобы подступиться к задачам восприятия и локализации. На такой симулятор некоторые делали ставку, рассчитывая учить и валидировать нейросети восприятия прямо в синтетике. Но лидеры автономности успели набрать большие объёмы реальных данных быстрее, чем индустрия научилась рисовать достаточно правдоподобную картинку. Главный минус этого класса симуляторов — вычислительная тяжесть и низкая скорость прогона.

  2. Поведение. Автопилот генерирует траектории, исходя из цели движения и данных восприятия. Эти данные чаще всего сводятся к траекториям и примитивным геометрическим представлениям других машин (коробки) и пешеходов (цилиндры или тоже коробки). Такое представление является «легким» — по объему данным, но трудно исчерпаемым по возможным комбинациям поведения других участников движения; 

  3. Динамика машины. Современные методы управления роботами или автономными машинами часто включают в себя моделирование динамики (семейство MPC (Model Predictive Control — модельно‑прогностическое управление). Поскольку такие модели получаются компактными, это позволяет проводить поиск оптимальных комбинаций газа и руления, перебирая симулируя реакцию автомобиля на эти сигналы. Прямо во время движения.

Выбор между ними — это компромисс между реализмом, скоростью и стоимостью.

• Тестирование (На каком уровне?)

  1. Сквозное (End‑to‑End) — проверка непрерывных сценариев с включением внешнего контура — от получения задания из диспетчерской (Fleet Management) и движения по виртуальному городу до передачи телеметрии и завершения поездки.

  2. Системное (Full‑Stack / SiL / HiL) — проверка полного автономного стека «как единого целого» в виртуальной среде — от сырых/синтетических данных с датчиков до управляющих команд на руль и тормоз.

  3. Интеграционное — проверка взаимодействия смежных модулей (восприятие, локализация, планирование и так далее) и их интерфейсов до сборки полного пайплайна. Чем шире контур интеграции, тем более детализированная среда симуляции требуется.

  4. Модульное (Unit) — верификация отдельных алгоритмов и функций (например, расчет кинематики подвески или фильтрация облака точек лидара) в изолированной программной среде без запуска тяжелого 3D‑мира.

• Тестирование (С какой целью?)

  1. Регрессионное — регулярный автоматизированный прогон библиотеки базовых сценариев в симуляторе при каждом изменении кодовой базы для контроля стабильности алгоритмов и предотвращения деградации системы.

  2. Нагрузочное и стресс — оценка устойчивости вычислительного комплекса в экстремальных условиях — моделирование аномально плотного трафика, искусственные задержки в шинах данных, пропуск кадров с сенсоров и проверка утечек памяти. Всё это безопаснее и проще проверять в симуляторе.

  3. Граничные сценарии (Edge Cases) и R&D — исследование поведения машины в редких или опасных дорожных ситуациях, а также детерминированное воспроизведение «плавающих» дефектов, зафиксированных во время реальных заездов.

Подводя черту — симуляторы стали стандартной частью пайплайна разработки автопилотов, дав возможность тестировать многие кейсы значительно быстрее, дешевле и безопаснее, чем сразу на реальных машинах. 

Симуляторы сегодня

Главный фронт работ сегодня — это разрыв в фотореализме и в правдоподобии «сложных» данных. Современные 3D‑симуляторы прекрасно справляются с проверкой поведения и логики, но синтетическая картинка всё ещё недостаточно похожа на записи с настоящей камеры и лидара, чтобы на ней можно было полноценно учить и тестировать нейросети восприятия.

Самое интересное движение последних лет — это приход генеративного ИИ и так называемых world foundation models, мировых моделей. Вместо того чтобы вручную лепить ассеты и карты, индустрия учится генерировать правдоподобные сцены. Яркий пример — платформа NVIDIA Cosmos, представленная на CES в январе 2025 года: это семейство генеративных моделей, которые создают физически правдоподобное синтетическое видео для обучения и валидации роботов и беспилотников, позволяя «дорисовывать» к существующим данным новую погоду, освещение и геолокации. В похожем направлении движутся GAIA‑1 от Wayve и генеративный симулятор Waabi World. Это пока не серебряная пуля, но направление выглядит очень перспективным — особенно для генерации редких и опасных «хвостовых» сценариев, которых в реальных данных почти не встретишь.

Параллельно остаются несколько направлений, которые мы для себя сформулировали так:

1. Умные участники движения. Большинство симуляторов дают API для программирования трафика, многие «из коробки» предлагают агентов, которые реагируют на тестируемое автономное ТС. Но это не повсеместное решение, а чаще всего и вовсе закрытые проекты. Ждем нейросетевую логику поведения во всех больших решениях;

2. Физически достоверная плохая погода. Во многих популярных средах погодные эффекты в первую очередь меняют изображение камер. Модели LiDAR и radar нередко остаются упрощёнными: не передают рассеивание и ослабление сигнала в осадках и тумане, пропадание точек, ложные отражения и уменьшение рабочей дальности. Поэтому для проверки Восприятия и sensor fusion нужна не просто визуально убедительная дождливая сцена, а физически и статистически реалистичная сенсорная деградация, желательно калиброванная под конкретное оборудование;

3. Реконструкция карт. Развертывание в новом регионе или на новом объекте — это всегда долго. Требуется подготовка геометрии, семантики, топологии полос, правил проезда, работы светофоров, материалов и динамического сценарного контекста. Полностью автоматическая реконструкция такой среды пока недостижима на требуемом уровне качества. Методы наподобие NKSR (англ. Neural Kernel Surface Reconstruction — нейросетевая реконструкция поверхности) и NoKSR перспективны для восстановления геометрии поверхностей из облаков точек 3D‑LiDAR‑ов, а современный Artifixer3D+ для улучшения получаемых 3D‑реконструкций с помощью авторегрессионных диффузионных моделей, но они решают только часть задачи: полученную сцену ещё нужно превратить в семантически размеченную HD‑карту и исполнимый мир симулятора.

Симуляторы выступают ключевым инструментом для тестирования автопилота и для разработки некоторых его модулей (планирование движения‑траектории). В задачах восприятия, трекинга окружающих объектов на данный момент всё ещё побеждают supervised‑методы обучения, ведь там нет обратной связи. При этом, как симуляторы динамики машины, так и поведения других агентов движения строятся на основе записанных данных (динамики‑кинематики машины в разных условиях и распознанных траекторий окружения). Упрощая, место симуляторов в разработке автопилота выглядит так:

Считаем, картинка не потеряет актуальности, как минимум, до появления коммерческих автопилотов на полностью end‑to‑end подходе.

Возможно, у вас остался вопрос — «Какой симулятор выбрать?». Зависит от ваших задач, но на данном этапе развития необходимо собирать «конструктор»: лёгкий 2D‑контур для регрессионного тестирования по поведению, тяжёлый 3D — под сенсорику и редкие случаи, отдельный движок под динамику. Разговор идёт не столько о выборе продукта, сколько о проектировании инфраструктуры тестирования: что гоняем на каждом коммите, что — раз в ночь, а что вообще имеет смысл проверять только на полигоне.

И последнее. Симулятор даёт возможность прогнать миллионы километров, но сам по себе счётчик километров — метрика довольно слабая, независимо от того, синтетические они или реальные. Гораздо содержательнее выглядят плотность редких сценариев, disengagement rate на единицу сложности и покрытие ODD. О том, как эти метрики устроены, почему публичные отчёты о пробеге плохо сравниваются между компаниями и какой километр в итоге считать настоящим, — в одной из наших следующих статей.