Ученые МФТИ повысили качество планирования действий человекоподобных роботов на ПВЗ
- CNews FORUM 12 ноября
- CNews AWARDS 12 ноября
- Школа Роста
- СУБД в эпоху ИИ
- КИИ в облаке
- 10 лет российского бэкапа
- SDN: Сеть как дом
- История облаков
- 30 лет ERP России
- Цифровизация
- Импортозамещение
- Безопасность
- ИТ в госсекторе
- ИТ в банках
- ИТ в торговле
- Телеком
- ИТ-бизнес
- Рейтинги
|
Специалисты Московского физико-технического института (МФТИ) разработали модульную систему управления для человекоподобных роботов, работающих на складах. Новая технология позволяет машинам запоминать окружающее пространство в виде обновляемых графов 3D-сцены окружающего пространства и самостоятельно планировать последовательность действий по командам на естественном языке. Об этом CNews сообщили представители МФТИ.
Результаты исследования опубликованы в журнале Engineering Applications of Artificial Intelligence.
Основная сложность в работе автономных роботов на складах – понимание динамической среды и адекватная интерпретация голосовых команд операторов. Существующие системы, основанные только на текстовых инструкциях, часто дают сбои при работе в реальных условиях: они не учитывают изменение обстановки, перемещение людей и грузов, а также не способны выстраивать иерархию действий при выполнении комплексных задач.
«Предоставление планировщику возможности понимать окружающее пространство в виде графа 3D-сцены чрезвычайно важно, поскольку это позволяет в явном виде запомнить и отслеживать изменения в рабочей зоне робота и качественнее планировать его действия. Без полноценного понимания динамики пространственных связей между объектами большие языковые модели, на которых сегодня строятся системы планирования действий по голосовым командам, показывают низкую эффективность в складских условиях», – сказал соавтор работы, заведующий лабораторией интеллектуального транспорта Центра когнитивного моделирования МФТИ Дмитрий Юдин.
Разработанный в МФТИ метод получил название SG-RAPL (Scene Graph-driven Reasoning for Action Planning). Он объединяет технологию построения трехмерной карты окружающего пространства и большие языковые модели (LLM). Система в реальном времени создает детализированный граф сцены, в котором отражены все объекты на складе: стеллажи, контейнеры, коробки и люди, а также связи между ними.
«Мы предлагаем модульный подход, который использует оригинальные алгоритмы для декомпозиции последовательности задач гуманоидного робота в складской среде на основе графа трехмерной сцены. В отличие от существующих методов, наша система способна не просто распознавать объекты, но и понимать пространственные взаимоотношения между ними», – сказал соавтор работы, заведующий лабораторией воплощенного ИИ Центра когнитивного моделирования МФТИ Алексей Ковалев.
Low/no-code-революция: новая архитектура цифровой независимости Конференция
Ключевая особенность разработки – использование алгоритмов слияния информации о распознанных масках объектов на изображениях камеры, соответствующих им картах глубин и специальных визуальных ArUco-маркерах. Это позволяет роботу с помощью одной встроенной камеры строить и обновлять граф окружающей трехмерной сцены в режиме реального времени. Система способна декомпозировать сложную задачу, например, «взять коробку с верхней полки», на последовательность конкретных действий: навигацию к стеллажу, захват груза и его перемещение.
Для обучения и тестирования системы ученые создали и вручную разметили специализированный набор данных, включающий сцены со складов и десятки сценариев с голосовыми командами. В ходе экспериментов как в виртуальной среде, так и на реальном роботе, который разработан в Лаборатории интеллектуальных технологий робототехники, подход продемонстрировал более высокую эффективность по сравнению с системами, не использующими трехмерные графы сцены.
«На основе разработанного датасета впервые проведено бенчмарк-тестирование современных алгоритмов автономного планирования действий гуманоидных роботов в складских условиях. Результаты подтвердили преимущество предложенного подхода», – сказал соавтор работы, директор Центра когнитивного моделирования МФТИ Александр Панов.
Исследование выполнено при поддержке Минэкономразвития России. Код и датасет опубликованы в открытом доступе на платформе GitHub. В дальнейшем ученые планируют адаптировать систему для работы на других типах промышленных объектов.
KioskNews shows a cleaned-up reading view extracted from the publisher’s page — the original always lives on their site, not ours.