Зачем строителю ИИ на объекте?

Как часто вы задумываетесь о том, какие модели компьютерного зрения используются на строительных объектах и для чего? Сколько камер нужно на объект? Какая точность детекции днём, ночью, в пыль и дождь? Где идёт обработка: на edge-устройстве или в облаке? Как быстро приходит алерт прорабу? Сейчас все разберем!

Начнем с базовых понятий - как система работает, какие проблемы решает, дальше поделюсь о внутренних процессах, рисках и ограничениях. 

Как работает система? 

Начнем с самого простого - как ИИ работает на стройке. Изначально она находит человека в кадре и определяет видимые признаки наличия или отсутствия СИЗ. Дальше происходит формирование события, которое специалист может проверить. Мы например в компании используем модели компьютерного зрения, в том числе семейства YOLO и DETR, дообученные на реальных строительных данных.

Количество камер зависит от зон, которые нужно контролировать. Одна обзорная камера может показывать всю площадку, но человек на ней будет настолько маленьким, что каску уже не разобрать. Поэтому сначала смотрим на задачу, ракурс и детализацию изображения. Стандарт для стройплощадки - 15 камер на один ЖК.

Я бы не обещал одну точность для дня, ночи, дождя и пыли. Это разные условия, и проверять их нужно отдельно. Если ночью камера физически ничего не видит, нейросеть ситуацию конечно же не исправит.

Обработка может идти в нашем облаке, на сервере заказчика и даже непосредственно на объекте - на edge-устройстве. Задержка уведомления зависит от всей цепочки: камеры, связи, обработки и отправки события. Её мы проверяем при внедрении, а не называем универсальное количество секунд для любой стройки.

Как с помощью ИИ сравнивать фактический ход стройки с BIM-моделью?

Первоначально необходимо понять - что именно мы хотим сравнивать. Увидеть, что здание растёт, и проверить геометрию выполненной конструкции с точностью до сантиметра - это разные задачи.

Я чаще всего работаю с изображениями существующих камер: отслеживаем визуальную динамику здания, его контур, этажность, присутствие людей и работу техники. Это помогает наблюдать за фактическим ходом строительства.Также есть разного рода задачи, где запрашивается сравнение сегментации здания с его 3D BIM-моделью, а также сопоставление сегментации от недели к неделе - это тоже реализуемо.

Сегментация здесь - это выделение изображения здания отдельно от окружающего фона. Она помогает оценить, как меняется видимая часть объекта.

Если задача - найти отклонение стены или колонны от проектного положения, нужны измерительные данные. Например, лазерное сканирование формирует облако точек - набор пространственных координат поверхностей. Съёмки из разных положений совмещают, затем приводят облако и проектную модель к общей системе координат. После этого специализированное ПО может выделять расхождения по заданному допуску. У нас это отдельный процесс, а не стандартная обработка видео.

Дроны и 360°-камеры тоже могут использоваться для сбора изображений, но само наличие такой съёмки ещё не гарантирует точную пространственную модель. Нужно отдельно выбирать метод получения и обработки данных.

Поэтому одну погрешность в сантиметрах я бы не называл. Она зависит от оборудования, условий съёмки и качества совмещения. Заданный в программе допуск тоже не равен достигнутой точности измерений. Внутри нашей компании мы говорим о визуальном мониторинге прогресса; точную геометрию нужно проверять соответствующими инструментами.

Может ли ИИ предсказать срыв сроков строительства?

Могу сказать точно, что ИИ может помогать раньше замечать признаки риска. Например, на объекте снижается активность, техника простаивает, а видимая динамика строительства не соответствует ожиданиям. Но по одному видео нельзя понять все причины задержки. Камера не покажет, что поставщик перенёс отгрузку или проектное решение ещё не согласовано. Для полноценного прогноза нужны график, сведения о поставках, ресурсах и фактическом выполнении работ.

Для меня практический смысл здесь в том, чтобы руководитель раньше увидел проблему и начал разбираться в её причинах.

Как автоматизировать учет рабочих и техники на объекте с помощью ИИ?

Кто слышал про распознавание лиц на КПП, RFID и GPS/ГЛОНАСС-трекеры, подсчет выработки и простоев техники? Это одна из самых ценных, эффективных фичей которая применяется на стройке уже самыми масштабными застройщиками.

Для начала, нужно разделять несколько задач. Узнать, кто прошёл через КПП, посчитать людей в рабочей зоне и оценить активность техники - это разный учёт.

Мы по видео определяем присутствие людей и техники, отслеживает активность, работу и простои в видимых зонах. Для этого не требуется выдавать каждому сотруднику отдельное устройство.

Но присутствие человека в кадре ещё не означает конкретную выработку. И простой техники сам по себе не объясняет причину: она может ожидать материал или находиться на технологической паузе. Эти обстоятельства должен учитывать специалист.

6. Как ИИ помогает в стройконтроле и приёмке работ?

Как распознаются дефекты по фото (трещины, сварные швы, армирование)? Как заполняется исполнительная документация? Как построено голосовое заполнение журналов?

Самая понятная польза - расширить охват наблюдения и собрать визуальные материалы для проверки. Специалисту проще разбираться в ситуации, когда есть событие, время, камера и соответствующий кадр.

Но приёмка работ требует больше информации, чем даёт обзорное видео. Не каждую трещину можно увидеть с существующей камеры, а скрытые работы после закрытия конструкции вообще могут быть недоступны для наблюдения.

Мы помогаем специалисту получать информацию. Оценка качества работ и решение о приёмке остаются за ним.

7. Как LLM и чат-боты используются прорабом на объекте?

Как организован поиск по СП, ГОСТ и проектной документации? Как ИИ генерирует предписания и акты? Какие модели подходят: YandexGPT, GigaChat, open-source? Как защищены данные заказчика?

Я вижу здесь пользу прежде всего в работе с большим объёмом документов. Быстро найти нужный пункт, собрать сведения по вопросу, подготовить черновик - вполне понятные задачи для такого инструмента.

Но если прораб спрашивает о требованиях, ему нужен проверяемый ответ: документ, редакция, конкретный пункт. Уверенно написанный текст сам по себе ничего не подтверждает. Предписание или акт, подготовленный моделью, тоже должен проверять специалист.

Для отдельных клиентов мы используем компоненты на базе Qwen и аналогичных моделей. Выбор модели зависит от задачи и требований заказчика. Универсального ответа, что всем нужен именно YandexGPT, GigaChat или определённая открытая модель, у меня нет.

Контур обработки данных согласуется отдельно. В нашем случае -  мы можем развернуть у заказчика. Но конкретные меры защиты и условия работы языковой модели нужно закреплять в ТЗ проекта.

Какая инфраструктура нужна, чтобы внедрить ИИ на стройплощадке?

Идем дальше и поговорим - как решать проблему связи: 4G/5G, Starlink-аналоги, локальный сервер? И как защитить оборудование от пыли и мороза? 

Расскажу через призму практики - как мы делаем это все на проектах. Для нашей видеоаналитики сначала нужны подходящие камеры и доступ к их потокам. Мы  подключается по RTSP, поэтому во многих случаях можно использовать существующее видеонаблюдение.

Дальше смотрим на связь и вычислительную нагрузку. При хорошем канале обработка может идти в облаке. Если камер много, а внешний канал слабый, имеет смысл рассматривать сервер на объекте. Постоянно передавать все исходные потоки в облако бывает неразумно.

Способ связи выбирают по условиям площадки. Важно проверить фактическую стабильность передачи, а не только заявленную скорость подключения.

Защиту оборудования от пыли и мороза тоже нужно учитывать при подборе и размещении. Стоимость минимального комплекта зависит от того, что уже есть у заказчика. Объект с подходящими камерами и связью и площадка без инфраструктуры - два разных бюджета.

Самое интересное - сколько же стоит внедрение ИИ в строительстве и когда оно окупается?

Цена зависит от задачи, количества камер, набора модулей и варианта размещения. В бюджет могут входить настройка, оборудование, интеграция, подписка или лицензия, сопровождение и дообучение.

В SaaS значительная часть расходов регулярная (OPEX). При локальном размещении появляются затраты на сервер и его обслуживание (CAPEX). Собственная разработка дополнительно требует команды, данных и постоянной поддержки. Рабочая модель - только часть этих расходов.

Я бы считал окупаемость через конкретную проблему заказчика. Сколько стоит простой техники? Сколько времени уходит на просмотр видео? Кто будет реагировать на найденные события? Если порядок действий не определён, сама установка системы вообще не даст финансового результата.

В качестве положительного примера могу привести ЖК «Монблан» компании «ГАЛС». Там мы выявили более 100 нарушений за месяц, что эквивалентно более чем 2 млн рублей экономического эффекта.

У нас есть и другой показательный пример: на площадках компании «Разум» за первые два месяца количество фиксируемых нарушений снизилось со 100 до 20 в месяц. Вместе с системой мы организовали рабочую группу и отработали реагирование. Это снижение фиксируемых нарушений, и превращать его в показатель снижения травматизма было бы неправильно.

Для пилота мы обычно рекомендуем SaaS. При масштабировании можно рассматривать размещение в контуре заказчика. В среднем SaaS-внедрения более выгодны для заказчика, чем on-premise. Так получается, потому что у вендора уже развёрнута большая инфраструктура GPU-серверов для десятков заказчиков.

Какие ограничения и риски есть у ИИ на стройке?

Вопросы которые я слышу каждый день - как часто бывают ложные срабатывания? Как собрать датасет под конкретный объект? Как добиться, чтобы рабочие приняли систему? Какие юридические вопросы возникают с видеонаблюдением и 152-ФЗ? Кто отвечает, если ИИ ошибся?

Первое ограничение - то, что камера действительно видит. Если человека закрывает техника, объектив загрязнён или каска занимает несколько пикселей, системе не хватает информации. Можно улучшать модель, но восстановить невидимую деталь из воздуха она не сможет.

Я бы не называл универсальную частоту ложных срабатываний. Она зависит от задачи, камеры, условий и настроек. Точность распознавания нейросетей у нас достигает 97% по большинству детекторов. Это крайне высокий результат, которого удалось достичь за счёт большого объёма данных, собираемых ежедневно.

Принятие системы рабочими во многом зависит от того, как организовано реагирование. Нужно объяснить, что контролируется, кто проверяет событие и как можно оспорить ошибку. Если любое уведомление сразу становится основанием для наказания, люди будут воспринимать систему соответствующим образом.

На площадках «Разума» мы вместе с заказчиком сформировали рабочую группу. За два месяца количество фиксируемых нарушений снизилось со 100 до 20 в месяц. Здесь результат связан и с технологией, и с работой команды.

По персональным данным важно разделять обнаружение человека и установление его личности. Для контроля каски нам не обязательно знать фамилию работника. Если же изображение лица используется для идентификации, возникает вопрос обработки биометрических персональных данных и соответствующих оснований. При этом отсутствие распознавания лиц само по себе не освобождает от требований к обработке персональных данных.

До запуска нужно определить цели обработки, состав данных, сроки хранения, права доступа и обязанности заказчика и поставщика. Размещение системы на сервере заказчика может помочь выполнить его требования к инфраструктуре, но само по себе не решает все юридические вопросы.

И последнее - ответственность. Я скептически отношусь к формулировке «решение принял ИИ». Система выделяет событие, специалист проверяет обстоятельства и выбирает действие. Для решений, затрагивающих права человека и основанных исключительно на автоматизированной обработке персональных данных, закон устанавливает отдельные ограничения.

Если произошла ошибка, нужно разбирать её причину: качество потока, настройки, работу модели, действия ответственных людей. Обязательства поставщика должны быть закреплены в договоре, а ответственность определяется с учётом закона и обстоятельств. Ссылка на нейросеть не заменяет этот разбор.

Получился вот такой обзор внутренней составляющей того, что мы делаем - напишите в комментариях, что еще разобрать и чем поделиться