Нейросеть на стройке: почему она ошибается в реальных условиях и как мы научили её замечать опасные ситуации

Вы точно знаете, что компьютерное зрение умеет находить людей, каски, жилеты и строительную технику на изображениях. Но обнаружить объект на тестовом кадре и надёжно распознавать события на работающей стройплощадке оказалось двумя разными задачами.

Представим обычную ситуацию: камера наблюдения установлена на строительном объекте. На экране десятки людей, техника, строительные леса, пыль и меняющееся освещение. Один рабочий находится далеко от камеры, другого частично закрывает экскаватор, а каска третьего сливается с фоном. Человек, который смотрит на запись, может заметить потенциально опасную ситуацию. Но как научить этому алгоритм, который должен анализировать видеопоток непрерывно, не пропускать важные события и не заваливать оператора ложными тревогами? На первый взгляд сложная задача, но что мы сделали с этим? Расскажу в своей статье, а еще разберём, почему нейросети ошибаются на строительных площадках, как устроен процесс повышения качества видеоаналитики и что необходимо учитывать, чтобы превратить обнаружение объектов в инструмент контроля безопасности.

Почему нейросеть, которая хорошо работает в лаборатории, ошибается на стройке

Одна из распространённых ошиибок при разработке систем компьютерного зрения - считать, что высокое качество на тестовом наборе автоматически означает такую же надёжность в реальных условиях.На первых порах изображения могут быть достаточно чёткими, объекты хорошо различимыми, а условия съёмки - относительно стабильными. Строительная площадка у строена совершенно иначе и сколько бы мы не тестировали обучали, всегда есть что-то новое к чему надо адаптировать. Здесь одновременно меняются освещение, расположение объектов, состав техники и количество людей. Камера может быть установлена высоко, смотреть под острым углом или захватывать большую территорию, на которой человек занимает всего несколько десятков пикселей. В результате возникает сдвиг домена (domain shift) - ситуация, когда реальные данные отличаются от тех, на которых модель обучалась.

Рассмотрим основные причины ошибок.

Маленькие объекты на большом расстоянии

Для системы видеонаблюдения это одна из самых сложных задач. Если камера охватывает большую площадь, человек в дальней части кадра может занимать очень мало пикселей. Каска, перчатки и другие элементы экипировки становятся ещё меньше. Чем меньше полезной визуальной информации, тем сложнее отличить целевой объект от похожих элементов фона. Повышение разрешения модели само по себе не решает проблему: если камера физически не зафиксировала достаточно деталей, алгоритму неоткуда их получить.

Перекрытия и сложные ракурсы

На строительной площадке объекты постоянно заслоняют друг друга. Рабочего может закрывать строительная конструкция, техника или другой человек. Каска может быть видна только частично, а жилет - сливаться с одеждой.

В таких условиях модель может не обнаружить объект вообще или ошибочно определить его границы.

Разнообразие экипировки

Каски отличаются цветом, формой и размером. Рабочие носят капюшоны, тёплую одежду, жилеты разных оттенков. Иногда каска находится в руке, а не на голове. Для человека контекст может быть очевиден. Для алгоритма это набор визуальных признаков, которые необходимо научиться различать. Поэтому качество системы зависит не только от архитектуры нейросети, но и от того, насколько обучающие данные отражают реальные условия эксплуатации. Тут если вы спросите “Ведь на каждой стройке своя форма может быть?” - ответ прост, адаптировать - что вполне возможно

Почему недостаточно просто обучить модель на большом датасете

Опять же на первый взгляд кажется логичным, если нейросеть ошибается, нужно дать ей больше изображений. Но количество данных не всегда решает проблему. Предположим, что в обучающей выборке содержатся тысячи изображений рабочих в касках. При этом большинство снимков сделано днём, люди находятся близко к камере, а каски хорошо различимы. Модель может показать отличные результаты на похожих изображениях. Однако при переходе на новый объект, где камеры установлены под другими углами, а сотрудники носят другую экипировку, качество может снизиться. Проблема заключается в том, что модель должна научиться распознавать не только знакомые примеры, но и разнообразие условий, в которых встречается один и тот же объект.

Здесь важно разделять три понятия:

• Обучающая выборка - данные, на которых модель учится распознавать объекты.

• Валидационная выборка - данные, которые помогают выбирать настройки и оценивать промежуточные результаты.

• Тестовая выборка - независимые данные для итоговой оценки качества.

Для промышленной системы полезно отдельно проверять модель на данных с конкретного строительного объекта. Результат на общем тестовом наборе не гарантирует, что она будет так же хорошо работать с другой камерой, другой планировкой и другим освещением. Именно поэтому при внедрении видеоаналитики необходимо оценивать не только сам алгоритм, но и условия, в которых он будет использоваться.

Как системно уменьшать количество ошибок

Надёжность видеоаналитики не появляется после одного обучения. Это последовательный процесс, в котором необходимо находить ошибки, понимать их причины и проверять, действительно ли внесённые изменения помогают.

Шаг 1. Собрать сложные примеры с реальных объектов

Вместо того чтобы ориентироваться только на открытые датасеты, необходимо анализировать реальные видеопотоки с площадок, где будет работать система.

Особую ценность представляют сложные случаи:

• человек находится далеко от камеры;

• каска частично скрыта;

• объект находится в тени;

• изображение размыто из-за движения;

• на фоне есть похожие по цвету и форме предметы;

• рабочая одежда отличается от привычных примеров.

Такие кадры помогают понять, в каких условиях модель теряет качество, а при этом видеоматериалы необходимо собирать и использовать с учётом требований к защите персональных данных, прав доступа и безопасности информации.

Шаг 2. Анализировать не только пропуски, но и ложные срабатывания

Ошибки компьютерного зрения условно делятся на две большие группы.

False negative (FN) - система не обнаружила объект или событие, которое присутствовало в кадре.

Например, рабочий находится в опасной зоне, но алгоритм его не обнаружил.

False positive (FP) - система обнаружила объект или событие, которого на самом деле нет.

Например, система ошибочно классифицировала похожий на каску предмет как средство индивидуальной защиты.

В задачах безопасности важны оба типа ошибок. Пропущенное нарушение может остаться незамеченным, а большое количество ложных тревог перегружает операторов и снижает доверие к системе.

Поэтому недостаточно посмотреть на несколько удачных демонстраций работы модели. Необходимо систематически проверять ошибочные предсказания и определять, какие из них повторяются чаще всего.

Шаг 3. Возвращать ошибки в процесс обучения

После анализа сложных примеров можно сформировать дополнительную выборку, разметить изображения и использовать их для дообучения модели. Этот подход часто называют hard negative mining, если речь идёт о целенаправленном отборе сложных отрицательных примеров, или итеративным дообучением на ошибках - в более широком смысле. Например, если система регулярно путает каски с другими предметами, в дополнительную выборку стоит включить такие предметы в разных условиях съёмки. Если проблема связана с плохим освещением, необходимо проверить, достаточно ли в данных примеров из ночных смен, теневых участков и зон с неравномерным освещением. Но есть важное условие: нельзя просто добавить несколько сложных кадров и считать задачу решённой. После дообучения нужно проверить модель на независимой выборке и убедиться, что улучшение не привело к ухудшению ранее работавших сценариев.

Шаг 4. Использовать аугментацию с учётом реальных условий

Аугментация - это искусственное изменение обучающих изображений, позволяющее расширить разнообразие данных.

Для строительной видеоаналитики могут быть полезны:

• изменение яркости и контрастности;

• добавление размытия;

• частичное перекрытие объектов;

• изменение масштаба и кадрирование;

• имитация некоторых погодных условий.

Однако аугментация не заменяет реальные данные. Синтетическое размытие не полностью воспроизводит особенности конкретной камеры, а искусственно созданная тень может отличаться от настоящей. Поэтому такие преобразования нужно выбирать исходя из реальных ошибок системы и проверять на независимых данных.

Почему обнаружить каску - не то же самое, что определить нарушение

Даже если модель правильно обнаруживает людей и каски, этого недостаточно для полноценного контроля безопасности. Предположим, что на кадре обнаружены человек и каска. Как понять, надета ли она на голову? Находится ли человек в зоне, где требуется каска? Действительно ли наблюдаемая ситуация является нарушением?

Для этого важно разделять два уровня системы.

Первый уровень - компьютерное зрение. Оно обнаруживает и классифицирует объекты: людей, каски, жилеты, технику и другие элементы сцены.

Второй уровень - логика сценария. Она использует результаты детекции и дополнительные условия, чтобы определить, соответствует ли ситуация заданному правилу.

Например, сценарий контроля касок может включать следующие этапы:

1. Обнаружить человека.

2. Найти каску и определить её положение относительно человека.

3. Проверить, достаточно ли данных для принятия решения.

4. Учесть условия, при которых нарушение должно фиксироваться.

5. Сформировать событие, если критерии нарушения выполнены.

Для других сценариев логика будет отличаться. При контроле опасных зон важно учитывать положение человека относительно заданной области. При мониторинге работы техники - движение объекта и длительность его неподвижности. Это принципиальный момент: обнаружение объекта, интерпретация ситуации и регистрация события - разные задачи, которые нельзя автоматически сводить к одному предсказанию нейросети.

Почему видео нужно анализировать во времени

Один кадр не всегда позволяет достоверно определить, что происходит на стройке.

Например, каска может быть временно закрыта рукой. На одном изображении система не обнаружит её, а на следующем объект снова станет виден. Если принимать решение по каждому кадру независимо, это может привести к нестабильным результатам. Для уменьшения подобных ошибок можно использовать анализ последовательности кадров, трекинг объектов и временную фильтрацию предсказаний.

Логика работы может выглядеть так:

1. Модель обнаруживает объекты на отдельных кадрах.

2. Алгоритм сопоставляет обнаруженные объекты между кадрами.

3. Система анализирует, как меняется положение объекта и сохраняется ли признак нарушения.

4. Событие регистрируется при выполнении заданных условий.

Например, правило может требовать, чтобы признак нарушения наблюдался в нескольких последовательных кадрах. Это помогает отсеивать некоторые случайные срабатывания. Но временная фильтрация тоже требует настройки. Слишком строгие условия могут задерживать уведомление, а слишком мягкие - не устранить нестабильность. Поэтому параметры следует выбирать отдельно для каждого сценария с учётом допустимой задержки и последствий пропуска события.

Как понять, что модель действительно стала лучше

Одна из распространённых ошибок при оценке видеоаналитики - ориентироваться на единственную метрику. Например, высокая accuracy не всегда означает, что система надёжно обнаруживает редкие нарушения. Если большинство кадров не содержит нарушений, модель может показывать высокую долю правильных ответов, но пропускать значительную часть важных событий.

Для оценки системы компьютерного зрения полезно использовать несколько метрик.

Precision и recall особенно важны при выборе компромисса между пропущенными событиями и ложными уведомлениями.

Для промышленного внедрения также необходимо оценивать систему целиком. Даже качественная модель не принесёт ожидаемого эффекта, если видеопоток нестабилен, обработка занимает слишком много времени или уведомления поступают не тем сотрудникам. Поэтому итоговую проверку желательно проводить на реальных видеопотоках в условиях, близких к эксплуатации. Если система уже используется на объектах, дополнительно можно анализировать динамику количества подтверждённых нарушений, время реакции ответственных сотрудников и нагрузку на операторов. Эти показатели помогают оценить практическую полезность решения, но сами по себе не доказывают, что технология снизила травматизм.

Что происходит после внедрения: почему работу с моделью нельзя прекращать

Строительная площадка постоянно меняется. По мере продвижения работ появляются новые конструкции, перемещается техника, меняются ракурсы обзора и условия освещения. Поэтому модель, которая хорошо работала на одном этапе строительства, может столкнуться с новыми сценариями через несколько недель или месяцев.

Для поддержания качества нужен регулярный цикл контроля:

• мониторинг качества обнаружения и количества ложных тревог;

• анализ спорных и пропущенных событий;

• проверка новых условий съёмки;

• пополнение и актуализация обучающих данных;

• тестирование обновлённой модели;

• контроль того, что новые изменения не ухудшили существующие сценарии.

Важную роль играет и обратная связь от специалистов, которые работают с уведомлениями. Они могут помочь определить, какие события действительно требуют реакции, какие сообщения оказываются бесполезными и в каких случаях системе не хватает контекста. Таким образом, видеоаналитика - это не просто нейросеть, установленная на сервере. Это система, качество которой зависит от данных, алгоритмов, правил регистрации событий и процесса эксплуатации.

Может ли ИИ самостоятельно обеспечивать безопасность стройки?

Нет, по крайней мере не стоит строить систему безопасности на таком предположении. Видеоаналитика помогает автоматизировать наблюдение, быстрее находить потенциальные нарушения и предоставлять специалистам дополнительную информацию для принятия решений. Но она не гарантирует обнаружение каждого опасного события. Камера может не охватывать нужную зону. Объект может быть скрыт. Модель может ошибиться, а видеопоток - временно прерваться. Поэтому технологию следует рассматривать как инструмент поддержки контроля, а не как замену ответственным специалистам, инструктажам, организационным мерам и установленным процедурам безопасности. При проектировании системы необходимо заранее определить, кто получает уведомления, как проверяются критические события, что происходит при потере видеосигнала и как фиксируются ошибки самой аналитики.

Чем серьёзнее последствия потенциального нарушения, тем важнее продумать не только точность модели, но и весь процесс реагирования. Главная сложность применения компьютерного зрения на строительной площадке заключается не в том, чтобы однажды научить нейросеть распознавать каску или человека. Сложность в том, чтобы обеспечить стабильную работу системы в постоянно меняющихся условиях, отличать реальные нарушения от визуально похожих ситуаций и превращать результаты анализа видео в полезные для специалистов события. Для этого нужны качественные данные с реальных объектов, систематический анализ ошибок, корректно настроенные сценарии, оценка результатов на независимых выборках и регулярная проверка после внедрения.

Именно на этом этапе компьютерное зрение перестаёт быть эффектной демонстрацией нейросети и становится практическим инструментом строительной безопасности.

В конечном счёте важно не то, сколько объектов нейросеть увидела на экране, а то, насколько надёжно система помогает специалистам замечать ситуации, требующие внимания. Согласны?