Где теряется точность видеоаналитики: разбираем пайплайн от камеры до CV-модели

Когда качество видеоаналитики перестает устраивать, замена камер кажется очевидным решением. Но новое оборудование помогает не всегда: проблема может находиться в передаче и обработке данных, архитектуре системы или других ее компонентах.

Вместе с Павлом Жилиным, начальником конструкторского бюро «Фалькон Тех», разбираемся, где возникают проблемы в видеоаналитике, в каких случаях их можно решить настройкой системы, а когда без замены оборудования действительно не обойтись.

Почему замена камер не всегда решает проблему

Более высокое разрешение, современная оптика или новый сенсор действительно улучшают качество изображения. Кажется, что этого достаточно для повышения точности распознавания. На практике все сложнее.

На своем опыте мы поняли, что проблемы не всегда связаны с оборудованием. Перед тем как принимать решение о модернизации, важно определить, на каком этапе системы возникает ошибка.

Один из примеров — смещение сцены из-за накопительной ошибки в механизме позиционирования камеры. Для человека такая разница может быть почти незаметна, но для видеоаналитики она критична, если в системе заранее заданы зоны интереса, виртуальные линии или другие геометрические параметры сцены. В результате объект может оказаться относительно этих зон уже не там, где его ожидает алгоритм.

Смещение камеры не всегда означает, что ее нужно менять. Если система анализирует геометрию сцены и использует статичные объекты в качестве ориентиров, небольшие отклонения можно компенсировать алгоритмами без замены оборудования.

Павел Жилин, начальник конструкторского бюро «Фалькон Тех»

Замена оборудования необходима, если проблема связана с самой камерой. Например, когда:

• объектив загрязнен или поврежден;

• обзор перекрывают деревья или другие объекты;

• требования к системе изменились и текущее оборудование им не соответствует — например, нужно увеличить разрешение фото и видео или расширить зону обзора.

Но если изображение изначально качественное, проблема может быть связана не с камерой, а с тем, как работает система. Например, оборудование может испытывать слишком высокую нагрузку и не успевать обрабатывать поступающие данные. В этом случае замена камеры не даст заметного эффекта.

Если оборудование работает под высокой нагрузкой, необязательно его менять. Иногда достаточно уменьшить количество одновременно обрабатываемых сцен или увеличить интервал обработки. Это снижает нагрузку на систему и позволяет ей работать стабильно.

Павел Жилин, начальник конструкторского бюро «Фалькон Тех»

Где на самом деле возникают проблемы в видеоаналитике

После того как камера сформировала изображение, работа системы только начинается. Видеопоток нужно передать, обработать и проанализировать. Если на одном из этих этапов возникает сбой, качество видеоаналитики снижается, даже если сама камера работает исправно.

Чаще всего проблемы возникают на двух этапах:

• Передача видеопотока. Нестабильный сигнал, потеря пакетов или задержки при передаче приводят к тому, что система получает неполные или запаздывающие данные.

• Обработка данных. Если вычислительная инфраструктура работает с высокой нагрузкой, она не успевает обработать весь поток видео, что тоже сказывается на качестве распознавания.

Проблемы не всегда очевидны. Например, потеря нескольких кадров при передаче данных сама по себе может быть почти незаметна. Но если одновременно система работает с высокой нагрузкой, ошибки начинают накапливаться, и точность видеоаналитики заметно снижается.

В «Фалькон Тех» диагностику проводят последовательно: сначала проверяют, воспроизводится ли проблема, затем — состояние сервисов и характеристики видеопотока. После этого оценивают загрузку вычислительных ресурсов. Если на этих этапах проблем не обнаружено, переходят к проверке самой камеры.

Сначала определяем масштаб проблемы: это массовый сбой или единичный случай. Если сбой массовый, ищем, что объединяет затронутое оборудование, — обычно причина находится именно там. Параллельно пытаемся воспроизвести неисправность на тестовом стенде. Если проблема связана с оборудованием, вносим изменения, проверяем стабильность работы и запускаем сервисную кампанию.

Если проблема единичная, проводим выездную диагностику и оцениваем, может ли такая неисправность в перспективе привести к системному сбою. В зависимости от результатов разрабатываем меры, которые позволят предотвратить кризисные и аварийные ситуации.

Павел Жилин, начальник конструкторского бюро «Фалькон Тех»

Почему архитектура системы влияет на результат не меньше, чем оборудование

Архитектура системы определяет не только порядок обработки видеопотока, но и то, где именно эта обработка происходит. Один из вариантов — передавать данные с камер на центральный сервер и выполнять основные вычисления там. Другой — перенести часть обработки непосредственно на камеру или установленный рядом вычислительный комплекс.

У каждого подхода свои особенности:

Перенос обработки ближе к камере влияет и на отказоустойчивость. Если связь с центральным сервером пропала, данные можно обработать и сохранить на самом комплексе, а передать позже, когда соединение восстановится.

При обработке непосредственно на камере мы снижаем нагрузку на сеть и сервер. Кроме того, повышается отказоустойчивость: данные обрабатываются и сохраняются на самом комплексе, поэтому при потере связи фиксации не теряются. После восстановления соединения их можно дослать на сервер.

Павел Жилин, начальник конструкторского бюро «Фалькон Тех»

Эта разница становится особенно заметной при масштабировании. Чем больше камер подключается к системе, тем больше данных нужно передавать и обрабатывать. Если часть вычислений выполняется на стороне камер или локальных узлов, нагрузка не концентрируется только на центральном сервере.

Поэтому архитектуру видеоаналитики мы выбираем с учетом того, где удобнее выполнять обработку, как система будет передавать и хранить данные и что произойдет при потере связи.

Когда замена оборудования действительно необходима

Модернизация оправдана, если проблема связана с физическими ограничениями камеры или условиями ее эксплуатации. В таких случаях доработка алгоритмов не даст заметного результата.

Если камера установлена вдоль скоростной магистрали, со временем объектив загрязняет взвесь бензина, масла и дорожной грязи. Если камеру установили зимой, летом обзор может перекрыть листва. Бывают и менее очевидные ситуации: например, во время ремонтных или строительных работ сторонняя организация может демонтировать камеру вместе с опорой. Во всех этих случаях алгоритмы машинного зрения не помогут — требуется вмешательство человека, чтобы обслужить оборудование или перенести камеру.

Павел Жилин, начальник конструкторского бюро «Фалькон Тех»

Камера в системе видеоаналитики — точка входа данных, но не сама система. Качество результата зависит от всего пути видеопотока: насколько стабильно он передается, как быстро декодируется, хватает ли вычислительных ресурсов для обработки и где выполняется аналитика.

Поэтому при модернизации важно смотреть на систему целиком. Иногда новое оборудование действительно становится необходимым. Но если ограничение находится на другом этапе, более производительная камера лишь увеличит объем данных, который системе придется передавать и обрабатывать.