Можно ли добавить новые аналитики в комплекс ФВФ без замены оборудования?

Меня зовут Ярослав, в Tevian я отвечаю за Tevian Recognition Platform. В действующие комплексы фотовидеофиксации всё чаще требуется добавлять новые виды видеоаналитики для систем фотовидеофиксации и ИТС: классификацию транспортных средств, определение марки и модели, контроль ремня безопасности или использования телефона водителем. Камеры и вычислители при этом часто остаются теми же, что устанавливались несколько лет назад.

На новом рубеже под нужный набор функций можно сразу подобрать оборудование с запасом. С действующим парком сложнее. Если комплексов сотни, замена вычислительных модулей превращается в отдельный проект. Поэтому сначала стоит проверить, действительно ли ограничение находится в вычислителе.

Камера может оказаться ограничением раньше вычислителя

Комплекс может уверенно распознавать государственный регистрационный знак (ГРЗ), но плохо подходить для анализа салона. У этих задач разные требования к изображению.

Номер может занимать достаточно большую область кадра, тогда как водитель виден через лобовое стекло, под другим углом и при другом освещении. Блики, небольшой размер области водителя или неудачный ракурс влияют на результат. Более производительный вычислитель не добавит деталей, которых камера не зафиксировала.

Похожая ситуация возникает при сложной погоде. Ночью появляются засветки от фар, в дождь – отражения от мокрого покрытия и капли, туман снижает контраст. Зимой номер может быть частично закрыт снегом или грязью. Новую аналитику поэтому лучше проверять на видео с конкретного рубежа: днём и ночью, на разных полосах и дистанциях, в плотном потоке и сложной погоде.

Для ремня и телефона нужны записи, на которых можно оценить реальный размер водителя в кадре. Если исходного изображения недостаточно, замена вычислителя проблему не решит.

Производительность отдельной модели не показывает производительность комплекса

На стенде распознавание ГРЗ, классификация марки и анализ салона могут по отдельности работать с достаточной скоростью. После объединения на одном устройстве появляются задержки и пропущенные кадры.

В рабочем комплексе нейросети занимают только часть цепочки. Поток нужно декодировать, изображение подготовить, выделить нужную область, запустить несколько моделей, сформировать событие и сохранить результат. Если компоненты подключались независимо, одни и те же операции могут выполняться несколько раз: изменение размера кадра, преобразование формата, выделение памяти, передача данных между центральным и графическим процессорами.

Поэтому оценивать модернизацию только по скорости отдельной модели мало полезно. Нужна задержка всей обработки – от поступления кадра до готового результата – и загрузка устройства при полном наборе аналитик.

Для Jetson имеет значение, например, использование аппаратного декодирования видео. В проектах встречается и другая аппаратная база, например Rockchip RK3588 с ARM-процессором, NPU и аппаратным декодированием. При переносе решения меняется и программная часть, поэтому заявленная вычислительная мощность сама по себе не показывает, как будет работать комплекс.

Несколько аналитик одного автомобиля

ГРЗ, категория, марка, ремень и телефон относятся к одному транспортному средству. Автомобиль можно обнаружить и сопровождать в кадре, а затем передавать нужные области изображения соответствующим моделям.

Номер ещё слишком мелкий — распознавание можно отложить. Объект определён как мотоцикл — проверка автомобильного ремня не требуется. Марка и модель уже несколько раз определились одинаково — повторную классификацию можно прекратить. Водитель закрыт бликом — анализ салона можно выполнить на другом кадре.

Этот принцип сам по себе достаточно очевиден. Существенным он становится при плотном потоке, когда одновременно обрабатывается много машин. Тогда на нагрузку влияет уже не только скорость каждой модели, но и количество её запусков для каждого автомобиля.

Как проверить комплекс ФВФ под реальной нагрузкой

Один автомобиль на короткой записи и плотный поток на нескольких полосах создают разную нагрузку при одинаковой частоте кадров камеры. Во втором случае одновременно сопровождается больше транспортных средств, и для каждого могут понадобиться несколько видов анализа.

Для испытаний лучше брать фрагменты, на которых комплексу действительно тяжело: несколько полос, много ТС одновременно, перекрытия, грузовой и легковой транспорт, дальние объекты. Одновременно должен работать тот набор аналитик, который планируется использовать после модернизации.

Во время такого прогона смотрят загрузку процессоров, память, пропущенные кадры, задержку обработки и температуру устройства при длительной работе.

Два комплекса на одинаковом Jetson Xavier NX при этом могут заметно отличаться по нагрузке. Один работает с одной камерой и одной полосой, другой получает несколько потоков высокого разрешения и одновременно сопровождает много автомобилей. Одного названия процессора для оценки недостаточно.

Транспортные аналитики в Tevian Recognition Platform

Tevian Recognition Platform позволяет собрать необходимые для проекта модули видеоаналитики в одной платформе. Для транспортных сценариев Tevian доступны распознавание ГРЗ, определение типа и страны номерного знака, категория транспортного средства, марка, модель и цвет автомобиля, сопровождение объекта, распознавание спецтранспорта, контроль ремня безопасности и использования мобильного телефона водителем.

Классификация охватывает легковые автомобили, грузовой транспорт, автобусы, мотоциклы и спецтехнику. Для распознавания марки и модели поддерживается более 300 классов, заявленная точность достигает 95%.

Набор функций зависит от конкретного комплекса. Для одного проекта достаточно ГРЗ и категории транспорта, для другого нужны марка и модель. При поиске автомобиля в архиве можно использовать сочетание ГРЗ, категории, цвета, марки и модели. Анализ ремня и телефона требует подходящего изображения салона.

Для действующего комплекса нужную конфигурацию можно проверить на его реальном видеопотоке и вычислителе. До массовой модернизации достаточно взять одну целевую аппаратную платформу, включить необходимые аналитики и определить, где находится ограничение: в изображении, обработке видео или производительности оборудования.

Для такой проверки нужны модель вычислителя, число видеопотоков, разрешение и частота кадров, перечень необходимых аналитик и несколько записей с действующего рубежа. Лучше сразу использовать сложные фрагменты — плотное движение, дальние полосы, ночь, дождь или туман.