Современные системы компьютерного зрения способны распознавать и отслеживать объекты на видео, однако даже для продвинутых алгоритмов эта задача остаётся непростой. Изменение освещения, быстрое движение, размытие изображения или временное перекрытие объекта другими предметами могут привести к тому, что система потеряет цель. Китайские исследователи предложили способ повысить надёжность отслеживания: новая нейросетевая архитектура ETATrack одновременно анализирует обычные изображения, тепловизионные данные и наиболее полезные кадры из предыдущих моментов видеозаписи.
Разработка принадлежит учёным Чанчуньского института оптики, точной механики и физики Китайской академии наук. Результаты исследования опубликованы в журнале Infrared Physics & Technology. На одном из крупнейших тестовых наборов для оценки подобных технологий — LasHeR — система продемонстрировала показатель успешного отслеживания 58,2%, сохранив возможность обработки видео в реальном времени.
Почему обычного изображения недостаточно?
Отслеживание объектов на видео — это не просто задача обнаружения предмета в каждом отдельном кадре. Алгоритму необходимо понимать, что объект, который он видит сейчас, — тот же самый объект, который присутствовал несколькими мгновениями ранее.
На практике возникают ситуации, осложняющие эту работу. Например, человек может перейти из освещённого помещения в тёмное, автомобиль — быстро изменить направление движения, а движущийся объект — на короткое время скрыться за препятствием. В результате его внешний вид на экране существенно меняется, и система рискует потерять связь между последовательными кадрами.
Один из способов решения проблемы — использовать сразу два типа изображений.
- Изображения в видимом диапазоне света содержат информацию о цвете, текстуре и мелких деталях поверхности объектов. Они позволяют хорошо различать предметы при достаточном освещении.
- Тепловизионные изображения фиксируют инфракрасное излучение и отражают распределение температуры. Благодаря этому они могут сохранять полезную информацию даже в условиях слабого освещения или полной темноты.
Объединение этих двух источников данных позволяет компенсировать недостатки каждого из них. Если обычная камера перестаёт надёжно различать объект, тепловизионный канал может предоставить дополнительные сведения.
Однако у такого подхода есть ещё одна проблема: информация из предыдущих кадров тоже не всегда полезна. Старое изображение может содержать размытую картинку, показывать объект в совершенно другом ракурсе или отражать его внешний вид, который уже изменился. Если без разбора использовать слишком много исторических данных, вычислительная нагрузка возрастёт, а качество распознавания может даже ухудшиться.
Именно эту проблему призвана решить ETATrack.
Как работает ETATrack?
Главная особенность новой системы заключается в том, что она объединяет визуальную информацию из нескольких источников в едином вычислительном потоке.
На вход нейросети поступают обычные изображения, тепловизионные кадры, несколько выбранных изображений из предыдущих моментов видеозаписи, а также текущая область, в которой система ищет отслеживаемый объект.
Затем все эти данные преобразуются в последовательность так называемых визуальных токенов — компактных элементов, представляющих информацию об изображениях в форме, удобной для обработки нейросетью.
При этом система учитывает не только содержание каждого изображения, но и время его получения. Для этого используются специальные временные признаки (temporal embeddings), позволяющие алгоритму понимать, какие данные относятся к недавним наблюдениям, а какие были получены раньше.
Такой подход помогает нейросети правильно оценивать актуальность информации и не воспринимать все сохранённые кадры как равноценные.
Архитектура Mamba вместо традиционных механизмов внимания
Для обработки полученной последовательности исследователи применили двунаправленный кодировщик на основе архитектуры Mamba.
Mamba — это разновидность нейросетевых моделей, предназначенных для работы с последовательностями данных. В отличие от архитектур, использующих механизм внимания (Attention), она масштабирует вычислительную нагрузку линейно относительно длины последовательности.
Проще говоря, при увеличении количества обрабатываемых данных вычислительные затраты растут более предсказуемо. Это особенно важно для систем, которым необходимо одновременно анализировать текущие изображения и информацию из нескольких предыдущих кадров.
Двунаправленная обработка позволяет модели эффективнее извлекать взаимосвязи между различными элементами последовательности и объединять полученные признаки.
Однако одной только архитектуры Mamba недостаточно. Разработчики предусмотрели два дополнительных механизма, которые определяют, какую именно информацию система должна использовать при отслеживании объекта.
Механизм сохранения идентичности объекта
Первый механизм основан на специальном компактном токене-направляющем. Его задача — хранить обобщённое представление отслеживаемого объекта.
На определённых этапах обработки нейросеть обновляет этот токен, используя информацию из текущей области поиска. После обновления он снова передаётся в общую последовательность признаков.
Получается своеобразный цикл обмена информацией: система сопоставляет новые наблюдения с уже накопленным представлением объекта и корректирует его по мере изменения видеосцены.
Это помогает сохранять идентичность цели даже тогда, когда её внешний вид заметно меняется.
Как система выбирает полезные кадры из прошлого?
Второй механизм отвечает за работу с историческими изображениями.
ETATrack не использует все сохранённые кадры одинаково. Вместо этого алгоритм сравнивает каждый исторический шаблон с различными участками текущей области поиска.
Для каждой позиции выбирается наиболее подходящий шаблон, который может предоставить дополнительную информацию об объекте.
Таким образом, система способна использовать полезные наблюдения из прошлого, не позволяя некачественным или устаревшим изображениям чрезмерно влиять на итоговый результат.
Это принципиально важное отличие от простого накопления большого количества предыдущих кадров. ETATrack старается не запоминать всё подряд, а выбирать именно те сведения, которые действительно помогают отслеживанию.
Результаты испытаний: точность без чрезмерных вычислительных затрат
Исследователи проверили ETATrack на четырёх общедоступных тестовых наборах данных, предназначенных для оценки систем отслеживания объектов с использованием обычных и тепловизионных изображений.
Результаты сравнили с показателями других известных методов. По итогам испытаний новая архитектура продемонстрировала сбалансированное сочетание точности, размера модели и скорости обработки.
Особое внимание заслуживает результат на наборе данных LasHeR — одном из крупнейших тестовых ресурсов в этой области. Здесь показатель успешного отслеживания составил 58,2%, при этом система сохранила возможность работать в реальном времени.
Дополнительные эксперименты позволили выяснить, какие компоненты архитектуры действительно влияют на качество работы.
Когда исследователи отключали временные признаки, механизм обновления направляющего токена или объединение различных шаблонов, производительность системы снижалась.
Интересным оказалось и другое наблюдение: увеличение количества исторических изображений сверх оптимального значения не улучшало результаты. Напротив, избыточные данные могли содержать повторяющуюся или устаревшую информацию, мешающую правильному распознаванию.
Это подтверждает основную идею разработчиков: эффективность отслеживания зависит не столько от объёма накопленных данных, сколько от способности алгоритма выбирать наиболее полезную информацию.
Где может применяться новая технология?
Объединение обычного и тепловизионного изображения с анализом предыдущих кадров открывает дополнительные возможности для систем компьютерного зрения.
Подобные технологии могут представлять интерес для робототехники, автономных машин, интеллектуального видеонаблюдения, систем машинного зрения и других решений, которым необходимо надёжно отслеживать объекты в меняющейся обстановке.
Особенно перспективным выглядит использование подобных алгоритмов там, где освещение нестабильно или объекты регулярно частично скрываются из поля зрения камеры.
Впрочем, до широкого практического внедрения ETATrack ещё предстоит пройти определённый путь.
Какие ограничения остаются?
Несмотря на обнадёживающие результаты, разработчики признают, что у технологии есть несколько существенных ограничений.
В нынешней версии ETATrack использует фиксированное количество исторических шаблонов. Алгоритм не может самостоятельно определять, сколько предыдущих кадров необходимо сохранить для конкретной видеосцены.
Между тем сложность отслеживания может сильно различаться. В одних ситуациях достаточно нескольких последних наблюдений, в других системе требуется более продолжительная история объекта.
Ещё одна задача — адаптация архитектуры для устройств с ограниченными вычислительными ресурсами. Несмотря на относительно эффективную обработку последовательностей благодаря Mamba, для работы на компактных устройствах потребуется дополнительное упрощение модели.
В дальнейшем исследователи планируют разработать адаптивный механизм выбора исторических шаблонов и более лёгкие варианты нейросетевой архитектуры. Цель — сохранить полезную временную информацию, одновременно сократив ненужные вычисления.
ETATrack демонстрирует интересное направление развития систем компьютерного зрения. Вместо того чтобы полагаться исключительно на текущий кадр или механически накапливать всю доступную историю, нейросеть объединяет несколько типов визуальных данных и самостоятельно выделяет наиболее полезную информацию.
Особенность разработки заключается в сочетании трёх подходов: анализа видимого света, использования тепловизионных изображений и интеллектуального отбора предыдущих кадров.
Пока технология остаётся исследовательской разработкой с определёнными ограничениями, однако предложенные решения могут оказаться полезными при создании более надёжных и экономичных систем отслеживания объектов в реальном времени.
