Управление перспективных исследовательских проектов Министерства обороны США DARPA создает систему компьютерного зрения, которая должна имитировать работу зрительных центров человеческого мозга. С помощью этой системы камеры смогут видеть и интерпретировать образы так же эффективно, как это делает человек.
На днях DARPA объявила о запуске программы FENCE (Fast Event-based Neuromorphic Camera and Electronics, Нейроморфная камера и электроника быстрого действия). Программа призвана сделать камеры компьютерного зрения более эффективными, имитируя то, как человеческий мозг обрабатывает информацию. Программой занимаются три команды ученых из организаций Raytheon, BAE Systems и Northrop Grumman. Перед ними поставлена задача разработать инфракрасную (ИК) систему камер, которой нужно обрабатывать меньше данных, работать быстрее и потреблять меньше энергии.
Зачем это нужно?
Современные системы обработки изображений становятся все более сложными, но они также становятся жертвами собственного успеха. В то время как современные камеры могут с высокой точностью снимать изображения с высоким разрешением и отслеживать объекты, они делают это, обрабатывая большие объемы данных, что требует времени и мощности.
По мнению экспертов DARPA, это нормально, когда задача системы следить за одиноким самолетом в ясном голубом небе. Но если но если фон загроможден мелкими объектами, как это часто бывает в военных операциях, умные камеры перестают справляться с потоком данных.
Программа FENCE надеется создать камеры быстрого реагирования которые будут более интеллектуальными и эффективными благодаря использованию имитирующих мозг нейроморфных схем. Это позволит в разы сократить объем данных, которые необходимо обрабатывать.
Как это работает?
Секрет кроется в том, что нейроморфная архитектура способна заранее игнорировать неактуальные части изображения. Вместо того, чтобы работать с целой сценой, камера будет фокусироваться только на меняющихся пикселях.
Для достижения этой задачи команда FENCE работает над новой матрицей инфракрасной (ИК) фокальной плоскости (FPA) с низкой задержкой и низким энергопотреблением, асинхронной интегральной схемой считывания (ROIC) и инструментом обработки, который помогает ROIC идентифицировать соответствующие пространственные и временные сигналы. Также для работы со сложными, изменяющимися фонами потребуются новые цифровые алгоритмы обработки сигналов и обучения.
В результате может получиться датчик FENCE, использующий мощность менее 1,5 Вт. Поскольку новая технология ориентирована на военные приложения, которые включают автономные машины, боевую робототехнику, поиск целей и слежение за ними, датчики должны быть гибкими и легко адаптироваться под разную технику.
«Цель - разработать умный датчик, который сможет интеллектуально уменьшить количество информации, которая передается с камеры, сузив данные для рассмотрения только до наиболее релевантных пикселей», - говорит доктор Уитни Мейсон, руководитель программы FENCE.
