Бионический глаз будущего должен уметь гораздо больше, чем обычная камера. Ему недостаточно сформировать изображение и передать огромный поток данных на внешний компьютер — система должна самостоятельно понимать, что происходит перед ней, выделять важные изменения и сохранять нужную информацию.
Исследователи Королевского технологического университета Мельбурна (RMIT University) разработали прототип нейроморфной системы зрения, которая объединяет сенсор, память и обработку информации в одном устройстве. В основе технологии лежит сверхтонкий полупроводник — дисульфид молибдена (MoS₂). По замыслу авторов, такой подход однажды может стать основой «умного» бионического глаза, способного работать с изображением при значительно меньшем энергопотреблении.
Почему обычной камеры недостаточно?
Обычная цифровая камера работает по довольно простой схеме: матрица регистрирует изображение, после чего данные передаются в память и далее — процессору, который выполняет необходимые вычисления.
Для человека такой подход кажется естественным. Но если попытаться построить искусственную систему зрения, работающую с огромным количеством информации в реальном времени, возникает проблема: данные постоянно приходится перемещать между различными электронными компонентами.
Каждый кадр содержит большое количество информации, причём далеко не вся она действительно важна. Если человек смотрит на неподвижную комнату, ему вовсе не нужно каждую миллисекунду заново анализировать каждый пиксель. Гораздо полезнее заметить, например, что в поле зрения появился новый объект или что что-то изменило положение.
Именно здесь биологическое зрение оказывается гораздо эффективнее традиционной электроники. Глаз и мозг работают как единая система: информация обрабатывается по мере её поступления, а не сначала полностью записывается, а затем передаётся куда-то ещё для анализа.
Сенсор, память и процессор в одном месте
Именно этот принцип исследователи RMIT попытались перенести в электронику.
Их прототип объединяет съём информации, её хранение и обработку. Вместо постоянной передачи необработанного видеопотока на отдельный процессор система способна выполнять часть вычислений непосредственно там, где информация возникает.
Размер самого чипа составляет всего 2 × 2 сантиметра. Он установлен в экспериментальном корпусе размером 15 × 14 × 3 сантиметра, содержащем дополнительную электронику для считывания, обработки и передачи данных.
В лабораторных экспериментах устройство научили распознавать различные паттерны — в частности, числа, геометрические формы и движения.
При этом речь идёт не просто о светочувствительном сенсоре. Система способна обнаружить изменение в наблюдаемой сцене, сохранить соответствующую информацию и выполнить её обработку непосредственно на месте.
Как работает нейроморфное зрение?
Термин «нейроморфный» означает, что электронная система построена по принципам, напоминающим работу биологических нервных сетей.
Обычный компьютер разделяет память и вычислительный процессор. Данные постоянно перемещаются между ними, что требует времени и энергии.
В нейроморфной архитектуре стремятся сократить эту зависимость. Электронный элемент может одновременно участвовать в регистрации сигнала, его преобразовании и хранении определённого состояния.
Условно такую систему можно представить как устройство, которое не просто «видит пиксель», но сразу решает, изменилось ли что-нибудь важное и что именно стоит запомнить.
Для бионического глаза это особенно интересно. Если система сможет самостоятельно отбрасывать ненужную информацию ещё на этапе восприятия, внешнему процессору не придётся постоянно обрабатывать полный поток данных.
Роль дисульфида молибдена
Основой разработки стал двумерный материал дисульфид молибдена (MoS₂) — полупроводник, состоящий из чрезвычайно тонкого слоя атомов.
Такие материалы давно привлекают внимание исследователей электроники благодаря необычным электрическим и оптическим свойствам. В данном проекте они помогают создать компактные элементы, способные одновременно взаимодействовать со светом и участвовать в обработке информации.
Предыдущие исследования команды RMIT уже были посвящены сверхтонким полупроводниковым материалам для нейроморфного зрения и энергоэффективного искусственного интеллекта. Новая работа добавляет ещё один важный компонент — более технологичный способ изготовления таких устройств.
Почему производство оказалось не менее важным?
Даже самый интересный материал бесполезен для массовой электроники, если из него слишком сложно изготавливать стабильные устройства.
Поэтому исследователи отдельно занялись технологией производства. Они разработали водный процесс переноса сверхтонких полупроводников и электродов, позволяющий получать более чистые интерфейсы с меньшим количеством дефектов.
Это улучшило электрические характеристики устройств и их способность воспринимать свет.
Иными словами, исследователи работали сразу над двумя проблемами: как сделать электронику более похожей на биологическую систему и как научиться производить необходимые компоненты с достаточным качеством. Результаты этой части работы опубликованы в журнале ACS Applied Materials & Interfaces.
Каким может стать бионический глаз?
Представим обычную видеокамеру. Она видит практически всё, что попадает в объектив, а дальше передаёт поток информации на другие компоненты системы.
Теперь представим искусственный глаз, который действует несколько иначе.
Он замечает появившийся объект, фиксирует движение, определяет изменение освещения и сохраняет только те данные, которые действительно имеют значение. При этом значительная часть обработки выполняется непосредственно внутри сенсорной системы.
Именно такой принцип может оказаться полезным для бионического зрения. Искусственному глазу пришлось бы работать с большим потоком визуальной информации, одновременно ограничивая энергопотребление. Для имплантируемого устройства это особенно критично: лишняя электроника и постоянная передача больших объёмов данных означают дополнительный расход энергии.
Однако до настоящего имплантируемого «умного глаза» ещё очень далеко. Сейчас речь идёт о лабораторном прототипе, а не о готовом медицинском устройстве. Сами исследователи подчёркивают, что практические применения находятся на горизонте нескольких лет.
Не только бионические глаза
Потенциал технологии выходит далеко за пределы медицинских устройств.
Такая архитектура может пригодиться в роботах, автономных автомобилях, интеллектуальных камерах и других системах машинного зрения.
Причина всё та же: чем больше камер и сенсоров получает машина, тем больше информации приходится передавать и обрабатывать. Если часть анализа выполнять непосредственно в сенсоре, поток данных можно существенно сократить.
Для автономного автомобиля, например, не обязательно передавать на центральный компьютер каждый необработанный сигнал от каждой камеры. Гораздо эффективнее, если сенсорная система сама сможет быстро выделить движение объекта или изменение окружающей сцены и сообщить об этом центральному процессору. Получается своеобразная «предварительная обработка на месте», вдохновлённая устройством человеческой нервной системы.
Меньше данных — меньше энергии
У этой идеи есть ещё одно важное следствие.Современный искусственный интеллект требует огромных вычислительных ресурсов. Центры обработки данных потребляют всё больше энергии, а значительная часть нагрузки связана не только с самими вычислениями, но и с перемещением, хранением и обработкой больших массивов данных.
Нейроморфная электроника предлагает другой путь: не передавать лишнюю информацию вообще.
Если сенсор способен самостоятельно обработать сигнал и отправить дальше только результат, сокращается объём данных, который необходимо хранить и передавать. А значит, потенциально уменьшается и энергопотребление всей системы.
По словам руководителя проекта профессора Сумита Валиа (Sumeet Walia), конечная цель заключается в создании интеллектуальных систем, которые одновременно остаются мощными и более экономичными.
До искусственного зрения человека ещё далеко
Название «бионический глаз» звучит впечатляюще, но важно понимать, насколько сложна задача.
Человеческое зрение — это не просто камера с процессором. Глаз, зрительный нерв и мозг образуют единую систему, способную обнаруживать объекты, оценивать движение, выделять важные детали и связывать визуальную информацию с памятью и предыдущим опытом.
Прототип RMIT пока воспроизводит лишь отдельные принципы этой архитектуры. Он умеет распознавать определённые паттерны и обрабатывать визуальные изменения непосредственно на уровне устройства, но до полноценного искусственного аналога человеческой зрительной системы ещё очень далеко.
Тем не менее направление выглядит многообещающим. Если сенсор действительно сможет одновременно видеть, запоминать и обрабатывать информацию, граница между камерой и компьютером начнёт постепенно исчезать.
Возможно, именно такой подход и станет основой следующего поколения машинного зрения: вместо камеры, которая просто передаёт изображение компьютеру, появится электронный «глаз», который уже на этапе восприятия понимает, что перед ним происходит.
