Исследователи из Национального университета Сингапура и Китайского университета Гонконга утверждают, что создали ИИ, который может сгенерировать «качественное» видео из сигналов мозга.
Как объясняют исследователи в своей статье, модель ИИ, получившая название MinD-Video, обучается по общедоступным данным показаний МРТ - в частности, по данным, взятым из случаев, когда человеку показывали видео во время записи его мозговой активности. За генерацию потока картинок при этом отвечает нейросеть, аналогичная Stable Diffusion. Но если Stable Diffusion генерирует картинки по текстовому описанию, то в данном случае роль текстовых инструкций выполняют расшифрованные сигналы мозга.
В ходе тестов испытуемым добровольцам показывали короткие видео, а ИИ должен был воссоздавать эти видео, считывая сигналы мозга людей с помощью МРТ. Система не обладала никакими сведениями о видеоролике, а ориентировалась исключительно на показания МРТ. В результате модель смогла реконструировать видео со средней точностью 85 процентов, основываясь на «различных семантических и пиксельных метриках».
«Понимание информации, скрытой в нашей сложной мозговой деятельности, является сложной головоломкой когнитивной нейробиологии. Мы демонстрируем, что высококачественные видео произвольной частоты кадров могут быть реконструированы с помощью Mind-Video», - говорится в статье.
Новое исследование основано на предыдущих усилиях исследователей по использованию ИИ для воссоздания изображений путем анализа мозговых волн. Воссозданные ИИ видео не идеальны, но результат все равно впечатляет, если сравнивать их с оригинальными роликами. Например, видео, изображающее толпу людей на оживленной улице, превратилось в такую же многолюдную сцену, хотя и с более яркими красками. Подводная съемка с разноцветными рыбами превратилась в еще более яркую подводную сцену. С образцами видео можно ознакомиться на сайте разработчиков Mind-Video.
Впрочем, результаты все еще далеки от совершенства. Например, медузы и черепахи в в оригинальных видео могут случайным образом превращаться в рыб при реконструкции. Так что мы все еще далеки от будущего, в котором можно будет надеть шлем и получить совершенно точную визуализацию того, что творится у нас в голове.
И, пожалуй, это даже к лучшему.
