Даже самые продвинутые системы искусственного интеллекта порой напоминают очень способного, но не слишком внимательного помощника: подробно объясняешь, чего хочешь, а в ответ получаешь результат, который формально связан с заданием, но совершенно не соответствует замыслу.
Исследователи из Корейского передового института науки и технологий (KAIST) совместно с Microsoft Research Asia разработали систему, которая позволяет искусственному интеллекту замечать такую ошибку без словесного объяснения со стороны человека. Для этого ученые анализируют электрическую активность мозга и по характерным сигналам определяют, что именно пошло не так: ИИ неправильно понял конечную цель или выбрал не тот способ ее достижения.
Технология получила название Neural Value Alignment (NVA) — «нейронное согласование ценностей». Она использует электроэнцефалографию (ЭЭГ), чтобы получать обратную связь непосредственно от мозга человека и передавать ее алгоритму принятия решений.
Почему ИИ не всегда понимает человека
Для человека намерения собеседника часто очевидны из контекста. Для машины все гораздо сложнее.
Представим, что домашнему роботу говорят: «Принеси мне что-нибудь попить». Человек хочет воду, а робот приносит кофе. Вроде бы команда выполнена — напиток доставлен, — но настоящая цель не достигнута.
Однако возможна и обратная ситуация. Робот правильно понял, что нужна вода, но решил набрать ее из-под крана, хотя человек ожидал, что он просто возьмет бутылку со стола. Конечный результат тот же, но сам способ действия оказался неожиданным.
Исследователи называют эту проблему неоднозначностью между целью и действием (goal-action ambiguity). Одно и то же действие может преследовать совершенно разные цели, а одной цели можно достичь несколькими способами. Например, человек берет чашку — чтобы выпить, помыть ее, переставить на другое место или передать другому человеку.
Поэтому наблюдать только за действиями недостаточно. Нужно каким-то образом выяснить, совпадает ли результат с тем, что человек действительно хотел получить.
Как работает Neural Value Alignment
Идея ученых основана на способности мозга постоянно прогнозировать, что произойдет дальше. Когда реальный результат расходится с ожиданием, в мозге возникают характерные электрические реакции.
Исследователи сосредоточились на двух типах таких сигналов: ошибке предсказания вознаграждения (reward prediction error, RPE) и ошибке предсказания состояния (state prediction error, SPE).
На первый взгляд названия похожи, но они указывают на разные проблемы.
RPE возникает, когда искусственный интеллект неправильно понял саму цель. Например, человек просит робота принести воды, а тот приносит кофе. Результат не соответствует желаемому.
SPE появляется, когда конечная цель выбрана правильно, но ИИ действует не так, как ожидал человек. Робот приносит воду — значит, цель достигнута, — однако делает это неожиданным способом.
Получается почти идеальная система обратной связи: мозг способен сообщить машине нечто вроде «нет, я хотел другое» или «да, это то, что нужно, но зачем ты сделал это именно так?». Причем человеку не обязательно произносить эти слова вслух.
Что считывает электроэнцефалография
Для регистрации сигналов ученые использовали ЭЭГ — электроэнцефалографию. Это неинвазивный метод, при котором электрическая активность мозга регистрируется с помощью электродов, расположенных на поверхности головы.
ЭЭГ не «читает мысли» в привычном смысле. Система не получает из мозга готовое предложение вроде «я хотел воду». Она ищет определенные особенности электрической активности и с помощью машинного обучения связывает их с конкретными типами реакции.
В экспериментах исследователи получили разные паттерны мозговой активности при RPE, SPE и одновременном возникновении обоих сигналов. Затем для анализа этих данных применили глубокое обучение.
В результате алгоритм смог определить, столкнулся ли человек с ошибкой в цели, ошибкой в способе действия или с обоими типами несоответствия одновременно.
ИИ может корректировать свои действия
Следующий шаг оказался еще интереснее. Ученые не ограничились классификацией мозговых сигналов, а встроили расшифрованную нейронную информацию непосредственно в систему принятия решений.
Получился алгоритм, который исследователи назвали Neural Value Alignment-based human–AI synergy — алгоритм взаимодействия человека и ИИ на основе нейронного согласования ценностей.
Система использует мозговые сигналы как обратную связь. Если человек демонстрирует реакцию, соответствующую ошибке цели или действия, ИИ получает информацию о характере проблемы и может скорректировать дальнейшее поведение.
Именно здесь эксперимент выходит за рамки обычного интерфейса «человек → команда → машина». В традиционной системе человек сначала формулирует инструкцию, затем наблюдает результат и, если что-то пошло не так, дает новую команду. NVA потенциально позволяет сократить этот цикл: машина получает дополнительный канал обратной связи непосредственно от мозга.
Где это может пригодиться
Такая технология интересна прежде всего там, где человеку и машине приходится постоянно принимать совместные решения.
Например, домашний робот в будущем сможет определить, что неправильно понял намерение владельца, и изменить план действий еще до того, как тот успеет сформулировать новую команду.
Еще более серьезные перспективы открываются в промышленной робототехнике. Если робот взаимодействует с человеком в сложной рабочей среде, возможность быстро получать информацию о правильности его действий может повысить эффективность такого сотрудничества.
Похожий принцип потенциально применим к автономным автомобилям, медицинским и реабилитационным роботам, а также образовательным системам, которые должны адаптироваться к состоянию учащегося. Особенно интересны медицинские сценарии для людей, которым трудно говорить или выполнять обычные движения.
Руководивший исследованием профессор Сан Ван Ли (Sang Wan Lee) отметил, что работа показывает возможность для ИИ получать информацию не только из наблюдаемого поведения человека, но и из когнитивных сигналов, возникающих непосредственно во время взаимодействия.
До настоящего «чтения мыслей» еще далеко
Несмотря на эффектную формулировку, называть NVA полноценным чтением мыслей было бы неправильно.
Главное ограничение эксперимента заключается в том, что система пока была продемонстрирована в симуляциях, а не на автономном роботе, который свободно перемещается по дому и непрерывно анализирует ЭЭГ человека в реальных условиях.
Есть и практическая проблема. Электрические сигналы мозга чрезвычайно малы и подвержены шуму. Электроды необходимо правильно разместить, а движения человека и окружающие помехи могут усложнить регистрацию данных.
В лаборатории человек может выполнять строго определенную задачу в контролируемых условиях. В реальном мире все иначе: человек ходит, разговаривает, отвлекается, меняет позу, одновременно выполняет несколько действий. Сможет ли система надежно отличать нужные сигналы от всего этого «электрического шума» — еще предстоит выяснить.
Исследование опубликовано в журнале IEEE Transactions on Cybernetics.
Следующий шаг — научить машины лучше понимать намерения
Главная ценность Neural Value Alignment заключается не в том, что ученые создали устройство, способное буквально читать мысли. До такой технологии пока очень далеко.
Гораздо интереснее другое: исследователи нашли способ превратить неосознанную реакцию мозга в дополнительный канал обратной связи для искусственного интеллекта. Это может помочь решить одну из фундаментальных проблем взаимодействия человека и машины — разрыв между тем, что человек сказал, и тем, чего он на самом деле хотел добиться.
Если технология окажется достаточно надежной в реальных условиях, будущему роботу может быть не обязательно каждый раз спрашивать: «Я правильно понял?» Возможно, часть ответа он сможет получить непосредственно из реакции мозга человека.
Пока это лишь лабораторная демонстрация. Но сама идея выглядит многообещающе: вместо того чтобы заставлять человека бесконечно уточнять инструкции для ИИ, можно научить машину внимательнее прислушиваться к тому, что происходит по другую сторону интерфейса.
