Если вы когда-либо пытались говорить с чат-ботами, то знаете, насколько они глупы. Даже самые современные системы теряют нить разговора, а когда не знают что сказать - выдают бессмысленные общие ответы. Однако Google утверждает, что ему удалось создать чат-бота, который ведет беседы, практически неотличимые от осмысленного диалога.
Бот называется Meena. Разработчики уверяют, что он совершеннее любого другого “разговорчивого” искусственного интеллекта. Для проверки они используют специальную новую метрику, разработанную специально для измерения разговорных способностей ИИ.
Суть методики заключается в человеческой оценке. Разработчики попросили сотрудников Google провести по 100 бесед с Meena в свободной форме. После каждого ответа бота человек должен был оценивать реакцию. Во-первых, он должен был оценить, насколько логичным был ответ бота и насколько он вписывался в контекст предыдущей беседы. Второй вопрос - насколько конкретным был ответ в контексте разговора. Это должно было отбраковать любые обобщенные ответы. Например, если человек писал, что ему нравится теннис, а чат-бот отвечал: “Это хорошо”, ответ отмечался как “не конкретный”.
Интересно, что по тому же методу тестировались не только боты, но и люди. Выяснилось, что ответы среднестатистического человека проходят проверку и оказываются логичными и конкретными в 86% случаев. Большинство чат-ботов, существующих на сегодняшний день, набирает от 31% до 56%. Ответы бота Google Meena проходят проверку в 79% случаев. Это еще не идеально, но уже довольно близко к тому уровню достоверности, какой можно ожидать от живого человека. Учитывая такую динамику, стоит ожидать, что к 2021 году мы получим первого бота, которого в переписке практически невозможно будет отличить от человека.
Процесс создания человекоподобного бота подробно описан в статье Google Research Team.
