Современные чат-боты на базе искусственного интеллекта встречаются повсюду — от мобильных приложений до систем поддержки клиентов и поисковых сервисов. Но что произойдёт, если такие системы переоценивают свои возможности?
Чат-боты и люди: кто самоувереннее?
В рамках исследования учёные сравнили самооценку четырёх крупных языковых моделей (LLM) — ChatGPT, Bard/Gemini, Sonnet и Haiku — с оценками людей. Участникам предлагали предсказать исход матчей НФЛ и церемонии вручения «Оскара», ответить на вопросы викторины и сыграть в аналог Pictionary, где нужно было угадывать, что изображено на рисунках.
И люди, и ИИ демонстрировали склонность к переоценке своих возможностей до выполнения заданий. При этом уровень успешности в выполнении заданий оказался примерно одинаковым.
Однако различие проявилось после завершения заданий: люди скорректировали свои оценки ближе к реальному результату, тогда как LLM напротив — становились ещё более уверенными, даже при низких показателях. Как отмечает Трент Кэш, ведущий автор исследования и выпускник Карнеги-Меллоновского университета, «ИИ продолжал демонстрировать переоценку, даже когда явно не справлялся с задачей».
Уверенность без оснований
Исследование проходило в течение двух лет, что позволило охватить обновлявшиеся версии языковых моделей. Это делает выводы более надёжными, так как переоценка себя была выявлена в разных версиях ИИ.
«Проблема в том, что если ИИ отвечает с уверенностью, даже ошибочно, пользователи могут воспринять его слова как истину», — говорит профессор Дэнни Оппенгеймер, соавтор исследования.
Он отмечает, что люди с детства учатся распознавать сигналы неуверенности в собеседниках — например, заминки или выражение лица. Но в общении с ИИ таких невербальных сигналов нет, и это может ввести пользователя в заблуждение.
Хотя предсказания ИИ в викторинах и футбольных матчах могут казаться безобидными, исследование подчёркивает риски интеграции LLM в повседневную жизнь.
Так, исследование BBC показало, что более половины ответов LLM на вопросы о новостях содержали серьёзные ошибки: искажения фактов, неправильные ссылки на источники и вводящий в заблуждение контекст. А другое исследование 2023 года зафиксировало «галлюцинации» — т.е. вымышленные данные — в 69–88% юридических запросов к ИИ.
Оппенгеймер отмечает: если бы вопрос касался, скажем, численности населения Лондона, ИИ дал бы точный ответ. Но вопросы о будущем или субъективных вещах (например, угадывание изображений) вскрывают слабость ИИ — неспособность к метакогниции, то есть пониманию собственных мыслительных процессов.
«Пока неясно, как именно ИИ оценивает свою уверенность, но, по-видимому, рефлексии в привычном для человека смысле у него нет», — добавил он.
Полное отсутствие самокритики
В ходе визуальной игры ChatGPT-4 показал результат, сопоставимый с людьми: в среднем 12,5 правильных ответов из 20. Модель Gemini угадала менее одного изображения — всего 0,93 — но при этом была уверена, что правильно ответила на 14,4. Это демонстрирует не только низкую точность, но и полное отсутствие самокритики.
«Gemini была просто ужасна в Pictionary. Но ещё хуже было то, что она об этом не знала. Как друг, который уверен, что отлично играет в бильярд, но не попадает ни по одному шару», — говорит Кэш.
Кэш подчёркивает: важно помнить, что языковые модели не всегда правы. Хорошая практика — спрашивать ИИ, насколько он уверен в своём ответе. Если уверенность низкая, вероятно, и ответ ненадёжен.
Исследователи предполагают, что со временем, при наличии достаточного объёма данных, ИИ может научиться лучше понимать свои пределы. «Если LLM сможет понимать, когда ошибся, это решит множество проблем. Иногда кажется, что LLM не учатся на своём опыте. И, может быть, в этом есть нечто гуманистическое. Возможно, в человеческом обучении и общении есть что-то уникальное», — заключает Кэш.
Исследование опубликовано в журнале Memory & Cognition.
