Проблема точности работы искусственного интеллекта (ИИ) остаётся одной из главных для разработчиков. Ошибочные ответы, так называемые «галлюцинации» и уверенность в ложной информации – всё это давно обсуждается экспертами. Однако до сих пор не было точных данных, которые бы определяли степень достоверности таких систем. Недавнее исследование, проведённое Tow Center for Digital Journalism, даёт более чёткую картину.
Учёные протестировали восемь ИИ-поисковиков, включая ChatGPT Search, Perplexity, Perplexity Pro, Gemini, DeepSeek Search, Grok-2 Search, Grok-3 Search и Copilot. Они оценивали точность выдачи и фиксировали случаи, когда ИИ отказывался отвечать.
В рамках эксперимента исследователи выбрали 200 новостных статей от 20 различных изданий. Для каждой статьи использовали цитату, которая входила в топ-3 результатов при поиске в Google. Затем аналогичный запрос вводился в ИИ-поисковики, после чего проверяли, правильно ли указаны источник, издание и ссылка на оригинальный материал.
Результаты оказались неутешительными: в среднем ИИ-поисковики выдавали неточные данные в 60% случаев. Исключение составили лишь обе версии Perplexity, показавшие более высокую точность. Однако большинство систем не просто ошибались, но и с полной уверенностью представляли неверную информацию как достоверную.
Этот вывод подтверждает давние опасения экспертов. Как отмечает писатель Тед Джоя, ИИ-модели ведут себя как «самые ловкие мошенники», выдавая ложные данные с полной уверенностью. В его статье за 2023 год приводятся десятки примеров того, как ChatGPT уверенно предоставлял недостоверные сведения.
Согласно исследованию, ChatGPT Search единственный дал ответ на все 200 запросов, но полностью точным был лишь в 28% случаев, тогда как 57% ответов оказались совершенно неверными. Тем не менее, худшими в тесте стали версии Grok AI от X – у Grok-3 Search доля неточных ответов достигла 94%. Не лучшим образом показал себя и Microsoft Copilot: он отказался отвечать на 104 запроса, а из оставшихся 96 полностью точными были лишь 16.
Примечательно, что разработчики этих ИИ-систем не раскрывают данные о точности своих продуктов, при этом предлагая платный доступ стоимостью от $20 до $200 в месяц. Интересно, что версии Perplexity Pro ($20/месяц) и Grok-3 Search ($40/месяц) давали больше правильных ответов, чем их бесплатные аналоги, но при этом чаще ошибались.
Однако не все пользователи негативно оценивают ИИ-поисковики. Так, обозреватель TechRadar Лэнс Уланофф заявил, что после тестирования ChatGPT Search он может полностью отказаться от Google. По его мнению, инструмент работает быстро, обладает высокой осведомлённостью и точностью, а также предлагает удобный, незагромождённый рекламой интерфейс.
