Искусственный интеллект может быстро найти информацию о маршруте, составить список вещей или ответить на вопрос о продолжительности поездки. Но когда речь идет о потенциально опасных условиях, одна уверенная ошибка чат-бота способна превратиться из курьезной неточности в серьезную проблему.
Именно это произошло с тремя молодыми альпинистами, которые решили использовать Google Gemini для подготовки к восхождению на гору Шаста (Mount Shasta) в Калифорнии. Нейросеть оценила продолжительность подъема всего в восемь часов. На практике группе потребовалось около 16 часов только для того, чтобы добраться до вершины. В результате путешествие закончилось значительно позже расчетного времени, разряженным телефоном и необходимостью обращаться за помощью.
История наглядно показывает слабое место современных AI-систем: убедительный ответ далеко не всегда означает правильный ответ.
Как Gemini ошибся с маршрутом
Для подготовки к походу группа использовала сразу несколько источников — Google Gemini, YouTube и приложение AllTrails. Gemini применяли в том числе для изучения маршрута, а также спрашивали у него рекомендации относительно еды и воды.
Главная ошибка возникла уже на этапе оценки продолжительности восхождения. Gemini сообщил, что подъем на Шасту займет около восьми часов. Ориентируясь на эту оценку, путешественники рассчитывали на сравнительно короткий маршрут и соответствующим образом подготовились.
Нейросеть также рекомендовала сделать упор на простые углеводы, объяснив это тем, что жирная пища дольше переваривается. Группа последовала рекомендации и взяла запас воды, рассчитанный на предполагаемую продолжительность маршрута.
Проблема заключалась не столько в отдельном совете о питании, сколько в общей картине: оценка AI стала одним из факторов, повлиявших на подготовку к реальному горному маршруту.
Восхождение оказалось вдвое дольше
29 августа группа разбила базовый лагерь возле истоков Клир-Крик (Clear Creek). На следующий день, около трех часов ночи, альпинисты начали подъем.
Однако вместо восьми часов дорога до вершины заняла примерно 16 часов. На вершину они вышли около 19:00 30 августа — примерно через четыре часа после рекомендованного времени разворота, которое составляло полдень.
К этому моменту первоначальные расчеты уже перестали иметь практический смысл. Продолжительность маршрута оказалась вдвое больше оценки Gemini, а группа продолжала находиться в горах значительно дольше ожидаемого.
Дальше ситуация осложнилась еще сильнее. Телефон, использовавшийся для навигации через AllTrails, разрядился. Наступила темнота, а один из участников, стараясь экономить заряд налобного фонаря, получил травму колена на высоте около 11 500 футов — примерно 3500 метров.
Когда прогноз AI уже ничего не решает
У группы возникла вполне практическая проблема: запасов еды и воды было недостаточно для неожиданно затянувшегося пребывания в горах, а также не хватало подходящих условий для безопасной ночевки.
В итоге альпинисты позвонили в службу 911 и попросили помощи с навигацией. Спасателям пришлось добираться до них в сложных условиях. Две попытки эвакуации вертолетом сорвались из-за сильного ветра.
Лишь около 9:30 утра 31 августа сотрудники лесной службы смогли добраться до группы.
Позднее сами альпинисты признали главную причину случившегося: они слишком сильно положились на искусственный интеллект и недостаточно критически оценили полученную информацию.
Почему искусственный интеллект может ошибаться даже в простых вопросах
В этой истории особенно показательно то, что Gemini не совершил какой-то невероятной математической ошибки. Проблема гораздо фундаментальнее.
Большая языковая модель формирует ответы на основе закономерностей в данных, которые она анализировала во время обучения, а современные AI-системы могут также использовать информацию из интернета. Но это не превращает их в специалистов, способных самостоятельно оценить физическое состояние маршрута, погодные условия, особенности конкретной группы или все возможные изменения обстановки.
Для нейросети вопрос «сколько времени занимает восхождение?» выглядит как обычный запрос на получение информации. Для человека, находящегося в горах, это совсем другой вопрос. Реальное время зависит от множества обстоятельств, которые невозможно надежно свести к одной цифре.
Именно поэтому особенно опасны ответы AI, которые звучат конкретно и уверенно. Пользователь может принять такую уверенность за признак достоверности.
AI не заменяет профессиональные источники
История с Шастой относится к более широкой проблеме использования чат-ботов в ситуациях, где цена ошибки высока.
За последнее время появлялись и другие случаи, когда люди следовали рекомендациям искусственного интеллекта, а затем сталкивались с неприятными последствиями. TechSpot приводит в качестве примера фермера, который воспользовался советами чат-бота по борьбе с сорняками и вредителями, после чего потерял урожай на площади 25 акров.
Общий принцип здесь довольно прост: AI может быть полезным инструментом для поиска и обработки информации, но его ответ нельзя автоматически считать экспертной рекомендацией.
Особенно это касается медицины, навигации, безопасности, права, финансов и любых ситуаций, где ошибка может привести к реальному ущербу.
В каком-то смысле история на горе Шаста — не столько история о «плохом» искусственном интеллекте, сколько о неправильном распределении доверия между человеком и машиной.
Gemini мог помочь собрать сведения о маршруте, сопоставить разные источники или сформулировать вопросы для дальнейшего поиска. Но окончательная оценка безопасности и подготовка к сложному маршруту должны опираться на специализированные и актуальные источники, а не на единственный ответ чат-бота.
Самое важное здесь даже не то, что AI ошибся. Ошибаться могут и люди, и справочники, и карты. Проблема возникает тогда, когда непроверенный ответ превращается в основу решения, последствия которого уже нельзя исправить одним новым запросом к нейросети.
Современные чат-боты становятся все убедительнее. И именно поэтому способность критически оценивать их ответы становится не менее важной, чем способность правильно задавать им вопросы.
