Современные модели искусственного интеллекта, включая ChatGPT и Claude, умеют рассуждать, анализировать и делать прогнозы. Но, как выяснили ученые из НИУ ВШЭ, в стратегических играх они нередко переигрывают сами себя. Причина неожиданна: ИИ склонен переоценивать рациональность людей, предполагая, что его оппоненты думают логичнее и глубже, чем это происходит на практике. В результате модель выбирает «слишком умные» стратегии — и проигрывает.
Исследование, опубликованное в Journal of Economic Behavior & Organization, посвящено тому, как большие языковые модели (LLM) ведут себя в классических играх на стратегическое мышление и чем их подход отличается от человеческого.
Кейнсианский «конкурс красоты»
Чтобы понять суть эксперимента, стоит вспомнить знаменитую метафору Джона Мейнарда Кейнса. В 1930-е годы он предложил так называемый «конкурс красоты», в котором участникам показывают, например, 100 фотографий и просят выбрать шесть самых привлекательных. Побеждает не тот, кто угадал «объективную красоту», а тот, чьи выборы ближе всего к среднему мнению всех остальных.
На первый взгляд задача проста: выбери то, что нравится лично тебе. Но именно здесь большинство и ошибается. Настоящая цель — предсказать, какие лица выберет большинство участников. А еще точнее — угадать, как они будут думать о том, как думают другие. Это многоуровневое рассуждение: «что думают другие», «насколько они рациональны» и «будут ли они учитывать мысли остальных».
Именно такие эксперименты давно используются в экономике и поведенческих науках для изучения ожиданий и стратегического мышления.
Как проходил эксперимент с ИИ
Международная команда исследователей решила проверить, как в подобной ситуации поведут себя популярные ИИ-модели. В эксперименте участвовали пять LLM, включая ChatGPT-4o и Claude-Sonnet-4.
Вместо фотографий ученые использовали игру Guess the Number — одну из самых известных вариаций кейнсианского конкурса красоты. Правила таковы: каждый участник независимо выбирает число от 0 до 100. Побеждает тот, чье число ближе всего к половине (или двум третям — в зависимости от версии) среднего значения всех выбранных чисел.
Исследователи воспроизвели результаты 16 классических экспериментов с участием людей, проведенных ранее другими авторами. Перед каждым раундом ИИ получал описание правил и характеристику своих «соперников»: это могли быть первокурсники-экономисты, участники научных конференций, люди с аналитическим или интуитивным мышлением, а также игроки в определенном эмоциональном состоянии — например, раздраженные или подавленные. После этого модель выбирала число и объясняла ход своих рассуждений.
Как думает ИИ — и где он ошибается
Результаты оказались неоднозначными. С одной стороны, LLM действительно умеют подстраиваться под контекст. Они меняли свои стратегии в зависимости от возраста, образования и предполагаемого уровня подготовки оппонентов. Так, играя против участников конференций по теории игр, ИИ выбирал числа, близкие к нулю — именно такие решения обычно оказываются выигрышными среди опытных игроков. В матчах с первокурсниками модели, напротив, ожидали менее изощренных ходов и называли заметно более высокие числа.
Иными словами, элементы стратегического мышления у ИИ присутствуют. Однако ключевая проблема в том, что модели систематически переоценивают рациональность людей. Они предполагают, что участники будут мыслить логически «на несколько шагов вперед», тогда как реальные игроки часто ограничиваются одним-двумя уровнями рассуждений или вообще действуют интуитивно.
Кроме того, исследование показало, что LLM не всегда способны распознать доминирующую стратегию даже в простой игре с двумя игроками — задачу, с которой человек обычно справляется без труда.
Почему это важно для экономики и будущего ИИ
Кейнсианский конкурс красоты — это не просто интеллектуальная забава. Он давно служит моделью для объяснения колебаний цен на финансовых рынках. Брокеры покупают акции не потому, что считают их недооцененными лично, а потому что ожидают, как их оценят другие участники рынка. Побеждает тот, кто лучше угадывает чужие ожидания.
По словам исследователей, сегодня ИИ все активнее заменяет людей в бизнес-процессах, повышая экономическую эффективность. Но в задачах, связанных с принятием решений, важно, чтобы модели вели себя «по-человечески», а не идеально рационально. Именно поэтому сравнение поведения ИИ и людей становится новым и быстро развивающимся направлением исследований.
Парадоксально, но факт: чтобы лучше взаимодействовать с людьми, искусственному интеллекту иногда нужно быть менее логичным.
