Несмотря на заявления о революционности больших языковых моделей (LLM), их «интеллект» зачастую оказывается переоценённым. Один из свежих примеров — эксперимент инженера компании Citrix Роберта Дж. Карузо, который наглядно показал, что даже простейший 8-битный процессор может обыграть ИИ в шахматной партии.
Карузо решил проверить возможности ChatGPT, предложив ему сыграть в шахматы против эмулированной консоли Atari 2600, работающей на процессоре с частотой всего 1,19 МГц. Для эмуляции использовалась программа Stella и игра Video Chess — единственный шахматный релиз для этой платформы.
Как прошла игра
По словам Карузо, идея эксперимента возникла после разговора с ChatGPT об истории ИИ и шахмат. Бот сам предложил сыграть в «Atari Chess», и Карузо расценил это как вызов.
Несмотря на полученную схему шахматной доски и пояснения, ChatGPT с первых ходов начал путать фигуры, ошибался с расстановкой и не замечал простейших тактических угроз, таких как вилки пешками. Иногда бот жаловался на «абстрактные символы», используемые в игре для обозначения фигур, как на мешающий фактор.
«Я вынужден был останавливать его от глупых ходов и по несколько раз за ход поправлять понимание позиции. Это продолжалось 90 минут», — рассказал Карузо.
В какой-то момент ИИ начал просить перезапустить партию, надеясь на лучший результат, но все попытки закончились поражением. Простая 8-битная программа, способная просчитывать максимум на 1–2 хода вперёд, оказалась сильнее современного ИИ, работающего на базе мощных графических ускорителей.
Что умеют LLM и чего от них не стоит ожидать
Эксперимент Карузо стал наглядным напоминанием: большие языковые модели — это не мыслящие сущности, а сложные системы обработки текстов, которые подбирают «правильные» ответы, ориентируясь на вероятности, а не на понимание. Они не обладают знаниями, логикой или интеллектом в привычном смысле.
И уж точно — они плохо играют в шахматы.
Карузо, к слову, признался, что в детстве играл не на Atari, а на Intellivision. В будущем он планирует повторить эксперимент, предложив ChatGPT сыграть в Battle Chess на эмуляторе своего первого ПК — IBM-совместимого компьютера с процессором 80286 на 16 МГц.
