Тест Тьюринга уже давно стал одним из самых известных способов оценить, насколько искусственный интеллект способен имитировать человеческое мышление. Однако новое исследование учёных из Университета Кентербери в Новой Зеландии ставит под сомнение распространённое мнение о том, что современные языковые модели уже успешно прошли эту проверку. По мнению исследователей, проблема заключается не только в возможностях ИИ, но и в том, как именно проводят эксперименты.
Что такое тест Тьюринга и как он работает?
В 1950 году британский математик Алан Тьюринг (Alan Turing) предложил эксперимент, который должен был помочь ответить на вопрос: может ли машина демонстрировать поведение, неотличимое от человеческого?
В наиболее известном варианте теста человек общается с двумя собеседниками — другим человеком и машиной, — не зная, кто есть кто. Его задача заключается в том, чтобы определить, какой из собеседников является искусственным интеллектом.
Если машина способна убедительно имитировать человека и вводить собеседника в заблуждение, это рассматривается как свидетельство её способности воспроизводить определённые аспекты человеческого поведения.
Со временем вокруг теста сформировались привычные критерии успешного прохождения. Например, нередко используются пятиминутные беседы, а результат считается положительным, если машина обманывает определённую долю участников эксперимента.
Однако, как утверждают авторы нового исследования, эти правила не соответствуют первоначальному замыслу Тьюринга.
Почему современные эксперименты могут давать неверное представление?
Философ Диана Праудфут (Diane Proudfoot), аспирант в области компьютерных наук Шэрон Темтсин (Sharon Temtsin) и профессор Кристоф Бартнек (Christoph Bartneck) из Университета Кентербери изучили работы Тьюринга, опубликованные в период с 1948 по 1952 год, а также исторические документы и ранние интерпретации его идей.
Исследователи пришли к выводу, что некоторые особенности, которые сегодня связывают с тестом Тьюринга, в действительности не были предусмотрены его автором.
В частности, речь идёт о фиксированном ограничении продолжительности беседы и конкретном проценте участников, которых машина должна обмануть, чтобы считаться успешно прошедшей проверку.
В первоначальной концепции Тьюринга предполагалась игра с участием трёх сторон: человека, задающего вопросы, другого человека и машины. Общение должно было оставаться открытым, без заранее установленного временного лимита.
Разница принципиальна. Короткий разговор может позволить языковой модели создать убедительное впечатление благодаря быстрому и связному изложению мыслей. Но достаточно ли этого, чтобы судить о её способности поддерживать содержательную беседу на протяжении длительного времени?
При открытом формате у собеседника появляется больше возможностей проверять ответы, задавать уточняющие вопросы, менять тему и выяснять, насколько последовательно система рассуждает.
Как учёные проверили GPT-4-Turbo?
Чтобы проверить свою интерпретацию на практике, исследователи провели эксперимент с использованием GPT-4-Turbo — языковой модели, разработанной компанией OpenAI.
Участники свободно общались с человеком и искусственным интеллектом, не зная, кто из них является машиной. Они могли продолжать беседу столько, сколько считали необходимым для принятия решения.
Результаты оказались показательными:
- 37 участников приняли участие в эксперименте.
- 36 человек, или около 97%, правильно определили GPT-4-Turbo.
- 33 участника, или примерно 89%, потратили на принятие решения более пяти минут.
- Средняя продолжительность разговора составила 14 минут.
- Самая продолжительная беседа длилась 46 минут.
Таким образом, почти все участники смогли распознать искусственный интеллект, когда им предоставили достаточно времени для общения.
Особенно важно, что большинство испытуемых не ограничились коротким разговором. Это позволяет предположить, что пятиминутный тест не всегда даёт достаточно времени для полноценной оценки возможностей языковой модели.
Результаты исследования опубликованы в журнале Philosophy of Science в статье «Почему никто не реализовал тест Тьюринга: определение замысла Тьюринга и его практическая проверка» (Why No One Has Implemented the Turing Test: Identifying Turing's Design and Putting it into Practice).
Означает ли это, что искусственный интеллект не умеет мыслить?
Авторы исследования считают, что на сегодняшний день нет убедительных доказательств того, что какая-либо большая языковая модель прошла тест Тьюринга в соответствии с первоначальным замыслом его создателя.
Однако этот вывод не следует понимать как доказательство неспособности ИИ мыслить или решать сложные задачи.
Во-первых, эксперимент проводился с GPT-4-Turbo, поэтому его результаты нельзя автоматически распространять на все современные модели. Более новые системы могут демонстрировать иные способности.
Во-вторых, тест Тьюринга оценивает прежде всего то, насколько убедительно машина имитирует человеческое поведение в разговоре. Он не даёт универсального ответа на вопрос, обладает ли система интеллектом в том же смысле, что и человек.
Например, языковая модель может успешно объяснять научные концепции, писать программы и анализировать большие объёмы информации, но при этом выдавать противоречивые ответы в продолжительной беседе. И наоборот, способность поддерживать естественный разговор сама по себе ещё не доказывает глубокого понимания обсуждаемой темы.
По словам Кристофа Бартнека (Christoph Bartneck), открытый формат теста позволяет проверяющему выяснять, действительно ли система разбирается в обсуждаемом вопросе, а не просто генерирует правдоподобные ответы.
Почему это исследование важно для развития ИИ?
По мере совершенствования языковых моделей всё труднее становится оценивать их возможности с помощью простых тестов. Если проверка слишком короткая или её критерии не отражают поставленную задачу, результаты могут создавать преувеличенное представление о способностях системы.
Работа новозеландских исследователей напоминает о необходимости различать внешнее сходство с человеческим поведением и реальные функциональные возможности искусственного интеллекта.
Тест Тьюринга остаётся важной частью истории компьютерных наук, но его результаты следует интерпретировать с учётом первоначальной концепции и ограничений конкретного эксперимента.
Главный вывод исследования заключается не в том, что искусственный интеллект оказался неспособен имитировать человека. Учёные утверждают другое: прежде чем объявлять машину прошедшей знаменитый тест, необходимо убедиться, что сама проверка действительно соответствует критериям, которые предложил Алан Тьюринг.
