Люди всё чаще обращаются к большим языковым моделям (LLM) не только за информацией, но и за эмоциональной поддержкой. Пользователи обсуждают с чат-ботами личные переживания, трудности в отношениях и потерю близких. Однако насколько хорошо искусственный интеллект понимает человеческие эмоции и что именно позволяет ему отвечать с сочувствием?
Исследователи из Технологического института Джорджии (Georgia Institute of Technology) разработали нейросетевую методику, которая помогает выяснить, какие данные формируют социальные навыки языковых моделей и влияют на их способность проявлять эмпатию. Новый подход может сделать поведение ИИ более понятным и помочь разработчикам целенаправленно улучшать его ответы в эмоционально сложных ситуациях.
Как работает новая методика анализа ИИ
Большие языковые модели обучаются на огромных массивах текстов: книгах, статьях, диалогах, документах и других материалах. В процессе обучения они усваивают закономерности языка, учатся отвечать на вопросы и воспроизводить различные стили общения. Но определить, какие именно источники повлияли на конкретный ответ, непросто.
Исследователи из Джорджии предложили методику, которая позволяет проследить связь между обучающими данными и поведением нейросети. Она помогает оценить, какие документы, стенограммы разговоров и другие материалы вносят наибольший вклад в формирование определённых навыков модели.
«Мы пытаемся связать данные с результатами работы модели, чтобы понять, откуда берётся информация, которую она выдаёт», — объясняет Гленн Матлин (Glenn Matlin), аспирант Школы интерактивных вычислений и ведущий автор исследования.
Такой подход особенно важен для изучения социальных навыков. Когда чат-бот отвечает на вопрос о человеческих эмоциях, имеет значение не только то, какие определения он усвоил, но и то, насколько хорошо научился распознавать чувства в конкретном разговоре.
Почему живые диалоги важнее учебников
Один из ключевых выводов исследования заключается в том, что способность языковых моделей рассуждать о социальных ситуациях во многом зависит от характера обучающих материалов.
Если ответы модели звучат объективно и нейтрально, это может указывать на значительное влияние справочных и учебных текстов. Более эмпатичный стиль, напротив, может свидетельствовать о том, что существенную роль сыграли примеры межличностного общения.
По словам Матлина, модели лучше осваивают социальные навыки благодаря диалогам — например, перепискам с вопросами и ответами или разговорам со службой поддержки. Такие материалы демонстрируют не просто описание эмоций, а то, как они проявляются в реальном общении.
В этом заключается принципиальная разница. Учебник может подробно объяснить, что такое гнев, какие существуют его причины и как он влияет на поведение человека. Но этого недостаточно, чтобы уверенно определить, сердится ли собеседник в конкретной ситуации. Для этого полезнее изучать контекст разговора, формулировки, реакции и особенности взаимодействия между людьми.
Иными словами, знание теории эмоций не равнозначно умению распознавать их в живом общении. Этот принцип справедлив и для искусственного интеллекта.
Как исследование поможет улучшить языковые модели
Понимание того, какие данные формируют поведение нейросети, открывает возможности для более точной настройки ИИ.
Научный руководитель Матлина, профессор Марк Ридл (Mark Riedl), отмечает, что разработчики смогут целенаправленно менять состав обучающих материалов, если выяснят, какие из них способствуют развитию определённых навыков.
Например, если анализ покажет, что способность проявлять эмпатию во многом формируется благодаря диалогам с эмоционально чуткими ответами, разработчики смогут увеличить долю подобных примеров в обучающей выборке. Одновременно можно будет пересмотреть использование материалов, которые помогают хуже справляться с такими задачами.
Это не означает, что достаточно добавить в обучение больше сочувственных фраз. Важно понять, какие особенности диалогов помогают модели правильно интерпретировать ситуацию и выбирать подходящую реакцию.
Методика также потенциально применима к другим областям. Исследователи считают, что с её помощью можно анализировать происхождение рекомендаций языковых моделей в финансовой и медицинской сферах. Это позволит лучше понимать, какие источники влияют на ответы ИИ и насколько обоснованно доверять его советам.
Почему открытые модели важны для науки
Для проверки своего подхода команда сотрудничала с Институтом искусственного интеллекта Аллена (Allen Institute for AI, Ai2). Это позволило исследователям провести аудит открытой языковой модели Olmo 3, обучающая выборка которой включает более миллиарда документов.
Открытые модели особенно полезны для подобных исследований: доступность данных и инструментов позволяет учёным изучать внутренние механизмы ИИ гораздо подробнее, чем это возможно при работе с закрытыми коммерческими системами.
С ChatGPT и Claude ситуация сложнее. Компании, разрабатывающие эти модели, не раскрывают полный состав их обучающих данных. Поэтому исследователи не могут с той же точностью определить, какие именно материалы повлияли на конкретные особенности их поведения.
Тем не менее результаты работы с Olmo 3 могут помочь сформулировать гипотезы о том, как устроено обучение других языковых моделей, и предложить новые способы анализа их ответов.
Авторы представили исследование на конференции по языковому моделированию в Сан-Франциско. Научная работа под названием Capability Provenance in Language Models: A Case Study in Social Reasoning опубликована на сервере препринтов arXiv.
Сможет ли ИИ действительно понимать чувства?
Новая методика не доказывает, что языковые модели испытывают эмоции или обладают человеческим пониманием. Её задача гораздо конкретнее: выяснить, какие обучающие материалы связаны с определёнными способностями ИИ и как эти связи можно использовать для улучшения его работы.
Это важный шаг к созданию более понятных и предсказуемых систем искусственного интеллекта. Если разработчики смогут лучше объяснять, почему чат-бот выбирает тот или иной стиль ответа, им будет проще оценивать его сильные стороны и ограничения.
Особенно актуально это для ситуаций, в которых человек рассчитывает на эмоциональную поддержку. Убедительно звучащий ответ не обязательно означает, что модель правильно поняла проблему. Поэтому развитие эмпатичного общения должно сопровождаться изучением надёжности рекомендаций и границ возможностей ИИ.
В перспективе подобные исследования помогут создавать языковые модели, которые лучше ориентируются в социальных ситуациях, внимательнее реагируют на контекст и дают более уместные ответы. Но оценивать их следует не только по тому, насколько человечно они звучат, а прежде всего по тому, насколько хорошо справляются с реальными задачами.
