Хотя языковые модели искусственного интеллекта могут быть потрясающими помощниками, они все еще способны совершать ошибки и выдавать неверные ответы, называемые “галлюцинациями”. Этой проблеме подвержены все существующие на данный момент ИИ, включая ChatGPT и Google Bard. Иногда, не зная правильного ответа на заданный вопрос, они просто выдумывают информацию, которая очень похожа на настоящую, выглядит крайне убедительно, но не имеет никакого отношения к реальности.
OpenAI и Google честно предупреждают о том, что их системы могут генерировать фейковую информацию. «ChatGPT иногда пишет правдоподобные, но неправильные или бессмысленные ответы», - говорится в блоге OpenAI. Тем не менее, эта проблема вызывает широкую обеспокоенность в связи с риском распространения дезинформации и ее потенциальных негативных последствий. Но скоро все может измениться.
В своей новой публикации эксперты OpenAI сообщают, что, возможно им удалось, нашел способ заставить модели ИИ действовать более логично и избегать галлюцинаций. Для этого OpenAI обучила модель, которая способна решать сложные математические задачи посредством «контроля процесса», метода, который обеспечивает обратную связь для каждого отдельного шага в отличие от «контроля результата», который обеспечивает обратную связь по конечному результату.
Инженеры OpenAI протестировали оба метода, используя набор данных MATH, и обнаружили, что метод контроля процесса привел к «значительно лучшей производительности».
«Надзор за процессами также с большей вероятностью даст интерпретируемые рассуждения, поскольку он стимулирует модель следовать процессу, одобренному человеком», - говорится в исследовательской статье.
