Исследователи из Лос-Аламосской национальной лаборатории (Los Alamos National Laboratory) разработали инструмент Prelim Attention Score (PAS), который помогает обнаруживать галлюцинации в vision-language моделях — то есть случаи, когда модель выдаёт утверждения, не соответствующие изображению.
Vision-Language Model (VLM) — это класс мультимодальных нейросетей, которые объединяют понимание текста (Large Language Models, LLM) и компьютерное зрение. Инструмент PAS работает в реальном времени, не требует значительных вычислительных ресурсов и может быть легко интегрирован в существующие модели.
Как работает Prelim Attention Score
Большинство современных vision-language моделей являются авторегрессионными: они генерируют текст токен за токеном, частично опираясь на уже сгенерированные слова. Из-за этого модель иногда начинает слишком сильно полагаться на собственный текст, а не на исходное изображение, и выдаёт ложную информацию (галлюцинации).
PAS анализирует, на что именно модель обращает внимание при предсказании каждого следующего токена — на изображение, текстовый запрос или на свои собственные предыдущие слова. На основе этого вычисляется оценка: чем ближе значение PAS к нулю, тем выше вероятность, что модель опирается на изображение, а не «фантазирует».
Инструмент работает как внутренний монитор: он считывает уже существующие сигналы внимания модели и не требует серьёзной переработки архитектуры. Это делает его plug-and-play решением с минимальными накладными расходами.
«PAS позволяет выявить момент, когда модель начинает чрезмерно полагаться на собственные слова, — отметил интерн Лос-Аламоса Суан Нят Хоанг (Xuan Nhat Hoang). — Наш инструмент считывает сигналы, которые ИИ и так уже производит».
Где это может пригодиться
Разработчики видят применение PAS в областях, где надёжность визуального ИИ критически важна: медицинская визуализация, анализ научных документов, инженерные схемы, дистанционное зондирование и другие задачи, где ошибочные утверждения модели могут привести к неправильным решениям.
Инструмент уже представлен на конференции Computer Vision and Pattern Recognition (CVPR) 2026. Исследование поддержано программой Laboratory Directed Research and Development Лос-Аламосской лаборатории.
По словам компьютерного учёного Маниша Бхаттарая (Manish Bhattarai), PAS достигает state-of-the-art точности в обнаружении галлюцинаций и предлагает практический путь к созданию более безопасных и надёжных мультимодальных ИИ-систем.
