Главный научный сотрудник Microsoft Эрик Хорвиц (Eric Horvitz) и исследователь Роберт Уэст (Robert West) из EPFL (Швейцария) опубликовали редакционную статью в журнале Science, в которой предупреждают: развитие искусственного интеллекта начинает опережать способность людей его понимать. При этом ИИ всё лучше понимает человеческое поведение и психологию.
Авторы выделяют три ключевые тенденции, которые делают современные ИИ-системы всё менее прозрачными для человека.
Три причины растущей непрозрачности ИИ
Первая — это ИИ, который проектирует и улучшает другие ИИ-системы. Такие циклы происходят слишком быстро и в многомерных пространствах, которые трудно понять человеку. Производительность систем растёт, но люди всё хуже понимают, почему и как именно это происходит.
Вторая тенденция — взаимодействие между самими ИИ-агентами. При масштабировании они формируют многоагентные экосистемы, внутренняя коммуникация которых постепенно отходит от человеческого языка и логики. Чем сложнее становятся эти взаимодействия, тем труднее людям их интерпретировать.
Третья проблема — одностороннее понимание. ИИ-агенты, анализируя огромные объёмы данных о взаимодействии людей друг с другом и с системами, всё лучше моделируют человеческое поведение, предпочтения и даже скрытые мотивы (страхи, неопределённость, потребность в принадлежности). В результате ИИ начинает понимать нас лучше, чем мы понимаем его.
Риски и возможные последствия
Авторы предупреждают, что растущая непрозрачность может привести к ситуации, когда мощные ИИ-системы станут фактически неуправляемыми человеком. Восстановить человеческое влияние в такой ситуации будет крайне сложно или невозможно. Это может повлиять на личную автономию, демократические процессы и доверие к институтам.
Ещё один риск — ИИ-системы могут всё чаще выдавать не объективную картину, а то, что человек хочет услышать. Без понимания механизмов работы мы не сможем это заметить. Кроме того, у людей может постепенно снижаться интерес к пониманию и контролю над ИИ — системы, оптимизированные под вовлечённость и одобрение, уменьшают трение и снижают мотивацию к критическому осмыслению.
Что предлагают авторы
Хорвиц и Уэст считают, что окно возможностей для сохранения понятного и контролируемого ИИ ещё открыто, но оно сужается. Они призывают активно развивать направления, которые помогут ИИ объяснять свои решения и внутреннюю работу на языке, понятном человеку. Нужно учиться обнаруживать отклонения в генерируемом ИИ языке и рассуждениях, а также поощрять коммуникацию, которую человек может интерпретировать.
Авторы подчёркивают необходимость перехода от статичных бенчмарков к динамическим, приближенным к реальности системам оценки. Главное — сохранить способность и мотивацию людей задавать вопросы, проверять и направлять развитие ИИ.
«Недостаточно просто наблюдать за поведением ИИ-систем. Мы должны также понимать, как они формируют человеческие цели и суждения, и обеспечивать, чтобы люди сохраняли возможность и желание подвергать их сомнению, аудиту и руководству», — пишут авторы.
