В мире искусственного интеллекта сегодня хватает поводов для тревоги: самодельные дипфейки, громкие судебные иски, растущие киберриски и жесткая конкуренция между разработчиками. На этом фоне OpenAI вводит новую руководящую должность — Head of Preparedness, или глава направления по готовности. Задача этого человека звучит амбициозно: заранее предсказывать и снижать самые серьезные риски, которые могут возникнуть с развитием будущих ИИ-систем.
Оценка рисков
Согласно описанию вакансии, новый руководитель будет выстраивать и запускать целую систему оценки возможностей ИИ — от тестов и сценариев угроз до планов по их нейтрализации. В OpenAI называют это масштабируемым конвейером безопасности для самых мощных моделей компании.
Речь идет не о разрозненных проверках, а о единой структуре, которая позволяет отслеживать, на что способны современные и будущие алгоритмы и где проходит грань допустимого. В зоне особого внимания — высокорисковые направления, такие как кибербезопасность и биобезопасность. Именно здесь ошибки или злоупотребления могут иметь реальные и тяжелые последствия.
Отдельная задача — создание рамочной модели, которая поможет компании заранее готовиться к появлению продвинутых возможностей ИИ, потенциально способных причинить серьезный вред. Проще говоря, OpenAI хочет видеть проблемы до того, как они станут реальностью.
Психика, атаки и самообучающиеся системы
О новой роли публично рассказал генеральный директор OpenAI Сэм Альтман. По его словам, работа будет «стрессовой» — и это неудивительно. Зарплата около 555 тысяч долларов в год плюс доля в компании отражает уровень ответственности.
Среди рисков, которые уже сегодня вызывают обеспокоенность, — влияние ИИ на психическое состояние пользователей, возможность ИИ-управляемых кибератак и перспективы систем, способных улучшать самих себя. Особенно остро эти вопросы звучат на фоне судебных разбирательств: все чаще обсуждается, как взаимодействие с чат-ботами может влиять на подростков и уязвимые группы.
Исследователи и регуляторы также обращают внимание на феномен, который иногда называют «ИИ-психозом», — ситуации, когда чат-боты непреднамеренно подыгрывают заблуждениям или искаженному восприятию реальности у пользователей. Насколько велика эта угроза и как ее измерять? Ответы пока неочевидны.
Новый этап развития ИИ
Не случайно сама компания называет нынешний момент «важным». По мере того как ИИ становится более убедительным и автономным, возрастает потребность в четких критериях безопасности. Именно поэтому исследовательское сообщество активно разрабатывает новые бенчмарки безопасности ИИ — тесты, позволяющие выявлять вредоносное или опасное поведение чат-ботов еще на этапе разработки.
Создание должности Head of Preparedness выглядит логичным шагом в этой эволюции. Это попытка превратить разговоры об этике и рисках ИИ в конкретные процессы и ответственность. Вопрос лишь в том, успеет ли индустрия выстроить такие механизмы раньше, чем технологии сделают очередной скачок вперед.
