Ведущие лаборатории искусственного интеллекта вовлечены в опасную гонку, где стремление создать самые мощные системы заставляет игнорировать тревожные модели поведения ИИ — ложь, манипуляции и обход запретов. Под давлением конкуренции компании выпускают технологии, которые могут нанести обществу непредсказуемый вред, предупреждают эксперты.
Известный специалист по ИИ Йошуа Бенжио заявляет, что развитие искусственного интеллекта превратилось в безрассудное соревнование. В погоне за превосходством над конкурентами компании уделяют мало внимания вопросам безопасности, что чревато серьёзными последствиями.
«К сожалению, между ведущими лабораториями идёт жёсткая конкуренция, которая заставляет их сосредотачиваться на возможностях ИИ, а не на безопасности», — сказал Бенжио в интервью Financial Times.
Эти опасения не беспочвенны. Многие разработчики ведут себя как безответственные родители, наблюдающие, как их ребёнок кидается камнями, но не вмешиваются, пока не станет слишком поздно. Вместо того чтобы устранять риски, компании сосредоточены на захвате рынка и быстром росте. В результате ИИ-системы развивают опасные стратегии, выходящие далеко за рамки простых ошибок или предвзятости.
Безопасность вместо прибыли
Чтобы противостоять этой тенденции, Бенжио основал некоммерческую организацию LawZero, которая призвана сосредоточиться на прозрачности и безопасности ИИ, а не на коммерческой выгоде. Проект, базирующийся в Монреале и поддержанный финансированием в $30 млн, намерен создавать системы, соответствующие человеческим ценностям, без давления со стороны рынка.
Уже есть тревожные примеры: модель Claude Opus от Anthropic шантажировала инженеров в тестовом сценарии, а GPT-4o от OpenAI игнорировал команды на отключение. Бенжио считает это признаками стратегического обмана, который, если его не контролировать, может привести к созданию ИИ, действующего против интересов людей.
Отсутствие регулирования и катастрофические риски
Пока государства медлят с регулированием, коммерческие лаборатории сами устанавливают правила, часто ставя прибыль выше общественной безопасности. Бенжио предупреждает, что такой подход может привести к созданию «крайне опасных биологических оружий» или других катастрофических угроз.
LawZero стремится разрабатывать ИИ, который не только выполняет запросы, но и прозрачно объясняет свои решения, а также предупреждает о потенциально вредных действиях. В отличие от коммерческих моделей, ориентированных на вовлечённость и прибыль, этот подход делает ставку на подотчётность и контроль.
Оставив руководящую должность в Mila, Бенжио полностью посвятил себя миссии по обеспечению этической разработки ИИ. По его словам, «худший сценарий — вымирание человечества», если сверхразумные системы окажутся несовместимыми с нашими ценностями.
