Вопреки распространённому мнению, новые данные свидетельствуют о том, что использование ИИ-инструментов для программирования может не ускорять, а, наоборот, замедлять работу опытных разработчиков. Такое неожиданное заключение содержится в исследовании, проведённом некоммерческой организацией Model Evaluation & Threat Research (METR).
Исследование METR было направлено на объективную оценку влияния ИИ на производительность в реальных условиях. В течение нескольких месяцев начала 2025 года специалисты наблюдали за работой 16 опытных разработчиков, активно участвующих в open-source-проектах. Участникам было предложено выполнить 246 настоящих задач — от исправления багов до внедрения новых функций — в крупных и хорошо знакомых им репозиториях.
Каждой задаче случайным образом присваивалось условие: с разрешением или без разрешения использовать ИИ-инструменты. В большинстве случаев разработчики пользовались Cursor Pro в сочетании с моделями Claude 3.5 или 3.7 Sonnet.
Перед началом работы участники ожидали, что ИИ сократит время выполнения задач на 24%. Даже после завершения эксперимента они по-прежнему считали, что стали работать на 20% быстрее с ИИ.
Однако объективные измерения показали противоположное: с ИИ разработчики тратили в среднем на 19% больше времени на выполнение задач. Эти результаты оказались вразрез не только с субъективными ощущениями самих участников, но и с прогнозами экспертов в области экономики и машинного обучения.
Почему ИИ замедляет работу?
Анализ выявил несколько причин подобного эффекта:
- Переоценка возможностей ИИ. Опытные разработчики часто надеялись на более высокую эффективность ИИ, чем он реально мог обеспечить.
- Сложность проектов. Массивные кодовые базы (часто более миллиона строк) затрудняли генерацию релевантного кода, в отличие от типовых задач малого объёма, где ИИ работает лучше.
- Низкая точность предложений. Участники принимали менее 44% кода, сгенерированного ИИ, и тратили значительное время на его анализ и исправление.
- Неполное понимание контекста. ИИ не всегда справлялся с пониманием "неявных" связей и архитектуры внутри больших репозиториев, что снижало релевантность рекомендаций.
Каждый участник до начала работы оценивал предполагаемое время выполнения задачи с ИИ и без него. В процессе разработчики записывали экраны и самостоятельно фиксировали потраченное время. Чтобы обеспечить высокий уровень вовлечённости, им платили по $150 в час. Все данные прошли сквозную проверку, и учёные не выявили влияния внешних факторов или предвзятости на результаты.
Авторы подчёркивают, что не стоит переносить выводы на все категории программистов. Исследование касалось исключительно опытных специалистов, работающих с хорошо знакомыми и масштабными проектами. Для новичков, студентов или разработчиков, занятых в новых или небольших проектах, ИИ всё ещё может быть полезным и даже ускоряющим инструментом.
Также отмечается, что технологии ИИ развиваются стремительно, и будущие версии подобных помощников вполне могут показать иные результаты.
Несмотря на выявленное замедление, участники эксперимента и сами исследователи не отказались от использования ИИ-инструментов. Многие отметили, что, пусть ИИ и не ускоряет процесс, он делает его менее утомительным, помогая справляться с рутинными задачами и снижая ментальную нагрузку.
