Разработчики программного обеспечения считались одними из главных бенефициаров развития генеративного искусственного интеллекта. Ожидалось, что специальные инструменты позволят им создавать код быстрее и проще. Однако, согласно недавнему исследованию компании Uplevel, которая анализирует метрики написания кода, прирост производительности пока не очевиден.
Uplevel отслеживала деятельность около 800 разработчиков, сравнивая их результаты с и без использования ИИ-помощника GitHub Copilot в течение нескольких трехмесячных периодов. Удивительно, но при измерении ключевых метрик Uplevel не обнаружила значительных улучшений у тех, кто использовал Copilot.
Мэтт Хоффман, аналитик данных в Uplevel, объяснил изданию CIO, что его команда первоначально думала, что разработчики смогут писать больше кода, а уровень ошибок снизится, потому что разработчики используют инструменты ИИ для проверки кода перед отправкой. Однако результаты опровергли эти ожидания.
На самом деле исследование показало, что разработчики, использующие Copilot, вводили в свой код на 41% больше ошибок. Uplevel также не обнаружила никаких доказательств того, что помощник ИИ помогает предотвратить профессиональное выгорание разработчиков.
Эти результаты противоречат утверждениям создателей Copilot в GitHub и других сторонников инструментов кодирования ИИ о массовом повышении производительности. Ранее в исследовании, спонсированном GitHub, утверждалось, что разработчики писали код на 55% быстрее с помощью Copilot.
Разработчики действительно могут наблюдать положительные результаты, учитывая, что в отчете о первых днях использования Copilot говорилось, что почти 30% нового кода создавалось с помощью ИИ, и это число, вероятно, увеличилось. Однако другой возможной причиной увеличения использования ИИ является то, что программисты развивают зависимость и становятся ленивыми.
На практике опыт работы с помощниками кодирования ИИ до сих пор неоднозначен. В компании по разработке заказного программного обеспечения Gehtsoft USA генеральный директор Иван Гекхт рассказал CIO, что они обнаружили, что сгенерированный искусственным интеллектом код сложнее понять и отладить, так что иногда проще переписать его с нуля.
Исследование прошлого года, в котором ChatGPT неправильно ответил на более половины заданных вопросов по программированию, похоже, подтверждает его наблюдения, хотя бот значительно улучшился с тех пор благодаря нескольким обновлениям.
Гекхт добавил, что разработка программного обеспечения «на 90% является функцией мозга — пониманием требований, проектированием системы и учетом ограничений», а преобразование всего этого в код является более простой частью работы.
Однако в облачном провайдере Innovative Solutions технический директор Трэвис Рехль сообщил об отличных результатах, когда производительность разработчиков увеличилась в три раза благодаря таким инструментам, как Claude Dev и Copilot.
Противоречивые отчеты подчеркивают, что мы, вероятно, все еще находимся на ранних стадиях развития помощников кодирования ИИ. Но предсказать, как будет развиваться ситуация в будущем, пока сложно.
