Команда ученых нашла способ значительно снизить расходы на создание и обучение новых ИИ-моделей. После громкого успеха DeepSeek, который привлек внимание Кремниевой долины, исследователи представили открытый аналог с возможностями, сопоставимыми с OpenAI o1.
Разработкой занимались специалисты из Стэнфорда и Вашингтонского университета. Они создали модель под названием s1 и выложили ее в открытый доступ на GitHub вместе с исходным кодом и данными. В опубликованной на прошлой неделе научной статье подробно описан их подход, позволивший достичь таких результатов.
Вместо дорогостоящего обучения модели с нуля, которое требует миллионов долларов, ученые использовали метод дистилляции. Они взяли уже существующую языковую модель и доработали ее, «извлекая» способности к логическим рассуждениям из одной из моделей Google — Gemini 2.0 Flash Thinking Experimental. Затем базовую модель обучили воспроизводить процесс решения задач пошагово на небольшом наборе данных.
Подход дистилляции применялся и раньше — именно в этом OpenAI обвиняла DeepSeek. Однако команда из Стэнфорда и Вашингтона нашла способ реализовать его с минимальными затратами с помощью метода управляемой тонкой настройки (supervised fine-tuning).
Для обучения использовался специально отобранный набор из 1 000 вопросов и решений, взятых из модели Google. По данным TechCrunch, весь процесс занял всего 30 минут на 16 видеокартах Nvidia H100. Хотя каждая такая карта стоит около $25 000, аренда вычислительных мощностей обошлась исследователям менее чем в $50.
Кроме того, ученые нашли способ улучшить работу s1. Они добавили команду, которая заставляет модель «задерживаться» перед выдачей окончательного ответа. Это дало ей больше времени для проверки своей логики, что повысило точность решений.
Однако у модели есть и ограничения. Поскольку s1 обучалась на основе модели Google, возникают вопросы о масштабируемости ее возможностей. Вполне возможно, что Google также отреагирует на этот эксперимент, но пока корпорация заняла выжидательную позицию, вероятно, следя за судебным разбирательством OpenAI против DeepSeek.
