Учёные из Технологического института Стивенса придумали, как радикально улучшить совместное обучение больших языковых моделей без обмена гигантскими объёмами данных. Их алгоритм MEERKAT решает главную проблему федеративного обучения — огромный трафик, высокое энергопотребление и медленную синхронизацию моделей.
Обычно при совместной тренировке моделей (когда данные остаются на устройствах пользователей) приходится постоянно пересылать друг другу обновлённые версии всей модели. Это требует колоссального количества памяти, пропускной способности сети и электричества. В результате модели обновляются редко и часто работают на устаревших данных.
Маленькие обновления вместо целой энциклопедии
Команда под руководством аспиранта Иде Рана (Yide Ran), доцента Чжаочжо Сюя (Zhaozhuo Xu) и доцента Дэнхуэя Чжана (Denghui Zhang) нашла элегантное решение. Они построили систему на известном факте: эффективное обучение больших моделей часто зависит от небольшого, но тщательно выбранного набора параметров.
MEERKAT вместо всей модели передаёт обновления всего для 0,1% самых важных параметров. «Это как отправлять не всю энциклопедию, а только несколько изменённых статей», — объясняет Чжан. Объём передаваемых данных сокращается более чем в тысячу раз: вместо гигабайтов — всего несколько мегабайт.
Без обратного распространения ошибки
Ещё одно важное новшество — отказ от классического метода backpropagation (обратного распространения ошибки), который требует огромных вычислительных ресурсов. MEERKAT использует метод нулевого порядка: модель слегка меняет параметры, проверяет результат и корректируется. Это значительно снижает нагрузку на память и энергопотребление.
Кроме того, маленькие обновления позволяют синхронизировать модели гораздо чаще. «Теперь данные можно обменивать намного чаще, и общая модель получается значительно лучше», — отмечает Сюй.
Практическая польза
Новый подход резко снижает вычислительные и коммуникационные затраты. Это особенно важно для учреждений с ограниченными ресурсами, а также для областей, где нельзя централизованно собирать данные из-за приватности — например, в здравоохранении и образовании. MEERKAT делает совместное обучение больших языковых моделей более доступным, быстрым и экологичным.
Исследование под названием «Mitigating Non-IID Drift in Zeroth-Order Federated LLM Fine-Tuning with Transferable Sparsity» было представлено на Международной конференции по машинному обучению (ICLR) 2026 года.
