Исследователи из Калифорнийского университета в Санта-Крузе совершили значительный прорыв в области энергоэффективности больших языковых моделей. Им удалось запустить модель с миллиардом параметров всего на 13 ватт – примерно столько потребляет современная светодиодная лампа. Для сравнения, стандартный графический процессор (GPU), используемый в дата-центрах для работы с такими моделями, потребляет около 700 ватт.
Энергоэффективный ИИ
Ранее разработка искусственного интеллекта шла по пути достижения наивысших показателей мощности, при этом энергоэффективность практически не учитывалась. Исследователи из Калифорнийского университета решили изменить ситуацию, отказавшись от ресурсоемкого метода матричного умножения. Этот метод заключается в преобразовании слов в числа, хранении их в матрицах и последующем перемножении для построения языка.
Вместо этого ученые предложили новый подход. Они заставили все числа в матрицах нейронной сети принимать только три значения: -1, 0 или 1. Это ключевое изменение, вдохновленное работой специалистов Microsoft, позволило заменить умножение сложением, что значительно снижает нагрузку на оборудование.
Помимо этого, команда создала специальное аппаратное обеспечение на основе программируемых вентильных матриц (FPGA). Такое оборудование позволило максимально использовать энергосберегающие функции нейронной сети.
Новая нейронная сеть оказалась в 50 раз более энергоэффективной по сравнению со стандартными решениями. При этом она демонстрирует производительность, сопоставимую с топовыми моделями, такими как Llama от Meta.
Важно отметить, что использование специализированного оборудования не является обязательным условием для работы новой модели. Нейронная сеть изначально разрабатывалась для функционирования на стандартных GPU, широко используемых в сфере искусственного интеллекта. Тестирование показало снижение потребления памяти примерно на 10% по сравнению с моделями, использующими матричное умножение. Меньшие требования к памяти открывают перспективы создания полноценных нейронных сетей для мобильных устройств, таких как смартфоны.
Достигнутый прогресс в энергоэффективности позволит искусственному интеллекту совершить новый скачок, особенно при использовании ресурсов дата-центров.
