Когда в мае 2020 года исследовательская компания Open AI представила алгоритм обработки естественного языка GPT-3, все называли его настоящим произведением искусства. Нейросеть была способна генерировать текст, практически неотличимый от прозы, написанной человеком. Но теперь у Китая есть кое-что помощнее.
Исследователи из Пекинской академии искусственного интеллекта (BAAI) объявили о выпуске собственной генеративной модели глубокого обучения Wu Dao. Это настоящий гигант в мире искусственного интеллекта, который умеет делать не только работу GPT-3, но и массу других вещей.
Универсальность и масштаб
Wu Dao просто огромен. Он был обучен по 1,75 триллионам параметров (коэффициентов модели), что в десять раз больше, чем 175 миллиардов параметров, на которых обучался алгоритм GPT-3.
Текущая версия Wu Dao - 2.0. Она появилась всего через три месяца после выхода первой модели Wu Dao. Чтобы так быстро обучить модель на таком колоссальном учебном материале, исследователи BAAI впервые разработали систему обучения с открытым исходным кодом FastMoE. Эта система работает на фреймворке машинного обучения для языка Python PyTorch. Она позволила обучать модель как при помощи кластеров суперкомпьютера, так и при помощи большого числа обычных графических процессоров. Это сделало систему FastMoE очень гибкой - она не требовала специализированного запатентованного оборудования и могла работать на чем угодно. Так что, по сути, самый мощный в мире ИИ рождался на чем-то вроде гигантской майнинг-фермы.
Зачем это нужно?
Вся эта вычислительная мощность обеспечивает огромный набор возможностей. Большинство моделей глубокого обучения умеют выполнять одну задачу, для которой они были созданы. Например, они могут писать тексты, создавать дипфейки, распознавать лица, играть в настольные игры.
Wu Dao является многомодальным. То есть, он может делать практически все. Исследователи BAAI продемонстрировали способности Wu Dao в обработке естественного языка, генерации текста, распознавании и создании изображений.
Модель может писать сочинения и стихи на традиционном китайском языке, генерировать текст-описание на основе изображения и наоборот - рисовать фотореалистичные изображения на основе текстового описания. Wu Dao даже может выполнять функции голосового ассистента или предсказывать 3D структуры белков для биологических исследований.
«Путь к сильному искусственному интеллекту заключается а больших моделях и большом компьютере. То, что мы создаем, - это основа для будущего ИИ с мегаданными, мегакомпьютерами и мегамоделями. С этим мы сможем трансформировать данные, чтобы питать ИИ-приложения будущего», - говорит доктор Чжан Хунцзян, председатель BAAI.
