Искусственный интеллект во всем полагается на глубокое машинное обучение, а машинное обучение - очень дорогостоящий и затратный процесс. Но теперь ученые из Университета Райса нашли способ обучать нейросети быстрее и дешевле с помощью обычных центральных процессоров (CPU).
Как правило, для обучения ИИ компании используют большие системы на базе GPU - графических процессоров. Архитектура GPU лучше подходит для взаимодействия со сложной нейросетью, чем архитектура CPU. Но и стоят такие системы намного дороже. Аппаратная часть платформы машинного обучения может обойтись вам в $100 тыс. или даже более. В результате, только крупные компании могут позволить себе разработку искусственного интеллекта.
Ученые Университета Райса создали экономичную альтернативу - алгоритм, называемый сублинейным механизмом глубокого обучения (sub-linear deep learning engine или SLIDE). Он способен выполнять ту же самую работу по глубокому обучению, но без специализированного дорогого оборудования.
Более того, алгоритм позволяет повысить скорость машинного обучения. На базе 22-ядерного CPU Intel Xeon алгоритм SLIDE за час выполняет ту же работу, для которой графическому процессору требуется три с половиной часа.
По словам ученых, SLIDE использует новый подход к глубокому обучению. GPU обрабатывает огромные объемы данных, одновременно симулируя работу миллиардов нейронов нейросети, включая те, что остаются неактивными. SLIDE оптимизирует этот процесс, задействуя в каждый момент времени только те нейроны, которые необходимы в конкретный момент обучения.
По словам Аншумали Шриваставы (Anshumali Shrivastava), доцента Школы машиностроения Райса, такой подход позволяет производить “параллельное обучение”. “Если у меня есть два экземпляра данных, на которых я хочу тренировать ИИ, например, первый - это изображение кошки, а второй - изображение автобуса, то они, скорее всего, активируют разные нейроны. Это значит, что SLIDE может обрабатывать их одновременно. Это значительно более эффективное использование параллелизма для центрального процессора”, - говорит Шривастава.
Разработка SLIDE - очень важное событие для всех, кто участвует в разработке ИИ. Конечно, вряд ли в ближайшее время этот алгоритм полностью заменит традиционное обучение на базе графических процессоров. Это связано с тем, что добавить несколько GPU в одну платформу проще, чем заставить работать синхронно несколько CPU. Значит, наиболее крупные ИИ-проекты по-прежнему будут использовать графические процессоры из-за удобства масштабирования.
Но в перспективе SLIDE реально способен упростить жизнь разработчикам искусственного интеллекта, сделав эту технологию доступной всем. Компания Intel уже заинтересовалась алгоритмом. Вполне вероятно, в течение нескольких лет мы увидим модели ЦП Intel, разработанные специально для машинного обучения на базе SLIDE.
Если хотите получать новости через мессенджер, подписывайтесь на новый Telegram-канал iGate
