Компания Nvidia совместно с Cisco представила новый оптический сетевой интерфейс Ultra-Dense Small Form Factor Pluggable (USFP), предназначенный для центров обработки данных, на которых обучают и запускают современные модели искусственного интеллекта. Разработка призвана увеличить скорость передачи данных между вычислительными узлами и повысить энергоэффективность сетевой инфраструктуры.
По мере роста ИИ-моделей традиционные способы соединения серверов и ускорителей всё чаще становятся узким местом. Даже самые мощные графические процессоры не смогут работать на полную производительность, если обмен данными между ними окажется недостаточно быстрым. Именно эту проблему и пытаются решить Nvidia и Cisco.
Пропускная способность — до 12,8 Тбит/с
Главная особенность USFP — поддержка скорости передачи данных до 400 Гбит/с на одну линию. По заявлению Cisco, это первый интерфейс такого типа с подобной пропускной способностью на канал.
В перспективе суммарная скорость передачи данных через один модуль должна достигнуть 12,8 Тбит/с. Это в четыре раза больше, чем у оптических интерфейсов предыдущего поколения, рассчитанных на 200 Гбит/с на линию. Кроме того, новая разработка обещает повысить энергоэффективность в 1,3 раза.
Такие характеристики особенно важны для крупных ИИ-кластеров, в которых тысячи графических процессоров одновременно обрабатывают данные и обмениваются промежуточными результатами. Чем быстрее работает сеть, тем меньше времени ускорители тратят на ожидание информации от других узлов.
Как устроен новый интерфейс
Первые оптические трансиверы на базе USFP получат 16 полнодуплексных каналов. Полнодуплексный режим означает, что передача и приём данных могут происходить одновременно. Модули будут использовать компактный форм-фактор и поддерживать работу как с сетевыми коммутаторами, так и со специализированными сетевыми адаптерами SuperNIC.
Последние представляют собой высокопроизводительные сетевые карты, предназначенные для передачи больших объёмов данных между вычислительными ускорителями. В частности, они могут использовать протокол RoCE (RDMA over Converged Ethernet), который позволяет обращаться к памяти другого компьютера по сети Ethernet с минимальным участием центрального процессора.
Это существенно для ИИ-кластеров: когда десятки или сотни ускорителей совместно обучают одну модель, обмен данными между ними должен быть не только быстрым, но и не создавать избыточной нагрузки на процессоры.
На следующем этапе разработчики планируют увеличить количество каналов до 32 и более. Это позволит подключать дополнительные сетевые устройства со скоростью 1,6 Тбит/с без необходимости наращивать число уровней сетевой инфраструктуры.
При этом максимальная пропускная способность в 12,8 Тбит/с — целевой показатель развития технологии, а не характеристика, которую все первые устройства USFP смогут обеспечить сразу.
Меньше потерь сигнала и проблем с охлаждением
Помимо скорости, разработчики уделили внимание надёжности соединения и энергопотреблению. USFP получил двухэтапную конструкцию подключения, которая должна улучшить целостность сигнала и уменьшить износ контактов при многократном подключении и отключении модулей.
Ещё одна особенность — возможность рассеивать до 100 Вт тепловой мощности без необходимости устанавливать отдельный контур охлаждения непосредственно внутри трансивера.
Для современных дата-центров это имеет большое значение. Высокоскоростные сетевые компоненты потребляют немало энергии и выделяют тепло, а в крупных вычислительных комплексах даже небольшое сокращение энергопотребления на один порт может дать заметный результат в масштабах всей системы.
При этом заявленные преимущества USFP не означают, что новая технология сама по себе решит все проблемы охлаждения дата-центров: речь идёт прежде всего о конструкции и требованиях к охлаждению самого оптического модуля.
Nvidia и Cisco создают целую экосистему
Разработка USFP не ограничивается двумя компаниями. После создания технологии Nvidia и Cisco начали сотрудничество с TE Connectivity и Amphenol, которые занимаются разработкой компонентов для новой инфраструктуры: корпусов, разъёмов и других элементов подключения. В дальнейшем к проекту могут присоединиться дополнительные партнёры.
При этом USFP станет частью более широкой экосистемы оптических сетевых решений. В отрасли развиваются сразу несколько подходов, включая оптические модули с подключением через разъёмы, оптику рядом с микросхемами и оптические компоненты, интегрированные непосредственно в корпус вычислительных чипов.
Последние решения, известные как кремниевая фотоника, позволяют передавать данные с помощью света вместо электрических сигналов на отдельных участках соединения. Такой подход способен уменьшить потери сигнала и энергопотребление при передаче информации на высоких скоростях.
Таким образом, USFP — не универсальная замена всем существующим сетевым технологиям, а ещё один элемент перехода к более производительным оптическим соединениям.
Почему это важно для развития искусственного интеллекта
Современные ИИ-системы требуют всё больше вычислительных ресурсов, памяти и пропускной способности сети. По мере увеличения размеров моделей и числа задействованных ускорителей производительность всё сильнее зависит не только от самих процессоров, но и от того, насколько эффективно они взаимодействуют друг с другом.
Новый интерфейс Nvidia и Cisco призван уменьшить ограничения, связанные с передачей данных, и упростить масштабирование инфраструктуры. Если разработчикам удастся реализовать заявленные характеристики в серийных устройствах, USFP сможет помочь операторам дата-центров строить более производительные ИИ-кластеры без пропорционального увеличения сложности сетевой архитектуры.
Впрочем, технология ещё должна пройти дальнейшие этапы развития, прежде чем достигнет полной заявленной пропускной способности. Её практическое значение будет зависеть от того, насколько успешно новые модули интегрируются в существующую инфраструктуру и насколько оправдают себя обещанные преимущества по скорости и энергопотреблению.
