Новая технология позволит искусственному интеллекту мгновенно обрабатывать целые энциклопедии / Все новости / Главная

Компания NVIDIA представила новую технологию параллельной обработки, получившую название Helix Parallelism, которая обещает кардинально изменить способы работы искусственного интеллекта с большими объёмами контекста. Этот подход позволяет моделям ИИ обрабатывать миллионы слов одновременно — например, целые энциклопедии — при этом обеспечивая мгновенный отклик.

Технология разрабатывалась совместно с новейшей GPU-системой Blackwell, в которую встроены сверхвысокая пропускная способность памяти и поддержка вычислений в формате FP4.

Долгая память и контекст

С ростом объёмов и сложности ИИ-систем — будь то юридические помощники, анализирующие массивы судебной практики, или чат-боты, отслеживающие многочасовые или даже многомесячные диалоги — становится всё важнее обеспечить высокую производительность и скорость отклика. Helix становится ответом на эти задачи, позволяя обслуживать больше пользователей при сохранении скорости.

Главная сложность при работе крупных языковых моделей кроется не только в их размере, но и в необходимости обрабатывать длинный «контекст» — массив входных данных, полученных ранее.

Каждое новое слово, которое генерирует ИИ, требует доступа к так называемому KV-кэшу (ключевые и значимые значения), где хранится весь предыдущий контекст. Повторное чтение этого кэша создаёт нагрузку на пропускную способность GPU-памяти.

Параллельно модель должна загружать веса Feed-Forward Network (FFN) для обработки каждого нового токена. В условиях работы в реальном времени (например, в чатах) это значительно снижает скорость.

Ранее разработчики применяли технологию Tensor Parallelism (TP) для распределения нагрузки между несколькими GPU, но при достижении определённого масштаба начинаются дублирования KV-кэша, что только усиливает проблему.

В чём суть Helix

Helix решает эти проблемы, разделяя работу слоёв трансформера на два этапа: внимание (attention) и FFN. Во время этапа внимания используется новая техника под названием KV Parallelism (KVP), которая позволяет эффективно распределять KV-кэш между GPU без дублирования данных.

Иными словами, вместо того чтобы каждый GPU обрабатывал весь контекст, каждаый занимается только своей частью. Затем в процессе FFN система переключается обратно в режим Tensor Parallelism, эффективно используя вычислительные ресурсы и минимизируя простои.

Для быстрой передачи данных между GPU используется внутренняя высокоскоростная архитектура NVLink и NVL72. А технология HOP-B позволяет одновременно передавать данные и проводить вычисления, ещё сильнее снижая задержки.

Прирост производительности

Тестирование на модели DeepSeek-R1 671B, способной обрабатывать контекст до одного миллиона токенов, показало, что с использованием Helix система способна обслуживать в 32 раза больше пользователей при той же задержке, по сравнению с традиционными методами.

При низкой конкуренции за ресурсы время отклика (token-to-token latency) снижается в 1,5 раза.

Даже при работе с миллионами слов Helix обеспечивает равномерное использование памяти и стабильную пропускную способность, избегая перегрузок за счёт циклического обновления KV-кэша.

Helix открывает путь к масштабированию ИИ не только по объёму обрабатываемых данных, но и по скорости. Это особенно важно для виртуальных ассистентов, юридических ботов и других ИИ-агентов, которым необходимо одновременно справляться с огромными массивами информации и оставаться отзывчивыми.

 

Похожие новости
Комментарии

comments powered by Disqus
Мы в социальных сетях: