Для современных задач искусственного интеллекта и высокопроизводительных вычислений требуется большой объем памяти видеокарт. Традиционные решения по ее расширению дороги и сложны в реализации. Компания Panmnesia из Южной Кореи предлагает инновационный подход к расширению объема памяти видеокарт - использование дополнительных модулей памяти, подключенных по интерфейсу PCIe.
Преодоление ограничений встроенной памяти
Использование встроенной памяти видеокарт часто становится ограничивающим фактором при работе с большими объемами данных в ИИ и HPC. Расширение памяти традиционно подразумевает установку дорогой высокоскоростной памяти, что зачастую требует изменений в архитектуре или программном обеспечении GPU.
Panmnesia, при поддержке исследовательского института KAIST, предлагает альтернативное решение. Технология позволяет GPU напрямую обращаться к системной памяти через высокоскоростной интерфейс CXL (Compute Express Link). По сути, видеокарта может использовать системную память как расширение своей собственной.
Разработанная Panmnesia технология CXL GPU Image использует память, подключенную по PCIe, и имеет задержку в двузначных пределах наносекунд, что значительно быстрее традиционных твердотельных накопителей (SSD).
В процессе разработки инженерам Panmnesia пришлось преодолеть ряд технических препятствий.
Во-первых, протокол CXL работает поверх соединения PCIe, но его необходимо поддерживать специальным микрочипом (ASIC) и его подсистемой. Другими словами, просто добавить контроллер CXL недостаточно, так как в GPU отсутствуют необходимая логическая структура и подсистемы для работы с памятью DRAM и SSD через CXL.
Во-вторых, подсистемы кэша и памяти современных видеокарт не распознают расширений, кроме как через виртуальную память (UVM). Однако, UVM недостаточно быстра для задач ИИ и HPC. Тесты Panmnesia показали, что UVM демонстрирует худшие результаты среди всех тестируемых ядер GPU.
Решение Panmnesia заключается в использовании серии аппаратных уровней, которые поддерживают все ключевые протоколы CXL, объединяя их в единый контроллер.
Кроме того, компания столкнулась с внешними трудностями. Для полноценного внедрения технологии необходима поддержка CXL со стороны производителей GPU, таких как AMD и Nvidia. Возможно, компании-разработчики видеокарт возьмут на вооружение идею использования памяти, подключенной по PCIe, но при этом разработают собственную реализацию.
