DDN Infinia интегрирована с системой передачи данных для вывода NVIDIA

DDN интегрировала свою платформу хранения Infinia с системой передачи данных для вывода NVIDIA. Это сотрудничество сосредоточено на сокращении времени ожидания данных для GPU в сервисах больших языковых моделей. DDN объявила 23 июля в своем техническом блоге, что плагин Infinia NIXL включен в дистрибутив NVIDIA NIXL 1.3 и контейнеры вывода Dynamo. NIXL — это библиотека, обрабатывающая перемещение данных между GPU, CPU, SSD и объектным хранилищем в распределенной среде вывода. Интеграция сосредоточена на перемещении KV-кэша, возникающего в процессе вывода AI, где KV-кэш — это промежуточные данные, которые LLM сохраняет для повторного использования контекста. Документация NVIDIA Dynamo объясняет, что KV-кэш может быть перемещен из памяти GPU и CPU, SSD и сетевого хранилища, чтобы уменьшить перерасчет и снизить задержку ответа. Начиная с NIXL 1.3, плагин Infinia будет включен в стандартный пакет, и достаточно будет добавить только клиентский пакет DDN. DDN заявила, что может активировать функцию ускорения KV-кэша только с помощью настройки, без изменения кода приложения. Свен Ойме, CTO DDN, объяснил, что Infinia напрямую поставляет контекстные данные в GPU. Это сотрудничество связано с устранением узких мест в хранении и передаче данных в AI-центрах обработки данных, и DDN вместе с NVIDIA улучшает путь перемещения сохраненных контекстных данных в GPU в процессе вывода.