Nvidia Dynamo — новая библиотека для разработчиков ИИ
Содержание:
Введение
На конференции GTC 2025 помимо новейших графических чипов Blackwell Ultra и Rubin, Дженсен Хуанг также представил новое программное обеспечение для разработчиков искусственного интеллекта — Nvidia Dynamo. По заявлениям компании, при выводе DeepSeek R1 через Dynamo в системе с ускорителями GB200, количество генерируемых токенов увеличится в колоссальные 30 раз.
Особенности Nvidia Dynamo
Nvidia Dynamo представляет собой программную библиотеку с открытым исходным кодом, с помощью которой можно эффективно увеличивать производительность и упростить масштабирование передовых рассуждающих LLM, при этом сокращая затраты на генерацию токенов. Новое ПО работает следующим образом — Dynamo ускоряет передачу данных между графическими процессорами в многоузловых системах и разделяет фазы предварительного заполнения и декодирования вывода. Это позволяет оптимизировать обе фазы, что обеспечивает максимально эффективное распределение вычислительных ресурсов GPU. Помимо этого, Nvidia Dynamo предлагает следующие возможности:
- Динамическое планирование работы графического процессора, оптимизирующее производительность ИИ до 2 раз;
- Маршрутизация запросов LLM, которая интеллектуально направляет запросы для минимизации избыточных вычислений в кэше KV, улучшая качество первого токена на 40%;
- Ускоренная передача данных с помощью NIXL (NVIDIA Inference tranXfer Library);
- Разгрузка кэша KV, которая использует несколько иерархий памяти для повышения производительности системы, ускоряя генерацию первого токена в 3 раза.
Компания Nvidia также рассказала, какие системные требования необходимо соблюдать для обеспечения наилучшей эффективности работы Dynamo:
- ОС Ubuntu версии 24.04;
- CPU x86_64;
- Графические процессоры Nvidia;
- Python версии 3.0 и выше.
Вывод
Как заявил Дженсен Хуанг, Nvidia Dynamo — это не просто полезное ПО для независимых ИИ-разработчиков, а решение, необходимое для так называемых AI-фабрик, представляющих собой новый этап развития дата-центров для разработки передовых ИИ. Более того, Nvidia Dynamo способна решить ряд фундаментальных проблем, с которыми разработчики сталкиваются при обучении и развертывании своих LLM. Ввиду этого, создание такого эффективного инструмента вполне может дать индустрии искусственного интеллекта еще один толчок, что приведет к увеличению ИИ-тренда и появлению более совершенных языковых моделей.
