Nvidia возродит Rubin CPX со 168 ГБ памяти HBM4

По данным аналитика Минг-Чи Куо, Nvidia планирует вернуть к жизни проект ИИ-ускорителя Rubin CPX, который ранее был поставлен на паузу ввиду приобретения технологий стартапа Groq. Главное изменение — отказ от GDDR7 в пользу памяти HBM4, что радикально меняет позиционирование чипа. Вместо 128 ГБ GDDR7 новинка может получить 168 ГБ HBM4, 4 кодера NVENC и 4 декодера NVDEC, а ИИ-производительность достигнет 30 PFLOPS в формате NVFP4 для обработки prefill-нагрузок: подготовка контекста, заполнение KV-кэша и предварительная обработка запросов к большим языковым моделям. Ускорители будут устанавливаться в отдельные стойки, работающие параллельно с классическими GPU Rubin, которые возьмут на себя фазу декодирования.

Rubin CPX представляет собой специализированный графический ускоритель, спроектированный для ускорения обработки фазы prefill, которая в классических инфраструктурах занимает значительную долю времени и огромной пропускной способности памяти при агентных ИИ-нагрузках с длинным контекстом. Разделение на prefill-фермы и decode-фермы позволяет оптимизировать каждую под свою задачу — CPX-ускорители обрабатывают входной контекст и KV-кэш, а обычные Rubin-чипы генерируют новые токены.

Ключевое архитектурное решение, которое могло сподвигнуть Nvidia к перезапуску Rubin CPX  — переход на HBM4. Изначально планировалось 128 ГБ GDDR7, однако после пересмотра проекта Nvidia оснастит чип 168 ГБ HBM4. Это дает не только больший объем, но и значительно более высокую пропускную способность, критичную для одновременной обработки больших объемов длинных контекстов в агентных ИИ-моделях. По данным Куо, нода с 8 CPX-ускорителями способен обработать до 1,34 ТБ контекста вместе с соответствующим KV-кэшем. Такой объем позволяет обслуживать модели с триллионами параметров без падения производительности на этапе инициализации.

Сообщается, что чип будет выполнен в виде монолитного кристалла и будет использовать упаковку TSMC CoWoS-S или CoWoS-L. Интеграция 4 блоков NVENC и 4 блоков NVDEC прямо на кристалл упрощает мультимедийные пайплайны, избавляя от необходимости в использовании внешних ускорителей. Стойки CPX будут содержать от 64 до 256 ускорителей, и несмотря на их автономность, Nvidia может начать рекомендовать использование соотношения 1:1 между CPX-устройствами и обычными Rubin-GPU в decode-стойке, чтобы сбалансировать поток данных между фазами.

Возвращение Rubin CPX с HBM4 — это стратегический шаг по разделению инференсной инфраструктуры на разные специализированные домены. Пока конкуренты предлагают универсальные ускорители, Nvidia фрагментирует рынок, создавая отдельные продукты для фаз prefill и decode. С другой стороны, такая архитектура требует сложной оркестрации и увеличивает операционные издержки, что может замедлить внедрение новых ИИ-чипов. Тем не менее, если планы компании подтвердятся, Rubin CPX укрепит позиции Nvidia в сегменте сверхбольших LLM-сервисов, где разделение prefill/decode уже становится отраслевой нормой.