Nvidia NVHBM — память со встроенным контроллером ускорит кастомные XPU и освободит до 25% площади кристалла

NVIDIA представила NVHBM — свою новую технологию памяти с высокой пропускной способностью, разработанную в рамках инициативы NVLink Fusion для ускорения создания кастомных ИИ-ускорителей. В отличие от стандартной HBM, где контроллер памяти размещается на основном кристалле XPU, NVHBM интегрирует контроллер непосредственно в базовый кристалл стека HBM. Это позволяет на 30% увеличить пропускную способность памяти, до 15% снизить энергопотребление подсистемы памяти и высвободить до 25% площади основного кристалла под дополнительные вычислительные блоки. Технология ориентирована на гиперскейлеров и AI-компании, создающих собственные ускорители, и будет доступна у нескольких поставщиков памяти. Первым партнёром, получившим доступ к NVHBM, станет подразделение Annapurna Labs компании Amazon в рамках интеграции с ускорителями Trainium4.

Современные ИИ-нагрузки требуют постоянного доступа к весам моделей, KV-кэшу и данным активаций, что делает пропускную способность памяти одним из главных ограничителей производительности. Стандартная HBM уже приближается к своим физическим пределам, и производители ускорителей вынуждены идти на компромиссы между вычислительной площадью, энергопотреблением и интерфейсом памяти. NVHBM решает эти проблемы на архитектурном уровне.

Ключевая инновация заключается в переносе контроллера памяти с кристалла XPU в 3D-стек HBM. В обычной HBM контроллер занимает значительную часть основного кристалла, расходуя площадь, которую можно было бы отдать под матричные движки или кэш. В NVHBM контроллер встраивается в базовый кристалл памяти, а для связи с XPU используется кастомный PHY с уменьшенным числом контактов. По сравнению со стандартом JEDEC HBM4e площадь PHY и вспомогательных блоков сокращается до 67%, а межсоединения на интерпозере упрощаются, освобождая до 80% полезной площади разводки.

Это даёт сразу три преимущества. Во-первых, пропускная способность растёт на 30% за счёт более эффективного интерфейса и сокращения накладных расходов. Во-вторых, энергопотребление HBM снижается на 15%, что создаёт дополнительный тепловой запас для вычислительных блоков. В-третьих, на основном кристалле XPU высвобождается до 25% площади, которую можно использовать для дополнительных ядер, SRAM, матричных блоков или специализированных ускорителей. Для кастомных чипов, где каждый квадратный миллиметр на счету, это прямой путь к росту производительности в том же корпусе.

В масштабе AI-фабрики экономия энергии становится особенно заметной. По оценке NVIDIA, в дата-центре мощностью 1 ГВт с ускорителями класса 2000 Вт снижение потребления HBM на 15% позволяет разместить до 15 000 дополнительных XPU в том же энергетическом бюджете. Для задач инференса больших моделей, где приходится многократно считывать веса и кэш, это напрямую повышает пропускную способность на пользователя и позволяет обслуживать больше одновременных запросов.

NVHBM является частью более широкой платформы NVLink Fusion, которая предоставляет гиперскейлерам доступ к технологиям NVIDIA: чиплетам NVLink-C2C, сетевым коммутаторам NVLink, стоечным решениям MGX и теперь к памяти NVHBM. Это позволяет создавать полузаказные AI-фабрики, комбинируя кастомные XPU и CPU с проверенной инфраструктурой NVIDIA. Благодаря стандартизации интерфейса памяти у нескольких производителей, заказчики могут быстрее сертифицировать память и снизить риски цепочки поставок.

Первым практическим применением станет сотрудничество с AWS для ускорителей Trainium4, где NVHBM будет интегрирована в рамках NVLink Fusion. Это демонстрирует, что NVIDIA готова делиться технологиями памяти с конкурентами по рынку ускорителей, превращая NVLink Fusion в открытую платформу для кастомного кремния.

NVHBM — это стратегический ход NVIDIA, направленный на укрепление её позиций как поставщика инфраструктурных технологий, а не только готовых GPU. Переместив контроллер памяти внутрь HBM-стека, компания фактически предлагает партнёрам способ обойти одно из главных ограничений при проектировании собственных XPU. Если NVHBM действительно обеспечит заявленные преимущества, она может стать де-факто стандартом для кастомных ИИ-ускорителей, подобно тому как HBM стала стандартом для высокопроизводительных GPU. Однако реальный эффект будет зависеть от готовности партнёров памяти выпускать стеки с интегрированным контроллером и от того, насколько быстро производители ASIC смогут адаптировать свои проекты под новый интерфейс. Пока же NVIDIA делает ставку на то, что контроль над памятью — это контроль над будущим ИИ-вычислений.