HBM память — лидер скоростных показателей

Презентация HBM памяти от Micron. Источник: Micron HBM (память с высокой пропускной способностью) — это особый тип быстрой памяти, используемой в современных высокопроизводительных устройствах — видеокартах, AI ускорителях, DPU. За счет того, что HBM-память расположена на одной подложке с чипом GPU, она обеспечивает огромную скорость передачи данных. Содержание: История Смысл HBM-памяти Ключевые отличия HBM от GDDR HBM в ускорителях для обучения ИИ Преимущества HBM Недостатки HBM HBM на потребительском рынке Заключение История HBM-память была разработана в 2013 году компанией AMD в сотрудничестве с Hynix и TSMC. Она предназначалась для использования в графических процессорах, предлагая гораздо большую пропускную способность по сравнению с традиционной DRAM. С тех пор последовательные поколения HBM многократно увеличили скорость передачи данных, с 128 Гбит/с в HBM1 до 819 Гбит/с в HBM3, что позволило современным GPU и другим высокопроизводительным устройствам получать значительные вычислительные возможности. HBM-память стала ключевым фактором развития суперкомпьютеров и передового оборудования для искусственного интеллекта. GPU Nvidia Tesla P100 имеет четыре чипа HBM2, что обеспечивает пропускную способность 732.2 GB/s Смысл HBM-памяти Архитектурно HBM-память, в отличии от GDDR-памяти, встраивается непосредственно в чип GPU, а не вынесена за его пределы. Она построена на использовании вертикально расположенных слоев памяти и вместо традиционной горизонтальной компоновки, в HBM применяют несколько (обычно от 4 до 8) отдельных кристаллов памяти, размещенных друг на друге. Важно отметить, что это позволяет сократить расстояние между графическим процессором и VRAM, уменьшая задержки и увеличивая пропускную способность. Кристаллы памяти соединены между собой высокоскоростными связями, позволяющими передавать данные с очень высокой скоростью и в большом объеме. В сочетании с высокой плотностью размещения ячеек памяти, это дает HBM колоссальную пропускную способность — до 819 Гбит/с на один чиплет. Такая архитектура, с ее встроенной в GPU памятью, идеально подходит для высокопроизводительных устройств, таких как мощные видеокарты, ускорители ИИ и суперкомпьютеры, нуждающиеся в огромных вычислительных возможностях. Версия HBM1 HBM2 HBM2E HBM3 HBM3E HBM3 Gen2 Год выпуска 2015 год 2016 год 2019 год 2021 год 2022 год к 2026 году Пропускная способность до 128 Гбит/с до 256 Гбит/с до 307 Гбит/с до 512 Гбит/с до 819 Гбит/с до 1,24 Тбит/с Плотность памяти до 8 стеков до 16 стеков до 24 стеков до 32 стеков до 48 стеков до 48 стеков Частота до 500 МГц до 2,0 ГГц до 2,4 ГГц до 3,6 ГГц до 3,6 ГГц до 4,8 ГГц Объем памяти на модуль до 4 ГБ до 8 ГБ до 16 ГБ до 24 ГБ до 48 ГБ до 96 ГБ Ключевое отличие HBM от GDDR памяти - физическое размещение. Источник: AMD Ключевые отличия HBM от GDDR Ключевые отличия HBM от традиционной GDDR-памяти заключаются в архитектуре: 1. Компоновка памяти: GDDR состоит из отдельных BGA чипов, распаянных на общем текстолите. В HBM чиплеты памяти распаяны на одной кремниевой подложке с GPU. 2. Способ подключения к процессору: GDDR соединяется с процессором через металлизированные дорожки в текстолите. HBM напрямую подключается к процессору через короткие межсоединения в рамках одной кремниевой подложки, сокращая расстояние. 3. Пропускная способность: GDDR уступает в скоростных показателях HBM-решениям. HBM за счет 3D-компоновки обеспечивает гораздо более высокую пропускную способность. Это связано с тем, что у HBM гораздо большая шина памяти, поскольку она состоит из множества параллельных каналов, что позволяет передавать большие объемы данных одновременно. Именно благодаря этой широкой шине памяти HBM обеспечивает выдающуюся производительность. Таким образом, архитектура HBM позволяет добиться существенно более высокой производительности по сравнению с GDDR, что делает ее незаменимой для современных высокопроизводительных устройств. Новейшие процессоры AMD Versal могут оснащаться сверхскоростной HBM2e DRAM для ускорения вычислений. Источник: AMD HBM в ускорителях для обучения ИИ HBM это действительно прорывная технология, без которой решение современных задач было бы невозможно. Так высокоскоростная память используется в таких продуктах, как Nvidia Tesla и AMD Radeon Instinct, предназначенных для обучения искусственного интеллекта и нейронных сетей. Связанно это с тем, что HBM память способна дать ни с чем не сравнимый уровень производительности, так необходимый для развития AI-технологий. Флагманский продукт AMD Instinct MI300X оснащен 192GB HBM3 памяти с пропускной способностью в 5.2TB/s. Такие скоростные показатели важны для эффективного обучения искусственного интеллекта. Источник: AMD Преимущества HBM Основные преимущества: Высокая пропускная способность: HBM обеспечивает беспрецедентные скорости передачи данных, достигающие до 819 Гбит/с на один чиплет в последних поколениях. Это существенно превосходит возможности традиционной GDDR-памяти. Низкие задержки: Благодаря короткому пути передачи данных, HBM демонстрирует очень низкую латентность доступа к памяти, что важно для высокопроизводительных приложений. Энергоэффективность: HBM потребляет значительно меньше энергии по сравнению с GDDR-памятью, что важно для решений с ограниченным тепловым бюджетом. Масштабируемость: поколения HBM постоянно эволюционируют, увеличивая объем доступной памяти и пропускную способность, обеспечивая высокую масштабируемость. Надежность: специальная архитектура и технология производства HBM гарантируют повышенную надежность и стабильность работы. Также HBM имеет поддержку ECC — технологии аппаратного исправления ошибок. Эти ключевые преимущества HBM-памяти в области производительности, энергоэффективности и компактности делают ее идеальным выбором для широкого спектра высокопроизводительных вычислительных систем, от графических ускорителей до суперкомпьютеров. Слайд отражает преимущества HBM над GDDR. Видно что стеки памяти HBM имеют кратную пропускную способность и сниженное электропотребление. Источник: AMD Недостатки HBM Также у HBM-памяти есть ряд недостатков: Высокая стоимость: HBM-модули являются более дорогими по сравнению с традиционной GDDR-памятью. Это связано со сложностью производства и упаковки 3D-чипов. Сложность интеграции: интеграция HBM-памяти в системные решения является более сложной по сравнению с GDDR. Это требует специальной компоновки подложки кристалла GPU и более тщательной разводки сигналов. Меньший ассортимент продуктов: в отличие от GDDR, ассортимент продуктов с HBM-памятью пока более ограничен, особенно для конечных потребителей. Невозможность ремонта: из-за сложной 3D-компоновки, ремонт и замена вышедших из строя HBM-модулей невозможны — HBM нельзя выпаять, можно только заменить сам чип, а его цена составляет до 95% от стоимости ускорителя. HBM на потребительском рынке Не многие знают, что память HBM применялась в ряде десктопных графических адаптеров. Давайте совместно проследим за развитием сверхскоростной памяти на игровом рынке. AMD Radeon R9 FURY — адаптер имел на борту 4Gb HBM памяти первого поколения. Память имела пропускную способность 512.0 GB/s, что в почти в 1,5 раза опережало показатели GDDR5 в 2015 году(GTX980ti - 336.6 GB/s). AMD Radeon RX Vega 64 — ускоритель, дебютировавший в 2017 году на базе второго поколения сверхбыстрой памяти. 8GB HBM2 не могли похвастаться рекордными скоростями и ограничивались 483.8 GB/s. Отсутствие кратного роста производительности связано с применением лишь двух кристаллов HBM2, пока в R9 Fury использовалось 4. Тем не менее, эта планка производительности превосходила достижения конкурентов — GTX1080 могла похвастаться лишь 320.3 GB/s на базе GDDR5X памяти. AMD Radeon VII — GPU с 16GB на базе четырех чиплетов HBM2 памяти предоставлял пропускную способность в 1.02 TB/s! На момент 2019 года ближайший конкурент в лице RTX 2080 Ti имел лишь ПП 616.0 GB/s — это еще раз доказывает превосходство HBM памяти над GDDR. Период с 2015-2020 год можно смело назвать “экспериментом от AMD”. Красный гигант путем адаптации собственных профессиональных чипов для потребительского рынка пытался повысить серийность HBM, что должно было повлечь снижение стоимости конечных продуктов. Однако потребители не были готовы переплачивать за привычные объемы памяти, а игровые издатели не адаптировали релизы под производительную память. Эти факторы сделали HBM память в потребительском сегменте практически бессмысленной, в результате чего она была вытеснена с десктопного рынка. Наглядная разница строения чипов AMD с HBM памятью. Чип Fiji в R9 Fury имеет самые малые чиплеты HBM. Чип Vega 64 имеет два модуля HBM для оптимизации стоимости видеокарты. Radeon VII спроектирован без компромиссов, но в свою очередь имел стоимость в 700$ на старте продаж. Заключение Таким образом, сочетание высокой пропускной способности, энергоэффективности и масштабируемости делает HBM ключевым компонентом в разработке высокопроизводительных систем для широкого спектра приложений, включая обработку графики, обучение нейронных сетей, научные вычисления и другие ресурсоемкие задачи. HBM позволяет достигать значительных улучшений в производительности и сокращать энергопотребление, что является критически важным для современных высокопроизводительных вычислительных систем. Развитие HBM открывает перспективы значительного повышения производительности и энергоэффективности высокопроизводительных вычислительных систем. В будущем мы можем ожидать увеличение пропускной способности, плотности, масштабируемости и энергосбережения HBM, что расширит применение этой технологии в ускорителях, серверах, суперкомпьютерах и других передовых вычислительных платформах.