Новинки GPU от AMD - Instinct MI325X, анонс MI350X, а также ROCm 6.2

Содержание: Введение Технические характеристики Главные конкуренты MI325X против GB100 и GB200 AMD instinct MI350X и MI400 Популярность серии Instinct Экосистема ROCm Заключение Введение 10 октября 2024 года состоялась конференция Advancing AI, на которой AMD анонсировала ряд новых продуктов, разработанных для удовлетворения растущих запросов заказчиков из сектора разработки и запуска передовых моделей искусственного интеллекта, и ответом на эти запросы стал ускоритель AMD Instinct MI325X. Это передовое решение стало преемником ускорителей Radeon Instinct MI250X и MI300X, в свое время составивших серьезную конкуренцию решениям от Nvidia, которые считаются флагманскими для сферы разработки ИИ. Instinct MI325X стали наглядной демонстрацией того, что AMD стремится развивать сферу искусственного интеллекта, предоставляя разработчикам новые, передовые решения, которые будут удовлетворять как текущие, так и будущие потребности. В этой статье мы расскажем вам об особенностях ускорителя Instinct MI325X, его характеристиках, а также о главных конкурентах этого решения. Доктор Лиза Су представляет новый чип Instinct MI325X на выставке Advancing AI. Источник: AMD. Технические характеристики Обновленная версия ускорителя оснащена следующими характеристиками: Кол-во вычислительных ядер — 19 456; Кол-во матричных ядер — 1216; Техпроцесс — 5-нм; TDP — 750 Вт; Объем памяти — 288 ГБ HBM3e; Пропускная способность памяти — до 10,3 ТБ/с; AMD уделяет особое внимание работе MI325X в режимах вычислений с половинной точностью(FP16) и набирающем популярность FP8. Источник: AMD. AMD Instinct MI325X построен на новой архитектуре CDNA 3, что обеспечит значительное улучшение производительности по сравнению с предыдущими поколениями. Но главным преимуществом этого GPU стало увеличение объема памяти до колоссального значения в 288 ГБ, что позволяет использовать Instinct MI325X для реализации самых больших языковых моделей с миллиардами параметров, крайне чувствительных к объему vRAM. Помимо этого, улучшенный формат высокоскоростной памяти HBM3e, представленный в виде кристаллов, интегрированных в графический процессор, увеличивает пропускную способность памяти до 10,3 ТБ в секунду, за счет чего значительно ускоряется обучение и инференс моделей ИИ. Еще одним передовым решением, интегрированным Instinct MI325X, является поддержка нового формата вычислений с пониженной точностью — FP8. Этот формат вычислений расходует в разы меньше памяти, чем более точные форматы, такие как FP32 и FP16, что позволяет значительно ускорить выполнение различных ИИ-задач, при этом, практически не влияя на результаты вычислений. Также в новых ускорителях также возросло количество тензорных ядер до 1216, которые напрямую влияют на производительность различных форматов вычислений. Сравнение производительности Instinct MI325X 256GB с Nvidia Tesla H200 141GB в FF32, FP16, BF16 и FP8. Источник: AMD. Главные конкуренты Несмотря на то, что AMD на всех слайдах сравнивает ускорители Instinct MI325X с решениями Nvidia H200, их реальными прямыми конкурентами станут анонсированные ускорители Nvidia Blackwell B100 и B200, которые выйдут уже в 1-ом квартале 2025 года. Nvidia в последние годы занимала лидирующие позиции в этой области, что делает их ускорители особенно привлекательными для разработчиков, занимающихся глубоким обучением нейросетей и запуском больших моделей ИИ. Однако, AMD также активно развивает свою архитектуру CDNA, что дает ей преимущества в производительности и совместимости с открытыми стандартами ИИ. MI325X обещает стать серьезным конкурентом для зеленых карточек, предлагая аналогичную или даже лучшую производительность за меньшую цену. Кроме того, ускорители Instinct MI325X поддерживают новую версию программного стека ROCm 6.2, который позволит разработчикам легко переносить софт, разработанный для ИИ-решений Nvidia, на оборудование AMD. Более подробно об этом стеке мы расскажем в блоке ниже. Комплексы DGX B200 будут противостоять решениям от AMD на архитектуре CDNA 3. Источник: Nvidia. MI325X против GB100 и GB200 Давайте сравним производительность ИИ-вычислений ускорителя MI325X с решениями от Nvidia GB100 и GB200: Режим вычислений AMD MI325X (4-й квартал 2024 года) Nvidia H200 (4-й квартал 2023 года) Nvidia GB200 (1-й квартал 2024 года) Объем памяти 288 ГБ 141 ГБ 192 ГБ FP8 до 5,22 PFLOPS до 3,9 PFLOPS ~8 PFLOPS FP16 до 2,61 PFLOPS до 1,97 PFLOPS ~4 PFLOPS FP32 до 1,3 PFLOPS до 0,98 PFLOPS ~2 PFLOPS На конференции AMD сравнивали свои новые ускорители только с решениями Nvidia H200, что может показаться странным, так как эти устройства на архитектуре Hopper были представлены в конце 2023 года. Однако, поскольку Nvidia Blackwell GB200 выйдут на рынок только в первом квартале 2025 года, провести тестирование и сравнить результаты с производительностью Instinct MI325X пока невозможно. Поэтому AMD приходится сравнивать свои новинки с решениями Nvidia прошлого поколения. Несмотря на то, что AMD MI325X проигрывает в производительности ИИ-вычислений решениям Nvidia GB200, а также не имеют поддержки формата вычислений FP4, эти ускорители имеют внушительное преимущество в виде рекордного объема памяти в 288 ГБ, что делает их крайне эффективными для выполнения ИИ-задач для запуска сложных моделей с огромным количеством параметров. Такой перевес по объему памяти может сподвигнуть разработчиков обратить внимания на решения AMD, чтобы использовать их для развертывания передовых моделей ИИ. Сравнение инференса популярных ИИ Llama 3.1* с числом параметров 405B и 70B показывает превосходство MI325X над прошлогодней Tesla H200 вплоть до 40%. Источник: AMD. AMD instinct MI350X и MI400 Помимо этого, AMD также представила на конференции приемника свой линейки ИИ-ускорителей Instinct MI350X, использующий GPU на архитектуре нового поколения — CDNA 4, специально разработанной для решения ИИ-задач. Использование этой архитектуры даст 35-кратный прирост производительности при операциях обучения ИИ по сравнению с актуальной CDNA 3, и 7-кратный прирост в производительности по сравнению с решениями конкурентов. Ускорители MI350X будет производиться на 3-нм техпроцессе. Instinct MI350X, как и решения MI325X, будут оснащены до 288 ГБ памяти типа HBM3e, что задает новый стандарт объема памяти ИИ-ускорителей. Слайд AMD повествующий о превосходстве CDNA 4 над CDNA 3 в текущей MI325X. Источник: AMD. Также важно отметить, что Instinct MI350X будут поддерживать такие форматы вычислений, как FP4 и FP6, что окажет положительное влияние на производительность при выполнении задач машинного обучения. Форматы с пониженной точностью — это новый тренд в сфере разработки искусственного интеллекта, который позволяет кратно ускорить процесс обучения нейросетей практически без снижения качества результатов вычислений. Форматы с пониженной точностью вычислений используют для обучения ИИ, от которых требуется принятие решений в реальном времени, например, системы автономного управления автомобилей. Вычислительные мощности первого продукта серии MI355X будут такими: FP4 и FP6 — 9.2 PFlops; FP8 — 4.6 PFlops; FP16 — 2.3 PFlops. На данный момент об этих ускорителях известно не так много информации, но AMD уже поделилась, что Instinct MI350X будут доступны в форм факторе Open Accelerator Module (OAM) и выйдут в 2025 году. Еще меньше известно о серии ИИ-ускорителей Instinct MI400, которые были вскользь затронуты на сентябрьской конференции. MI400 будут иметь архитектуру CDNA-Next, а более подробно о них расскажут только в 2026 году. Roadmap компании AMD вплоть до 2026, где был анонсирован ускоритель MI400 на архитектуре CDNA Next. Источник: AMD. Популярность серии Instinct В целом, все серия ускорителей ИИ-ускорителей Instinct пользуется огромной популярностью у различных технологических компаний, занимающихся созданием собственных ИИ-платформ. Например, компания Meta** активно применяет ускорители серии Instinct MI300X в своих серверах для создания общедоступной модели искусственного интеллекта Llama* 405B, весь трафик которой обслуживается ускорителями от AMD благодаря большому объему памяти и низкой стоимости владения. Полезность решений MI300X отметили и в Microsoft — интеграция серверов на базе ускорителей ИИ от AMD позволило компании оптимизировать работу их нейронных сетей, снизив задержки и увеличив производительность, что также подтвердила компания Database, руководитель которой уточнил, что MI300X увеличили производительность ИИ на 50%. Также Microsoft подтвердила, что оборудование AMD повсеместно используются во многих популярных приложениях, которыми ежедневно пользуются миллионы людей — решения компании применялись для масштабирования и оптимизации работы таких популярных приложений, как Facebook и Instagram, а сервера передовой нейросети Copilot построены на базе ИИ-ускорителей MI300X.  Еще одна компания, которая успешно интегрировала MI300X в свою инфраструктуру — Oracle. Компания внедрила AMD MI300X в дата-центры платформы облачных вычислений Oracle Cloud, за счет чего клиенты облачных сервисов Oracle получили значительный прирост производительности. Кроме того, Oracle Cloud также активно применяют DPU AMD Pensando в своей инфраструктуре — об этих передовых сопроцессорах мы поговорим в отдельной статье. Все это говорит о том, что компания AMD работает с лидерами рынка, продуктами которых пользуются по всему миру. Выбор в пользу AMD обеспечивается тем, что компания учитывает обратную связь своих потребителей создавая решения, которые будут удовлетворять их требования и предлагая наиболее гибкие условия сотрудничества. Кадр из диалога Лизы Су с CEO Microsoft, где они обсуждают важность внедрения продуктов AMD в IT инфраструктуру Microsoft. Источник: AMD. Экосистема ROCm ROCm — это программный стек на открытым исходным коде с поддержкой ИИ-ускорителей Instinct MI325X, разработанный AMD и предназначенный для разработки и выполнения ИИ-задач, улучшающий производительность и эффективность этих ускорителей в различных вычислительных средах. ROCm позволяет разработчикам свободно запускать софт для ИИ-решений Nvidia на платформах AMD. Ранее в работе ROCm было множество недочетов, но с выходом новой версии ROCm 6.2, а также поддержкой нового поколения ускорителей CDNA 3, любые программы, разрабатываемые под Nvidia, могут запускаться в экосистеме AMD. AMD демонстрирует значительный рост производительности ROCm 6.2 относительно старого релиза 6.0 на базе Llama 2*. Источник: AMD. При интеграции ROCm 6.2 с ускорителями MI325X, производительность ИИ-задач увеличивается в 1,2 раза по сравнению с производительностью при нативном запуске на базе Tesla H200. Также ROCm 6.2 может свободно подключаться к таким фреймворкам, как PyTorch, ONNX, Hugging Face, Triron и другим платформам. ROCm 6.2 — это не только удобный инструмент для разработчиков, но и еще один шаг AMD навстречу ожесточенной конкуренции с компанией Nvidia. Поскольку многие создатели ИИ предпочтут перейти на Instinct MI325X из-за выдающегося объема памяти и новых форматов вычислений, они смогут с легкостью перенести свой софт на новую платформу при помощи стека ROCm, поэтому AMD буквально уводит клиентов у Nvidia. Отныне все проекты реализованные на базе PyTorch, Triton или Huging Face могут быть переразвернуты на инфраструктуре AMD. Источник: AMD. Заключение Запуск AMD Instinct MI325X в продажу ожидается с большим интересом как среди разработчиков, так и среди рядовых пользователей. Топовые характеристики, такие как огромный объем высокоскоростной памяти HBM3e в 288 ГБ и высокая производительность для ИИ-вычислений с поддержкой нового формата вычислений с пониженной точностью FP8 позволяют в разы оптимизировать и ускорить работу с обучением больших моделей искусственного интеллекта, использующих миллиарды параметров. Благодаря этим нововведениям, AMD сможет внести значительный вклад в индустрию разработки передовых моделей нейросетей. Конкуренция с NVIDIA будет непростой, но AMD имеет все шансы занять свое место на рынке, предоставив пользователям мощный и эффективный инструмент для выполнения самых сложных вычислительных ИИ-задач по более низкому ценнику. *LLAMA — проект Meta Platforms Inc., деятельность которой в России признана экстремистской и запрещена **Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена