48GB видеокарта Gigabyte Radeon PRO W7800 AI TOP — прорыв в области искусственного интеллекта

Содержание: Введение Особенности Radeon PRO W7800 AI TOP 48G Технические характеристики Radeon PRO W7800 AI TOP 48G Конкуренты Radeon PRO W7800 AI TOP 48G Предыдущие графические ускорители от Gigabyte Заключение Введение Одна из крупнейших IT-компаний Gigabyte, занимающаяся выпуском высокотехнологичных решений в области вычислительного оборудования, анонсировала выход новой, высокопроизводительной видеокарты с объемом памяти в 48 Гб для сектора HTPC и обучения передовых моделей искусственного интеллекта, которая разработана на базе Radeon W7800 от AMD. Новая модель получила название Radeon PRO W7800 AI TOP 48G. В этой статье мы разберем главные особенности новой видеокарты, рассмотрим ее технические характеристики, сравним Radeon PRO W7800 AI TOP 48G с конкурентами, а также поговорим о предыдущих графических решениях от Gigabyte. Особенности Radeon PRO W7800 AI TOP 48G Главной особенностью новых видеокарт Radeon PRO W7800 AI TOP 48 от Gigabyte является увеличенный объем памяти, который достигает 48 Гб. Этот показатель значительно больше, чем у оригинального графического ускорителя W7800 от компании AMD — объем памяти этой карты составляет всего 32 Гб. Такой внушительный объем памяти будет крайне полезен для обучения больших языковых моделей (LLM), поскольку количество параметров таких ИИ постоянно увеличивается и для обучения таких нейросетей без использовании квантизации требуется повышенный объем графической памяти. С учетом того, что совсем недавно вышла новая версия программного стека ROCm 6.2 от AMD, который позволяет адаптировать код, заточенный под видеокарты Nvidia, ускорители Radeon PRO W7800 AI TOP 48G  пригодны к использованию во множестве секторов и инфраструктур.  Новая видеокарта Radeon PRO W7800 AI TOP 48G от Gigabyte. Источник: Gigabyte. Кроме того, сам корпус устройства наделен некоторыми особенностями, которые позволяют легко интегрировать Radeon PRO W7800 AI TOP 48G в серверную систему. Разъемы для подключения питания к видеокарте находятся на задней панели, поэтому эти ускорители можно удобно размещать в корпусе, протянув кабели подачи энергии к задней стенке сервера. Помимо этого, видеокарта Radeon PRO W7800 AI TOP 48G имеет турбинный вентилятор, который призван компенсировать высокий показатель TDP устройства. За счет этого можно четко направлять потоки воздуха, снижая перегрев сервера и открывая более широкие возможности для масштабирования системы.  За счет турбинного вентилятора можно эффективно масштабировать систему на основе видеокарт  Radeon PRO W7800 AI TOP 48G. Источник: Gigabyte. Технические характеристики Radeon PRO W7800 AI TOP 48G Как и оригинальная карта W7800 от AMD, ускоритель Radeon PRO W7800 AI TOP 48 построен на базе графического чипсета Navi 31 с архитектурой RDNA 3, в которую входит 4480 потоковых процессоров. Пропускная способность шины памяти имеет разрядность 384 бит, что идентично разрядности шины более дорогой модели видеокарты из той же линейки — PRO W7900. Общая пропускная способность также увеличена и достигает 864 Гб/с. Габариты видеокарты также претерпели изменения и теперь она занимает 2 слота расширения и имеет длину в 29,3 см, что является следствием увеличения вышеперечисленных характеристик. Такие улучшения не могли не повлиять на TDP видеокарты — показатель увеличен на 21 W в сравнении с оригиналом, общий TDP достигает 281W. Помимо этого, новая видеокарты оснащена двумя 8-ми контактными разъемами питания, тремя портами DisplayPort 2.1 и одним mini-DisplayPort 2.1.  Конкуренты Radeon PRO W7800 AI TOP 48G Несмотря на то, что решение PRO W7800 AI TOP 48G находится лишь на втором месте по производительности после видеокарты Radeon W7900 в линейке профессиональных ускорителей от AMD, за счет увеличения объема памяти до 48 Гб этот ускоритель может успешно конкурировать с топовыми решениями в области искусственного интеллекта от Nvidia в лице серии RTX Ada. Сравним эти продукты с видеокартой PRO W7800 AI TOP 48G по производительности в задачах с плавающей запятой: Видеокарта FP16 FP32 Radeon PRO W7800 AI TOP 48G 90.5 TFLOPs 45.2 TFLOPs NVIDIA RTX 5000 Ada 32GB 65.28 TFLOPS 65.28 TFLOPS NVIDIA RTX 6000 Ada 48GB 91.06 TFLOPS 91.06 TFLOPS Как видно из таблицы, видеокарте PRO W7800 AI TOP 48G удалось сравняться с передовыми решениями RTX 5000 Ada 32GB и RTX 6000 Ada 48GB в вычислениях с половинной точностью(FP16), которые повсеместно используются в секторе ИИ. Тем не менее, в вычислениях с полной точностью(FP32) ускоритель все же отстает от аналогов, однако, важно учесть, что стоимость видеокарты от Gigabyte не будет превышать ценник на Radeon W7900 и, соответственно, будет дешевле ускорителей RTX 5000 Ada и RTX 6000 Ada.  Видеокарта RTX 6000 Ada 48gb от Nvidia. Источник: Nvidia.  Предыдущие графические ускорители от Gigabyte До анонса Radeon PRO W7800 AI TOP 48G, Gigabyte занималась лишь перевыпуском профессиональных видеокарт на партнерской основе, которые отличались от оригинальных ускорителей лишь обновленным дизайном, улучшенными системами охлаждения и интеграций собственных технологий компании. В числе профессиональных видеокарт, вышедших в рамках партнерства Gigabyte, можно выделить следующие ускорители: Radeon PRO W7900 Dual Slot AI TOP 48G; Radeon PRO W7800 AI TOP 32G. Благодаря турбированным вентиляторам, можно создавать подобные системы на основе видеокарт Radeon PRO W7800 AI TOP 48G. Источник: Hardwarezone. Такие устройства не выделялись существенным увеличением производительности и других характеристик в сравнении с оригинальными картами, однако, с выходом Radeon PRO W7800 AI TOP 48G, ситуация изменилась, поскольку AMD позволила Gigabyte выпускать новые графические ускорители, которые превосходят стандартные спецификации видеокарт AMD. Выход этой видеокарты говорит о том, что Gigabyte готова двигаться вперед и создавать собственные, уникальные графические решения, которые будут способны конкурировать с ведущими производителями решений в области искусственного интеллекта и HTPC.  Заключение Несмотря на то, что популярные производители продолжают выпускать свои графические решения для сектора HTPC и искусственного интеллекта, на рынке все еще недостаточно высокопроизводительных решений с большим объемом памяти. В этом контексте выпуск Radeon PRO W7800 AI TOP с огромным объемом памяти в 48 ГБ может удовлетворить эту потребность. Кроме того, современные модели LLM, такие как *LLAMA 3.2, очень медленно обучаются при использовании VRAM видеокарта. Поэтому один или несколько видеоадаптеров с 48 ГБ видеопамяти могут решить проблемы, связанные с инференсом и обучением даже неквантизированных моделей искусственного интеллекта. В сочетании с программной оптимизацией ROCm, эти факторы позволяют видеокартам Radeon PRO W7800 AI TOP составить серьезную конкуренцию Nvidia на рынке рабочих станций и серверов для искусственного интеллекта, сместив зеленую компанию с лидирующей позиции. *LLAMA 3.2 — проект Meta Plarforms Inc.**, деятельность которой в России признана экстремистской и запрещена. **Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена.