Top.Mail.Ru
GPU-сервер для локального запуска нейросетей на базе AMD EPYC 9354 и трёх NVIDIA RTX PRO 6000 Blackwell Max-Q 96GB | Кейсы Serverflow Скачать
прайс-лист
Бесплатная
доставка по РФ
Бонус за
обратную связь
Наша организация начинает применять ставку НДС 22%
Интернет-магазин
Серверного оборудования
8 (800) 222-70-01 Консультация IT-специалиста Сравнение
GPU-сервер для локального запуска нейросетей на базе AMD EPYC 9354 и трёх NVIDIA RTX PRO 6000 Blackwell Max-Q 96GB

GPU-сервер для локального запуска нейросетей на базе AMD EPYC 9354 и трёх NVIDIA RTX PRO 6000 Blackwell Max-Q 96GB

AMD Нейросети Nvidia RTX PRO 6000

Этот проект - GPU-сервер для локального запуска больших языковых моделей, собранный на базе 32-ядерного AMD EPYC 9354 и трёх профессиональных видеокарт NVIDIA RTX PRO 6000 Blackwell Max-Q по 96 ГБ. Суммарный объём видеопамяти составляет 288 ГБ, а оперативной - 192 ГБ DDR5 ECC RDIMM. Конфигурация предназначена для распределённого инференса крупных LLM, обработки длинного контекста и параллельной работы нескольких экземпляров нейросетей.

Задача

Команде ServerFlow предстояло собрать высокопроизводительный GPU-сервер для работы с современными нейросетями. Основное требование - обеспечить достаточный объём видеопамяти и вычислительную мощность для запуска крупных языковых моделей на собственном оборудовании.

Система должна была поддерживать несколько сценариев: распределение одной большой модели между несколькими видеокартами, запуск нейросетей с длинным контекстным окном и одновременную работу нескольких независимых экземпляров LLM.

Отдельной задачей было обеспечить эффективное охлаждение трёх профессиональных GPU при продолжительной нагрузке. Для этого требовалось подобрать корпус, систему вентиляции и блок питания с необходимым запасом мощности, а затем проверить реальные температуры, энергопотребление и уровень шума.

Решение команды ServerFlow

Мы спроектировали и собрали сервер на базе процессора AMD EPYC 9354, материнской платы Supermicro H13SSL-N и трёх видеокарт NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition по 96 ГБ.

Совокупный объём видеопамяти составил 288 ГБ GDDR7 ECC, а оперативной памяти - 192 ГБ DDR5 ECC RDIMM.

В качестве корпуса выбрали Phanteks Enthoo Pro 2 Server Edition, позволяющий разместить три профессиональные видеокарты, серверную платформу и дополнительные накопители в одной системе.

После сборки провели стресс-тестирование в OCCT Power и проверили производительность нескольких больших языковых моделей через vLLM.

Температуры, потребление и уровень шума

ПоказательOptimal SpeedFullSpeed
Шум, дБ5065
Потребление из розетки, Вт1 2001 285
CPU - средняя температура ядер, °C61,448,9
CPU - Tctl/Tdie, °C60,048,7
CPU - эффективная частота ядер, ГГц2,993,02
CPU - Package Power / PPT, Вт245 / 267244 / 264
Кулер процессора FAN2, об/мин7001 680
Корпусные FAN1 / FAN3 / FAN4, об/мин1 400 / 1 120 / 1 1202 940 / 2 380 / 2 380
Плата - System / Peripheral, °C39,0 / 49,028,8 / 39,9
VRM CPU - VRM0 / VRM1, °C62,9 / 54,152,5 / 40,8
Память - DIMM A–F / G–L, °C44,0 / 49,032,6 / 38,8
SSD WD_BLACK - два датчика, °C41,4 / 59,033,7 / 49,9

Переход на FullSpeed снизил среднюю температуру ядер процессора с 61,4 до 48,9 °C, то есть на 12,5 °C. При этом уровень шума увеличился с 50 до 65 дБ, а потребление из розетки - с 1200 до 1285 Вт.

В режиме простоя с профилем Optimal Speed сервер потреблял 220 Вт, а уровень шума составлял 35 дБ.

Температуры трёх NVIDIA RTX PRO 6000 Blackwell

Видеокарта и режимЯдро, °CПамять, °CHot Spot, °CВентилятор, об/минGPU, Вт
GPU 0 - Optimal72,774,076,32 416292
GPU 0 - FullSpeed63,563,967,43 350300
GPU 1 - Optimal80,080,083,93 101300
GPU 1 - FullSpeed78,679,382,43 350300
GPU 2 - Optimal76,976,080,92 826300
GPU 2 - FullSpeed69,967,873,73 350300

Наибольшую температуру в обоих режимах показала GPU 1: 80 °C по ядру при Optimal Speed и 78,6 °C при FullSpeed.

Повышение оборотов вентиляторов заметно улучшило охлаждение GPU 0 и GPU 2, снизив среднюю температуру их ядер примерно на 9,1 и 7 °C соответственно. При этом GPU 1 реагировала на изменение профиля охлаждения значительно слабее: температура ядра снизилась примерно на 1,5 °C.

Тестирование позволило сравнить эффективность двух профилей вентиляции и оценить компромисс между температурой компонентов, уровнем шума и энергопотреблением.

Тестирование производительности нейросетей

После проверки аппаратной части мы протестировали систему в задачах локального инференса больших языковых моделей.

Для запуска использовали vLLM. Проверяли производительность DeepSeek, Nemotron и Qwen в разных конфигурациях - от одной до трёх видеокарт. Отдельно оценивали скорость генерации одного ответа, суммарную производительность при параллельных запросах и возможность обработки длинного контекста.

Результаты тестирования LLM

Модель и конфигурацияРезультат
DeepSeek V4 Flash 0731
NVFP4 / FP8, 2 GPU, TP=2
219,60 ток/с при одиночной генерации (медиана 5 прогонов, DSpark k=3, Marlin). В пакетном тесте без DSpark - 559,80 ток/с при 32 параллельных запросах. Обработано 119 982 входных токена в тесте длинного контекста.
Nemotron 3.5 Super VL 120B-A12B
NVFP4 / FP8, 1 GPU, TP=1, MTP5
768,25 ток/с при 32 параллельных запросах. В режиме контекста 320K обработано 319 806 входных токенов за 57,81 с.
Qwen3.8 27B NVFP4
1 GPU, FP8 KV-кеш
При одиночной генерации MTP3 увеличил скорость с 57,22 до 105,55 ток/с. Пиковая производительность пакетного теста - 534,07 ток/с при 64 параллельных запросах. Успешно запущен профиль 256K.
9 × Qwen3.8 27B NVFP4
3 GPU, по 3 экземпляра на каждой
1383,31 ток/с по общему времени прогона при 4608 параллельных клиентских запросах. За все уровни нагрузки - 20 736 успешных запросов и 0 ошибок.

Скорости приведены в выходных токенах в секунду. Одиночная генерация и пакетный инференс - разные сценарии нагрузки, поэтому их показатели напрямую не сопоставляются.

Распределение больших моделей между GPU

При работе с крупными языковыми моделями одним из главных ограничений является объём доступной видеопамяти. В конфигурации с тремя NVIDIA RTX PRO 6000 Blackwell Max-Q сервер располагает 288 ГБ совокупной VRAM. Однако видеопамять каждой карты физически независима, поэтому для размещения большой модели на нескольких GPU необходима соответствующая схема распределения.

В ходе тестирования мы проверили запуск DeepSeek с распределением слоёв модели по трём видеокартам в режиме Pipeline Parallelism (PP=3). По данным nvidia-smi, загрузка видеопамяти составила 80 708, 92 018 и 85 608 MiB на трёх GPU соответственно.

Это подтвердило возможность размещения крупной модели с использованием ресурсов всех трёх ускорителей.

Работа с длинным контекстом

Отдельное внимание уделили обработке больших объёмов входного текста. При тестировании Nemotron на одной видеокарте с лимитом контекста 320K удалось обработать 319 806 входных токенов за 57,81 секунды. Для Qwen также успешно запустили профиль с контекстом 256K.

Такие сценарии актуальны при анализе больших документов, обработке программного кода, работе с базами знаний и других задачах, где нейросети необходимо учитывать значительный объём информации в одном запросе.

Использование видеопамяти

КонфигурацияЗанято по nvidia-smi, MiB
DeepSeek, 3 GPU, распределение слоёв PP=380 708 / 92 018 / 85 608
Nemotron, 1 GPU, профиль 16K88 961
Qwen, 1 GPU, профиль 256K86 214

Показатели включают не только веса моделей, но и KV-кеш, рабочие буферы и другие данные, необходимые для инференса. Например, в тесте Qwen при общей занятости 86 214 MiB загрузка весов модели составляла 18,96 GiB.

Одновременный запуск девяти экземпляров Qwen

Одним из основных испытаний стала проверка системы в режиме параллельного обслуживания большого количества запросов. На трёх видеокартах одновременно запустили девять независимых экземпляров Qwen3.8 27B - по три экземпляра на каждом GPU.

При контексте 4096 токенов на экземпляр и использовании MTP3 суммарная производительность составила 1383,31 выходного токена/с по общему времени прогона при 4608 параллельных клиентских запросах.

За все уровни нагрузочного тестирования система обработала 20 736 запросов без единой ошибки.

Этот результат демонстрирует эффективность многокарточной конфигурации не только при распределении одной большой модели, но и при работе нескольких независимых нейросетевых сервисов одновременно.

Результат

Команда ServerFlow собрала и протестировала производительный GPU-сервер на базе AMD EPYC 9354 и трёх NVIDIA RTX PRO 6000 Blackwell Max-Q с совокупным объёмом видеопамяти 288 ГБ.

Проведённые испытания подтвердили возможность работы системы в нескольких сценариях: распределённый инференс больших языковых моделей, обработка длинного контекста и одновременное обслуживание множества запросов.

В тесте девяти экземпляров Qwen на трёх GPU удалось достичь суммарной производительности 1383,31 выходного токена/с при отсутствии ошибок на всех уровнях нагрузки.

Дополнительно мы проверили температурные характеристики системы под полной нагрузкой. При потреблении до 1285 Вт из розетки сервер продемонстрировал возможность работы трёх профессиональных ускорителей в корпусе Phanteks Enthoo Pro 2 Server Edition.

В результате получилась вычислительная платформа для локального запуска LLM, развёртывания AI-сервисов и экспериментов с большими нейросетями без обязательного использования облачных вычислительных ресурсов.

Готовая сборка доступна для заказа. Этот GPU-сервер на базе AMD EPYC 9354 и трёх NVIDIA RTX PRO 6000 Blackwell Max-Q 96GB представлен в каталоге ServerFlow. Посмотреть конфигурацию и оформить заказ можно в карточке готового GPU-сервера.

Видео сборки и тестирования

Посмотреть процесс сборки, компоновку компонентов и проверку системы можно в нашем видео:

Видео сборки и тестирования GPU-сервера ServerFlow на YouTube.

Фотографии

Общий вид системы в корпусе Phanteks.

Три GPU и компоненты системы, фронтальный ракурс.

Внутренняя компоновка в открытом корпусе.

Видеокарты и система охлаждения, ракурс под углом.

Крупный план трёх видеокарт NVIDIA.

GPU рядом с корпусными вентиляторами.

Три GPU, съёмка сбоку.

Слоты расширения и видеокарты.

Макросъёмка заднего торца видеокарты.

Крупный план корпусных вентиляторов.

Блок питания в нижней части корпуса.

Нижний отсек корпуса и компоненты системы.

Крепление видеокарт со стороны задней панели.

Слоты расширения на задней панели.

Задняя панель корпуса целиком.

Задняя панель корпуса, дополнительный ракурс.
Оставьте заявку на получение КП
Ваш отклик успешно отправлен!

Мы свяжемся с вами в самое ближайшее время

Написать отзыв
До 6 фото, размером до 12Мб каждое
Мы получили ваш отзыв!

Он появится на сайте после модерации.

Написать комментарий

Комментарий появится на сайте после предварительной модерации

До 6 фото, размером до 12Мб каждое
Мы получили ваш отзыв!

Он появится на сайте после модерации.

Мы свяжемся с вами утром

График работы: Пн-Пт 10:00-18:30 (по МСК)

Обработаем вашу заявку
в ближайший рабочий день

График работы: Пн-Пт 10:00-18:30 (по МСК)