NVIDIA DGX H200 отправлен первому клиенту в лице OpenAI. Новый ускоритель для нейросетей.
27.04.2024, в 10:25
24 апреля 2024 года в Сан-Франциско СЕО Nvidia Дженсен Хуанг встретился с основателем OpenAI Сэмом Альтманом и лично передал сервер с новым ускорителем искусственного интеллекта DGX H200. Таким образом, OpenAI стали первыми в мире покупателями этого устройства.
Главным отличием DGX H200 от H100 является память. Ее объем увеличен в 1.8 раз (до 141GB), а пропускная способность в 1.4 раза (4.8 TB/S). По словам Nvidia, это самый быстрый процессор для ИИ в мире.
H200 стал на 50% энергоэффективнее в сравнении с H100.
Сравнение потребления энергии H100 с H200. Источник: NVIDIA
Показатели производительности и характеристики NVIDIA DGX H200:
| Характеристики | Значения |
| FP64 | 34 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 Tensor Core | 989 TFLOPS |
| BFLOAT16 Tensor Core | 1,979 TFLOPS |
| FP16 Tensor Core | 1,979 TFLOPS |
| FP8 Tensor Core | 3,958 TFLOPS |
| INT8 Tensor Core | 3,958 TFLOPS |
| Объем памяти | 141GB |
| Пропускная спосбность памяти | 4.8TB/s |
| Декодеры | 7 NVDEC, 7 JPEG |
| Энергопотребление (TDP) | до 700W |
| Показатели многопроцессорности | До 7 MIGs, 16.5GB каждый |
| Форм-фактор | SXM |
| Внутренние подключения | NVIDIA NVLink®: 900GB/s
PCIe Gen5: 128GB/s |
| В каких серверах может быть использована | В серверах от компаний-парнтеров NVIDIA HGX™ H200 с 4 или 8 GPUs;
В серверах сертифицированные NVIDIA (NVIDIA-Certified Systems™) с 4 или 8 GPUs |
| Технология NVIDIA AI Enterprise | Есть |
DGX H200 поможет OpenAI в развитии GPT-5, которая, как ожидается, объединит функции распознавания изображений, данных, и другие функции. Таким образом, GPT-5 станет мультимодальной моделью.
Сравнение H200 c H100 в работе с ИИ-моделями. Источник: NVIDIA
На данный момент DGX H200 проблематично купить обычным пользователям, так как Nvidia стремиться реализовать другую стратегию продажи, чтобы крупные компании не сталкивались с дефицитом устройств, как это было с H100.
В 2016 году Дженсен Хуанг уже доставлял в OpenAI сервер DGX-1, первую в мире платформу для развития ИИ. Тогда он встречался с соучредителем компании, Илоном Маском. На сегодняшний день отношения Маска с OpenAI ухудшились. По словам предпринимателя, он подает в суд на OpenAI из-за их превращения в коммерческую компанию, и расторгает их учредительный контракт.