NVIDIA DGX H200 отправлен первому клиенту в лице OpenAI. Новый ускоритель для нейросетей.

24 апреля 2024 года в Сан-Франциско СЕО Nvidia Дженсен Хуанг встретился с основателем OpenAI Сэмом Альтманом и лично передал сервер с новым ускорителем искусственного интеллекта DGX H200. Таким образом, OpenAI стали первыми в мире покупателями этого устройства. Главным отличием DGX H200 от H100 является память. Ее объем увеличен в 1.8 раз (до 141GB), а пропускная способность в 1.4 раза (4.8 TB/S). По словам Nvidia, это самый быстрый процессор для ИИ в мире. H200 стал на 50% энергоэффективнее в сравнении с H100. Сравнение потребления энергии H100 с H200. Источник: NVIDIA Показатели производительности и характеристики NVIDIA DGX H200: Характеристики Значения FP64 34 TFLOPS FP64 Tensor Core 67 TFLOPS FP32 67 TFLOPS TF32 Tensor Core 989 TFLOPS BFLOAT16 Tensor Core 1,979 TFLOPS FP16 Tensor Core 1,979 TFLOPS FP8 Tensor Core 3,958 TFLOPS INT8 Tensor Core 3,958 TFLOPS Объем памяти 141GB Пропускная спосбность памяти 4.8TB/s Декодеры 7 NVDEC, 7 JPEG Энергопотребление (TDP) до 700W Показатели многопроцессорности До 7 MIGs, 16.5GB каждый Форм-фактор SXM Внутренние подключения NVIDIA NVLink®: 900GB/s PCIe Gen5: 128GB/s В каких серверах может быть использована В серверах от компаний-парнтеров NVIDIA HGX™ H200 с 4 или 8 GPUs; В серверах сертифицированные NVIDIA (NVIDIA-Certified Systems™) с 4 или 8 GPUs Технология NVIDIA AI Enterprise Есть DGX H200 поможет OpenAI в развитии GPT-5, которая, как ожидается, объединит функции распознавания изображений, данных, и другие функции. Таким образом, GPT-5 станет мультимодальной моделью. Сравнение H200 c H100 в работе с ИИ-моделями. Источник: NVIDIA На данный момент DGX H200 проблематично купить обычным пользователям, так как Nvidia стремиться реализовать другую стратегию продажи, чтобы крупные компании не сталкивались с дефицитом устройств, как это было с H100. В 2016 году Дженсен Хуанг уже доставлял в OpenAI сервер DGX-1, первую в мире платформу для развития ИИ. Тогда он встречался с соучредителем компании, Илоном Маском. На сегодняшний день отношения Маска с OpenAI ухудшились. По словам предпринимателя, он подает в суд на OpenAI из-за их превращения в коммерческую компанию, и расторгает их учредительный контракт.