AWS представила Trainium3: ASIC-чип на 2,52 PFLOPS в FP8

На конференции re:Invent в Лас-Вегасе Amazon Web Services представила третье поколение специализированных ASIC-чип для искусственного интеллекта — Trainium3. Это стратегическое решение направлено на укрепление независимости компании от сторонних производителей аппаратного обеспечения, и в первую очередь от лидера рынка в лице Nvidia. Новый ASIC обещает революционное повышение производительности и энергоэффективности для обучения самых передовых нейросетей.

Чип Trainium3 создан по передовому 3-нм техпроцессу TSMC (N3) и демонстрирует впечатляющие технические характеристики:

• Вычислительная мощность: 2,52 PFLOPS в FP8 на один чип.
• Память: до 144 ГБ HBM3E с пропускной способностью 4,9 ТБ/с.
• Гибкость: Поддержка как стандартных, мультимодальных, MoE архитектур ИИ-моделей.
• Инновационные форматы данных: поддержка MXFP8, MXFP4, NVFP4 и других современных форматов ИИ-вычислений. 

Для сравнения, объем памяти Trainium3 превышает объем Nvidia H200 NVL (141 ГБ), однако, решение AWS в 4 раза уступает по производительностью GPU Nvidia B200 (9 PFLOPS в FP8) и почти в 5 раз уступает GPU Nvidia B300 (12 PFLOPS в FP8). Чипы Trainium3 стали основой для новых инстансов Amazon EC2 Trn3 UltraServer, которые уже доступны клиентам компании.

Системы Trn3 UltraServer демонстрируют исключительные возможности масштабирования:

• Один сервер может объединять до 144 чипов Trainium3, обеспечивая совокупную производительность около 362 PFLOPS (FP8).
• Для сверхмасштабных задач серверы можно объединять в кластеры EC2 UltraClusters 3.0.
• Полностью укомплектованный UltraServer располагает примерно 20,7 ТБ памяти HBM3e и суммарной пропускной способностью памяти около 706 ТБ/с.
• Новая сетевая архитектура NeuronSwitch-v1 удваивает скорость межчипового соединения по сравнению с предыдущим поколением.

По сравнению с Trainium2, новое решение демонстрирует качественный скачок эффективности: производительность выросла в 4,4 раза, пропускная способность памяти — в 3,9 раза, а энергоэффективность улучшилась примерно в 4 раза. Также значительно возросли эффективность логического вывода и обработки токенов в сервисах Amazon.

Запуск Trainium3 — это не просто обновление продуктовой линейки, а важный стратегический ход Amazon. Компания активно диверсифицирует свою вычислительную экосистему, предлагая клиентам мощную и более доступную альтернативу графическим процессорам Nvidia и AMD. AWS уже использует эти чипы для внутренних ИИ-моделей и предоставляет доступ к ним ведущим лабораториям искусственного интеллекта, например, компании Anthropic, ответственной за выпуск передовых нейросетей семейства Claude. Дженсену Хуангу новый релиз AWS точно не понравится.