AWS представила новые CPU Graviton4 и GPU Trainium2

Компания Amazon Web Services (AWS) представила передовые центральные ARM-процессоры Graviton4 и новейшие ИИ-ускорители Trainium2 для корпоративных серверных систем, ориентированных на выполнение ресурсоемких задач искусственного интеллекта. 

Новый процессор Graviton4 представляет собой модификацию решения семейства Graviton, которое вышло на рынок в 2023 году. За разработку решения отвечает израильская компания Annapurna Labs, которая была приобретена AWS еще в 2015 году. По заявлению Amazon Web Services, процессор Graviton4 получил 96 ядер Neoverse V2 Demeter (ARMv9), что на 50% больше количества ядер предшественника в лице Graviton3, а также на 75% более высокую пропускную способность памяти благодаря наличию 12-канальной DDR5-5600 (четыре чипа памяти на подложке). Стоит отметить, что ядра Neoverse V2 Demeter, предположительно, также будут использоваться в центральном процессоре Nvidia N1X для десктопных систем, который все еще не анонсирован, и серверных CPU Nvidia Vera, которые придут на замену чипам Grace и будут работать в паре с ИИ-ускорителями Rubin.

Вместе с памятью и SoC, на подложке чипа также распаяно два контроллера PCIe 5.0 по 48 линий (всего 96 линий PCIe). Общая вычислительная мощность решения возросла на 30%. Также на каждое ядро северного центрального процессора приходится по 2 МБ кэша L2. Также есть информация, у инстансов на базе Graviton4 пропускная способность сетевой подсистемы увеличится в 12 раз — с 50 Гбит/с до 600 Гбит/с. В общей сложности чип насчитывает 73 млрд транзисторов и изготавливается по 4-нм техпроцессу TSMC. Другие характеристики и дата выхода Graviton4 компания AWS раскроет до конца июня 2025 года. Примечательно, что Graviton4 станут первыми решениями в семействе Graviton, которые поддерживают многопроцессорность в рамках одной ноды, что позволит создавать значительно более высокопроизводительные серверы для интеграции в кластер. 

Вычислительная нода на базе двух процессоров Graviton4. Источник: WikiChip.

Подход AWS весьма интересен, поскольку аппаратная архитектура процессора Graviton4 напоминает чип AmpereOne от компании Ampere с акцентом на большое количество ядер и интегрированную периферию. Примечательно, что компания Intel также планирует двигаться в этом направлении со своими сериями чипов Granite Rapids и Sierra Forest в следующем году, однако подход Intel будет не настолько радикальным. При этом, многие заказчики облачных услуг увеличивают количество запросов центральных процессоров с централизованными хабами ввода-вывода, как это делает компания AMD в линейке процессоров EPYC. В рамках анонса AWS также раскрыла, что суммарный выпуск процессоров Graviton уже превысил 2 миллиона единиц, а с выходом Graviton4 это количество может значительно увеличиться.

Новый ИИ-ускоритель Trainium2, по всей видимости, является попыткой компании AWS начать конкуренцию с корпорацией Nvidia, которая доминирует на рынке ИИ-решений. Как заявляет AWS, обновленные компоненты второго поколения Trainium обеспечивают 4-кратный прирост производительности при 2-кратном повышении энергоэффективности по сравнению с первым поколением Trainium, которое вышло в 2022 году. AWS также переводит свои ускорители с традиционного воздушного охлаждения на жидкостное охлаждение — Amazon Web Services планирует постепенно перевести все свои ИИ-ускорители на жидкостное охлаждение в ближайшие несколько лет.

Trainium2, который базируется на ядрах NeuronCore-V3, рассчитан на развертывание в базовых ИИ-кластерах по 16 чипов на узел, при этом возможности масштабирования ИИ-ускорителя в рамках одной системы достигают 100,000 чипов и более. Однако, для этого компании AWS необходимо обеспечить широкую доступность Trainium2. Решение также обеспечивает впечатляющую ИИ-производительность в 1,29 PFLOPS в режиме FP8, но амбиции AWS идут еще дальше и следующее поколение Trainium3 на базе 3-нм техпроцесса обеспечит прирост уже в 2,58 PFLOPS в режиме FP8, однако энергопотребление такого устройства, по сообщениям инсайдеров, превысит 1000 Вт.

Компания Amazon вновь удивила рынок, представив передовые процессоры и ускорители последнего поколения с оптимизацией под собственный софт, следуя последним тенденциям рынка и предоставляя своим клиентам высокопроизводительные решения. Кроме того, Amazon стала одной из первых крупных компаний, которая внедрила ядра Neoverse V2 Demeter в свои передовые решения — впоследствии эти производительные и энергоэффективные ядра на архитектуре ARMv9 будут внедряться и другими лидерами рынка серверных решений. Однако важно учитывать, что процессоры Graviton4 и Trainium2 для большинства клиентов будут доступны только через облачные сервисы Amazon Cloud, поэтому заполучить их на руки вряд ли удастся обычным пользователям.