Ultra Ethernet — новейшая модификация традиционного сетевого протокола

На фоне развития популярных RDMA-реализаций (RoCE, iWARP и InfiniBand), стандартный протокол Ethernet начал утрачивать свою популярность ввиду высоких задержек и низкой скорости передачи данных, что особенно это ощущалось в сфере искусственного интеллекта. Вследствие этого, ряд крупнейших IT, компаний, в числе которых AMD, Intel, Cornelis Networks и, что парадоксально, Nvidia, вошли в консорциум под названием Ultra Ethernet, который призван оптимизировать традиционный Ethernet для задач ИИ и HPC. Сегодня мы поговорим о том, что такое Ultra Ethernet, в чем его особенности и как он повлияет на индустрию сетевых технологий.

Ultra Ethernet — это новейший, революционный сетевой стандарт, направленный на фундаментальную оптимизацию традиционного Ethernet для требований современных нагрузок искусственного интеллекта, высокопроизводительных вычислений и облачных сред. Долгое время стандарт находился в стадии разработки, и совсем недавно, 14 июня 2025 года, была представлена первая официальная спецификация Ultra Ethernet 1.0. Ключевой характеристикой Ultra Ethernet является его статус открытого стандарта, разрабатываемого одноименным консорциумом Ultra Ethernet для улучшения, обеспечения совместимости и широкого внедрения этой передовой технологии. Основные принципы работы Ultra Ethernet сосредоточены на устранении узких мест в высокопроизводительных сетях. Во-первых, он обеспечивает улучшенную поддержку RDMA функций, что критически важно для минимизации задержек при передаче данных между вычислительными узлами и хранилищами. Во-вторых, Ultra Ethernet активно использует современные сетевые протоколы и продвинутые механизмы управления перегрузками, такие как усовершенствованные версии PFC и ECN, для повышения эффективности использования путей передачи данных и обеспечения стабильной работы сети при экстремальных нагрузках. В совокупности механизмы и особенности протокола Ultra Ethernet обеспечивают пропускную способность до 1,6 ТБ/с (чипы Broadcom Tomahawk 6) и задержки в 0.8–1.2 мкс, что эквивалентно параметрам лидирующей сетевой технологии в лице InfiniBand от Nvidia.

Консорциум Ultra Ethernet был основан в 2023 году под эгидой компании Linux Foundation, чтобы предложить мировой IT-индустрии полностью открытый сетевой стандарт, который устранит разрозненность в сфере RDMA-технологий и не позволит интерконнекту Nvidia InfiniBand полностью захватить рынок. Очевидно, что к такому амбициозному проекту в кратчайшие сроки присоединились ведущие компании, такие как AMD, Intel, Arista, Broadcom, Cisco, Microsoft и HPE. Особенно заинтересованы в присоединении были корпорации AMD и Intel, которые будучи лидерами в своем сегменте рынка, значительно отставали от Nvidia в области сетевых технологий. Ввиду этого, AMD в настоящее время является одним из главных популяризаторов Ultra Ethernet, регулярно выделяя революционные преимущества этой технологии на фоне других сетевых сред. Причем, компания AMD уже имеет собственную сетевую технологию Solarflare Onload, которая также обеспечивает RDMA-функционал при поддержке Eternet-протоколов, но этот сетевой стандарт так и не сыскал популярности. Примечательно, что в консорциум также вошла компания HPE, которая активно продвигает свой интерконнект Cray Slingshot в области HPC — возможно, HPE хотела почерпнуть ключевые особенности Ultra Ethernet для оптимизации Slingshot. В 2024 году к консорциуму присоединилось еще несколько компаний, вроде Lenovo, Dell, Huawei, Supermicro, но самым сенсационным членом Ultra Ethernet Consortium стала корпорация Nvidia, продвигающая собственную сетевую инфраструктуру InfiniBand / Ethernet. Можно предположить, что Nvidia вступила в группу компаний для того, чтобы саботировать вклад других организаций в развитие Ultra Ethernet. Таким образом, обе сетевые технологии могли бы существовать параллельно друг другу, а Nvidia получила бы возможность интегрировать технологию в свои передовые, фотонные коммутаторы Spectrum-X, укрепив доминацию в области сетевых инфраструктур. Среди других компаний, которые участвуют в консорциуме, при этом имея собственные сетевые технологии — корпорация Cornelis Networks, которая получила протокол Omni-Path в наследство от Intel. Уже известно, что будущие 800 Гбит/с коммутаторы компании будут поддерживать сразу два режима работы — Omni-Path и Ultra Ethernet.

Чтобы достичь таких выдающихся характеристик, Ultra Ethernet вводит ряд инновационных технологий, радикально отличающих его от традиционного Ethernet и оптимизирующих инфраструктуру для требовательных нагрузок ИИ и HPC. Вот его основные компоненты:

UET является основным протоколом передачи данных в Ultra Ethernet, который специально разработан для эффективной работы с технологиями RDMA. Он предлагает три специализированных профиля передачи данных для разных сценариев: AI Base (базовые кластеры ИИ), AI Full (расширенные, динамические ИИ-нагрузки) и HPC (высокопроизводительные вычисления). Кроме того, UET самостоятельно поддерживает RDMA-функционал, обеспечивая прямой доступ сетевых карт к памяти без обращения к CPU, снижая нагрузку на процессор. Ключевое преимущество UET — поддержка эфемерных соединений. Это устраняет необходимость в длительных процессах установления связи между устройствами, характерных для традиционных протоколов вроде TCP, что значительно снижает задержки, особенно при частой смене вычислительного оборудования, например, в дата-центрах. 

Для взаимодействия приложений с возможностями Ultra Ethernet и протокола UET, технология получила расширенную версию интерфейса libfabric (версия 2.0 и выше). Эти расширения включают оптимизированные версии базовых операций: отправка, запись и чтение данных. Особого внимания заслуживает новая функция Deferrable Send (Отложенная отправка). Эта функция позволяет отложить захват и блокировку буфера отправки до того момента, когда сеть будет готова принять данные. Благодаря этому, доступ к буферам приложения оптимизируется, снижается расход ресурсов системы, повышая общую эффективность инфраструктуры и надежность при передаче данных.

Ultra Ethernet также имеет продвинутые, многоуровневые алгоритмы предотвращения и управления перегрузками. Вот несколько основных механизмов:

• Packet Spraying: Трафик динамически распределяется по нескольким доступным путям в сети. Это обеспечивает равномерное использование путей передачи данных и снижает вероятность возникновения большой нагрузки, а также уменьшает джиттеры.
• Sender-based и Receiver-based: Используются гибридные схемы управления перегрузками, основанные на основе технологий адаптивной маршрутизации, измерении RTT (Round-Trip Time), информации ECN от сети и управлении потерями пакетов. Опционально поддерживаются credit-based механизмы, которые особенно эффективны для предотвращения ситуаций, когда возникает “пробка” из трафика, благодаря чему минимизируется потеря пакетов данных.
• Packet Trimming: Механизм оповещения о перегрузках сети. Когда коммутатор обнаруживает переполнение буфера, он может обрезать пакет, отправив только его начало с маркером перегрузки вместо полной потери пакета. 
• Host-based Congestion Control: Управление перегрузками распространяется на уровень PCIe-шины внутри сервера. Это предотвращает ситуации, когда сетевая карта генерирует трафик быстрее, чем процессор или память может его обработать или принять через PCIe, тем самым устраняя узкие места сети.

Одна из самых революционных возможностей Ultra Ethernet — аппаратное ускорение выполнения операций с данными на коммутаторах. Задачи, характерные для сектора ИИ и HPC (AllReduce, AllGather или Broadcast), могут выполняться прямо в сети с помощью коммутаторов, при этом не загружая CPU конечных узлов. Для этого используется особый протокол, специально разработанный для эффективной работы на современных коммутаторах с пропускной способностью более 1 Тбит/с, управляющих сотнями интерфейсов. Эта оптимизация значительно снижает задержку и освобождает вычислительные ресурсы CPU/GPU хостов для выполнения основной прикладной задачи, обеспечивая существенный прирост производительности для распределенных задач сферы искусственного интеллекта и суперкомпьютерных вычислений. 

Интересно, что технология Ultra Ethernet не привязана к конкретной сетевой топологии. Его сетевые протоколы ET, INCs и Packet spraying оптимизированы для работы со следующими топологиями:

• Fat-Tree;
• Clos;
• Hierarchical;
• Dragonfly / Dragonfly+; 
• HyperX;
• 3D-Torus / 5D-Torus.

Такая передовая возможность, как работа с разными типами топологий, обуславливается поддержкой функции эфемерных соединений, которые не привязываются к конкретным физическим путям передачи данных — все пакеты маршрутизируются независимо, используя все доступные каналы. Это делает Ultra Ethernet одной из самых гибких сетевых технологий, которую можно использовать для выстраивания кластеров от 10,000 до 250,000+ узлов.

Рассмотрим, насколько передовой стандарт Ultra Ethernet совместим с более популярными сетевыми средами в лице традиционного Ethernet и Lossless Ethernet.

Ultra Ethernet сохраняет обратную совместимость с традиционным Ethernet (IEEE 802.3) на уровне физических интерфейсов и базовой маршрутизации. Это позволяет использовать UE-оборудование в существующей инфраструктуре без необходимости в замене коммутаторов, кабелей и сетевых карт. Однако, при такой конфигурации будут утеряны все преимущества Ultra Ethernet — никаких сверхнизких задержек, эфемерных соединений, балансировки нагрузки и других передовых функций. Другими словами, Ultra Ethernet в смешанных средах будет функционировать как стандартный Ethernet. Кроме того, механизмы управления перегрузками Ultra Ethernet могут конфликтовать с legacy-протоколами Ethernet, вызывая потерю пакетов при соединении оборудования разных типов. 

Несмотря на то, что Ultra Ethernet частично наследует принципы Lossless Ethernet (PFC, ECN), оптимизированный функционал новой сетевой технологии не может работать в сети Lossless Ethernet. Алгоритм Packet spraying перегружает буферы legacy-коммутаторов, не рассчитанных на адаптивную, многопутевую маршрутизацию, что вызывает ложные срабатывания PFC и каскадные блокировки (pause storms). Разные типы профилей Ultra Ethernet (AI Full/HPC) генерируют большое количество малых пакетов данных, которые исчерпывают MAC-таблицы в RoCE-оборудовании и приводят к массовой потере пакетов и огромным задержкам, так как Lossless Ethernet рассчитан на большие, но более редкие пакеты данных. Аппаратное ускорение коллективных операций (INCs) в гибридных сетях работает лишь частично: некоторые операции выполняются на UE-коммутаторах, а другие — на CPU, создавая дисбаланс и увеличивая задержку на сотни процентов. Интеграция Ultra Ethernet в Lossless-среду без полной модернизации инфраструктуры чревата полной нестабильностью сетевой инфраструктуры.

Ввиду того, что в консорциуме Ultra Ethernet участвует масса компаний, оборудование с поддержкой этого передового интерконнекта выпускается множеством организаций. Рассмотрим, какие сетевые решения на базе Ultra Ethernet уже вышли или выйдут на рынок в ближайшее время:

• Nvidia. Передовые Spectrum-X на 512 портов с интеграцией кремниевой фотоники для снижения задержек до суб-наносекундного уровня, а также обеспечивающие пропускную способность в 800 Гбит/с. Выход этих решений запланирован на конец 2025 года.

• Broadcom. Tomahawk 6 (BCM78910) на базе ASIC-чипов с пропускной способностью до 1,6 Тбит/с на каждый из 64 портов.

• Cisco. Silicon One G200, минимизирующие задержки до 0,5 мкс и обеспечивающие до 800 Гбит/с на 64 порта. 

• AMD. Pensando Pollara с пропускной способностью до 400 Гбит/с, которые поддерживают RDMA-функционал и обеспечивают снижение накладных расходов при эксплуатации сетевой инфраструктуры. В 2026 году AMD также планирует представить сетевые карты Pensando Vulcan на базе Ultra Ethernet с пропускной способностью до 800 Гбит/с и еще более революционным функционалом. Также можно предположить, что в будущем поддержка Ultra Ethernet также перекочует из сетевых карт в DPU от AMD.

• Intel. Хотя Intel напрямую не заявляла о планах на выпуск Ultra Ethernet совместимых решений, очевидно, что в будущем компания представит собственные сетевые карты с поддержкой Ultra Ethernet.

Ultra Ethernet — это одна из самых революционных сетевых технологий, которая взяла на себя ответственность полностью изменить сферу Ethernet-сетей. Ее функционал, который сочетает в себе лучшее от InfiniBand, Slingshot и RoCE, делает интеграцию Ultra Ethernet в сектор искусственного интеллекта и высокопроизводительных вычислений лишь вопросом времени, поставив под сомнение лидерство интерконнекта Nvidia Infiniband. Однако помните, что Ultra Ethernet — это решение, оптимизированное исключительно для кластерных систем, поэтому интеграция передовой сетевой технологии в традиционные корпоративные инфраструктуры из нескольких серверов будет не только неуместна, но и нерентабельна ввиду увеличения накладных расходов.