Broadcom Thor Ultra — новейший 800GbE Ethernet-контроллер с улучшенным RoCE, мультипатчингом и управлением трафиком

На конференции Hot Chips 2026 Broadcom раскрыла архитектурные детали сетевого адаптера Thor Ultra — 800-гигабитного Ethernet-контроллера, нацеленного на AI- и HPC-инфраструктуру. Компания позиционирует Thor Ultra как системное решение для масштабирования GPU-кластеров: адаптер сочетает интерфейс PCIe 6.0 x16, восемь портов 100G, 256 виртуальных функций SR-IOV и аппаратную разгрузку RoCEv2 с расширениями, включая распределение пакетов по множеству плоскостей и внеочередную укладку данных. Чип изготовлен по 5-нм техпроцессу, содержит 2,4 млрд транзисторов в корпусе 27x27 мм и потребляет до 40-42 Вт. Карты выпускаются в форм-факторах OCP NIC 3.0 и PCIe с одним OSFP112 или двумя QSFP112, поддерживая до 800G на порт. Broadcom выводит Thor Ultra в прямую конкуренцию с NVIDIA ConnectX-8 и AMD Vulcano.

Thor Ultra спроектирован как многоуровневое Ethernet-решение, охватывающее три масштаба сетевого взаимодействия: внутри стойки, между стойками и между дата-центрами. В основе — общий набор требований для NIC: высокая пропускная способность, улучшенная RDMA, низкие задержки, QoS, виртуализация, безопасность, синхронизация и телеметрия.

Аппаратная платформа объединяет восемь MAC-блоков 100G с восемью SerDes 100G и 256 виртуальными функциями SR-IOV. В кристалле предусмотрены буферы TX/RX, встроенная процессорная подсистема и программируемые P4-подобные движки, на которых выполняется значительная часть работы enhanced RoCE. Движок TruFlow и блок BroadSAFE обеспечивают пакетную обработку и шифрование inline.

Главное нововведение Thor Ultra относительно предыдущего поколения Thor — переход на технологию enhanced RoCE (eRoCE). Вместо классического упорядоченного доставки пакетов адаптер применяет multipathing с распределением пакетов до восьми плоскостей и внеочередной укладкой ответов RDMA, сохраняя порядок для атомарных операций. Для надежности используются выборочные ACK/NACK с ретрансляцией, а не стандартный Go-Back-N. Приемник переупорядочивает пакеты перед передачей сообщения приложению. Управление перегрузками построено на кредитной схеме Receiver Credit-Based Congestion Control, которая дополняется спекулятивными кредитами для быстрого старта и учитывает сигналы ECN, trimming и CSIG-телеметрию. P4-подобные match-action движки позволяют настраивать алгоритмы под конкретные сценарии.

Прямой доступ к памяти GPU и XPU реализован через dma-buf для локального peer-to-peer DMA и eRoCE для удаленных передач. RDMA-стек в Linux разделен на драйверы bng_re и bng_en с библиотекой libbng_re поверх стандартных libibverbs и rdma-core. Коллективные операции подключаются к NCCL, RCCL и MPI через verbs provider и xCCL-плагины без модификации приложений.

Производительность, продемонстрированная Broadcom на платформе с восемью GPU поколения в двух узлах и 16 ранках через шестнадцать 400G-линков, достигает 383,93 ГБ/с на all_reduce и 380,23 ГБ/с на reduce_scatter при пределе 400 ГБ/с. Alltoall показывает 84,62 ГБ/с — ожидаемо ниже из-за характера нагрузки. Пропускная способность шины удерживается выше 96% линейной скорости для большинства операций. В тестах TCP iperf3 на системе с CPU Gen6 и 512 ГБ DDR5-8000 адаптер достигает 791 Гбит/с в одном направлении при 16 параллельных потоках, что составляет 98,9% от 800G-линка. Двунаправленный трафик агрегируется до 1,51 Тбит/с. 

Синхронизация реализована через PTPv2 с наносекундными метками, Precision Time Measurement, PPS-вход/выход и внешний TCXO. Безопасность начинается с аппаратного корня доверия на основе FUSE, загрузчика ROM и аутентифицированных обновлений прошивки, дополняется SPDM-аттестацией и PSP-шифрованием. Мониторинг включает отслеживание температуры чипа и оптики, глазковые диаграммы, дампы и управление по стандартам DMTF и OCP.

Карты Thor Ultra поставляются с одним портом OSFP112, поддерживающим конфигурации 800G, 2x400G, 4x200G или 8x100G, либо с двумя портами QSFP112. Кабельная совместимость охватывает DAC, LPO, AEC и оптику. Потребление платы без оптики — 50-55 Вт.

Broadcom Thor Ultra может стать новой аппаратной основой для сетевых инфраструктур нового поколения. Внедрение eRoCE с 8-плоскостным мультипатчингом и программируемым контролем перегрузок решает классические проблемы RoCEv2 в крупных кластерах: потерю пропускной способности при перегрузках, ограничения Go-Back-N и отсутствие гибкости в управлении трафиком. Это позволяет достигать более 96% линейной скорости на коллективных операциях, что критично для синхронного обучения. Поддержка dma-buf и xCCL-плагинов обеспечивает прямую интеграцию с NCCL/RCCL без переписывания приложений. Broadcom выходит на рынок 800G-адаптеров, где уже присутствуют NVIDIA и AMD, с сильным акцентом на программную управляемость и совместимость с открытыми стандартами.