Omni-Path — становление альтернативы RDMA от Intel до Cornelis Networks

Мы уже рассказали вам об основных реализациях RDMA, таких как InfiniBand, RoCE и iWARP. Однако, среди технологий прямого доступа к данным были и другие, альтернативные представители, которые по той или иной причине не получили столь же большого охвата, как старшие реализации, но предлагают уникальные особенности и преимущества. Среди таких альтернатив — технология Omni-Path, некогда принадлежавшая Intel, а сейчас реализуемая компанией Cornelis Networks. В этой статье мы поговорим о том, что из себя представляет Omni-Path, в чем ее особенности и недостатки, расскажем о причинах передачи прав на Omni-Path от Intel к Cornelis Networks и как последняя развивает эту технологию. 

Omni-Path — это высокопроизводительная сетевая технология, разработанная компанией Intel в 2015 году для использования в секторе HPC для обеспечения прямого доступа к данным с низкой задержкой которая, по заявлениям Intel, достигала 0,8–1,1 мс (на 56% меньше задержек InfiniBand). Стек сетевых проприетарных протоколов Omni-Path включает:

• LTP (Link Transfer Protocol) — "полуторный уровень" между L1 и L2 OSI. Разбивает данные на 64-битные флиты (FLITs), объединяемые в пакеты 1056 бит (1024 бита данных + CRC + служебные биты). Это снижает задержки и улучшает контроль ошибок.
• Fabric Packet (FP) — аналог традиционных сетевых пакетов для сквозной передачи между узлами.
• PSM2 (Performance Scaled Messaging) — проприетарный протокол Intel, оптимизирован для HPC-задач, обеспечивает минимальные задержки в MPI-приложениях.
• OFI (Open Fabrics Interface) — универсальный фреймворк для RDMA, поддерживает InfiniBand Verbs API.
• IPoFabric (IP over Fabric) — обеспечивает доступ к IP-трафику поверх решений OPA. Совместим с драйвером “ib_ipoib” как в InfiniBand.

Примечательно, что у технологии Omni-Path был предшественник — Intel True Scale Fabric (ранее известный как QLogic InfiniBand). Эта технология была приобретена компанией Intel у QLogic в 2012 году и использовалась в суперкомпьютерных кластерах для задач HPC. По сути, True Scale Fabric представляла собой модификацию протокола InfiniBand, которая поддерживала собственный программный стек Performance Scaled Messaging (PSM) вместо стандартного Verbs API и была ориентирована на интеграцию в инфраструктуры с процессорами Intel. Помимо этого, True Scale Fabric обеспечивала более низкое энергопотребление, чем InfiniBand, а также имела более низкую задержку при передаче малых пакетов данных (на 30-40% меньше InfiniBand). Впоследствии Intel использовала наработки True Scale Fabric при разработке Omni-Path и сняла ее с производства в 2016 году после выпуска решений Intel OPA 100. 

Одной из самых неоднозначных черт технологии Omni-Path является отсутствие аппаратного оффлоадинга — переноса обработки сетевых протоколов с процессоров на сетевые карты. С учетом того, что Omni-Path основан на технологии True Scale Fabric, которая в свою очередь является модификацией IndiniBand (поддерживает оффлоадинг), отсутствие аппаратного оффлоадинга выглядит не просто странно, а абсурдно. Ввиду этого, Omni-Path обеспечивала только прямой доступ к памяти, но при этом увеличивала нагрузку на центральный процессор, вследствие чего Omni-Path нельзя полноценно отнести к реализациям RDMA, таким как IndiniBand, RoCEv2 и iWARP. По сути, Intel создала onloading-решение, при этом продвигая его как реальную замену ведущих протоколов RDMA и развивала собственную экосистему программных и аппаратных решений для сектора HPC.

Как и ближайший конкурент в лице InfiniBand, Omni-Path является сугубо проприетарной технологией, которая поддерживается только в совместимых инфраструктурах с оборудованием, разработанным компанией Intel. Первым поколением сетевых продуктов с поддержкой технологии Omni-Path стали сетевые адаптеры Wolf River (PCIe 3.0 x8/x16) и коммутаторы Prairie River, которые относились к линейке решений Intel OPA 100 (Omni Path Architecture). 

Сетевые карты имели разъем QSFP28 с пропускной способностью до 100 Гбит/с, а коммутатор имел от 24 до 48 портов (на 8 портов больше, чем у InfiniBand EDR с 36 портами). Однако, также существовали Director-коммутаторы, которые поддерживали до 768 портов по 100 Гбит/с в 20U форм-факторе и предназначались для крупнейших HPC-кластеров. 

Для подключения оборудования с поддержкой Omni-Path используются пассивные медные кабели (DAC) до 6 метров и активные оптические кабели до 100 метров с разъемами QSFP28. 

В области сетевой топологии поддерживаются гибкие решения fat tree с адаптивной маршрутизацией для оптимизации задержек и увеличения пропускной способности.

Технология Omni-Path была тесно интегрирована с процессорами Intel Xeon Scalable первого поколения (например, Xeon Gold 5117F, Xeon Platinum 8176F) и Xeon Phi, особенно с поколением Knights Landing виде сокетных процессоров (LGA3647). Вся важность интеграции технологии Omni-Path с чипами Xeon Phi объясняется очень узкой специализацией и уникальностью этих процессоров — у Xeon Phi было много ядер и ветвление на 4 потока, которые суммарно обеспечивали неплохую производительность, но одноядерная эффективность была весьма низкой. Совокупная производительность ядер Xeon Phi устраняла недостатки Omni-Path, обеспечивая сравнительно низкую нагрузку на CPU и энергоэффективность. Благодаря такому симбиозу, Intel активно продвигала чипы Xeon Phi с поддержкой Omni-Path как передовое решение для крупнейших HPC-кластеров. Однако, с процессорами общего назначения линейки Intel Xeon, технология Omni-Path работала не так эффективно. Intel также планировала продолжить развитие линейки процессоров Xeon Phi, выпустив решения Knights Hill третьего поколения с поддержкой технологии OPA 200 (Omni-Path 200 Гбит/с), но в 2018 году Intel объявила о прекращении производства чипов семейства Xeon Phi, а вслед за этим компания остановила разработку технологии Omni-Path. 

Процессоры Intel, которые имели прямую интеграцию с технологией Omni-Path, обозначались индексом “F”. Такие процессоры имели особый выступ, который представлял собой контроллер Omni-Path на базе технологии Multi-Chip Module (MCM), размещенный на подложке CPU в виде отдельного чипа, не встраиваемого в основной кристалл. 

Эта архитектура позволяла нативно интегрировать в процессор технологию Omni-Path, при этом сохраняя стандартный форм-фактор CPU. Примечательно, что CPU с индексом “F”, которые имели контроллер Omni-Path, подключались к сетевым картам не через материнскую плату, а напрямую через специальный кабель, не используя линии PCIe, что уменьшало задержки.

Специальная сетевая карта OPA 100, которая была совместима с чипами Intel Xeon Phi, которые имели контроллер Omni-Path. Обратите внимание, что у этой сетевой карты нет собственной ASIC-микросхемы, а также в нее интегрированы как SFP-порты в количестве двух штук,так и PCIe-разъем для фиксации и питания. Источник: Ebay. 

Intel действительно возлагала большие надежды на технологию Omni-Path, и помимо совместимого оборудования, выпустила ряд программных решений. К примеру, Intel разработала специальный программный стек Omni-Path Fabric Manager, который включает в себя графический интерфейс GUI, инструменты для мониторинга производительности и топологии сети, запуска диагностики сетевой инфраструктуры и обеспечения безопасности системы.

Кроме того, Intel также продвигала технологию NVMe over OPA, которая позволяет использовать протокол NVMe (Non-Volatile Memory Express) поверх архитектуры Intel Omni-Path (OPA). Благодаря использованию NVMe over OPA, пользователи могут увеличить производительность и снизить задержки в корпоративных СХД, при этом обеспечивая эффективность в 1,5 миллиона IOPS при чтении случайных 4К записей (при использовании дисков Intel Optane). Помимо этого, Intel также заявляла о поддержке технологии GPU Direct v3 OPA для подключения графических решений в инфраструктуры на базе Omni-Path. 

Ввиду такого разнообразного спектра решений с поддержкой OPA, а также широкой распространенности устройств компании Intel во всех IT-направлениях, технология Omni-Path начала интегрироваться во многие передовые дата-центры по всему миру — по заявлениям Intel, Omni-Path во времена своего расцвета применялась в большинстве суперкомпьютеров из списка TOP500, например Trinity и Cori (США), Helios (Япония), Shaheen II (Саудовская Аравия) и MareNostrum (Испания). 

Omni-Path с самого начала позиционировалась как end-to-end решение для сектора HPC и полной замены протокола InfiniBand, который к моменту появлению RDMA-технологии от Intel уже широко использовался в передовых центрах обработки данных и суперкомпьютерах. Причем, Intel предлагала ряд инновационных преимуществ и особенностей, которыми не мог похвастаться InfiniBand:

• Адаптивная маршрутизация (Adaptive Routing). Динамически выбирает наименее загруженные пути. 
• Dispersive Routing. Распределяет трафик по нескольким путям для балансировки нагрузки.
• Защита от ошибок (Packet Integrity Protection). Локальный повторный запрос данных при сбоях вместо сквозных ретрансмиссий, снижая задержки.
• Динамическое масштабирование каналов (Dynamic Lane Scaling). Позволяет работать при отказе части линков без остановки задач. 

Кроме того, оборудование Intel Omni-Path продвигалось как более энергоэффективное решение в сравнении с протоколом InfiniBand, обеспечивая 6–15 Вт энергопотребления в зависимости от типа сетевой карты (x8/x16) и кабеля (медь/оптика), при этом предлагая аналогичную пропускную способность в 100 Гбит/с. Например, сетевая карта Intel OPA 100 PCIe x16 с использованием DAC имела пиковое энергопотребление в 11.7 Вт. 

Благодаря более высокой плотности размещения портов в коммутаторах (до 48 портов против 36 у EDR InfiniBand), использование оборудования Intel Omni-Path снижало совокупную стоимость владения системой. Кроме того, возможность масштабирования инфраструктуры до 27 600 узлов и повышенная интеграция с другими устройствами Intel привлекало владельцев наиболее крупных HPC-решений. 

Однако, многие из этих утверждений оказались ложью после выхода первых независимых тестов Intel Omni-Path. Как выяснилось, протокол InfiniBand, а в особенности решения от Mellanox, превосходит Omni-Path в большинстве бенчмарков:

• В тестах ANSYS Fluent, LS-DYNA и VASP InfiniBand показал лучшие результаты при увеличении числа узлов, благодаря модели оффлоада, которая снижает нагрузку на процессор для обработки MPI .
• В тесте GRID (DiRAC-ITT) производительность была сопоставимой, но оптимизированный InfiniBand с HPC-X 2.0 показал преимущество на 128 узлах.
• Стоимость кластера на 32 узла с InfiniBand была ниже ($278,238 против $491,280 для Omni-Path).

Такие результаты объясняются фактором, отсутствия аппаратной поддержки оффлоадинга. Это вызывало значительное увеличение энергопотребления CPU, что нивелировало всю энергоэффективность совместимых NIC. Вследствие этого, в совокупности InfiniBand оказался в 2-3 раза более энергоэффективным решением. Intel была убеждена в своих показателях энергоэффективности и продвигала идею, что онлоадинг превосходит оффлоадинг по ряду показателей, в том числе по задержкам, что оказалось ложью согласно результатам тестов (на 10–20% больше задержек, чем у InfiniBand). Все эти факторы стали причиной того, что Intel Omni-Path начала применяться лишь в бюджетных HPC-кластерах на базе оборудования Intel, где задержки были не критичны и выбирались решения с лучшим соотношением цены/пропускной способности. 

Спустя 4 года после выхода, в июле 2019 года компания Intel объявила о прекращении разработки OPA, отменив решения с пропускной способностью в 200 Гбит/с. Рассмотрим причины того, почему это произошло.

• Конкуренция с InfiniBand. Несмотря на то, что Intel повсеместно продвигала идею о том, что Omni-Path положит конец доминации InfiniBand на рынке HPC, результаты тестов показали, что технология проигрывает своему прямому конкуренту почти во всех ключевых показателях. Отсутствие аппаратного оффлоадинга, вследствие которого росли задержки и энергопотребление, а также ранний выпуск InfiniBand решений от Mellanox с пропускной способностью в 200 Гбит/с не дали Omni-Path увеличить экспансию на рынке HPC. К тому же далеко не все владельцы HPC-кластеров решались приобрести новую, непроверенную технологию вместо надежного InfiniBand. 
• Удорожание процессоров. Нативная интеграция технологии Omni-Path в центральные процессоры с индексом “F” приводило к значительному удорожанию производства CPU и, как следствие, росту цен этих решений на рынке. Вследствие этого подобные чипы не пользовались большим спросом и интегрировались только в проприетарные HPC-кластеры, целиком состоящие из оборудования Intel.
• Стратегический фокус. После того, как независимые тесты испортили репутацию решений Omni-Path, не исключено, что Intel решила оставить попытки реабилитировать эту технологию и сконцентрироваться на других, ключевых направлениях компании, вроде выпуска новых CPU. К тому же, уже в 2019 году Intel начала постепенно впадать в продолжительный кризис после периода процветания, что также могло побудить руководство компании оптимизировать расходы бюджета и закрыть выпуск новых решений Omni-Path. 
• Трудности разработки OPA 200. Возможно, Intel также столкнулась с проблемами при разработке решений Omni-Path с пропускной способностью в 200 Гбит/с, что могло быть связано с необходимостью в переходе на 10-нм техпроцесс и другими трудностями. 

В 2020 году компания Intel передала активы и права на технологию Omni-Path стартапу Cornelis Networks. Эта компания, основанная бывшими сотрудниками Intel и ветеранами индустрии HPC (включая экс-руководителей QLogic и Cray), не просто унаследовала технологию, но и в 2021 году перезапустила ее под брендом Omni-Path Express (OPX), сделав ставку на открытость, масштабируемость и оптимизацию не только под сектор HPC, но и под ныне популярную нишу искусственного интеллекта. В отличие от сугубо проприетарного Omni-Path, технология Omni-Path Express была совместима не только с процессорами Intel, но и с решениями AMD EPYC и процессорами на архитектуре ARM, а также ввела поддержку GPU. Такого расширения удалось добиться благодаря частичной замене стека протоколов — вместо проприетарного PSM2, основными протоколами стали libfabric и OFI, которые обеспечивают совместимость с RoCE, InfiniBand Verbs и ИИ-фреймворками вроде TensorFlow и PyTorch. Помимо этого, команде Cornelis Networks удалось снизить задержку Omni-Path Express, хоть и незначительно, но энергоэффективность решений осталась на уровне базовой Omni-Path. 4 июня 2025 года компания Cornelis Networks выпустила передовое решение CN5000 — новое поколение сетевых адаптеров на базе технологии Omni-Path Express. Эти решения имеют скорость 400 Гбит/с и задержки менее 1 мкс, а также поддерживают работу с 576-портовыми Director-коммутаторами с жидкостным охлаждением и масштабируются до 250 000 узлов и более. 

Судя по дорожной карте Cornelis Networks, в 2026 года компания Cornelis Networks выпустит решения CN6000 с пропускной способностью в 800 Гбит/с, интегрированными DPU на базе RISC-V, поддержкой двух режимов работы — OPA и RoCEv2. А в 2027 году планируются к выпуску решения поколения CN7000 с пропускной способностью 1,6 Тбит/с, которые получат поддержку стандартов OPA и RoCEv2 на уровне коммутатора, а также протокола Ultra Ethernet, продвигаемого компанией AMD как стандарт Ethernet с расширенными возможностями. Но одним из главных преимуществ CN7000 станет долгожданная поддержка аппаратного оффлоадинга на сетевую карту, что устранит главную проблему ванильной технологии Intel Omni-Path.

Первоначальная вариация технологии Omni-Path от Intel выглядела очень перспективно и действительно подавала большие надежды в глазах всего IT-сообщества. Однако излишняя самоуверенность компании Intel, которая на момент разработки и выпуска Omni-Path в 2015-2016 годах находилась на пике своего развития, практически похоронили технологию, доказав, что InfiniBand все еще является лидером в секторе HPC. Даже государственные субсидии со стороны США и интеграция решений Omni-Path в стратегически важные направления страны, вроде ядерных и космических инфраструктур, не спасли положение технологии, что и привело к остановке производства совместимых решений. Однако, надежда пользователей все еще не угасла — реализация технологии Omni-Path Express от Cornelis Networks, которая смогла достичь пропускной способности в 400 Гбит/с, а также планы компании на выпуск решений 800 Гбит/с, вселяют уверенность дальнейшего развития Omni-Path, поэтому не исключено, что в будущем технология все-таки сможет еще раз посоперничать с традиционным InfiniBand.