Что такое Nvidia SXM — модульный форм-фактор для лучших ИИ-ускорителей

Если вы когда-нибудь заглядывали на сайт Nvidia, чтобы полюбоваться новенькими GPU и узнать характеристики лучших в мире ИИ-ускорителей, то вы наверняка видели нечто подобное: “NVIDIA A100 SXM”, “H200 SXM”, “B200 SXM”. С моделями GPU все более-менее ясно: названия A100, H200 и B200 знакомы каждому серверному энтузиасту. Но вот эти три буквы, SXM, сбивают с толку. Это что, версия видеокарты? Вариант прошивки? Версия со специальными функциями? Вовсе нет, ведь это — особый форм-фактор серверных GPU, который не имеет ничего общего с привычным PCIe, и даже вставить в ваш GPU-сервер Supermicro такие карточки не получится. Да, звучит диковинно, но именно SXM лежит в основе самых мощных ИИ-серверов Nvidia и благодаря этому форм-фактору мы получили системы DGX и HGX, способные объединять по 4, 8 и даже больше 16 GPU в единую вычислительную фабрику. В этой статье специалисты компании ServerFlow расскажут вам, что из себя представляет форм-фактор SXM, какие версии SXM существуют, чем SXM отличается PCIe и можно ли вставить SXM-ускоритель в обычный сервер (спойлер, можно).

SXM (Socketable Accelerator Module) — это серверный модульный форм-фактор вычислительных ускорителей Nvidia, представляющий из себя плоскую плату или прямоугольный блок с GPU-ускорителем внутри, который не вставляется в вертикальный слот PCIe, а монтируется на специальную подложку (также называемую сокет), через который подается питание, связь обеспечивается за счет технологии NVLink, а охлаждение обеспечивается с помощью массивных радиаторов по всей ширине сервера. 

Внутри SXM-модуля нет ничего лишнего — это буквально голый GPU, упакованный в коробку, готовую к установке на плату. SXM позволяет более плотно размещать на плате большое количество мощных ИИ-ускорителей, нежели при использовании PCIe-ускорителей, эффективно наращивая вычислительные мощности без оглядки на ограничения традиционных форм-факторов по мощности, охлаждению и свободному пространству. Именно SXM сегодня используется практически во всех современных платформах NVIDIA HGX и DGX, особенно если в них используется 8 графических ускорителей.

Важно отметить! Не стоит думать, что SXM — уникальная технология Nvidia. У AMD, Intel и даже Huawei есть собственный полный аналог этого форм-фактора, только называется он по-другому — OAM. Такие ИИ-ускорители тоже интегрируются непосредственно на плату и имеют лучшие характеристики. Вот, например, OAM-модуль AMD MI300X.

SXM — это не просто очередной проприетарный форм-фактор, созданный с целью не подпускать массовый рынок к лучшим ИИ-ускорителям. На самом деле SXM, за счет своих архитектурных отличий и особенностей, может предложить на порядок большие характеристики, нежели традиционные GPU с интерфейсом PCIe, и вот почему.

PCIe-ускоритель — это самодостаточная карта или даже полноценное обособленное устройство, которое можно воткнуть в любой совместимый сервер или рабочую станцию, лишь бы хватило места и питания. Оно само получает энергию через слот PCIe и кабели дополнительного питания, а с соседними картами такой GPU общается через тот же PCIe, если не считать потребительских карт с поддержкой NVLink Bridge которые, впрочем, уже почти вышли из обихода. Такая схема универсальна и посему она подходит для массовых серверных платформ. Однако параллельно PCIe накладывает определенные ограничения, которые не позволяют раскрыть весь потенциал GPU:

• Питание. Разъем PCIe дает до 75 Вт, остальное питание добирается дополнительными кабелями до 600 Вт. С ростом TDP современных GPU до 700-1000 Вт такая схема питания не подходит. 
• Охлаждение. Каждая PCIe-карта имеет собственный радиатор и вентилятор, что создает сложности с продувкой в плотных ИИ-серверах.
• Коммуникации. Современные потребительские карты Nvidia не имеют поддержки NVLink из коробки, поэтому обмен данными между GPU будет осуществляться через медленный интерфейс PCIe 5.0 со скоростью 128 ГБ/с, тогда как современные ИИ-ускорители с поддержкой NVLink 5.0 обеспечивают передачу данных на скорости 1800 ГБ/с. Выходом могут стать те же NVLink Bridge, но им можно объединить только 4 GPU и на скорости не более 900 ГБ/с.
• Плотность. Разместить восемь двухслотовых PCIe-карт в одном сервере непросто, а обеспечить им всем достаточный поток воздуха — еще сложнее. Для такой компоновки подойдут только версии с пассивной системой охлаждения, но это не отменяет трудностей с проектировкой подобных систем.

SXM работает совсем иначе. Модуль получает питание напрямую через серверную материнскую плату, адаптированную под конкретный теплопакет SXM ИИ-ускорителя. Охлаждением занимается не встроенный в GPU вентилятор, а единый для всех модулей радиатор, равный площади всего сервера, либо жидкостная система охлаждения, что позволяет отводить сотни ватт тепла без лишних оговорок. Это не только упрощает создание ИИ-серверов, но и напрямую влияет на мощность GPU — отсутствие проблем с охлаждением позволяет подавать на чип больше энергии без среза тактовых частот, за счет чего увеличивается ИИ-производительность системы. Рассмотрим наглядный пример: Nvidia H200 с интерфейсами SXM и NVL (PCIe):

Как мы можем видеть, SXM-версия H200 превосходит NVL-версию H200 в некоторых режимах вычислений вплоть до 617 TFLOPS (в FP8) — это колоссальная разница не только в масштабах стойки, но и в рамках одного ИИ-ускорителя. При этом максимальный TDP SXM-версии на 100 Вт больше NVL-аналога, что коррелирует с внушительным приростом производительности ускорителя.

Межсоединения в SXM реализованы через интерконнект NVLink прямо на плате, а для четырехчиповой или восьмичиповой конфигурации на плату добавляется коммутационный процессор NVSwitch, который делает все GPU в группе полностью связанными друг с другом, без мостиков, кабелей и PCIe, с которым такие конфигурации возможны, но в разы менее эффективны. 

В общем, SXM создавался не как обычная замена PCIe, а как серверное решение высочайшего уровня для корпоративных клиентов, которые не собираются мириться с ограничениями PCIe и требуют от топового ИИ-оборудования только максимально возможных характеристик. Там, где важна максимальная производительность, плотность упаковки и пропускная способность межузловых соединений, SXM выигрывает у PCIe вчистую. 

История SXM началась в 2016 году SXM2 — именно так назывался форм-фактор, дебютировавший в ИИ-ускорителях Tesla P100 и затем перекочевавший на V100. Версия SXM1, по всей видимости, существовала, но никогда не выходила в продажу, оставшись прототипом, на базе которого создали все последующие версии форм-фактора GPU — SXM2, SXM3, SXM4, SXM5 и SXM6, каждый из которых перекраивал механику и электрику модуля.

Давайте рассмотрим каждое поколение SXM, используя удобную табличку:

Как мы видим из таблицы, по мере того, как GPU становились все прожорливее и горячее, Nvidia планомерно модернизировала стандарт SXM. Каждое новое поколение приносило увеличение поддерживаемой мощности, лучшее межсоединение GPU на плате и, к сожалению, почти полную несовместимость с предыдущим — версии SXM имели разные размеры, разное количество и расположение контактов, а также разные типы поддерживаемой HBM-памяти. Ввиду этого, даже при желании Nvidia не смогла бы обеспечить SXM-ускорители разных версий совместимостью, да и смысла в этом никакого нет — компании невыгодно делать SXM-платы универсальными, Buy More GPU, как говорится.

В современных ИИ-ЦОД высочайшего уровня форм-фактор SXM стал стандартом де-факто, без которого ИИ-ускорители Nvidia просто не покупают. Если облачный провайдер предлагает инстансы с GPU для обучения нейросетей или инференса больших языковых моделей, с вероятностью 99% за ними стоят именно модули SXM, а если точнее, то серверные системы на базе ИИ-ускорителей с SXM-модулями: HGX и DGX:

HGX — эталонная серверная плата Nvidia, на которую устанавливаются 4 или 8 SXM-модулей вместе с чипами NVSwitch. На базе HGX-плат партнеры Nvidia собирают собственные вычислительные системы.

DGX — полностью готовый сервер от Nvidia, собранный на основе HGX и поставляемый под собственным брендом компании. Внутри есть HGX-плата с SXM-ускорителями, а также CPU, память, сетевые карты и другие компоненты.

То есть, SXM-ускорители являются лишь кирпичиком, из которых уже выстраиваются полноценные ИИ-серверы для нужд бигтеха. А бигтех, в свою очередь, использует их для построения ИИ-кластеров для обучения/инференса искусственного интеллекта, создания передовых суперкомпьютеров или просто продает их мощности в своих облачных инфраструктурах. Вся SXM-экосистема так или иначе завязана на том, что ИИ-ускорители с этим форм-фактором будут использоваться в корпоративной среде.

Отметим, что так было не всегда, и SXM все-таки встречался вне корпоративного рынка. В частности, ранее Nvidia использовала SXM-ускорители в своей линейке высокопроизводительных рабочих станций DGX Station — SXM применялись в поколениях Volta (станции на базе V100 SXM2) Ampere (станции на базе A100 SXM3). Однако с выходом Nvidia DGX Station GB300, где компания реализовала концепцию суперчипов, необходимость в использовании SXM-ускорителей отпала — рабочая станция целиком состоит из одного, единого ИИ-ускорителя с 1x GPU B300 и 1x CPU Grace, с двумя PCIe 5.0 x16 для интеграции видеокарт RTX PRO 6000 Blackwell Workstation Edition. Так что SXM окончательно ушел в корпоративный сегмент. Или все-таки не окончательно?

Мы тут всю статью твердим, что SXM — это прерогатива исключительно бигтех-сферы, где компании согласны покупать готовые SXM-ноды, совместимые серверы и стойки, чтобы добиться максимальной вычислительной и экономической эффективности. Соответственно, складывается впечатление, что обычным смертным SXM не столько не нужен, сколько недоступен, так как с обычными PCIe-серверами этот форм-фактор просто напросто не подружится. Вы удивитесь, но это не совсем так ведь существует такой полуколхозный, полуофициальный феномен, как SXM-переходники.

Если зайти на Ebay, и написать Nvidia (вставить название GPU) SXM to PCIe Adapter, то вы увидите, что на рынке кишмя кишит продавцов (зачастую товарищей из КНР), которые продают уже готовые SXM-GPU на текстолите с разъемом PCIe, либо отдельные платы-переходники с местом под размещение модуля SXM-ускорителя. Это выглядит буквально как огромный кирпич, сваренный с тоненькой платой от видеокарты. Самое интересное, что можно найти переходники как на старенькие V100 и A100, так и на H100/H200 и, внимание, даже на B200 — вы буквально можете опробовать недоступный для потребительского сегмента флагманский ИИ-ускоритель Nvidia в своей серверной системе.

Если вы думаете, что это чистой воды колхоз, то вы будете правы лишь отчасти. Некоторые SXM to PCIe адаптеры действительно представляют из себя хоть и качественный, но самопал, однако на рынке встречаются переходники с подозрительно знакомой зеленой наклейкой — not for sale, for development only. Да, это правда — у Nvidia действительно есть специальные адаптеры Evaluation Boards, используемые для внутренних нужд компании при отладке/проверке SXM-ускорителей на стандартных PCIe-платах. Самые внимательные могут заметить, что у таких “официальных” адаптеров отсутствует половина SXM-контактов, что как бы должно подтверждать “колхозное” происхождение этих переходников, но на деле так и задумано — в SXM-ускорителях часть контактов отводится под NVLink и дополнительную подачу питания, и они не нужны для простой отладки и тестирования GPU, поэтому Nvidia нарочно убирает их. Как они попадают в руки продавцов — неизвестно, но на маркетплейсах можно найти буквально коробки адаптеров SXM to PCIe, так что технология явно не устарела и до сих пор используется в закромах инженерных мастерских Хуанга.

Стоит все это дело соответствующе поколению ИИ-ускорителей — от $50-$100 за переходник для SXM V100 до $2000+ за адаптеры для SXM B200. Интересно, сколько будет стоить переходник для Nvidia R200?

SXM — это удивительная технология, которая дала начало всей экосистеме ИИ-серверов Nvidia и позволила раскрыть потенциал GPU на максимум, отказавшись от привычного PCIe-формата, ввиду чего самые топовые ИИ-ускорители Nvidia базируются именно на этом форм-факторе. Однако будет ли гегемония SXM бесконечна? Компания AMD совсем недавно предложила рынку альтернативу, выпустив Instinct MI350P с PCIe-интерфейсом, что сделало это решение самым мощным PCIe GPU-ускорителем из доступных массовому пользователю, оставив предыдущего лидера H200 NVL позади. Nvidia не захочет терять прибыльный рынок, поэтому не исключено, что скоро мы увидим адаптацию B200 в PCIe, чтобы отвоевать первенство у AMD. Но это вряд ли прервет долгую историю SXM, и лучшие GPU продолжат выходить на передовом форм-факторе. А если вы хотите приобрести SXM-ускоритель или HGX/DGX-платформы для своей серверной инфраструктуры, обращайтесь в компанию ServerFlow — мы не только подберем топовое железо под нужды вашего бизнеса, но и проведем вас за руку от покупки оборудования до его запуска в продакшен.