CopprLink — передовой стандарт кабелей от PCI-SIG для подключения PCIe-устройств

Тот, кто собирал серверы или рабочие станции в последние пару лет, наверняка сталкивался с одной проблемой: линии PCI Express стали жестко укорачивать — начиная с PCIe 5.0 (64 ГБ/с) длина печатных дорожек на текстолите сократилась до нескольких сантиметров. Почему? Все просто — чем быстрее скорость, тем выше влияние помех. Если раньше, в том же PCIe 4.0, можно было спокойно развести х16 слотов по всей материнской плате, то в PCIe 5.0 любой лишний миллиметр трассы означал бы огромную уязвимость сигнала к помехам и серьезные задержки. Ввиду этого, ретаймеры стали обязательным элементом даже внутри корпуса, а о выносе тех же GPU за пределы материнки без потерь и вовсе можно было забыть. В ЦОД эту проблему частично решили мощные интерконнекты Nvidia NVLink и AMD Infinity Fabric, но это добавило копеечку к стоимости кластеров и окончательно усложнило и так сложные системы. В ответ на это, консорциум PCI-SIG представил CopprLink — единую спецификацию кабельных соединений, полностью совместимую с PCIe 5.0 / 6.0, которой не страшны ни длина, ни помехи, ни задержки. В этой статье специалисты компании ServerFlow расскажут вам, что из себя представляет технология CopprLink, откуда у нее растут ноги, как она работает, где она применяется и как будет выглядеть CopprLink в ближайшем будущем.

Путь к быстрому кабельному PCIe небыстрый. Еще в 2003 году PCI-SIG создала отдел Cabling Work Group, который занимался разработкой кабельных решений для самого первого стандарта PCIe 1.0 со скоростью 4 ГБ/с. Но в те времена PCIe 1.0 сам по себе был прорывной технологией, поэтому кабельное направление надолго забросили, и вернулись к нему намного позже, когда скорости PCIe начали расти как на дрожжах. В 2015 году появилась рабочая группа OCuLink, задачей которой было стандартизировать кабельное подключение для скоростей до 16 ГБ/с, то есть вплоть до PCIe 3.0. 

OCuLink использовал узнаваемый компактный разъем и в итоге закрепился в ряде корпоративных решений, а позже и в любительской среде — в основном для самодельных eGPU-станций к ноутбукам как альтернатива Thunderbolt. Однако к 2021 году стало очевидно, что OCuLink не успевает за темпами развития основного стандарта PCIe. Переход на PCIe 4.0 с его 32 ГБ/с, а потом и на 64 ГБ/с у PCIe 5.0. требовал совершенно другого подхода к целостности сигнала и механике коннекторов. Так или иначе, поддержку новых стандартов PCIe OCuLink все же получил, но рабочая группа была закрыта, открыв дорогу для CopprLink, который вышел в 2024 году.

Ключевой принцип CopprLink — бесшовная интеграция с электрической спецификацией PCIe. Вместо того чтобы создавать очередной мост или протокол-транслятор, инженеры PCI-SIG пошли по пути расширения базового электрического канала. Кабельная трасса описывается как часть полного канала «корневой комплекс — конечное устройство», с предъявлением к ней тех же требований по потерям, отражениям и джиттеру, но с поправкой на метровую длину.

Благодаря этому медная линковка в CopprLink выглядит для системы просто как “длинный PCIe-линк” длиною до метра. Никакой инкапсуляции, никакой трансляции пакетов — данные идут так же, как по дорожкам на плате, просто часть пути проделывают в виде дифференциальных пар внутри экранированного кабеля. Отсюда минимальная задержка и практически нулевой протокольный оверхед. При этом в комплекте поддержка скоростей PCIe 5.0 и PCIe 6.0 (64 ГБ/с и 128 ГБ/с соответственно) и ширина линка x16 при использовании ретаймеров, либо x24, если отказаться от sideband-сигналов и задействовать все контакты чисто под дифференциальные пары.

В качестве физических разъемов PCI-SIG не стала изобретать что-то с нуля, а оперлась на зрелые индустриальные разработки SNIA (Storage Networking Industry Association):

• SFF-TA-1016 (MCIO) — неэкранированная высокоскоростная система для внутренних подключений. Маленький, плотный коннектор.
• SFF-TA-1032 (MCIO) — многолинейная система с серьезной защитой от электромагнитных помех и механических воздействий, ориентированная на внешние соединения между системами.

Отдельным направлением идет разработка дополнительного стандарта для традиционных систем хранения на базе коннектора SNIA SFF-TA-8614 (MiniSAS-HD). Он обеспечит поддержку PCIe 5.0, 4.0 и 3.0 с длинами кабеля, варьирующими в зависимости от поколения PCIe. Такое решение ориентировано на совместимость с существующим парком хранилищ и бэкплейн-корзин. 

Философия здесь ровно та же, что и у самого PCIe: нейтральность к вендорам и масштабируемость. Кабели и коннекторы от разных производителей должны быть взаимозаменяемы, а один и тот же физический разъем обязан поддерживать будущие поколения стандарта без переделки распиновки.

Типовые сценарии внутрикорпусных подключений CopprLink выглядят так:

• От материнки к ускорителю или сетевому адаптеру, когда слот физически неудобен.
• От материнки к бэкплейну для NVMe-накопителей, вместо громоздких райзеров или длинных дорожек.
• Чип-к-чипу на одной плате или через райзер, когда два процессора либо чипсеты разнесены конструктивно.
• От карты расширений к бэкплейну напрямую, особенно в модульных системах с вычислительными блоками.

Примеры топологий внешнего CopprLink:

• От CPU к внешней стойке с NVMe-накопителями.
• От CPU к модулю расширения памяти по CXL — логическое продолжение идеи CXL-памяти за пределами корпуса.
• От CPU к пулу ускорителей (GPU, FPGA, DPU), причем напрямую, без дополнительных сетей.

Несмотря на то, что для большинства пользователей CopprLink из-за наследия OCuLink воспринимается исключительно как решение для eGPU, на деле сценарии использования этой технологии затрагивает самые разные области:

• Облачная инфраструктура. Возможность гибко компоновать стойки с раздельными пулами ускорителей и накопителей, заменять компоненты без капитальной перекройки кабельного хозяйства. Стандартный разъем и стандартная кабельная сборка упрощают обслуживание и апгрейд — тот же принцип, за который любят NVMe по сравнению с проприетарными слотами.
• ИИ-ЦОД. Группировка GPU/ASIC в единую сетевую топологию с минимальными потерями и максимальной пропускной способностью на узел. Тренировочные кластеры получают быстрый канал до систем хранения без превращения каждого сервера в монструозный комбайн. CopprLink может стать тем стандартным интерконнектом, который вытеснит часть проприетарных связок типа NVLink в тех сегментах, где не нужна экстремальная когерентность памяти, а нужна просто очень быстрая PCIe-магистраль.
• HPC. Традиционные высокопроизводительные вычисления тоже выигрывают от появления открытой альтернативы дорогим специализированным интерконнектам. Параллельные MPI-приложения, привязанные к PCIe-топологии, могут масштабироваться без внедрения дополнительной сетевой фабрики.
• Внешние GPU. Хотя стандарт нацелен на корпоративный сегмент, производители уже показали потребительские продукты. Например, HighPoint RocketStor 8631D — внешний PCIe 5.0 x16 док, в который ставится полноразмерная видеокарта и подключается к мини-ПК или ноутбуку.

Перспективы развития CopprLink

Дорожная карта CopprLink выстроена с прицелом на PCIe 7.0 — 256 ГБ/с. Electrical Work Group уже ведет предварительные разработки для кабелей на таких скоростях. Появился даже черновик спецификации CopprLink External для 7.0, доступный для ревью уже сейчас. Это говорит о том, что мы увидим официальный стандарт в районе выхода первых PCIe 7.0 решений.

Отдельно стоит отметить работу оптической рабочей группы PCI-SIG (OWG). Оптические кабели рассматриваются как дальнейшее расширение возможностей CopprLink: когда 2 метра по меди станет нехватать, или когда потребуется передать много данных, оптика уже будет тут как тут. Ожидается, что разъемный интерфейс сохранит преемственность со старым-добрым CopprLink, но точно это станет известно лишь к моменту выхода этих таинственных “OpticLink”.

CopprLink — это не просто очередной апдейт в мире PCI Express, а фундаментальное расширение архитектуры универсального интерфейса подключения. Он превращает PCIe из исключительно внутри платного интерфейса в полноценный интерконнект масштаба стойки или нескольких соседних стоек. Для эпохи ИИ, где гибкость компоновки и пропускная способность решают все, такой шаг выглядит совершенно логичным. Но важно понимать, что сейчас CopprLink быстро проходит путь от нишевого корпоративного стандарта к потенциально массовому решению. С одной стороны, крупнейшие облачные провайдеры и производители серверов уже смотрят на него как на инструмент дезагрегации ресурсов. С другой — энтузиастские продукты вроде eGPU-доков превращают CopprLink в кандидата на замену OCuLink и Thunderbolt для тех, кому нужна настоящая полоса без компромиссов.