Свет вместо проводников: зачем NVIDIA переводит ИИ-сети на фотонику

Ни одна презентация Nvidia за последние полтора года не обходится без момента, когда Хуанг выносит на сцену очередной сетевой коммутатор и с горящими глазами объявляет, что теперь он не электронный, а фотонный! Зал аплодирует, акции производителей оптики ползут вверх, а у зрителя складывается впечатление, что сетевое железо вот-вот перейдет в новую эру: были обычные коммутаторы, теперь будут световые. Но поставьте фотонный коммутатор рядом с обычным — и разницы на первый взгляд не будет: та же металлическая коробка в стойке, те же порты на передней панели. Да и зачем вообще что-то менять, если обычные Ethernet коммутаторы продолжают исправно ускоряться и уже добрались до 102,4 Тбит/с на одном чипе? Вопрос очень интересный, и без детального разбора тут точно не обойтись. В этой статье специалисты компании ServerFlow расскажут, как устроены обычные и фотонные коммутаторы, что физически происходит с сигналом внутри них, зачем индустрия ввязалась в фотонную гонку, а также ответят на главный вопрос: фотоника — это революция или дорогая игрушка для ЦОД?

Прежде чем погружаться в дебри индустрии сетевых коммутаторов, важно понять, как вообще работает сеть в современной серверной инфраструктуре. 

Путь пакета данных обычно выглядит так: сетевая карта сервера — оптический модуль SFP — свет по волокну — оптический модуль SFP коммутатора — электрический SerDes — ASIC — снова SerDes — оптический модуль SFP — волокно. 

Главный элемент этой цепочки — ASIC-свич, специализированный чип коммутатора. Именно он принимает пакет, сверяется с таблицами маршрутизации, решает, в какой порт его отправить, и следит за перегрузками. Внутри ASIC данные бегают по широким параллельным шинам, но вывести тысячи проводов наружу физически невозможно. Поэтому с двух сторон чипа стоят SerDes (Serializer/Deserializer) — блоки, которые сворачивают параллельные данные в один сверхбыстрый последовательный поток, гонят его по паре медных проводников, а на другой стороне разворачивают обратно. Одна такая пара называется линией, и в современных коммутаторах она передает 200 Гбит/с: порт 800 Гбит/с собирается из 4 линий, а 1,6 Тбит/с — из 8 линий.

Но здесь есть одно архитектурное узкое горлышко — для передачи данных между серверами и коммутаторами давно используется оптика, но свет для оптики появляется только в модуле OSFP на передней панели коммутатора. ASIC же стоит в центре платы, и до каждого модуля сигнал добирается по медным дорожкам длиной в десятки сантиметров. На 10 или 25 Гбит/с на линию это никого не волновало, но чем выше частота, тем сильнее медь “съедает” сигнал. По данным Nvidia, в классической схеме потери доходят примерно до 22 дБ — до приемника добирается меньше процента исходной мощности сигнала. А если поставить оптику в нескольких миллиметрах от ASIC, потери падают до 4 дБ.

Чтобы протащить сигнал до чипа без потерь, инженеры ставят все более мощные SerDes, ретаймеры на плате и цифровые сигнальные процессоры (DSP) в каждом оптическом модуле. Все это потребляет энергию и греется: модуль 1,6 Тбит/с потребляет порядка 25-30 Вт, и заметная часть этой мощности уходит именно на DSP, а не на лазер.

Получается, что каждый новый шаг скорости дается все дороже, но потери в меди — лишь первая из проблем. Если присмотреться, современные сети упираются сразу в несколько стен:

• Энергопотребление — коммутатор на 102,4 Тбит/с с 64 портами 1,6T несет на передней панели 64 оптических модуля, которые суммарно потребляют порядка 1,6-1,9 кВт. В кластере на 100 тысяч GPU таких модулей сотни тысяч, и по грубой оценке на одну лишь оптику уходит около десятка мегаватт.
• Плотность портов — модуль OSFP имеет ширину около 23 мм, и 64 штуки уже занимают всю переднюю панель. Дальше наращивать число портов можно только за счет высоты корпуса.
• Охлаждение — десятки модулей по 25–30 Вт в плотном ряду превращают переднюю панель в обогреватель, а высокоскоростная оптика перегрев очень не любит.
• Надежность — в большой ИИ-фабрике работают десятки тысяч трансиверов, и каждый из них может отказать. Лазеры деградируют от постоянного нагрева и остывания, а один "мигающий" линк способен остановить обучение модели на тысячах GPU.

Именно эти проблемы Nvidia и обещает решить. По данным зеленой компании, ее коммутаторы Spectrum-X Ethernet Photonics снижают энергопотребление в 5 раз в расчете на порт 1,6T и дают в 10 раз большую устойчивость сети, чем решения на съемной оптике. Важно: это заявления самой Nvidia, а не результаты независимых тестов.

Как же Nvidia собирается добиться таких цифр? Ответ кроется в технологии Co-Packaged Optics, суть которой можно описать одной фразой: оптический модуль буквально придвинули вплотную к ASIC. 

В обычном коммутаторе сигнал идет по цепочке ASIC — десятки сантиметров меди — модуль OSFP с DSP и лазером — волокно, а в CPO-коммутаторе — ASIC — несколько миллиметров внутри корпуса чипа — кремниевый фотонный движок — волокно. Длинный медный тракт, ретаймеры и DSP просто исчезают из схемы. При этом сам ASIC никуда не делся и по-прежнему принимает все решения о маршрутизации пакетов. Так что “фотонный коммутатор” Nvidia — это все тот же электронный коммутатор, который просто разговаривает с внешним миром светом прямо из корпуса чипа.

А нужны ли такому коммутатору трансиверы? В привычном смысле — нет. Вместо гнезд OSFP на передней панели стоят компактные оптические разъемы MPO, в которые сразу подключается волокно. Они заметно меньше модулей, поэтому на панель их влезает больше: например, в 4U-коммутаторе Nvidia Quantum-X Photonics Q3450-LD установлено 144 разъема MPO. Съемными остались только модули лазеров.

Давайте разберемся, что происходит внутри фотонного движка:

• Внешний лазер генерирует непрерывный луч, который сам по себе никакой информации не несет.
• Свет заводится в фотонную микросхему — кремниевый кристалл, где вместо медных проводников проложены волноводы, крошечные каналы для света.
• Микрокольцевые модуляторы кодируют в свет данные. Это микроскопические кремниевые кольца, которые в зависимости от напряжения пропускают свет или "забирают" его. Меняя напряжение миллиарды раз в секунду, модулятор превращает электрический сигнал ASIC в оптический.
• Фотодетектор на приемной стороне превращает свет обратно в электричество, которое по короткому пути попадает в SerDes.

Лазер же вынесли наружу не случайно. Это самый горячий и наименее надежный элемент оптической цепи, и если бы он стоял в корпусе чипа, его поломка означала бы ремонт всего дорогущего узла. Поэтому Nvidia использует внешние источники света ELS (External Laser Source) — съемные модули на передней панели по восемь лазеров в каждом. В том же Q3450-LD их 18, по одному на восемь портов. По данным Nvidia, такая схема требует вчетверо меньше лазеров, чем классическая, где свой лазер стоит в каждом трансивере.

Но зачем вообще городить такую сложную конструкцию, если можно просто дальше ускорять обычные коммутаторы? Звучит логично, не так ли? И электронный ASIC действительно не умирает: в 2026 году Broadcom серийно поставляет Tomahawk 6 на 102,4 Тбит/с, а Cisco представила Silicon One G300 с той же пропускной способностью. Проблема не в том, что чипы больше нельзя ускорить, а в том, что все сложнее вывести их поток наружу. Сделать ASIC, перемалывающий 100–400 Тбит/с, инженеры умеют, а вот протащить такие объемы через плату к передней панели с каждым поколением все дороже. Дорожная карта Ethernet только подливает масла в огонь: 800GbE уже стандартизирован, 1,6TbE на подходе, а за ним маячит 3,2TbE. Вот и получается, что будущее не за "оптическими ASIC", а за обычными электронными чипами, которые все плотнее обрастают фотоникой.

Именно такие электронные чипы в "фотонной обертке" Nvidia уже выпускает серийно, так что от теории перейдем к железу. Сейчас у Nvidia 3 модели CPO-коммутаторов:

Все три модели работают исключительно на жидкостном охлаждении, ведь теперь все тепло от оптики сосредоточено прямо вокруг ASIC. Quantum-X Photonics уже трудится в продакшене у облачных провайдеров вместе с системами GB300 NVL72, а Spectrum-X Photonics вышел в массовое производство и стал частью инфраструктуры Vera Rubin.

Кстати, к фотонике Nvidia пришла не вчера. В 2013 году Mellanox купила компанию Kotura, специализировавшуюся на кремниевой фотонике, примерно за $82 млн, а в 2020 году саму Mellanox купила Nvidia. Так что корни нынешних фотонных коммутаторов уходят как минимум в начало 2010-х.

Впрочем, в этой гонке Nvidia не одна: главный конкурент зеленых — Broadcom, у которого опыта в CPO, пожалуй, даже больше. Tomahawk 6 Davisson — уже третье поколение CPO компании: 102,4 Тбит/с, 200 Гбит/с на линию, 16 оптических движков по 6,4 Тбит/с и, по данным Broadcom, на 70% меньшее энергопотребление оптики, чем у съемных модулей. А сейчас Broadcom уже готовит четвертое поколение под 400 Гбит/с на линию. Фотоникой также занимаются Cisco, Marvell, Intel, Ayar Labs, Lightmatter, Coherent, Lumentum и другие, но не стоит путать: "занимается фотоникой" вовсе не значит "делает фотонные коммутаторы". Одни выпускают оптические движки, другие — лазеры, третьи отвечают за упаковку, как TSMC с технологией COUPE, без которой не обходятся ни Nvidia, ни Broadcom. А готовые CPO-коммутаторы сегодня по-настоящему делают единицы.

С тем, кто и что выпускает, разобрались, а теперь перейдем к главному — сколько все это стоит. И здесь Nvidia предпочитает отмалчиваться: официальных цен нет ни на Q3450-LD, ни на SN6810, ни на их аналоги со съемной оптикой вроде Quantum-X800 Q3400-RA с теми же 144 портами 800G. То есть вообще никаких подтвержденных данных. Сам CPO-коммутатор почти наверняка дороже обычного, зато к нему не нужно докупать по трансиверу на каждый порт, а экономия электричества за 4–5 лет эксплуатации на тысячах коммутаторов выливается в ощутимые суммы. С другой стороны, CPO требует жидкостного охлаждения, и если в ЦОДе его нет, к счету добавляется переоборудование.

Но деньги — не единственный повод задуматься. Главная прелесть съемной оптики в том, что сломался трансивер — вытащил, вставил новый, и через пять минут порт снова работает. В CPO оптический движок живет в одном корпусе с дорогим ASIC, и если откажет не лазер, а сам движок, менять придется как минимум весь модуль с чипом. Чем больше компонентов в одном корпусе, тем выше риск, что дефект одного испортит всю сборку, а это бьет по себестоимости. Да и свободно покупать оптику разных производителей больше не получится: она идет в комплекте с коммутатором, а значит, заказчик сильнее привязан к одному вендору. Индустрия эти проблемы понимает и пытается их обойти: лазеры уже вынесены в съемные модули, а волокно подключается к фотонным движкам через съемные разъемы. Но насколько CPO надежнее съемной оптики в реальных ЦОДах, покажут только годы эксплуатации.

Именно из-за этих компромиссов многие заказчики не спешат прощаться со съемными модулями, тем более что рынок выбирает не только между "старым добрым OSFP" и "все запаиваем рядом с ASIC". Между ними есть промежуточные варианты:

• LRO (Linear Receive Optics) — модуль, в котором DSP остался только на одном направлении передачи, что заметно снижает энергопотребление.
• LPO (Linear Pluggable Optics) — модуль вообще без DSP: оптику напрямую "раскачивают" SerDes самого коммутатора. Экономия еще больше, а модуль остается съемным, правда, требования к качеству SerDes и платы сильно растут.

Показательно, что даже Broadcom делает Davisson совместимым с LPO-модулями на другом конце линка. Так что вполне вероятен сценарий, при котором LPO и LRO хватит для 90% рынка, а CPO так и останется технологией гиперскейлеров и гигантских ИИ-фабрик.

Но все, о чем мы говорили до сих пор, — это электронные коммутаторы, у которых свет есть только на входе и выходе. А вот мы и добрались до куда более радикальной технологии, где коммутируется сам свет, — оптической коммутации каналов, или OCS. Лучший пример здесь — система Google Apollo. Вместо ASIC внутри такого коммутатора стоит массив микроскопических зеркал MEMS: свет из входящего волокна падает на зеркало, оно физически поворачивается и отражает луч в нужное выходное волокно. Никакого разбора пакетов, никаких буферов, SerDes и DSP, никакого превращения света в электричество и обратно. Более того, OCS безразлично, что идет по волокну — 100G, 800G или 1,6T, он просто перенаправляет свет, поэтому один такой коммутатор может пережить несколько поколений сетевого оборудования. 

Google использует OCS в своей сети Jupiter уже около десяти лет, и, по данным компании, это позволило снизить энергопотребление сети примерно на 40%, капитальные затраты — на 30%, а время простоя — в 50 раз по сравнению с лучшими альтернативами.

Почему же тогда не заменить на OCS вообще все коммутаторы? Подвох в том, что OCS не умеет работать с отдельными пакетами — он лишь создает оптический канал между двумя точками. Чтобы перестроить маршрут, зеркалу нужно физически повернуться, а на это уходят миллисекунды, тогда как ASIC принимает решение о каждом пакете за наносекунды. Поэтому пакетная коммутация незаменима для хаотичного короткоживущего трафика, а коммутация каналов хороша для огромных стабильных потоков. И именно ИИ делает OCS снова интересным: при обучении больших моделей одни и те же группы ускорителей раз за разом обмениваются гигантскими объемами данных по одним и тем же маршрутам. Не случайно Google использует OCS и для объединения своих TPU в крупные кластеры.

Вот и получается, что будущее ИИ-сетей, скорее всего, гибридное: GPU — электрический ASIC — CPO — оптика — OCS на отдельных уровнях сети — CPO — электрический ASIC. ASIC великолепно умеет принимать решения, а фотон — переносить огромные объемы данных с минимальными потерями, и каждый будет заниматься своим делом.

Теперь, когда мы разобрались и с CPO, и с OCS, можно вернуться к вопросу из начала статьи: так революция это или дорогая игрушка? Ответ зависит от масштаба. Для обычной серверной или корпоративного ЦОДа CPO почти наверняка избыточен, да и для небольшого GPU-кластера коммутаторы 800G со съемной оптикой по-прежнему абсолютно рациональный выбор, особенно с учетом LPO и LRO. Когда речь идет о сотнях и тысячах GPU, энергопотребление и количество оптики уже начинают заметно влиять на стоимость владения, а на уровне десятков и сотен тысяч ускорителей CPO превращается из дорогой интересной технологии в один из немногих способов вообще построить сеть такой плотности. При этом электроника никуда не уйдет: ASIC продолжит думать, а свет будет брать на себя все больше работы по переносу данных. Остается лишь один вопрос: победит ли фотоника потому, что она быстрее, или потому, что на определенном масштабе мы просто больше не сможем позволить себе столько электричества, тепла и медных соединений? Если вы проектируете сеть для GPU-кластера и не знаете, что выбрать, обращайтесь к специалистам компании ServerFlow. Мы подберем сетевое оборудование под масштаб ваших задач и прове