Сетевые карты, их разновидности и назначение, особенности применения и правила выбора
Введение
Сетевые карты — это, возможно, один из самых важных, но при этом недооцененных компонентов в вычислительном оборудовании. В современном мире, где все завязано на облаках и распределенных кластерах, сервер без сети — это просто очень дорогой калькулятор. Однако раньше такого не было, и к сетевым картам относились проще, ведь для большинства задач хватало базовых моделей на 1 Гбит/с. Сейчас же, с ростом объемов данных, гигабиты в сетевых картах исчисляются сотнями и уже готовятся выйти на тысячи. Но даже много гигабит не означает, что сетевая карта вырывается в топы, ведь теперь от них еще и требуют не только принимать и передавать данные на огромных скоростях, но и непосредственно обрабатывать их внутри себя, выполнять разгрузку (offloading) центрального процессора, а в некоторых продвинутых устройствах — даже самостоятельно вычислять. В общем, сетевые адаптеры меняются так же быстро, как CPU и GPU, а в чем-то даже быстрее. Чтобы вы успели уследить за этим развитием, специалисты компании ServerFlow расскажут вам, что из себя представляют современные сетевые адаптеры, какие виды существуют, какие скорости и протоколы они поддерживают, и почему выбор сетевой карты сегодня — это не просто выбор количества гигабит.
Что такое сетевой адаптер?
Чтобы не потеряться во всех тонкостях и маркетинговых терминах, стоит начать с основ.
Сетевые адаптеры (или сетевые карты, NIC — Network Interface Card) — это небольшая печатная плата, которая служит переходником между материнской платой сервера и внешней сетью. Сеть может быть представлена медным кабелем, оптоволокном или даже Wi-Fi-сигналами. Внутри этой платы скрывается несколько критически важных компонентов.
- MAC-контроллер (Media Access Control). Это мозг карты, отвечающий за логику передачи данных. Именно он формирует фреймы, добавляет в них MAC-адреса отправителя и получателя, проверяет целостность данных с помощью контрольных сумм и управляет доступом к среде передачи, чтобы избежать коллизий.
- Трансивер или PHY-чип (Physical Layer). Этот компонент отвечает за физический уровень модели OSI. Он преобразует цифровые данные, которыми оперирует MAC-контроллер, в сигналы, способные передаваться по кабелю.
- Буферная память — небольшой объем встроенной памяти для временного хранения входящих и исходящих пакетов. Он предотвращает потерю пакетов и сглаживает разницу в скоростях шины PCIe на материнке и сетевого трафика.
- Интерфейсная шина — сейчас это почти всегда PCIe, через которую карта подключается к материнской плате и обменивается данными с процессором и памятью.
- Сетевые порты — для подключения кабелей передачи данных по тем или иным протоколам.
Но важно понимать принципиальную разницу: карта, работающая с медью (витой парой), и карта, работающая с оптикой, устроены по-разному. В медных картах PHY-чип преобразует цифру в электричество, и сигнал идет по медному кабелю. В оптических картах трансивер часто выносится в отдельный модуль (SFP, QSFP), который преобразует электричество в свет и обратно. Это дает гибкость: в один и тот же порт на карте можно воткнуть разные модули — для работы на разные расстояния и с разными типами волокна.
Поддерживаемые интерфейсы подключения и порты сетевых карт
Когда мы говорим о подключении сетевой карты к серверу, первое, что приходит на ум — это слот PCIe. И это правильно, PCIe остается самым распространенным интерфейсом. Однако он не единственный, особенно в серверном сегменте.
- PCIe — универсальный стандарт, который подходит для большинства задач. Карта вставляется в слот на материнской плате и надежно фиксируется. Но у PCIe-карт нет горячей замены. Чтобы заменить PCIe-карту, сервер нужно выключать. Для домашнего ПК это нормально, но для дата-центра, где важна доступность 24/7, это проблема. Тем не менее, PCIe-сетевых карт в серверах по-прежнему огромное количество — на плате много слотов PCIe, и это удобно для конфигураций, не требующих частой замены сетевого оборудования.
- OCP (Open Compute Project) — это специализированный стандарт мезонинных сетевых карт. OCP-карты подключаются не в слот, а к специальному разъему на материнской плате. Его главное преимущество — поддержка горячей замены. Инженер дата-центра может заменить неисправную сетевую карту без остановки сервера, что критически важно для инфраструктур гиперскелеров. Кроме того, OCP позволяет делать более компактные, высокоплотные серверные конфигурации. Однако внутри сервера обычно всего один OCP-слот, в отличие от нескольких PCIe, что ограничивает его широкое распространение.
- USB-сетевые карты — популярное решение для подключения к сети ноутбуков, ультрабуков и даже настольных ПК, где встроенная карта вышла из строя или требуется дополнительный порт. Вы наверняка видели маленькие адаптеры с USB Type-A или Type-C на конце и портом RJ-45 — это именно они. Это самый простой и бюджетный способ добавить сеть в потребительское устройство.
- M.2 сетевые карты — это Wi-Fi + Bluetooth модули для тонких и легких устройств, вроде тех же самых ноутбуков, где места для полноценного PCIe-слота просто нет.
А теперь поговорим о внешних интерфейсах, то есть о портах сетевых карт, в которые втыкаются кабели передачи данных.
RJ-45 — самый распространенный порт, знакомый каждому. Он предназначен для подключения медного кабеля передачи данных. Поддерживает скорости от древних 10 Мбит/с до современных 10 Гбит/с. Вы спросите: а как же 25 Гбит/с и выше? По витой паре такие скорости тоже возможны, но на очень коротких расстояниях и с использованием экранированной кабельной системы. Ввиду этого, в серверах для скоростей выше 10 Гбит/с медь используется крайне — здесь в ход идет оптика.
- SFP+ (Small Form-factor Pluggable Plus) — стандарт для 10G.
- SFP28 — эволюция SFP+ для 25G.
- QSFP+ (Quad SFP+) — четыре канала по 10G, итого 40G.
- QSFP28 — четыре канала по 25G, итого 100G.
- QSFP56 — четыре канала по 50G, итого 200G.
- OSFP/QSFP-DD — форм-факторы для 400G и 800G.
Оптика бывает разная: для коротких расстояний внутри стойки (многомодовое волокно, передатчики с длиной волны 850 нм) и для длинных дистанций (магистральная/трансконтинентальная, DWDM/ВОЛС) — между зданиями, городами и даже континентами (одномодовое волокно, длинноволновые лазеры 1310/1550 нм + десятки сантиметров изоляции с защитой).
Оптические решения, в зависимости от скорости, могут стоить как очень дешево, так и очень дорого — модуль в 10 Гбит/с обойдется буквально в 1000 рублей, дешевле чем DAC-кабель, в то время как топовые, высокоскоростные OSFP-решения с широкой длиной волны стоит в районе $1000.
Скорости передачи данных сетевых карт
Обмен данными может происходить на самых разных скоростях, и выбор конкретной цифры зависит от задач, бюджета и архитектуры сети. Сейчас в серверах используются следующие скорости, и каждая занимает свою нишу:
- 1 Гбит/с (1000BASE-T): Ветеран, который до сих пор жив. Используется в потребительских системах, в офисных сетях и в других задачах, где не требуется высокая пропускная способность. Дешево и сердито.
- 10 Гбит/с: Долгое время был золотым стандартом для серверов и сетей хранения данных (iSCSI, NFS). Множество дата-центров среднего уровня до сих пор работают на 10G.
- 25 Гбит/с: Сегодня это основной стандарт для современных дата-центров и облачных провайдеров. Почему не 40? 25G дает лучшую плотность портов и использует более эффективное кодирование, чем 40G (который часто был просто объединением четырех 10G каналов). 25G идеально ложится на шину PCIe, физически полностью совместим с 10 Гбит/с и позволяет эффективно утилизировать ресурсы.
- 40 Гбит/с: Постепенно уходит в прошлое, но еще часто встречается во многих инфраструктурах. Все еще популярен для аплинков и соединения хранилищ данных.
- 100 Гбит/с: Стандарт для ядра сети, для соединения особо жирных серверных конфигураций и для HPC-сектора. Физически совместим с 40 Гбит/с.
- 200 и 400 Гбит/с: Удел гиперскейлеров (Amazon, Google) и самых передовых суперкомпьютеров. Используется для соединения тысяч GPU в кластерах для обучения больших языковых моделей. Там каждый бит на счету.
- 800 Гбит/с и 1,6 Тбит/с: Уже анонсированы производителями. Эти скорости начнут внедряться в ближайшие пару лет для тех же задач ИИ, когда 400G станет недостаточно.
Протоколы передачи данных сетевых карт
Скорость — это, безусловно, очень важна, но не менее важно то, по какому принципу передаются данные. И за эти принципы отвечают сетевые протоколы.
Базой всего, безусловно, является Ethernet и стек протоколов TCP/IP. Это стандарт де-факто, который правит балом везде — от домашнего роутера до облачного дата-центра миллиардного масштаба. Ethernet-карты есть в каждом сервере, и подавляющее большинство трафика в мире идет именно по Ethernet. Но есть и другие, намного более эффективные специализированные протоколы.
InfiniBand — это отдельная вселенная. Когда-то этот стандарт гремел и считался главным конкурентом Ethernet в HPC. Сегодня он сдал позиции в общем сегменте, но остался в нише, где нужны запредельные скорости и, что еще важнее, сверхнизкие задержки. Основной пользователь InfiniBand сегодня — это NVIDIA, которая использует его для соединения своих видеокарт в кластеры (технология NVLink базируется на InfiniBand). В суперкомпьютерах для научных расчетов и обучения ИИ InfiniBand чувствует себя прекрасно, потому что там каждая микросекунда задержки влияет на время завершения задачи.
Fibre Channel (FC) — это протокол для сетей хранения данных (SAN). Он до сих пор жив и неплохо себя чувствует в корпоративном сегменте, особенно там, где есть устаревшее, но надежное оборудование. FC-карты (HBA — Host Bus Adapters) стоят в серверах, подключенных к дорогим дисковым массивам типа Pure Storage или Dell EMC. Однако в малый и средний бизнес Fibre Channel уже не заходит — там правит iSCSI и NFS, которые работают поверх обычного Ethernet.
Сравнительно недавно на сцене появился и Ultra Ethernet. Это инициатива одноименной группы компаний (AMD, Intel, Cisco, Microsoft), которая хочет создать открытый стандарт, способный конкурировать с InfiniBand в задачах ИИ и HPC. Идея в том, чтобы не зависеть от проприетарных решений NVIDIA и развивать Ethernet в сторону сверхнизких задержек и улучшенного управления перегрузками.
Нельзя не упомянуть и нишевые разработки вроде Intel Omni-Path, архитектуры Slingshot от Hewlett Packard Enterprise (используется в суперкомпьютере Frontier) или решений от Solarflare (теперь часть Xilinx/AMD), которые славились своей способностью обрабатывать огромные биржевые потоки и данных в HPC-кластерах с минимальной задержкой. Другими словами, тема сетей превратилась в настоящую гонку кластерных вооружений. Современный бизнес все больше зависит от распределенных вычислений, а значит, все висит на сетях.
NIC vs Smart NIC
Теперь мы подходим к самому интересному — почему же обычная сетевая карта перестала устраивать инженеров?
Обычная сетевая карта (NIC) — это, по сути, просто труба. Пришел пакет из сети, карта с помощью контроллера прямого доступа к памяти (DMA) кладет его в буфер. Потом она дергает центральный процессор (CPU). Процессор останавливает свою текущую работу, сам копирует данные из буфера карты в системную память (иногда не один раз), сам проверяет контрольные суммы, сам обрабатывает заголовки протоколов, и так для каждого пакета. При интенсивном трафике процессор начинает задыхаться от всей этой мелкой моторики. А теперь представьте, что у вас есть сервер с NVMe-хранилищем, способным отдавать данные со скоростью 10-20 ГБ/с, и вы подключили его через топовую сетевую карту на 200 Гбит/с. Вы смотрите в диспетчер задач и видите, что процессор загружен на 100%, хотя никакой полезной нагрузки, кроме передачи файлов, вроде бы нет. Почему? Потому что у вас стоит обычный NIC, а не SmartNIC. Весь процессор просто "перекладывает байты", не успевая делать ничего другого.
SmartNIC решает эту проблему кардинально. Такая карта содержит на борту свой собственный SoC-процессор (обычно на ARM) и специализированные аппаратные блоки. Она может самостоятельно делать всю черновую работу: копировать данные из буфера в память, вычислять контрольные суммы, обрабатывать протоколы iSCSI или NVMe-oF, фильтровать трафик, даже запускать виртуальные сетевые функции. Эффективность SmartNIC напрямую связана с протоколами RDMA (Remote Direct Memory Access). Именно RDMA научил сетевые карты читать данные из памяти удаленного сервера и класть их в память локального сервера напрямую, в обход центрального процессора. Карта сама находит нужный участок памяти, сама перемещает данные, сама ставит отметку о завершении. Процессор сервера получает уже готовые данные, с которыми можно работать, и не тратит драгоценные такты на перекладывание байтов. В высоконагруженных системах это дает колоссальный прирост производительности и снижает задержки.
Программная совместимость: VMware vs Proxmox
Еще один важный аспект выбора сетевой карты — с каким ПО она будет дружить. Раньше все было просто: корпоративный стандарт виртуализации — VMware ESXi, и совместимость с ним была обязательным условием для серверной карты. Производители карт писали специальные драйверы для VMware, и вендоры серверов тестировали свои системы именно с VMware.
Но ситуация меняется. VMware перешла под управление Broadcom и начала терять популярность из-за политики лицензирования и высокой стоимости. Broadcom известен своим жестким подходом: он поднимает цены и заставляет клиентов покупать пакетные лицензии, совместимые только с топовым, дорогим оборудованием. Это вызывает отток клиентов в сторону открытых альтернатив, таких как Proxmox.
Proxmox VE набирает обороты семимильными шагами. Это бесплатная (с опцией коммерческой поддержки) платформа виртуализации на базе Debian и KVM. И здесь у сетевых карт огромное преимущество: современные карты дружат с Proxmox практически из коробки, потому что в ядре Debian есть готовые драйверы для всего. Вы ставите Proxmox, система видит вашу Mellanox или Intel, и она начинает работать.
В то же время VMware ESXi становится более капризным. В новых версиях он может "вытеснять" поддержку старых, но еще вполне рабочих сетевых карт, чтобы стимулировать обновление парка. Это создает проблемы для компаний, которые хотели бы использовать проверенное годами железо. С другой стороны, для энтерпрайз-уровня, где нужны тонкие настройки, продвинутая интеграция с облаками и техподдержка 24/7, VMware ESXi по-прежнему предлагает больше возможностей. Но для 90% задач, особенно в малом бизнесе, Proxmox часто оказывается проще и дешевле.
DPU — новый виток эволюции сетевых карт
SmartNIC — это хорошо, но инженеры пошли дальше. Следующий шаг эволюции — DPU (Data Processing Unit). Если SmartNIC просто разгружал процессор от сетевых операций, то DPU — это полноценный компьютер на сетевой карте. На плату DPU ставят мощный процессор (вроде NVIDIA Grace), собственную оперативную память, иногда даже накопители. И такой DPU может выполнять целые приложения, работая полностью автономно от основного процессора сервера.
Яркий пример — NVIDIA BlueField. Внутри такой карты сидит процессор, который может крутить виртуальные сетевые функции (Open vSwitch), файрволы, хранилища, шифровать и дешифровать трафик — и все это вообще не трогая основной CPU сервера. Основной процессор (хост) получает уже готовые, обработанные данные. Это позволяет выносить на DPU всю инфраструктурную работу, которая раньше "воровала" ресурсы CPU. Для облачных провайдеров это критически важно: они могут продавать больше вычислительных мощностей своим клиентам, так как процессор сервера теперь занимается только задачами клиента (арендованной виртуальной машины), а вся "сантехника" виртуализации сети и безопасности висит на DPU. К слову, балом правит не только Nvidia, ведь у AMD есть аналогичное решение — семейство сетевых карт Pensando с интегрированным DPU.
Выводы
При выборе серверной сетевой карты смотреть только на гигабиты в спецификации — это большая ошибка. Критически важно оценивать функционал разгрузки центрального процессора. Задайте себе вопросы: поддерживает ли карта RDMA (RoCE или InfiniBand)? Есть ли у нее собственная логика для работы с NVMe-oF (NVMe over Fabrics)? Умеет ли она аппаратно ускорять iSCSI или шифрование? Без учета этих факторов ваша инфраструктура может оказаться бутылочным горлышком, где мощный процессор будет простаивать в ожидании сети или, наоборот, тратить 80% времени на перекладывание пакетов. Чтобы не ошибиться с выбором и подобрать сетевую карту, идеально соответствующую вашим задачам и бюджету, обращайтесь к специалистам ServerFlow. Мы поможем разобраться в многообразии моделей, протоколов и скоростей, подскажем оптимальное решение и обеспечим надежную поставку.
