DPU — сопроцессоры обработки данных
Содержание:
- Введение
- DPU — что это такое и для каких задач подходят сопроцессоры
- Отличия DPU от CPU и GPU
- Основные характеристики DPU
- Что такое SmartNIC
- Рынок DPU в 2024 году
- Резюме
Введение
Производство специализированных процессоров формата ASIC для определенных областей — перспективный вектор развития сферы микроэлектроники. Подобные устройства используются для расширения вычислительных мощностей. Они снимают часть ограничений по росту производительности для CPU общего назначения.
Сопроцессоры для обработки данных — один из классов многоцелевых ASIC. Они представляют собой подтип интеллектуальных карт SmartNIC. Модули отвечают за оптимизацию соотношения стоимости и производительности в нагрузках, которые выдвигают внушительные требования к вычислительным ресурсам.
Внешний вид сопроцессора для обработки данных NVIDIA BlueField. На полноразмерной плате распаян чип DPU, высокопроизводительные сетевые интерфейсы, набор памяти формата GDDR, а также порты RJ45 для настройки и управоения картой. Источник:
DPU — что это такое и для каких задач подходят сопроцессоры
Сопроцессоры для обработки данных (Data Processing Unit или DPU) — это устройства на базе карт SmartNIC с интегрированными вычислительными процессорами. Их задача — разгрузка (offloading) ЦП за счет выполнения отведенной ему работы.
DPU появились не на пустом месте — они стали логичным ответом на постепенное развитие требований к качеству устройств, обеспечивающих вычислительные ресурсы:
- В конце XX века на рынке появились «камни» Intel x86, предлагающие всем заказчикам невероятную мощность. Происходит скачок клиент-серверных, многоуровневых и распределенных вычислений.
- В XXI веке в продажу поступают гипервизоры. Они позволяют подключать много «виртуалок» к одному серверу. Распределение ресурсов рационализируется, а аппаратное обеспечение становится программируемым.
- Дальнейший этап — виртуализация сетей и хранилищ. И вновь — повышение значимости CPU. Чтобы «разгрузить» CPU, производители микроэлектроники придумали новые устройства SmartNIC с функций «offloading».
Фактически виртуальные машины всецело зависят от мощностей CPU. Поскольку опираются именно на вычислительные потоки, предоставляемые процессорами. Поэтому для наилучшего масштабирования производительности требуется увеличивать не только производительность CPU, но и оснащать сервера специализированными устройствами способными «разгружать» процессоры, а именно — DPU.
Кроме того, на рынке появилось спецоборудование для тренировки алгоритмов искусственного интеллекта. Оно также требует внушительных вычислительных мощностей, предоставить которые одни только CPU, конечно же, не способны.
На помощь пришли сопроцессоры для обработки данных. Идейное продолжение карт SmartNIC, дополненное функциями NVMe или NVMe-oF. Модули разгружают ЦП, отвечая за реализацию всех задач, связанных с вводом и выводом данных.
DPU от Nvidia могут оснащаться не только специализированным процессором BlueField для “offloading” CPU, но и графическим ускорителем GA100. Связка этих двух типов устройств порождает новое направление - Конвергентные ускорители. Nvidia AX800 это флагман линейки. Источник:
Отличия DPU от CPU и GPU
Для решения сложных вычислительных задач нужен эффект параллелизма. Универсальные ЦП общего назначения его обеспечивают с трудом. А если и обеспечивают, то эффект от внедрения CPU (до 256 ядер) окажется несравнимым относительно GPU (имеют десятки тысяч ядер). Поэтому основными инструментами для выполнения соответствующих работ стали GPU — графические процессоры, выполняющие математические вычисления с высокой точностью.
Появление GPU ознаменовало первый этап процесса, ведущего к разгрузке CPU. Графические процессоры стали отвечать за совершение математических операций и рендеринг 3D-сцен.
Затем на рынок вышел третий вид чипов — интегральные схемы ASIC и матрицы логических вентилей FPGA. Они отличаются крайней эффективностью при оптимизации под задачи и показывают производительность, кратную относительно CPU и GPU.
Следующим этапом процесса, ведущего к разгрузке CPU, стало появление DPU — сопроцессоров обработки данных. Именно они сегодня считаются основным инструментом для решения задачи, связанной с экспоненциальным повышением нагрузок на современные ЦОДы.
DPU, CPU и GPU отличаются друг от друга по функционалу, архитектуре и сферам применения:
- CPU применяются для решения широкого спектра задач. Они выполняют работу с базами данных и обеспечивают виртуализацию ресурсов сервера.
- GPU обладают меньшей универсальностью. В числе их «зон ответственности» — работа с ИИ (обучение моделей), транскодирование видеопотоков, параллельные вычисления, аналитика данных, рендеринг и виртуализация.
- DPU — это устройства для ускорения вычисления за счет разгрузки CPU. Они оптимизируют процессы, связанные с виртуализацией.
Можно сказать, что GPU делают все то, что CPU не способны делать эффективно, а DPU служат в качестве «помощников» центральных процессоров.
Сравнение CPU, GPU и DPU
Основные характеристики DPU
Сопроцессоры для обработки данных — это решения формата SmartNIC. Проще говоря, они являются сетевыми картами, оснащенными мощными вычислительными процессорами. Их задача — совершение операций ввода-вывода для разгрузки центральных процессоров в различных высокопроизводительных системах. Речь идет о простом и элегантном решении, способном высвободить часть ценных ресурсов GPU.
Модули DPU обладают программируемыми интерфейсами для работы с хранилищами и сетями. Специалисты считают, что с течением времени они станут третьим классом обязательных компонентов серверов в центрах обработки данных (наряду с CPU и GPU соответственно). В числе ключевых особенностей таких устройств:
- высокоскоростное подключение к сети (интерфейсы QSFP112 до 400 Gb/s);
- возможность высокопроизводительной обработки пакетов;
- встроенная память GDDR5 для ускорения вычислений;
- поддержка новейших стандартов PCI Express;
- наличие аппаратных криптографических модулей для повышения безопасности данных.
Сегодня на рынке представлены DPU трех типов. Они поделены на классы с привязкой к используемым базам — SOC, ASIC и FPGA. Каждое устройство адаптировано под конкретные задачи, приложения и клиентские системы. Модули закрывают растущие нужды современных ЦОДов и позволяют масштабировать актуальную инфраструктуру.
NVIDIA Spectrum-4 и NVIDIA BlueField-3. Источник:
Для построения эффективной инфраструктуры в ЦОД ускорители Bluefield используются в связке с коммутаторами NVIDIA SPECTRUM-4. Благодаря поддержке NVMe-oF дата центры могут значительно увеличить производительность в виртуализированных средах, тем самым предложить лучший пользовательский опыт для своих клиентов.
Что такое SmartNIC
SmartNIC — это интеллектуальная сетевая карта. Каталог ее опций выходит далеко за границы рядовых задач по переносу данных. Устройства оборудованы как большими объемами оперативной памяти, так и производительными процессорами.
Фактически SmartNIC стал обновленным типом Network Interface Card, предложившим ЦОДам широкий спектр возможностей:
- фильтрация передаваемых пакетов;
- балансировка нагрузочных потоков;
- поддержка качества обслуживания QoS;
- создание сред удаленного доступа к RDMA;
- обработка данных, поступающих из брандмауэра;
- инспекция алгоритмов системы локализации вторжений IDS и пр.
Современные DPU построены на базе SmartNIC с учетом определенной доработки. В противовес рядовым картам NIC, они позволяют загружать в контроллеры вторичный софт уже самим пользователем, что существенно расширяет базовые границы функций ASIC.
Сетевые адаптеры ConnectX-7 SmartNIC лежат в основе DPU Bluefield. Несмотря на поддержку пула технологий для аппаратного ускорения сетей: ASAP2, RoCE, GPUDirect Storage, они не могут в той же мере разгружать центральный процессор. Поэтому ЦОДы берут курс на всеобщую интеграцию DPU, сочетающих в себе свойства SmartNIC и производительный ARM процессор. Источник:
Рынок DPU в 2024 году
Рынок DPU растет семимильными шагами. Сегодня он распределен между шестью крупными продуктами: NVIDIA BlueField, AMD Pensando, Marvell OCTEON, Kalray's K200-LP, Intel IPU E2100 DPU и Broadcom Stingray соответственно.
Вполне возможно, что спустя 5-10 лет на рынке появятся и другие игроки. В DPU сегодня нуждаются практически все центры обработки данных. Также, айти-индустрия сталкивается с новыми вызовами, вроде повсеместного внедрения ИИ и алгоритмов его обучения. Увеличиваются потребности в вычислительных мощностях, закрывать которые можно только с помощью суперсовременных решений формата DPU.
NVIDIA BlueField
Компания NVIDIA — крупнейший в мире производитель графических ускорителей. В числе недавних достижений предприятия — закрытие сделки по покупке фирмы под названием Mellanox за $7 млрд. Израильская команда специализировалась на поставке SmartNIC. Их ключевым продуктом считался DPU BlueField.
Теперь брендовый сопроцессор для обработки данных выходит под эгидой NVIDIA, поскольку американцы нацелились на экспансию рынка оборудования для ЦОД. Блок DPU способен решать целую серию задач, а его особенности заключаются в:
- наличии программных и аппаратных облачных сред;
- специализированном программном обеспечении Network Function Virtualization;
- среде информационной безопасности Deep Packet Inspection;
- работе с микросерверами для Edge Computing.
Bluefield-3 DPU построен на базе 16 ядер ARM Cortex-A78. Сетевые карты обладают скоростью передачи 400 Гбит/с на порт через Ethernet и NDR InfiniBand. Подключение чипа выполняется через PCI Express 5.0, причем у него имеется память DDR5.
Назвать NVIDIA BlueField лидирующим продуктом нельзя. Несмотря на то, что компания практически оккупировала рынок GPU, с DPU так не получилось. Как минимум, из-за наличия сильной конкуренции от AMD, французской марки Kalray или, например, Broadcom.
Портфолио семейства устройств BlueField-3 включающее в себя ускорители оптимизированные под различные спектры задач: ИИ, высокопроизводительные вычисления, системы хранения данных и краевые вычисления. Источник:
AMD Pensando
Главный конкурент NVIDIA — компания AMD, также решила не уступать коллегам и приобрела команду Pensando. Разработчик сетевого оборудования для дата-центров выставил цену в $1,9 млрд, и американцы закрыли сделку во II квартире 2022 года. В рентабельности такого сотрудничества сомневаться не приходится, ведь фирменные решения уже эксплуатируются в IBM Cloud, Microsoft Azure и Oracle Cloud.
В каталоге Pensando представлены два типа так называемых Distributed Services Card — DSC-25 для серверов корпоративного сегмента и DSC-200 для провайдеров облачных технологий. Первый является ключевым фирменным продуктом и активно используется в качестве сопроцессора в рамках многих высокопроизводительных систем. Он построен на базе P4 Capri, серии ARM-ядер и ускорителей функций.
Внешний вид AMD Pensando DSC2-200 PCIe Card. Адаптер оборудован двумя портами QSFP56 с пропускной способностью 200 Gbps, для эффективной работы распаяно 32GB DDR4 памяти. TPD составляет 65W. Ускоритель позиционируется как аналог Bluefield и имеет конкурентную стоимость. Источник:
Marvell OCTEON
Компания Marvell, в отличие от конкурентов, выпускает сопроцессоры в течение многих лет, специализируясь исключительно на их разработке. Недавно специалисты предприятия вывели на рынок линейку OCTEON 10. Устройства способны решать целый спектр задач: от ускорения широкого спектра нагрузок в области безопасности до хранения данных в облачных инфраструктурах.
Основным продуктом бренда сегодня считается сопроцессор для обработки данных Octeon TX2 CN9130, обладающий рядом интересных технических характеристик:
- четырехъядерный ARMv8 Cortex-A72;
- интерфейс памяти — 64-битный DDR4 + ECC на 1 200 МГц;
- поддержка подключения PCIe 3.0.
Сетевая подсистема представлена большим набором компонентов, включая структуры виртуализации ARMv8-A, ввода-вывода, DMA-движков и пр. Marvell OCTEON 10 - альтернативный вариант DPU от американского без фабричного разработчика микроконтроллеров. Источник:
Broadcom Stingray
Микроконтроллеры бренда «Броадком» (например, NetXtreme-S BCM58800) также построены на базе интеллектуальных карт SmartNIC. Их конструкция предусматривает:
- наличие восьмиядерного CPU ARM v8 A72, работающего на частоте до 3 ГГц;
- «оперативка» DDR4 (до 16 Гб).
Устройство поддерживает процесс высокоскоростного шифрования до 90 Гбит/с на уровне «железа».
На схеме того же NetXtreme-S BCM58800 размечен ускоритель TruFlow. Речь идет об уникальной и запатентованной технологии инженеров «Броадком», используемой для ускорения различных сетевых операций. Ее главная особенность — возможность повышения производительности операций коммутаторов, в том числе и Open vSwitch (OvS).
Решения Broadcom поставляются центрам обработки данных для создания мощных сетевых и вычислительных подсистем. Блок процессора ARM, интерфейсы PCI Express, ключевые ускорители и подсистемы памяти с интерфейсами L3 cache и DDR4 объединяются друг с другом через последовательную структуру Network-on-chip (NOC).
DPU Broadcom Stingray взяты на вооружение китайской поисковой системой Baidu. Это доказывает непосредственную важность сопроцессоров в IT индустрии. Источник:
Intel IPU E2100 DPU
Инженеры фирмы Intel решили закрепить переход к технологиям виртуализации в железе. Специалисты предложили пользователям новые решения для облаков — Infrastructure Processing Unit или IPU. Им предписаны ровно три задачи:
- offloading ресурсов ЦП;
- разделение рабочего пространства на «гостей» и «хостов» соответственно;
- быстрое внедрение бездисковых конфигураций с сеть-хранилищами.
Линейка IPU включила в себя три продукта. Микросхему в виде ASIC, карту PCIe на базе процессора Intel Xeon и FPGA Agilex, а также управляемую сетевую карту с функцией обработки трафика.
Intel IPU E2100 DPU — продукт уровня ЦОД, используемый для закрытия тех же вопросов, что и в случае с другими сопроцессорами обработки данных. В числе характеристик устройства:
- 16 ядер ARM Neoverse;
- 3 канала памяти LPDDR4x по 16 ГБ.
Он разгружает центральные процессоры за счет выполнения части отведенной им работы.
Внешний вид Intel E2100-CCQDA2. Адаптер должен стать частью вычислительной экосистемы Intel и не позволить AMD и Nvidia монополизировать рынок. Источник:
Kalray's K200-LP
Французский бренд Kalray тоже специализируется на выпуске DPU. Интеллектуальная карта K200-LP на базе MPPA предназначена для центров обработки данных, которые ищут решения для обеспечения высокой производительности.
Устройство полностью оптимизировано для удовлетворения растущего рынка хранения данных на базе NVMe и NVMe-oF, от Cloud до Edge. Kalray's K200-LP, в отличие от аналогов, не использует ядра ARM, MIPS или x86. Под капотом:
- фирменные ядра Coolidge в количестве 80 штук на одном чипе;
- память 2x4GB DDR4 с 3200 Ггц;
- интерфейс PCIe Gen4.
Выбирать между DPU от NVIDIA, AMD, Broadcom или Kalray нужно внимательно, учитывая собственные потребности. Важным фактором становится, например, простота интеграции или совместимость с текущей айти-инфраструктурой. Кроме того, необходимо обращать внимание на такие параметры как требования к рабочей нагрузке, уровень безопасности и наличие техподдержки от поставщика решения.
Еще один вариант DPU от Французской компании Kalray. Источник:
Резюме
Сопроцессоры обработки данных (DPU) — это модули с широким функционалом, каждая опция которых становится все более востребованной:
- создание высокоскоростных сетевых подключений — с несколькими интерфейсами на 25-400 Гбит/с;
- высокоскоростная обработка пакетов — со значительным ускорением и программируемой логикой;
- использование комплексов ядер центральных процессоров — базе ARM или MIPS;
- поддержка контроллеров памяти — как правило, формата DDR4, в районе 16 Гб в среднем по рынку;
- работа на собственных «осях» — отдельно от хост-систем (обычно на Linux, но в качестве примера можно привести VMware Project Monterey ESXi на ARM).
Отличительных особенностей у DPU много. Технические характеристики могут разниться от устройства к устройству, но спектр задач у продукта любого популярного бренда остается неизменным. Использование сопроцессоров обработки данных в ЦОД повышает производительность последних, за счет существенного ускорения операций.
