Baidu Kunlun — ускорители искусственного интеллекта от крупнейшей китайской корпорации

Как мы все знаем, за последние несколько лет китайская ИИ-индустрия совершила огромный скачок вперед — нейросети DeepSeek и Qwen буквально перевернули рынок с ног на голову, предоставив миру производительные, и при этом экономичные ИИ-продукты. На фоне такого взлета, администрация США начала активно вводить ограничения на поставку оборудования для обучения и инференса искусственного интеллекта, что вызвало потребность в развитии собственных мощностей для производства ИИ-ускорителей в КНР для импортозамещения западных устройств. В рамках этого масштабного импортозамещения, в Китае начали набирать популярность ИИ-ускорители Kunlun от компании Baidu. В этой статье мы поговорим о том, что из себя представляют ускорители Kunlun, расскажем об их технических характеристиках и перечислим линейки ИИ-решений Kunlun.

Baidu — это одна из самых крупных IT-компаний из Китая, основанная в 2000 году и занимающаяся разработкой и выпуском различных веб-сервисов, включая поисковую систему, облачные хранилища, а также облачные вычисления. С недавнего времени большую популярность обрели и ИИ-продукты подразделения AI Cloud на основе собственных языковых моделей Ernie 4.5 и Ernie X1. Эти нейросети активно конкурируют с китайскими LLM DeepSeek R1 и Qwen3, выделяясь на их фоне крайне низкой стоимостью генерации токенов в API, благодаря чему модели от Baidu начинают широко применяться в корпоративных средах по всему миру. Если ранее аудитория сервисов Baidu на 98% приходилась на Китай, то с появлением инновационных чат-ботов Ernie, количество пользователей Baidu AI Cloud значительно возросло за счет притока зарубежных юзеров. Чтобы обеспечить свои ИИ-кластеры достаточной мощностью, а также продолжать обучать и совершенствовать свои модели искусственного интеллекта, Baidu начала разработку собственных ИИ-процессоров под названием Kunlun. Позднее, в 2021 году, отделение по разработке процессоров Kunlun отделилось от Baidu, став полноценной компанией под названием Kunlunxin.

На самом деле, разработка ИИ-чипов Baidu началась еще в далеком 2011 году. Тогда компания использовала собственные FPGA-схемы для создания первых прототипов ускорителей для глубокого обучения искусственного интеллекта с интегрированным графическим процессором, название которого неизвестно. Спустя 7 лет, на 4 июля 2018 года Baidu анонсировала выпуск первого облачного полнофункционального чипа для обучения моделей искусственного интеллекта Baidu Kunlun 818-300 на конференции Baidu AI 2018. О решении Kunlun 818-300 мы поговорим ниже, а сейчас рассмотрим главную особенность ускорителей линейки Kunlun — уникальную процессорную архитектуру XPU собственной разработки.

XPU — это архитектура нейронного процессора (NPU) с интегрированной SRAM, поддержкой памяти форматов DDR и HBM, которая обеспечивает эффективное выполнение операций искусственного интеллекта. Когда Baidu впервые представила архитектуру XPU, она была интегрирована в FPGA-ускоритель в виде 256 ядер с частотой 600 МГц, поскольку в тот момент полноценные XPU-чипы были лишь в разработке. XPU поддерживает высокий параллелизм и матричные вычисления, имеет высокую пропускную способность, но не имеет встроенного кэша. Примечательно, что в тот момент XPU не имел собственной библиотеки — команды для ядер прописывались прямо через ассемблер и вызов логических функций. 

Если подробнее рассмотреть схему архитектуры XPU, то становится очевидно, что она во многом схожа с архитектурой MIPS, которая используется в процессорах для IoT и других встраиваемых систем. Это может свидетельствовать о родстве этих двух платформ. Baidu продолжила развивать свою нейронную архитектуру и впоследствии появилось 2 вариации XPU в линейках ИИ-ускорителей Kunlun — XPU-K и XPU-R.

Kunlun Core K — это серия ИИ-решений на базе NPU-процессоров Kunlun 818-100 и 818-300, в которую входят карты расширений для работы с моделями искусственного интеллекта. Оба процессора относятся к первому поколению чипов Kunlun Core, но имеют разные сценарии использования: 818-100 идеально подходит для инференса искусственного интеллекта, а процессор 818-300 применяется для обучения языковых моделей. Рассмотрим особенности этих решений, начав с NPU для инференса. Примечательно, что изначальная реализация чипов Kunlun Core K с разделением на 2 отдельных процессора для инференса и обучения ИИ похожа на решения Ascend и Atlas от компании Huawei, которая также делит свои линейки NPU-чипов на разные сценарии использования. Однако, позднее семейство чипов Kunlun все же унифицировалось и для производства разных типов ИИ-ускорителей применялся 1 тип NPU-чипов.

Kunlun 818-100 базируется на архитектуре NPU-процессоров XPU-K первого поколения и изготовлен по 14-нм техпроцессу Samsung, что обуславливается отсутствием подходящего оборудования на китайских фабриках SMIC в 2018 году и напряженными отношениями с тайваньским чипмейкером TSMC. Для упаковки чипов использовалась особая технология гетерогенного корпусирования SoC-процессоров — Samsung I-Cube, которая предполагает, что один или несколько логических кристаллов (в случае Kunlun — NPU) и несколько кристаллов памяти HBM размещаются в горизонтальной плоскости поверх переходного кремниевого кристалла. В результате упаковки I-Cube несколько кристаллов работают как один кристалл в одном корпусе, что обеспечивает отказоустойчивость и энергоэффективность готового чипа. По сути, компания Samsung с ее технологиями производства и упаковки чипов позволила Baidu реализовать архитектуру XPU в виде полноценных процессоров Kunlun 818-100 и 818-300, поскольку другие способы выпуска были недоступны. Процессор Kunlun 818-100 также имеет высокоскоростную память формата HBM второго поколения объемом 8 ГБ. Может показаться, что 8 ГБ памяти крайне мало для инференса моделей искусственного интеллекта, но нужно понимать, что решения Kunlun 818-100 были выпущены в 2021 году, когда языковые модели были не такими объемными, а стеки высокоскоростной памяти HBM стоили весьма дорого. 

Рассмотрим характеристики ИИ-чипа Kunlun 818-100:

Также известно, что процессор для инференса (и процессор для обучения) имеет блоки тензорных ядер для ускорения ИИ-вычислений — судя по схеме, представленной Kunlunxin, чипы на базе XPU-K имеют 128 тензорных ядер SDNN. Эти тензорные ядра представляют собой собственную разработку Baidu на базе архитектуры XPU, которые ускоряют операции матричного умножения. Структура SDNN содержит массив MAC, который предназначен для достижения максимальной вычислительной мощности. Известно, что Kunlun 818-100 применялась при разработке голосового помощника Baidu DuerOS. Для более эффективного и удобного инференса китайских языковых моделей, процессор Kunlun 818-100 поддерживает нативную интеграцию с фреймворком PaddlePaddle от Baidu и совместим с фреймворками TensorFlow, PyTorch, Caffe, библиотеками NPL для машинного зрения и автономного вождения. Особого внимания стоит поддержка собственного программного стека Baidu, который включает в себя компилятор XTDK для языков программирования C / C ++, тензорный компилятор XTCL, библиотеку XDNN с расширенным набором алгоритмов для математических вычислений и ИИ-операций. 

Используя процессоры Kunlun 818-100, Baidu разработала карты расширения для инференса искусственного интеллекта Kunlun AI K100. Характеристики решения полностью соответствуют параметрам процессора Kunlun 818-100 — PCIe-карты для инференса имеют 1 стек памяти HBM2 объемом 8 ГБ с пропускной способностью 256 ГБ/с, а пиковая производительность в INT8 достигает 128 TOPS. Благодаря компактному дизайну с пассивной системой охлаждения, решения Kunlun AI K100 удобно интегрируются в серверные системы и легко масштабируются, однако ограниченный объем VRAM сужает спектр сценариев использования этих ускорителей. Компания Baidu осознавала это, поэтому позиционировала PCIe-карты Kunlun AI K100 как устройства, предназначенные для интеграции в системы периферийных вычислений, где критически важен низкий уровень энергопотребления и миниатюрный корпус. Примечательно, что небольшое энергопотребление в 75 Вт позволяло питать карту даже от слота PCIe. Поскольку Baidu использовала PCIe-карты Kunlun AI K100 для интеграции в собственные вычислительные системы, вполне возможно, что у компании были эффективные инструменты для суммирования ресурсов этих ИИ-ускорителей, что позволяло интегрировать до 8 устройств Kunlun AI K100, которые работали как единое устройство. Однако, это предположение невозможно проверить, так как если такие инструменты действительно существуют, информация о них будет закрыта.

Baidu Kunlun 818-300 — это процессор для обучения языковых моделей компании Baidu, который во многом аналогичен решениям Kunlun 818-100 для инференса. Kunlun 818-300 также базируется на архитектуре XPU-K, первого поколения и также изготавливается по 14-нм техпроцессу. Поскольку Kunlun 818-300 использовался исключительно во внутренних инфраструктурах Baidu, компания предпочла не распространяться о подробных характеристиках этого решения. Известно, что Kunlun 818-300 имеет увеличенный TDP до 150 Вт, поддерживает режимы вычислений FP16 и FP32, обеспечивает производительность в 256 TOPS, имеет память формата HBM2 объемом 16 ГБ с пропускной способностью в 512 ГБ/с В остальном процессор Kunlun 818-300 во всем соответствует своему собрату для инференса в аппаратной и программной части, включая совместимость с ИИ-фреймворками. Стоит отметить, что производительность NPU-процессоров Kunlun 818-100 и Kunlun 818-300 в 30 раз превышает эффективность первого XPU-решения, реализованного на FPGA-схеме.

Процессор Baidu Kunlun 818-300 является основным компонентом в ИИ-ускорителях Kunlun AI K200 с полнопрофильным форм-фактором, предназначенных для обучения передовых моделей искусственного интеллекта, а также поддерживает интеграцию в облачные, периферийные и автономные транспортные системы. Ускоритель Kunlun AI K200 подключается к процессору через интерфейс PCIe Gen4 x8 и имеет TDP в 160 Вт. Как заявила компания Baidu, китайское решение хоть и не может сравниться со своим главным конкурентом в лице Nvidia T4 в производительности, но значительно превосходит ускоритель Nvidia в энергоэффективности. Поскольку характеристики Kunlun AI K200 ровно в два раза превышают параметры Kunlun AI K100, можно предположить, что в PCIe-карте для обучения искусственного интеллекта используются 2 NPU-процессора XPU-K. Скорее всего, такая аппаратная архитектура стала возможной благодаря использованию метода упаковки процессоров I-Cube от Samsung.

Рассмотрим показатели производительности карты расширений Kunlun AI K200:

• INT8 — 256 TOPS.
• FP16 — 64 TFLOPS.
• FP32 — 16 TFLOPS.

Как и в случае с картами Kunlun AI K100, решения Kunlun AI K200 для обучения ИИ имеют корпус с пассивной системой охлаждения, благодаря чему K200 можно использовать для создания GPU-серверов для центров обработки данных, а объем VRAM в 16 ГБ позволяет значительно масштабировать емкость памяти до значений, достаточных для развертывания больших LLM. Однако, двухслотовый, высокопрофильный форм-фактор ограничивает количество ускорителей Kunlun AI K200 в серверной системе. 

В 2021 году отделившаяся от Baidu компания Kunlunxin представила новую линейку ИИ-ускорителей на базе NPU-чипов второго поколения с обновленной архитектурой XPU-R, в честь которой новые устройства решили обозначить как Kunlun Core R. В поколении R компания Kunlunxin решила не разделять NPU-процессоры на 2 разновидности, оснащая решения для инференса и обучения передовых моделей искусственного интеллекта одним ядром. Однако, в отличие от решений поколения K, линейка Kunlun Core R предложила рынку более широкий ассортимент ИИ-устройств, но сначала стоит подробнее рассказать об обновленных NPU-процессорах Kunlun 2.

Kunlun 2 — NPU-процессоры 2021 года выпуска, которые базируются на архитектуре XPU-R с ядрами, изготовленными по 7-нм техпроцессу. Согласно заявлениям Kunlunxin, обновленные NPU обеспечивают 2-3 кратный прирост производительности в сравнении с решениями на базе Kunlun 818-100 и Kunlun 818-300, обеспечивая вплоть до 768 INT8 TOPS, до 192 TFLOPS в FP16 и до 48 TFLOPS в FP32. Если эти заявления верны, то чипы Kunlun 2 практически не отстают по производительности от решений Nvidia A100, которые обеспечивают 19,5 TFLOPS в формате FP32 и 624/1248 TOPS в формате INT8. Данное утверждение весьма сомнительно, поскольку ИИ-ускорители Nvidia A100 поддерживают режим тензорных вычислений, при котором ИИ-производительность в вышеперечисленных режимах кратно увеличивается и значительно опережает эффективность Kunlun 2. Также стоит отметить, что Kunlun 2 поддерживает интерфейс PCIe 4.0 x16. На базе чипа Kunlun 2 было выпущено 3 решения для обучения и инференса искусственного интеллекта — карты расширений R100, R200 и R300, ИИ-ускоритель RG800 и GPU-сервер Core AI Accelerator Group R480-X8. Поговорим о каждом устройстве по-отдельности:

Kunlun R100 — ИИ-ускоритель от компании Kunlunxin для инференса искусственного интеллекта, впервые представленный на форуме Smart Computing Summit 2022 Smart Core Power. Производительность этой низкопрофильной карты расширений достигает 170 TOPS в режиме INT8, а также поддерживаются режимы вычислений FP16 и FP32, однако Kunlunxin не делится показателями производительности в этих точностях. В отличие от предыдущих решений на базе архитектуры XPU-K, Kunlun R100 использует память формата GDDR6 с пропускной способностью в 384 ГБ/ с, при этом объем памяти не уточняется — предположительно, он равен 16 ГБ. Этот преход со стеков HBM2 на память GDDR6 выглядит весьма странно, поскольку память HBM обеспечивает намного большую эффективность при работе с искусственным интеллектом. Однако, у такого решения может быть несколько причин — либо использование стеков GDDR6 был более экономически выгодным для компании Kunlunxin, либо Samsung прекратили интеграцию HBM памяти в решения Kunlun вследствие антикитайских санкций. Примечательно, что в китайских источниках указано наличие 27 каналов вывода видео в формате Full HD и возможность параллельной обработки до 84 видео в том же разрешении. Это может свидетельствовать о том, что ускорители Kunlun R100 позиционируются как универсальное решение для инференса ИИ и работы с транскодированием видео. Примечательно, что тенденция с интеграцией алгоритмов видеоаналитики в китайских ИИ-ускорителях также проглядывается в решениях Ascend и Atlas от компании Huawei — по всей видимости, в Китае есть очень большой спрос на графические карты с поддержкой транскодирования видео для систем видеонаблюдения. Также известно, что решения Kunlun R100 превосходят по производительности решения Kunlun K100 в 2,3 раза, при этом также предлагая увеличенный показатель энергоэффективности (TDP решения также не уточняется).

Kunlun R200 — еще один ИИ-ускоритель языковых моделей на базе архитектуры XPU-R, который является усовершенствованной версией решения Kunlun R100. В отличие от своего предшественника, Kunlun R200 обеспечивает до 256 TOPS в режиме INT8 и 128 TFLOPS в режиме FP16, а также поддерживает до 32 ГБ видеопамяти формата GDDR6 с пропускной способностью до 512 ГБ/с. Это решение уже позиционируется как карта для инференса и обучения LLM, а также для работы с транскодированием видео, поскольку Kunlun R200 предлагает увеличенный объем VRAM, поддерживает аппаратное кодирование и декодирование видео с многоканальной обработкой, способен выполнять задачи обработки естественного языка, машинного зрения, распознавания речи и традиционного обучения LLM. Поскольку решение Kunlun R200, в отличие от своего предшественника, является двухслотовой PCIe-картой, TDP устройства, предположительно, может превышать 150 Вт, вследствие чего NPU-чип будет работать на больших тактовых частотах, обеспечивая прирост производительности Kunlun R200.

Kunlun R300 — это OAM-модуль с NPU-процессорром Kunlun Core 2, который предназначен для интеграции в UBB-платы Core AI Accelerator Group R480-X8 в количестве 8 штук, которые взаимосвязаны между собой и работают как единая система. Такой же подход используется передовыми ИИ-компаниями, вроде Nvidia, которые реализуют свои модульные решения для высокопроизводительных, ИИ-ориентированных дата-центрах.

Kunlun RG800 — ИИ-ускоритель на базе архитектуры XPU-R, который представляет из себя PCIe-карту расширений, предназначенную для интеграции в ИИ-ориентированные центры обработки данных в целях обучения передовых LLM-моделей. Kunlun RG800 можно использовать для традиционного обучения ИИ, параллельного обучения языковых моделей для высокопроизводительных приложений. 

Данное решение имеет те же характеристики, что и ускоритель R200, поэтому можно предположить, что RG800 является его облегченной модификацией с оптимизированным TDP в 130 Вт. В целом, в ИИ-решениях Kunlunxin прослеживается тенденция сохранения показателя TDP в определенных рамках, поскольку компания в первую очередь стремится не к повышению производительности, а к оптимизации энергопотребления, так как многие ускорители Kunlun применяются во встраиваемых системах.

Core AI Accelerator Group R480-X8 — это специальная UBB-плата, которая поддерживает интеграцию до 8 NPU-процессоров Kunlun Core второго поколения благодаря межчиповому соединению с пропускной способностью до 200 ГБ/с. Процессоры Kunlun Core 2 интегрируются не напрямую, а посредством OAM-модулей. При полной конфигурации, система Core AI Accelerator Group R480-X8 обеспечивает 256 ГБ памяти GDDR6, а производительность решения достигает 1 PFLOPS в режиме FP16. UBB-платы R480-X8 можно использовать для формирования полноценного вычислительного кластера для обучения и инференса больших моделей искусственного интеллекта.

По сути, GPU-сервер Core AI Accelerator Group R480-X8 по своей реализации аналогичен решениям Nvidia HGX, которые также являются модульными GPU-системами и предназначены для использования в вычислительных системах OEM-производителей. Однако, передовые системы Nvidia HGX NVL16 на базе B300, конечно же, значительно превосходят Core AI Accelerator Group R480-X8 по всем параметрам — от объема памяти (2,3 ТБ HBM3e) и пропускной способности (1,8 ТБ на каждый GPU) до ИИ-производительности (105 PFLOPS FP4).

Kunlun P800 — это самое современное решение компании Kunlunxin на базе архитектуры XPU третьего поколения, которое было анонсировано в 2024 году. В отличие от решений предыдущего поколения, для создании ядер XPU 3 применялась новая технология создания транзисторов FinFET в котором вместо традиционного плоского канала используется трехмерный канал в форме плавника, благодаря чему процессор получает меньшее энергопотребление и большую производительность при сохранении компактного корпуса. Поскольку в данный момент высокопрофильные карты расширений Kunlun P800 для обучения ИИ все еще не вышли на массовый рынок, о характеристиках этих решений почти ничего неизвестно, не считая наличия памяти GDDR6. По всей видимости, у ускорителей Kunlun P800 достаточно памяти для локального развертывания языковых моделей DeepSeek R1/V3, поскольку об этом заявляют несколько китайских источников, при этом не уточняется, насколько сильно сжимаются перечисленные нейросети. Также почти нет конкретных данных о производительности Kunlun P800 — известно, что решения поддерживают форматы вычислений FP32, FP16, TF32 и INT8, при этом заявлено о 30 TFLOPS в FP32 и 50 TFLOPS в TF32, а количество генерируемых в секунду токенов достигает 4825 с задержкой менее 50 нс.

В данный момент ускорители искусственного интеллекта Kunlun P800 применяются в вычислительных кластерах компании Baidu — Smart Cloud из 10 000 ускорителей Kunlun P800 и P8 Million из 30 000 решений Kunlun P800. Обе масштабные вычислительные системы применяются для обучения больших языковых моделей DeepSeek R1/V3 или семейства моделей Baidu Ernie. Для интеграции решений Kunlun P800 также применяются UBB-платы Core AI Accelerator Group R480-X8, как и в случае с чипами R200. 

Интересно, что компания Kunlunxin также анонсировала выход серверных стоек Kunlun Core Super Node, которые вмещают в себя до 64 ИИ-ускорителей Kunlun P800, что в совокупности обеспечивает 10-кратное ускорение обучения нейросетей и 13-кратное ускорение инференса. Эти вычислительные системы, по сути, являются полным аналогом систем Nvidia NVL. 

Семейство ИИ-решений Kunlun в очередной раз доказывает, что Китай имеет огромный потенциал в сфере искусственного интеллекта. Эти NPU-чипы, базирующиеся на уникальной архитектуре XPU, и необычные PCIe-карты для инференса и обучения ИИ, фокусирующиеся на достижении наибольшей энергоэффективности, позволяют локально развертывать передовые модели искусственного интеллекта и даже создавать эффективные GPU-кластеры для ввода новых данных в LLM. К тому же, решения Kunlun вполне можно назвать универсальными, ведь они не только поддерживают операции с ИИ, но и позволяют эффективно выполнять задачи транскодирования видео, благодаря чему их можно использовать для создания бюджетных и энергоэффективных серверов видеонаблюдения. Конечно, ускорители Kunlun в первую очередь ориентированы на внутренние сценарии использования компании Baidu, но не исключено, что уже в ближайшее время эти решения также можно будет встретить на массовом, внутреннем рынке КНР. Стоит отметить, что в процессе написания материала про Kunlun, мы не раз натыкались на ИИ-ускорители совершенно других компаний, и их интересные характеристики говорили о том, что на рынке Китая все еще есть масса игроков, о решениях которых определенно стоит рассказать в наших будущих статьях.