Alibaba создаст собственный ИИ-ускоритель для инференса LLM

Пока правительство КНР продолжает блокировать поставки ИИ-ускорителей Nvidia из-за опасений возможности удаленного отключения чипов H20, компания Alibaba начала активно вести разработку собственных специализированных решений нового поколения для инференса искусственного интеллекта.

Подразделение T-Head компании Alibaba уже несколько лет ведет разработки в области ИИ-ускорителей. Еще в 2019 году был представлен чип Hanguang 800, однако в отличие от современных решений Nvidia и AMD, китайское решение было оптимизировано для работы классическими моделями машинного обучения (таких как ResNet), а не для современных больших языковых моделей. Новое решение обещает обеспечить поддержку более широкого спектра рабочих нагрузок, хотя для обучения моделей Alibaba, вероятно, продолжит использовать решения Nvidia, а собственное устройство будет задействовано исключительно для инференса.

В отличие от ускорителей Huawei Ascend, которые внедряют собственную программно-аппаратную среду, разработка Alibaba сохраняет совместимость с программной экосистемой Nvidia, что позволяет использовать существующий код ИИ-моделей с минимальными доработками. При этом для выполнения логического вывода не требуется прямое использование инструментов CUDA — вместо этого предполагается работа с высокоуровневыми фреймворками, такими как PyTorch или TensorFlow. Производство чипов будет осуществляться на территории Китая в связи с действующими американскими санкциями, запрещающими фабрикам TSMC производить процессоры для компаний из КНР. Хотя конкретный производитель не назван, наиболее вероятным партнером Alibaba выглядит крупнейший китайский чипмейкер SMIC. Дополнительной сложностью реализации новых ИИ-решений является ограничение на поставки высокоскоростной памяти HBM2e и новее — это вынуждает Alibaba использовать либо более медленную память GDDR или LPDDR, либо заранее накопленные запасы HBM до появления конкурентоспособных отечественных аналогов.

Новости о новой разработки Alibaba совпали с призывами китайского правительства избегать использования ускорителей Nvidia H20 по соображениям безопасности. При том что Nvidia вновь получила разрешение на поставки H20 в Китай, компания отвергает все обвинения о внедрении средств удаленного отключения ИИ-ускорителей или средств слежения. Параллельно с этим Nvidia ведет работы над специальной версией ускорителя Blackwell B30A для китайского рынка, однако в текущем квартале компания не ожидает значительных доходов от дебюта этих решений из-за сложностей с возобновлением поставок и применением экспортных пошлин.

Китайские технологические компании, работающие в секторе ИИ, активно ищут альтернативы ускорителям Nvidia и AMD. Например, DeepSeek переводит свои модели на новые отечественные чипы от Huawei, однако из-за этого релиз DeepSeek R2 затягивается. В то же время, китайский стартап Enflame при поддержке местного IT-гиганта Tencent разрабатывает ускоритель L600 с 144 ГБ памяти и поддержкой вычислений в формате FP8, MetaX анонсировала модель C600 с передовой памятью HBM3e, а Cambricon Technologies работает над ускорителем Siyuan 690, который должен превзойти производительность Nvidia H100. Из этого становится очевидно, что рынок ИИ-ускорителей КНР уже в ближайшее время будет переполнен конкурентоспособными решениями, вследствие чего даже новые чипы B30A от Nvidia могут так и не найти своего покупателя.