Инференс Qwen3.5 на AMD Halo Box — руководство от AMD

Совсем недавно AMD анонсировала Halo Box — новейший ИИ-ПК на базе Ryzen AI Max+ 395, а если точнее, то прямой ответ на доминацию Nvidia DGX Spark на рынке домашних инференс-систем. Конечно, это далеко не первое решение на базе топового APU от AMD, но если ранее ассортимент был представлен в основном китайскими поставщиками Minisforum или Beelink, то теперь красные единолично выходят на сцену, чтобы не дать Хуангу полностью приватизировать этот рынок. В честь такого знакового события, AMD решила выпустить подробный гайд по инференсу локальных LLM семейства Qwen3.5 на ИИ-ПК с чипами Ryzen AI Max+ 395, который мы сегодня не менее подробно разберем по полочкам.

Разбор гайда не был бы полноценным без анализа начинки AMD Halo Box, но сильно распинаться об этом мы не этом не будем — в нашем блоге мы уже ни раз подробно рассказывали о характеристиках этого передового APU-чипа Ryzen AI Max+ 395, который и определяет все ключевые параметры AMD Halo Box, не считая ввода-вывода. Вместо этого, мы напрямую сравним характеристики AMD Halo Box с его главным конкурентом в лице Nvidia DGX Spark:

Как мы видим, ситуация весьма неоднозначная. По аппаратным характеристикам оба ИИ-ПК идут более менее ровно, но в ИИ-производительности дело принимает совершенно иной оборот. Дело в том, что нативным форматом вычислений Nvidia DGX Spark является FP4, и благодаря Blackwell-оптимизациям компактный ИИ-бокс обеспечивает производительность в колоссальные для такого устройства 1000 TOPS, но только со структурной разряженностью — на самом деле, реальная производительность DGX Spark достигает 500 TOPS, но и такой уровень весьма неплох.

Также аппаратная поддержка FP4 открывает доступ к использованию мощных движков инфернса, вроде vLLM или внутренних систем Nvidia. В INT8 ситуация не такая радужная, но производительность в 250 TOPS без структурной разряженности тоже смотрится весьма неплохо. У AMD Halo Box поддержки режима FP4 нет, поэтому запускать нейронки придется только в INT8, где ИИ-ПК обеспечивает умеренную производительность в 126 TOPS, которая складывается из NPU с 50 TOPS, GPU с 66 TOPS и CPU с 10 TOPS. Ввиду этого, работать с ИИ придется через движок инференса llama.cpp или его производные, вроде LM Studio или, как в случае с этим гайдом, Ollama, сжимая веса LLM и запуская активации в FP16.

Интересный факт: В отличие от GB10, где Nvidia просто по отработанной схеме слепила CPU Grace и GPU Blackwell, архитектура AMD Ryzen AI Max+ PRO 395 более сложна и включает сразу 3 компонента, что может негативно сказываться на общей эффективности чипа, но отражает ставку AMD на свои APU-технологии, но это просто лирическое отступление.

AMD делает большой акцент на том, что чип AMD Ryzen AI Max+ PRO 395 поддерживает 128 ГБ унифицированной памяти LPDDR5X, и это очень важный момент, ведь именно благодаря ей инференс нейросетей на AMD Halo Box вообще возможен в принципе. 

Концепция унифицированной памяти предполагает, что все вычислительные компоненты (CPU+GPU+NPU) имеют общий доступ к пулу оперативной памяти в 128 ГБ. Вместо того, чтобы загружать веса модели отдельно в небольшой объем графической памяти GPU, как это происходит в дискретных видеокарта, в Halo Box нейронка обрабатывается в большом пуле из 128 ГБ быстрой оперативки LPDDR5X, благодаря чему на компактном ИИ-ПК можно запускать даже крупные 100b-модели, над инференсом которой будет трудиться и GPU, и CPU, и NPU одновременно. Вы также можете настроить через BIOS объем унифицированной памяти, выделяемый непосредственно для GPU (до 64 ГБ), чтобы гибко распределять ресурсы системы между компонентами в зависимости от текущих задач.

У прожженных ИИ-энтузиастов уже успел сложиться стереотип, что инференс через AMD ROCm — это сплошные мучения. На CUDA все всегда было просто — на стэке Nvidia работало буквально все, от нейронок до движков и инструментов оптимизации, без каких-либо заморочек и долгих ручных настроек. У AMD все было куда хуже — ROCm ассоциировался с постоянными багами, ошибками, небольшим ассортиментом функций, да и поддержка нейронок оставляла желать лучшего. Так было два года назад, но сейчас все изменилось — ROCm окреп и стал действительно достойным противником CUDA, проблем стало в разы меньше, и в целом ПО-стэк красных уже фактически стал Plug-n-Play решением. Эта же тенденция сохраняется и на AMD Halo Box — некоторые нюансы с ROCm, конечно, остались, но в сравнении с былыми временами, это небо и земля, так что не переживайте — при настройке актуальной версии ROCm 7.2.1 под инференс моделей Qwen3.5 волосы у вас точно не поседеют.

В рамках руководства AMD компания предлагает выполнять инференс через движок Ollama версии 0.20.x, который считается самым простым в развертывании и эксплуатации локальных моделей. Очевидно, что на AMD Halo Box можно накатить и другие движки инференса, но поскольку все ИИ-ПК ориентированы в первую очередь на начинающих ИИ-энтузиастов и массового пользователя, которые не хотят заморачиваться с командной строкой и предпочитают работать в приятном веб-интерфейса, AMD сразу предлагает начать работу в Ollama. Конечно, это может оттолкнуть юзеров, желающих получить от логического вывода максимальную гибкость, но им ничего не мешает накатить голую llama.cpp или тот же SGLang, поэтому ИИ-бокс AMD Halo придется по вкусу абсолютно всем, особенно с учетом более демократичного прайса, чем у DGX Spark.

Так вот, для начала нужно накатить на систему Ollama. AMD рекомендует выполнять установку на ОС Ubuntu 24.04 LTS — это не самая актуальная версия дистрибутива Linux, однако она наиболее стабильна, поэтому большинство инференс-станций работают именно на ней. Ничто не мешает вам поставить Ubuntu 26.04 LTS, но если начнутся баги — пеняйте на себя. Как только вы убедились, что система готова, введите команду curl -fsSL https://ollama.com/install.sh | sh.

Убедитесь, что загрузка прошла успешно, после чего можно приступать к установке моделей. В рамках гайда AMD будет тестироваться инференс моделей Qwen3.5 со стандартным квантованием Q4_K_M: 9b, 35b и 122b версии. Для их установки введите команды:

• ollama pull qwen3.5:9b
• ollama pull qwen3.5:35b
• ollama pull qwen3.5:122b

Как вы уже знаете, на рынок вышли более актуальные модели Qwen 3.6 от Alibaba, однако среди них отсутствуют решения свыше 100 миллиардов параметров и компактные решения менее 10 миллиардов параметров. Именно поэтому AMD остановила свой выбор на предыдущем поколении LLM, чтобы показать эффективность Halo Box в разных весовых категориях нейронок. Тем не менее, ничто не мешает вам накатить на Halo Box более актуальные ИИ-модели — в своей недавней статье AMD уже приводила данные со скоростью 68 токенов/с при инференсе Qwen 3.6-35B на AMD Ryzen AI Max+ PRO 395.

После установки нейросетей, запустите их командами:

• ollama run qwen3.5:9b
• ollama run qwen3.5:35b
• ollama run qwen3.5:122b

Само собой, запускать модели одновременно не нужно — выберите нейросеть, которую хотите использовать, и выполните команду run. Чтобы убедиться, что модели запущены на GPU, выполните команду ollama ps. После ввода должна отобразиться запущенная модель и загрузка графического процессора на 100%. Также AMD рекомендует отслеживать использование памяти графическим и центральным процессором в процессе инференса с помощью команды rocm-smi.

А теперь давайте ознакомимся с результатами инференса этих трех моделей на Halo Box, которые приводит компания AMD:

AMD уделяет особое внимание инференсу большой модели Qwen3.5 122B-A10B, отмечая, что даже не при максимальной загрузке графического процессора (61% производительности от GPU и 39% от CPU т.к. модель не помещается в выделенную память), Halo Box все же смог запустить крупную LLM, хоть и с весьма незаурядной скоростью в 8,59 Токенов/с, при использовании MoE-активаций и, по всей видимости, настройки контекстного окна, параметры которой AMD не раскрывает. Но если не брать в расчет сам факт того, что модель “просто запустилась”, то эффективность инференса больших LLM на Halo Box никуда не годится — APU-чип буквально не вывозит столь крупные нейронки в поддерживаемых режимах вычислений. С этим разобрались, но как дела обстоят у DGX Spark? Давайте сравним результаты инференса тех же нейронок на обоих ИИ-боксах:

Само собой, инференс Nvidia DGX Spark выполнялся в режиме NVFP4, что и обеспечило превосходство в скорости генерации токенов над AMD Halo Box даже в развертывании крупной модели Qwen3.5 122B-A10B. Кроме того, более простая архитектура чипа GB10 позволяет ему более эффективно расходовать системные ресурсы и управлять памятью, поэтому отрыв в токенах весьма велик. Тем не менее, моделей с поддержкой NVFP4 не так много, а на решениях AMD можно запускать фактически любые нейросети, которые помещаются в 128 ГБ VRAM, при этом стоимость ИИ-бокса красных на $700 дешевле, чем у аналогичного решения зеленых.

Подводя итоги, можно уверенно сказать, что AMD Halo Box — это вполне себе неплохой ИИ-ПК, который может составить достойную конкуренцию Nvidia DGX Spark, причем, не только по цене, но и по производительности. Да, запуск больших LLM 100+ миллиардов параметров не может похвастаться скоростью, зато на инференсе MoE-нейронок с 35b параметрами или легких плотных нейросетей с 9b параметрами решение показывает достойную для своего класса производительность. Добавьте к этому то, что AMD довела до ума свой ПО-стэк ROCm, и у вас получится практически идеальное Plug-n-Play с легким запуском движком и нативным процессом развертывания локальных LLM. AMD Halo Box отлично подойдет для систем локального агентного инференса или даже агентных роев — вы можете спокойно запускать сразу несколько легких нейронок до 9b (в идеале с MoE), подключить их hermes-системе по типу OpenClaw и позволить нейронкам автоматизировать ваши рутинные задачи. Да, сейчас перекос по ИИ-эффективности все-таки склоняется в сторону Nvidia, но это ненадолго, ведь компания AMD уже анонсировала новое поколение APU-чипов AMD Ryzen AI Max+ PRO 400 Gorgon Halo, которые обеспечат поддержку до 192 ГБ унифицированной памяти LPDDR5X-8533 с возможностью выделения 160 ГБ для GPU, что обеспечит кратный прирост производительности следующего поколения ИИ-ПК. А с учетом того, что у Nvidia пока что нет аналогичного по характеристикам решения в том же сегменте рынка, в будущем у AMD будут все шансы стать лидером в сегменте компактных инференс-станций.