Обзор AMD Gaia — новейшая платформа для локального развертывания LLM

Совсем недавно компания AMD выпустила платформу Gaia с открытым исходным кодом, которая позволяет удобно работать с локально установленными языковыми моделями. AMD Gaia, по сути, является аналогом систем наподобие LM Studio, при этом предлагая ряд дополнительных возможностей для увеличения производительности LLM и обеспечения лучшего пользовательского опыта. Команде ServerFlow стало интересно, насколько хороша эта передовая система и какие функции она предлагает, поэтому мы решили установить AMD Gaia и протестировать ее возможности при запуске локальной модели Gemma 3:12b. 

AMD Gaia — это передовое приложение, аналогичное платформам LM Studio и RTXChat. С помощью AMD Gaia пользователи ПК с операционной системой Windows могут запускать локальные большие языковые модели и настраивать их для выполнения определенного спектра задач. Для обеспечения высокой производительности моделей ИИ, AMD Gaia оптимизирована для работы с центральными процессорами AMD Ryzen AI, которые имеют интегрированный нейронный модуль NPU и встроенный GPU. За счет такой интеграции, кратно увеличивается скорость обработки запросов и релевантность ответов искусственного интеллекта. При этом, AMD Gaia можно устанавливать в системы, в которые не интегрированы чипы AMD Ryzen AI, однако, в таком случае AMD Gaia не будет обеспечивать улучшенную производительность. 

Запуск LLM через AMD Gaia обеспечивается системой Lemonade (LLM-Aid) SDK с открытым исходным кодом от ONNX TurnkeyML. Lemonade SDK является является инструментом для создания промптов, оценки точности ответов, взаимодействия с внешними платформами (Hugging Face, Ollama, ONNX Runtime GenAI API) и запуска LLM на аппаратном обеспечении (CPU, iGPU, NPU). Также Lemonade предоставляет веб-сервис LLM, который через OpenAI-совместимую платформу REST API взаимодействует с AMD Gaia. Сама система Gaia состоит из трех основных компонентов:

• LLM Connector — связывает веб-API NPU с конвейером RAG на основе LlamaIndex;
• LlamaIndex RAG Pipeline — включает механизм обработки запросов и векторную память для хранения внешней информации;
• Agent Web Server — соединяет GAIA UI через WebSocket для взаимодействия с пользователем.

По сути, система AMD Gaia работает как ИИ-агент, который использует внешние платформы (GitHub, YouTube, текстовые файлы и другой контент) и сохраняет его в локальном векторном индексе. Это работает следующим образом при получении пользовательского запроса:

1. Запрос преобразуется в векторное представление.
2. Вектор используется для поиска релевантного контекста в индексе.
3. Контекст встраивается в промпт LLM через веб-сервис.
4. Ответ LLM передается обратно в UI в реальном времени.

Другими словами AMD Gaia оптимизирует пользовательские запросы и только после этого отправляет их LLM для обработки и последующей генерации ответа, при этом, все эти действия происходят мгновенно.

Все модели можно удобно настраивать для тех или иных сценариев использования, в частности, ответов на вопросы, комплексные задачи и т.д. Одна из ключевых особенностей AMD Gaia — конвейер агентов Retrieval-Augmented Generation (RAG), который объединяет LLM с базами данных. Благодаря этому инструменту, модели искусственного интеллекта извлекают из баз знаний релевантную информацию, анализировать запросы, планировать ответы, а также использовать внешние инструменты в интерактивном чате с пользователем. В результате использования RAG ответы становятся более точными и контекстуально осознанными. ИИ-агенты, которые в данный момент поддерживаются приложением AMD Gaia, включают следующие функции:

• Simple Prompt Completion (No Agent): Чат для тестирования LLM в прямом взаимодействии с ИИ без подключения агента;
• Chaty: Агент с улучшенным запоминанием истории чата и контекста для нативного диалога с пользователем;
• Clip: Агент RAG для поиска информации YouTube и ответов на пользовательские вопросы;
• Joker: Агент для генерации юмористических ответов.

Дополнительные ИИ-агенты уже находятся в разработке, а благодаря открытому исходному коду приложения, пользователи сами могут интегрировать новые, собственные инструменты в платформу AMD Gaia.

Для развертывания локальных LLM через платформы AMD Gaia, мы развернули компактную вычислительную систему на базе графического ускорителя AMD Radeon VII с объемом VRAM в 16 ГБ формата HBM2. Несмотря на то, что AMD Radeon VII вышла в 2019 года, она все еще предлагает достаточный объем видеопамяти для развертывания современных моделей LLM.

Делимся характеристиками видеокарты AMD Radeon VII:

• Графический процессор — Vega 20;
• Объем видеопамяти — 16GB HBM2;
• Пропускная способность VRAM — 1,02 ТБ/с;
• Количество ядер — 3840;
• Количество тензорных ядер — 240;
• Интерфейс подключения — PCIe 3.0 x16;
• TDP ускорителя — 295W.

Ускоритель AMD Radeon VII поддерживает ряд режимов вычислений для работы с языковыми моделями:

• FP64 — 3.360 TFLOPS;
• FP32 — 13.44 TFLOPS;
• FP16 — 26.88 TFLOPS;
• INT8 — 55,3 TOPS;
• INT4 — 110,7 TOPS.

Чтобы более точно описать вычислительную систему, стоит также рассказать о CPU. Мы использовали серверный центральный процессор AMD EPYC 7532 с 32 ядрами и 64 потоками на архитектуре Zen 2, тактовой частотой до 3.3 ГГц и TDP в 200 Вт. Мы не раз использовали этот чип в наших статьях о тестировании модели QwQ, Gemma 3 и AMD Chat.

Характеристики серверного процессора AMD EPYC 7532 в приложении CPU-Z.

Чтобы скачать платформу AMD Gaia, необходимо использовать один из двух установщиков, доступных на GitHub:

• Gaia Hybrid Installer: Установщик для запуска гибридной платформы AMD Gaia с поддержкой для ПК с процессором Ryzen AI (NPU и iGPU). Для запуска необходим CPU AMD Ryzen AI 300.
• Gaia Installer: Установщик для запуска AMD Gaia на стандартных ПК без процессоров AMD Ryzen AI 300. Серверная часть обеспечивается интеграцией с фреймворком Ollama.

Поскольку в нашей системе используется чип AMD EPYC 7532, для запуска AMD Gaia мы будем скачивать стандартный установщик Gaia Installer.

Оба установщика включают в себя графический интерфейс, инструмент для командной строки Gaia UI, отслеживающий все действия с AMD Gaia и инструмент Gaia CLI для управления платформой через команды.

Инструмент AMD Gaia UI позволяет отслеживать все операции, выполняемые платформой Gaia, а также запускает графический интерфейс приложения.

Важно отметить, что при скачивании AMD Gaia, установщик также скачивает на ваше устройство дистрибутив Miniconda, включающий в себя менеджер пакетов Conda, Python, а также ряд дополнительных библиотек для работы с Python, вроде pip и zlib.

Теперь, когда платформа AMD Gaia полностью установлена на наше устройство, можно приступать к обзору возможностей и оценке эффективности этого передового приложения. В первую очередь, стоит рассказать об интерфейсе программы.

У приложения есть удобный интерфейс с полем для ввода пользовательских запросов. Также в есть кнопки для остановки генерации ответа и перезапуска чата. Помимо этого, выше поля для написания промпта, есть 3 панели — выбор инструмента, выбор модели и выбор метода квантизации. 

Выбор модели позволяет поменять используемую в данный момент LLM. В данный момент AMD Gaia поддерживает следующие большие языковые модели:

• Llama* 3.2 — 1b, 3b, 8b;
• DeepSeek R1 — 1,5b, 7b, 14b, 32b.

Также на сайте AMD указано, что Gaia также поддерживает модели из серии Phi, однако, после скачивания нейросети Phi 4:14b, она не стала отображаться в панели выборе LLM AMD Gaia.

При выборе модели, вам необходимо скачать ее на ваше устройство. Это происходит автоматически при выборе нейросети, установка осуществляется через подключение к фреймворку Ollama.

Мы решили скачать нейросеть DeepSeek R1:14b, так как она имеет 14 миллиардов параметров и требует для развертывания наибольшее количество VRAM (9 ГБ) среди доступных в AMD Gaia моделей. Также выбрали единственный доступный режим квантизации — Q4_K_M. Вот более подробное описание нейросети DeepSeek R1:14b:

В окне с выбором инструментов вы можете переключаться между ИИ-агентами, которые в данный момент доступны в AMD Gaia. В нашем обзоре мы протестируем каждый из этих инструментов.

Последнее окно AMD Gaia позволяет выбрать режим квантизации используемой LLM. При этом, в данный момент все доступные в программе нейросети поддерживают только 1 режим квантизации.

После скачивания модели DeepSeek R1:14b и подлючению к серверу Ollama, мы решили протестировать режим “No Agent”, который, по сути, отключает оптимизацию промпта через AMD Gaia. 

Тестируя работоспособность интерфейса для ввода запроса, мы заметили несколько интересных деталей. Во-первых, в AMD Gaia к ответу модели прилагается индикатор токенов ввода и вывода, а также скорость генерации токенов. В графических интерфейсах других платформ, вроде Ollama UI и LM Studio, такой функции не предусмотрено, что выгодно выделяет AMD Gaia. Касательно ответа самой LLM — DeepSeek R1:14b добавил к своему ответу характерные для китайских нейросетей иероглифы, перепутав языки, что связано, скорее всего, с малым количеством параметров.

Со стороны пользовательского опыта, стоит отметить, что логотип AMD Ryzen AI занимает большую часть интерфейса, из-за чего генерируемые ответы не отображаются полностью и работать с ИИ весьма неудобно. В остальном, AMD Gaia мало чем отличается от графических интерфейсов аналогичных платформ.

Начнем оценивать производительность модели DeepSeek R1:14b. В первую очередь, попросим нейросеть написать уникальный текст на тему “Перспективы развития больших языковых моделей”.

Начало текста по теме “Перспективы развития больших языковых моделей”, сгенерированное нейросетью DeepSeek R1:14b. 

Изначально нейросеть начала генерировать текст на русском языке, при этом добавляя китайские иероглифы.

Оставшуюся часть материала DeepSeek R1 написала на английском языке и также интегрировала в текст слова на китайском языке. Попробуем оптимизировать промпт для улучшения качества ответа:

Нейросеть добавила заголовки, но продолжила генерировать текст на английском языке, при этом в тексте по-прежнему имеются вставки с китайскими иероглифами. Но самый главный недостаток — текст написан не о перспективах развития языковых моделей, а о влиянии технологий на современную жизнь. Модель произвольно поменяла тему текста, при этом не учитывая требования о языке написанного текста. 

Проверять этот текст на уникальность не имеет смысла из-за большого количества интегрированных китайских иероглифов. Тем не менее, такая низкая производительность DeepSeek R1:14b обуславливается малым количеством параметров. По той же причине не имеет смысла тестировать модель в математических вычислениях и кодинге, так как результат вряд ли будет удовлетворительным и не зависит от платформы AMD Gaia, так как модель запущена в режиме “без агента”.

Перейдем к тестированию следующей функции — Chaty. Этот агент лучше запоминает историю запросов и понимает контекст. Chaty в первую очередь предназначен для нативного диалога, однако, мы опробуем этот инструмент и в более сложных задачах, так как улучшенное понимание контекста может отразиться на производительности ИИ. Мы попросили нейросеть DeepSeek R1:14b рассказать о ее возможностях, чтобы начать диалог более нативно. 

Модель начала размышление на русском языке, в то время как в режиме “бег агента” ИИ размышлял только на английский.

Однако, конечный ответ нейросеть все-таки предоставила на английском языке. 

Попробуем дать объяснить нейросети, что ответы должны быть только на русском языке, после чего задать вопрос о возможностях снова. 

Теперь попросим модель сгенерировать короткую повесть, по сюжету которой герою нужно написать HTML-код калькулятора. Так мы сможем оценить, как модель справляется с задачами программирования в режиме Chaty, при этом протестировав творческие способности нейросети.

В размышлениях и тексте модели DeepSeek R1:14b в режиме Chaty снова появляются иероглифы, а также фразы на английском языке.

Также в ответе модель проиллюстрировала то, как будет выглядеть HTML-код при использовании. Однако, нейросеть не показала сам программный код. При оптимизации промпта модель предоставила нам программный код.

Однако, после запуска в эмуляторе он оказался недоработанным — создавался интерактивный интерфейс, но основные функции калькулятора не были добавлены.

Повторная оптимизация промпта не дала результатов и ИИ создал полностью нерабочий код. Чтобы проверить функцию запоминания истории запросов, попросим нейросеть рассказать, какую какой запрос мы вводили в начале диалога. 

Теперь переходим к оценке агента “Clip”, который работает как функция “Search”, но через YouTube. 

AMD Gaia требует ввода API ключа YouTube. Поскольку для генерации API ключа необходимо иметь аккаунт Google Developer, мы не можем протестировать эту функцию. Пропустим тестирование агента “Clip” и перейдем к описанию агента “Joker”, особенностью которого является генерация юмористических ответов и понимание шуток. 

Однако, этот агент также не удалось запустить. Мы неоднократно перезагружали AMD Gaia, перезапускали загрузку “Joker” и предпринимали другие попытки начать работу с этим агентом, но нам так и не удалось ввести первый запрос.

В поисках решения, мы открыли консоль действий AMD Gaia UI, которая лишь указала на продолжающуюся загрузку агента. 

Несмотря на то, что в данный момент в AMD Gaia представлены не самые производительные нейросети, платформа все равно вполне заслуживает внимания, так как она предлагает ряд функций, недоступных в других приложениях для запуска LLM. Конечно же, главным преимуществом AMD Gaia является возможность увеличения производительности при использовании CPU Ryzen AI 300, но даже без интеграции этих процессоров новейшей LLM-платформой можно успешно пользоваться для развертывания локальных нейросетей. Возможность выбора разных агентов, поддержка интеграции пользовательских агентов, отображение количества токенов и другие особенности делают AMD Gaia перспективной платформой, которая в будущем имеет все шансы стать самым популярным приложением для работы LLM. При этом, у AMD Gaia есть и серьезные минусы, в частности, неработоспособность агента “Joker” и логотип Ryzen AI, перекрывающий большую часть чата, но важно учесть, что инструмент вышел совсем недавно и его будут активно дорабатывать. 

*LLAMA — проект Meta Platforms Inc.**, деятельность которой в России признана экстремистской и запрещена

**Деятельность Meta Platforms Inc. в России признана экстремистской и запрещена