Тестируем AMD Chat и ИИ-возможности видеокарты AMD Radeon RX 9070 XT

Совсем недавно в руки команды ServerFlow попала новейшая видеокарта AMD Radeon RX 9070 XT в исполнении от Sapphire. Мы не могли упустить возможность протестировать производительность этого графического ускорителя, оценить его возможности в области инференса ИИ и проверить функционал нейросети AMD Chat, встроенной в драйвера новой видеокарты.

Radeon RX 9070 XT — это видеокарта компании AMD последнего поколения, базирующаяся на новейшей графической архитектуре RDNA 4. Ускоритель RX 9070 XT является старшей моделью в представленной серии видеокарт среднего уровня и предлагает 16 ГБ VRAM в формате GDDR6 с частотой до 2,97 ГГц. Как заявляет компания AMD, производительность видеокарты RX 9070 XT находится на весьма высоком уровне:

• FP64 (двойная точность) — 1,5 TFLOPS;
• FP32 (одинарная точность) — 48,7 TFLOPS;
• FP16 (половинная точность) — 97,3 TFLOPS;
• INT8 — (8-битные целочисленные вычисления) 779 TOPS;
• INT4 — (4-битные целочисленные вычисления) 1557 TOPS.

Для сравнения, напомним, что у видеокарты Nvidia RTX 5080 производительность в режимах FP16 и FP32 составляет 56,2 TFLOPS. С учетом такой весьма ощутимой разницы, видеокарты RX 9070 XT должна гораздо лучше справляться с ИИ-задачами, чем ее конкурент в лице RTX 5080. Отметим, что рекомендованная стоимость решений RTX 5080 равна $999, тогда как RX 9070 XT, относящиеся к среднему сегменту рынка, имеют рекомендуемую стоимость равную $599.

Кроме того, в игровой производительности решение от AMD также не уступает более дорогостоящей видеокарте от Nvidia — подробнее о показателях гейминг-бенчмарков графического ускорителя RX 9070 XT мы рассказали в этой статье.

Теперь поделимся подробным перечнем характеристик видеокарты Radeon RX 9070 XT.

Для полного описания системы, которая использовалась для тестирования RX 9070 XT, мы решили также описать центральный процессор. В нашей системе используется серверный CPU AMD EPYC 7532, который вы уже ни раз могли увидеть в наших тестах популярный моделей LLM. EPYC 7532 имеет 32 ядра и 64 потока, тактовую частоту до 3.3 ГГц и TDP в 200 Вт. Этот CPU по праву считается одним из самых лучших процессоров для интеграции в системы, использующиеся для развертывания локальных языковых моделей, что обуславливается его его высокой производительностью за счет высокой частоты и большого количества ядер.

После сборки системы, мы приступили к установке всех необходимых программ и драйверов. В первую очередь, мы установили ПО AMD Software: Adrenalin Edition с версией драйверов 25.3.2 для ОС Windows 10-11. С помощью этого программного обеспечения, мы сможем протестировать передовую функцию новых видеокарт RX 9000 — встроенного ИИ-помощника AMD Chat. 

Изначально мы планировали установить AMD Software: Adrenalin Edition на специализированную операционную систему Windows Server 2022, но в процессе интеграции оказалось, что стандартная версия RX 9070 XT не поддерживает установку Windows Server совместно с AMD Software — эту операционную систему можно использовать совместно с драйверами Adrenalin Edition только при наличии PRO версии видеокарт поколения AMD RX 9000. При этом, видеокарты RX 9000 PRO пока что не вышли и даже не были анонсированы компанией AMD. Это весьма весомый минус, на фоне которого графические ускорители RTX 5080 выгодно выделяются, так как любые версии драйверов этих видеокарт можно устанавливать вместе с серверными ОС, такими как Windows Server. 

Теперь необходимо установить AMD Chat — полезный ИИ-помощник весом 25 ГБ, с помощью которого можно можно удобно и быстро отслеживать информацию о компонентах вашей системы, версиях драйверов, установленном ПО и получать данные о продукции компании AMD. AMD Chat базируется на большой языковой модели Stable Diffusion, работа которой обеспечивается программным стеком ROCm и DirectML, благодаря чему нейросеть можно использовать для генерации изображений. 

Пока идет установка AMD Chat, мы решили подробно изучить возможности программного комплекса AMD Software: Adrenalin Edition. 

На первой вкладке программы можно увидеть версию драйверов, панели активации различных функций, настройка захвата экрана, установленные игровые тайтлы и мини-интерфейс для работы с AMD Chat. По сути, это универсальная вкладка для быстрого взаимодействия со всеми функциями AMD Software: Adrenalin Edition.

Во вкладке “Smart Technology” можно настраивать ИИ-функции CPU и графического ускорителя, например, скрывать конфиденциальные данные во время прямой трансляции, включать умное шумоподавление и автоматически сжимать видеозапись.

Интегрированная нейросеть AMD Chat уже установлена и теперь мы можем приступить к тестированию возможностей нового чат-бота.

Интерфейс нейросети AMD Chat.

Для начала спросим саму нейросеть о ее возможностях.

Давайте зададим чат-боту вопрос о видеокартах AMD RX 9000.

Генерация ответа заняла около 7 секунд.

Нейросеть предоставила краткий, информативный ответ, описав ключевые возможности и основные характеристики нового поколения RX 9000. Также чат-бот предоставил ссылки на источники, откуда он черпал информацию для генерации ответа. 

Попросим бота написать более развернутый ответ с характеристиками видеокарт RX 9000, намеренно не уточнив конкретные модели графических ускорителей, чтобы оценить возможности понимания контекста запроса.

AMD Chat повторил свой ответ, продублировав его несколько раз в одном текстовом блоке, генерация заняла примерно 10 секунд. Весьма странный результат, попробуем расписать промпт более конкретно. 

Результат разочаровал — несмотря на смену промпта, ответ нейросети не изменился. Возможно, чат-бот плохо обрабатывает синтаксис русского языка. Попробуем сделать запрос на английском языке. 

Это действительно помогло, AMD Chat коротко, но информативно рассказал о характеристиках видеокарт RX Radeon 9070 и 9070 XT на английском языке, указав ссылки на источники и структурировав информацию маркерным списком.

Теперь попробуем узнать информацию о версии операционной системы, используя AMD Chat.

Ответ занял меньше 1 секунды, чат-бот предоставил верную информацию о версии ОС. 

Теперь попробуем спросить у LLM несколько более глубоких вопросов касательно состояния системы — “Какие процессы потребляют больше всего ресурсов CPU/памяти прямо сейчас?”. Смотрим ответ нейросети:

Ответ не совсем релевантен, нейросеть описала текущую нагрузку на CPU и потребление оперативной памяти, однако, не описала конкретные процессы, потребляющие системные ресурсы.

Зададим иной вопрос — “Какой тип процессора (архитектура) используется в моей системе?”

Искусственный интеллект взял информацию об используемом процессоре из документации чипа EPYC Embedded 7534 на архитектуре Zen3, что не имеет ничего общего с серверным процессором EPYC 7532 на базе архитектуры Zen2, который был интегрирован в нашу систему.

Теперь переходим к тесту возможностей генерации изображений с помощью чат-бота AMD. Чтобы не искать информацию касательно активации этой функции в сети, мы решили задать этот вопрос напрямую AMD Chat. Интересно, что нейросеть определила контекст запроса и автоматически перешла в режим генерации изображений:

Просим модель сгенерировать фотографию серверного процессора от AMD. Генерация изображения заняла около 3 секунд, делимся результатом:

Вполне неплохо, изображение действительно напоминает серверный CPU, однако, искусственный интеллект не передал логотип компании AMD, лишь несколько раз продублировав название компании. Также надпись “server” была сгенерирована с артефактами. Тем не менее, результат удовлетворителен.

Следующий запрос: Создай фотореалистичное изображение совы в ночном лесу. Перья должны быть детализированы, глаза — с бликами, на заднем плане — туман и лунный свет.

Снова вполне удовлетворительный результат — блики в глазах совы не были добавлены, однако, перья птицы получились очень детализированными, а лунный свет и туман хорошо переданы. На изображении практически нет артефактов. Генерация заняла около 8 секунд.

Следующая задача — генерация текста. Промпт “Создай логотип для онлайн-магазина серверного оборудования под названием “ServerFlow”. Включи в дизайн процессор, буквы должны быть написаны на английском языке. Стиль — минимализм, цвета — синий и белый”. Результат:

Несмотря на то, что нейросеть не использовала название “ServerFlow”, указанное в проекте, стоит отметить, что на изображении практически нет артефактов, а генерация заняла около 10 секунд.

Теперь опробуем возможности нейросети в области передачи физики воды и лучей. Мы использовали следующий запрос: “Сгенерируй собаку, которая плавает в бассейне, ракурс должен быть близкий, на фоне - закат с яркими, желтоватыми лучами солнца”.

Генерация заняла около 8 секунд, изображение получилось очень четким, у нейросети отлично получилось передать физику воды и солнечных лучей. С учетом получившихся результатов, можно сделать вывод, что AMD Chat можно успешно использовать для генерации изображений разных форматов и стилей, включая как фотореалистичные картинки, так и коммерческие логотипы. 

Чтобы более точно оценить ИИ-возможности RX 9070 XT, мы решили протестировать видеокарту в задачах локального развертывания больших языковых моделей. Поскольку нам пришлось переходить на систему Windows 10 для скачивания необходимых драйверов, для развертывания мы заново установили фреймворк Ollama, графический интерфейс Ollama-UI, а также скачали языковую модель Gemma 2:27b. Выбор пал именно на эту языковую модель, поскольку для ее развертывания потребуется 16 ГБ видеопамяти, то есть объем VRAM RX 9070 XT будет полностью загружен установленной LLM. Ввиду этого мы сможем лучше оценить высокую ИИ-производительность используемого GPU в условиях ограниченного объема VRAM. Также стоит отметить, что модель Gemma 2 имеет 3 версии: на 2, 9 и 27 миллиардов параметров, все из них квантизированны по методу Q4_0, который оптимизирует производительность LLM в условиях ограниченных ресурсов. Поскольку модель Gemma 2 не является рассуждающей, релевантность ее ответов может несколько отставать от более современных LLM, но при этом возрастает скорость генерации результатов по запросу.

Модель уже установлена на наше устройство.

Запускаем ее в графическом интерфейсе Ollama UI и приступаем к тестированию.

В первую очередь, стоит протестировать производительность в задачах естественного языка. Попросим модель создать объемный и уникальный текст на тему “Гайд по созданию вычислительной системы для развертывания локальных LLM”. Смотрим результаты:

Генерация текста объемом 4000 символов заняла около 3 минут, что весьма долго, однако, нужно сделать скидку на полную загруженность видеопамяти графического ускорителя. 

Теперь проверим этот текст на уникальность:

Сгенерированный текст оказался полностью уникальным, при этом он имеет низкий показатель водности и в нем отсутствуют орфографические, пунктуационные и логические ошибки.

Попробуем попросить нейросеть сделать перевод этого текста. Обработка запроса заняла 30 секунд, а генерация переведенного текста — около 2 минут.

Несмотря на весьма медленную генерацию, перевод получился максимально точным, структура оригинала максимально соблюдена. 

Оценим производительность модели Gemma 2 в математических вычислениях. Попросим нейросеть выполнить следующую задачу:

Модель сгенерировала ответ на английском языке, генерация заняла 3 минуты. Gemma 2 не смогла выполнить задачу, предложив 4 варианта решения математического вычисления. 

Решение задачи заняло 3 минуты. Проверим верность выполненной задачи через DeepSeek R1:

DeepSeek R1 указал на несколько критических ошибок в методах вычислений, при этом отметив, что в ответе Gemma 2 есть несколько верных идей. 

Приступаем к оценке производительности нейросети Gemma 2 в задачах программирования. Модель сгенерировала следующий HTML-код для сайта-калькулятора в минималистичном стиле. Попробуем запустить его в эмуляторе для проверки работоспособности.

Проверяем код в эмуляторе.

Код оказался нерабочим, подкорректируем промпт и проверим еще раз. 

Второй HTML-код с элементами JavaScript уже оказался рабочим, запустив его через эмулятор, нам удалось создать простой калькулятор с рабочими, интерактивными кнопками. Генерация второго кода заняла около 1,5 минут. В целом, при правильном составлении промпта с подробно прописанными условиями, gemma 2 вполне справляется с написанием простого программного кода, причем, на разных языках.

Несмотря на то, что видеокарты RX 9070 XT от AMD относится к среднему сегменту рынка, ее ИИ-производительности вполне хватает для запуска локальных LLM. Однако, наиболее оптимально использовать ее для развертывания ИИ-помощников с небольшим объемом VRAM, вроде AMD Chat или Manus, так как Gemma 3, потребляющая ровно 16 ГБ видеопамяти, работала весьма медленно. Также исходя из тестов AMD Chat, мы сделали вывод, что этот ИИ-агент отлично справляется с генерацией изображений и предоставлением структурированной информации о пользовательской системе. Однако нейросеть от AMD плохо понимает синтаксис русского языка, ввиду чего лучше всего создавать запросы на английском языке.