Тестируем EXAONE Deep:32b — новейшую рассуждающую модель от компании LG AI Research

Недавно корейская компания LG AI Research, которая является одним из крупнейших разработчиков электроники в мире, представила свою первую рассуждающую ИИ-модель EXAONE Deep и выложила ее в открытый доступ. Как заявляют разработчики, EXAONE Deep эквивалентна по производительности таким моделям, как DeepSeek R1:671b и GPT o1-mini. Мы решили проверить эти заявления на практике, оценив производительность локальной версии EXAONE Deep:32b при выполнении разных ИИ-задач.

EXAONE Deep — это новое семейство рассуждающих языковых моделей на архитектуре “трансформер” от компании LG AI Research, включающее нейросети размером 2.4b, 7.8b и 32b с моделью квантизации Q4_K_M. Старшая модель EXAONE Deep 32b имеет контекстное окно размером 32,768 токенов, 64 сетевых слоя и вокабуляр объемом 102,400 слов. В дальнейшем компания LG планирует интегрировать EXAONE Deep в свои smart-устройства, такие как телевизоры, смартфоны или даже в роботов линейки CLOi для отелей, ресторанов и торговых центров.

Как отмечают разработчики, нейросети EXAONE Deep демонстрируют отличные результаты в задачах, требующих использования логического мышления, в частности, математические вычисления и написание программного кода. Вот какие данные о производительности модели EXAONE Deep 32b приводит компания LG AI Research:

Из этой таблицы следует, что EXAONE Deep 32b демонстрирует схожую производительность, что и DeepSeek-R1:671b, а также обходит передовую модель QwQ-32b от разработчиков Qwen, результаты тестирования которой мы приводили в этой статье. 

При этом, в своем блоге на платформе Hugging Face разработчики EXAONE Deep отметили, что имеет ряд ограничений, в частности модель может генерировать некорректные, ложные или даже неэтичные ответы, что является следствием использования статических данных при обучении. 

Модели EXAONE Deep можно локально развертывать через такие фреймворки, как:

• TensorRT-LLM;
• vLLM;
• SGLang
• LLama.cpp*;
• Ollama;
• LM Studio.

Мы будем использовать проверенный фреймворк Ollama, через который мы уже ни раз локально разворачивали и тестировали передовые языковые модели. Поскольку у платформы Ollama нет встроенного графического интерфейса, для улучшения пользовательского опыта мы также устанавливаем специальное расширение Ollama UI.

Поскольку для развертывания модели EXAONE Deep:32b требуется 19 ГБ VRAM, в качестве ИИ-ускорителя мы использовали Nvidia A100 c 40 ГБ видеопамяти формата HBM2e, разместив его в компактной вычислительной системе. Вот какие характеристики имеет ИИ-ускоритель Nvidia A100:

• Архитектура — Ampere;
• Графический процессор — GA100;
• Объем видеопамяти — 40GB HBM2e;
• Пропускная способность vRAM — 1,56 ТБ/с;
• Количество ядер CUDA — 6912;
• Количество тензорных ядер — 515;
• Интерфейс подключения — PCIe 4.0 x16;
• TDP ускорителя — 250W.

Nvidia A100 также поддерживает различные режимы вычислений для обучения и инференса нейросетей:

• FP64 Tensor — 19.49 TFLOPS;
• FP64 — 9.746 TFLOPS;
• TF32 — 155.92 TFLOPS;
• FP32 — 19.49 TFLOPS;
• BF16 — 311.84 TFLOPS;
• FP16 — 77.97 TFLOPS;
• INT8 Tensor — 624 TOPS.

Помимо ИИ-ускорителя, мы также интегрировали в систему серверный центральный процессор AMD EPYC 7532 на архитектуре Zen 2 с 32 ядрами и 64 потоками, тактовой частотой до 3.3 ГГц и TDP в 200 Вт.

Теперь, когда мы подробно рассказали о системе и тестируемой нейросети, можно приступать к оценке эффективности EXAONE Deep:32b при выполнении различных задач. Для начала, необходимо скачать модель на наше устройство через фреймворк Ollama. 

Начнем с базовых задач в области обработки естественного языка, так как написание текстов, перевод на различные языки и понимание контекста запросов являются основополагающими операциями для большинства нейросетей. В первую очередь, попросим нейросеть написать научно-популярную статью о квантовой запутанности для школьников, используя аналогии из повседневной жизни, при этом объяснив, как это связано с теорией Эйнштейна. Может показаться, что такой запрос будет весьма сложным для модели, которая стала первой размышляющей LLM от LG, однако разработчики заявили о высокой производительности EXAONE Deep:32b, которая сравнима с DeepSeek R1:671b. Вводим запрос и смотрим результаты.

В первую очередь, необходимо отметить, что EXAONE Deep:32b начала размышлять на английском языке. Это весьма распространенная ошибка, присущая даже LLM с большим количеством, поэтому не стоит сразу же записывать это в критические минусы. Также стоит отметить, что обработка запроса и размышление происходит весьма быстро и уже через 5 секунд ответ был готов. Смотрим окончательный результат генерации текста.

Результат получился весьма странным — модель написала текст на русском языке, однако, допустила ряд орфографических, пунктуационных, логических ошибок, неоднократно внедряя слово “INSTANT” (вероятно, часть программного кода модели). Попробуем оптимизировать промпт и снова дать модели ту же задачу, но теперь необходимо написать текст на английском языке.

Модель написала текст на английском языке, не допуская ошибок, однако, EXAONE Deep:32b сгенерировал статью на совершенно другую тематику — фотосинтез, тогда как изначально требовалось создать материал о квантовой запутанности. Очевидно, что EXAONE Deep:32b перепутал данные из базы знаний, однако неизвестно, почему это произошло.

Сменим задачу — теперь попросим EXAONE Deep:32b написать текст объемом 7 тысяч символов на тему "выбор сервера для виртуализации".

Нейросеть снова размышляет на английском языке, однако, EXAONE Deep:32b не ошибся с тематикой и мыслит в правильном русле.

В этот раз результат оказался лучше — нейросеть написала текст на заданную тематику и не допустила ошибок, но материалы по прежнему генерируются только на английском языке, а также объем составил всего 4000 символов вместо указанных 7000. 

В этот раз попросим нейросеть перевести текст на русский язык.

EXAONE Deep:32b перевела текст, как это и требовалось, однако в тексте допущены ошибки в падежах и некоторые формулировки переведены весьма странно. 

Теперь проверим, насколько хорошо нейросеть справляется с созданием креативных текстов. Просим модель написать монолог персонажа, который обнаружил, что живет в симуляции, при этом используя стиль абсурдизма. Так мы сможем оценить владение различными литературными приемами и проработку эмоциональной глубины в тексте.

EXAONE Deep:32b написала название текста, по всей видимости, на корейском языке, а неправильно использовала формулировки, путала падежи, допускала орфографические ошикби. Кроме того, нейросеть предоставила не монолог, а диалог между пользователем и искусственным интеллектом.

Корректируем промпт и пробуем получить более качественный ответ от нейросети.

Модель сгенерировала текст на русском языке, однако не по заданной теме, а по теме предпоследнего запроса о выборе сервера для виртуализации. После внесения правок в промпт для получения еще более релевантного ответа. Вот какой результат предоставила модель:

В этот раз у модели EXAONE Deep:32b получилось создать монолог, учитывая требования запроса. Тем не менее, количество попыток получения релевантного запроса говорит об очевидных проблемах модели в области генерации текста и понимания контекста.

Последний тест EXAONE Deep:32b в области обработки естественного языка — составление юридического договора между ИИ и человеком о совместном авторстве книги, при этом учитывая право на гонорары, ответственность за плагиат и сроки действия документа. Так мы проверим знание юридических шаблонов и возможность адаптации под нестандартный сценарий.

В процессе генерации текста нейросеть перепутала языки, сделав вставки на корейском языке.

Ознакомимся с фрагментом итогового результата.

Нейросеть учла структуру юридического договора, добавила все необходимые пункты и поля для подписей, однако, EXAONE Deep:32b по прежнему допускает орфографические ошибки в тексте.

Из всего этого следует вывод, что EXAONE Deep:32b плохо понимает синтаксис русского языка, вследствие чего тексты генерируются с различными критическими ошибками, нередко предоставляя ответ на английском языке. 

Теперь переходим к оценке производительности EXAONE Deep:32b в математических задачах. Попросим модель доказать или опровергнуть гипотезу Коллатца в модульной арифметике:

Ознакомимся с ответом нейросети:

В процессе решения математической задачи, EXAONE Deep:32b неоднократно путала языки, вставляя корейские иероглифы в текст.

В итоге модель генерировала окончательный ответ около 15-20 минут, при этом, решив задачу неправильно, что подтвердила проверка решения через нейросеть DeepSeek R1. По всей видимости, EXAONE Deep:32b не приспособлена для решения математических задач, затрачивая крайне много времени на осмысление запроса и вычисление, при этом предоставляя неверный ответ. Дальнейшие попытки оптимизации промпта и запроса решения других, более простых задач, не принесли желаемого результата, так как EXAONE Deep:32b уходил в циклические рассуждения.

Теперь переходим к оценке производительности EXAONE Deep:32b в задачах программирования. Попросим модель сегенерировать HTML-код для главной страницы сайта компании «ServerPro», продающей серверное оборудование. 

После размышления, модель не предоставила полноценный программный код, написав только гайд по его созданию со вставками синтаксиса на различных языках программирования. После повторного ввода оптимизированного промпта результат не изменился.

Снова создаем более подробный промпт, после чего EXAONE Deep:32b все-таки написала подходящий HTML-код.

Запускаем HTML-код в эмуляторе для проверки его работоспособности. Однако, код оказался полностью нерабочим.

Попробуем дать нейросети более простую задачу — создать код минималистичного калькулятора.

Размышление модели EXAONE Deep:32b перед генерацией кода калькулятора.

EXAONE Deep:32b очень долго размышляет о способах генерации кода калькулятора, разбирая каждую команду и применяя разные языки программирования. 

Также EXAONE Deep:32b визуализирует элементы кода калькулятора, демонстрируя внешний вид кнопок и описывая его возможности. После 15 минут ожидания стало ясно, что EXAONE Deep:32b перешел в циклические размышления, так и не предоставив окончательный ответ с программным кодом.

Мы также попробовали вычленить из размышлений EXAONE Deep:32b фрагменты кода и запустить их в эмуляторе, однако это снова не принесло каких-либо результатов.

Результаты тестирования EXAONE Deep:32b оказались весьма неожиданными — заявленная производительность модели совершенно не соответствует действительности, поскольку во всех сценариях использования нейросеть допускала критические ошибки. В частности, EXAONE Deep:32b путала языки, контекст запросов и даже очередность запросов, вдавалась в циклические рассуждения и предоставляла неверные ответы. Такие посредственные результаты можно бы было списать на то, что модель предназначена для интеграции в технику LG, однако, компания утверждает, что EXAONE Deep можно использовать в разных сценариях использования, а ее эффективность сопоставима с DeepSeek R1. Тем не менее, если разработчики все-таки начнут применять EXAONE Deep в различных умных устройствах, при этом основательно доработав все модель и устранив ее недостатки, эта рассуждающая нейросеть может стать весьма перспективной LLM, но в данный момент ее невозможно использовать в повседневных задачах.