DeepSeek-R1 на видеокартах Moore Threads: сможет ли Китайская компания вытеснить Nvidia?

Содержание: Введение Результаты запуска  Что такое Ollama? Вывод Введение Совсем недавно мы писали о китайских графических процессорах и видеокартах Moore Threads, которые являются самыми производительными графическими решениями, разработанными в Китае. Но 5 февраля компания Moore Threads заявила, что им удалось локально запустить даже передовые модели ИИ DeepSeek на своих GPU. Однако, конкретные показатели производительности моделей, запущенных на китайских GPU, не были оглашены. Если эта информация правдива, то Китай сможет полностью импортозаместить графические решения от Nvidia в секторе обучения и инференса больших языковых моделей.  Заявление компании Moore Threads о запуске модели DeepSeek-R1-Distill-Qwen-7B на картах S80 и S4000. Источник: Moore Threads.  Результаты запуска Разработчики из Moore Threads смогли развернуть модель DeepSeek-R1-Distill-Qwen с 7 миллиардами параметров на потребительских видеокартах S80 и видеокартах для дата-центров S4000. Чтобы реализовать это, был использован упрощенный фреймворк Ollama. В отчете компании Moore Threads говорит об успешном запуске и высокой производительности модели DeepSeek-R1-Distill-Qwen-7B на картах S80 и S4000, однако, каких-либо конкретных цифр и результатов сравнения с другими видеокартами предоставлено не было. Ввиду этого, как-либо проверить и подтвердить эту информацию невозможно. Возможно, Moore Threads в скором времени поделится более содержательной информацией о результатах запуска Китайских моделей на своих передовых видеокартах. Китайским энтузиастам уже удавалось запускать модели DeepSeek-R1 и обучать их на потребительских картах Moore Threads S80 в конце прошлого месяца, однако, официальная информация об ИИ-возможностях графических решений компании-производителя вышла только на днях. Китайский IT-энтузиаст локально запускает модель DeepSeek-R1-Distill-Qwen-7B на видеокарте S80 через фреймворк Ollama. Источник: BiliBili. Что такое Ollama? Ollama — это специальный фреймворк, особенностью которого является возможность запуска больших языковых моделей на потребительских ПК с операционными системами MacOS, Linux и Windows. Также этот фреймворк имеет оптимизированный движок логического вывода, за счет чего производительность модели увеличивается. Помимо китайских моделей ИИ, Ollama также поддерживает такие LLM, как Llama 3.3, DeepSeek-R1, Phi-4, Mistral и Gemma 2, при этом не требует использования облачных сервисов для развертывания эти нейросетей. Интересно, что фреймворк Ollama был разработан для развертывания моделей ИИ устройствах с MacOS и поддерживает программные платформы Metal для ускорения графических процессоров Apple, CUDA для ускорения графических процессоров Nvidia и ROCm для ускорения графических процессоров AMD.  На официальном сайте фреймворка Ollama указано, что платформа может запускать китайскую большую языковую модель DeepSeek-R1. Источник: Ollama. Графические чипы от Moore Threads официально не поддерживаются Ollama, но китайская компания заявляет, что им удалось использовать фреймворк благодаря совместимости видеокарт S80 и S4000 с кодом CUDA. Такой скомпилированный код будет эффективно выполнять ИИ-операции, особенно при работе с китайскими моделями искусственного интеллекта. Чтобы сделать запуск китайских нейросетей на Moore Threads еще более эффективным, разработчики также оптимизировали расход ресурсов системы и улучшили управление памятью. . Вывод В последнее время Китай демонстрировал весь свой потенциал в секторе разработки ИИ — моделям DeepSeek R1 и Qwen 2.5-Max удалось обойти передовые нейросети от OpenAI, что вызвало ажиотаж во всем мире. Конечно, неизвестно, на каких видеокартах изначально обучались эти новейшей LLM, однако, с выходом новостей о возможности использования китайских видеокарт Moore Threads для развертывания DeepSeek и Qwen, ситуация принимает новый оборот. Если информация от Moore Threads подтвердится и можно эффективно обучать китайские модели на отечественных видеокартах, это может полностью вытеснить западные компании с китайского сектора ИИ. Тем не менее, уже сейчас очевидно, что Китай готовится к масштабному импортозамещению зарубежных высокотехнологичных устройств для IT-сектора, и судя по всем тем новинкам, о которых мы писали в блоге ServerFlow, у поднебесной получится вытеснить Nvidia, Intel и AMD уже в ближайшие годы.