VibeThinker-1.5B: микро-модель на уровне GPT-OSS-20b

На Hugging Face появилась модель VibeThinker-1.5B от стартапа WeiboAI, и сразу вырвалась в топы самых популярных LLM на площадке. При своих по-настоящему миниатюрных размерах в 1,5 миллиарда параметров, нейросеть демонстрирует производительность на уровне более крупных ИИ-моделей, например, GPT OSS-20B Medium. При этом VibeThinker была разработана как экспериментальная система для изучения мыслительных возможностей малых архитектур, а на ее обучение было потрачено всего $7800. Особый акцент сделан на математических задачах и соревновательном программировании, где модель показывает особенно высокую эффективность.

VibeThinker-1.5B показывает впечатляющие результаты в математике. На трех ключевых тестах. В AIME24, AIME25 и HMMT25 она достигает показателей 80,3, 74,4 и 50,4 балла соответственно. Эти значения превосходят показатели модели DeepSeek R1, которая имеет в 400 раз большим числом параметров, чем VibeThinker-1.5B, и набирает лишь 79,8, 70,0 и 41,7 балла. Такой контраст подчеркивает, что компактные модели при правильном обучении способны конкурировать с намного более крупными архитектурами. В области генерации кода VibeThinker-1.5B демонстрирует аналогичную эффективность. В LiveCodeBench v5 она получает 55,9 балла, а в LiveCodeBench v6 — 51,1. Результаты VibeThinker-1.5B опережают более крупную модель Magistral Medium, что демонстрирует способности компактой нейросети в задачах логического вывода в программирования.

Секрет такой выдающейся производительности заключается в использовании особого метода обучения “спектр-в-сигнал” (SSP). На этапе обучения с учителем система осваивает разнообразные решения задач, формируя широкий спектр возможных подходов для выполнения операции. Затем, на этапе обучения с подкреплением, модель оптимизирует свое поведение, усиливая наиболее надежные и корректные стратегии решения задачи. Взаимодополнение этих процессов обеспечивает высокую производительность, недостижимую в рамках традиционных схем обучения.

Схема обучения VibeThinker-1.5B. Источник: Hugging Face.

Разработчики рекомендуют использовать VibeThinker-1.5B для выполнения математических задач и соревновательного программирования. При этом наилучшие результаты достигаются только при взаимодействии на английском языке, что связано со спецификой обучающего корпуса. Для остальных типов задач модель пока рассматривается как экспериментальная и предназначенная в первую очередь для исследований компактных ИИ-моделей.

VibeThinker-1.5B демонстрирует, что даже небольшие модели способны достигать выдающихся результатов, если архитектура и обучающие методики оптимизированы под конкретные типы операций. Ее производительность в математике и генерации кода сопоставима с возможностями значительно более крупных систем, а инновационный подход SSP показывает, что разнообразие решений во время обучения может служить основой высокой точности рассуждений.