Ai2 представила SAGE: топовая агентная система для анализа видео

ИИ-стартап Ai2 представил SAGE — агентную систему, предназначенную для анализа длинных видеороликов с развлекательным контентом, включая спортивные трансляции, видеоблоги и другие форматы. В отличие от классических видео-моделей, SAGE обучается стратегически взаимодействовать с видеопотоком, выбирая, когда достаточно беглого просмотра, когда требуется углубленный анализ фрагмента, а когда можно сразу сформулировать ответ. По результатам внутренней оценки Ai2 в SAGE-Bench использование системы с оркестратором на базе Molmo 2 (8B) повышает точность ответов с 61,8% до 66,1%.

В традиционных подходах модели, как правило, обрабатывают видео за один проход, анализируя большое количество кадров и затем формируя ответ. SAGE использует принципиально иную стратегию: она разбивает видео на короткие сцены, анализирует их поочередно и при необходимости динамически перемещается к более ранним или более поздним фрагментам. Помимо визуального контента система способна обращаться к расшифровке аудио и при необходимости выполнять веб-поиск, чтобы дополнить контекст и получить внешнюю информацию, связанную с целевым видео.

Пайплайн ИИ-системы SAGE от Ai2. Источник: X.

Ключевым компонентом архитектуры является SAGE-MM — оркестратор, который принимает решения о том, когда следует вызывать внешние инструменты, а когда достаточно собственных рассуждений для генерации ответа. Он обучался на корпусе примерно из 6,6 тысяч видеороликов YouTube, что соответствует около 99 тысячам пар вопросов и ответов и более чем 400 тысячам примеров состояний и действий. Обучение проводилось с использованием алгоритма RL с несколькими функциями вознаграждения, что позволило системе формировать неограниченные по горизонту цепочки рассуждений.

Для объективной оценки возможностей системы был создан набор тестов SAGE-Bench — вручную проверенный бенчмарк, включающий 1700 вопросов по развлекательным видео средней длительностью более 700 секунд. В отличие от распространенных тестов с вариантами ответов или узкоспециализированных задач, SAGE-Bench ориентирован на открытые и практические вопросы, требующие понимания структуры и содержания длинного видео. Тесты демонстрируют, что на SAGE-Bench при использовании визуальной модели Qwen3-VL-8B агенты SAGE демонстрируют сопоставимые с базовой моделью результаты на коротких клипах, но значительно превосходят ее на длинных видео. Именно в длинных роликах требуется больше логических шагов и переходов между фрагментами, и обучение с подкреплением позволяет сократить их количество по сравнению с подходами, основанными исключительно на контролируемой тонкой настройке. В практическом плане SAGE достигает точности около 68% на SAGE-Bench, затрачивая в среднем 8–9 секунд на анализ одного видео. Для сравнения, другим агентным системам часто требуется от десятков секунд до нескольких минут, при этом они все равно уступают SAGE по точности.

Все передовые технологические интеграции и высочайшая точность делают SAGE одной из наиболее эффективных систем для интерактивного анализа длинных видеоматериалов, где важны как скорость, так и глубина понимания контента. Кроме того, ниша анализа видеороликов практически не освоена основными ИИ-гигантами, поэтому у Ai2 есть все шансы предложить этому направлению свой ИИ-продукт, у которого практически не будет конкурентов.