Что такое структурная разреженность и зачем она нужна NVIDIA
Введение
Если вы когда либо интересовались техническими характеристиками современных ускорителей NVIDIA, наверняка замечали, что компания часто указывает два значения производительности: стандартное и с учётом структурной разреженности. Например, в описании новых GPU можно наткнуться на формулировки с пометками, вроде: «400 TFLOPS (sparse)».
Что скрывается за этими цифрами? Почему в одних случаях производительность указывается в два раза выше, чем в других? И главное, как на практике достигается такой прирост, и что вообще означает "структурная разреженность" для работы нейросетей и искусственного интеллекта?
В этой статье я попытаюсь простыми словами разъяснить, что такое структурная разреженность, почему она важна для современных GPU, и как это помогает ускорять вычисления и экономить ресурсы.
Что такое разреженность в нейросетях
Современные нейронные сети состоят из огромного количества весов — параметров, которые определяют, как именно сеть обрабатывает информацию. Однако исследования и практика показали: для высокой точности работы далеко не все эти веса действительно нужны. После сжатия и оптимизации значительная часть из них превращается в нули, то есть просто не участвует в вычислениях.
Такое свойство называется разреженностью (sparsity), а сами веса — разреженными матрицами.
Чем больше нулей в матрице весов, тем меньше реальных операций умножения и сложения нужно выполнять — а значит, вычисления становятся быстрее и экономичнее.
Различают два основных типа разреженности, давайте познакомимся с каждым из них.
Произвольная разреженность (unstructured)
Нули появляются где угодно в матрице: случайным или малопредсказуемым образом. Это позволяет добиться высокого процента обнулённых весов, но эффективно ускорить такие вычисления на современных ускорителях сложно, поскольку аппаратное обеспечение плохо справляется с беспорядочными пропусками.
Наглядная схема произвольной разреженности.
Структурная разреженность (structured)
Нули располагаются по строгим, повторяющимся шаблонам: например, в каждом блоке из четырёх значений два всегда обнуляются. Такой предсказуемый порядок позволяет GPU и другим ускорителям пропускать целые блоки вычислений, что и обеспечивает обещанный рост производительности. Именно такой вид разреженности использует NVIDIA.
Наглядная схема структурной разреженности.
Что такое структурная разреженность в исполнении NVIDIA
Начиная с архитектуры Ampere, компания NVIDIA реализовала в своих ускорителях специальную поддержку структурированной разреженности на уровне аппаратных блоков, так называемых Tensor Cores.
Как это работает?
Если в каждом блоке из четырёх элементов матрицы (например, весов нейросети) два значения равны нулю, то Tensor Cores способны «пропускать» вычисления для этих нулей и одновременно обрабатывать больше информации. Благодаря такому подходу, пропускная способность этих ядер фактически удваивается — то есть за то же время можно выполнить в два раза больше вычислений, по сравнению с обычным случаем.
Важная оговорка:
Чтобы реально получить такой прирост, сама модель и используемый фреймворк (например, PyTorch, TensorFlow) должны поддерживать и использовать именно такую структурированную разреженность. В реальной практике удвоение производительности возможно только в «идеальном» сценарии, если большая часть весов модели соответствует этому шаблону разреженности.
Что это даёт?
GPU действительно может выдавать, например, не 200, а 400 TFLOPS (sparse), если конечно соблюдены все условия. Именно поэтому NVIDIA в спецификациях часто указывает значения производительности с пометкой (sparse).
Почему NVIDIA использует разреженность в бенчмарках
В спецификациях и презентациях NVIDIA часто приводит показатели производительности своих GPU не только для обычных моделей, но и для моделей с учётом структурной разреженности (sparse). Зачем? — это позволяет указывать вдвое завышенные характеристики в спецификациях и промо материалах.
Модель VGG-16 до и после прореживания в качестве примера
Показатели с учётом разреженности — это лишь теоретически возможный максимум, который достижим только при идеальных условиях:
- Используется специально подготовленная sparse-модель
Например, такие модели, как "обрезанный" BERT, в которых значительная часть весов заранее обнулена по определённому шаблону.
Тот самый "обрезанный" BERT до и после прореживания.
- Вычисления организованы с учётом оптимизированной структуры
Все операции и данные заранее адаптированы так, чтобы аппаратное ускорение разреженности реально работало.
- Поддержка реализована в используемом фреймворке
Для максимального эффекта применяются такие инструменты, как cuDNN, TensorRT и другие специализированные библиотеки от NVIDIA, которые умеют работать с разреженными моделями.
Необходимо осознавать:
В реальных задачах не каждая нейросеть может быть эффективно преобразована в разреженную структуру, и не каждый фреймворк или модель поддерживает эту самую структурную разреженность. Поэтому удвоенная производительность это оптимистичный максимум, а не гарантированный результат для всех сценариев. На практике прирост будет зависеть от конкретной задачи, используемой модели и уровня поддержки разреженности.
Заключение
Структурная разреженность — это весьма эффективный способ уменьшить количество реальных вычислений в нейросетях без потери точности, если правильно подобрать структуру модели. NVIDIA активно использует этот подход в своих технологиях и маркетинговых материалах, потому что поддержка разреженности позволяет в теории удвоить производительность современных GPU.
Однако при оценке бенчмарков и технических характеристик важно помнить: такие показатели достижимы только для специально оптимизированных моделей и при наличии поддержки структурной разреженности в используемом фреймворке. В реальных задачах не всегда удаётся реализовать эти идеальные условия, поэтому заявленная "удвоенная" производительность — это максимальный, но не всегда реальный результат.
