Обзор видеокарты NVIDIA A100 40GB – топ вчерашнего дня

И, пожалуй, самая главная инновация – A100 первой внедрила аппаратную поддержку структурной разреженности. Давайте чуть подробнее разберёмся в устройстве этой технологии.

Современные нейросети содержат миллиарды весов, но значительная часть из них избыточна: после обучения многие веса стремятся к нулю и практически не влияют на качество модели. Обычный GPU всё равно перемножает их, тратя циклы впустую. Разреженность – это способ легализовать пропуск этих операций.

NVIDIA реализовала конкретный жёсткий шаблон: в каждом блоке из 4 элементов матрицы ровно 2 должны быть нулями. Это и есть структурность – нули располагаются не хаотично, а по предсказуемому паттерну.

Конечно на практике всё далеко не так сладко. Для задач с привлечением того же vLLM или SGLang структурная разреженность даёт эффект только если модель специально обучена с 2:4 sparsity. Большинство публичных весов вроде Llama, Qwen и Mistral – плотные (dense), поэтому указанные в спецификации A100 с пометкой «sparse» TFLOPS в реальном инференсе LLM не достигаются. Для таких задач более практичным ускорением остаются квантование (FP8, INT8) и непрерывный батчинг (continuous batching).

Оговорив архитектурные новшества, давайте перейдем к сухим цифрам характеристик.

NVIDIA A100 построена на архитектуре Ampere и изготовлена по 7-нанометровому техпроцессу TSMC. Чип GA100 содержит 54 миллиарда транзисторов на площади 826 мм² – на момент выхода крупнейший процессор в мире. Как и AMD с линейкой CDNA, NVIDIA с A100 окончательно разграничила игровое и вычислительное направления: чип GA100 никогда не появлялся в потребительских видеокартах и проектировался исключительно для дата-центров.

Вычислительное ядро A100 состоит из 108 потоковых мультипроцессоров (SM), каждый из которых содержит 64 CUDA-ядра и 4 тензорных ядра третьего поколения. Итого: 6912 CUDA-ядер и 432 тензорных ядра. Именно тензорные ядра являются главным вычислительным инструментом A100: в отличие от универсальных CUDA-ядер, они специализированы на матричных умножениях (GEMM) и поддерживают широкий спектр форматов: FP64, TF32, BF16, FP16, INT8 и INT4.

Заявленная производительность A100 в разных режимах точности выглядит так: 9.7 TFLOPS в FP64, 19.5 TFLOPS в FP64 Tensor Core и 19.5 TFLOPS в FP32. При переходе к задачам машинного обучения цифры резко растут: 156 TFLOPS в TF32 и 312 TFLOPS в BF16/FP16 на тензорных ядрах. При активации структурной разреженности, о которой мы упоминали выше, каждый из этих показателей удваивается – до 312 и 624 TFLOPS соответственно. В режиме INT8, актуальном для инференса, A100 выдаёт до 1248 TOPS с разреженностью.

Память A100 – это её выдающееся качество. Версия 40 ГБ оснащена пятью стеками HBM2e с совокупным объёмом 40 ГБ и невероятной пропускной способностью 1555 ГБ/с по чудовищно широкой 5120-битной шине.

Однако давайте отринем сухие цифры спецификаций и посмотрим на видеокарту в реальных задачах.

Здесь NVIDIA уже привычно блистает своей универсальностью. В отличие от карт “красных” конкурентов, A100 без проблем запрягается в задачу любой сложности без костылей и танцев с бубном: от простейшей Ollama до тонко настроенного SGLang. 

При наличии желания вы можете работать даже на Windows, просто поставив необходимый драйвер с сайта NVIDIA. AMD такое стало подвластно лишь недавно, в нашем видеоролике и обзоре на AMD Radeon AI PRO R9700 мы подробно осветили это достижение красной компании.

Сразу спешим оговорить что целью тестов не являлось сравнение движков для инференса, для этого у нас имеется отдельный материал. 

Как видно из результатов, A100 по-прежнему является мощным решением для инференса. Пускай это теперь и не “святой грааль” вычислительной производительности каковой она являлась ранее.

Из любопытных наблюдений: Ministral 3 14B-Reasoning на SGLang употребляет куда больше памяти чем на vLLM. Именно по этой причине втиснуть её в формате BF16 на A100 не вышло, пришлось довольствоваться FP8. Однако это не единственная проблема с которой довелось столкнуться.

Здесь и рисуются препятствия. NVIDIA A100 не имеет индивидуального активного охлаждения, так как предназначена для работы в серверных стойках с использованием общего обдува. Поэтому для использования в десктопной системе необходимо раздобыть отдельное охлаждение.

А NVIDIA A100, будем честны, редкая и дорогая видеокарта. Нельзя просто зайти в оранжевый трехбуквенный магазин и выбрать подходящее охлаждение для NVIDIA A100.

Тут мы и заходим на территорию кружка “сделай сам”. Сначала проектируем 3д модельку переходника.

Да, под 140-мм вентилятор. Да, давление воздушного потока от турбины было бы больше, и охлаждение соответственно лучше. Но в нашем случае раздобыть хороший 140-мм вентилятор оказалось разительно проще чем мало-мальски приличную турбину.

Распечатав удачный экземпляр (и несколько неудачных) на 3D принтере – крепим его к видеокарте, профессионально и надёжно закрепив вентилятор на строительные стяжки.

Несмотря на внешнюю несуразность такого охлаждения – оно оказалось весьма эффективным. Температура в простое застывает на 50°C. В реальной нагрузке средняя температура устремляется к 76 градусам цельсия, а хотспот в пике прогревается до 80°C.

Конечно это не самый выдающийся результат, но как решение собранное из подручных материалов и стоимостью всего в косарь рублей – вполне сгодится.

Итак, ознакомившись с характеристиками и особенностями GPU, её реальной производительностью и попутными нюансами – давайте перенесёмся к заключению.

NVIDIA A100 и на сегодняшний день впечатляет своей мощью. Хоть уже не конкурирует с H100/H200/B200 в задачах крупных LLM, но на вторичном рынке A100 остаётся сильной картой для CUDA-инференса, 7B–35B моделей, MoE-моделей с малым числом активных параметров, тестирования vLLM/SGLang/llama.cpp, HPC-задач с FP64 и рабочих сценариев, где важна стабильность CUDA-экосистемы.