Типы серверной памяти RDIMM, LRDIMM, 3DS и другие

Оперативная память появилась еще на заре появления вычислительных систем в 1940–1950‑х годах, пройдя огромный путь от ферритовых колец до многослойных модулей с миллиардами транзисторов. За долгие годы она не только не потеряла своей значимости, но и многократно увеличила ее, ведь именно оперативная память хранит данные и машинный код, обрабатываемые процессором, отвечает за быстрый доступ к запущенным программам и операционной системе, а также обеспечивает отказоустойчивость и плотность вычислений. Ввиду этого вовсе неудивительно, что серверная индустрия породила огромное множество различных разновидностей плашек ОЗУ, каждый из которых отличается своим набором характеристик, особенностей, преимуществ и недостатков. В этом многообразии многие путаются и выбирают не те модули — ставят в сервер десктопную память, переплачивают за ненужные функции или, наоборот, экономят на надежности там, где это недопустимо. В этой статье специалисты компании ServerFlow расскажут вам об основных видах серверной оперативной памяти, объяснят их особенности, характеристики и функционал.

Прежде чем погружаться в тонкости разных сортов оперативной памяти, важно рассказать о двух фундаментальных типах чипов ОЗУ, из которых состоят все современные модули оперативки.

• Первый тип — SRAM (Static RAM), статическая память. Она очень быстрая, но дорогая и занимает много места на кристалле. SRAM не требует постоянной регенерации заряда, поэтому задержки доступа к ней минимальны. Именно SRAM используется в качестве кэш-памяти процессора — L1, L2, L3. Ее задача — хранить самые горячие данные максимально близко к вычислительным ядрам CPU.
• Второй тип — DRAM (Dynamic RAM), динамическая память. Она дешевле и плотнее, то есть на одном кристалле можно разместить гораздо больше бит. DRAM медленнее SRAM, так как требует постоянной регенерации заряда. Конденсаторы внутри ячеек постепенно разряжаются, и контроллер памяти вынужден периодически перечитывать и перезаписывать данные, чтобы они не исчезли. Именно DRAM — та самая память, которую все привыкли называть оперативкой в серверах, десктопах и ноутбуках.

Все современные модули DIMM (Dual In‑line Memory Module) делятся на несколько основных типов в зависимости от наличия и типа буферизации. Рассмотрим их по порядку — от самых простых к самым сложным.

UDIMM (Unbuffered DIMM) — это небуферизированная (она же нерегистровая), память, Самый простейший тип оперативки, который используется в домашних ПК, рабочих станциях и серверах начального уровня при поддержке ECC (на серверных версиях десктопных CPU, вроде Intel Xeon E‑2400 или AMD EPYC 4004, Ryzen Pro). Проще говоря, UDIMM — один из самых доступных типов оперативки.

Работает эта память так: адресные строки, строки управления и линии данных идут напрямую от контроллера памяти процессора к чипам DRAM без какой‑либо аппаратной буферизации или регистрации. Каждая микросхема памяти висит непосредственно на шине. Из‑за этого UDIMM поддерживает меньшие максимальные объемы, чем другие типы серверной оперативки, например, для поколения DDR5 емкость одного модуля UDIMM обычно не превышает 48 ГБ, тогда как регистровая память легко достигает 128 и более ГБ на планку.

За счет отсутствия буфера задержки у UDIMM минимальные, но именно по этой причине много модулей в систему не поставишь. Контроллер памяти физически не вытянет больше двух‑четырех планок без потери стабильности. Поэтому материнские платы под UDIMM обычно имеют не более четырех слотов DIMM. Редко встречаются платы с двумя слотами, еще реже — с шестью, но это уже компромиссные решения.

RDIMM (Registered DIMM) — это всем известная регистровая память. Она отличается от UDIMM наличием дополнительной микросхемы регистра (или буфера адресации, RCD). Этот чип перехватывает управляющие и адресные сигналы от процессора, усиливает их и перенаправляет на чипы памяти. Данные (линии DQ) при этом идут по прямому пути, а команды и адреса — через регистр.

Такой подход снижает нагрузку на контроллер памяти, потому что вместо десятка чипов DRAM контроллер видит только один регистр. Это позволяет устанавливать больше чипов на саму планку (увеличивать плотность) и больше модулей в систему в целом. Типичная конфигурация сервера на RDIMM — 8, 12 или 16 слотов, а в двухсокетных системах все 24-32 слота, поскольку RDIMM обеспечивает стабильность работы на высоких частотах и при большом количестве модулей. Платой за это становится один дополнительный такт на прохождение адресного сигнала по сравнению с UDIMM, но на практике это увеличение задержек настолько минимально (единицы наносекунд), что им можно пренебречь.

Стоит такая память, очевидно, дороже, чем примитивный UDIMM, но дешевле более экзотических типов ОЗУ. RDIMM — это основной стандарт памяти, который прочно закрепился в массовом серверном сегменте. Именно благодаря RDIMM появились те серверы с десятками слотов и сотнями ГБ оперативной памяти, которые мы видим сейчас в любом дата‑центре.

LRDIMM (Load Reduced DIMM) — более продвинутый тип памяти, чем RDIMM, который появился для преодоления ограничения по количеству рангов в канале. В LRDIMM используются не просто регистры, а модули буфера iMB (Isolation Memory Buffer, он же Data Buffer — DB). Через них осуществляется буферизация не только команд и адресов, но и самих данных, записываемых в ОЗУ. То есть контроллер процессора отправляет абсолютно все сигналы и данные не напрямую в чипы памяти, а сначала в буфер, который выполняет роль посредника, а также управляет операциями с памятью. В результате нагрузка на канал резко снижается.

Еще одна ключевая функция LRDIMM — умножение рангов. Традиционные RDIMM при подключении 4‑ранговых модулей создавали высокую емкостную нагрузку, из‑за чего приходилось снижать частоту или ограничивать количество модулей. LRDIMM превращает 4 или даже 8 физических рангов в один логический ранг для контроллера. Процессор видит модуль как легкую нагрузку, независимо от его реальной плотности. За счет этого в систему можно установить больше многоранговых модулей памяти, а в некоторых случаях и повысить частоту памяти по сравнению с RDIMM.

LRDIMM используется для создания модулей ОЗУ с самым большим объемом — в эпоху DDR4 существовали планки на 64 и 128 ГБ, а сейчас и все 256 ГБ. Эта память устраняет ограничения традиционной RDIMM, но усложняет архитектуру модуля и увеличивает его стоимость. Задержки тоже немного растут, но в большинстве сценариев это не критично.

MRDIMM (Multiplexed Rank Dual In-line Memory Module) — это один из наиболее новых типов памяти, особенностью которого является использования особого чипа под названием мультиплексор данных. Суть в том, что благодаря этому чипу в одном модуле MRDIMM работает сразу два параллельных ранка памяти. Специальный буфер объединяет их в один широкий канал данных, передавая процессору за один такт удвоенный объем информации — 128 байт вместо обычных 64 байт. По сути, это эволюция LRDIMM, где буферизация выведена на новый уровень. Такие модули позволяют достигать эффективной пропускной способности до 8800 MT/s и выше, что на 30-50% быстрее топовых решений LRDIMM на базе DDR5.

Придумала MRDIMM, как ни странно, компания Intel, сделав из нее главный козырь при продвижении своих новых серверных центральных процессоров Xeon 6, причем, разведя целый зоопарк из форм-факторов — MRDIMM бывают и стандартные, и двухэтажные, и с необычной распайкой. И конечно же, Intel не посчитала нужным делать эту память универсальной, поэтому несмотря на физическую совместимость со слотами DIMM DDR5, работать эта ОЗУ может только при наличии поддержки со стороны CPU.

Интересно, что память MRDIMM имеет некоторое сходство с памятью типа FBDIMM — там тоже применялись промежуточные компоненты для эффективного управления потоками данных, но о ней расскажем ниже.

Используется столь производительная память, как нетрудно догадаться, в системах HPC, ИИ-серверах и платформах с огромным количеством ядер на базе чипов Xeon 6, где узким местом становится не объем памяти, а скорость ее подачи.

Мы прошлись по основным типам серверной оперативки, однако на них все разнообразие ОЗУ не заканчивается. Существуют еще и узкоспециализированные, уже устаревшие и очень экзотические плашки, о которых вы вряд ли когда-то слышали. Коротко расскажем о самых интересных из них.

NVDIMM — это особый гибридный энергонезависимый тип оперативной памяти, который сочетает скорость DRAM и встроенную флеш‑память NAND. При сбое питания данные из DRAM мгновенно копируются в NAND, обеспечивая их полную целостность. По сути, это буквально память с батарейкой и чипом от SSD на одной планке. Существует три основных подвида NVDIMM: NVDIMM‑N, которая работает как DRAM, но при отключении энергии передает данные во флеш память с помощью батареи, NVDIMM‑P, которая одновременно работает как DRAM и NAND, и NVDIMM‑F, представляющая из себя SSD, подключаемый в слот DIMM. Несмотря на то, что NVDIMM выглядит как новый виток эволюции ОЗУ и флеш-накопителей, который обязательно должен стать хитом продаж и изменить серверную индустрию раз и навсегда, этот тип оперативки практически не используется. В итоге выпуск NVDIMM заглох на поколении DDR4.

DCPMM (Data Center Persistent Memory Module) — это уникальная разновидность энергонезависимой памяти, разработанная компанией Intel для накопителей Optane и основанная ячеек 3D XPoint. DCPMM способен работать как в режиме оперативной памяти, так и в качестве SSD-хранилища, так как ячейки 3D XPoint не разряжаются после отключения питания, при этом скорость их работы существенно выше, чем у обычных NAND, и сравнима со скоростью DRAM (хотя и уступает ей в несколько раз). Память DCPMM поставлялась в виде стандартных модулей DIMM DDR4 — максимальная емкость на один модуль составляла 512 ГБ, но на практике чаще встречались 128, 256 и 512 ГБ. Процессоры Intel Xeon Scalable второго и третьего поколения (Cascade Lake, Ice Lake) были последними, кто поддерживал Optane DCPMM. Устанавливать можно было только один такой модуль на канал памяти. Это эксклюзивная технология Intel, поэтому DCPMM не работала с AMD EPYC или более старыми Xeon. Несмотря на все преимущества, у DCPMM есть один существенный недостаток — высокая стоимость, которая в сочетании с ограниченной совместимостью и отсутствием развития сделала свое дело и технология умерла.

FBDIMM (Fully Buffered DIMM) — исторический тип буферизированной памяти, который активно использовался в эпоху DDR2 и в начале эры DDR3 в серверах на базе Intel Xeon 5000 и 5400 серий. В современных серверах он не встречается, но FBDIMM оказал огромное влияние на эволюцию модулей оперативной памяти. FBDIMM отказалась от параллельной шины данных между процессором и памятью, вместо нее использовалась последовательная шина и чип AMB (Advanced Memory Buffer). Контроллер памяти общался с первым модулем последовательно, тот передавал сигнал дальше следующему AMB по цепочке — как в гирлянде, выполняя буферизацию и существенно снижая нагрузку на шину. Основной недостаток FBDIMM — высокое энергопотребление и, как следствие, огромный нагрев. Один AMB‑чип мог разгоняться до TDP в 10 Вт. Причем энергопотребление было неравномерным и зависело от положения модуля в цепочке: наибольшая нагрузка ложилась на AMB, расположенные ближе к шине. Кроме того, последовательная архитектура значительно увеличивала задержки по сравнению с параллельными решениями вроде RDIMM. В итоге технологию признали тупиковой, и она уступила место более совершенным стандартам.

CUDIMM (Clocked Unbuffered DIMM) — это эволюция небуферизированной памяти UDIMM, адаптированная под высокие частоты стандарта DDR5. Память рассчитана на работу при скоростях 6400-9000+ МТ/с, обеспечивая лучшую производительность в тяжелых приложениях. Главное отличие — наличие чипа тактового генератора (Clock Driver — CKD). Он принимает тактовый сигнал от контроллера памяти, буферизирует его, очищает от шумов, усиливает и перенаправляет на чипы DRAM. При этом пути данных и команд передаются напрямую — это почти как в RDIMM, которая буферизирует все подряд, но чуть‑чуть не дотягивает до полной регистровой архитектуры. Модули CUDIMM физически и электрически совместимы со стандартными слотами DDR5. Их можно использовать на обычных материнских платах, где они будут работать как стандартные UDIMM в «legacy mode». Применяется CUDIMM в домашних ПК, рабочих станциях и серверах начального уровня. Существует вариация с поддержкой ECC, что делает ее интересной для легких серверов.

CDIMM (Centaur DIMM) — это фирменный, высокоплотный тип памяти, разработанный компанией IBM для своих мэйнфреймов на базе процессоров Power (Power7, Power8, Power9). Эти модули базировались на буферном чипе Centaur. Он принимает сигналы от процессора и преобразует их для работы с большим количеством чипов памяти. Это позволяло подключать к одному сокету до 8 модулей CDIMM, наращивая общий объем памяти до нескольких терабайт. Чип Centaur включал в себя быстрый кэш четвертого уровня (L4), который ускорял доступ к данным, снижая задержки при работе с большими массивами информации. Кроме того, CDIMM является эталонной реализацией технологии коррекции ошибок Chipkill. В отличие от стандартной ECC, которая может обнаружить и исправить ошибку только в одном бите, Chipkill способна восстанавливать данные даже при выходе из строя целого чипа памяти. Это обеспечивает исключительную надежность. Однако CDIMM — строго проприетарный стандарт, работающий только в серверах IBM Power. Установить их в обычный сервер на базе Intel Xeon или AMD EPYC невозможно. CDIMM дожила до эпохи DDR4 и после этого перестала выпускаться, но на eBay до сих пор можно найти такие плашки.

SOCAMM (System on Chip Advanced Memory Module) — это новейший мобильный форм‑фактор памяти, разработанный компанией NVIDIA для устранения узких мест в традиционных плашках оперативки применительно к ИИ‑системам. SOCAMM объединяет компактность, низкое энергопотребление и высокую пропускную способность LPDDR5X‑чипов. На модулях SOCAMM распаяно только четыре чипа LPDDR, при этом модули располагаются горизонтально на плате, а не вертикально, как у обычной оперативной памяти. Это позволяет разместить большие объемы памяти, освободив место в корпусе для других компонентов — например, для дополнительных GPU или ускорителей. Изначально NVIDIA разрабатывала память SOCAMM1, однако затем проект сразу же перерос в SOCAMM2, который обеспечивает до 256 ГБ на модуль (против 128 ГБ у первых SOCAMM) и пропускную способность до 9600 MT/s (вместо 8533 MT/s). Компания Micron уже начала первые поставки SOCAMM2, поэтому передовой форм‑фактор скоро будет доступен всем, кто строит компактные и энергоэффективные ИИ‑серверы.

Выбор оперативной памяти для сервера может стать достаточно сложной задачей, ведь на рынке присутствует немало разновидностей ОЗУ с существенно различающимися характеристиками. UDIMM подойдет для недорогих серверов начального уровня и рабочих станций, где не требуется много слотов или огромных объемов. RDIMM — золотой стандарт для подавляющего большинства корпоративных серверов, обеспечивающий баланс цены, производительности и масштабируемости. А LRDIMM нужен там, где не хватает возможностей RDIMM. Всегда учитывайте, для каких задач вы хотите использовать оперативную память, какие характеристики вам нужны в первую очередь и, конечно, помните, что реалии сегодняшнего кризисного рынка оперативки накладывают свои ограничения на стоимость и доступность тех или иных модулей. Если вы хотите приобрести оперативную память по вменяемому прайсу или собрать сервер с полной комплектацией, обращайтесь в компанию ServerFlow — мы подберем наиболее оптимальную конфигурацию, соберем сервер, настроим софт и предоставим вам готовое решение, чтобы все работало четко и без компромиссов.