Как SAS экспандеры и NVMe switch помогают оптимизировать дисковую подсистему серверов
- Что такое экспандеры
- Виды и смысл SAS экспандеров
- Рассмотрим на примерах
- PCI-E свитчи, экспандеры
- Преимущества и недостатки экспандеров
- Вывод
Что такое экспандеры
Для подключения большого числа дисковых устройств к серверу применяются специализированные устройства под названием экспандеры. Коротко говоря экспандер это устройство посредник между RAID/HBA контроллером и дисковыми накопителями. Устройство создано с целью оптимизации дисковых подключений посредством уплотненной передачи данных через конечный канал связи. Стоит отметить, что экспандеры существуют для SATA/SAS устройств и NVMe дисков.Одна из главных задач экспандера - представить возможность подключения большего числа дисков к контроллеру нежели чем это возможно в рамках прямого подключения.
Виды и смысл SAS экспандеров.
Самый распространенный тип экспандеров. Как правило, такого типа устройства вы можете заметить:
- На бэкплейне(объединительной плате для подключения дисков). Распознать наличие экспандера можно по наличию массивного радиатора. Наличие экспандера на бэкплейне дает возможность подключать все диски при помощи одного SFF кабеля.
Бекплеин SuperMicro BPN-SAS3-826-EL1 снабженный экспандером LSI 12Gb/s
- В виде платы расширений PCI-E. Как правило они напоминают HBA контроллер с большим количеством портов SFF. Дают возможность соединять многочисленные сегменты дисковой системы и контроллер.
Экспандер HP 761879-001 на базе чипа Adaptec AEC-83605 в виде платы расширений PCI-E
Рассмотрим на примерах.
Вы имеете 12 SSD накопителей SATA 6GB/s, бекплеин SAS 12Gb/s с экспандером, RAID контроллер с одним SFF8643 12GB/s портом. Приступим к расчетам:Скорость дисков 6 гигабит ≈ 550 мб/с, пропускная способность портов бекплеина 12 гигабит ≈ 1100 мб/с, интерфейс SFF8643 имеет 4 линка SAS 12Gb/s соответственно способен проводить ≈ 4400 мб/c.
Для подключения без потерь 12x SSD нам потребуется канал в 6.6 Гб/с. В нашем случае экспандер “сложит” все 12 дисков в один линк SFF8643 с пропускной способностью в 4400 мб/c, что снижает скорости дисков на 33%.
Смысл экспандера в этой сборке заключается в снижении издержек на приобретение более дорогого RAID контроллера с несколькими портами SFF. Экспандер позволил провести 12 каналов SATA 6Gb/s через 4 канала SAS 12GB/s посредством одного кабеля SFF8643.
Визуализация работы экспандера в проведении 12 каналов SATA 6Gb/s через 4 канала SAS 12Gb/s с помощью одного кабеля SFF8643
Рассмотрим пример более сложной дисковой системы. Шасси Supermicro CSE847 имеет сразу два беклпеина с экспандерами, что позволяет подключить 36 дисков. Представьте ситуацию если бы все 36 дисков были бы подключены прямым подключением, для подключения такой конфигурации потребовалось бы около 4-5 HBA/RAID контроллеров, что значительно бы затруднило построение системы.
Интересной особенностью CSE847 является каскадирование, т.е. подключение экспандеров по цепочке к контроллеру. Безусловно такая схема снижает быстродействие дисковых массивов, но дает возможность масштабировать системы. Благодаря наличию экспандеров, все диски в CSE847 могут быть подключены в один контроллер.
Интересной особенностью CSE847 является каскадирование, т.е. подключение экспандеров по цепочке к контроллеру. Безусловно такая схема снижает быстродействие дисковых массивов, но дает возможность масштабировать системы. Благодаря наличию экспандеров, все диски в CSE847 могут быть подключены в один контроллер.
Визуализация работы экспандеров в подключении дисков CSE847 к одному RAID контроллеру с помощью одного кабеля SFF8643
Системы HP DL380Gen10 в дисковых конфигурациях на 16-24 диска также снабжаются фирменным экспандером HPE, для осуществления подключения всех 24 дисков в RAID контроллер и создания единой RAID конфигурации. Экспандер HP 761879-001 на базе чипа Adaptec AEC-83605 дает возможность подключить все 24 дисковые корзины в RAID контроллер с поддержкой только 8 прямых подключений. Это происходит за счет “уплотнения” канала передачи данных SAS. Главным плюсом такой схемы подключения является консолидация дисков в рамках одного RAID контроллера. Вы сможете строить RAID конфигурации сразу из 24 накопителей, что значительно расширяет ваши возможности.
Визуализация работы экспандера в сервере HP DL380Gen10
Внешний вид Broadcom P411W-32P напоминает обычную плату расширений PCI-E. В частности HBA контроллер. Если углубиться в тематику, то PCI-E Switch можно назвать HBA контроллером NVMe с расширенными возможностями. Поскольку он способен сразу адресовать устройства в шину PCI-E вашего сервера, что по сути является Host Bus функционалом.
PCI-E свитчи, экспандеры
В случае если ваш сервер оборудован большим числом U.2 или U.3 накопителей, вам может потребоваться специализированное устройство под названием NVMe свич. Компания Broadcom выпускает плату расширений Broadcom P411W-32P которая дает возможность подключить до 32 NVMe накопителей в слот PCI-E 4.0 X16. Таким образом PCI-E свич способен подключить большее число NVMe накопителей нежели чем вы бы могли подключить напрямую. Свич в режиме реального времени “делит” линии PCI-E между устройствами NVMe.NVMe Switch Broadcom P411W-32P выполненный в виде низкопрофильной платы расширений
Внешний вид Broadcom P411W-32P напоминает обычную плату расширений PCI-E. В частности HBA контроллер. Если углубиться в тематику, то PCI-E Switch можно назвать HBA контроллером NVMe с расширенными возможностями. Поскольку он способен сразу адресовать устройства в шину PCI-E вашего сервера, что по сути является Host Bus функционалом.
| 4 диска | Четыре диска на шине 4x PCI-E 4.0. Без потерь в скорости.(аналог режима бифуркации) |
| 8 дисков | Восемь дисков на шине 4x PCI-E 4.0. С адаптивным переключением линий PCI-E |
| 16 дисков | Шестнадцать дисков на шине 2x PCI-E 4.0. С адаптивным переключением линий PCI-E |
| 32 диска | 32 диска на шине 1x PCI-E 4.0. С адаптивным переключением линий PCI-E |
NVMe Switch дал возможность создавать AllFlash хранилища без существенных потерь в производительности. Ниша активно развивается, ожидается выход на рынок устройств основанных на PCI-E 5.0. В такого рода серверах PCI Switch может быть выполнен в виде мезанинной платы крепящейся к беклпеину или вовсе быть распаянным на материнской плате.
В рамках примера мы создали для вас слайд с системой Supermicro Storage SuperServer SSG-136R-4MU32JBF. Главным преимуществом этой системы является возможность подключения 32 шт. SSD U.2 или U.3. Для подключения столь большого числа накопителей в системе используются - PCI Switch. Устройства которые в режиме реального времени делят линии PCI-E между накопителями. Сервер поставляется в виде полноценной системы на базе платы Supermicro X12DPU-6 или в виде дисковой полки с обширным числом внешних подключений SFF8674.
В рамках примера мы создали для вас слайд с системой Supermicro Storage SuperServer SSG-136R-4MU32JBF. Главным преимуществом этой системы является возможность подключения 32 шт. SSD U.2 или U.3. Для подключения столь большого числа накопителей в системе используются - PCI Switch. Устройства которые в режиме реального времени делят линии PCI-E между накопителями. Сервер поставляется в виде полноценной системы на базе платы Supermicro X12DPU-6 или в виде дисковой полки с обширным числом внешних подключений SFF8674.
Визуализация работы PCI Switch в сервере Supermicro Storage SuperServer SSG-136R-4MU32JBF
Преимущества и недостатки экспандеров
Преимущества:
- Экономия на RAID / HBA контроллерах за счет возможности коммутации меньшим числом кабелей
- Расширение максимально возможного количества дисков к контроллер
Недостатки Экспандеров:
- Вероятное снижение пропускной способности дисков за счет деления пропускной способности интерфейса
- Введение дополнительной точки отказа в систему
Ведущие производители экспандеров
Рынок экспандеров крайне не широк. По большей части на рынке представлены всего два крупных игрока.- Broadcom(Avago, LSI) - самый масштабный производитель этого рода устройств. Вы могли встретить их на бекплеинах SuperMicro под названиями - sas3x36, sas3x40, sas2x28, sas2x36.
- Microsemi(Adaptec) - чаще встречается в виде PCI-E платы для расширения дисковой подсистемы. К популярным моделям можно отнести - AEC-82885T и AEC-83605.
- Intel, HPE, DELL, Lenovo, Supermicro и другие - эксплуатируют разработки Broadcom и Microsemi. Часто их продукты имеют уникальную маркировку. Но на деле под радиатором стоит процессор от вышеуказанных компаний лидеров отрасли.
Пример подключения бекплеина с экспандером в шасси Supermicro CSE826
Вывод
Экспандеры позволили создавать более гибкие дисковые подсистемы в серверах и СХД. Наиболее актуальным сценарием для приобретения экспандера являются сервера с 16 и более дисковыми корзинами, где затруднительно коммутировать все диски в один контролер ввиду отсутствия возможности прямого подключения. Экcпандеры используются повсеместно, внедрение спецификации SAS4 только в большей степени популяризировало этот формат устройств. Столь высокая популярность экспандеров в рамках протоколов SAS связана с его топологией, она изначально задумывалась с учетом iSCSI адресации и деления канала на части, ввиду чего является идеальной средой для работы этого типа устройств. NVMe накопители также нуждаются в подобного рода устройствах и ведущие мировые производители активно разрабатывают устройства NVMe Switch.
