Что такое SAS-экспандеры и как они помогают подключить больше дисков к серверу

Сервер — это вычислительное устройство. А для вычислений нужны данные. Очень много данных. И чем мощнее становятся процессоры, которые обрабатывают все эти данные, тем острее проблема: где хранить столько информации, если даже самый топовый RAID-контроллер физически может потянуть только 24 диска? Кто-то скажет: “Возьмем M.2 — компактно, быстро, вместительно, и подключается через PCIe”. Но даже если под завязку забить сервер M.2 дисками, объема все равно будет критически не хватать, особенно для компаний, которым необходимо хранить данные долгие годы: банки, государственные организации или те же архивы видеонаблюдения — не проще ли покупать диски с наилучшим соотношением цены к объему, не переплачивая за отдельные, дорогостоящие накопители. Так как же подключить столько дисков, чтобы обеспечить сервер нужной емкостью памяти, если портов на контроллере всего ничего, а в корзине много дисков просто не поместится? Ответ: SAS-экспандеры — устройства, которые позволяют всего одному RAID-контроллеру управлять десятками и сотнями накопителей одновременно. В этой статье специалисты компании ServerFlow расскажут, что такое SAS-экспандеры, как они работают, зачем они нужны и где применяются.

SAS-экспандер — это специализированное устройство, которое по своему принципу работы напоминает сетевой коммутатор, только предназначены экспандеры не для интернет трафика, а для шины SAS. Экспандеры служат центральным узлом коммутации между RAID-контроллером и дисковыми накопителями, распределяя потоки данных и управляя адресацией устройств. По сути, SAS-экспандер как бы выступает посредником между RAID или HBA-контроллером и дисками, позволяя всего одному контроллеру управлять намного большим количеством накопителей, чем у него есть физических портов. Без экспандера даже самые дорогостоящие контроллеры могут обслуживать строго ограниченное число дисков — обычно 4, 8, 16 или в лучших конфигурациях 24, в зависимости от типа порта и версии SAS. С SAS-экспандером эта физическая граница полностью стирается. Даже если на контроллере всего 2 или 3 порта SFF 8654-8i или MCIO x8, с помощью экспандеров можно подключить десятки, а при каскадировании — сотни дисков. Причем поддерживаются как SAS, так и SATA накопители, что дает гибкость при комплектации сервера: можно использовать более дорогие SAS для критичных задач и более доступные SATA для архивов и бэкапов.

В основе работы экспандера лежит специализированный ASIC-чип. Именно такие чипы используются в сетевых коммутаторах: они занимаются маршрутизацией пакетов данных между входными портами (со стороны контроллера) и выходными портами (со стороны дисков). Этот же чип обеспечивает адресацию большого количества устройств, управляет очередями команд и выполняет буферизацию данных, прямо как коммутатор.

Существует два основных типа исполнения SAS-экспандеров.

• Первый и самый распространенный — SAS-экспандер, встроенный в бэкплейн. Его легко распознать по наличию массивного радиатора, отводящего тепло от ASIC-чипа. Такое решение позволяет подключать все диски корзины всего одним или двумя SFF-кабелями от контроллера, что радикально упрощает сборку сервера, упрощает кабель-менеджмент и в целом позволяет экономить на прокладке проводов. Кроме того, бэкплейны с SAS-экспандерами позволяют выполнять каскадирование: подключать несколько бэкплейнов последовательно, прямо как в обычных сетевых топологиях, где один свич соединяется с другим.

• Второй тип — SAS-экспандер в виде платы расширения PCIe. Внешне такая плата смахивает на HBA-контроллер, но вместо процессора RAID на ней установлен ASIC-чип и несколько внешних портов SFF. Плата использует слот PCIe только для питания и механической фиксации, передача данных по шине PCI-E при этом не происходит — всю коммутацию берет на себя чип SAS-экспандера. Такие платы применяются для соединения нескольких дисковых корзин между собой или для организации сложных многопутевых конфигураций с резервированием хранилища.

SAS-экспандер в виде платы расширения PCIe.

Зачем нужны SAS-экспандеры?

Чтобы по-настоящему оценить насколько полезны SAS-экспандеры, нужно рассмотреть тривиальный, но показательный пример. Возьмем RAID-контроллер MegaRAID 9560-16i. У него два порта SFF-8654 (8i), каждый из которых способен передавать данные на 8 накопителей SAS/SATA. Суммарно напрямую к этому контроллеру можно подключить всего лишь 16 дисков, чего будет крайне недостаточно. И это при том, что сам контроллер позиционируется как решение для среднего и крупного бизнеса.

Однако производитель заявляет, что MegaRAID 9560-16i поддерживает аж 240 логических устройств. Что же это значит? Как же подключить к контроллеру не одну сотню накопителей, если портов раз-два и обчелся? Вот тут то и раскрывают свою суть наш SAS-экспандер. При его подключении, контроллер будет видеть не отдельные диски, а и еще сам SAS-экспандер (в системе он будет обозначаться как enclosure), который возьмет на себя управлением большим количеством накопителей, адресуя сотни дисков на контроллер.

Однако, просто взять и присобачить к серверу 240 HDD не получится, и вот почему. SAS-экспандер подключается к контроллеру через 16 линков с пропускной способностью 12 Гбит/с каждый. Суммарная пропускная способность аплинка составляет 192 Гбит/с. Но если начать читать все доступные логические подключения (потенциальные 240 шт.), то суммарная скорость каждого отдельного диска будет ограничена пропускной способностью аплинка. В пересчете на один диск это может дать всего 0,8 Гбит/с (100 МБ/с). Согласитесь, это ниже линейной скорости любого современного HDD, а уж про SSD и говорить нечего. Многие из вас, возможно, подумают: “А смысл тогда покупать эти SAS-экспандеры? Толку пичкать в сервер кучу HDD, если он порежет всю скорость?”

Тут важно понять, что смысл применения экспандера заключается не в увеличении линейной скорости каждого диска, и уж точно не в том, чтобы разогнать систему до космических скоростей. Его задача — возможность адресовать большое количество логических устройств одним контроллером. Для сценариев, где важна емкость хранения, а не пиковая производительность всех дисков одновременно, это самое оптимальное решение. Согласитесь, 240 дисков в одном массиве — это исключительная возможность, которую не предоставляет ни один RAID-контроллер напрямую. Вы даже можете объединить весь массив в один большой RAID 5, накинув надежности и скорости — так, конечно, никто не делает, но согласитесь, круто же!

Даже если взять самый топовый контроллер MegaRAID 9670-24i, то ситуация не изменится. У него три коннектора, что позволяет подключить напрямую 24 диска, и этого все равно недостаточно для плотных серверных конфигураций, где используются корзины на 60, 72 или даже 90 отсеков. Без экспандера в таких системах просто не обойтись. Компания Supermicro, например, делает системы с вертикальной загрузкой по 90 дисков в 4U корпусе. Сколько бы RAID-контроллеров пришлось туда устанавливать, если бы не было экспандеров? Представьте себе материнскую плату, на которой распаяны 12-15 HBA-контроллеров, и все они должны быть как-то подключены к дискам, а столько линий PCIe для нее бы понадобилось? Это не только невозможно технически, но и бессмысленно экономически. И это понимают не только конечные потребители, но и производители серверов.

Когда требуется подключить еще больше дисков, чем дает один SAS-экспандер, применяется каскадирование — последовательное подключение одного экспандера к другому. Это позволяет строить иерархические структуры хранения данных, масштабируемые до тысяч накопителей, сохраняя при этом централизованное управление от одного или двух контроллеров. Такие конфигурации встречаются в крупных ЦОД, где на одной головной паре контроллеров висят десятки дисковых полок.

Рынок SAS-контроллеров и экспандеров за последние 15 лет прошел через серьезную консолидацию. Компания Broadcom фактически стала монополистом в этой области. Сначала LSI была крупным игроком на рынке контроллеров и процессоров хранения. Потом Avago Technologies выкупила LSI, а затем уже Broadcom приобрела Avago. В результате всех этих слияний под крышей Broadcom оказались ключевые линейки продуктов: SAS-контроллеры MegaRAID, SAS-экспандеры, а также интеллектуальное ПО и драйверы.

Важно понимать специфику бизнеса Broadcom. Эта компания не ориентирована на продажу готовых устройств конечным пользователям. Их бизнес-модель строится на OEM-партнерстве. Крупные производители серверов и компонентов: Dell, HPE, Lenovo, Supermicro — закупают чипы Broadcom и распаивают их на своих материнских платах, бэкплейнах и платах расширения.

Второй значимый производитель — Microsemi, ныне входящая в Microchip Technology. В определенный период Microsemi даже опережала Broadcom по некоторым технологическим решениям, например, в области поддержки передовых спецификаций SAS. Их чипы тоже можно встретить в серверных бэкплейнах и платах расширения, хотя доля рынка Microsemi заметно меньше.

Других производителей фундаментальных ASIC-чипов для SAS-экспандеров на рынке фактически не существует. Все готовые продукты, которые можно купить в виде плат расширения или в составе серверных корзин, построены либо на чипах Broadcom, либо на чипах Microsemi. Остальные компании (включая Intel, Lenovo, HP, Dell) лишь разрабатывают печатные платы, систему охлаждения и прошивку.

Отдельного упоминания заслуживают SAS-коммутаторы, которые в свое время компания LSI (еще до поглощения Avago). Да, такие устройства тоже существовали. Это были полноценные свитчи для построения сетей хранения данных на базе SAS. Они позволяли коммутировать трафик между десятками серверов и сотнями дисковых полок, работая на уровне протокола SAS. Сейчас эта технология окончательно ушла в небытие.

Любое техническое решение имеет свои сильные и слабые стороны, и SAS-экспандеры не исключение.

Преимущества:

• Экспандеры позволяют подключить десятки и сотни дисков к одному RAID или HBA контроллеру, что кардинально увеличивает максимальную емкость хранения в рамках одного сервера или системы хранения данных. Это их главная и, пожалуй, самая очевидная ценность. Без экспандеров масштабирование упиралось бы в количество физических портов на контроллере, а их всегда ограниченное количество.
• Использование экспандера освобождает дефицитные порты контроллера. Через один порт можно подключить целую корзину с десятками дисков, вместо того чтобы занимать порты каждым накопителем индивидуально. Это упрощает кабельную инфраструктуру и снижает требования к количеству портов на контроллере.
• Архитектура с экспандерами дает гибкость при построении отказоустойчивых систем. Поддерживаются конфигурации dual-path (связь строго по двум физическим линиям) и multipath (объединение разных путей в одну виртуальную связь), где два контроллера одновременно подключены к одному бэкплейну. Если один контроллер выходит из строя, второй продолжает обслуживать диски без прерывания работы.
• Экспандеры обеспечивают унификацию подключения: они позволяют одновременно работать с SAS и SATA дисками в одной корзине. Это значит, что вы можете смешивать типы накопителей, не меняя бэкплейн и не переключая кабели.

Недостатки:

• Все диски, подключенные к SAS-экспандеру, делят между собой пропускную способность аплинка — канала между SAS-экспандером и контроллером. При одновременной интенсивной нагрузке на большое количество накопителей реальная скорость доступа может существенно снизиться. Это критично для высоконагруженных транзакционных систем, где каждый диск должен выдавать максимальную производительность.
• Интеграция SAS-экспандера вносит дополнительную задержку, поскольку данные проходят через промежуточный ASIC-чип. Чип тратит микросекунды на маршрутизацию, буферизацию и обработку команд. Для большинства приложений эта задержка незаметна — она составляет доли миллисекунды. Но в средах с жесткими требованиями к времени отклика, например, в высокочастотной торговле или в некоторых базах данных реального времени, ее необходимо учитывать.
• Проектирование конфигураций с SAS-экспандерами требует тщательного расчета соотношения ресурсов системы и инфраструктуры хранения данных. Неправильный выбор количества дисков на один аплинк может привести к образованию узкого места, которое сведет на нет преимущества от использования быстрых накопителей. Если вы купили по какой-то причине 16 самых передовых SAS-накопителей и подключили их через один экспандер к контроллеру, не удивляйтесь, что под базой данных они работают не так быстро, как ожидалось.

Помните, что если вам нужны максимальные скорости и минимальные задержки, SAS-экспандеры — не ваш инструмент. Для таких сценариев стоит смотреть в сторону NVMe-накопителей, которые подключаются напрямую к шине PCIe, минуя SAS-шину и минимизируя задержки. Но и там есть свои нюансы, о которых мы поговорим в следующей статье.

SAS-экспандеры — главный инструмент масштабирования, когда портов контроллера не хватает, а дисков нужно много. Они позволяют строить системы с сотнями накопителей, сохраняя управление от одного-двух контроллеров. Это критически важно для корпоративных СХД и плотных серверных сборок. Но важно понимать главный нюанс — баланс: чем больше дисков на один аплинк, тем ниже их совместная производительность, поэтому проектировать такие системы нужно с умом. При грамотном подходе SAS-экспандеры дают невероятную гибкость построения системы хранения данных и огромную экономию бюджета. С SAS-экспандерами вам не придется переплачивать за дорогие многопортовые контроллеры. Если вы хотите приобрести SAS-экспандеры и диски для организации эффективной системы хранения, обращайтесь к специалистам компании ServerFlow — мы поможем подобрать лучшую конфигурацию исходя из ваших бизнес-задач и проведем за руку от покупки оборудования до его развертывания в вашей IT-инфраструктуре.