Sideband и SGPIO в Supermicro: как работает подключение backplane и зачем нужны Sideband-кабеля

Многие системные администраторы неоднократно сталкивались с загадочной ситуацией при сборке или обслуживании сервера Supermicro без SAS-экспандера: все диски прекрасно определяются в BIOS или операционной системе, массив RAID функционирует штатно, но ни одна сигнальная лампочка на лицевой панели бэкплейна не загорается. Не мигает индикатор активности, не светится локатор, да и вообще ничего не светится, что делает быструю диагностику и обслуживание дисков крайне неудобной задачей. В чем же дело? Неужели полетели светодиоды? Да и разве они могли сломаться все сразу? На самом деле, в 90% случаев проблема кроется в отсутствии или неправильном подключении одного скромного, но критически важного компонента — sideband кабеля, передающего сигналы по протоколу SGPIO. В этой статье специалисты компании ServerFlow расскажут вам, что такое sideband подключение и sideband кабеля, зачем они нужны и как устроена технология индикации на бэкпейне.

SGPIO (Serial General Purpose I/O) — это последовательный интерфейс и одноименный четырехлинейный протокол, который не похож на типичные SCSI или SATA. Он передает от материнской платы или контроллера на бэкплейн команды для светодиодов: “мигай при активности”, “включи красный при ошибке”, “подсвети синим для идентификации”. Именно поэтому без SGPIO не мигают лампочки HDD — у бэкплейна просто нет источника команд для управления ими. SGPIO также часто называют "sideband" — параллельным каналом, который идет не по основному SAS/SATA кабелю, а отдельно, обычно рядом Mini-SAS портом. В системах Supermicro sideband стал де-факто стандартом: когда у бэкплейна нет своего "мозга", SGPIO передает от контроллера к светодиодам то, что контроллер понимает о состоянии дисков. А если такого канала нет, индикации тоже не будет.

Некоторые Supermicro backplane, например серии BPN-SAS2-TQ или BPN-SAS3-TQ — построены по принципу expander-less backplane. Это означает, что каждый диск напрямую подключается к материнской плате или HBA. В отличие от продвинутых бэкплейнов с SAS-экпандером, здесь нет логического устройства, которое бы управляло портами, объединяло каналы или передавало служебные данные контроллеру. 

RAID-контроллер или чипсет может работать с такими дисками напрямую — читать, писать, формировать RAID. Но передавать сигналы на LED они не умеют. Вот почему в этих устройствах появляется интерфейс sideband, который может:

• Получать сигналы SClock, SLoad, SDataIn и SDataOut;
• Синхронизировать состояние дисков с LED-лампочками на каждом слоте;
• Обеспечивать отображение активности, состояний Locate, Fault или Rebuild.

SGPIO — протокол последовательный, компактный, и хотя внешне он напоминает I2C, он не имеет с ним общих черт: фиксированные такты, строгое направление передачи данных, жестко определенные циклы. Телеметрия на минималках, если так можно выразиться.

У Supermicro есть длинная история построения бюджетных серверов на базе Intel LGA2011/2011-3. Чипсеты тех эпох (C602, C612, частично PCH для Haswell/Broadwell) имели встроенные SATA-порты и базовый AHCI/RAID. Материка могла управлять дисками напрямую, но не могла управлять LED, потому что прямого сигнального выхода на бэкплейн не существовало. Поэтому и появился SGPIO, который может принимать сигналы от чипсета, передавать их на бэкплейн, а бэкплейн передавал их к LED. Если в конфигурации используется HBA-контроллер, например LSI 9211-8i, 9300-8i, 9311-8i, то ситуация почти не меняется. У большинства плат с чипами LSI предусмотрен собственный SGPIO header. Через него контроллер может выводить активность, ошибки и события RAID, и бэкплейн будет корректно отображать все это. Если же экспандер есть (например знаменитый BPN-SAS3-826EL1/EL2 или SAS3-846EL1/EL2), то SGPIO не нужен: вся логика индикаторов находится внутри экспандера, и он сам общается с RAID-контроллером через SAS-канал.

Не каждый SAS/SATA/Mini-SAS кабель способен пробрасывать сигналы SGPIO. Это очень важный момент, на который многие не обращают внимания: можно подключить диски, все будет работать, но никакая лампочка не загорится. Поэтому Supermicro выпускает множество версий кабелей, и многие модели отличаются только наличием или отсутствием SGPIO.

Самые известные варианты: CBL-0157L-01, а также многочисленные кабели SFF-8087, SFF-8643, SFF-8654 и другие SFF-кабели с sideband support. Их можно узнать по дополнительным проводникам и маркировке "SGPIO" или "SIDEBAND".

Вот три основных признака sideband-кабеля:

• Наличие отдельной маленькой JST-колодки на 4-8 пинов — именно она и является sideband-коннектором.
• Дополнительный тонкий жгут идущий параллельно основному SAS-проводу — его легко заметить у supermicro sideband-кабеля.
• Надпись SGPIO/SIDEBAND на термоусадке вблизи разъема.

Если у кабеля, кроме обычного Mini-SAS коннектора, есть дополнительная белая или черная JST-колодка, значит это sgpio кабель supermicro. Если такой колодки нет — это обычный кабель без sideband линии.

SGPIO и sideband, конечно, не играют критически важной роли в работе серверной системы, но от них зависит намного больше, чем кажется на первый взгляд — удобство мониторинга жизнеспособности HDD-дисков. Пока sideband соединяет контроллер и бэкплейн, индикаторы ведут себя так, как и должны: мигают активности, загораются ошибки, подсвечивается Locate, корзина остается “живой” и понятной для администратора. Стоит убрать sideband-кабель — и система будто теряет голос: диски работают, но никакого визуального отклика нет. Именно поэтому корректное подключение sideband — не формальная опция, а критически важная часть expander-less backplane. Не пренебрегайте возможностью добавить мониторинг визуального состояния дисков, и ваш системный администратор скажет вам спасибо.