Уровни Tier ЦОД — что это такое и зачем сертифицировать дата-центры

Вы когда-нибудь задумывались, что происходит с серверами после покупки? Представьте: вы позвонили в ServerFlow, поговорили с менеджером, выбрали топовую сборочку и получили заветное железо на руки, но что же делать дальше? А дальше нужно создать такие условия, чтобы сервер мог работать бесперебойно в режиме 24/7 — никаких простоев, никаких заминок, только максимальный аптайм без компромиссов. Это бич всей серверной индустрии: отключился сервер — значит упал сайт, упал 1С, и ваш бизнес заглох. Чтобы не допустить такого исхода, есть два варианта: разместить железо в серверной комнате или поставить его на колокейшн в ЦОД. Первый вариант — отдельная и многогранная тема, которую мы уже разжевали ранее. А вот про ЦОД поговорим подробнее, ведь просто сдать сервер в ближайший дата-центр недостаточно — его еще нужно правильно выбрать, чтобы минимизировать вероятность простоя. А выбирать ЦОД стоит по параметру, известному как Tier. Впервые слышите про это? Не переживайте, ведь сегодня специалисты компании ServerFlow расскажут вам, что такое уровни Tier дата-центров, какими они бывают и как ЦОД получают эту стандартизацию.

Система Tier — это глобальный стандарт классификации дата-центров по уровню аптайма или, если по нашему, количества времени непрерывной работы ЦОД, напрямую указывающего на уровень отказоустойчивости серверной инфраструктуры. Важно не путать показатели аптайма и времени простоя (даунтайм) — первый обозначает то время, когда дата-центр работает в полном объеме и поддерживает работу серверного оборудования, а второй, наоборот, обозначает время, когда дата-центр лежит и размещенные в нем сервера не работают (простаивают). Оба показателя влияют на повышение или понижение уровня Tier ЦОД, но выдается спецификация далеко не только за счет этих факторов.

Сама система Tier была разработана еще в далеком 1996 году американской компанией Uptime Institute, которая с 1993 года занималась вопросами надежности ведения IT-бизнеса и проектирования дата-центров. За время своего существования, Uptime Institute собрала большой багаж знаний об основных болях своих клиентах и характеристиках дата-центров того времени, и решила использовать накопленную информацию, чтобы устранить главную проблему колокейшн бизнеса — декларативную рекламу. До появления спецификаций Tier, в индустрии царил хаос: каждый оператор называл свой дата-центр самым надежным, самым передовым и самым автономным, но никаких единых критериев не существовало, поэтому за ширмой маркетинга скрывались ЦОД с посредственной отказоустойчивостью. Но с приходом Uptime Institute этой сумятице пришел конец, и дата-центры наконец-то получили всеобщую стандартизацию по уровню надежности, которая живет до сих пор.

Как вы понимаете, получить хоть какой-то Tier по стандарту Uptime Institute крайне сложно — компания разработала сразу три программы сертификации ЦОД, которые определяют уровень Tier дата-центра на разных стадиях его жизненного цикла.

• Первый этап — сертификация проекта (Tier Certification of Design Documents). На этой стадии эксперты оценивают проектную документацию: схемы электроснабжения, трассировку трубопроводов, планы резервирования, заложенные инженерные решения, мощность и архитектуру объекта. Проверяется, что все элементы спроектированы в соответствии с требованиями выбранного уровня Tier. Если документация удовлетворяет стандартам, проект получает предварительный сертификат, подтверждающий, что проектные решения заложены корректно;
• Второй этап — сертификация строительства (Tier Certification of Constructed Facility). Здесь проводится проверка, что объект построен в точном соответствии с проектной документацией, уже прошедшей сертификацию. Эксперты выезжают на готовую площадку и проводят демонстрацию ключевых систем в реальных условиях: отключают вводные автоматы, запускают дизель-генераторы под нагрузкой, моделируют отказ системы охлаждения, проверяют срабатывание автоматики и работу резервных телекоммуникационных систем. Только после успешных испытаний построенный объект получает сертификат соответствия;
• Третий, самый долгий и сложный этап — сертификация эксплуатационной устойчивости (Tier Certification of Operational Sustainability). Это всесторонняя оценка практики управления и эксплуатации объекта. Аудиторы изучают квалификацию персонала, регламенты технического обслуживания, систему обучения сотрудников, документооборот, планирование аварийных работ. Главная задача этого этапа — выявить проблемы, которые могут поставить под угрозу надежность на дальнем горизонте.

Важный нюанс: сертифицируется не компания-оператор, а конкретная площадка, так как у одного провайдера могут быть дата-центры разных уровней и в совершенно разных локациях.

Помимо проектных требований к инфраструктуре ЦОД, сертификация Tier также учитывает соответствие конкретным планкам аптайма и времени простоя, и в зависимости от них определяется реальный уровень дата-центра:

То есть, инфраструктура ЦОД может полностью соответствовать заявленному уровню Tier, но если время аптайма и простоя не проходит требованиям Uptime Institute, то Tier не дадут. Такие вот жесткие правила, и именно благодаря этому сертификация Tier считается гарантом качества дата-центров. А теперь давайте еще больше углубимся в требования Uptime Institute и подробно разберем, что должно быть у ЦОД, чтобы он получил тот или иной Tier.

Tier I — минимальный порог входа в индустрию ЦОД. Дата-центр уровня Tier I можно выстроить буквально в подвале собственного дома или в своем офисе.

• Электропитание: один нерезервируемый путь энергообеспечения. На объект заходит один силовой ввод от электросети, нет резервной линии от другой подстанции, используется один ИБП (как правило, централизованный или распределенный, но без резерва). Распределительные шкафы и силовые выходы в машинном зале также единичны, без дублирования;
• Резервное питание: дизель-генератор может быть установлен, но в единственном экземпляре и часто не имеет автоматического запуска — его запускают вручную при длительном отключении;
• Охлаждение:  система выполнена без резервирования: один чиллер, один контур, один насос;
• Сетевой ввод: обычно представлен одним каналом связи без кольцевания и диверсификации провайдеров. 

Любая плановая работа или отказ узла в ЦОД Tier I приводит к остановке всей нагрузки. Вопреки логике, таких дата-центров буквально единицы, так как для получения даже сертификации начального уровня нужно отвалить десятки тысяч долларов, и владельцам инфраструктур с подобными условиями отказоустойчивости такое точно не по карману. 

Tier II — уже покруче, но отличия от Tier I в основном завязаны на добавлении резервирования основных инженерных систем.

• Электропитание: все так же завязано на один силовой канал, но внутри объекта появляются резервируемые элементы. ИБП строится по схеме N+1 (один дополнительный источник сверх необходимых), что позволяет пережить выход из строя одного источника питания без потери подачи электроэнергии;
• Резервное питание: Дизель-генераторная установка может быть выполнена с резервным агрегатом по той же логике N+1;
• Охлаждение: система имеет резервные компрессоры или вентиляторы (снова N+1), но контур охлаждения или общий коллектор остаются единичными;
• Сетевой ввод: может включать второго оператора, но входы физически не распределены и идут по одному каналу (повредят рабочие на стройке = серверы упадут). 

Плановое обслуживание распределительных устройств по-прежнему требует полного или частичного отключения нагрузки. Таких ЦОД уже побольше — например, в РФ их от 180 до 250 штук.

Tier III — первый уровень, позволяющий проводить плановые работы без остановки IT-оборудования. Это достигается за счет нескольких независимых путей распределения электроэнергии и охлаждения, хотя активен обычно один (схема с автоматическим переключением на резервный путь). 

• Электропитание: обеспечивается двумя независимыми силовыми вводами от разных подстанций или одним сетевым вводом и гарантированным питанием от собственной генерации. ИБП строятся по двухканальной архитектуре: два параллельных канала, каждый со своим комплектом батарей и силовой электроникой. В каждом канале применяется резервирование N+1;
• Резервное питание: дизель-генераторные установки резервируются по схеме N+1 (или выше), при этом топливные емкости и системы запуска также дублированы. Распределительные щиты и силовые выходы в стойках подключены к обоим каналам;
• Система охлаждения: также имеет два независимых контура: два чиллера, два насоса, две трассы. Каждый компонент внутри контура резервируется по N+1, поэтому выход из строя одного элемента или плановый ремонт не влияют на температуру в зале со стойками;
• Сетевой ввод: осуществляется через два физически разнесенных входа в здание, с разными внешними магистралями. Это позволяет пережить обрыв одного кабеля или аварию у одного оператора. А количество самих операторов уже может исчисляться десятками.

В РФ насчитывается более 150 дата-центров, сертифицированных по стандарту Tier III.

Tier IV — настоящий Олимп по уровню отказоустойчивости. Такой дата-центр способен выдержать любой одиночный отказ без какого-либо влияния на нагрузку, даже в момент критической аварии. Все системы дублированы и физически разделены на независимые каналы, работающие одновременно (2N или 2N+1). 

• Электроснабжение: поступает от двух независимых подстанций по двум географически разнесенным линиям. ИБП — это два полностью изолированных блока, каждый со своим N+1 резервированием, и оба работают параллельно; 
• Резервное питание: дизель-генераторные группы выполнены по схеме 2N: два полностью автономных комплекта, способных каждый нести 100% нагрузки объекта, с независимыми системами запуска и топливными баками. Распределительные сети полностью дублированы от ввода до каждой стойки. Автоматический ввод резерва применяется только как дополнительная страховка на низком уровне; на высоком уровне используются статические или механические системы мгновенного переключения;
• Система охлаждения: также строится по принципу 2N: два независимых холодильных центра, каждый из которых способен отводить все тепло от максимальной нагрузки. Чиллеры, насосные станции, сухие градирни, трассы — все удвоено. Дополнительно внутри каждого контура реализовано N+1;
• Сетевой ввод: не просто раздвоен, а выполнен так, что выход из строя одного из двух аппаратных залов (включая его сетевые узлы) не прерывает связность. 

Важно понимать, что Tier IV — это уровень не для бизнеса, а для критически важной инфраструктуры: банковский процессинг, атомная энергетика, военные и аэрокосмические комплексы. В РФ есть всего один ЦОД уровня Tier IV — “Москва-2” (Д9), который работает на нужды компании “Атомдата”, входящей в структуру “Росатома”.

Сертификация Tier — это, конечно, очень мощный ориентир, но он совершенно не должен быть единственным критерием выбора, и вот почему:

• Во-первых, сертификат получает не каждый достойный ЦОД: процедура очень дорогая — от $50 000 до $150 000 в зависимости от масштаба дата-центра, мощности, сложности и заявленного уровня. Ввиду этого очевидно, что многие операторы предпочитают строить по стандартам Tier III, при этом проходя формальный аудит и не получая сертификации, либо подают заявку на Tier II, но проектируют инфраструктуру под Tier III. Такие объекты могут быть не хуже сертифицированного, при этом иметь более бюджетную стоимость для арендаторов юнитов, но формального значка у таких инфраструктур нет.
• Во-вторых, Tier описывает только инфраструктурную устойчивость — электричество, охлаждение, сетевые вводы. За скобками остаются такие вещи, как физическая охрана, квалификация дежурной смены, связь с другими ЦОД, качество и количество оптических каналов и задержки для конечных пользователей. Можно арендовать стойку в Tier IV и уронить сервис из-за того, что админ ошибся в настройках BIOS.
• В третьих, выбор уровня должен диктоваться бизнес-требованиями, а не желанием “взять самое лучшее”. Разница в цене между Tier III и Tier IV колоссальна, а бизнес может вообще никак не заметить разницу между 1,6 часами и 26 минутами простоя в год.

В общем, уровень Tier — отличный фильтр на этапе отбора, но окончательное решение всегда стоит принимать, посетив площадку лично, пообщавшись с ее инженерами и четко оценив потребности вашего бизнеса.

Система Tier дала индустрии ЦОД единый язык, на котором заказчик и оператор могут обсуждать надежность без ширмы маркетинга. Четыре уровня четко ранжируют площадки по способности держать планку надежности: от базового Tier I, который можно построить даже в подвале офиса, до неубиваемого Tier IV, способного пережить, наверное, даже удар астероида. Для большинства бизнесов оптимален Tier III — он дает достаточную отказоустойчивость при вменяемых затратах. Но каким бы ни был уровень дата-центра, помните: сертификат подтверждает качество площадки, а не качество вашего сервиса. Выбирайте с умом, тестируйте инфраструктуру и всегда имейте план “Б”, и тогда купленный в ServerFlow сервер прослужит вам верой и правдой долгие годы. Ну, или просто поставьте его в собственной серверной комнате, так тоже будет неплохо.