СГЭ — рождение и... перерождение

В начале работ по проектированию системы гарантированного электропитания (СГЭ), на наш взгляд, нужно как можно четче представлять стратегию развития ЦОД либо выработать ее в ходе проекта. Для адекватного выбора оборудования системы СГЭ важно знать, в каком направлении будет развиваться бизнес. Отсутствие такого видения оборачивается порой серьезными негативными последствиями уже в ближайшем будущем.

Сейчас наблюдается тенденция развития старых проектов наряду с построением новых ЦОД, поэтому можно сделать некоторые выводы. Иногда дата-центр формируется путем объединения существующих ИТ-ресурсов различных подразделений компании, которые уже имеют СГЭ. В итоге получается «сборная солянка» с ограниченными возможностями по масштабированию и распределению СГЭ. В этом случае все равно приходится строить единую централизованную систему гарантированного электропитания. Соответственно, возрастают затраты на этапе обеспечения необходимой унификации оборудования.

При проектировании новых СГЭ заказчику с интегратором необходимо внимательно рассмотреть ассортимент продукции, поскольку оборудование разных производителей имеет различную эффективность в зависимости от мощности. Выбор этот также важен и с точки зрения применяемой архитектуры построения системы, ее способности к модернизации, причем в различных направлениях, а также доступности сервисных и постгарантийных программ производителя.

Однако система может подвергаться изменениям не только в случае развития ЦОД, так как будущее достоверно неизвестно никому — жизнь вносит коррективы в, казалось бы, идеально спланированную стратегию развития. Да и бизнес не всегда бывает успешным. Поэтому желательно предусмотреть стратегию ухода. Нужно быть готовым ответить на вопрос: «Какие изменения должны быть произведены в системе электроснабжения при сворачивании направления ЦОД?». Для учета возможности таких изменений важен первоначальный выбор архитектуры СГЭ. Скажем, с точки зрения стоимости трансформаций систему параллельных ИБП легче превратить в несколько систем меньшей мощности, чем систему модульных ИБП, зарезервированных по схеме N+1. А с точки зрения эксплуатации система модульных ИБП занимает меньшую площадь, эффективнее масштабируется, предполагает более легкое обслуживание и ремонт.

Как правило, на всех этапах построения и развития обсуждаемых систем заказчику удобнее и выгоднее работать со специализированным интегратором, получая от него сервисную поддержку на протяжении всего жизненного цикла оборудования.

Когда заранее не знаешь...

Проектирование инфраструктуры ЦОД — инженерная задача, которая каждый раз решается по-разному. Но исходя из нашего опыта, можно выделить некоторые тенденции.

Например, с течением времени мы осознали, что с разных точек зрения, в том числе и по соображениям пожарной безопасности, желательно, чтобы ИБП находился в отдельном помещении. Это позволяет ориентироваться на мощные промышленные решения и не обращать внимания на их массогабаритные характеристики, потому что они находятся не в основном зале.

Мы являемся сторонниками использования моноблочных, а не модульно расширяемых ИБП. Причин для этого несколько. Прежде всего, при строительстве большого дата-центра в модульной расширяемости особого смысла нет. Более целесообразно резервировать устройство целиком, по принципу N+1, то есть — весь ИБП. А экономия денег при покупке модульных решений на практике оказывается мифической. Они, как правило, стоят дороже.

В то же время четкое понимание темпов роста потребляемой мощности дает верное представление, когда и что нужно покупать. Модульные решения интересны в тех случаях, когда заранее не знаешь, в какой момент понадобится расширение. Но коммерческий дата-центр подразумевает наличие очень четкого плана заполняемости. Если же такого плана нет, то покупка модульного ИБП не спасет проект от финансового краха.

Кроме того, при выборе ИБП мы учитываем также возможность получения быстрой и качественной технической поддержки от производителя или интегратора. Но при этом мы редко обращаемся к каким-либо комплексным решениям. Интегратор необходим компаниям, которые строят дата-центр «раз в жизни». Технологическая же компания является сама себе интегратором, и выполняя эту работу, она приобретает колоссальный опыт, который для нее очень и очень важен.

Здесь и проявляется разница в подходах к проектированию коммерческого дата-центра компании, для которой предоставление услуг ЦОД — бизнес, и построением дата-центра для собственных нужд.

«Озеленение» ИБП

В нашей стране не так много ЦОД, хотя о тех, которые сейчас существуют, еще несколько лет назад говорили, как о чем-то труднодостижимом. Сейчас же их количество и востребованность, а главное, мощности, постоянно увеличиваются. Соответственно возрастают и «аппетиты» по потреблению электроэнергии.

Поскольку оборудование ЦОД запитывается через ИБП, очень важным, на мой взгляд, направлением их совершенствования стало увеличение КПД этих устройств. Но здесь есть предел — в частности, для ИБП, работающих в режиме двойного преобразования (Voltage Frequency Independent, VFI), этот параметр составляет 95-96%. Для дальнейшего увеличения КПД сейчас используются иные, так называемые «зеленые» режимы работы. В свое время (1998 г.) на рынке ИБП появились новые решения, в частности, технология двойного цифрового интеллектуального преобразования. При их использовании достигается КПД до 99%, но, к сожалению, неизбежно приходится мириться с определенной нестабильностью напряжения и помехами в нем.

Но разработки не стоят на месте. Совсем недавно появился новый адаптивный эко-режим высокой эффективности и стабилизации напряжения (Voltage Independent, VI), при котором компенсируются колебания входного напряжения и искажения, вызываемые нагрузкой (снижается THDi), и возрастает коэффициент мощности. Этот режим применен в новой серии ИБП Chloride Trinergy. Здесь в единое целое объединены три топологии, позволившие реализовать решение, способное распознавать различные типы помех и выбирать режим работы, наиболее подходящий для устранения конкретного типа помех. IGBT-инвертор, при работе через байпас, используется в качестве активного последовательно-параллельного фильтра. Коэффициент полезного действия в режиме VI достигает значения 98%, но качество выходного напряжения становится значительно выше, чем в режиме VFI, даже в случае значительных искажений в нагрузке и помех в сети.

Единое решение — оптимальный вариант

Поскольку в ЦОД нагрузка по умолчанию критическая, то на первый план выходят такие параметры, как надежность, время восстановления отказоустойчивости. Огромный вес придается гибкости, возможности модификации ИБП при необходимости масштабирования. Поскольку ЦОД достаточно динамично развивающийся объект, фактически редкий пользователь может заранее сказать, каким образом ему придется увеличивать мощность этого ЦОД.

Дата-центры строятся не на один-два года, а на более значимый срок — до 10-15 лет. При этом сроки бизнес-планирования не достигают таких границ. Поэтому для пользователей важно получить возможность модернизации системы в будущем без потери ее отказоустойчивости, и на первый план выходит необходимость определения «потолка» роста мощности системы.

Следующим важным фактором, который в последнее время вышел на первый план, является время, необходимое на ремонт оборудования — так называемый MTTR (Mean Time To Recovery).

Все эти факторы отодвигают начальные капитальные затраты на второй план и выстраивают целевую функцию по общей стоимости владения решением. Заказчику и интегратору, которые хотят ввести в эксплуатацию качественный ЦОД за приемлемый отрезок времени, становится важной связность «по умолчанию» различных элементов системы в рамках единого решения. К примеру, систем бесперебойного питания, распределения питания, кондиционирования, мониторинга и централизованной системы управления. Таким образом, требование по сокращению сроков проектирования и ввода в эксплуатацию ЦОД делает востребованными комплексные решения от одного производителя, не просто декларирующего подобный системный подход, но и имеющего достаточно большой опыт практических инсталляций в Украине.

Простота, функциональность, экономичность

При выборе центральных ИБП для ЦОД, которые осуществляют защиту всей инфраструктуры с необходимой избыточностью, главным критерием является надежность ИБП. Источник бесперебойного питания должен иметь высокую степень наработки на отказ, как правило, это 200 тыс. часов и больше. Он должен быть высокоэффективным, функциональным, простым в управлении и эксплуатации, с доступным пользовательским интерфейсом.

Функциональность ИБП должна обеспечиваться поддержкой основных режимов работы в различных режимах эксплуатации, в том числе и в широком диапазоне нагрузок — от 20 до 100%. Этот параметр может быть обеспечен высокими выходными характеристиками ИБП (коэффициент мощности). При этом важна также работа с различными видами реактивных нагрузок с заданной высокой эффективностью — не ниже 96%.

Необходимо также, чтобы была возможность автоматического интеллектуального перехода в более экономичный режим (Eco mode) для обеспечения эффективного функционирования ИБП в не основное время работы.

Очень важно наличие информативного графического дисплея, обеспечивающего оператору удобный контроль и управление.

Для осуществления глубокого информативного мониторинга необходима также возможность одновременного включения протоколов SNMP и Modbus, а также Relay-карты.

Кроме того, высокий входной коэффициент мощности ИБП позволяет минимизировать искажения, вносимые в сеть, без каких-либо дополнительных аппаратных затрат. При таком выборе ИБП пользователь платит практически только за реально потребленную ИБП электроэнергию.

Выбор высокоэффективного ИБП очень важен, т.к. в конечном итоге это приводит к значительной экономии средств.

ИБП должен быть «правильным»

Существует несколько критериев, по которым, на наш взгляд, должен производиться выбор ИБП для ЦОД. Все они разделяются на три группы.

Первая — соответствие ИБП проекти­руемой системе питания ЦОД и требованиям известного стандарта TIA-942 (если, конечно, проектировщики ЦОД руководствуются этим документом).

Вторая — параметры, определяющие воздействие ИБП на внешние источники питания (ТП и ДГУ). Источник бесперебойного питания, в силу специфики данного устройства, является для сети электропитания нелинейной нагрузкой и привносит существенные возмущения (характеризуемые уровнем гармоник входного тока (THDi). На сегодня ведущими производителями ИБП достигнуты значения THDi около 3%. Важными характеристиками являются также наличие плавного старта выпрямителя ИБП и возможность последовательного старта ИБП (модулей ИБП) в параллельной системе. Тщательный отбор ИБП по этим параметрам позволяет значительно уменьшить требуемые мощности трансформаторов и резервных дизель-генераторов, а также сечения питающих кабелей и номиналы защитных автоматов.

И третья группа — параметры, определяющие качество выходного напряжения (стабильность напряжения и частоты, нелинейные искажения) и выходную мощность ИБП. Вопрос выходной мощности не так прост, как кажется на первый взгляд. Сегодня принято специфицировать модели ИБП по мощности в кВА. Однако ИБП разных производителей, и даже разных серий одного производителя, при одинаковом номинале имеют различную выходную мощность в зависимости от характера реальной нагрузки. Нагрузка же ЦОД имеет емкостный характер и коэффициент мощности близкий к 0,9.

Поэтому возможность запитать на 10­12% больше серверов является, по нашему мнению, достаточным основанием потребовать у поставщика диаграммы выходной мощности ИБП. Несомненно, существуют и другие важные параметры ИБП — массо-габаритные характеристики, КПД, и другие, однако выбор хотя бы по перечисленным нами критериям позволит существенно уменьшить стоимость системы электропитания ЦОД и повысить ее надежность.

Надежность — наш компас земной?

Вообще говоря, надежность ЦОД зависит не только от системы бесперебойного питания. Играют роль также факторы иного рода, к примеру, сейсмические, климатические и ряд других. Комплексные критерии оценки отказоустойчивости сведены в емкую систему классификации (уровни Tier I - Tier IV), определяемую стандартом TIA-942. Как и сам ЦОД, его система электропитания также подпадает под эту классификацию по уровням надежности.

Естественно, надежность всей СГЭ начинается с безотказной работы конкретных ИБП, из которых она состоит. Для повышения надежности ИБП применяется дублирование и резервирование всех компонентов и системы управления.

Наиболее распространены схемы резервирования N+1, 2N и 2(N+1), где N — количество ИБП или силовых модулей, необходимых для питания нагрузки. Чем выше уровень резервирования, тем больше элементов в системе и тем дороже ее сервисное обслуживание и поддержание в рабочем состоянии. В принципе, каждая из схем резервирования имеет свои достоинства и недостатки. К примеру, использование схем 2N и 2(N+1) приводит к тому, что ИБП работают на нагрузку, не превышающую 50% от номинала, а значит, с меньшим КПД.

В случае больших нагрузок резервирование по схемам 2N и 2(N+1) обходится недешево, хотя, вероятно, «цель оправдывает средства».