№ 3 (40) 2008

Игорь КИРИЛЛОВ

Еще несколько лет назад аббревиатура ЦОД в Украине была известна разве что специалистам. Все вычислительное оборудование удобно размещалось в «серверных комнатах» (которые, зачастую, назывались так только из-за наличия там сервера). Со временем мы стали свидетелями резкого усложнения подсистем, обеспечивающих жизнедеятельность ИТ-оборудования. Теперь уже не серверы или СХД занимают основное место в помещении, а как раз пресловутая «инфраструктура». Каждый комплекс, притязающий на гордое звание центра обработки данных, состоит из множества взаимосвязанных инженерных подсистем, каждый элемент которой является потенциальной точкой отказа (и чем их больше, тем вероятность поломки, естественно, выше). Кроме того, производители вычислительного оборудования в своем стремлении увеличить «плотность» решений ставят их в непреодолимую зависимость от параметров окружающей среды (температура и влажность воздуха, отсутствие пыли), а параметры эти надо контролировать.

Кроме того, постоянного контроля требуют параметры электропитания, ИБП, кабельные соединения (чтобы, например, точно знать — «сгорела» сетевая карта сервера или просто отсоединился шнур). А ведь есть еще и физическая безопасность… Управлять и уследить за всем этим «хозяйством» трудно даже в ЦОД с пятью-шестью шкафами, не говоря уже о комплексах, где этих шкафов десятки (а вскоре, возможно, будут и сотни).

А еще есть целая группа проблем, связанная с перспективным планированием размещения оборудования. Как, например, узнать, где лучше поместить новый сервер, причем так, чтобы его тепловыделение и/или энергопотребление не «завалило» весь участок (стойку, зал)? Вышеперечисленные задачи невозможно решить в «ручном» режиме, но с ними отлично справляются системы мониторинга.

У каждого свой «мониторинг»

Термин «мониторинг» имеет латинское происхождение, и в русском языке наиболее точным его аналогом можно, наверное, назвать слово «наблюдение». Однако понятие «мониторинг» является настолько всеобъемлющим, что его применяют практически ко всем сферам жизни. Поэтому в контексте статьи мы определим мониторинг как «специально организованное, систематическое наблюдение за состоянием объектов, явлений и процессов в центре обработки данных с целью их оценки, контроля или прогноза». При этом сделаем оговорку о том, что основной акцент будет сделан на решениях для инфраструктуры ЦОД, а рассмотрение систем для удаленного управления и мониторинга ИТ-оборудования (серверов, СХД, сетевых устройств) пока останется за рамками публикации.

Современные системы мониторинга для ЦОД можно условно разделить на две большие группы. Одна из них предназначена для контроля параметров внешней среды (температура, влажность, наличие дыма и пыли в ЦОД), а другая призвана следить за состоянием инфраструктурного оборудования (кондиционеров, ИБП, БРП и т.д.). Главными структурными элементами систем обоих типов являются разнообразные датчики и контроллеры (показания которых передаются в центральную систему управления), а также набор специального фирменного ПО для управления и настройки (рис. 1). Как правило, системы мониторинга, отслеживающие показатели работы оборудования, могут интегрировать в себя средства для контроля параметров внешней среды.

Очень немногие производители делают системы мониторинга действительно комплексными, обычно подобные решения способны взаимодействовать только с оборудованием одной торговой марки. Следовательно, чем большую номенклатуру продукции предлагает производитель, тем больший «охват» инженерных подсистем будет осуществлять его система мониторинга.

Например, компании, которые производят одновременно ИБП, системы кондиционирования, распределения электропитания, а также другие элементы инженерных подсистем ЦОД, как правило, предлагают своим заказчикам комплексные решения.

Комплексные системы мониторинга

Комплексные систем мониторинга инженерной инфраструктуры иногда называют решениями «верхнего» уровня, подчеркивая тем самым их положение относительно систем для контроля параметров окружающей среды. Тем не менее, оба типа устройств для мониторинга взаимно дополняют друг друга. Но начнем все же с комплексных решений, которые в Украине представлены всего двумя производителями — APC и Emerson.

Большинство компаний, производящих оборудование для ЦОД, изначально закладывают возможности удаленного мониторинга своих систем. Но очень немногие подходят к вопросу удаленного контроля параметров оборудования системно. Возможность прямого подключения, скажем, к отдельному ИБП по IP или SMTP реализована у многих производителей, но когда таких устройств десятки, организация эффективного мониторинга становится затруднительной.

В состав комплексного решения APC InfraStruXure для построения инфраструктуры ЦОД могут опционально входить специализированные системы удаленного контроля и управления — ISX Manager и ISX Central (в двух версиях Standard и Enterprise). Физически оба решения представляют собой выделенный сервер на базе архитектуры х86 (рис. 2),к которому по сети Ethernet подключаются ИБП, кондиционеры, блоки распределения питания, а также компьютер администратора, который осуществляет наблюдение. Таким образом, по одному IP-адресу администратор может наблюдать за состоянием тысяч устройств (а также осуществлять удаленное управление ими).

На этот сервер подается сводная информация о текущем состоянии и нагрузке каждого ИБП (а также его аккумуляторных блоков), что позволяет, в числе прочего, рассчитывать количество оборудования, которое можно дополнительно расположить в ЦОД, и анализировать параметры энергопотребления существующих подсистем. То же самое касается и кондиционеров. Кроме того, система отображает структуру подключения ИТ-оборудования к блокам распределения питания (БРП, PDU).

Будучи установленным в сеть ЦОД, ISX Manager автоматически определяет набор инфраструктурного оборудования и создает список представления. В случае добавления нового оборудования его определение и подключение к системе мониторинга также осуществляется автоматически. В списке, рядом с именем каждого устройства, есть индикатор, цвет которого (зеленый, желтый или красный) говорит об отсутствии или наличии ошибок. Выбрав конкретное устройство из списка, можно просмотреть его детальные параметры с целью определения и устранения неполадок (если, конечно неполадкой не является потеря связи с управляемым оборудованием). ISX Manager в состоянии определять характер ошибки и выдавать рекомендации по ее устранению из встроенной базы знаний. К тому же система позволяет формировать различные сводные отчеты, например, о возрасте используемых в ЦОД ИБП или аккумуляторных батарей (с целью их своевременной замены).

Более функциональным решением является ISX Central. Оно обладает глубокими средствами анализа подсистем ЦОД, может интегрировать в себя систему контроля параметров окружающей среды APC NetBotz, работать с прикладным ПО APC Change Manager и Capacity Manager (которое детально рассмотрено в «СиБ», 2007, № 6, в статье «Размещать и управлять»). Кроме того, благодаря поддержке протокола SNMP, можно контролировать параметры оборудования сторонних производителей. Встроенная функция MapView позволяет соотносить различные планы и карты (помещения, города, страны) со схемами размещения оборудования. Всего к одному серверу ISX Central Enterprise может быть подключено до тысячи различных устройств (в т.ч. иерархически). Но это могут быть не только ИБП или кондиционеры: ISX Central поддерживает также протокол IPMI, который позволяет отслеживать некоторые параметры работы аппаратных серверов ЦОД (состояние вентиляторов, блоков питания), удаленно включать или выключать их, а также переводить в «спящий» режим.

Компания Emerson разрабатывает различные системы мониторинга уже более десяти лет, но в Украине спрос на них начал формироваться три-четыре года назад (одновременно с ростом популярности ЦОД). Основным продуктом компании в этом направлении является аппаратно-программный комплекс Hirovisor IP, состоящий из набора фирменного ПО, набора адаптеров для различных применений - Hironet-устройств (HISNMP, HILON, Hirolink, HipA и др.) и Windows-совместимого сервера. Сам сервер может предоставить заказчик, а специалисты Emerson (или компании-партнера) производят его настройку. Главными объектами для удаленного контроля являются кондиционеры, ИБП, группы насосов, серверные стойки, автоматы ввода резерва, причем не только компании Emerson, но и независимых производителей, через DGP-боксы (панели сбора данных).

Комплекс Hirovisor способен осуществлять удаленный мониторинг и управление сотнями устройств на любой сети передачи данных — даже если заказчик, например, использует какой-то специфический протокол, у Emerson есть специальные шлюзы, позволяющее сопрягать сервер управления с Ethernet предприятия.

Система имеет графический интерфейс и журнал событий. Для уведомления о неисправностях Hirovisor IP располагает возможностями отображения сообщений на экране ПК администратора, рассылки сообщений по электронной почте, а также с помощью SMS (на четыре телефонных номера).

Все модели ИБП и кондиционеров Emerson имеют встроенные контроллеры для сбора важнейших параметров оборудования и систем. Для подключения к общей сети компании или отдельному сетевому концентратору они могут быть укомплектованы специальными адаптерами (сетевыми картами), к  что позволит администратору контролировать параметры отдельных устройств. Можно также создать систему уведомления о неисправностях с помощью имеющихся «сухих» контактов (например, подключив их к индикаторам на пульте оператора).

Некоторое время назад Emerson внедрил специализированное решение для контроля над состоянием аккумуляторных батарей - Alber Battery Monitoring Systems. Физически оно представляет собой монитор (контроллеры различной конфигурации) сбора информации в стоечном исполнении, нагрузочный модуль, специализированное ПО, набор датчиков, которые устанавливаются на каждый аккумулятор, соединяются кабелем с ПК и отображают на его мониторе сведения о состоянии подконтрольных блоков. Такой подход, особенно в сочетании с системой контроля параметров окружающей среды, позволяет значительно продлить время эксплуатации аккумуляторов, за счет своевременной корректировки условий их хранения. Актуальность этого решения проявляется, главным образом, в случае крупных проектов, где количество аккумуляторов может исчисляться десятками и сотнями, а их стоимость - значительно превышать стоимость силового оборудования.

Контроль параметров окружающей среды

Контроль параметров окружающей среды в ЦОД, таких как температура и влажность воздуха, наличие пыли, дыма, физического доступа в помещение и в серверные шкафы, чрезвычайно важен, поскольку без него невозможно обеспечить безотказную работу дата-центра. Многие производители предлагают специальные системы мониторинга, предназначенные исключительно для контроля этих параметров (рис. 3).

В основе таких решений — особый аппаратный шлюз (или даже мини-компьютер) с процессором, сетевыми интерфейсами, специальным ПО и поддержкой базы данных (на встроенном или внешнем носителе). К этому устройству, как правило, посредством портов RJ-45 или USB, подключаются внешние датчики (температуры, влажности, пыли, дыма и другие), которые осуществляют контроль параметров в разных точках помещения ЦОД или отдельных серверных шкафов. Поскольку датчики являются небольшими по размеру, их можно закрепить практически в любом месте. Сам же шлюз подключается напрямую или по локальной сети предприятия к системе мониторинга более высокого уровня или ПК администратора, куда и передает сводные данные по IP, SNMP или другому протоколу.

Если датчиков требуется подключить много, то используются специальные выносные модули-разветвители (блоки ввода-вывода). Таким образом один центральный мини-компьютер, имея, скажем, четыре интерфейса USB, может обслуживать десятки внешних датчиков.

Важной особенностью всех систем мониторинга окружающей среды является возможность уведомления ответственного персонала не только выводом сообщений на монитор ПК, но и путем передачи «тревожных» сообщений по электронной почте или средствами SMS (в том числе и на несколько адресов одновременно). Продукты такого типа предлагают многие производители, но из тех, которые представлены у нас в стране, это, главным образом, APC, Conteg, Eaton, Knurr и Rittal.

Решение компании APC имеет название NetBotz (рис. 4) и в зависимости от модели может обслуживать одновременно от 4 до 64 датчиков, подключать систему видеонаблюдения и контроля физического доступа, а также интегрироваться в систему мониторинга более высокого уровня — ISX Central.

Известный производитель шкафов, компания Conteg предлагает более простую систему — Ramos mini, которая поддерживает до восьми датчиков на основе «сухих» контактов, когда замыкание контакта происходит только в ответ на определенное событие, например, превышение допустимых значений температуры. В случае замыкания «сухого» контакта, которое говорит о той или иной неисправности, система сразу же формирует соответствующее сообщение и отправляет его с помощью e-mail или SMS (рис. 5).

По аналогичному принципу работает и RMS Compact — продукт другого международного производителя шкафов, компании Knurr. Только в этом случае система может поставляться в форм-факторе 19” и поддерживать до шестнадцати выносных датчиков.

Компания Eaton предлагает компактную систему под названием Powerware Environmental Rack Monitor (ERM), которая осуществляет замеры температуры в двух точках серверной стойки, а также отслеживает изменения состояний четырех «сухих» контактов. Данные ERM, используя встроенный вэб-сервер, выводятся на монитор ПК администратора, подключенного к Интернету или ЛВС предприятия. Также имеется встроенная система рассылки «тревожных» уведомлений.

Решение компании Rittal, которое называется CMC-TC, способно, кроме обычных параметров (температура, влажность, наличие дыма, пыли, движения в помещении) контролировать также физический доступ в шкафы с оборудованием на основе политик прав доступа (двери, например, могут открываться по цифровому коду, с помощью магнитной или чип-карты). При попытке несанкционированного проникновения или вибронагруженности шкафа система подает аварийный сигнал, в том числе на монитор администратора. Физически CMC-TC состоит из центрального шлюза, который монтируется в 19" стойку, и подключаемых к нему модулей ввода-вывода (до четырех). К каждому такому модулю можно подключить до четырех различных датчиков. Следовательно, всего на систему их приходится не более шестнадцати.

В кратком обзоре вряд ли возможно описать все решения, доступные на рынке. Очень много компаний в последнее время активизировали свою деятельность в сфере формирования комплексных решений для построения дата-центров и мониторинга их систем. Сюда относятся производители СКС, ИБП, систем кондиционирования и даже шкафов. И это не случайно: «ЦОДостроительство» — весьма широкая и заманчивая тема, позволяющая компаниям проявить свою активность и изобретательность. Поэтому с большой долей уверенности можно утверждать, что в статье представлены не все производители и не все решения, имеющиеся на украинском рынке. Цель статьи была иной — обратить внимание заказчиков на важность решения вопросов мониторинга и на наличие реальных решений, позволяющих это сделать.

Значение систем мониторинга в развитии центров обработки данных постоянно усиливается, ведь год от года, в том числе в Украине, количество и масштабы ЦОД неуклонно растут. Правда, на данном этапе только немногие компании готовы отдельно приобретать комплексные решения, предпочитая пользоваться базовыми функциями контроля и управления. Но вскоре таких возможностей будет явно не хватать, особенно в быстрорастущих проектах, поэтому, вполне возможно, системы мониторинга для ЦОД спустя некоторое время сформируются в отдельный вид бизнеса.

Редакция выражает благодарность за помощь в подготовке материала Роману Осадчему (представительство АРС by Schneider Electric в Украине) и Сергею Гребню (компания «М-ИНФО»).

Игорь КИРИЛЛОВ,

igor@sib.com.ua,

СиБ

№ 3 (июнь-июль) 2008