№ 1 (56) 2011

Четвертый год подряд традиционная конференция, посвященная технологиям для дата-центров, собирает в Киеве сотни заинтересованных людей. Статус международной в этом году придавали конференции не только гости из стран бывшего СССР, но и представители компаний-производителей из европейских офисов. Организатором мероприятия как обычно выступил журнал «Сети и Бизнес».

Помимо элементов инженерной инфраструктуры ЦОД на конференции были рассмотрены вопросы, связанные с информационной инфраструктурой предприятия, а также представлены новые уникальные проекты реализации дата-центров в Украине.

«Зеленые» технологии на марше

Информационную часть мероприятия открыл Александр Приймак, руководитель отдела по работе с корпоративными клиентами APC by Schneider Electric, который в своем докладе рассказал о новых разработках компании в области дата-центров (рис. 1).

Помимо уже привычных элементов комплексной инфраструктуры ЦОД, которые включают в себя ИБП, кондиционеры, шкафы, средства управления и другое оборудование, в докладе были затронуты вопросы энергосберегающих (или как их часто именуют «зеленых») технологий. В последнее время в состав комплексных решений для ЦОД добавились многие дополнительные элементы — новые средства мониторинга и контроля, расширенные инструменты распределения электропитания, профессиональные системы физической безопасности (благодаря покупке компании Pelco) и т.д.

Кроме того, теперь APC в составе решений может поставлять собственные зальные кондиционеры и, что особенно важно, — чиллеры (которых раньше не было в модельном ряде производителя). Это стало возможным благодаря приобретению итальянской компании Uniflair, специализирующейся на системах кондиционирования.

Однако главное направление развития технологий АРС видит в использовании энергоэффективных и «зеленых» решений. В ходе презентации был приведен пример использования комплексных технологий APC для крупнейшего в мире дата-центра — комплекса SuperNAP в Лас-Вегасе (США), построенного компанией Switch Communication. Он содержит более 7 тысяч серверных стоек, занимает площадь почти 40 тыс. кв. м, а подведенная мощность электроснабжения достигает 250 МВт. В то же время благодаря продуманному и комплексному подходу при полном резервировании инженерных систем среднегодовое значение энергоэффективности (PUE) по итогам 14 месяцев эксплуатации ЦОД составляет всего лишь 1,21. Отметим, что стандартные значения PUE лежат, как правило, в диапазоне 1,4–1,7.

Во второй части своего доклада Александр Приймак представил новую систему охлаждения APC EcoBreez. Решение представляет собой специальный кластер теплообменников, устанавливаемых снаружи здания ЦОД. Каждый стек состоит из восьми модулей с охлаждающей мощностью по 50 кВт (или всего 400 кВт на систему). Специальными воздуховодами EcoBreez подсоединяется к вентиляционной системе дата-центра и забирает из помещения нагретый воздух, пропускает его через теплообменники и снова подает в машинный зал. При этом большую часть года, в том числе и в таких странах, как Украина, может использоваться «экологический» режим, использующий для охлаждения водяные испарители, а в особо жаркий период подключается фреоновый контур. О проектах с применением EcoBreez в нашей стране пока что ничего не известно.

Тему энергоэффективных систем для ЦОД продолжил Павел Пономарев, системный инженер, APC by Schneider Electric (Россия) (рис. 2). В своем докладе он рассмотрел крупный проект — суперкомпьютер, построенный в МГУ им. Ломоносова российской компанией «Т-Платформы». Этот вычислительный кластер является мощнейшим на постсоветском пространстве и занимает 14-е место в новом списке пятиста самых производительных компьютеров мира. Общее энергопотребление системы составляет около 2,3 МВт. На примере этого внедрения докладчик постарался показать преимущества концепции изоляции «горячих» коридоров ЦОД (HACS). Напомним, что все другие производители, кроме, АРС, для повышения эффективности охлаждения изолируют «холодные» коридоры. В проект АРС поставила шкафы, кондиционеры, ИБП, систему мониторинга и управления, средства распределения электропитания и т.д. По словам докладчика HACS позволяет минимизировать пути движения воздуха и сократить расходы на электроэнергию, повысить холодопроизводительность системы охлаждения, а также увеличить допустимую мощность оборудования на каждую стойку.

О комплексных решениях для ЦОД компании Emerson Network Power рассказал Александр Литвиненко, заместитель директора «М-ИНФО» по коммерческой работе (рис. 3). Он напомнил слушателям о том, что благодаря множеству приобретенных в последние годы компаний, таких как Knuerr, Chloride, Avocent и других, Emerson способен предложить заказчику комплексное (all inclusive) решение для ЦОД, включающее все необходимые компоненты.

В числе наиболее интересных элементов докладчик отметил чиллеры с поддержкой функции фрикулинга, замкнутые системы охлаждения для отдельных стоек CoolTherm и CoolLoop (отводящие до 35 кВт тепла), средства управления и мониторинга Avocent, а также запатентованное решение изоляции «холодных» коридоров SmartAisle. Кроме того, Emerson предлагает обновленные модели водяных внутрирядных кондиционеров Liebert CRV 300 холодопроизводительностью до 30 кВт. Примечательным является то, что при таком высоком показателе отвода тепла модуль имеет весьма компактные габариты. Его ширина составляет 300 мм, высота и глубина, соответственно, 2000 и 1100 мм. Система содержит пять вентиляторов, но в новой модели, которая вскоре появится, их будет шесть, что позволит отводить уже до 35 кВт тепла.

Тему выступления Александра Литвиненко продолжил Сандро Гатто, региональный менеджер по системам охлаждения Emerson Network Power в регионе EMEA, дополнивший доклад своего коллеги рассказом о подходах к эффективному использованию в дата-центрах систем охлаждения Emerson Network Power.

Оптимизации затрат — высокий приоритет

Серия докладов, представленных в рамках конференции, была посвящена технологиям для оптимизации затрат на этапе проектирования ЦОД. Здесь, впервые в истории мероприятия, прозвучал доклад о дизель-роторных ИБП, которые представил Рене Лачина, директор по международным продажам компании Hitec Power Protection. Эти устройства представляют собой комплексную систему, состоящую из инерционного накопителя энергии, синхронного генератора и ДГУ, которые физически собраны на одной раме и соединены сосной связью. Следовательно, не нужны никакие внутренние силовые электрические соединения, коммутационная аппаратура, а также традиционные статические ИБП и батареи к ним, что существенно упрощает решение (и как следствие, повышает его общую надежность). При определенной мощности объекта, как правило, свыше 1 МВА, использование дизель-роторных ИБП с точки рения экономической целесообразности может стать наиболее эффективным средством обеспечения гарантированного электропитания ЦОД.

Единичная мощность дизель-роторных ИБП компании Hitec составляет 500–3000 кВА, при этом множество таких систем могут объединяться в общую сеть. Отметим, что эти системы чрезвычайно надежны; по словам Рене Лачина каждый год из всей инсталлированной в мире базы дизель-роторных ИБП Hitec, происходит не более двух отказов. Главной причиной, по которой что-то не срабатывает, является некачественное топливо, которое использовали для ДГУ. В нашей стране пока что нет ни одного проекта с использованием подобных решений. Украинских заказчиков главным образом останавливает цена первоначальных вложений. Как сказал Рене Лачина в ответ на один из вопросов из зала, фактическая стоимость системы на 2 МВА составляет 700-800 тыс. евро. Однако цена может сильно колебаться и зависит от многих факторов.

Несколько последующих докладов были посвящены средствам удаленного контроля, мониторинга и безопасности дата-центров. Системы управления электропитанием и нагрузкой в ЦОД, в частности программный комплекс PowerAlert, а также KVM-коммутаторы и консольные серверы компании Tripp Lite, представил Алексей Волков, специалист технической поддержки и предпродажной подготовки. KVM-устройства Tripp Lite производителя обеспечивают безопасный доступ через один IP-адрес более чем к 1 тыс. устройств и работают под управлением ОС Linux. Есть модели на 16 и 48 портов. При этом количество компьютеров, подключенных к одному KVM-коммутатору, может достигать 8 тыс. Программный комплекс PowerAlert обеспечивает централизованное управление до 250 ИБП любого типа, PDU или различными датчиками и при этом распространяется бесплатно.

Кроме этого, Tripp Lite предлагает широкий модельный ряд ИБП мощностью до 80 кВА, шкафы и стойки, сетевые фильтры, стабилизаторы напряжения и другие решения.

Разнообразные аппаратные и программные решения для управления ЦОД представил в своем докладе Юрий Колесов, региональный менеджер Avocent в странах СНГ (рис. 4). В частности, внимание было уделено комплексным программным платформам DSView 3 и Data Center Planner, управляемым PDU Avocent PM 3000/2000/1000, а также другим решениям производителя.

По ходу мероприятия Эдем Аблаев, генеральный директор компании «ФЛЕКС-Интеграция» (рис. 5), рассказал о системах пожаротушения на базе реагента Novec 1230, а также о концептуальных решениях StarLine для распределения электропитания в центрах обработки данных.

Элементы StarLine используются в крупных дата-центрах по всему миру; кроме того, они применяются в контейнерных ЦОД, разработанных HP, IBM и Sun. Что касается Novec 1230, то здесь следует напомнить, что это фторсодержащий кетон, изобретенный компанией 3M. При обычных условиях реагент представляет собой бесцветную диэлектрическую жидкость, переходящую в газообразное состояние при выпуске через насадки-распылители. Novec 1230 безопасен для персонала и окружающей среды. Важно отметить, что время жизни Novec 1230 в атмосфере составляет всего пять дней, в отличие от часто используемого хладона, который не подвергается разложению в течение многих десятков лет.

Два доклада о методах и средствах оптимизации инженерной инфраструктуры ЦОД представили сотрудники Panduit. Сергей Сопов (рис. 6), региональный менеджер компании, рассказал о ряде новых тенденций в сфере СКС. В частности, по мнению докладчика, уже сейчас при проектировании дата-центра надо закладывать кабельную инфраструктуру, рассчитанную на передачу данных со скоростью 100 Гбит/с. Менеджер по работе с клиентами Panduit Владислав Еременко рассказал о новой разработке компании — шкафе с вертикальным воздуховодом. Применение такой конструкции позволяет отказаться от концепции «горячих» и «холодных» коридоров, поскольку нагретый воздух будет отводиться за фальшпотолок или в короб вытяжной вентиляции, а оттуда в кондиционер.

Решениям для СКС дата-центра посвятил свое выступление Сергей Марчук, руководитель представительства Tyco Electronics AMP NETCONNECT в Украине (рис. 7). В частности, было объявлено о вхождении компании ADC Krone в состав Tyco Electronics. Что касается специальных продуктов для волоконно-оптических линий ЦОД, то в этом направлении компания предлагает MPO-касеты MPOptimate. Низкое затухание позволяет использовать до шести кассет в канале 10 GbE. К тому же с помощью этого решения можно осуществить миграцию СКС дата-центра с кабелей с пропускной способностью 10 Гбит/с на инфраструктуру, обеспечивающую 40- или даже 100 Гбит/с.

А проектов все больше!

Любые технологии, сколь хороши бы они ни были, малоинтересны без практической реализации, особенно в коммерческой сфере. Поэтому отдельная секция конференции была посвящена наиболее интересным, показательным и перспективным проектам в нашей стране.

Геннадий Карпов, директор по технологиям De Novo ( рис. 8), не только рассказал о новом коммерческом дата-центре компании, но и поделился опытом практической реализации этого сложного проекта. Напомним, что ЦОД, отвечающий всем требованиям Tier III, был официально запущен в эксплуатацию в ноябре 2010 года.

Его общая мощность составляет 3,3 МВт, из которых 1,65 МВт предназначены для ИТ-оборудования. Общая площадь зала более 2 тыс. кв. м, а емкость дата-центра составляет 240 серверных стоек. Обслуживанием и охраной ЦОД занимаются почти тридцать человек службы эксплуатации. Этот комплекс, строительство которого, к слову, длилось три года от идеи до введения в строй, был неоднократно и детально описан в предыдущих номерах нашего издания. Однако Геннадий Карпов поделился некоторыми малоизвестными деталями проекта. Так, после завершения всех работ было принято решение провести нагрузочное тестирование на полной мощности объекта.

Для этого были изготовлены специальные модули, имитирующие реальную нагрузку, потребляющую электроэнергию и выделяющую тепло по аналогии с ИТ-оборудованием заказчика (причем в пиковом случае). Тестирование выявило потенциальные проблемы, которые, несмотря на детальную теоретическую проработку, невозможно было бы выявить без фактического испытания. Сложности могли бы возникнуть с распределением потоков охлажденного воздуха (эффект перетока) из-за индукционного разогрева силовых магистралей (вихревые токи Фуко), а также в других неожиданных местах. Благодаря предварительному тестированию все возможные проблемы удалось упредить. Кроме того, докладчик обратил внимание слушателей на то, что архитектура ЦОД определяет его надежность лишь на 40%, остальное — это процессы эксплуатации и навыки персонала.

Тема создания мощных коммерческих дата-центров была поддержана в докладе Сергея Кишкурно, директора по проектам SI BIS. Он объявил о том, что в 2012 году компания планирует ввести в эксплуатацию собственный коммерческий ЦОД уровня Tier III. Пока что комплекс находится в стадии проекта. Но уже известны некоторые детали будущего внедрения. Например, общая территория комплекса, принадлежащая SI BIS, составляет 7500 кв. м, площадь одноуровневого здания — около 2500 кв. м, машинных залов — 1200 кв. м. Дата-центр будет предлагать услуги колокейшн, а также выделенные модули площадью от 15 до 70 кв. м для индивидуальных заказчиков. Проект планируется выполнить в три этапа. На первом будет подведено 1,5 МВт электрической мощности, на втором — 3 МВт, на третьем — 4 МВт (а возможно, и больше).

На фоне коммерческих комплексов не были забыты и корпоративные проекты. Василий Матвеев, руководитель отдела построения дата-центров компании «Инком», вместе с Василием Гойжевским, руководителем проектного офиса дирекции по информационным технологиям и операционной деятельности «Проминвестбанка», рассказали об одном интересном проекте. Речь шла о небольшом центре обработки данных, который «Инком» построил для упомянутого банка всего за 92 дня. Главной целью проекта было создание инженерной инфраструктуры для мощного ИТ-оборудования класса Hi-End. В частности, речь идет о RISC-сервере IBM Power System P595 и системе хранения данных IBM Power Storage DS5300. На первом этапе закладывалась мощность ИТ-систем на уровне 60 кВт с возможностью расширения до 125 кВт. Время автономной работы ИТ-оборудования и системы охлаждения от ИБП (APC Symmetra PX) составляет до 40 мин. В проекте были использованы кондиционеры, шкафы, системы мониторинга и видеонаблюдения APC. Кроме того, «Инком» обустроил на объекте пожарную сигнализацию, систему пожаротушения и физической безопасности, а также ряд иных подсистем. По завершении проекта интегратор взял на себя техническую поддержу и сопровождение построенного ЦОД на условиях аутсорсинга.

Серверы и СХД

Главным из размещаемого в ЦОД оборудования являются, конечно же, серверы и системы хранения данных. Поэтому не будь их на конференции, она, возможно, была бы неполной по своему тематическому наполнению. Доклад о новых разработках Hitachi Data Systems в области СХД представил Андрей Караванов, системный консультант HDS в Украине (рис. 9). Компания предлагает очень широкий модельный ряд для самых разных сегментов рынка. Но докладчик остановился на решении класса Hi-End, которое очень хорошо вписывается в концепцию ЦОД. Речь идет о новой СХД Hitachi Virtual Storage Platform (VSP), выведенной на рынок только в 2010 году.

Система использует множество актуальных технологий, таких как средства виртуализации, централизованного управления, резервного копирования, автоматического управления жизненным циклом информации (ILM) и т.д. Эта СХД позволяет держать под единым контролем до 255 петабайт данных. Отметим, что система использует накопители SAS и SATA; от FC-дисков HDS решила отказаться. Новая модель в 1,5–2 раза превосходит свою предшественницу USP V по всем ключевым параметрам. Например, количество жестких дисков теперь достигает 2048 единиц, объем кэш-памяти — 1 ТБ, а внутренняя пропускная способность составляет около 128 ГБ/с. При этом снизились габариты системы. Если при нагрузке в 1152 диска USP V весила почти 3,5 тонны, то VSP — чуть более 2,3 тонны. Уменьшилось также энергопотребление с 27 до 15,5 кВт (при том же количестве накопителей).

В прошлом году компания Cisco впервые заявила о себе на украинском рынке в качестве производителя серверов. Направление получило свое развитие уже в нынешнем году. Один из докладов конференции, представленный Егором Бойко, консультантом проектной группы компании «Мегатрейд», был посвящен именно этим системам (рис. 10).

Внимание было уделено четырем серверным моделям на базе процессоров Intel Xeon. Наиболее мощной системой является 4-процессорный сервер UCS C460M1, который, занимая четыре юнита в серверной стойке, содержит до 0,5 ТБ оперативной памяти, 32 вычислительных ядра (благодаря процессорам Xeon 7500), двенадцать накопителей SFF, SAS или SATA, десять слотов PCIe. Модели C250M2 и C210M1 содержат по два процессора Xeon 5600 и занимают по два юнита в стойке, однако первая модель может содержать больше оперативной памяти — до 384 ГБ вместо 96 ГБ у C210M1, зато вторая вмещает вдвое больше дисков (до 16-ти). Количество отсеков PCIe у обоих моделей одинаковое — по пять. Самое компактное устройство — одноюнитовая C200M2 (два процессора, 96 ГБ RAM, четыре диска, два слота PCIe). Кроме того, Егор Бойко напомнил о том, что Cisco выпускает также блейд-серверы и, совместно с партнерами, комплексную аппаратно-программную систему для ЦОД под названием Vblock.

«Мегатрейд» о комплексных решениях

Отдельная секция конференции, представленная компанией «Мегатрейд», была посвящена комплексным решениям для дата-центров. Четыре доклада охватывали несколько ключевых подсистем ЦОД. Кроме серверов Cisco, о которых рассказывал Егор Бойко, были также рассмотрены ИБП Eaton, системы охлаждения Stulz и решения компании Conteg.

О специальных системах бесперебойного электропитания, ориентированных на применение в дата-центрах, таких, в частности, как Eaton 9395 SBM, рассказал Вадим Харитонов, руководитель отдела систем электропитания компании «Мегатрейд». Эта модель позволяет обеспечить максимальную мощность до 1,1 МВт, при этом особая компоновка внутренних элементов делает систему достаточно компактной (как для устройств такого класса). Одна из отличительных возможностей Eaton 9395 SBM — параллельное подключение ИБП с неравными номиналами мощности. Например, один ИБП на 550 кВА может стоять параллельно с ИБП на 275 кВА, или три 825 кВА рядом с одним 550 кВА. До четырех ИБП включаются в параллель по схеме N+1, а синхронизация может осуществляться по радиоканалам Wi-Fi. Кроме того, Eaton предлагает использовать в дата-центрах модульные ИБП серии BladeUPS.

В своей презентации Вадим Харитонов рассказал также о средствах удаленного управления и мониторинга элементов ЦОД, которые предлагает Eaton. Портфолио компании включает в себя управляемые PDU, ПО Intelligent Power (которое осуществляет мониторинг как одиночного ИБП, так и сложной цепочки последовательных подключений в ЦОД) и другие решения. Отметим, что приложения Intelligent Power могут быть интегрированы в виртуальную среду VMware vCenter.

Решениям для кондиционирования посвятил свой доклад Юрий Прокопенко, консультант по системам Stulz компании «Мегатрейд» (рис. 11). Кроме известных на украинском и мировом рынках прецизионных внутрирядных кондиционеров серии CyberRow, была представлена комплексная система охлаждения Stulz Direct Free Cooling, использующая принцип прямого естественного охлаждения. Отметим, что CyberRow выдувает охлажденный воздух не только вперед в «холодный» коридор, как большинство современных решений такого класса, но и в стороны (перпендикулярно кондиционеру) — непосредственно к шкафам с оборудованием. Направление потока воздуха задается путем установки специальных панелей. Для повышения эффективности работы Stulz CyberRow использует технологии электронно-коммутируемого вентилятора, электронного терморегулирующего вентиля и другие разработки. Холодопроизводительность кондиционера, в зависимости от модели, составляет 24–56 кВт.

В последние годы Conteg активно развивает направление комплексных решений для ЦОД. Достижениям компании на этом поприще посвятил свое выступление Александр Калюжный, консультант отдела поддержки продаж СКС компании «Мегатрейд». На сегодняшний день производитель предлагает различные шкафы, в том числе со специальными воздуховодами для отведения нагретого воздуха за фальшпотолок, средства изоляции «холодных» коридоров ЦОД, межрядные фанкойлы холодопроизводительностью до 24 кВт, кабельные организаторы повышенной емкости, локальные системы пожаротушения и т.д.

В завершение конференции традиционно проводился розыгрыш призов от спонсоров. В этом году десятки полезных подарков предоставили компании «Мегатрейд», Systimax, ТМ «Золотая Амфора», чай «Ахмад».

Подводя итоги мероприятия хочется отметить, что несмотря на определенные сложности в глобальной и национальной экономике, тематика ЦОД остается одной из немногих, которая не только не теряет своей финансовой привлекательности, но и демонстрирует стойкий рост интереса как со стороны производителей (и их украинских партнеров), так и с точки зрения заказчика. В пользу этого свидетельствует, например, тот факт, что проекты, реализованные в нашей стране, год от года укрупняются, а в планах компаний — создание новых грандиозных дата-центров.

Игорь КИРИЛЛОВ

igor@sib.com.ua

СиБ

№ 1 (март) 2011