№ 3 (46) 2009

ИТ-мир без границ

Поскольку интернет-каналы стали в последнее время достаточно широкими и вполне надежными, то теперь совсем не важно, в какой точке земного шара находится, скажем, сервер и где обитают его клиенты. Поэтому многие компании сейчас размещают свое оборудование в заграничных дата-центрах. Делается это по экономическим, техническим причинам или из соображений безопасности. Для этого вовсе необязательно везти за границу свое оборудование, можно купить его по месту или просто арендовать, оформив заявку на требуемое количество выделенных серверов (dedicated servers), не говоря уже о хостинге.

Интересный факт. Не только украинские компании размещают свое оборудование за границей. Многие, в том числе крупные зарубежные организации, все чаще используют возможности отечественных дата-центров. Например, в Украине, в ЦОД «Датагруп» часть своего оборудования разместил международный телекоммуникационный гигант British Telecom, в дата-центре Newtelco Ukraine также находятся системы нескольких западно-европейских операторов и корпораций.

Таким образом, стираются границы не только между государствами, но и в ИТ-мире, более гибком и динамичном.

Коммерческие ЦОД начинают приобретать

все большую популярность у нас в стране. Сегодня в Украине

действует несколько десятков таких комплексов.

И хотя все они предлагают схожие услуги,

тем не менее, в техническом и маркетинговом плане

эти дата-центры весьма и весьма различны.

Совместными усилиями производителей, интеграторов и специализированной прессы в течение последних нескольких лет ИТ-сообществу все-таки удалось убедить в необходимости строить центры обработки данных (ЦОД) на предприятиях. И вот уже любые мало-мальски крупные или даже небольшие компании стремятся построить у себя собственный ЦОД или по меньшей мере присвоить своей серверной комнате эту популярную нынче аббревиатуру. Однако экономическая депрессия, которая для многих наступила неожиданно, заставила руководителей ИТ-подразделений еще раз пересмотреть (уже и так многократно пересмотренные) ИТ-бюджеты. В результате значительная часть компаний отказалась от строительства собственных ЦОД, возложив заботы о размещении и обслуживании серверов, СХД или телекоммуникационного оборудования на плечи аутсорсинговых структур, каковыми являются коммерческие дата-центры.

Закономерно, что рынок подобных предложений у нас в стране неуклонно растет. Соответственно, увеличивается и количество ЦОД. В этой статье сделан обзор наиболее интересных с технологической или инженерной точек зрения коммерческих дата-центров Украины. Вместить детальное описание всех комплексов такого класса в рамках одной журнальной публикации нереально, да и незачем — достаточно рассмотреть характерные особенности реализации систем на примере тех дата-центров, где они проявлены наиболее отчетливо.

Очевидные выгоды аутсорсинга

Есть ли иные, кроме потребности в экономии средств, причины того, что компании во всех развитых странах все чаще прибегают к услугам аренды места в дата-центрах? Безусловно! Во-первых, это отсутствие свободного места для полноценного ЦОД (особенно у средних и небольших предприятий), во-вторых, сложности, связанные с построением отказоустойчивой и надежной инженерной инфраструктуры. Не у каждой компании есть возможность обеспечить надлежащие условия для бесперебойного электропитания, кондиционирования, защиты от любого несанкционированного доступа и т.д. К тому же вопросы обслуживания, технической поддержки и модернизации особенно трудно (и/или дорого) решать именно непрофильным компаниям, бизнес которых не связан с ИТ.

В случае коммерческого дата-центра, клиент, напротив, экономит на капитальных вложениях в инфраструктуру, расходах на персонал, аренде или покупке помещения, поддержке функционирования ЦОД. Во многих случаях первоначальные вложения в инфраструктуру собственного дата-центра обходятся в сумму, соизмеримую со стоимостью 3–5 летней аренды соответствующего количества стоек в коммерческом комплексе.

 ______________________________________________________  

Нередко первоначальные вложения в инфраструктуру

собственного дата-центра обходятся в сумму, соизмеримую

со стоимостью 3–5 летней аренды соответствующего

количества стоек в коммерческом комплексе.

 _____________________________________________________

Есть, конечно, ряд компаний, которым по тем или иным причинам необходим собственный ЦОД (например, крупным банкам или операторам связи, акционерным обществам, выходящим на IPO). Но в нашей стране их относительно немного, к тому же некоторые из них все равно прибегают к услугам коммерческих дата-центров, арендуя место для размещения не самых критичных ИТ-подсистем или создания удаленной резервной площадки на случай аварии.

Дата-центров у нас не так уж много

На сегодняшний день в Украине работает чуть больше десятка более-менее крупных коммерческих дата-центров и еще столько же относительно небольших комплексов. Подавляющее большинство из них (около 90%) расположены в Киеве. Наиболее крупные дата-центры принадлежат компаниям «Адамант», «Воля», «Датагруп», «Колокол», Wnet, Imena.UA («Интернет Инвест»), «Укртелеком», «Билайн», Newtelco Ukraine, LukyNet, «Комстар-Украина» и др. Большинство этих компаний (кроме Newtelco Ukraine) являются одновременно провайдерами Интернета и других телекоммуникационных услуг.

 _____________________________________________________

Появление большинства коммерческих дата-центров

в нашей стране связано с развитием интернет-технологий

и появлением высокоскоростных каналов связи.

_____________________________________________________

Можно сказать, что появление большинства коммерческих дата-центров в нашей стране связано с развитием интернет-технологий и возникновением высокоскоростных каналов связи. При этом крупные провайдеры увидели выгоду не только в предоставлении интернет-услуг корпоративным и частным абонентам, но и в привлечении их оборудования на свою территорию. Клиенты же, получив возможность дешевого и качественного доступа в Интернет, начали сопоставлять расходы на покупку, содержание и поддержку серверов у себя в офисе с теми затратами, которые они понесут в случае размещения оборудования в коммерческом дата-центре (пусть даже с учетом стоимости удаленного сетевого доступа). Да и простой экономический расчет все чаще говорит о том, что второй вариант более выгоден. На данный момент общая емкость коммерческих ЦОД в Украине оценивается в 50–60 тыс. юнитов, а к концу года эта цифра может увеличиться на 30–40% даже в условиях экономического спада.

 ___________________________________________________________

На данный момент общая емкость коммерческих ЦОД в Украине

оценивается в 50–60 тыс. юнитов, а к концу года эта цифра может увеличиться на 30–40% даже в условиях экономического спада.

__________________________________________________________

Услуги, которые мы получаем

Перечень услуг, предоставляемых коммерческими дата-центрами, на первый взгляд может показаться однообразным. Как правило, предлагается хостинг (hosting), колокейшн (collocation), аренда физического сервера (dedicated server) и виртуальный выделенный сервер (virtual dedicated server). Каждый вид услуг имеет свои преимущества и своих клиентов. Для четкости изложения коротко напомним, что скрывается за каждым из этих терминов. Хостинг — это предоставление дискового пространства на сервере, постоянно находящемся в Сети, для размещения данных клиента. Колокейшн подразумевает физическое размещение сервера заказчика на площадке оператора. Если клиент не хочет покупать собственный сервер, он может арендовать аппаратный или виртуальный сервер стандартной конфигурации у оператора дата-центра, в этом случае речь идет о dedicated server или virtual dedicated server.

Цены на каждый вид услуг существенно различаются. Например, минимальная стоимость хостинга одного сайта в Украине обойдется примерно в 50 грн. в месяц. Разместить собственный сервер на площадке оператора можно минимум за 200–250 грн./мес. Стоимость аренды виртуальной вычислительной или аппаратной вычислительной системы составит от 300–350 грн./мес. и выше.

Отметим, что речь идет только о минимальной стоимости базового набора. Дополнительные услуги, о которых будет сказано чуть позже, оплачиваются отдельно.

Верхняя граница тарифа для того или иного сервиса также весьма размыта, поскольку стоимость размещения серверов может сильно колебаться в зависимости от количества устанавливаемых систем. Например, одна из компаний предлагает в аренду один юнит для коллокейшн примерно за 300 грн. в месяц, но при этом аренда целого шкафа в 42 юнита будет стоить около 6 тыс. грн. за тот же период. Это не говоря уже об очень крупных заказчиках — банках, телекоммуникационных операторах и т.д., стоимость услуг для которых зачастую определяется индивидуально. Кроме того, существенно различается стоимость аренды серверов разных типов: например, мощная 2-процессорная система на базе процессоров Intel Xeon может обойтись более чем в 2–3 тыс. грн./мес.

Кроме стоимости размещение, клиент оплачивает также потребленный сервером интернет-трафик, а во многих случаях — и электроэнергию. Трафик тарифицируется либо по фиксированному объему, либо неограниченно в зависимости от скорости. В каждом случае установлена своя ежемесячная абонентская плата, которая может колебаться от ста до нескольких тысяч гривен в расчете на один сервер.

К дополнительным услугам, как правило, относится предоставление Ethernet-коммутатора, устройства для удаленного управления электропитанием, IP-KVM, установка и настройка программного обеспечения, администрирование сервера и предоставление панели управления хостингом, а также места для резервного хранения данных и т.д. Кроме того, за отдельную плату оператор может выделить клиенту дополнительные электрические розетки, Ethernet-порты, IP-адреса или обеспечить доступ к внутренней системе видеонаблюдения.

Относительно новым явлением для украинских дата-центров является заключение договора о гарантированном уровне обслуживания — SLA (Service Level Agreement), согласно которому владелец дата-центра обеспечивает прописанные в договоре параметры тех или иных услуг, а также гарантирует отказоустойчивость серверов и восстановление их на случай аварии в течение установленного времени. При несоблюдении договора предусматриваются существенные штрафные санкции. Пока что у нас в стране SLA для более-менее массового заказчика предлагают только компании «Адамант» и «Воля».

Некоторые дата-центры по договоренности берут на себя обслуживание серверной инфраструктуры клиента. Кстати, клиенты далеко не везде имеют право физического доступа к своим серверам. Многие операторы позволяют совершать непосредственные манипуляции с оборудованием, пусть даже и по заявке заказчика, только собственному персоналу соответствующей квалификации. Если же клиенту по каким-либо причинам просто необходимо получить физический доступ к серверу, то оборудование могут для него вынести в специальную комнату.

Таков основной перечень услуг коммерческих ЦОД. За редким исключением, любой крупный коммерческий дата-центр предлагает их практически в полном объеме. Тем не менее, в каждом конкретном случае набор может варьироваться. Кроме того, существует практика различных видов субаренды. Есть много  виртуальных» операторов, которые продают, скажем, услуги хостинга, но делают это на базе арендованных серверов.

В связи с повсеместным развитием качественных высокоскоростных интернет-каналов серьезную конкуренцию отечественным дата-центрам составляют зарубежные комплексы. По сути, потенциальному клиенту не так важно, где территориально установлен его сервер. Следовательно, можно взять в аренду вычислительные мощности или дисковое пространство где-нибудь в Норвегии, Бразилии, Канаде, а в Украине достаточно подключиться к соответствующему по скорости интернет-каналу.

Коммерческие vs корпоративные

Коммерческие дата-центры предназначены прежде всего для того, чтобы непосредственно приносить прибыль владельцу — в отличие от корпоративных ЦОД, выгода от внедрения которых ощущается не столь явно и сводится к повышению надежности ИТ-подсистемы, экономии ресурсов и т.д. Соответственно, здесь всегда присутствует стремление сэкономить везде, где это возможно. Потому коммерческие комплексы строятся в основном силами самих же компаний-владельцев.

В большинстве случаев коммерческие дата-центры менее требовательны к системе охлаждения, поэтому далеко не везде используется, скажем, фальшпол или выдерживается принцип холодных и горячих коридоров. По причине невысокой тепловой нагрузки применяются не серверные шкафы, а обычные стойки. Но это касается «бюджетных» предложений, ориентированных на массового, не особо требовательного клиента. Средняя стоимость квадратного метра такой площадки обходится владельцу в $2,5–5 тыс.

Когда же речь идет о крупных заказчиках, то коммерческие дата-центры, рассчитанные на этот тип потребителя, строятся по принципу корпоративных и, как правило, соответствуют уровню Tier II или Tier III. Стоимость подобных комплексов достигает соответственно $10–15 тыс. в расчете на квадратный метр. Крупному заказчику может быть выделен не только целый шкаф (группа шкафов), но и отдельная зона в помещении ЦОД, физически огражденная от остального зала, даже с отдельным входом. Словом, каждый комплекс имеет свои индивидуальные  особенности.

Рассмотрим теперь конкретные работающие в Украине дата-центры, а также характерные технологические особенности каждого из них.

Мобильный ЦОД «Укртелекома»

Дата-центр национального оператора связи ОАО «Укртелеком» существует более трех лет, но в текущем году он пережил уникальную для Украины «операцию», а именно — переехал из одного (арендованного) помещения в другое, которое является собственностью оператора. Несмотря на то, что оба зала находятся в Киеве, перемещение инфраструктуры, рассчитанной более чем на 3 тыс. юнитов (из которых 1,1 тыс. заполнено), — задача отнюдь нетривиальная. Переезд происходил поэтапно, по согласованию с клиентами, и занял около месяца — с февраля по март 2009 года (рис. 1).

Сейчас в новом ЦОД находится 80 шкафов производства АРС by Schneider Electric эффективной емкостью 44U каждый. Полезная площадь зала составляет 350 кв.м. (на данный момент u1101 это самая большая площадь для украинских коммерческих ЦОД), а проектная мощность — системы бесперебойного питания 320 кВт в схеме резервирования 1+1. При этом ЦОД питается от двух независимых подстанций, способных обеспечить центр энергией с учетом 150% роста количества серверов, вскоре мощность будет увеличена вдвое — до 320 кВт для каждого плеча. Кроме того, в дата-центре установлены два ИБП APC Symmetra по 160 кВА; их мощность, согласно плану развития, также будет увеличена вдвое. Пока их хватает на 1,5 часа работы оборудования при полной нагрузке. Для обеспечения отказоустойчивости также используется ДГУ итальянской фирмы Tessari мощностью около 1 МВт и сейчас производится инсталляция второго — резервного.

Охлаждение оборудования обеспечивается зальными фреоновыми кондиционерами Emerson Liebert общей холодопроизводительностью до 160 кВт. Сейчас установлено четыре блока, но в случае необходимости можно доустановить еще шесть, для этого есть технические возможности. Все кондиционеры составляют единую систему, и в случае выхода из строя одного из блоков оставшиеся перейдут на усиленный режим работы для поддержания заданных параметров климата.

Выдув холодного воздуха производится из-под фальшпола (высота которого составляет 0,5 метра), позволяя отвести от каждой стойки до 5 кВт тепла. Если заказчик захочет разместить более энергоемкое оборудование, то в дата-центре есть специальные шкафы, позволяющие отводить десять и более киловатт тепла. Этого удается достичь благодаря использованию специальных усилителей потока воздуха, APC Air Removal Unit, устанавливаемых вместо задней стенки серверного шкафа. В целом же ЦОД построен в соответствии с концепцией инженерной инфраструктуры APC InfraStruXure и отвечает требованиям Tier III. В качестве СКС используются в основном решения R&M.

С внешним миром ЦОД соединен четырьмя каналами 10GbE и включен в сеть IP/MPLS «Укртелекома». Для защиты клиентских серверов используется аппаратная система предотвращения DoS-атак. Мониторинг состояния ключевых подсистем дата-центра, параметров микроклимата, а также видеонаблюдение осуществляется дистанционно с помощью ПО Quest Software BigBrother и программно-аппаратного комплекса APC NetBotz. Основным интегратором и разработчиком проекта выступила компания BIT.

В коммерческом дата-центре «Укртелекома» используется централизованная газовая система пожаротушения (рис. 2), а также переносные огнетушители (для ликвидации локальных очагов возгорания).

Отметим, что представители клиентов не имеют физического доступа в основной зал ЦОД, все манипуляции осуществляют только специалисты оператора. Клиенту предоставляется лишь возможность удаленного доступа по сети или через IP KVM. В случае, когда по тем или иным причинам заказчик хочет провести работы на самом сервере, оборудование выносят в специальную «гостевую» комнату.

Что касается клиентов и ценовой ниши, то Ольга УШАКОВА, заместитель директора по вопросам маркетинга и продажи услуг, сказала: «ЦОД ОАО «Укртелеком» рассчитан в основном на крупных корпоративных заказчиков, которые готовы платить адекватные деньги за высокую надежность. Мы не стремимся выйти на рынок «бюджетных» предложений, и, тем не менее, в течение последнего года количество занятых юнитов увеличилось в нашем дата-центре вдвое. Есть даже клиенты, которые покупают места не только «поюнитно», но и сразу целыми стойками».

Крупнейший в Украине — ЦОД компании «Воля»

В ходе проведения каких бы то ни было обзоров всегда хочется выяснить, кто же все-таки «самый-самый». В принципе, каждый из дата-центров, рассмотренных в этой статье, обладает своим уникальным набором преимуществ. Тем не менее, сегодня самыми широкими возможностями по размещению оборудования в своих коммерческих ЦОД имеет компания «Воля». На двух ее площадках создана инфраструктура для установки около 10 тыс. юнитов (рис. 3).

Первый дата-центр, на 2 тыс. юнитов, с площадью зала 80 кв.м., начал работать еще в 2006 году, и сейчас его возможности исчерпаны. На данный момент на этой площадке установлено 48 стоек по 45U, три кондиционера Emerson Libert Hiross HPM (общая охлаждающая мощность 140 кВт), два ИБП Riello UPS Manufacturing, Master Dialog RT (240 кВА) и два независимых электрических ввода. Номинальная мощность системы электропитания составляет 200 кВт.

Но гораздо интереснее, в частности в инженерном плане, именно вторая, новая, площадка, которая была открыта в январе 2009 года. Этот комплекс находится в Киеве, в отдельном здании ангарного типа общей площадью 1800 кв.м. Пока что непосредственно под размещение оборудования отведено три отдельных зала (один из которых еще не введен в эксплуатацию) более чем по 100 кв.м. каждый, но в случае необходимости можно задействовать и новые комнаты. Общая электрическая мощность, выделенная на комплекс, превышает 1 МВт, а суммарная холодопроизводительность 13 кондиционеров Emerson Libert Hiross HPM достигает 820 кВт. Также установлены четыре ИБП General Electric SG Series PurePulse S1 — в целом на 910 кВА и ДГУ FG Wilson (с двигателем Perkins и генератором Leroy Somer) мощностью 1100 кВА (880 кВт). Основное электропитание подается от магистральной сети напряжением 10 кВ через собственную трансформаторную подстанцию. Скорость зарубежных каналов передачи данных составляет 8,3 Гбит/c, а каналов подключения к UA-IX и паритетных каналов — 30 Гбит/с.

Еще одной особенностью нового дата-центра «Воли» является то, что два действующих зала предназначены для разных типов клиентов. Первый, емкостью примерно 3 тыс. юнитов, ориентирован на самый широкий спектр организаций, поэтому в помещении не используются серверные шкафы и фальшпол для организации охлаждения. Здесь вполне достаточно стоек 50U, произведенных компанией «Евроформат». В 2009 году «Воля» планирует открыть в этом же здании еще один серверный зал емкостью 3 тыс. юнитов.

Второй зал предназначен для корпоративных заказчиков. Здесь уже используются серверные шкафы 46U, опять же производства «Евроформат», наличие фальшпола дает возможность размещать шкафы абонентов различных производителей с забором воздуха как через переднюю дверь, так и непосредственно снизу из-под фальшпола.

Общее количество стоек в трех залах может достигать 152 (на момент подготовки публикации их было около 90), а шкафов — 27 единиц. В качестве СКС используется продукция AMP и Panduit.

Интерес вызывает также система мониторинга дата-центра. В этом качестве используется решение собственной разработки, позволяющее контролировать параметры активного сетевого оборудования, кондиционеров, ИБП, АВР и клиентских серверов.

Газовая система пожаротушения — ММПГ «Импульс-20» (рис. 4), отечественного производства, от компании «Бранд-Мастер»; в качестве противопожарного состава используется газ «Хладон-125».

В числе основных клиентов ЦОД — крупные интернет-проекты (порталы, интернет-магазины), хостинг-провайдеры, финансовые учреждения, телекомпании и т.д. Стоит отметить, что при размещении оборудования в дата-центре «Воли», по желанию абонента в пакет документов может входить отдельное приложение к договору о гарантированном уровне сервиса (Service Level Agreement, SLA). На сегодняшний день такое предложение является уникальным на украинском рынке.

ЦОД «Датагруп» — лучше меньше, да лучше

Именно так можно охарактеризовать коммерческий дата-центр компании «Датагруп». Номинальная емкость комплекса около 3 тыс. юнитов, три четверти которой уже заняты оборудованием трех клиентов: оператор мобильной связи, зарубежный банк (название которых на момент подготовки публикации официально не объявлялось) и телекоммуникационный оператор British Telecom. Первая часть дата-центра введена в коммерческую эксплуатацию в октябре 2008 года. Однако на полную мощность он заработал в начале 2009 года. Его особенностью является то, что, несмотря на свое коммерческое предназначение, он полностью отвечает параметрам корпоративного ЦОД, соответствует Tier III стандарта TIA 942. Неудивительно, что стоимость проекта превысила $2 млн., а это, учитывая полезную площадь около 144 кв.м., составляет порядка $15 тыс. в расчете на квадратный метр. Разработка и реализация проекта велась в тесном сотрудничестве с компанией «Октава Бизнес Девелопмент», которая входит в структуру группы компаний «Октава», президентом которой является Александр Кардаков.

Сейчас в дата-центре, проектная мощность которого с учетом резервирования превышает 200 кВт, установлено 34 шкафа APC Net-Shelter по 42U каждый, а также 29 шкафов клиентского оборудования. Охлаждение обеспечивают 18 внутрирядных прецизионных фанкойлов APC InRow RC в сочетании с чиллерами фирмы Clivet. Общая холодопроизводительность системы, построенной по схеме N+1, составляет 288 кВт (рис. 5). За бесперебойное энергоснабжение отвечают два независимых ввода от разных подстанций, четыре ИБП Powerware PW9390, мощностью 80 кВА каждый (и еще восемь отдельных ИБП для VIP-клиентов), а также три ДГУ Olympian GEN, мощностью 275 кВА (220 кВт). Резерв батарей ИБП составляет порядка 10 минут беспрерывной работы, что достаточно для запуска ДГУ, запас топлива в котором рассчитан на 8–9 часов. Этого времени хватит для того, чтобы ликвидировать аварию либо подвезти новую партию горючего. В числе прочих особенностей инженерной инфраструктуры отметим фальшпол, который выдерживает нагрузку до 1,5 т/кв.м, и СКС производства AMP.

Пропускная способность внешних каналов ЦОД «Датагруп» составляет 25 Гбит/с. Работает система мониторинга параметров температуры и влажности. Осуществляется контроль физического доступа. Охрана и видеонаблюдение обеспечивается посредством отечественного программного комплекса «Инспектор+». Естественно, что в таком комплексе должна быть эффективная система пожаротушения, и она есть — это POLON 4500, использующая в качестве противопожарного состава газ FM200. Тарифы на размещение оборудования в каждом случае являются индивидуальными.

Дата-центр компании «Адамант»

Прежде чем приступить к рассмотрению особенностей ЦОД компании «Адамант», отметим, что с недавнего времени этот интернет-провайдер начал процесс реорганизации, цель которого — повышение качества предоставляемых услуг и более динамичное развитие бизнеса. Теперь вся деятельность, связанная с телекоммуникациями, будет находиться в руках вновь созданной компании «Адамант-Телеком». Для предоставления услуг дата-центра также создается профильная компания, в то же время основная компания, которая сохранит название «Адамант», будет заниматься в основном проектированием и системной интеграцией.

Дата-центр компании ориентирован на обслуживание требовательного корпоративного заказчика. В соответствии с этим подходом построена и вся инфраструктура, как внешняя, так и внутренняя (рис. 6). Ввод центра в коммерческую эксплуатацию выполнялся поэтапно в 2008–2009 годах. Полезная площадь его помещений составляет 150 кв.м., с возможностью создания изолированных комнат для особо требовательных клиентов, например, финансовых структур. Создание комплекса осуществлялось преимущественно силами собственных специалистов. Сейчас в дата-центре 28 серверных шкафов 42U и есть место для установки еще 13, таким образом, на текущий момент потенциальная емкость ЦОД превышает 1,7 тыс. юнитов, более тысячи которых уже занято. Проектная мощность дата-центра составляет 250 кВт. Основными клиентами действующего комплекса являются крупные коммерческие компании, государственные структуры и банки.

Особое внимание компания «Адамант» уделяет качеству электропитания. Для этого установлены системы контроля Diris и Control Vision, компании Socomec Group (Франция), снабженные интерфейсными модулями Modbus. Решение позволяет удаленно контролировать и анализировать состояние электрической сети по 256 параметрам (напряжение, ток, активная и реактивная мощность, гармонические составляющие и т.д.).

Что касается остальных составляющих энергосистемы ЦОД, то здесь можно отметить АВР: они выполнены на рубильниках с моторизованным приводом серии CSMS производства компании Technoelectric S.r.l. (Италия). При этом есть также и ручной привод для переключения — если вдруг откажет автоматика (хотя вероятность этого невелика). Схема построения АВР позволяет выполнять работы по обслуживанию силовых элементов системы без полного отключения нагрузки.

Бесперебойное электропитание обеспечивают ИБП Powerware 9125 и APC Smart-UPS RT (мощностью 6–10 кВА каждый) количество которых варьируется в зависимости от числа размещенных шкафов. Главная задача состоит в том, чтобы обеспечить работоспособность оборудования до включения дизельного электрогенератора, которое происходит менее чем через 30 секунд после отключения основной электросети. Тем не менее, мощности ИБП сейчас хватит на 8–10 минут при полной нагрузке. В качестве ДГУ используется система чешской компании MEZ A.S. Nedvedice мощностью 250 кВт. Генератор пока что один, сейчас идет установка второго.

Система кондиционирования на данный момент представлена прецизионными фреоновыми решениями Emerson Liebert (три блока) и Mitsubishi Electric (четыре блока) общей охлаждающей мощностью более 156 кВт и может быть усилена по мере необходимости. В качестве СКС используется продукция R&M и Molex PN.

Поскольку «Адамант» является крупным телекоммуникационным оператором, он обладает собственной волоконно-оптической сетью, которая обеспечивает для ЦОД скорость передачи данных свыше 44 Гбит/с (!). В дата-центр по разным маршрутам сходятся пять кабелей ВОЛС общей емкостью 168 волокон. Таким образом, каналы передачи данных многократно продублированы, что позволяет обеспечить сверхвысокий уровень отказоустойчивости. Для связи с внешним миром используются коммутаторы 10GbE Extreme Networks, которые, опять же, продублированы. Контроль телекоммуникационного оборудования, каналов связи, отдельных серверов и услуг обеспечивает система мониторинга компании Nagios.

По словам президента компании Ивана ПЕТУХОвА, чтобы лишить ЦОД кабельных каналов связи, надо обкопать экскаватором по периметру здание, в котором находится комплекс (и то нет гарантии). Да и провернуть такую операцию будет весьма сложно, поскольку центр надежно охраняется — круглосуточная собственная охрана, договор на вызов охраны ГСО, более 30 видеокамер наблюдения, техническая поддержка 24/7, системы условного доступа и т.д. В отношении противопожарной безопасности тоже все продумано, для этого есть газовая система на базе модулей «Импульс-20» и дополнительно в каждом помещении размещены ручные порошковые огнетушители.

В конце текущего года компания планирует ввести в эксплуатацию новый дата-центр, емкостью 3 тыс. юнитов, отвечающий требованиям Tier IV. Планам по развитию способствует тот факт, что ЦОД размещен в собственном помещении «Адамант», позволяющем надстроить еще два этажа.

«Дрим Лайн» — преимущества маленьких дата-центров

Однако не всегда коммерческий дата-центр представляет собой мощный комплекс на сотни квадратных метров площади и сотни киловатт мощности. Также далеко не всегда небольшие операторы услуг хостинга и колокейшн работают по принципу субаренды. Есть в Украине еще и определенное количество (около десятка или даже более) совсем небольших коммерческих дата-центров. В числе характерных представителей этого семейства — киевская компания «Дрим Лайн». Являясь одновременно интернет-провайдером, в одном из помещений своего офиса компания устроила небольшой дата-центр для своих клиентов. В нем всего 12 стоек общей емкостью 600 юнитов (из которых половина уже заполнена), два навесных кондиционера Panasonic, охлаждающих по 13,5 кВт каждый (есть возможность установки еще двух таких же блоков) и несколько ИБП MGE общей мощностью 20 кВА с учетом резервирования N+1. Обеспечено два электрических ввода от разных трансформаторов и даже ДГУ на 30 кВА. Внешние интернет-каналы ЦОД на скорости 250 Мбит/с включены в сеть двух различных провайдеров (рис. 7).

Дата-центры «Интернет-Инвест»

Компания «Интернет-Инвест» (торговые марки MiroHost.net и Imena.UA) ранее предоставляла услуги размещения серверов на базе гермозоны, расположенной непосредственно в центральном офисе компании. То есть буквально посреди рабочего помещения (рис. 8). Это решение было оптимальным на ранних стадиях развития Интернета в Украине, однако в дальнейшем, по мере развития рынка и компании, потребовалось строительство отдельного дата-центра. Посреди офиса расположена специальная герметизированная зона, рассчитанная на общую мощностью около 100 кВт, содержащая около десятка серверных стоек. Оборудование отделено от основного помещения герметичными раздвижными металлопластиковыми панелями. Таким образом удается обеспечить шумоизоляцию и предотвратить перемешивание воздуха дата-центра с воздухом в офисе. Охлаждение обеспечивают подвесные промышленные кондиционеры Mitsubishi, установленные над шкафами с оборудованием. Конечно, комплексные решения для построения гермозон предлагают многие зарубежные производители, такие как APC, Emerson, Conteg, Rittal и другие, но, учитывая небольшой объем гермозоны, специалисты MiroHost разработали свою систему собственными силами.

К ноябрю 2008 года емкость гермозоны была исчерпана, поэтому компания открыла новый дата-центр, который уже является одним из крупнейших в стране. Площадь основного помещения 230 кв.м., где может расположиться 140 серверных шкафов (сейчас установлено тридцать) с полезной емкостью 47U каждый. Таким образом, вместительность ЦОД может превышать 6,5 тыс. юнитов. При этом наиболее острый для всех ЦОД вопрос — с электропитанием — решен, как говорится, всерьез и надолго. Общий резерв мощности, выделенный «Киевэнерго» для комплекса, составляет 1 МВт.

На данный момент в ЦОД от двух независимых подстанций заведены линии общей мощностью 750 кВт — 500 кВт для оборудования и 250 кВт для кондиционеров.

Для охлаждения серверов используются два зальных кондиционера Emerson Liebert Hiross HPM, холодопроизводительностью по 60 кВт каждый. В перспективе, по мере необходимости, их будет установлено десять.

Бесперебойное электропитание обеспечивают два ИБП General Electric SG200PurePulse по 200 кВА. Их батарейного комплекта должно хватить на 30 минут. Кроме того, есть два ДГУ мощностью 410 кВА каждый.

Компания имеет собственные зарубежные интернет-каналы — 2 Гбит/с и подключение 10 Гбит/с в UA-IX. Для заказчиков обеспечивается круглосуточная техническая поддержка по телефону и электронной почте, удаленный доступ к оборудованию, есть IP KVM. Кроме того, клиенту предоставляется возможность доступа к системе видеонаблюдения.

Дата-центр Imena.UA рассчитан на самый широкий круг клиентов. Здесь можно арендовать юнит, стойку или даже участок площади, который по желанию клиента  будет физически отделен от остального помещения. Вполне очевидно, что в ближайшие пару лет и этот дата-центр исчерпает свои ресурсы. Сейчас он заполнен примерно на 15%, а к концу года ожидается его заполнение на 45%. Поэтому в 2011 году компания «Интернет-Инвест» планирует открыть еще один коммерческий ЦОД.

Особенность делового подхода компании в том, что на данный момент дата-центр ориентирован главным образом не на выделение места для размещения оборудования клиентов, а на предоставление в аренду типовых серверов. То есть, клиент берет в аренду у провайдера не место в шкафу, а полностью сконфигурированный аппаратный х86-сервер необходимой производительности (рис. 9).

ЦОД с нуля — «Топ НЕТ»

Еще один коммерческий дата-центр на базе архитектуры APC InfraStruXure построила компания «Топ НЕТ». Особенностью проекта является то, что для размещения ЦОД в Киеве было специально разработано и построено отдельное двухэтажное здание — в виде пристройки к основному офису оператора. Площадь нижнего этажа составляет 130 кв.м., из которых 100 кв.м. отведены для размещения оборудования и 30 кв.м. — для технического персонала, охраны и т.д. Всего в основном зале можно установить до пятидесяти серверных шкафов 48U (рис. 10).

Клиентам предоставляется возможность не только арендовать определенное количество юнитов, но также получить в свое распоряжение собственную изолированную зону. По желанию клиентов, в шкафу могут устанавливаться интеллектуальные PDU-коммутаторы APC, позволяющие осуществлять мониторинг и удаленное управление электропитанием каждого устройства по IP-адресу.

На данный момент дата-центр подключен к двум электрическим вводам по 200 кВт каждый, но в случае необходимости эта мощность может быть увеличена. В основе системы бесперебойного питания — модульный ИБП APC Symmetra PX мощностью до 144 кВт (учитывая резервирование по схеме N+1). Вскоре будет установлен еще один ИБП APC Symmetra PX, ведь проектная мощность ЦОД «Топ НЕТ» составляет 320 кВт. Также используется ДГУ мощностью 450 кВА (360 кВт), запаса топлива которого хватит на десять часов автономной работы.

Поскольку в помещении ЦОД не используется фальшпол, а систему охлаждения было решено строить по принципу холодных и горячих коридоров, то единственным подходящим решением в данной ситуации стали внутрирядные кондиционеры APC серии InRow RP DX мощностью по 29 кВт с фреоновым охлаждением. Они способны динамически изменять производительность в зависимости от температуры в каждой стойке и объединяться в единую интеллектуальную климатическую систему с возможностью резервирования. На данный момент система охлаждения позволяет устанавливать до 5 кВт оборудования в каждый шкаф, но в случае необходимости этот показатель может быть увеличен до 10 кВт на стойку в соответствии с потребностями конкретных клиентов. И даже более, до 30 кВт — с помощью решений для изоляции воздушных коридоров APC RACS и HACS.

ЦОД Newtelco — решение для телеком-клиентов

Еще одним интересным ЦОД в концептуальном и техническом плане является дата-центр немецкой компании Newtelco, работающий в Украине с 2006 года. Комплекс, расположенный в Киеве, — это часть общей сети коммерческих дата-центров, работающих в разных европейских странах. Особенность данного решения состоит в его ориентации исключительно на установку телекоммуникационного оборудования. При этом компания предоставляет только услуги по размещению и общей технической поддержке устройств заказчика. Украинское подразделение Newtelco, например, не имеет собственных каналов передачи данных. Все подключения в Интернет для клиентов обеспечивают партнеры компании. Такая узкая специализация — результат маркетинговой политики головной компании. Комплекс ориентирован на крупнейших зарубежных и украинских операторов связи (здесь, например, удалось увидеть оптические узлы DWDM). Аренда предоставляется не по юнитам, а сразу по шкафам (минимальный шаг — полшкафа), которых сейчас установлено 26 — все фирмы Sсhroff. Всего же на площади в 110 кв.м. можно установить 54 серверных шкафа (рис. 11).

Поскольку в дата-центре нет вычислительного оборудования, тепловыделение не превышает 2,0 кВт на стойку. Тем не менее, в ЦОД установлено четыре кондиционера Emerson Liebert Hiross HPM (два основных и два резервных), каждый из которых может отвести до 25 кВт тепла. Подача холодного воздуха осуществляется из-под фальшпола.

Особое внимание уделяется системе обеспечения электропитания. Кроме двух независимых электрических вводов от разных трансформаторов есть два ИБП компании Voigt&Haeffner FlexiPower мощностью 34 кВт каждый. В условиях существующей нагрузки их хватит более чем на час работы, что является, в общем-то, избыточным. Ведь здесь же используется ДГУ Pramac GSW160 мощностью 160 кВА (127 кВт), дежурного запаса топлива в котором хватит на 10 часов непрерывной работы (за это время можно либо устранить аварию, либо подвезти новый запас топлива, заправка ДГУ производится без остановки дизель-генератора). Интересный факт: компания Newtelco оказалась единственной, представители которой согласились в присутствии автора этой статьи провести наглядную демонстрацию надежности системы бесперебойного электропитания. Лично управляющий директор Newtelco Ukraine Владимир ХОМЕНКО, при соучастии системного инженера Виталия МАТУШЕНКО, отключил на электрическом щите (рис. 12) питание от городской сети. В тот же миг в зале ЦОД погас свет, и кондиционеры стали работать значительно тише, но все клиентское оборудование продолжало нормально функционировать. То, что оно работало нормально, подтвердил представитель компании Retn, который в эту самую минуту производил какие-то манипуляции по настройке своего оборудования и заметил лишь пропадание освещения в зале.

Через семь секунд запустился ДГУ, как следствие — снова появился свет, кондиционеры заработали на полную мощность и весь комплекс продолжал работать как ни в чем ни бывало. Отметим, что с момента пропадания основного электропитания и до запуска дизельного генератора, чтобы снизить нагрузку на ИБП, в кондиционерах автоматически отключается компрессор и работают только вентиляторы в режиме фрикулинга. Поскольку в дата-центре нет оборудования, которое бы создавало значительные тепловые нагрузки, то данный режим вполне может справляться с охлаждением до запуска ДГУ.

В числе прочих инженерных систем здесь присутствуют СКС Panduit и Krone, автоматическая газовая система пожаротушения (используется Хладон 227, аналог FM 200), средства мониторинга параметров состояния дата-центра (температура, влажность и т.д.) на базе решения Zabbix, система видеонаблюдения. Есть круглосуточная охрана и служба технической поддержки. Кстати, еще одной уникальной особенностью дата-центра Newtelco является наличие отдельных счетчиков электроэнергии для каждого клиента. В ближайших планах компании — установка еще двух ИБП мощностью 60 кВА каждый и расширение площади дата-центра до 210 кв.м.

Таким образом, несмотря на сложившуюся экономическую ситуацию, бизнес коммерческих дата-центров продолжает развиваться. Ведь сейчас особенно актуальны те сферы деятельности, которые позволяют сэкономить. Тем не менее, рынок подобных услуг в Украине, по сравнению, например, с Россией, где ЦОД на несколько мегаватт является фактически нормой, развит довольно слабо. Но есть спрос, есть потенциал, успешные проекты и высококлассные специалисты, есть неохваченные области (напомним, 90% подобных комплексов расположены в Киеве). И, несмотря на присутствие мощных игроков, сформированы все условия для успешного, пусть даже не «взрывного», но вполне уверенного роста рынка коммерческих дата-центров в нашей стране.

 Игорь КИРИЛЛОВ,

igor@sib.com.ua,

СиБ

№ 3 (июнь) 2009

Рынок коммерческих

дата-центров будет ежегодно расти на 30–40%

В связи с текущей экономической ситуацией многие компании, которые собирались строить собственные ЦОД, переходят к модели аренды места для размещения оборудования. Большинство крупных компаний – операторы связи, телекоммуникационные компании, представители финансового сектора – будут рассматривать аутсорсинг и, в частности, коммерческие дата-центры как возможность для сокращения своих затрат на ИТ. Ведь в случае коммерческого ЦОД клиент не несет первоначальных затрат на инфраструктуру, нет необходимости ставить оборудование на баланс предприятия и учитывать его амортизацию. Что касается размещения большого количества серверов, то установить его в аутсорсинговом дата-центре намного дешевле, чем обеспечить надлежащие условия его эксплуатации у себя в офисе или строить собственный корпоративный ЦОД. Я полагаю, что в ближайшие три года рост рынка коммерческих дата-центров будет ежегодно составлять 30–40%, после чего возможно уменьшение уровня роста 20% в год. При этом вряд ли стоит ожидать появления новых крупных игроков в нашей стране. Действующие участники рынка, напротив, будут расширять свою техническую базу или уйдут в специализацию на каком-либо определенном типе клиентов.

Как правильно оценить дата-центр

Сейчас на рынке в массовом сознании сложилось, по моему мнению, не совсем верное представление о правильной оценке дата-центров. Когда начинают говорить о масштабах коммерческих ЦОД, то прежде всего интересуются количеством юнитов, которые можно там разместить. Однако более важным параметром, на который в первую очередь следует обращать внимание, является электрическая мощность комплекса. Как правило, именно она является основным ограничивающим параметром в развитии. Также первоочередную роль играет надежность ключевых подсистем ЦОД, а для корпоративного заказчика – качество электропитания, надежная физическая охрана, квалифицированная круглосуточная техническая поддержка и высокоскоростные внешние каналы связи. К тому же ряд клиентов, в частности банки, требуют отдельных помещений для установки своего оборудования. Свой дата-центр мы проектировали и строили собственными силами, исходя, в том числе, и из вышеизложенных принципов. Особо хотелось бы отметить, что мы стремимся использовать энергосберегающие и «зеленые» технологии. В мире они очень популярны, в Украине же компании только начинают задумываться над их применением в своей деятельности, а случаи практического использования вообще можно перечесть на пальцах.

Типовые конфигурации снимают массу вопросов

Как показывает опыт и практика, основные технические проблемы в дата-центре возникают с оборудованием клиента. Размещение чужого оборудования – это в определенной степени риск, ведь ты не знаешь, насколько оно качественное и надежное. Если вдруг какой-либо сервер выходит из строя, клиент начинает предъявлять претензии владельцу дата-центра, дескать, его инфраструктура не обеспечивает должный уровень надежности. Но оператор может быть не виноват, причина поломки зачастую кроется именно в оборудовании заказчика.

Наши заказчики сегодня уже являются в той или иной степени клиентами нашей компании, и у нас с ними сложился определенный уровень отношений и доверия. Поэтому, когда мы рассказываем им о недостатках, связанных с размещением собственного оборудования, большинство из них выбирает услугу dedicated server. По своей сути задачи и оборудование у 99% потенциальных покупателей услуг колокейшн идентичны, и вполне обеспечиваются серверами «стандартных» конфигураций. Поэтому такой подход удовлетворяет клиентов. В свою очередь, мы решаем для себя (и, как следствие, для клиента) массу технических проблем, поскольку используем только протестированные типовые серверы заданных конфигураций. К ним имеется большой комплект запасных частей. В случае выхода из строя какого-либо сервера, мы можем за несколько минут заменить его на аналогичную исправную модель и перенести на нее задачи клиента.

Специализация тоже приносит свои плоды

Наши коллеги и даже многие клиенты часто задают один и тот же вопрос, мол, почему вы как коммерческий дата-центр не зарабатываете на дополнительных услугах – не предоставляете, например, доступ в Интернет? Но дело в том, что Newtelco – это независимые и автономные колокационные услуги, и мы стремимся делать только то, что можем делать хорошо. Остальным пусть занимаются (и делают бизнес на этом) те, кто является специалистом в своей сфере – наши партнеры. Суть такого подхода в том, что мы не пытаемся заработать все деньги на всех смежных рынках. В отличие от многих украинских коммерческих дата-центров, которые идут по пути диверсификации, мы, напротив, стремимся к специализации. Поначалу были сомнения в том, заработает ли подобная схема в нашей стране. Но, как оказалось, сомнения были напрасными – многие компании оценили такой подход и вошли в число клиентов дата-центра Newtelco. Конечно, о сверхприбылях речь не идет, но мы получаем стабильный прогнозируемый доход.