№4 (Сентябрь) 2008

Находясь в «недрах» «Укртелекома» и, тем более, обсуждая тему центров обработки данных, мы не смогли не воспользоваться возможностью лишний раз увидеть действующие ЦОД. Тем более, когда эти дата-центры предназначены для работы в масштабах целой страны. Благо, руководство «Укртелеком» с радостью пошло навстречу «любознательным журналистам» и показали не один, а сразу несколько дата-центров!
    Во время осмотра нашими гидами стали Александр Ремига, руководитель центра технической эксплуатации сети передачи данных филиала информационно-коммуникационных систем ОАО «Укртелеком», и Юрий Сердюк, директор компании BIT (которая принимала непосредственное участие в создании этих центров).
    Следует отметить, что дата-центры в головном офисе по бульвару Тараса Шевченко, 18 — не первые объекты подобного назначения ОАО «Укртелеком», которые нам удалось увидеть. Несколько ранее, при подготовке статьи для предыдущего номера журнала («СиБ» № 3, с. 96) о практической реализации кабельной системы для ЦОД, нам удалось совершить свой первый поход в коммерческий дата-центр на ул. Соломенской, 3. И хотя этот проект уже описан, а сам ЦОД успешно переехал в новое помещение, тем не менее, опыт изучения подобной инфраструктуры нам пригодился во время экскурсии в два других дата-центра оператора связи — корпоративный и ЦОД IP-TV.

Системы наблюдения и мониторинга установлены во всех дата-центрах

«Укртелеком»: ЦОД как средство производства

   Несмотря на свой статус единоличного лидера украинского рынка фиксированной связи, ОАО «Укртелеком» постоянно ведет работы над внедрением новых услуг и повышением качества существующих. О том, куда сегодня движется национальный оператор связи и какие перспективы открываются перед отечественными абонентами, рассказывает директор филиала информационно-коммуникационных систем ОАО «Укртелеком» Игорь Владимирович Тарасенко.

— Известно, что «Укртелеком» располагает крупнейшей в Украине системой центров обработки данных. На каком этапе возникла идея их создания, ведь раньше вполне успешно использовались локальные серверные комнаты? В чем преимущество?

— Вопрос построения современных центров обработки данных стал для нас актуальным лет пять назад, когда пришло время модернизации трех основных подсистем: бухгалтерии, инвентаризации линейно-кабельных сооружений и расчета с клиентами. Хотя локальных подзадач можно было насчитать гораздо больше. Постоянный доступ к этим подсистемам должны были иметь десятки тысяч сотрудников ОАО «Укртелеком».
   Существовавшая ранее концепция предполагала создание собственных дата-центров в каждом из 27 ключевых филиалов, а также отдельных серверных комнат в каждом районном центре. Но когда мы подсчитали, во сколько же все это обойдется, то получилось, что построение необходимого количества дата-центров «съест» ИТ-бюджет на несколько лет вперед. И дело тут даже не в количестве серверов или систем хранения — их меньше не становится, — дело в инфраструктуре. Когда всем этим парком отделений надо управлять, следить за его состоянием, поддерживать в серверных помещениях соответствующие показатели температуры и влажности, обеспечивать информационную и физическую безопасность, тогда сложность задачи возрастает многократно.
   Ведь только в одной Донецкой области надо было бы построить 40 отдельных серверных комнат. Умножьте это на 25 областей… К тому же: как обеспечить, например, бесперебойное питание или автоматическое пожаротушение в райцентре? Теоретически это, конечно, возможно. Но представьте, сколько это будет стоить в масштабах страны?
    Поэтому было принято решение сконцентрировать ИТ-ресурсы в шести крупных ЦОД, которые были расположены в ключевых точках сети.

— А что Вы можете сказать о транспортной сети, ведь теперь на каждый ЦОД приходится гораздо больше запросов, чем на небольшие локальные системы?

— Действительно, рассматривая вопрос о центрах обработки данных, нужно как бы отойти немного в сторону, чтобы увидеть целостную картину. Ведь дата-центры ОАО «Укртелеком» — это не только инфраструктурные решения или серверы. Одной из главных составляющих является транспортная сеть. Казалось бы, прямого отношения к дата-центрам она не имеет, однако без качественных каналов связи выполнение ЦОД возложенных на них задач попросту невозможно. Ведь дата-центры не висят где-то в воздухе и не существуют изолированно друг от друга. До каждого Центра надо как-то доступиться.
    На сегодняшний день транспортная сеть ОАО «Укртелеком» имеет сложную и разветвленную структуру. Например, Киев связан с пятью крупнейшими городами Украины каналами с пропускной способностью 10 Гбит/с каждый. При этом ее можно легко нарастить по мере необходимости. Здесь речь идет о реальной скорости передачи информации, а не о потенциальных 320 Гбит/с, которые декларируют некоторые операторы, ссылаясь на построение у себя системы DWDM. Имея доступ к такой сети, пользователю уже не важно, в какой части страны он находится. Кроме того, около двухсот крупных городов имеют собственные гигабитные кольца, к которым, в свою очередь, подключено почти 650 населенных пунктов.
   Для большей наглядности предположим, что абонент подключен в Киеве к мультиплексору ADSL2+ (которых, кстати, по всей Украине уже более двух тысяч) и получает соединение 10 Мбит/с. Этот мультиплексор включен по гигабитному каналу в ближайшее киевское кольцо, которое, в свою очередь, на такой же скорости, — в ближайшее транзитное кольцо. А вот уже оно по каналу 10 Гбит/с подключено к магистральной сети. Кроме того, не забываем, что есть еще и внешние каналы с общей пропускной способностью 35 Гбит/с — на Франкфурт (13 Гбит/с), на Вену (10 Гбит/с) и на Прагу (10 Гбит/с).
   Сейчас нет никакой разницы, где абонент подключается к нашей сети. Между Луганском и Ужгородом задержка сигнала не превышает 30 мс. В качестве яркого примера приведу недавний отчет, который пришел из некоего села, находящегося в Кицманском районе Черновицкой области. Там инженеры тестировали услугу IP-TV, и все у них нормально работало. А почему? Потому что разница между Киевом и этим селом в части доступа к услугам абсолютно нивелирована. У них DSL-мультиплексор в селе включен «оптикой» в одно из вышеупомянутых гигабитных колец. Далее идет 1 Гбит/с до Черновцов, оттуда — не менее производительный канал до Львова, а затем 10 Гбит/с — до Киева. Собственно, сказанное — это иллюстрация к предыдущему тезису о роли транспортной сети.
    Важно отметить, что все, о чем шла речь, касается исключительно IP-сети. Конечно, «Укртелеком» имеет и SDH-сеть. Но это отдельная сеть, которая нигде не пересекается с IP. Мы не используем SDH-сеть для пе­редачи пакетного трафика.
   И вот, когда мы построили такую транспортную систему, а случилось это где-то 2–2,5 года тому назад (конечно, все две тысячи площадок были запущены не за один день ), появилась возможность создания территориально распределенной системы крупных центров обработки данных.

— По какому принципу были выбраны города для размещения ЦОД «Укртелеком»?

— Поскольку мы построили мощную транспортную сеть, фактически стало неважно, где физически размещать информационные системы. Следовательно, вместо 500–600 локальных площадок нам стало достаточно шести. Зачем серверу стоять, скажем, где-то в Мукачево, в необслуживаемом помещении, без качественного сервиса и охраны? Значительно дешевле сосредоточить все серверы и СХД в шести точках. При этом мы разместили Центры таким образом, что пять из них (в Днепропетровске, Донецке, Львове, Одессе и Харькове) покрывают территорию, на которой проживает приблизительно по 15% населения, и 30–35% приходится на киевский ЦОД.
    На текущий момент все шесть Центров обслуживают 35–40 тыс. рабочих мест сотрудников ОАО «Укртелеком». При этом к информационной системе можно подключиться в любой точке Украины не только со стационарного рабочего места, но и по беспроводной сети 3G.

— Однако, кроме решения вну­тренних задач предприятия есть еще проблемы предоставления услуг населению. Важно ли в этом слу­чае расстояние и какая роль здесь отводится дата-центрам?

— Когда мы построили высокопроизводительную магистральную сеть, то вскоре стали задумываться о собственных Интернет-услугах, об электронной почте, сайтах наших филиалов, внутренних новостных ресурсах, а также о системах, которые управляют доступом и подключением к Интернету и т.д.
    В результате возник проект № 2 — «Интернет-ЦОД», где, к примеру, система биллинга ведет базу данных на 10 млн. клиентов, и каждая попытка подключения проверяется, выдается разрешение, а по окончании сеанса регистрируется, сколько и в каком объеме пользователь получил услуг. Далее мы пошли по пути развития услуг. Так появился, в частности, «ЦОД для IP-TV».
   Методика создания эффективных дата-центров нами уже отработана, надежная и мощная сеть для подключения новых ЦОД также есть. Главный вопрос — в «информационной начинке» и маркетинге. С технической реализацией нет никаких проблем. Сейчас мы можем транслировать десятки телеканалов, которые получаем по каналам CWDM от производителей контента, и уже как доставщики этой информации конвертируем его в IP, осуществляем биллинг, управление приставками абонентов и т.д.

— В предыдущем номере журнала мы рассказывали о коммерческом ЦОД «Укртелекома», расположенном в Киеве по ул. Соломенской. Но поскольку в этой статье речь шла, в основном, о кабельной системе, хотелось бы попросить Вас более детально остановиться на задачах, решаемых этим дата-центром.

— Действительно, кроме вышеупомянутых корпоративных ЦОД, которые используются для внутренних нужд, «Укртелеком» имеет дата-центр для платного размещения серверов других компаний (колокейшн, хостинг). Он сейчас называется «Дата-центр Утел». Данные услуги становятся все более популярными у нас в стране, и размеры нашего коммерческого Центра постоянно растут. Поэтому в начале лета мы перевели его в более просторное помещение, которое примерно вдвое больше предыдущего.
    Но дело не только в росте популярности услуги «колокейшн» как таковой. Мы постоянно работаем над тем, чтобы предлагать на рынке новые, но вместе с тем востребованные услуги и повышать их качество.
    ЦОД «Дата-центр Утел» имеет автономную сеть передачи данных, независимую от сети «Укртелекома». Хоть он и является частью нашей пакетной сети, но при этом администрируется (с точки зрения маршрутизации трафика) абсолютно самостоятельно, отдельно от сети «Укртелекома».
    Это позволило включить «Дата-центр Утел» в точку обмена трафиком UA-IХ. При этом ни одно из подразделений «Укртелеком» туда не подключено. Что это дает? А то, что украинский пользователь, обращаясь к серверу, размещенному в таком дата-центре, получает доступ к нему сразу через UA-IХ. Но при этом наш коммерческий ЦОД имеет также и самостоятельный выход на зарубежные каналы. А это уже серьезное преимущество с точки зрения бизнеса.
    Кроме того, мы сейчас продаем потребителям «пакеты услуг» по аренде 10, 20 и 30 юнитов в стойках нашего дата-центра. При этом, пользователь, покупая 30 юнитов, получает такое же количество интерфейсов сети, необходимую мощность электропитания и т.д. Конечно, он может и не пользоваться всеми этими кабелями (например, используя серверы высотой 2U или 4U), но, тем не менее, ЦОД строился из расчета равного обеспечения каждого потенциального юнита в стойке.
    В ряде случаев на рынке колокейшн-услуг можно столкнуться с такой ситуацией, когда в дата-центре оператора есть только стойки, а другие элементы (кабели, розетки, климатическое оборудование) рассчитаны весьма приблизительно. Когда к такому оператору приходит клиент, то все это докупается и устанавливается в срочном порядке. Когда стоек пять или десять — это еще терпимо, но когда их десятки, то надежность подобного дата-центра вызывает вопросы. У нас же все по-честному: каждый юнит обеспечен соответствующей инфраструктурой. Мы также предлагаем неограниченное по объему трафика подключение на скоростях 10, 100, 1000 Мбит/с на сервер, а вскоре намерены продавать также услуги межсетевого экрана, контекстной фильтрации и т.д.

— Какие еще преимущества использования ЦОД в производственных процессах предприятия?

— Важно именно то, что ЦОД становится составной частью производства. Ведь, как было раньше на предприятиях электросвязи? Типовым элементом производства был автозал, где размещалась координатная, декадно-шаговая или цифровая станция. Это был тот базовый термин, которым все оперировали. Есть автозал — значит, есть точка производства услуг, к нему подтягивали кабели, «привязывали» клиентов и т.д.
    Сейчас же таким средством производства является ЦОД. Другими словами, ЦОД, фактически, как бы заменяет автозалы. Не в буквальном смысле предоставления тех же услуг, но в части предоставления новых. Есть ЦОД — есть «точка» производства услуг, к нему подтягивается оптика, привязывается транспортная сеть. Параллели очевидны, не так ли?
    Но преимущества использования ЦОД не только в консолидации ресурсов. С их помощью гораздо легче и быстрее можно внедрять новые современные услуги. К примеру, в июле мы начали предлагать абонентам широкополосного Интернет-доступа (услуга «ОГО!») IP-телефонию. Для этого нам пришлось всего лишь установить и настроить в одном из наших ЦОД несколько дополнительных блейд-серверов. При этом даже не устанавливались дополнительные СХД, поскольку новые серверы были подключены к общей сети SAN «Укртелекома». И все — новая услуга появилась!
     Вообще, IP-телефония становится все более популярной. У нас уже давно работает программный коммутатор (SoftSwitch) четвертого класса. Он уже по объему трафика сопоставим с нашими международными центрами коммутации, которые за последние 70 лет были построены в ТDM-сети. Ядром программного коммутатора являются четыре сервера, но уже сейчас ведется работа по внедрению системы пятого класса на двадцати серверах для расчетной емкости в 100 тыс. абонентов.

— Сейчас многие украинские операторы связи переходят на ВОЛС. Каковы планы «Укртелеком» в направлении развития оптических сетей?

— В компании уже давно утверждена концепция постепенного перехода на ВОЛС. Но поскольку мы действуем в масштабах всей страны, этот переход не может произойти одномоментно. Требуется время. Сейчас мы соединили по ВОЛС более 2000 площадок, но это только начало. Будем прокладывать оптику и дальше. Утверждена концепция перехода от медных распределительных сетей на «оптику», состоящая из трех основных этапов.
    Первый этап, это FTTC — «оптика до шкафа» или до мультиплексора, позволяет обеспечить удаление абонента от ВОЛС до 100–300 метров. На таком расстоянии можно уже гарантировать пропускную способность канала на уровне 16 Мбит/с с помощью того же ADSL2+. Далее мы планируем довести оптику до здания (50–100 метров до абонента) и обеспечить скорость до 100 Мбит/с (например, по VDSL2). Третьим этапом должно стать доведение ВОЛС непосредственно до абонента.
    Собственно, именно в таком направлении развивается сегодня деятельность «Укртелекома». Центры обработки данных, новые современные услуги, мощная сеть передачи данных и новые технологии доступа для абонентов уже представлены в нашем арсенале. Подобный путь успешно прошли или проходят сейчас многие западноевропейские операторы связи.
    «Укртелеком» — оператор национального масштаба, поэтому цели и задачи соответствующие. Их решение позволяет обеспечить самыми современными услугами население практически всей страны — от столицы до удаленных сел. Базовая инфраструктура для этого создана, а развитие сетей доступа позволит абонентам получать услуги с качеством, не зависящим от расстояния до центра.

Редакция журнала благодарит Александра Ремигу, руководителя центра технической эксплуатации сети передачи данных филиала информационно-коммуникационных систем ОАО «Укртелеком», и Юрия Сердюка, директора компании BIT, которые не только принимали участие в интервью, но также, не жалея своего времени, провели вдохновляющую экскурсию по всем доступным ЦОД «Укртелекомa».

Интервью провели
Владимир СКЛЯР,
skl@sib.com.ua

Игорь КИРИЛЛОВ,
igor@sib.com.ua

  СиБ

№4 (Сентябрь) 2008