СКС и ЦОД: практика как последнее прибежище истины

№ 3 (40) 2008

Качество реализации проекта ЦОД во многом зависит от тщательности

проработки его инфраструктуры, важное место в построении которой

занимают кабельные соединения между стойками с активным сетевым

серверным оборудованием. От проекта СКС и качества выполненных

работ напрямую зависит надежность и оперативность коммутаций

внутри ЦОД, а также гибкость решения.

Чем отличается хороший центр обработки данных от посредственного? И как построить ЦОД, за который не было бы стыдно перед грядущими поколениями? Не так просто дать краткий и однозначный ответ. Если сказать, что ЦОД должен удовлетворять всем требованиям стандарта TIA 942, и этим ограничиться, то, скорей всего, такой ответ никого не устроит. В любом случае, кратко рассказать невозможно, а если рассказывать долго, то слушатель быстро устанет и перестанет воспринимать услышанное.

В поиске ответов на эти вопросы мы посетили один из самых известных для специалистов коммерческий центр обработки данных ОАО «Укртелеком», который находится в Киеве на улице Соломенской. Здесь нам удалось встретиться и побеседовать с Александром Ремигой, руководителем центра технической эксплуатации сети передачи данных филиала информационно-коммуникационных систем ОАО «Укртелеком», а также с человеком, который пять лет назад приложил усилия, чтобы этот центр был построен и введен в эксплуатацию, — Юрием Сердюком, генеральным директором компании BIT.

Неудивительно, что, с точки зрения проектировщика и инсталлятора СКС, хороший дата-центр отличается прежде всего правильно выполненной кабельной системой. По крайней мере, так считает Юрий Сердюк, к мнению которого прислушиваются многие серьезные заказчики и на счету которого — более десятка выполненных проектов центров обработки данных на различных предприятиях, в том числе в ряд государственных, коммерческих и силовых структур. И в этом есть своя, и большая, доля правды, поскольку коммуникации — это кровеносные сосуды организма, называемого дата-центром. Линии связи должны надежно связывать между собой все компоненты ЦОД, а информация — беспрепятственно поступать в любую точку системы.

У истоков дата-центра

Так случилось, что пять лет назад «Утел», которая к тому времени еще не была составной частью ОАО «Укртелеком», поставила перед компанией BIT задачу: за три месяца создать центр обработки данных для совместного решения внутрикорпоративных и коммерческих задач. В тот момент это был один из крупнейших в Европе коммерческих дата-центров (его общая емкость измерялась совокупными «внутренностями» 51 серверного шкафа). Проект был признан компаниями АРС и НР самым крупным в Украине и одним из самых заметных в Европе, да и по сегодняшним меркам он является все еще достаточно серьезным.

Заказчик выбрал соответствующее помещение, а все активное оборудование распределили между двумя автономными залами, каждый из которых был оборудован собственными системами кондиционирования, а также рядами коммутационных шкафов.

В первом зале был расположен главный узел коммутации и собственные серверы компании для решения внутрикорпоративных задач, а также задач хостинга. Второй зал ЦОД предназначался для предоставления услуг колокейшн (размещение серверов сторонних заказчиков). Кроме того, для обслуживания серверов, размещенных в «коммерческом» зале, дополнительно выделялось еще несколько служебных помещений — для работы персонала заказчиков со своим оборудованием через вынесенные консоли терминалов. При этом физический доступ к пользовательским серверам предполагалось ограничить, а управление и настройку прикладными процессами, по возможности, вынести на внешние консоли, соединяемые с серверами заказчиков через KVM-переключатели.

Одной из задач при построении дата-центра было создание кабельной системы, и именно об этом мы хотим детальнее рассказать.

Проект ЦОД — вполне интеллектуальная задача

Наиболее сложный и ответственный этап создания ЦОД — несомненно, разработка идеологии. Это подтвердил нам и сам автор проекта дата-центра для «Укртелекома», Юрий Сердюк. Прежде всего, необходимо осмыслить задачи, которые должен решать дата-центр, продумать все варианты реализации проекта, учесть перспективы расширения центра, перестройки, изменения функций, появление новых каналов связи и т.д. Ответственность велика: в любом случае, вина за возможные просчеты ляжет на плечи проектировщика.

Учитывая важность решаемых задач и крайнюю нежелательность перерыва в работе, дата-центр «Укртелекома» был спроектирован с максимальным уровнем надежности. Продублированы наиболее ответственные элементы сети и системы электропитания. В магистральном узле коммутации, куда заводятся внешние каналы связи, установлены два мощных маршрутизатора ядра сети (схема, рис. 1), каждый из которых работает независимо друг от друга.

В случае отказа одного из них, второй будет выполнять работу за двоих. Оба маршрутизатора соединены с коммутаторами двух рабочих зон, расположенных на некотором удалении друг от друга. Поскольку каждый коммутатор имеет два канала связи с центральным узлом коммутации, обрыв одной из линий связи между ними или отказ одного из центральных устройств сети не является критичным.

В свою очередь, коммутаторы рабочих зон соединены с серверами. При этом предусмотрена возможность подключения нужного устройства сразу к двум ближайшим коммутаторам, что позволяет обеспечить еще более высокий уровень резервирования системы.

При проектировании объекта изначально закладывалось зонирование. В зоне коммутации пользователь находиться не должен, там допускается лишь присутствие персонала ЦОД. В принципе же, при получении разрешения представители заказчика должны иметь доступ к своему оборудованию для выполнения ремонта или аппаратного расширения.

Надежность и резервирование

Архитектура с резервированием на всех уровнях формирует повышенные требования к надежности кабельной системы ЦОД и устойчивости ее к помехам. Именно поэтому кабельная система рабочих зон была реализована на экранированных компонентах кат. 6 компании R&M. Это позволяет минимизировать влияние внешних помех, как от систем электропитания, так и от серверного оборудования, существенным образом повысив устойчивость работы сети.

Поскольку в каждой серверной стойке может разместиться до 32 одноюнитовых серверов, кабельная разводка должна обеспечивать возможность подвода к серверным шкафам до 32 коммутационных шнуров, а в случае дублирования коммутатора рабочей зоны — до 64. Кроме того, каждый сервер должен подключаться к собственной розетке системы распределения питания (PDU). Таких розеток в максимальной конфигурации должно быть не менее 32, а с учетом возможности питания серверов сразу от двух независимых источников, их количество должно быть удвоено. И это еще не все. Для каждого сервера должна быть предусмотрена возможность дистанционного управления, для чего используются KVM-переключатели, позволяющие подключить к нужному серверу монитор, мышь и клавиатуру. А это еще дополнительно до 32 кабелей.

Видимая и невидимая части кабельного айсберга

С позиции внешнего неподготовленного наблюдателя, дата-центр — это ряды высоких черных шкафов, «начиненные» разнообразным оборудованием, блестящие плитки фальшпола, отражающие свет ламп дневного освещения, система видеонаблюдения. И, конечно же, строгий персонал, следящий за малейшими отклонениями от допустимого в поведении посетителей .

Кабельная разводка соединяет все важнейшие узлы и элементы ЦОД в единое целое, обеспечивая передачу и распределение информации к ее потребителям, выполняя также функции резервирования.

Кабельная система, по определению, должна быть вездесущей и одновременно невидимой и незаметной, чтобы, в буквальном смысле слова, не путаться под ногами, не мешать доступу к серверам и в то же время быть удобной для выполнения различных перекоммутаций и переконфигураций системы.

Для этого все кабельные коммуникации было решено разместить в пространстве под фальшполом. Юрий Сердюк, на правах знатока, взял на себя задачу продемонстрировать все скрытые от глаз подпольные детали проекта, поднимая плитки пола в нужном месте с помощью специального инструмента. В открывавшемся пространстве можно было увидеть жгуты кабеля, аккуратно уложенные в сетчатых лотках, шину заземления, силовую разводку. Сюда же, под пол, нагнетается охлажденный воздух, предназначенный для подачи в серверные шкафы.

Видимая часть кабельного «айсберга» размещается в зоне коммутации. Лицевая сторона оборудования — это зона обслуживания, куда может подойти клиент в сопровождении администратора. Вся коммутация выполняется с тыльной стороны.

Структурированная кабельная система для этого ЦОД выполнена полностью на оборудовании R&M. Здесь был впервые применен специальный организатор шнуров, представленный компанией Synergia (тогда еще «R&M Украина»), позволяющий отдельно обслуживать каждый соединительный шнур. Такой организатор устанавливается в каждый серверный шкаф рядом с коммутатором рабочей зоны и рассчитывается на обслуживание до 32 серверов, которые могут быть установлены в стойке.

К моменту закладки настоящего решения «Укртелеком» уже имел опыт работы с различными проектировщиками. По словам Александра Ремиги, для компании актуальны, конечно же, не только оптимизация отдельных решений, хотя и это необходимая вещь, но, прежде всего, тщательность проработки всего комплекса и качество проекта. «Вот это, пожалуй, самое показательное, почему мы работаем с компанией BIT по проектированию и созданию дата-центров для «Укртелекома», отметил Александр.

Что такое «правильный» ЦОД и как он выглядит, нам удалось увидеть своими глазами. Надеемся, что и читатель, одолев статью, сможет себе представить целостную картину решения.

Побывал в дата-центре

ОАО «Укртелеком»

и подготовил материалы

Владимир СКЛЯР,

СиБ

Решения R&M для построения ЦоД

— Компания Synergia SE, дистрибьютор решений R&M в Украине, предлагает полный комплекс решений для построения ЦОД — от медных экранированных кабельных решений категории 6а до оптических одномодовых и многомодовых систем, включая наборы вспомогательного оборудования для монтажа и прокладки кабеля. Опыт компании R&M и ее украинских партнеров нашел применение при построении большого количества центров обработки данных — как коммерческих, так и корпоративных.

Ни для кого не секрет, что, в отличие от активного оборудования, жизненный цикл кабельной системы приравнивается к жизненному циклу самого ЦОДа. Поэтому основным требованием для среды передачи данных на физическом уровне является обеспечение максимально возможной пропускной способности каналов связи. Если вчера мы предлагали строить горизонтальную разводку кабельнойсистемы ЦОД на медном экранированном кабеле кат.6а или на многомодовом оптическом волокне ОМ2, то сегодня настоятельно рекомендуем это делать исключительно на оптическом волокне ОМ3. Все компоненты для таких решений поддерживаются в достаточном объеме на складе компании Synergia SE.

Исследования показывают, что более 30% ошибок, которые приводят к потере данных и простоев информационных систем, связаны с ошибками коммутации соединительных шнуров, т.е. с человеческим фактором. И центры обработки данных — это именно те объекты, где такие ошибки могут привести к самым плачевным последствиям. Поэтому эксклюзивные решения R&M по защите коммутационных соединений на физическом уровне нашли оправданное применение и в дата-центрах. Речь идет о специальных ключах и клипсах, которые устанавливаются на соединительные шнуры и модули, как медные, так и волоконно-оптические. R&M продвигает идею, в соответствии с которой легче предотвратить проблему, чем потом с ней бороться. Относительно небольшие затраты на этапе строительства позволят сэкономить значительно больше денежных средств и времени впоследствии.

Одним из показателей удачной инсталляции являются те изменения, которые с ней происходят по прошествии некоторого времени. Только время покажет, правильно ли выбрано решение, надежно ли оборудование, удобна ли его эксплуатация и выглядит ли по-прежнему «презентабельно» инсталляция, какой она была на этапе ее запуска. А начинают «портить картину», как известно, именно соединительные шнуры в коммутационных шкафах.

Решить проблему размещения избыточной длины коммутационных шнуров мы предлагаем за счет использования специальных кабельных организаторов, которые позволяют аккуратно разместить все соединительные шнуры в персональных нишах, углубленных на всю длину коммутационного шкафа. Это решение универсально и рассчитано не только для медных, но и для волоконно-оптических шнуров, а также для шнуров вторичного питания, которыми подключаются серверы и коммутаторы в шкафу. И это не единственный удачный продукт, который поставляет компания Synergia SE для центров обработки данных.

Главное, вначале все продумать!

— Сложностей при построении ЦОД, как правило, всегда достаточно. И это не только проблемы монтажа, выбора оборудования или системы охлаждения. Дата-центр — это высокая концентрация всех информационных технологий в их взаимодействии, причем на относительно небольшой площадке. Самое сложное —комплексно продумать и проработать проект. От начала и до конца. И мелочей на таких объектах не бывает. Ведь центр обработки данных проработает не один год, поэтому будет требовать непрерывной замены оборудования, добавления и удаления серверов, новых каналов связи и т.д.

Можно легко из стандартных элементов построить систему таким образом, что любая переделка и любая перекоммутация превратится в проблему для персонала ЦОД. Но задача состоит как раз в обратном — построить ЦОД таким образом, чтобы, с одной стороны, обеспечить его надежность и живучесть, с другой — легкость эксплуатации, наращивания и трансформации по мере развития.

Построенное нами в 2003 году решение для «Укртелекома», несмотря на то, что прошло уже пять лет, смотрится и на сегодняшний день вполне современно. За столько лет эксплуатации можно было ожидать чего угодно. И хаоса висячих проводов, и коммутационных шнуров, идущих по кратчайшему пути в нужные точки коммутации, и проблем с перегревом серверов, и вопросов по конфигурированию коммутационного оборудования. Но на этом объекте вы ничего этого не увидите. Это значит, что было разработано правильное проектное решение. В частности, кабельная система изначально была корректно спроектирована, правильно инсталлирована и, в конечном счете, сейчас удобна для эксплуатационного персонала.

На данном объекте нами был проработан и продуман целый ряд технических решений по организации кабелей и планированию шкафов. Мы не делаем секретов из спецификации оборудования, применяя стандартные изделия. В проекте, конечно же, все это описано, но повторить такое решение практически невозможно. Ведь никто же не знает, почему это было выполнено именно так, а не иначе, почему вот эта направляющая выставлена на такое расстояние, а не на другое; многие технические нюансы скрыты от внешних глаз и не видны даже специалистам. Важны также технология и качество монтажа. Профессионализм проявляется в деталях. Да, это ноу-хау, но серьезный заказчик желает получить надежное, качественное решение. И мы его обеспечиваем.

Строительство ЦОД — это, конечно, искусство. Но без качественных изделий и решений, предлагаемых производителями, никакое искусство невозможно. Например, художник рисует картину на холсте кистью и красками. Отберем у него все это — и никакой картины не будет. То же самое и при инсталляции СКС. Если бы компания R&M не приложила серьезных усилий по изготовлению кабельного организатора, который кардинальным образом изменил методику построения коммутационной системы в ЦОД, то мы и сегодня наблюдали бы довольно неприглядную картину, присущую очень многим аналогичным объектам. В данном же случае вся кабельная инфраструктура практически не видна, но решена главная ее задача — обеспечение удобных и надежных коммуникаций, а не создание проблем в эксплуатации. Это только один пример успешного применения проверенных опытом решений. Но на самом деле их множество.

Мы отказались от стандартных подходов, используя лучшие наработки, которые есть у всех производителей, вкладывая в это дело весь свой опыт и знания. Надеемся поэтому, что решения для ЦОД, предлагаемые нашей компанией, будут востребованы заказчиками и в будущих проектах.

№ 3 (июнь-июль) 2008