СКС в ЦОД

По материалам 2-й Международной

конференции по кабельным системам

Среди множества вопросов, которые

затрагивались на прошедшей 3–4 апреля 2007 г.

специализированной конференции по СКС,

особое внимание привлекло обсуждение

практических аспектов и технологических

особенностей построения и администрирования

СКС в центрах обработки данных.

Адаптация кабельной инфраструктуры к конкретному типу объекта является одним из главных направлений развития СКС. Существуют уже стандарты для СКС жилых помещений, СКС для зданий. Но особенно актуальной темой в последние годы стала адаптация СКС для центров обработки данных (ЦОД). Естественно, разработаны и стандарты, где регламентируются требования по организации кабельной системы в ЦОД и инфраструктура таких помещений. Прежде всего это EIA/TIA 942 «Стандарт информационной инфраструктуры ЦОД», а также EN 50173-5 «Кабельные системы для ЦОД» и соответствующий ему международный ISO/IEC 24764.

Но стандарты стандартами, а реальные знания о таких объектах все еще остаются недостаточными. Доклады на эту тему, прозвучавшие на конференции, заметно расширили и систематизировали наши представления и о центрах обработки данных, и о месте кабельной системы в них.

Как известно, ЦОД отличается высокой плотностью активного оборудования, к такому помещению предъявляются повышенные требования по климат-контролю, и если учесть, насколько дорого стоит место в стойках и шкафах, можно понять, что требования и к кабельной системе здесь будут необычные. Высокая плотность межшкафных соединений, минимальное время развертывания и перекоммутаций, избыточность (резервирование) — вот далеко не полный перечень общих условий, предъявляемых к СКС в ЦОД.

На первый взгляд, СКС — не основная подсистема в ЦОД. Первенство по значимости здесь принадлежит активному оборудованию и комплексам по обеспечению его жизнедеятельности (кондиционирование, пожаротушение и т.п.). Вместе с тем ЦОД как структура сродни живому организму: каждый орган в нем выполняет свою задачу. Если продолжать аналогию, СКС в ЦОД — и кровеносная, и, пожалуй, нервная система одновременно. Поэтому и внимание к ней повышенное.

Сразу заметим, что в ЦОД кабельная система заметно отличается от традиционной СКС. Первое (и главное) отличие — отсутствие как таковых рабочих мест. Второе отличие — огромный поток данных, не свойственный стандартной локальной сети. И наконец, повышенные требования к безопасности. Все эти задачи определяют круг и тип оборудования, которое может быть задействовано для организации кабельной системы в ЦОД.

Стандарты четко описывают структуру ЦОД, ее зоны и оборудование, используемое в каждой из них. На рис. 1 представлена типичная структура ЦОД в соответствии с международными стандартами.

Как видим, здесь выделяются три основных зоны: главная распределительная (Main Distribution Area, MDA), горизонтальная распределительная (Horizontal Distribution Area, HDA) и зона активного оборудования (Equipment Distribution Area, EDA). Существует и еще одна зона, опциональная (Optional: Zone Distribution Area, ZDA), но к ней мы вернемся несколько позже.

В главной распределительной зоне располагается входное оборудование, через которое поступает основной поток данных, это точка подключения к внешним сетям. Здесь, как правило, устанавливается главный кросс. Подача основных сервисов обеспечивается одномодовым оптическим кабелем либо медными кабелями высокой категории (6а или 7). Рекомендованные разъемы для этой зоны должны соответствовать категории 7 (GG45 (ARJ45) и TERA).

В горизонтальной распределительной подсистеме минимальная полоса пропускания не должна быть ниже 1 Гбит/с. Поэтому здесь также специфицируется медный кабель категории 6а или оптические соединения класса ОМ3. В зоне горизонтального распределения располагаются высокоскоростные коммутаторы, и ее инфраструктура характеризуется высокой плотностью межшкафных соединений.

И наконец, область активного оборудования. Как уже ясно из названия, здесь размещаются серверы, системы хранения данных и т.д. Эта зона наиболее подвержена различным трансформациям, здесь чаще, чем в других зонах, меняется оборудование, регулярно производятся перекоммутации. Поэтому и кабельная система здесь должна быть наиболее динамичной и гибкой.

Как видим, каждое из структурных «подразделений» ЦОД предъявляет свои требования к кабельной подсистеме. Большинство серьезных производителей СКС имеют в своем распоряжении все необходимое для решений в ЦОД. Как правило, это классическая кабельная система — стандартное оборудование, которое используется для специфических целей. Вместе с тем, в арсенале ряда производителей имеются и специальные разработки, предназначенные для ЦОД. 

Архитектура Hot row / Cold row от AMP

Оригинальный подход своей компании к организации кабельной системы в зоне активного оборудования озвучил на конференции Сергей Марчук, глава украинского представительства компании AMP Netconnect. Концепция, получившая название «Архитектура Hot row / Cold row», базируется на учете температурно-климатических условий, характерных для ЦОД. Прежде всего, речь идет об активном тепловыделении, объемы которого увеличиваются вместе с ростом производительности оборудования. В частности, если говорить о грядущей технологии 10G, то процессоры для обработки 10 Гбит/с трафика будут потреблять значительно больше энергии, и, естественно, излучать значительно больше тепла. Для отвода горячего воздуха из шкафов уже предлагается ряд решений. Сегодня применяются даже не шкафы, а целые системы, снабженные вентиляцией, охлаждением, кондиционированием (о них мы подробнее скажем несколько позже). Поскольку такие системы требуют весьма значительных инвестиций и стоимость пространства в шкафе довольно высока, оптимальное его использование становится одной из стратегических задач.

Именно в целях экономии дорогого места AMP предлагает разнести активное и пассивное оборудование. Другими словами, активное оборудование концентрировать в специальных шкафах. А пассивное — размещать в шкафах попроще или даже в стойках в холодном ряду.

Таким образом в «холодном», пассивном шкафу располагается коммутационное поле, порты которого отображают порты активного оборудования. Кроме реальной экономии, повышается надежность и безопасность сложных и дорогих устройств в «горячей» зоне, поскольку отпадает необходимость доступа к активному оборудованию для перекоммутаций (рис. 2).

Еще одна разработка AMP для ЦОД касается организации межшкафных  соединений. В условиях скопления оборудования (десятки и сотни шкафов) кабельное хозяйство, безусловно, сложное и плотность соединений высока. Между тем непрерывность предоставления сервисов требует от администраторов быстрой и простой инсталляции и перекоммутации.

И тут, как нельзя кстати, придутся протестированные на заводе кабельные решения Plug & Go, которые помогут в обслуживании ЦОД. Компания AMP для быстроты и удобства перекоммутаций предлагает коммутационные шнуры с разъемом MRJ-21. Они разработаны на базе разъема RJ-21 (штеккерный коннектор типа Telco) и получили название Mini RJ-21. С помощью такого разъема простым сочленением можно подключить сразу 12 портов. Другой конец такого шнура может заканчиваться таким же разъемом, который может подключать к специальным моделям коммутаторов. Если у коммутатора традиционные разъемы, с другой стороны на гибридном патч-корде может быть стандартный интерфейс. Такое же соединение может быть и между патч-панелями.

Применение разъемов MRJ-21 в активном сетевом оборудовании позволяет увеличить плотность портов на фронтальной панели по сравнению с RJ-45 в 1,5–4 раза. Сегодня уже целый ряд производителей (самые известные: IBM, Fujitsu, Motorola, Lucent / Riverstone, Force10 Networks и некоторые другие) выпускают коммутаторы с разъемами MRJ-21. Есть даже предположение, что со временем такое решение может стать стандартом, особенно для так называемых blade-коммутаторов (с возможностью наращивания портов за счет дополнительных плат). Если взглянуть на панель такого коммутатора (скажем, Force10 E1200 Blade), которая «несет» 90 портов MRJ-21, можно легко убедиться, что для такого же количества разъемов RG-45 места здесь не найдется (рис. 3).

Аналогичное решение AMP предлагает и для оптических систем. Разъем там несколько иной, однако принцип тот же. Система MPO представляет собой претерминированную кабельную сборку на 12 волокон OM1, OM2, OM3. Преимущество оптической системы в том, что длина таких соединительных кабелей может значительно превышать медный аналог: от 10 до 300 м. Более подробно о кабельных системах MRJ-21 и MPO можно прочесть в этом же журнале на с. 72.

Увеличению плотности монтажа в зоне активного оборудования ЦОД могут способствовать и угловые патч-панели. В одном юните монтажного пространства такие панели позволяют разместить 48 портов, причем как с разъемами MRJ-21, так и с традиционными RJ-45. Кроме того, угловые панели не требуют горизонтальных кабельных организаторов.

Решения для ЦОД от RiT

Как мы уже говорили, практически каждый серьезный производитель располагает компонентами для инсталляции СКС в ЦОД. Поэтому мы не акцентируем внимание на общем оборудовании. Умышленно мы не говорим и о разработках для 10G, которые, конечно, будут весьма востребованы в ЦОД. Просто это отдельный разговор.

Сегодня нас интересуют только оригинальные, специальные решения для ЦОД. Есть таковые и у компании RiT. О них на конференции рассказал технический директор российского представительства RiT Дмитрий Никулин. Как и у AMP, такие решения касаются, прежде всего, обеспечения удобства при перекоммутациях. Этому служит, например фирменная разработка Patching Switch. Суть ее в том, что в патч-панелях высотой в 2 юнита и с 32 портами в два ряда для коммутации вместо патч-кордов применяются переключатели. Переключение происходит по вертикали, то есть замыкаться могут только верхний и нижний порты друг под другом. Избежать использования коммутационных шнуров вообще, конечно, не удастся, особенно при переназначении портов, однако количество патч-кордов заметно уменьшается.

Другой тип коммутационных панелей, получивший название RJ-RJ, в отличие от традиционных, имеет разъемы RJ-45 как на фронтальной, так и на тыльной стороне (рис. 4). Таким образом, перекоммутация проводится просто.

Заботясь о повышенной плотности соединений, компания RiT предлагает также патч-панели с 48 портами в одном юните, такая модель носит название HighDensity.

Не позабыли в RiT и об оптике. Для магистральных линий разработана патч-панель FiberOptic, которая позволяет разместить всего лишь в двух юнитах 96 волокон.

Всем знатокам технологии СКС известно, что компания RiT — первопроходец в области интеллектуальных систем. И хотя сегодня эту тему мы также опускаем (ввиду ее обширности), для первопроходца сделаем некоторое исключение. Кроме всех прочих достоинств системы мониторинга PatchView для обслуживания ЦОД интересна функция Automated Provisioning & Cabinet Manager.  Имеется в виду инструмент, который позволяет автоматизировать некоторые рабочие задания. Поскольку база данных содержит информацию обо всех соединениях в ЦОД, прежде чем выполнить, например, подключение нового оборудования, можно (путем простого перетаскивания на мониторе задания в нужную зону) определить наиболее оптимальные условия для этого действия. Нужно, к примеру, в какой-то шкаф добавить сервер. Программа сразу подскажет, какие коммутационные шнуры нужно переключать. При этом будут учтены многие факторы: монтажное пространство в помещении, свободные места в шкафах, подводимая мощность и возможности системы охлаждения в конкретном шкафу. Если условия превышают порог допустимого, система предупредит об этом оператора (рис. 5).

Рис. 5. Автоматизация рабочего задания в системе PatchView

Зонное каблирование от Panduit

Равная среди равных, компания Panduit располагает всем спектром оборудования для инсталляции кабельной системы в ЦОД любого масштаба. Вместе с тем собственные фирменные разработки связаны, прежде всего, с зонным подходом (PanZone) компании к организации СКС в ЦОД, что нашло отражение в презентации регионального менеджера Panduit в России и СНГ Александра Брюзгина. Выбор этой топологии предполагает подведение магистральных линий к точкам консолидации, обслуживающим, уже по меди, отдельные рабочие области. Зонное построение кабельной сети благодаря оптическому волокну позволяет снять ограничения на расстояние, перегрузку линий, а также обеспечивает простоту и гибкость обслуживания (рис. 6).

Кстати, зонный принцип построения СКС в ЦОД предусмотрен и в самом стандарте. В начале статьи мы оставили до поры до времени область ZDA (Zone Distribution Area). А ведь это не что иное, как необязательная точка коммутации, то есть заложенная на этапе инсталляции точка консолидации, которую можно использовать для организации дополнительной рабочей области.

При зонной стратегии упор, естественно, делается на оптические решения как базовые и наиболее критичные для общего состояния сети. В приложении к ЦОД это означает скорость, простоту, модульность и надежность монтажа и обслуживания. В «интерпретации» Panduit такой оптической системой стала Opticom QuickNet. Основные компоненты этой системы — так называемые MPT-кассеты и MPT-коннекторы с 12 оптическими волокнами; все соединительное оборудование претерминировано и протестировано в заводских условиях. Соединение выполняется легко и быстро. Четырехмодульная выдвижная полка в шкафу обеспечивает размещение до 96 волокон на один юнит (рис. 7).

При необходимости оптика может быть замещена медным решением категории 6, а для уплотнения соединений (портов) в ассортименте имеются и угловые панели, и обычные панели высокой плотности.

Термическая модель шкафа

Еще одно сообщение, прозвучавшее на конференции, к теме СКС относится косвенно. Но, учитывая, что в последнее время редкий проект СКС обходится без коммутационных шкафов (а как раз о них и шла речь в презентации Игоря Антина, регионального менеджера по продажам компании Knurr), мы решили объединить эти темы.

Конечно, роль шкафа в ЦОД заметно отличается от его назначения в обычной СКС. С увеличением плотности оборудования в шкафу его традиционные функции: грузоподъемность, вместимость, защита и др. — по важности постепенно уступают климат-контролю. В шкафу становится все жарче: объемы выделяемой мощности растут в арифметической прогрессии. Если, к примеру, сегодня сервер IBM Blade Center на 7 юнитов выделяет 4 кВт тепла, то завтра можно ожидать все восемь. А если шкаф загрузить «под завязку»? Например, стандартный 42-юнитовый шкаф физически может вместить 37 так называемых пицца-серверов (по 1U) или пять 7-юнитовых блейд-серверов. При этом мы в первом случае получим 12 кВт, а во втором — 18 кВт.

Традиционными методами кондиционирования, когда воздух загоняется из-под пола, втягивается через перфорацию в двери и выбрасывается в горячий коридор, такую жару остудить невозможно (порог для обычных методов —1,5 кВт на м², то есть не более 4 кВт на шкаф). Даже если применить форсированное охлаждение (с помощью блока вентиляторов), можно добиться показателя в 6–8 кВт. Однако тогда появится новая проблема: этот шкаф будет охлаждаться, а соседние — нагреваться.

В поисках оптимального решения по теплоотводу компания Knurr разработала продукт под названием CoolTerm. В самых общих чертах это шкаф, но не обычный, а представляющий собой закрытую систему. Внутри находится теплообменник, в котором циркулирует вода. Вентиляторы на задней двери оттягивают горячий воздух с тыльной стороны серверов, прогоняют через воздуховод, затем через теплообменник, и уже остывший воздух подается на фронтальную панель оборудования (рис. 8).

Решающую роль в этом процессе играет вода. Воздух как медиум с ней никогда не сравнится: по теплопроводности вода превышает воздух в 3,5 тысячи раз. Поэтому чтобы отвести 1 кВт тепла, придется прогнать в час либо 325 м³ воздуха, либо 90 литров воды. То есть маленькая трубка с водой отведет больше тепла, чем весь воздух ЦОДа.

По этому принципу организовано, например, охлаждение (Rack Liquid Cooling) в шкафу Knurr Miracel CoolTherm. Серверный шкаф существует как автономная система: тепловая нагрузка на помещение отсутствует, разница температур внизу и под потолком — не более градуса. При габаритах шкафа 2200×800×1200 мм в разных по мощности системах отводится от 10 до 35 кВт тепла. Температура воды на входе 12–15° С, температура воздуха, который подается на передние панели серверов, — примерно 20–25° С. При этом скорость воздушного потока — 200–5500 м³ в час (ураганный ветер), поток воды — поллитра-литр в секунду.

Имеется у Knurr и другое, промежуточное решение — CoolAdd, некая дверь (Retrofit Door Solution), которая тоже охлаждается водой. Она навешивается на шкаф любого производителя и позволяет отводить дополнительно до 8 кВт тепла. Принцип таков: дверь имеет 4 вентилятора и теплообменник «вода-воздух», который крепится вертикально сбоку от шкафа. По теплообменнику циркулирует вода. Горячий воздух сзади сервера засасывается в дверь, тепло отводится водой и холодный воздух обратно выбрасывается в помещение. По сути, происходит полная нейтрализация тепла, выделяемого из шкафа. Как итог — простое сравнение: для размещения 10 блейд-серверов по 4 кВт или 80 пицца-серверов по 500 Вт (нагрузка 40 кВт) понадобится 10 обычных шкафов и хотя бы один мощный кондиционер.

В то же время все это можно заменить всего двумя шкафами с системой CoolTherm по 22 кВт. Предельное же возможное охлаждение — до 35 кВт на шкаф и до 12 кВт на м². Конечно, такие шкафы дороже, но при этом экономится 80% площади в ЦОД, стоимость шкафов и кондиционеров, а также от 15 до 40% энергопотребления.

Иногда центры обработки данных называют модной темой, и доля истины в этом есть. Однако постепенно разговоры «вокруг да около» приобретают предметный характер, и сам ЦОД, и его задачи становятся реальностью. Есть уж конкретные решения, есть и проекты.

Нет сомнения, минувшая конференция еще больше приблизила нас к осмыслению самой технологии и ее значения для общества. И частые упоминание о надежности, производительности, безопасности вовсе не досужие разговоры. Борьба за сохранение информации достигает порой высокого накала в прямом и переносном смысле.

Евгений ПОЛИЩУК,

СиБ

№ 3 (июнь-июль) 2007