№ 3 (64) 2012

Владимир СКЛЯР

Построить «идеальный» ЦОД не удавалось еще никому. Слишком много противоречивых требований выдвигают разные участники процесса. Однако несомненно, что без оптимального решения комплексной коммуникационной задачи — создания каналов связи между серверами, внешними линиями и СХД, а также возможности мониторинга и управления всеми компонентами ЦОД — говорить об успехе замысла не приходится.

Кабельная система для ЦОД

Правила построения инфраструктуры дата-центра, в том числе и кабельной системы для ЦОД, описаны в ряде стандартов, из которых наиболее распространенным и цитируемым является, пожалуй, американский TIA-942. Реже используется EN 50173-5 и соответствующий ему международный ISO/IEC 24764.

При этом не отменяются и нормы традиционных стандартов СКС для зданий.

В типовом случае TIA-942 в пределах дата-центра определяет несколько базовых элементов кабельной инфраструктуры: комната ввода, главная распределительная зона (MDA), горизонтальная (HDA), зонная (ZDA) и аппаратная (EDA). В зависимости от размеров проекта не все из них могут использоваться в ЦОД; кроме того, указанные зоны не обязательно должны иметь стены либо иные ограждения для отделения их от других пространств машинного зала.

Но это теория. Практики могут заявить, что кабельную систему для ЦОД можно вполне уверенно строить на базе основных положений стандартов СКС для зданий. Ведь задача по сути одна и та же — обеспечение соединений между элементами ЦОД — серверами, СХД, коммутаторами и коммутационными панелями. За исключением разве что практически отсутствующих рабочих мест.

Однако вспомним, что дата- центр — это инфраструктура, в рамках которой компании и частные лица решили разместить свое вычислительное оборудование. При этом они надеются на достаточную надежность и защищенность этого оборудования, а также высокую скорость доступа к установленным приложениям и базам данных в любое время суток. Именно учет этих принципов и определяет структуру связей — как внутри ЦОД, так и между компьютерной техникой и внешним миром.

Поэтому кабельную систему необходимо строить, учитывая комплексную задачу создания всей инфраструктуры. А это значит, что СКС в данном случае очень сильно зависит от сетевого окружения и компьютерных систем.

Структура связей внутри ЦОД определяется прежде всего выбранной архитектурой сети, типом используемого оборудования и решаемыми задачами. Предполагается также, что на этапе формирования технических требований определяются назначение дата-центра, его основные функции и уровень надежности. Исходя из этого все подсистемы ЦОД (а СКС — одна из них) должны строиться исходя из требований гармоничного сопряжения всех элементов.

Теоретические основы «цодостроения»

Концепция, изложенная в TIA/ EIA 942, является основой для построения кабельной системы в ЦОД. При этом проектировщики и интеграторы не в последнюю очередь руководствуются опытом, накопленным при внедрении кабельных систем для ЦОД. Можно сказать так, что стандарт является базисом, опыт — надстройкой. При этом TIA/EIA 942 предлагает несколько типовых вариантов решения этой задачи. И хотя в реальной жизни мы зачастую будем иметь некую комбинацию или синтез из предлагаемых конструкций, но тем не менее...

Прежде всего отметим, что построить оптимальную кабельную систему для ЦОД можно лишь в том случае, когда полностью известны логическая схема ЛВС, SAN, системы управления и внешних каналов связи. А поскольку существует большая степень изначальной неопределенности, построить оптимальную СКС для дата-центра невозможно по определению.

Самый простой и нередко наиболее дешевый способ решения задачи — централизованная архитектура, при которой все серверы и СХД подключаются к единому коммутатору или коммутационному центру (рис. 1; здесь и дальше в качестве иллюстраций использованы презентационные материалы из доклада Степана Большакова, технического директора представительства CommScope в странах СНГ). Все подключения к активному сетевому оборудованию выполняются при этом на центральном кроссе, обеспечивая полный контроль физического доступа и наиболее полное использование портов коммутаторов ЛВС и СХД. Серверы при этом соединяются коммутационными шнурами с портами патч-панелей, которые располагаются в непосредственной близости к ним (например, в этих же или рядом стоящих шкафах).

Преимуществами такого решения являются простота реализации и эксплуатации. Централизованный подход наиболее приемлем для небольших ЦОД. К его недостаткам можно отнести ограничения по наращиваемости, связан¬ные с емкостью кабель-каналов и максимальной длиной трактов. Кроме того, большое количество кабелей может задерживать потоки воздуха в шкафах и под фальшполом, поэтому в данном случае более приемлема потолочная прокладка.

Но тянуть длинные кабели к центральному кроссу вовсе необязательно. Коммутаторы доступа можно установить непосредственно в стойках или шкафах — рядом с серверами и СХД. Как правило, сетевое оборудование устанавливают в верхней части стоек (рис. 2), откуда и пошло название — Top of Rack (ToR).

При таком подходе серверы подключены напрямую к ЛВС- коммутаторам доступа и, в зависимости от архитектуры решения, к FC-коммутаторам сети хранения данных. Для большей надежности может использоваться резервирование маршрутов — каждый сервер соединяется с портами двух различных коммутаторов ЛВС. То же относится и к портам сети хранения данных.

Несмотря на то что данный подход не претендует на самостоятельную роль при построении дата-центра и используется лишь как подсистема, он имеет свои достоинства и недостатки. В частности, уменьшается общее количество кабелей, обеспечивается легкая и удобная наращиваемость. Обращает на себя внимание эффективность и простота организации пространства машзала.

Однако при этом необходимо предусмотреть установку одного или двух коммутаторов Top of Rack в каждом шкафу, что, как минимум, повышает стоимость решения. Усложняется администрирование: каждый шкафной коммутатор требует управления, а кроме того, резервирование удваивает их стоимость. Наверное, не все порты коммутаторов в таких решениях будут задействованы. К каждому шкафу необходимо подвести необходимое количество медных и оптических линий — для подключения Ethernet- и KVM- коммутаторов. Очевидно, что такое решение будет избыточным, поскольку наперед неизвестно, какое оборудование будет установлено в том или ином шкафу. Однако подход Top of Rack по¬зволяет обеспечить гибкость решения и поэтому достаточно часто используется на практике при построении ЦОД — как правило, корпоративных. Например, когда магистральные узлы связи соединяют претерминированными волоконно-оптическими кабелями с коммутаторами доступа.

Избавиться от большей части недостатков концепции ToR позволяет зонная схема организации СКС, которая предполагает разбиение серверных стоек на группы и формирование для каждой из них специальных коммутационных зон (рис. 3).

Расположение этих зон выполняется различными способами. Например, коммутационные панели и активное сетевое оборудование может располагаться в отдельных шкафах или стойках, установленных в торцах рядов, по центру или же в отдельном сетевом ряду (рис. 4)

Такое решение легко наращивается и отличается хорошим балансом между стоимостью СКС и использованием портов коммутаторов. Для каждой зоны используется стандартный набор оборудования. Есть у такого решения и недостатки. Прежде всего оно оптимально скорее для больших ЦОД, где расстояния могут наложить ограничения на длину медного горизонтального кабеля либо число соединений может оказаться непомерно большим. Кроме того, зонная система позволяет, с одной стороны, уменьшить число коммутаторов, а с другой — сократить число линий, идущих в ядро сети. В принципе, схему можно считать вырожденным случаем зонного решения, где каждая стойка сама по себе уже является выделенной зоной. Таким образом, сегментированная топология построения СКС для ЦОД видится наиболее универсальной, подходящей как для больших, так и для средних дата-центров.

Жизнь вносит коррективы

На практике структура проектируемого ЦОД заранее почти никогда не известна в полной мере.

Это относится и к корпоративным проектам в ходе их расширения и модернизации, и к коммерческим, где реальные арендаторы появляются в произвольный момент времени со своими задачами и оборудованием.

Для коммерческих дата-центров большую роль играет быстрота ввода в эксплуатацию новых стоек и шкафов с оборудованием. Ведь заказчик не всегда готов ждать, пока будут выполнены соответствующие работы по расширению инфраструктуры. Для корпоративных проектов быстрота развертывания также может оказаться немаловажным фактором, особенно если внутри ЦОД используется достаточно большое число соединений.

Использование претерминированных волоконно-оптических решений позволяет сократить сроки выполнения работ в несколько раз. Ведь традиционная сварка оптического кабеля — процедура достаточно трудоемкая, требует особой тщательности и последующей проверки корректности результатов работы. Высокая стоимость инсталляции традиционных оптических систем может свести на нет экономию на материалах. Поэтому необходимо рассматривать суммарную стоимость затрат на оборудование и работы.

Кроме быстроты инсталляции, претерминированные решения обеспечивают также высокую плотность монтажа. Ведь известно, что дата-центры характеризуются достаточно высокой плотностью соединений. При этом проектировщики и системные интеграторы могут заранее выбрать оптимальные компоненты для построения системы и заказать их у производителя.

Практика показывает, что проектировщики и эксплуатационные подразделения будут стремиться сделать ЦОД надежным, удобным с точки зрения обслуживания, ремонта и замены оборудования. Инвесторам будет трудно справиться с неодолимым желанием вложить поменьше денег и побыстрее окупить свои затраты. Эти пожелания неизбежно вступают в противоречие с видением разработчиков проекта. Вот он, яркий пример диалектического закона единства и борьбы противоположностей.

Это значит, что при проектировании кабельной системы (особенно для коммерческих ЦОД) заказчик будет стремиться уйти от сложных полносвязных решений с дублированием. Поэтому в «бюджетных» зонах дата-центра вполне оправдано «эконом-подключение» серверов к коммутаторам через одно Еthernet-соединение. При выходе из строя конкретного сетевого оборудования его можно достаточно быстро заменить, хотя в это время группа серверов и, соответственно, запущенные на них приложения и базы данных, будут недоступны. Время восстановления при поломке подобного рода зависит от скорости реакции обслуживающего персонала и наличия замены.

Зачастую серверы имеют две сетевые карты (или два порта на одной сетевой карте), что позволяет выполнять их подключение сразу к двум коммутаторам, повышая тем самым надежность соединения, но вместе с тем удваивая его стоимость, уменьшая объем свободного места в ЦОД и увеличивая количество соединительных шнуров. Подобные решения можно вполне применять для построения зон обслуживания VIP-клиентов.

Часто в целях экономии серверы подключают к коммутаторам доступа (расположенным в серверных стойках) напрямую, без промежуточных коммутационных панелей. Это отход от классического модели, однако он позволяет экономить на стоимости пассивной части оборудования, не влияя существенно на функциональность или удобство. В случае дублирования коммутаторов каждый из них имеет оптические каналы связи к ядру сети в главной распределительной зоне.

Реализация кабельной системы в ЦОД сродни искусству. Кроме знаний стандартов и опыта выполнения подобных работ, очень важна интуиция и способность убедить заказчика остановиться на определенном уровне экономии. Потому что дальше начинают работать риски снижения надежности, растет вероятность выхода из строя каналов связи, усложняются модернизация и поиск неисправностей.

Дата-центр — это очень тонкий инструмент зарабатывания денег. А правила и стандарты создают каркас знаний, гармоничным образом дополняя опыт, накопленный проектировщиками и системными интеграторами.
 

Владимир СКЛЯР,

СиБ 

№ 3 (июнь-июль) 2012