№ 2 (45) 2009

Пути циркуляции воздуха в системе охлаждения на уровне рядов короче и более предсказуемы, что позволяет задействовать всю номинальную охлаждающую способность кондиционера, минимизировав потери.

Важным преимуществом систем охлаждения на уровне ряда является  возможность их использовать без применения фальшпола.

Центр обработки данных — это, как известно, сложный и дорогостоящий инженерный комплекс. Поэтому стремление владельцев ЦОД установить в помещении побольше вычислительного оборудования вполне понятно. Производители вычислительных устройств на своем уровне также постоянно работают над снижением энергопотребления и тепловыделения. Казалось бы, современные дата-центры должны потреблять все меньше электроэнергии и, соответственно, все меньше выделять тепла. Но парадокс в том, что этого не происходит — вместе с технологиями энергосбережения (и даже значительно обгоняя их в своем развитии) появляются и новые методы уплотнения оборудования. На один квадратный метр площади приходится все больше серверов, процессоров, ядер… В результате проблема охлаждения в ЦОД становится год от года только острее.

Три подхода к охлаждению

На современном этапе развития технической мысли охлаждать ЦОД можно на одном из трех уровней: компьютерного зала, ряда и стойки.

Каждый из этих подходов имеет свои преимущества и недостатки.

1. Охлаждение на уровне зала

Исторически первым (и все еще очень популярным) подходом к охлаждению дата-центров является кондиционирование на уровне зала. В этом случае устанавливается один или несколько больших прецизионных кондиционеров, которые подают охлажденный воздух в помещение зала и забирают нагретый (рис. 1).

Потоки охлажденного воздуха в этом случае могут подаваться непосредственно в общее пространство зала либо распределяться в холодные коридоры или адресно к конкретным стойкам с помощью фальшпола через перфорированные плитки. В первом случае эффективность системы охлаждения, как правило, не превышает 1–3 кВт на стойку. Использование фальшпола увеличивает этот показатель до 5 кВт. Для усиления эффекта в отдельных стойках можно установить специальные вентиляторы, усиливающие ток воздуха в конкретном шкафу. Эффективность такой системы может достигать 8 кВт на стойку, но ее применение связано с рядом трудностей, в частности, усиленный локальный отбор охлажденного воздуха в одной точке ЦОД может привести к его дефициту в другой зоне, вследствие чего некоторые стойки могут перегреться. Более того, в отдельных точках фальшпола, в силу турбулентности, могут даже возникнуть зоны отрицательного давления, что приведет к всасыванию воздуха из помещения под фальшпол. А если скорость воздушного потока будет слишком высокой, например, у самого кондиционера, то вентиляторы активного оборудования просто физически не смогут его засосать. При грамотном проектировании эти проблемы удается обойти, поскольку зачастую не все стойки требуют одинакового охлаждения (скажем, те шкафы, где установлено коммутационное оборудование, в этом отношении менее требовательны).

Одним из недостатков охлаждения на уровне зала является то, что горячий и холодный воздушные потоки неизбежно перемешиваются, снижая общую эффективность системы охлаждения. Отметим, что значительная часть воздуха, выходящего из кондиционеров, идет в обход вычислительного оборудования и сразу же возвращается в охлаждающий блок. В результате всей мощностью кондиционера воспользоваться не удается. Отметим, что холодопроизводительность подобных систем достигает 150 кВт и выше.

Для предотвращения перемешивания воздушных потоков можно, с помощью специальных воздуховодов, организовать отвод горячего воздуха от стоек не просто в горячий коридор, а сразу в систему вытяжной вентиляции здания. При этом сопла вытяжки должны располагаться над горячим коридором. Такой подход позволяет отвести от каждой стойки до 10 кВт тепла. Для более эффективной работы используются специальные двери, устанавливаемые на заднюю стенку шкафа. Они изолируют зону выброса нагретого воздуха, который по специальным герметичным воздуховодам поступает в систему вытяжной вентиляции. Как правило, такие двери имеют встроенные вентиляторы, усиливающие потоки воздуха, или даже теплообменники. В случае применения схемы с такими усилителями потока эффективность системы охлаждения может возрасти до 20 кВт (рис. 2).

Еще одной проблемой, которая возникает при создании системы охлаждения ЦОД на уровне зала, является равномерное распределение воздуха. Предполагается, что кондиционер должен одинаково охлаждать как оборудование, находящееся возле него, так и то, которое размещено в самых удаленных участках помещения. Все это требует тщательной проработки концепции охлаждения и  четкого понимания того, как будет возрастать нагрузка в ЦОД по мере наращивания его мощности.

Отметим, что основными поставщиками больших прецизионных кондиционеров для ЦОД на украинском рынке являются Blue Box, Ciat, Clivet, Daikin, Emerson, HiRef, Stulz, Uniflair и другие.

2. Охлаждение на уровне рядов

Современной альтернативой вышеизложенному подходу выступает охлаждение на уровне рядов. Эта относительно новая тенденция становится все более популярной во всем мире при проектировании и строительстве дата-центров. В данном случае кондиционер или фанкойл устанавливается непосредственно в ряду шкафов с оборудованием таким образом, чтобы подавать охлажденный воздух в холодный коридор и забирать нагретый из горячего (рис. 3). Здесь нелишне отметить, что концепция холодных и горячих коридоров, ставшая уже общепринятой, работает как при построении систем охлаждении на уровне зала, так и на уровне рядов.

Многие из существующих решений выполнены в виде шкафа высотой 42U и шириной 300–600 мм. Наиболее мощные модели могут отвести почти 40 кВт тепла. Выгода данного подхода, по сравнению с архитектурой охлаждения на уровне зала, заключается в том, что пути циркуляции воздуха короче и более предсказуемы, что позволяет задействовать всю номинальную охлаждающую способность кондиционера, минимизировав потери. К тому же, поскольку каждый блок охлаждает небольшое пространство (как правило, несколько соседних стоек), ему не нужны мощные вентиляторы, потребляющие значительное количество электроэнергии. Важным преимуществом систем охлаждения на уровне ряда является то, что их можно использовать без применения фальшпола, не снижая при этом  эффективности охлаждения. Производители таких систем и их решения, представленные на украинском рынке, будут рассмотрены в отдельном разделе.

Стоит отметить, что принцип охлаждения на уровне ряда отнюдь не подразумевает того, что фанкойлы устанавливаются только в ряды со стойками. Есть решения также и для установки на потолке или даже на шкафах с оборудованием.

3. Охлаждение на уровне стоек

Наиболее эффективной схемой является охлаждение на уровне стоек. В этом случае для каждого серверного шкафа фактически выделяется отдельный кондиционер, а также средства изоляции горячего и холодного внутришкафного пространства, в результате чего воздушные потоки, циркулирующие внутри серверного шкафа, не попадают во внешнюю среду помещения ЦОД (рис. 4).

Это самый дорогой подход, но с его помощью можно отвести до 50 кВт тепла от стойки. На отечественном рынке системы такого типа представляют APC by Schneider Electric, Conteg, Emerson, Knuerr, Rittal. Подобное решение оправдано в тех случаях, когда в дата-центре, по тем или иным причинам, образуются локальные точки с повышенным тепловыделением, например, шкафы с большим количеством блейд-серверов. (Кстати, о некоторых системах такого типа, а также о принципах их работы мы уже писали в «СиБ» №6, 2007, в публикации под названием «Чемпионы охлаждения в ЦОД»).

Очевидно, что каждый подход имеет свои преимущества и недостатки, поэтому в мировой практике часто используют смешанные схемы, когда все три метода охлаждения, на уровне зала, ряда и стойки, уживаются в одном ЦОД, например, в разных помещениях комплекса, на различных этажах или просто в отдельных зонах дата-центра.

Вода, воздух, гликоль?

Для лучшего понимания системы охлаждения ЦОД следует сказать несколько слов не только о логических, но и о технологических подходах. В частности, о том, чем именно охлаждают воздух в дата-центре. Существует четыре основные схемы отвода лишнего тепла, различающихся применяемым хладагентом: воздушная, гликолевая, водяная и чиллерная.

Воздушное охлаждение состоит из двух основных элементов — внешнего конденсатора и внутреннего фанкойла — и еще называется Direct Expansion (DX), или сплит-системой. Фанкойл забирает нагретый воздух с одной стороны и выдувает охлажденный с другой. При этом тепло отводится во внешнюю среду с помощью хладагента (фреона) и наружного блока-конденсатора. Как правило, сплит-системы обеспечивают невысокую мощность и не подходят для больших помещений, к тому же имеют ряд технических сложностей, связанных с ограниченной протяженностью фреоновых трасс.

Более эффективным является метод охлаждения с помощью гликолевого контура. В этом случае также присутствуют внутренний блок и внешний конденсатор. Но здесь хладагент (фреон или другой подходящий газ) циркулирует только внутри блока кондиционера. Для того чтобы вывести тепло наружу, используются трубки, по которым циркулирует жидкость — гликоль, прокачиваемый с помощью помпы. Гликоль транспортирует тепло от хладагента во внешнюю среду и он же охлаждается во внешнем жидкостном теплообменнике. Гликолевые трассы могут быть гораздо длиннее, чем в сплит-системах, но они сложнее в обслуживании.

Водяное охлаждение работает по схожему принципу, только вместо токсичного гликоля в трубках контура, отводящего тепло во внешнюю среду, циркулирует вода. Хладагент здесь также циркулирует только внутри блока кондиционера. Но используется особый внешний блок — т.н. водяная башня, в которой поступающая жидкость охлаждается или собирается для дальнейшей утилизации тепла. В башне вода разбрызгивается и частично испаряется, снижая температуру, остаток ее собирается и снова подается в контур с помощью помпы. Правда, эта система малоприменима в наших широтах из-за возможных проблем с замерзанием воды во внешнем блоке; чаще всего ее используют в странах с теплым климатом.

Однако наиболее эффективным решением для охлаждения являются системы на основе чиллерной воды. В этом случае, кроме внутренних и внешних блоков, появляется третий важнейший компонент — холодильная машина (чиллер), в  котором происходит охлаждение воды до необходимой температуры. Вода с низкой температурой (как правило, от 7° до 18°С) подается во внутренний блок кондиционера, в котором происходит охлаждение воздуха, а затем, будучи нагретой в помещении ЦОД, снова поступает в холодильную машину. Чиллер также может отводить тепло через гликолевый теплообменник или испаритель.

Теперь, сделав краткий технический экскурс, перейдем к рассмотрению конкретных решений, обеспечивающих охлаждение в ЦОД на уровне ряда.

Охлаждение по рядам

Одной из первых компаний, которая начала массово продвигать на рынке внутрирядные системы кондиционирования, была APC (ныне APC by Schneider Electric). Поэтому не удивительно, что в ее продуктовой линейке присутствует весьма широкий набор решений.

Модельный ряд кондиционеров АРС, предназначенных для охлаждения на уровне рядов и являющийся частью комплексной системы для ЦОД APC InfraStruXure, носит общее название InRow и, в зависимости от мощности и типа охлаждения подразделяется на четыре основных модели: SC, RC, RD и RP. Все внутрирядные кондиционеры APC (кроме модели SC) фактически являются прецизионными фанкойлами и требуют подключения к внешним чиллерам (или конденсаторам, в случае InRow RD).

Модель InRow sC использует воздушное охлаждение (рис. 5). Поскольку конструкция системы представляет собой моноблок, где внешний и внутренний блоки объединены в рамках одного корпуса, в числе ее ключевых преимуществ стоит отметить простоту установки.

Этот кондиционер достаточно поставить в соответствующем месте помещения ЦОД, подключить к электросети и обеспечить (с помощью входящих в комплект воздуховодов) приток/отвод воздуха из системы вентиляции здания. Ширина SC составляет 300 мм, что соответствует половине ширины стандартного серверного шкафа. Холодопроизводительность — около 6,3 кВт. Рекомендованный диапазон температур забираемого воздуха от 0 до 40°С. Наиболее применимо данное решение там, где требования к охлаждению не слишком высоки или если необходимо оперативно обеспечить дополнительный приток холодного воздуха. Например, в небольших серверных комнатах, мобильных комплексах, в ангарах или в качестве вспомогательного летнего охлаждения.

Для более «горячих» помещений можно использовать InRow RC (рис. 6), максимальная холодопроизводительность которого составляет 18 кВт (до 30 кВт, в случае охлаждения блейд-серверов). Габариты этой модели такие же, как и у SC. В качестве хладагента здесь используется уже чиллерная вода.

Подвод труб может осуществляться как сверху, так и снизу, в зависимости от конкретной ситуации. Если по каким-либо причинам охлажденную воду использовать нельзя, то APC предлагает внутрирядный фанкойл InRow RD, где используется хладагент R410A. Максимальная холодопроизводительность этой модели составляет 10 кВт, по внешнему виду она практически идентична InRow RC. Визуальные отличия состоят, главным образом, в количестве вентиляторов — восемь и шесть соответственно, что продиктовано различной мощностью устройств.

Самой производительной системой в модельном ряду InRow является RP, выпускаемая в двух версиях — на воздушном (DX) и водяном (CW) охлаждении (рис. 7). Холодопроизводительность RP CW составляет 37 кВт, а RP DX — 29 кВт. Габариты этих моделей соответствуют размерам серверного шкафа: 42U в высоту и 600 мм в ширину. Обе версии имеют встроенный пароувлажнитель. К тому же в модели RP DX установлен испаритель, а RP CW есть встроенный компрессор с переменной скоростью работы для прокачки чиллерной воды. При этом температура входящей жидкости должна быть не ниже 7°С. Отметим, что в этом году APC выпустила модель серии RC шириной 600 мм, которая по своим характеристикам и габаритам идентична RP DX, однако в ней нет встроенного пароувлажнителя, что должно снизить стоимость модели.

Кроме непосредственно фанкойлов, APC предлагает также вспомогательное устройство — блок для распределения чиллерной воды (CDU). С одной стороны к  нему подключается холодильная машина, а с другой — до двенадцати блоков кондиционирования с водяным охлаждением (рис. 8).

Все системы кондиционирования APC InRow имеют собственный IP-адрес, что позволяет осуществлять мониторинг и дистанционное управление этими устройствами через веб-браузер, Telnet или SSH, без участия отдельного сервера. Также их вентиляторы обладают переменной скоростью вращения, что важно для экономии электроэнергии в условиях неполной загрузки по охлаждению. Все кондиционеры InRow в ЦОД могут объединяться в единую систему, управляемую специальным ПО, и если какой-либо фанкойл выйдет из строя, соседние блоки кондиционирования автоматически переключаться на усиленный режим работы. Кроме того, модели InRow RC, RD и RP прецизионны, то есть способны поддерживать четко заданные параметры климата в помещении.

Решения для охлаждения на уровне рядов есть и у компании Rittal. До 2009 года основным продуктом для кондиционирования была замкнутая система кондиционирования LCP, входящая в состав комплексного решения для ЦОД Rittal RimatriX5. В этом году в продуктовой линейке компании появились также и отдельные внутрирядные фанкойлы — LCP Inline (рис. 9).

Новая система LCP Inline является вариацией LCP, только теперь поток охлажденного воздуха будет предназначен не для одной, а для нескольких стоек с оборудованием. Максимальная холодопроизводительность фанкойла LCP Inline составляет 30 кВт, в качестве хладагента используется охлажденная вода. Отметим, что Rittal выпускает также и чиллеры под своей торговой маркой.

Компания Emerson — один из крупнейших игроков на рынке систем охлаждения для ЦОД. В ее модельном ряду есть, в том числе, и несколько мощных решений для кондиционирования на уровне рядов. Долгое время главным продуктом в этом направлении была система Liebert XD, где основное охлаждение и отвод тепла обеспечивают прецизионные воздушные кондиционеры Liebert-HIROSS, дополнительно к которым над шкафами с оборудованием устанавливаются фанкойлы-доводчики XDO или XDV. Обе модели фанкойлов крепятся таким образом, чтобы вытяжные вентиляторы были обращены в сторону горячего коридора (и забирали нагретый воздух), а нагнетающие — направлены в холодный коридор (рис. 10). Кроме того, есть модель XDH, устанавливаемая на пол, в ряду шкафов (рис. 11).

В качестве хладагента на участке «кондиционер–доводчик» применяется газ — фреон или нетоксичный R407C, — что исключает, даже теоретически, попадание воды на вычислительное оборудование. Для подсоединения блоков Liebert XD к системе труб используются гибкие соединительные шланги и быстроразъемные соединения, что позволяет приспособить архитектуру системы охлаждения к особенностям планировки помещения центра обработки данных. Максимальная холодопроизводительность системы Liebert XD зависит от подключенного основного кондиционера. При этом у самих фанкойлов она составляет до 10 кВт для XDV; 20 кВт — в случае с XDO и до 30 кВт для XDH.

Однако существенным недостатком Liebert XD, по крайней мере для развивающихся рынков, таких как украинский, является необходимость достаточно больших первоначальных вложений. В связи с этой ситуацией совсем недавно, буквально в мае 2009 года, компания Emerson представила новое решение в этом направлении, под названием Liebert CRR, предназначенное для небольших и средних ЦОД. Система представляет собой фанкойл с функцией контроля параметров климата в помещении, соответствующий габаритам серверного шкафа 42U (шириной 600 мм). Выпускается в двух основных модификациях — с воздушным и водяным охлаждением. В первом случае холодопроизводительность, в зависимости от модели, составляет 20 или 33 кВт, а во втором достигает 38 кВт.

Кондиционер имеет выносные датчики температуры, что позволяет ему контролировать параметры охлаждения в близлежащих стойках. Кроме того, передняя стенка CRR имеет ячеистую структуру и выполнена в виде воздушного диффузора, ячейки которого могут быть отклонены влево или вправо, что позволяет направлять воздушные потоки в нужном направлении. К тому же система имеет встроенный компрессор для фреона и обеспечивает переменную скорость вращения вентиляторов.

Отметим, что компания Emerson также разрабатывает и производит внешние модули кондиционера, такие как чиллеры или конденсаторы.

Компания Conteg — относительно новый игрок на рынке систем охлаждения для ЦОД. Тем не менее, у нее есть решения для охлаждения на уровне рядов. Это, в первую очередь, специальный внутрирядный фанкойл (рис. 12), выпускаемый в двух модификациях — с воздушным и водяным охлаждением (в обоих случаях ширина составляет 300 мм).

Холодопроизводительность систем достигает 12 кВт и 18 кВт соответственно, но сейчас ведутся разработки блоков, способных отвести до 24 кВт и 36 кВт. В работе внутрирядного кондиционера Conteg используются внешние блоки — чиллеры и конденсаторы сторонних производителей.

Общей особенностью всех вышеперечисленных решений для охлаждения является вертикальное расположение вентиляторов, по всей высоте блока. Такой подход обеспечивает равномерную подачу охлажденного воздуха к оборудованию, независимо от его местоположения в стойке. Кроме того, блоки вентиляторов могут заменяться в «горячем» режиме без остановки кондиционера.

Архитектура охлаждения на уровне рядов становится все более популярной в современных центрах обработки данных. Традиционный подход, ориентированный на охлаждение залов постепенно изживает себя, оставаясь, тем не менее, наиболее предпочтительным решением в условиях низкой плотности оборудования в ЦОД. В то же время внутрирядное охлаждение имеет ряд качеств, которые делают его особенно привлекательным в современных условиях. Прежде всего, это возможность более гибкого, по сравнению с большими кондиционерами, масштабирования, точечного охлаждения, модульность решения. Однако все три архитектуры охлаждения ЦОД — на уровне зала, ряда и стойки — будут еще долго мирно сосуществовать, ведь каждая из них имеет свою нишу.

Редакция благодарит компании APC by Schneider Electric, «ИКС-Мегатрейд», «М-Инфо», ТоВ «Риттал» за помощь в сборе информации (в том числе иллюстраций) и подготовке статьи.

Игорь КИРИЛЛОВ,

igor@sib.com.ua

№ 2 (май) 2009