|
|
|ГЛАВНАЯ| |О ЖУРНАЛЕ| |АРХИВ| |ПОДПИСКА| |РЕКЛАМНЫЙ ОТДЕЛ| |КОНТАКТЫ| |СОДЕРЖАНИЕ НОМЕРА| |КАРТА САЙТА| |
|
|
|
 |
е успела концепция центров обработки данных (ЦОД)закрепиться на мировом рынке, как тут же со всех концов начали раздаваться зловещие пророчества о грядущих проблемах. Высокая концентрация оборудования в ограниченном пространстве действительно создает ряд сложностей, одной из которых является проблема охлаждения. Стоит лишь взглянуть на заголовки статей мировых ИТ-изданий, чтобы понять, что проблема отвода тепла от оборудования ЦОД вышла на первый план во всех экономически развитых странах. Поскольку помещение датацентра имеет ограниченные размеры, в нем можно установить строго определенное количество серверных шкафов. Все хорошо, пока оборудования немного: в этом случае его можно равномерно распределить по всем стойкам, помещая в каждую всего несколько серверов или СХД. Однако наступает момент, когда необходимо увеличить производительность ЦОД. И тогда в шкафах становится действительно жарко. Оперативно расширить помещение, чтобы установить новые стойки для оборудования, как правило, невозможно. Приходится максимально использовать существующие площади, принимая дополнительные меры для охлаждения оборудования. Если кондиционеры не справляются Наращивать производительность ЦОД можно двумя основными способами — добавлением новых серверов или заменой действующих систем на более мощные. В основном, используют комбинацию этих методов. Но, несмотря на все усилия производителей, повышение вычислительной мощности означает увеличение энергопотребления и тепловыделения. Классическая система охлаждения ЦОД — с подачей воздуха из-под фальшпола и созданием холодного и горячего коридоров — не позволяет, в силу физических ограничений, отвести более 4 –6 (в редких случаях до 8) кВт тепла от одного шкафа. Если этого недостаточно, можно, опять же, идти двумя путями. Например, равномерно добавляя оборудование во все стойки, одновременно с этим пропорционально увеличивать мощность систем кондиционирования (на пример, размещая кондиционеры в рядах). Либо, собрав все наиболее энергоемкие устройства в один шкаф, локально обеспечить ему повышенное охлаждение. Не исключена, однако, ситуация, когда, по мере развития ЦОД, такого «индивидуального» охлаждения потребуют все шкафы в помещении. Наиболее эффективно обеспечивать подобное охлаждение можно за счет выделения каждому шкафу отдельного кондиционера. Воплощением этой идеи стали замкнутые системы кондиционирования (ЗСК), предлагаемые на сегодняшний день многими производителями шкафов. Основной принцип ЗСК состоит в том, что горячий и холодный потоки воздуха циркулируют внутри серверного шкафа, не смешиваясь между собой и не попадая в помещение ЦОД. Таким образом, удается максимально эффективно использовать систему охлаждения, сконцентрировав ее на конкретной стойке, от которой, в результате, удается отвести десятки киловатт тепла. В нашей стране решения такого типа предлагают четыре компании: APC-MGE, Rittal, Emerson и Knurr (приобретена Emerson в начале 2006 года). Все перечисленные производители имеют собственные подходы к построению ЗСК, которые мы сейчас и рассмотрим. Решения от APC-MGE на все случаи жизни Для изолированного охлаждения серверных шкафов компания APC- MGE разработала систему Rack Air Containment System (RACS). Она состоит из трех ключевых элементов: серверных шкафов NetShelter SX, кондиционеров InRow SC, RC или RP (которые присоединяются к шкафам сбоку), а также особых изолирующих кожухов, которые одеваются на шкаф и кондиционер (рис.1 а,б, в ). Кожухи могут быть двух видов — шириной 300 мм (для кондиционеров серии InRow SC, RC) и 600 мм (для шкафов серии SX и кондиционеров InRow RP). Металлические кожухи (сделанные из того же материала, что и шкафы APC-MGE NetShelter) с прозрачными передними панелями могут одеваться как с фронтальной стороны (для изоляции холодного коридора), так и с тыльной (чтобы задерживать горячий воздух и не пускать его во внешнее помещение)(рис.2 а, б, в ). Замкнутая система APC RACS работает следующим образом. Кондиционер выдувает холодный воздух в изолированное пространство перед оборудованием. Затем вентиляторы серверов и других активных устройств затягивают его внутрь корпусов. С обратной стороны стойки с оборудованием выходит нагретый воздух. Благодаря кожуху он не попадает во внешнее пространство, а снова всасывается вентиляторами кондиционера, охлаждается и подается в «холодную зону» перед оборудованием. Также возможно применение системы с изоляцией только горячей зоны. Это позволяет, с одной стороны, избежать перемешивания горячего воздуха с холодным, а с другой — использовать мощность кондиционера для охлаждения оборудования в других стойках или помещения. Избыток тепла отводится по воздуховодам приточно-вытяжной вентиляции (если кондиционеры с воздушным охлаждением либо с помощью фреона или воды (в случае использования кондиционеров соответствующего типа). Считается, что диапазон нормальной температуры холодного воздуха находится в пределах 20 –25 С °, хотя иногда ее вполне можно опустить и значительно ниже. Система RACS позволяет построить несколько схем замкнутого кондиционирования. Одна из них подразумевает, что один кондиционер обслуживает два шкафа (см.рис.2 б). Кроме того, кондиционеры могут быть размещены и по обеим сторонам шкафа (см.рис.2 в)— для усиленного охлаждения или для обеспечения отказоустойчивости (если один из них выйдет из строя). Всего APC-MGE предлагает использовать во- семь уникальных комбинаций. В том числе схему, рассчитанную на два шкафа и четыре кондиционера (представлена на рис.3 ). Таким образом, можно изолированно охлаждать одну или две стойки с оборудованием.
Что касается количества отводимого тепла, то воздушный кондиционер (серия SC)справляется с 5 –6 кВт (если их два, то показатель, соответственно, увеличивается до 10 –12 кВт). Более мощная модель с водяным охлаждением (RC) может отвести до 18,5 кВт (или до 37 кВт, если установить два блока возле одного шкафа). Если же и этого окажется мало, можно использовать кондиционер InRow RP, способный отводить свыше 39 кВт тепла (а в ряде случаев до 70 кВт)тепла. Комбинация с одним шкафом и двумя блоками InRow RP не рассматривается производителем, поскольку считается избыточной. Важно отметить,что вентиляторы кондиционеров расположены вертикально по всей высоте блока, что позволяет равномерно распределять охлажденный воздух между всем оборудованием шкафа (рис.4 ). Для сравнения: при подаче воздуха из-под фальшпола лучше охлаждается оборудование, размещенное в нижней части шкафа. Если же требуется охлаждать много шкафов, то на этот случай у APC- MGE есть специальное решение — HACS, полностью изолирующее горячий коридор от внешнего пространства помещения (рис.5 ). Для организации такой системы необходимо установить не менее двух рядов шкафов (с размещением кондиционеров в рядах). Горячий коридор между ними закрывается дверьми с торцов и специальными панелями сверху. Подход к созданию замкнутых систем кондиционирования, предлагаемый компанией APC-MGE, имеет ряд характерных особенностей. Одна из основных — гибкое построение системы кондиционирования ЦОД. На первом этапе можно организовать охлаждение по классической схеме (размещая кондиционеры между шкафами с оборудованием), а потом, если потребуется, уже можно изолировать отдельные стойки или даже целые ряды шкафов. Однако следует обратить внимание на то, что глубина отдельного кожуха составляет 200 мм, и если изолировать шкаф с двух сторон, то его глубина увеличится на 400 мм. К тому же кожухи могут быть использованы только вместе со шкафами APC NetShelter. Правда, как уже было сказано выше, кожух можно одевать только с одной стороны (например, когда требуется изолировать только наг ретый воз душный поток). Вся конструкция в любом случае не герметична, однако степени изоляции достаточно, чтобы обеспечить высокий уровень охлаждения. Немецкая обстоятельность Rittal Немецкая компания Rittal имеет многолетний опыт на рынке систем контроля микроклимата. Большая часть этого опыта накоплена в ходе разработки решений для крупных промышленных объектов, что, в свою очередь, наложило отпечаток и на замкнутые системы кондиционирования. Для построения ЦОД компания предлагает использовать специально разработанный охлаждающий блок LCP. Он устанавливается рядом со шкафами с охлаждаемым оборудованием (рис.6). Блок LCP выполнен в виде отдельного шкафа, в котором расположены водяной теплообменник и три отсека для размещения блоков кондиционирования (рис.7). Боковые стенки LCP имеют специальные отверстия, через которые проходят холодные и горячие потоки воздуха, а съемные боковые панели шкафов Rittal позволяют вплотную присоединять кондиционирующие блоки к шкафу с оборудованием. В результате может быть создано несколько основных конфигураций: шкаф с активным оборудованием и блоком LCP, два LCP и один шкаф, два шкафа и один LCP, а также их различные комбинации (рис.8). Принцип циркуляции воздуха здесь несколько иной, чем у решений APC-MGE. Холодный воздух подается (а горячий забирается) через боковые стенки шкафа. При этом отпадает необходимость во внешних изолирующих кожухах. Передняя и задняя стенки серверного шкафа при этом закрываются сплошными дверьми (для исключения воздухообмена с внешней средой). Сама система LCP построена по модульному принципу, т.е.блоки кондиционирования можно добавлять по мере необходимости (в случае повышения тепловыделения оборудования, помещаемого в стойку). При этом, если используется только один или два таких блока, пустые отсеки шкафа с активным оборудованием можно изолировать от охлаждаемой зоны специальными панелями из пенопоролонопласта (это позволяет не расходовать холодный воздух на «пустое» пространство). Отверстия для теплообмена расположены по всей высоте кондиционера, что позволяет равномерно охлаждать оборудование. Система охлаждения LCP имеет только вариант с водяным охлаждением и способна отводить от изолированной стойки до 30 кВт тепла (или до 60 кВт, в случае использования двух LCP на один шкаф). Вода подается в модуль теплообменника снизу, что полностью исключает возможность ее попадания на оборудование (в случае аварии жидкость стекает в специальный поддон). При этом охлаждающая способность LCP зависит от количества прокачиваемой воды (от пяти до пятидесяти литров в минуту) и ее температуры (которую не рекомендуется опускать ниже 6 С °, во избежание выпадения конденсата). Использование в системах Rittal LCP только водяного охлаждения означает, что установку замкнутой системы кондиционирования необходимо предусмотреть еще на этапе проектирования ЦОД, для чего следует проложить трубы, обеспечить подачу и отвод воды и т.д. Knurr — все в одном Еще одной немецкой компанией, которая предлагает на нашем рынке замкнутые системы кондиционирования для серверных шкафов, является Knurr. Несмотря на то, что в феврале 2006 года ее приобрела американская компания Emerson (которая также предлагает свой подход к организации ЗСК), решения в сфере замкнутых систем кондиционирования у них различны. Отличительная особенность решения Knurr, которое носит название CoolTherm, заключается в том, что модуль кондиционирования размещается непосредственно в серверном шкафу, а не в отдельном внешнем блоке. В итоге, такая система более компактна по сравнению с ЗСК других производителей. Правда, при этом в шкафу остается меньше места для размещения активного оборудования. По сути, CoolTherm — это автономный герметичный серверный шкаф со встроенной системой кондиционирования. При этом здесь уже можно говорить о высокой степени герметизации, поскольку системы CoolTherm, единственные в нашем обзоре, отвечают требованиям International Protection (IP)55 (уровень защиты от вредных отложений пыли, а также от струи воды, выбрасываемой на шкаф с любого направления). Принцип работы системы CoolTherm следующий. Модуль с водяным охлаждением, расположенный в нижней части шкафа, выдувает к его двери поток охлажденного воздуха, создавая, таким образом, холодный столб воздуха перед оборудованием. Затем холодный воздух засасывается вентиляторами активного оборудования, охлаждает его и выходит с противоположной стороны. Здесь надо обратить внимание на одну конструктивную особенность: роль задней стенки шкафа выполняет особая дверь, являющаяся объемной полой конструкцией, в которой расположены вентиляторы, забирающие горячий воздух. Проходя по ее внутренним каналам, нагретый воздушный поток выдувается из нижней части двери, попадая на теплообменник (рис.9). Несмотря на то, что теплообменник расположен снизу, вентиляторы задней стенки шкафа обеспечивают равномерное охлаждение оборудования, забирая воздух по всей высоте стойки с одинаковой интенсивностью. При этом замена любого вентилятора может производиться с внешней стороны и не требует открытия дверей серверного шкафа. Система Knurr CoolTherm позволяет отвести от каждой стойки до 35 кВт тепла, подача воды осуществляется снизу. Увеличивать интенсивность отведения тепла (от 10 до 35 кВт) можно путем регулирования температуры воды и ее расхода, а также за счет скорости вращения вентиляторов на задней стенке шкафа. Несмотря на упомянутые выше преимущества (экономия места, герметичность), у систем CoolTherm есть ряд относительных недостатков. Возможно, они не столь критичны, тем не менее, их следует учесть. Поскольку кондиционер расположен непосредственно в серверном шкафу и занимает часть свободного пространства, в котором могло бы разместиться оборудование, высоту шкафа пришлось увеличить. Из-за того, что блок кондиционера всего один, нет возможности добавлять или убирать охлаждающие модули по мере необходимости. К тому же тот факт, что системы Knurr CoolTherm имеют только водяное охлаждение, требует, как и в случае с оборудованием Rittal, чтобы их размещение в ЦОД было предусмотрено заранее. Решения Emerson Liebert XDFN для небольших ЦОД Устройства, которые предлагает на рынке систем замкнутого кондиционирования компания Emerson, разработаны входящей в ее состав компанией Liebert. Основным продуктом этого направления можно назвать Liebert XDFN. Эта система охлаждения построена с использованием отдельного блока кондиционирования, который стыкуется со шкафом для оборудования боковыми стенками. Принцип охлаждения основан на применении специальных серверных шкафов, в верхней и нижней части которых имеются боковые заслонки, открывая и закрывая которые можно управлять направлениями термических потоков. Через нижнюю заслонку в шкаф с оборудованием попадает холодный воздух, через верхнюю — забирается горячий (рис.10). Поскольку заслонки имеются с обеих боковых сторон, можно чередовать шкафы с оборудованием и блоки кондиционирования в любой последовательности. В том числе — один шкаф на два кондиционера (в этом случае один может быть резервным) (рис.11). Кроме боковых заслонок в шкафах ЗСК Liebert XDFN предусмотрена также нижняя заслонка. Основной ее задачей, совместно с вентиляторами резервного охлаждения (которые расположены в верхней части серверного шкафа), является подстраховка системы кондиционирования. В случае внезапного пропадания электропитания и отключения основного кондиционера можно открыть эту заслонку и вентиляторы будут втягивать воздух из холодного коридора ЦОД. А поскольку вентиляторы расположены в верхней части шкафа с оборудованием, то воздушный поток будет проходить по всей высоте шкафа. Конечно, такая вентиляция, скорее всего, окажется малоэффективной при длительном отключении кондиционера, однако она и не рассчитана на продолжительную работу. По идее разработчиков, времени должно хватить для запуска резервного генератора, а в это время вентиляторы могут питаться от источника бесперебойного электропитания (таким образом, не требуется установка мощного ИБП для охлаждающего блока). Включение и отключение резервной вентиляции происходит автоматически в зависимости от состояния кондиционера. Отметим, что в системе Liebert XDFN подача холодного воздуха также осуществляется снизу. В решении XDFN могут применяться кондиционеры как с воздушным, так и с водяным охлаждением. При этом каждый кондиционер может отвести до 23,6 кВт или до 25,6 кВт тепла (в случае воздушного и водяного охлаждения, со- ответственно). О стоимости замкнутых систем Рассмотрев системы замкнутого кондиционирования четырех производителей, представим их основные характеристики в табличном формате (табл.).
Заметим: во всех вышеописанных системах предполагается наличие внутренних датчиков температуры, влажности, систем сигнализации и пожаротушения (опционально), средств мониторинга и управления, а также целого ряда других важных дополнений. Важно отметить, что все рассмотренные охлаждающие системы предназначены для стыковки только со шкафами одноименных производителей. Системы APC-MGE и Emerson имеют варианты как водяного, так и воздушного охлаждения. В решениях Rittal и Knurr применяются только водяные блоки кондиционирования. Что касается стоимости решений, то она довольно высока, в среднем около $100 тыс. Поскольку в ЗСК один кондиционер выделяется для обслуживания одной-двух стоек с оборудованием, цена системы будет состоять из стоимости серверного шкафа, мощного кондиционера и средств герметизации (плюс «наценка за уникальность» решения). Учитывая, что с помощью традиционных схем кондиционирования от каждого шкафа ЦОД можно без особых проблем отвести 4 –5 кВт тепла, то в случае ЗСК этот показатель будет в 5 –7 раз выше. Соответственно, если средняя стоимость шкафа для оборудования в центре обработки данных (с учетом всей инфраструктуры и коммуникаций) составляет $15 –17 тыс., то стоимость ЗСК должна находиться в пределах $75 –120 тыс.(хотя может оказаться куда выше). Большинство специалистов склоняются к мнению: если есть возможность распределить оборудование ЦОД по нескольким шкафам, лучше так и сделать. Замкнутую систему кондиционирования стоит применять только в самом крайнем случае, например, когда отдельные шкафы заполнены энергоемким оборудованием и нет свободных стоек для его распределения (или свободного места в помещении ЦОД для установки новых шкафов). В любом случае, использование замкнутых систем кондиционирования серверных шкафов должно быть тщательно продумано, но даже тогда выгоды от их использования, носят скорее технический, а не экономический характер. Редакция выражает благодарность за предоставленную информацию и помощь в подготовке материала Сергею Приневу (ТОВ «Риттал»), Сергею Селивону (ОАО «Банкомсвязь»), Роману Осадчему (представительство APC- MGE в Украине) Виктору Гаврилову , (представительство Emerson Network Power S.r.l.,Москва).
|
