Режим свободного охлаждения в центрах обработки данных

Стремление к снижению энергопотребления и упрощению инженерных систем при сохранении их надежности диктует специалистам два пути решения задачи охлаждения центров обработки данных (ЦОД): использование наружного воздуха и создание жаростойкого серверного оборудования. В данной статье мы поговорим о первом из них, о фрикулинге — технологии свободного охлаждения.

История вопроса

15–20 лет назад идея охлаждать центры обработки данных без кондиционеров, просто продувая через серверы наружный воздух, не воспринималась серьезно. Однако уже 10 лет назад стали появляться первые свободно охлаждаемые дата-центры. Сегодня фрикулинг — ​это реальность, которую трудно не признать.

На момент зарождения технологии активно обсуж­далась перспектива ее применения в России благодаря относительно холодному климату. Однако, как водится, дальше обсуждения долгое время дело не двигалось, и первые ЦОД с фрикулингом появились в Исландии, Финляндии, США. Но сегодня и в России организация любого масштабного ЦОД не обходится без анализа возможности применения технологий свободного охлаждения. Более того, при выборе места строительства крупного дата-центра на первое место постепенно выходит критерий климатических условий.

Не исключено, что в будущем дата-центры полностью откажутся от фреонового кондиционирования и перейдут на фрикулинг. Более того, уже сегодня можно встретить футуристические картинки, где серверные стойки предлагается размещать просто под открытым небом без всяких кондиционеров.

Суть и разновидности технологии фрикулинга



Суть технологии фрикулинга (от англ. freecooling — ​„свободное охлаждение«) заключается в использовании наружного воздуха напрямую для охлаждения помещения. В зависимости от того, как именно используется наружный воздух, выделяют несколько разновидностей фрикулинга (рис. 1).

Прямой фрикулинг предполагает подачу наружного воздуха непосредственно внутрь машинного зала ЦОД. Естественно, воздух при этом проходит через систему фильтрации, а в зимнее время предварительно смешивается с внутренним воздухом для формирования итогового потока с оптимальной температурой.

Непрямой (косвенный) фрикулинг подразумевает охлаждение внутреннего воздуха ЦОД в воздухо-воздушных теплообменниках. Еще одна разновидность косвенного фрикулинга — ​охлаждение наружным воздухом потока воды, который, в свою очередь, охлаждает внутренний воздух ЦОД (фактически это система свободного охлаждения на базе драйкулеров).

Очевидно, что непрямой фрикулинг менее эффективен, чем прямой. Для увеличения эффективности косвенного фрикулинга применяется метод адиабатного охлаждения потока наружного воздуха: в поток распыляется вода, которая, испаряясь, охлаждает его, повышая тем самым эффективность охлаждения ЦОД.



Сравнение указанных технологий по основным критериям приведено в таблице 1. Как сказано выше, прямой фрикулинг эффективнее косвенного. При этом косвенный фрикулинг имеет два или более контуров воздуха или воды, следовательно, система получается более сложной и громоздкой. В то же время прямой фрикулинг предъявляет более жесткие требования к очистке больших потоков воздуха, а значит, требует постоянного контроля состояния фильтров и сравнительно частую их замену.

Чуть сложнее обстоит дело с оценкой надежности той или иной технологии свободного охлаждения. Наличие специального внутреннего подготовленного воздушного контура повышает надежность системы охлаждения. Но если сама система охлаждения даст сбой, замкнутый контур быстро нагреется и прекратит выполнять свою функцию, а прямой фрикулинг как прогонял наружный воздух через ЦОД, так и будет его прогонять. Так как при прямом фрикулинге меньше контуров и проще система, то и надежность ее выше. Но за температурой в периоды экстремальной жары приходится следить более тщательно.

Фрикулинг и PUE

Энергоэффективность инженерных систем ЦОД принято измерять коэффициентом PUE (Power Usage Efficiency, коэффициент использования энергии), который равен отношению полной мощности ЦОД к мощности ИТ‑оборудования. Так как мощность ЦОД равна сумме мощностей ИТ‑оборудования и инженерных систем, то фактически PUE — ​это отношение этой суммы к мощности ИТ‑оборудования.

В общем случае PUE учитывает все инженерные системы ЦОД. Для удобства оценки энергоэффективности каждой инженерной системы в отдельности PUE применяют по отношению к каждой из них. Например, «климатический PUE» равен отношению суммы потребляемых мощностей ИТ‑оборудования и климатической системы к мощности, потребляемой только ИТ‑оборудованием:

Очевидно, что PUE идеального (максимально эффективного) ЦОД равен единице. PUE классического ЦОД (на базе чиллеров без фрикулинга и традиционных источников бесперебойного питания) обычно равен 1,6–1,8. Климатический PUE фреоновой системы — ​1,3—1,4; чиллерной системы без фрикулинга — ​1,4—1,5. Иными словами, потребляемая мощность чиллерной системы охлаждения ЦОД без фрикулинга равна примерно половине мощности самого ЦОД.

Фрикулинг позволяет снизить климатический PUE до 1,1–1,2, а в особо эффективных проектах и до 1,05. Эти цифры наглядно показывают выгоду использования режима свободного охлаждения.

Но в PUE кроется и рекламный потенциал, который следует своевременно выявлять. Так, производители часто указывают PUE для самого выгодного режима работы. Например, PUE, равный 1,1, для фрикулинга характерен только в холодное время года. Если в межсезонье параллельно с фрикулингом будут работать фреоновые кондиционеры, PUE подрастет до 1,2. В летнюю жару фрикулинг фактически будет бездействовать. За счет работы только фреоновых кондиционеров мы получим PUE, равный 1,3–1,4, как было указано выше. Таким образом, наиболее полную картину работы системы охлаждения представляет среднегодовой PUE.

Технические решения производителей

Одним из первых заводских решений в сфере технологий свободного охлаждения были «колеса» KyotoCooling. «Колесами» их назвали потому, что в их основе — ​роторный теплообменник, внешне представляющий собой большое колесо диаметром до 6 метров (рис. 2). Название устройств впоследствии стало нарицательным, и каждое решение на базе роторов стали называть киотокулингом.

Принципиально схема работы KyotoCooling соответствует второй схеме на рисунке 1 — ​„Косвенный фрикулинг«. Такая система охлаждения хорошо работает при наружной температуре, не превышающей +17 °C. При более теплой погоде приходится задействовать фреоновое охлаждение.

Анализ работы системы KyotoCooling, например в ЦОД Hostex BDC, дает следующие результаты. Нагретый воздух из ЦОД с температурой +32 °C в роторном теплообменнике охлаждается до +21 °C и подается обратно в ЦОД. При этом поток наружного воздуха с температурой до +17 °C нагревается до +26 °C. Максимальный PUE приходится на самые теплые летние дни и составляет 1,38. В ночные часы температура приближается к +17 °C и активируется полноценный режим фрикулинга с PUE=1,07. В зимнее время и частично в межсезонье PUE=1,04. Среднегодовой PUE анонсируется на уровне 1,09. 85% времени система работает в режиме фрикулинга, 14,7% — ​в смешанном режиме и 0,3% — ​в режиме только фреонового охлаждения.

Установка EcoBreeze, разработанная в компании Schneider Electric (рис. 3), предназначена для отвода 350–400 киловатт тепла при температуре наружного воздуха +25 °C.

Фактически в установке реализованы сразу три режима. Первый заключается в охлаждении внутреннего воздуха в теплообменнике путем продувания через него наружного воздуха. При более теплой погоде система переходит в режим орошения — ​на теплообменник подается тонкий слой воды. Это обеспечивает дополнительное снижение температуры воздушных потоков. Наконец, если и этого недостаточно (при наружных температурах +27 °C и выше), активируется встроенный фреоновый контур охлаждения.

По данным компании DataPro, охлаждением ЦОД которой занимаются установки EcoBreeze, среднегодовой PUE дата-центра, зафиксированный в процессе эксплуатации, составляет 1,25–1,3. При этом климатический PUE может достичь отметки 1,1.

Логическим продолжением идеи EcoBreeze является установка свободного охлаждения Ecoflair от Schneider Electric. Агрегат работает по схеме косвенного фрикулинга с адиабатикой и имеет те же 3 режима работы, что и EcoBreeze. Мощность устройств составляет 250 или 500 киловатт. По заявлению производителя, энергоэффективность новой установки на 9–12% выше, чем у предшественника.

Помимо заводских установок в сфере ЦОД распространено и самостоятельное проектирование системы охлаждения из наборных элементов, подобно наборной вентиляции в офисе вместо готовой приточно-вытяжной системы. Такой подход применен, например, в ЦОД Сбербанка в «Сколково», охлаждение которого осуществляется по схеме прямого фрикулинга. В жаркие дни дополнительно включается чиллерная система охлаждения. Интересно отметить, что система охлаждения способна накапливать холод и расходовать его в жаркие часы. По данным компании, средний PUE дата-центра составляет 1,3, летом равен 1,4, а зимой — ​1,1.

Некоторые конструктивные решения

В большинстве случаев наиболее удобным вариантом размещения оборудования для свободного охлаждения является кровля дата-центра — ​именно там обеспечивается максимальный обдув наружного оборудования, а воздух свободен от пыли.

Подача воздуха с кровли в машинный зал ЦОД осуществляется по магистральным вертикальным воздуховодам, в идеале — ​прилегающим как к наружному оборудованию на кровле, так и к машинному залу, с целью сокращения горизонтальной разводки. Далее дело за выбором способа подачи воздуха внутрь машинного зала и способов его вытяжки оттуда.

Классическая схема предусматривает подачу охлажденного воздуха сразу под фальшпол машинного зала ЦОД, а вытяжку воздуха из всего объема помещения или из зоны подшивного потолка. Другая схема предполагает отказ от единого пространства фальшпола в пользу воздуховода, расположенного под холодным коридором для подачи воздуха. Еще один вариант — ​отказ от использования фальшпола вообще и подача воздуха напрямую в холодный коридор или отдельно к каждой стойке.

Выбор той или иной схемы воздухораспределения зависит от конструктивных особенностей здания и изначальной предрасположенности заказчика или проектной организации.

Основы технико-экономического анализа фрикулинга

На основе общих показателей можно провести расчет энергосбережения за счет фрикулинга. Данная процедура выполняется в ходе технико-экономического обоснования при выборе концепции охлаждения ЦОД и затрагивает множество факторов.

Основным критерием, как правило, является период окупаемости затрат на устройство фрикулинга, который, в свою очередь, зависит от климата региона строительства и длительности работы режима свободного охлаждения в году. В таблице 2 приведено среднестатистическое количество часов, в течение которых температура не превышает +22 °C и +24 °C, по данным сайта WeatherArchive.ru.

Так, для ЦОД с мощностью ИТ‑оборудования 1 мегаватт получим, что потребляемая мощность фреоновой системы при PUE=1,4 составит 400 киловатт, а потребляемая мощность фрикулинга при PUE=1,09—90 киловатт. Мгновенная экономия составляет 310 киловатт.

В первую очередь хочется отметить, что актуальны эти 310 киловатт не целый год, а только тот период, когда фрикулинг активен. И здесь кроется потенциальная ошибка в расчетах. Обратите внимание на коэффициент PUE, который участвует в расчетах. Если это «маркетинговый» PUE, то да, экономию нужно уточнять, учитывая климат региона. Если же это «честный» среднегодовой PUE, как в нашем случае, то экономия актуальна.

Однако эта экономия может быть рассмотрена двояко.

С одной стороны, это экономия на счетах за электричество. При стоимости 1 кВт·ч 4,65 рубля (данные для юридических лиц Москвы при подведенной мощности 1 мегаватт) экономия составит 310·24·365·4,65 = 12,6 миллиона рублей. Из нее следует вычесть стоимость технического обслуживания фрикулинга. Далее величину капитальных затрат на устройство фрикулинга необходимо разделить на полученную цифру. Итогом будет период окупаемости, выраженный в годах. Обычно эта цифра лежит в диапазоне от 3 до 7 лет.

С другой стороны, высвобожденные 310 киловатт электроэнергии могут рассматриваться как готовая мощность для устройства еще одного ЦОД меньшего масштаба. Другими словами, в первоначальном проекте появляется возможность построить ЦОД с мощностью ИТ‑оборудования не 1 мегаватт, а, допустим, 1,25–1,3 мегаватта. В случае коммерческого ЦОД такой прирост мощности будет означать увеличение числа стойко-мест с последующим ростом прибыльности проекта. Дальнейший расчет периода окупаемости следует проводить, основываясь на данных бизнес-плана проекта. Полученное значение периода окупаемости, как правило, будет ниже, чем в первом случае: от 2 до 5 лет.

Особенности расчета фрикулинга

Принципиально расчет режимов работы фрикулинга ничем не отличается от классического расчета системы вентиляции по удалению теплоизбытков. Расход подаваемого воздуха должен быть достаточным для удаления тепла при заранее обозначенных температурах подаваемого и удаляемого воздуха:

где G — ​искомый расход воздуха, м3/ч; Q — ​удаляемые теплоизбытки, кВт; c — ​теплоемкость воздуха, с=1,005 кДж/(кг·°C); ρ — ​плотность воздуха, ρ=1,2 кг/м3; ΔT — ​разность температур между удаляемым и подаваемым потоками воздуха, °C.

Исходя из полученного расхода воздуха, определяется сечение воздуховодов. Рекомендуемая скорость воздуха при этом составляет 6–8 м/с.

При расчете фрикулинга следует помнить, что данные системы оперируют очень большими расходами воздуха (десятки тысяч кубометров в час) и требуют установки вентиляторов, мощность которых достигает десятков киловатт. Очевидно, что это один из теплопритоков для рассматриваемого потока воздуха, поэтому расчетные теплоизбытки должны быть увеличены на величину потребляемой мощности вентилятора.

Для примера рассмотрим машинный зал ЦОД ИТ‑мощностью 300 киловатт, прочими теплоизбытками в размере 10 киловатт и предполагаемой мощностью вентиляторов фрикулинга также в размере 10 киловатт. Приемлемой температурой в холодном коридоре является 21 °C, в горячем — ​29 °C.

Требуемый расход воздуха в системе свободного охлаждения составит:

При скорости воздуха в канале v=8 м/с площадь сечения составит:

Если предположить, что в машинном зале ЦОД установлены 4 ряда по 15 стоек мощностью 5 киловатт каждая, то на каждый ряд стоек требуется подвести воздуховод площадью 1 квадратный метр, то есть сечением, например, 1200×800 мм.

Недостатки фрикулинга

При обсуждении недостатков системы свободного охлаждения на первый план выходят следующие два пункта — ​громоздкость и несамодостаточность системы.

Громоздкость фрикулинга очевидна: для отвода больших мощностей с помощью такого теплоносителя, как воздух, требуются огромные воздуховоды. Их сечение порой превышает один квадратный метр. Прокладка таких воздуховодов возможна далеко не в каждом здании. Именно поэтому при построении крупного ЦОД с фрикулингом обычно идут по пути нового строительства.

Несамодостаточность фрикулинга объясняется тем, что его наличие не отменяет необходимости иметь чиллерную или фреоновую систему кондиционирования на случай жарких летних дней. Фактически речь идет об устройстве двух систем охлаждения, рассчитанных на полную мощность ЦОД.

Кроме того, важно отметить сложность автоматизации режима свободного охлаждения. Управление воздушными клапанами, контроль температуры воздуха, препятствие обмерзанию теплообменника — ​все это требует значительных усилий со стороны специалистов по автоматизации. И если подобные алгоритмы в классических системах отработаны годами, то в сфере фрикулинга они сформулированы недавно и требуют обкатки и постоянного контроля.

Отметим и влияние фрикулинга на архитектуру ЦОД и стоек. О том, что для прокладки воздуховодов в здании требуется много места, мы уже сказали. Но для подведения охлажденного воздуха в машинный зал к стойкам и для его отвода от стоек часто требуется внести конструктивные изменения и в сами стойки — ​дополнить их присоединительными элементами, воздушными коллекторами, отводящими воздуховодами.

Заключение

Технология свободного охлаждения — ​относительно новая в сфере ЦОД, но она активно развивается. Специалисты в один голос заверяют, что дни фреоновых кондиционеров в ЦОД сочтены, на смену им придет фрикулинг. Более того, на конференциях, посвященных дата-центрам, все чаще устраиваются дискуссии на тему «ЦОД без кондиционера», «ЦОД только на фрикулинге».

Как показала практика первых лет использования фрикулинга, клиенты коммерческих ЦОД не сразу соглашаются на аренду площадей или установку оборудования в столь нестандартных ЦОД. Главным двигателем прогресса оказались крупные корпоративные заказчики, которые раз за разом решались на эксперименты ради получения эксплуатационной выгоды, соглашаясь на повышенный риск из-за применения неотработанных технологий.

Для специалистов климатической отрасли это означает необходимость приобретения навыков работы с технологиями свободного охлаждения, их расчета, проектирования, монтажа, автоматизации и эксплуатации. При этом особо следует выделить именно автоматизацию фрикулинга. Как любая новая технология, она должна быть отработана на уровне алгоритмов и далее оптимизирована и дополнена элементами искусственного интеллекта. Удачное сочетание компоновки и алгоритма работы установки свободного охлаждения может стать успешным массовым решением для рынка ЦОД.

Юрий Хомутский,
технический редактор журнала «Мир климата»

наши проекты
  • АПИК
  • Университет климата
  • Выставка «Мир климата»
  • АПИК-тест