Правильное кондиционирование небольшого ЦОД

Малые центры обработки данных представляют собой отдельный сегмент рынка ЦОД и имеют ряд специфических особенностей. В отличие от крупных дата-центров, занимающих обычно значительную часть здания, а иногда и все здание целиком, небольшие ЦОД могут располагаться в отдельной комнате, шкафу, контейнере. Существуют и мобильные варианты исполнения — на колесах. О таких центрах обработки данных речь и пойдет ниже.

В продолжение классификации, принятой в первой статье цикла (Почему центры обработки данных охлаждают отдельно? Общие требования и особенности СКВ ЦОД // Мир климата. № 104), под небольшими ЦОД будем понимать серверные помещения не более чем на 50 стоек.

Рынок малых ЦОД

Рынок малых ЦОД — самый крупный сегмент рынка ЦОД в целом, причем как с финансовой, так и с энергетической точек зрения. Свое лидерство рынок малых ЦОД обеспечивает не стоимостью или мощностью отдельных объектов, а их количеством.

Дело в том, что в небольших серверных нуждается практически каждая хоть сколько-нибудь крупная организация. Почтовый сервер, АТС, электронный документооборот, архив, корпоративный сервер или база знаний и многое другое — это все примеры сервисов, работу которых обеспечивают малые ЦОД.

До появления облачных технологий обеспечением жизнедеятельности компаний занимались небольшие ЦОД емкостью до 15 стоек. ЦОД, которые выполняют задачи конкретной компании, называют корпоративными. Появление облачных сервисов несколько пошатнуло рынок малых корпоративных ЦОД, так как компаниям проще получать облачные услуги. Тем не менее сегмент малых ЦОД сохраняет лидерство.

Итак, рынок малых ЦОД включает в себя:

  • корпоративные ЦОД компаний, которые не хотят или не могут использовать коммерческие ЦОД;
  • коммерческие ЦОД до 50 стоек;
  • базовые станции операторов связи;
  • помещения АТС, коммутаторов, кроссовых;
  • контейнерные ЦОД;
  • мобильные ЦОД;
  • суперкомпьютеры.

Рядная архитектура небольших ЦОД

Каким бы ни был по типу и масштабу ЦОД, в нем должна соблюдаться рядная архитектура: стойки стоят боком друг к другу, образуя ряды, причем в один и тот же проход выходят строго только фронтальные или только тыльные стороны стоек. Проход, в который выходят фронтальные стороны стоек, становится холодным коридором, а тот, куда выходят тыльные стороны стоек — горячим. Подобная структура позволяет упорядочить расположение шкафов, повысить эффективность охлаждения ЦОД, упросить обслуживание серверного оборудования и инженерных систем.

В небольших ЦОД с одним рядом стоек также существуют горячий и холодный коридоры, образованные в данном случае проходами не между рядами стоек, а между единственным рядом и ограждающей конструкцией — стеной. В зависимости от того, фронтальная или тыльная сторона стоек обращена в проход, формируется соответственно холодный или горячий коридор.

Оборудование для охлаждения небольших ЦОД

Небольшие ЦОД — это, пожалуй, единственный сегмент данного рынка, где могут быть задействованы непрецизионные кондиционеры. Даже если бюджет позволяет применять прецизионную технику, препятствием могут стать отсутствие места, инфраструктуры, мощностей, проемов для заноса оборудования и прочие второстепенные факторы.

Тем не менее для охлаждения ЦОД в первую очередь стоит рассматривать прецизионное климатическое оборудование. Это могут быть шкафные и внутрирядные (междустоечные) кондиционеры, а также подвесные прецизионные сплит-системы, схожие с классическими кассетными кондиционерами.

Применение именно прецизионных кондиционеров имеет ряд преимуществ. В первую очередь речь идет о более качественном охлаждении, более точном поддержании температуры, надежности. Кроме того, прецизионные кондиционеры могут быть удобно зарезервированы, оснащены двумя вводами электропитания, они отличаются значительно более широкими возможностями наладки и мониторинга, рассчитаны на круглосуточную круглогодичную работу и имеют больший ресурс.

Если же применение прецизионных кондиционеров невозможно, в маленьких серверных — от одной до 10 стоек — могут быть использованы полупромышленные кондиционеры, как правило, потолочного, настенного и — реже — канального исполнения. На более крупных объектах мощности полупромышленного климатического оборудования уже не хватает.

Анализ использования шкафных прецизионных кондиционеров для охлаждения небольших ЦОД

Шкафные прецизионные кондиционеры оптимально подходят для охлаждения небольших ЦОД, при этом в зависимости от геометрии объекта следует рассмотреть вариант установки кондиционеров у стен, расположенных в конце ряда стоек и вдоль ряда стоек. Определенное значение будет иметь наличие фальшпола. Поясним это на примерах.

Пример ЦОД на 40 ИТ-стоек

Рассмотрим ЦОД на 40 стоек с фальшполом, расположенных в 4 рядах по 10 стоек (рис. 1). Обратите внимание, что на схемах ЦОД ряды стоек обозначены латинскими буквами А, B, C и т.д., а нумерация стоек внутри ряда выполнена арабскими цифрами 1, 2, 3 и т.д. Таким образом, каждая стойка имеет свой уникальный номер типа А1, А2, B5, C7, D10

Расстановка кондиционеров у стен в конце ряда стоек

На рисунке 2 представлена планировка ЦОД с указанием мест размещения шкафных кондиционеров. Зелеными прямоугольниками К1, К2, К3 здесь и далее будут обозначаться кондиционеры. Для удобства мы также указали, где находятся горячий и холодный коридоры. Штриховка коридора мелким квадратом означает наличие в коридоре напольных решеток (перфорированных плиток фальшпола). Рассмотрим особенности и недостатки предложенной схемы.

Места установки кондиционеров

Кондиционеры на схеме установлены напротив холодных коридоров. Подобный подход, строго говоря, не является ошибкой, но здесь необходимо учесть определенные нюансы.

Часто в проектах кондиционирования ЦОД приходится видеть кондиционеры, расположенные именно напротив холодных коридоров. Объяснение проектировщика в этом случае заключается в том, что кондиционер подает холодный воздух под фальшпол, и он тут же через напольные решетки выходит в основное помещение.

При этом упускают тот факт, что всасывание воздуха кондиционерами осуществляется из объема помещения, и если ближайшим к кондиционеру является холодный коридор, велика вероятность всасывания именно холодного воздуха. Всасывание горячего воздуха осуществляется по более длинной траектории и к тому же приводит к смешиванию холодного и горячего потоков воздуха.

Оба фактора — всасывание холодного воздуха и смешение потоков — негативно сказываются на эффективности охлаждения ЦОД.

Решением является устройство крыши (искусственного потолка) в холодных коридорах по верху ИТ-стоек. Кроме того, на входе в коридор могут быть установлены двери. Подобную технологию называют изоляцией холодного коридора. Зафиксированный внутри коридора холодный воздух не будет смешиваться с горячим, и система охлаждения будет работать достаточно эффективно.

С таким решением приходилось сталкиваться на практике, даже когда в серверной нет фальшпола, а у холодного коридора соответственно нет дверей. В этом случае кондиционеры должны иметь нижний выдув воздуха вдоль пола, воздух подается непосредственно в холодный коридор. Потоки горячего воздуха из горячих коридоров поднимаются наверх и поступают на вход кондиционера. Искусственный потолок холодных коридоров защищает холодный и горячий потоки от смешивания.

Таким образом, расстановка кондиционеров на рис. 2 будет эффективной как при наличии фальшпола, так и без него только при изоляции холодного коридора. Однако в общем случае кондиционеры рекомендуют размещать напротив горячих коридоров.

Анализ аварийных ситуаций

Как известно, ключевая характеристика любого ЦОД — его отказоустойчивость, то есть работа при отказе одной или нескольких единиц того или иного оборудования.

Представим ситуацию, что кондиционер К3 вышел из строя. В этом случае кондиционеры К1, К2 и К4 будут работать с увеличенной мощностью. Безусловно, холодильная мощность каждого кондиционера на стадии проектирования была рассчитана с запасом, и оставшихся трех устройств хватит для отвода тепла от ИТ-стоек. Но будет ли такой отвод тепла эффективен?

Очевидно, при поломке кондиционера К3 левый нижний угол помещения на планировке, представленной на рис. 2, вероятнее всего, будет подвержен перегреву, поскольку в том углу ожидается недостаток холодного воздуха.

Резюме анализа аварийных ситуаций следующее. Для рассматриваемой планировки рекомендуется добавить еще один кондиционер в середине помещения. В серверной в общей сложности будут работать 5 кондиционеров, холодильная мощность каждого при этом будет меньше, чем в варианте с 4 кондиционерами. Суммарная мощность 4 кондиционеров при новой схеме охлаждения должна быть равна суммарной мощности 3 кондиционеров в изначальном варианте. Использование 5 кондиционеров обеспечит более равномерное распределение воздушных потоков, а риск образования зон перегрева при выходе из строя какого-либо из кондиционеров заметно снизится.

Подобный анализ аварийных ситуаций следует производить в каждом проекте ЦОД, представляя попеременно аварию каждого из кондиционеров и выявляя риск образования зон перегрева. В данном случае мы имеем весьма простую планировку, когда все 4 кондиционера работают в равных условиях. На практике же неправильная форма помещения, наличие колонн, закоулков, особенности организации подфальшпольного пространства и прочие факторы осложняют анализ аварийных ситуаций, но тем самым делают его еще более важным.

Расстояние от кондиционера до ИТ-стоек

В целях экономии свободного места в планировке на рис. 2 принято минимальное расстояние от кондиционера до ближайшей ИТ-стойки. По сути, речь идет о минимальной ширине прохода в серверном помещении, которое равняется 800 миллиметрам. Оценка «на глаз» говорит о том, что принятое расстояние от кондиционера до стойки примерно соответствует ширине стойки или же глубине кондиционера. Достаточно ли его?

Как показывает практика, нет. Скорость воздуха, нагнетаемого в подфальшпольное пространство, на выходе из кондиционера весьма велика. Прежде чем под фальшполом создастся избыточное давление воздуха, пройдет время. За это время воздух «пролетит» некоторое расстояние под фальшполом и, как показывает реальный опыт на объектах, пройдет мимо первой, а иногда и мимо второй стойки.

Измерения скоростей и температур воздуха на практике дают следующую картинку. При близком расположении кондиционера к стойке скорость воздуха под фальшполом настолько велика, что он просто не попадает в первую фальшпольную решетку.

Казалось бы, через ближайшую решетку должен проходить наибольший расход воздуха. На самом деле при планировке, приведенной на рис. 2, кондиционеры К1 и К3 нагоняют холодный воздух навстречу друг другу, и максимальный выход холодного воздуха будет на стыке встречных потоков, то есть в районе стоек А5, В5, А6 и В6. Вторыми по обеспеченности холодным воздухом окажутся стойки А4, В4, А7 и В7. Стойки же А1, В1, А10 и В10 останутся совсем без холодного воздуха. Более того, возможен даже подсос воздуха из холодного коридора в пространство фальшпола через решетки возле стоек А1, В1, А10 и В10, что только ухудшит ситуацию в ЦОД.

Итак, расстояние от кондиционера до первой стойки должно быть достаточным для стабилизации потока воздуха под фальшполом. Согласно рекомендациям это расстояние должно быть не менее 1200 миллиметров, что соответствует двум плиткам фальшпола. «На глаз» это расстояние на планировке должно быть заметно больше, чем ширина стойки или глубина кондиционера.

Таким образом, на планировке, представленной на рис. 2, следует увеличить расстояние между кондиционерами и стойками.

Итоговые рекомендации по расстановке шкафных кондиционеров в помещении ЦОД

В ходе проведенного анализа планировки ЦОД на 40 ИТ-стоек нами выделены следующие рекомендации.

Если выбрана схема установки кондиционеров в конце рядов ИТ-стоек, то располагать кондиционеры следует напротив горячих, а не напротив холодных коридоров.

При расстановке кондиционеров следует проводить анализ распределения потоков воздуха и образования зон перегрева при поочередном выходе из строя каждого из кондиционеров. Для рассматриваемого примера — добавить кондиционер К5 в середине помещения — между кондиционерами К1 и К2 или К3 и К4.

Расстояние от кондиционера до ближайшей телекоммуникационной стойки должно быть не мене 1200 миллиметров (две свободные плитки фальшпола).

Актуализированная планировка, соответствующая предложенным рекомендациям, приведена на рис. 3. Данная планировка сочетает в себе эффективное охлаждение всех серверных стоек как при работе всех кондиционеров, так и при выходе из строя какого-либо из них. Кроме того, в актуализированной планировке существенно снижен риск образования зон перегрева.

Расстановка кондиционеров у стен вдоль ряда стоек

Кондиционеры в ЦОД могут быть размещены и у стен, расположенных вдоль ряда стоек (рис. 4). Рассмотрим особенности предложенной планировки.

Первое, на что следует обратить внимание: в серверных с несколькими рядами стоек расстановка кондиционеров у стен вдоль рядов стоек возможна только при наличии фальшпола, а размещение стоек должно быть таким, чтобы кондиционеры находились в горячих коридорах. Это позволит автоматически выполнить требование минимального расстояния от кондиционера до ближайшей напольной решетки. В нашем случае оно равно ширине прохода между кондиционером и стойками плюс глубине стойки, что составляет, как правило, около 2 метров при требовании не менее 1,2 метра.

Оговорка «в серверных с несколькими рядами стоек» сделана неспроста. Если в серверной всего один ряд стоек, то наличие фальшпола не обязательно. Кондиционеры с нижним фронтальным выдувом следует устанавливать в холодном коридоре — холодный воздух будет подаваться непосредственно в стойки (рис. 5).

Но вернемся к планировке на рис. 4. Для более равномерного распределения холодного воздуха в случае аварии одного из кондиционеров мы сразу предусмотрели 5 кондиционеров. А вопрос циркуляции воздуха стоит рассмотреть подробнее. Очевидно, что возврат воздуха в кондиционеры из среднего горячего коридора вызывает сомнения, поскольку ему потребуется пройти над холодным коридором.

Если стойки будут потреблять из холодного коридора не весь холодный воздух, то его излишек будет блокировать поток горячего воздуха. Если же в холодном коридоре будет недостаток холодного воздуха, то стойки будут засасывать проходящий сверху горячий воздух. Образование таких коротких контуров циркуляции приведет к возникновению точек перегрева в верхних юнитах ИТ-стоек.

Решение проблемы заключается в изоляции холодных коридоров через устройство искусственного потолка на уровне верха ИТ-стоек. К такому решению мы уже прибегали ранее, когда обсуждали рис. 2. Следует помнить, что смешение холодного и горячих потоков воздуха в ЦОД — главный враг системы кондиционирования. Наиболее эффективное решение проблемы — изоляция холодного или горячего (а иногда и обоих одновременно) коридоров.

Расстановка внутрирядных кондиционеров

Расстановка внутрирядных кондиционеров представлена на рис. 6.

Внутрирядные кондиционеры устанавливаются в ряду стоек и одной стороной выходят в холодный коридор, а другой — в горячий. Это позволяет засасывать горячий воздух непосредственно из горячего коридора и нагнетать холодный воздух непосредственно в холодный коридор.

Если в случае использования шкафных кондиционеров длина воздушного контура была сопоставима с габаритами помещения, то при использовании внутрирядных кондиционеров длина воздушного контура сопоставима с габаритами стойки, то есть на порядок меньше. Значительное снижение длины воздушного контура снижает требуемую мощность вентилятора и делает внутрирядные системы кондиционирования наиболее эффективными.

Следует обратить внимание, чтобы кондиционеры были равномерно расставлены внутри ряда и по возможности не находились друг напротив друга. Кроме того, следует проводить анализ аварийных ситуаций, чтобы при поломке одного кондиционера другие смогли доставить воздух до обездоленных стоек. Наиболее уязвимая ситуация при этом — поломка крайних кондиционеров в каждом из рядов.

Внутрирядные кондиционеры способны поставлять холодный воздух только в один холодный коридор. Таким образом, внутрирядные кондиционеры, поставляющие воздух в один и тот же холодный коридор, работают в связке и могут заменять друг друга, но не могут заменить кондиционеры из другого холодного коридора. Следовательно, резервный кондиционер должен быть установлен в каждой паре рядов стоек, имеющих общий холодный коридор.

Использование настенных, потолочных и канальных кондиционеров в серверных

Наиболее простой и бюджетный вариант охлаждения серверных, который до сих пор применяют на многих объектах,— использование полупромышленных сплит-систем с внутренними блоками настенного, потолочного и канального типов. Такие решения редко находят применение в серверных с несколькими рядами стоек из-за сложно прогнозируемых воздушных потоков, но могут хорошо проявить себя в серверных с одним-двумя рядами стоек.

Настенные блоки монтируются в холодном коридоре и подают воздух непосредственно на вход стоек (рис. 7). Канальные и потолочные кондиционеры монтируются над стойками так, чтобы забор воздуха происходил из горячего коридора, а подача — в холодный коридор (рис. 8). При этом канальные кондиционеры могут быть скрыты за фальшпотолком, видимыми останутся только решетки. Однако из-за высоких аэродинамических потерь в воздуховодах и решетках такая схема не является эффективной.

Заключение

Небольшие серверные до 50 стоек — самый распространенный тип объектов и наиболее емкий сегмент рынка ЦОД. Ввиду большого количества объектов велико и их разнообразие с точки зрения геометрии помещения, мощности стоек, наличия или отсутствия фальшпола. В зависимости от конфигурации выбирают ту или иную систему охлаждения.

В небольших ЦОД наиболее часто встречаются системы кондиционирования на базе шкафных и внутрирядных прецизионных кондиционеров, в серверных до 10 стоек также могут быть применены полупромышленные сплит-системы с внутренними блоками настенного, канального и потолочного типов.

Юрий Хомутский, технический редактор журнала «Мир климата»

наши проекты
  • АПИК
  • Университет климата
  • Выставка «Мир климата»
  • АПИК-тест