Система охлаждения ЦОД в Москве и области под ключ

Основной источник теплоизбытков в ЦОД — серверное оборудование. Традиционно емкость ЦОД измеряется числом стоек и средней мощностью стойки, а не количеством ИТ-оборудования.

На первых порах мощность стойки составляла 1–2 киловатта, сегодня эта величина выросла до 5–7 киловатт. Существуют высокомощные стойки на 100 киловатт и более.

Сравним эти цифры с жилыми и офисными объектами. Как известно, для электроснабжения одной квартиры или частного дома выделяется 5–10 киловатт энергии, по особому согласованию можно увеличить норму, например, до 20 киловатт. В ЦОД те же 20 киловатт запросто могут быть «съедены» лишь одной стойкой из 100 подобных.

Небольшие ЦОД выделяют до 300 киловатт тепла, средние — до 1 мегаватт, крупные — до 5 мегаватт. Мощность мега-ЦОД может превышать 20 мегаватт.
При рядной архитектуре стойка занимает 2–3 квадратных метра. При средней мощности 7 киловатт удельные тепловыделения составят около 3 киловатт на квадратный метр. В жилых и офисных объектах эта величина, как правило, находится в диапазоне от 100 до 200 ватт на квадратный метр.

На вопрос, какую температуру и влажность следует поддерживать в ЦОД, сегодня нет однозначного ответа. Виной тому — быстрое развитие отрасли, изменение взглядов на архитектуру систем охлаждения ЦОД, тенденции к повышению энергоэффективности СКВ ЦОД.

На начальном этапе развития дата-центров чаще всего приходилось иметь дело с требуемой температурой 18—22°C и относительной влажностью 40–60%. В 2008 и 2011 годах выпускались директивы ASHRAE (Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха), согласно последней из которых рекомендуемый диапазон температур в машинном зале ЦОД составляет 18—27°C, относительная влажность — не выше 60% при точке росы не ниже 5,5°C и не выше 15°C. Более подробно о данной директиве, а также о рекомендуемом и допустимых диапазонах рассказывалось в статье «Развитие директивы ASHRAE о микроклимате центров обработки данных», опубликованной в журнале «Мир климата» № 71.

На сегодня в большинстве случаев актуален диапазон температур 18—27°C, рекомендуемая влажность — 40–60%. Поскольку градиент температур в автозалах — более 10°C, важно отметить, что речь идет о температуре и влажности на выходе из кондиционера, то есть в холодном коридоре или на входе в ИТ-оборудование. Наиболее часто встречающиеся параметры воздуха при расчете кондиционеров в программах — 24°C/50%.

С целью снижения энергозатрат в ряде случаев проектировщики стремятся обоснованно завысить температуру в ЦОД. Кроме того, некоторые производители разрабатывают ИТ-оборудование, работающее при более высоких температурах, что также позволяет повысить рабочую температуру кондиционеров. Эти и другие частности будут рассмотрены в будущих статьях.

Собственно, ответ на вопрос, почему в ЦОД используются именно прецизионные кондиционеры, вытекает из особенностей дата-центров и требований к СКВ ЦОД. Объединим все причины в едином списке.

• Прецизионные (от фр. pr’ecision — точность) кондиционеры способны более точно поддерживать заданную температуру и влажность воздуха.
• Возможность поддерживать не только температуру, но и влажность воздуха.
• Наличие более мощной системы фильтрации по сравнению с обычными кондиционерами.
• Способность к непрерывной и круглогодичной работе, в том числе в зимнее время.
• Форм-фактор прецизионных кондиционеров — это, как правило, шкафные напольные блоки, разработанные с учетом особенностей ЦОД: рядной архитектуры, наличия холодных и горячих коридоров, повышенной удельной тепловой мощности.
• Широкие возможности резервирования: возможность резервирования кондиционеров, функция горячего ввода резерва, резервирование трубопроводов и подключение к разным энерговводам.
• Более широкие возможности по программированию контроллера, отображению информации, объединению блоков в единую сеть.
• Повышенная мощность: холодопроизводительность одного кондиционера — от 6 до 200 киловатт.
• Широкий выбор вариантов исполнения кондиционеров: фреоновые, водяные, гликолевые, комбинированные; конденсаторные блоки как с воздушным, так и водяным охлаждением.

Конечно, в малых серверных на несколько стоек мощностью не более 5 киловатт можно применить бытовые и полупромышленные кондиционеры. Охлаждение остальных ЦОД строится исключительно на базе прецизионного оборудования.

Для проектирования системы кондиционирования ЦОД необходимо прежде всего узнать количество стоек, их среднюю мощность, требуемую температуру и влажность, уровень надежности ЦОД.

Далее следует запросить планировку ЦОД с расстановкой стоек. Это позволит оценить свободное место и предварительно наметить места для кондиционеров.
Особого внимания заслуживают высокомощные стойки. Если они равномерно распределены по залу, то, вероятно, с их охлаждением справится общая система кондиционирования машинного зала. Если же они сконцентрированы в одном месте, то более выгодным видится установка отдельных мощных кондиционеров для этой группы.

Планировка также покажет, установлены ли ИБП в машинном зале или же расположены в отдельном помещении. В первом случае их охлаждение будет осуществлено кондиционерами автозала, во втором случае потребуются отдельные блоки системы кондиционирования.
При наличии на объекте бросовой или технической воды возможным вариантов отвода тепла могут быть конденсаторы с водяным охлаждением.

1. Проектирование системы охлаждения ЦОД с учетом параметров серверной и перспектив роста.
2. Подбор и поставка оборудования.
3. Подготовка к установке – выбор мест под установку каналов и другие работы.
4. Монтаж оборудования и систем воздуховодов в ЦОД.
5. Пуско-наладочные работы.

Рассмотрим конкретный пример укрупненного подбора оборудования для кондиционирования ЦОД. Допустим, перед нами стоит задача охлаждения ЦОД на 120 стоек средней мощностью 6 киловатт. ИБП установлены в отдельном помещении, их тепловыделение составляет 50 киловатт. Требуемый уровень надежности ЦОД — Tier III, параметры микроклимата 24°C/50%.
Итак, холодильная мощность кондиционеров в автозале должна составлять 720 киловатт, в помещении ИБП — 50 киловатт, везде должны быть предусмотрены резервные единицы.

Рассмотрим два варианта систем кондиционирования. Первый на базе фреоновых кондиционеров, второй — на базе чиллеров.

В первом варианте видится возможным установить 9 кондиционеров холодопроизводительностью по 90 киловатт (8 рабочих и один резервный). Для помещения ИБП следует предусмотреть рабочий и резервный кондиционеры холодильной мощностью по 50 киловатт. На каждый кондиционер подбирается конденсаторный блок. Резервирование осуществляется на уровне системы. Подбор конкретных моделей кондиционера и конденсатора выполняют с помощью программы расчета из условия обеспечения выходной температуры 24°C и влажности 50%.

Во втором случае речь идет о чиллерной системе с гликолевым контуром. Количество и мощности кондиционеров можно оставить теми же, но при их расчете важно учесть процент гликоля в холодоносителе. Таким образом, для работы внутренних блоков требуются два чиллера (рабочий и резервный) холодильной мощностью 820 киловатт. Более экономичным видится вариант использования трех чиллеров по 410 киловатт (2 рабочих, 1 резервный). Также требуется зарезервировать магистральные трубопроводы между чиллерами и внутренними блоками и циркуляционные насосы.

Этот пример позволяет понять общую логику подбора оборудования для кондиционирования ЦОД. В дальнейших публикациях вопросы будут рассмотрены более глубоко и применительно к различным объектам — малым, средним и крупным ЦОД с акцентом на организацию воздухообмена в машинных залах.