Охлаждение серверов — важнейший вопрос эксплуатации дата-центров. Перегрев серверов может привести к замедлению работы (соответственно, сервисы клиентов могут начать «тормозить»), либо к их полному выходу из строя.
Для предотвращения перегрева критически важных IT-установок требуется охлаждающее оборудование, чтобы в помещениях дата-центров круглосуточно поддерживалась идеальная температура.
“Охлаждение - это вторая по энергозатратности статья расходов в дата-центрах. Порядка половины расходов на электроэнергию - это не оплата потребления э/э самих вычислительных машин, а работа систем охлаждения и кондиционирования. Поэтому в этом направлении постоянно все ищут способы, как на системе охлаждения сэкономить, как сделать ее эффективной, но не такой энергозатратной”, - отмечает эксперт Роман Некрасов, сооснователь сооснователь LAZM (ENCRY Foundation).
“Существует два наиболее популярных способа охлаждения майнингового оборудования: воздушное и иммерсионное.
Воздушное охлаждение - охлаждение всего объема устройств при помощи разделения потоков холодного (поступающего в устройства) воздуха и отвод горячего воздуха, выходящего из устройств.
Иммерсионное охлаждение - охлаждение оборудования с помощью специальной иммерсионной жидкости, в которую помещаются устройства. Такой способ позволяет содержать устройства в чистоте и устраняет проблемы с шумом. Но при этом жидкость тоже надо охлаждать…”, - объясняет Еременко Юрий, руководитель направлений “EMCD Майнинг Инфраструктура” и “EMCD Сервис”
Как осуществляется процесс охлаждения оборудования в дата-центрах
О том, какие существуют основные воздушные процессы охлаждения IT-приборов (вычислительных мощностей) в центрах хранения и обработки данных, рассказывает Назир Наурзоков, инженер по проектным решениям Acer/Altos в России:
“Охлаждение помещений дата-центров осуществляется посредством различных технологических решений, прорабатываемых, как правило, на этапе проектирования с учётом многочисленных факторов. Среди таких решений можно выделить:
- Т.н. «фрикулинг» - различные варианты охлаждения помещения воздухом с улицы;
- Кондиционирование на уровне помещения с подачей воздуха в общее пространство;
- Кондиционирование на уровне помещения с подачей воздуха с фальшпола;
- Кондиционирование на уровне помещения с подачей воздуха с фальшпола и с использованием вытяжной вентиляции;
- Охлаждение на уровне рядов вычислительных узлов
- Охлаждение на уровне индивидуальной стойки (шкафа)”.
Фрикулинг простыми словами
Как только воздух возле серверов нагревается, он выпускается на улицу в окружающую среду (полностью или частично), и на его место направляется новый, более прохладный поток воздуха извне. Часто ЦОДы строятся в местах, где наружный воздух большую часть года холоднее, чем температура внутри помещений. Таким образом, не нужно охлаждать горячий воздух в компрессорах, что на самом деле достаточно энергоемкая история.
Кондиционирование
Презиционные кондиционеры обеспечивают не только нужную температуру, но и имеют функцию регулировки влажности воздуха.
В традиционных методах охлаждения центров обработки данных используется комбинация фальшполов и инфраструктуры кондиционирования воздуха в компьютерном зале из установок CRAC или CRAH.
Разница между CRAC и CRAH заключается в том, что блок CRAC использует для охлаждения хладагент и компрессор, тогда как блок CRAH использует охлажденную воду и регулирующий клапан.
Установки CRAC/CRAH создают давление в пространстве под фальшполом и проталкивают холодный воздух через перфорированные плитки в воздухозаборники серверов. Холодный воздух проходит через компоненты вычислительного оборудования и выходит наружу в виде горячего выхлопа, а затем возвращается в CRAC/CRAH для охлаждения.
Три подхода к охлаждению
Впрочем, охлаждаться ЦОД может не только на уровне зала (помещения), но и, например, на уровне ряда или стойки. У каждого из вариантов есть свои преимущества и недостатки.
Одним из недостатков охлаждения на уровне зала является то, что горячий и холодный воздушные потоки перемешиваются, снижая общую эффективность системы охлаждения. Значительная часть воздуха, выходящего из кондиционеров, идет в обход оборудования и сразу же возвращается в охлаждающий блок.
Охлаждение на уровне ряда выгоднее за счет того, что пути циркуляции воздуха короче и более предсказуемы, что позволяет задействовать всю номинальную охлаждающую способность кондиционера. Таким образом, потери минимизируются.
Не нужен фальшпол, и, что важно, без него эффективность процесса не уменьшается.
Но наиболее эффективной схемой является охлаждение на уровне стоек, когда для каждого серверного шкафа выделяется отдельный кондиционер, а также средства изоляции горячего и холодного внутришкафного пространства, в результате чего воздушные потоки, циркулирующие внутри шкафа, не попадают во внешнюю среду помещения дата-центра.
Жидкостное охлаждение
“Помимо всем понятной простой системы кондиционирования используется также жидкостное охлаждение, и для ASIC'ов это дает существенный выигрыш по расходам на электроэнергию для систем охлаждения. Например, у Bitfury была своя разработка - двухфазная система иммерсионного охлаждения. Чипы погружаются в емкости со специальной жидкостью, которая не проводит электричество, не горит и не наносит вреда серверам. Чипы нагреваются, передают тепло жидкости, та закипает, выделяется пар, он поднимается вверх и оседает на специальном змеевике, конденсат стекает вниз обратно в резервуар. И так по кругу”, - добавляет Татьяна Максименко, официальный представитель биржи криптовалют Garantex.
Погружные системы с масляным охлаждением, несмотря на быстрый успех и бесспорную энергоэффективность, не получили широкого распространения из-за целого ряда недостатков: высокой воспламеняемости масла, дороговизны, и сложностей с проведением ремонтных и профилактических работ.
А вот вода является практически идеальным, и к тому же природным хладагентом. Водяное охлаждение используется чаще, чем масляное.
“Водяное охлаждение касается отдельных устройств, а не специализированных дата-центров. В таком случае, сам завод изготовитель оборудует каждый отдельный майнер не радиаторами, а специальными темпо съемниками, внутри которых циркулирует вода. Такие радиаторы подключаются к центральной системе охлаждения всей фермы. Холодная вода по приходящим трубкам подается на каждое устройство, а горячая вода, после охлаждения майнера, отводится от устройства и охлаждается, либо сбрасывается в водоем”, - указывает Юрий Еременко, руководитель направлений “EMCD Майнинг Инфраструктура” и “EMCD Сервис”.
Недостатки у этого способа тоже есть: конструкция такого охлаждения сложна в силу электропроводности воды. В ней много соединительных узлов, которые тяжело контролировать на предмет протечек. Вода может попасть на оборудование, и тогда возрастут эксплуатационные затраты. Капитальные затраты на водяное охлаждение также высоки.
Итого, из всех вариантов жидкостного охлаждения, иммерсионное на данный момент - самый инновационный и выгодный вариант для дата-центров.
Требования к охлаждению
По сути, требование одно - отводить все тепло, которое образовывается при работе майнера. При воздушном охлаждении считается кратность воздухообмена в закрытом помещении. В открытом помещении или контейнере система выстраивается так, чтобы воздух равномерно нагнетался и проходил через все оборудование. При иммерсионном охлаждении также считается кратность, но уже обмена теплоотводящей жидкости. И рассчитывается сам теплообменник, с помощью которого охлаждается иммерсионная жидкость, - объясняет Юрий Еременко.
И Назир Наурзоков уточняет:
Требования к охлаждению ЦОД зависят от задач, выполняемых на установленных вычислительных мощностях. Но, как правило, при расчете рабочей температуры используются рекомендации ASHRAE (Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха), а эффективность оценивается по Коэффициенту эффективности использования энергии (Power usageeffectiveness, PUE)”.
Подходы к охлаждению дата-центров
Роман Некрасов рассказывает о следующих подходах, облегчающих решение проблемы охлаждения оборудования, которые применяются при создании ЦОД-ов:
“...например, строить дата-центры в регионах с природной низкой температурой окружающей среды (например, Исландия или Норильск), конструировать дата-центры в проветриваемых складах (например, за счет ветров в Исландии можно построить очень эффективную природную систему охлаждения).
Охлаждение за счет проветриваемого помещения - майнинговый центр Genesis Mining в исландском Кефлавике. Иммерсионное охлаждение используется много где, например, в майнинг-центре в Тбилиси, который ранее принадлежал Bitfury”.
