Питание и охлаждение GPU-сервера: что подготовить до поставки

Сервер на восьми GPU класса H200 или B200 потребляет 10–14 кВт: по каталогу DGX H200 до 10,2 кВт, DGX B200 до 14,3 кВт. Почти вся эта энергия уходит в тепло, поэтому охлаждение GPU-сервера рассчитывают на те же 10–14 кВт с одной машины. Обычные серверные под такую нагрузку готовы редко, так что линии питания, кондиционеры и место в стойке лучше подготовить до поставки, а не после.

Энергопотребление GPU-сервера: цифры из каталога

Система	GPU	Высота	Потребление по каталогу	Тепло, BTU/ч
DGX H200	8 × H200 SXM	8U	до 10,2 кВт	≈ 34 800
DGX B200	8 × B200	10U	до 14,3 кВт	≈ 48 800
DGX B300	8 × B300	10U	около 14 кВт	≈ 47 800
Atlas 800T A2	8 × Ascend 910B	4U	до 5,8 кВт	≈ 19 800
DGX Station GB300	1 × GB300	настольная	1 600 Вт	≈ 5 500

Для серверов Supermicro и Gigabyte в каталоге указано не потребление, а блоки питания. У Supermicro SYS-821GE-TNHR на HGX H200 это 6 × 3 000 Вт, у Gigabyte XL44-SX2 на восьми RTX PRO 6000 это 4 × 3 200 Вт, в обоих случаях с резервированием. Сумма мощностей блоков больше реального потребления, потому что часть из них стоит в резерве. Не путайте эти цифры при расчёте.

Ориентиры такие. Supermicro несёт те же восемь H200 SXM, что и DGX H200, поэтому его потребление того же порядка. Для RTX PRO 6000 в каталоге указано 600 Вт на карту, то есть до 4,8 кВт только на GPU в сервере Gigabyte, плюс процессоры, память, диски и сеть. Точную цифру для вашей конфигурации берите из спецификации производителя: от неё считается всё остальное.

Ещё одно отличие от обычных серверов: GPU-сервер работает близко к максимуму часами и сутками. Обучение или инференс с очередью запросов держат GPU загруженными, поэтому считать нужно по пиковому потреблению, а не по среднему.

Тепловыделение: каждый киловатт нужно отвести

Сервер почти не совершает механической работы, и вся потреблённая энергия выделяется теплом. Поэтому тепловыделение в кВт принимают равным потреблению, а для подбора кондиционеров пересчитывают в BTU/ч: 1 кВт ≈ 3 412 BTU/ч. Один DGX B200 выделяет около 48 800 BTU/ч.

Холодопроизводительность кондиционеров должна покрывать это тепло с запасом. Сами кондиционеры резервируют по схеме N+1: если один выйдет из строя, остальные удержат температуру. Без резерва отказ единственного кондиционера быстро ведёт к перегреву: GPU снижают частоты, а затем сервер аварийно выключается.

Учтите и остальное оборудование в той же комнате. Коммутаторы, системы хранения и сами ИБП тоже выделяют тепло, и его нужно сложить с теплом серверов.

Серверная для ИИ: почему обычной не хватает

Типичная серверная в офисе и многие стойки в коммерческих ЦОД проектировались под обычные серверы, каждый из которых потребляет в разы меньше. Одна система на восемь GPU может занять всю мощность, выделенную на стойку, а то и превысить её.

Посчитаем стандартную стойку 42U. Физически в неё войдут четыре системы по 10U, но это до 57 кВт питания и тепла: на такую плотность рассчитаны только специально подготовленные залы. На практике в стойку ставят одну-две такие системы. Серверную для ИИ проектируют от киловатт, а не от числа юнитов.

Учтите и механику. Вес и глубину конкретной модели смотрите в спецификации: серверы на 8 GPU тяжёлые и глубокие. Нужна стойка достаточной глубины с запасом по допустимой нагрузке, а иногда и проверка перекрытий. Для монтажа обычно требуется подъёмник или несколько человек. Заранее пройдите путь от разгрузки до стойки: двери, лифт, пороги, место для распаковки крупной упаковки.

Питание: отдельные линии, резервирование и ИБП

• Резервированные блоки питания. У серверов такого класса их несколько. При схеме N+1 один блок запасной, при схеме N+N половина блоков способна взять на себя всю нагрузку. Чтобы резервирование работало, блоки подключают к двум независимым линиям (вводы A и B) через разные распределители питания, в идеале от разных ИБП.
• Отдельные линии. Под каждую систему прокладывают свои линии с автоматами, рассчитанными на нагрузку. Тип разъёмов и число кабелей указаны в спецификации сервера, под них подбирают распределители питания (PDU). С инженером здания заранее проверьте, что выделенной мощности на вводе хватит с запасом.
• ИБП. Мощность берут по полной нагрузке сервера с запасом, а время автономии по задаче: успеть корректно завершить работу или дождаться запуска генератора. Нагрузка GPU-сервера меняется резко, поэтому подходят ИБП с двойным преобразованием, рассчитанные на такие скачки.
• Охлаждение на резервном питании. Если при отключении электричества серверы работают от ИБП, а кондиционеры нет, комната перегреется очень быстро.

Электрическую часть стоит согласовать с инженером до заказа оборудования: перекладка линий и замена ИБП часто занимают больше времени, чем сама поставка.

Охлаждение GPU-сервера: воздух или жидкость

Воздушное охлаждение

Сервер забирает холодный воздух спереди и выбрасывает горячий назад. Задача серверной в том, чтобы эти потоки не смешивались.

• Холодные и горячие коридоры: стойки ставят лицевыми сторонами друг к другу, горячий воздух не должен возвращаться на вход серверов.
• Заглушки в пустых юнитах и аккуратная прокладка кабелей, чтобы воздух шёл через серверы, а не в обход.
• Прецизионные кондиционеры, рассчитанные на круглосуточную работу. Бытовые сплит-системы для этого не предназначены.
• Датчики температуры на входе серверов. Держите её в пределах, указанных производителем, и ориентируйтесь на показания датчиков, а не на ощущения в комнате.

Жидкостное охлаждение

Жидкостное охлаждение снимает тепло прямо с чипов через холодные пластины, а теплоноситель уносит его к внешним теплообменникам. Так в стойку можно поставить больше мощности, но нужна отдельная инфраструктура: распределительные блоки, трубопроводы, внешние охладители. Такие системы обычно строят в ЦОД, а не в офисной серверной. Промежуточный вариант: теплообменники на задней двери стойки, которые охлаждают горячий воздух прямо на выходе из серверов.

Для одного-двух серверов обычно хватает хорошо организованного воздушного охлаждения. Жидкость нужна, когда систем много и их хочется поставить плотно.

Размещение GPU-сервера: шум, офис и колокейшн

Сервер на восемь GPU не для офиса. Под нагрузкой его вентиляторы работают на высоких оборотах, шум слышен даже через стену. Рядом с рабочими местами такую машину не ставят: нужна отдельная комната или ЦОД.

Если отдельного помещения нет, есть два пути. Первый: настольные системы. DGX Station GB300 потребляет 1 600 Вт и даёт 748 ГБ общей памяти, DGX Spark и вовсе 240 Вт. Второй: колокейшн. Сервер остаётся вашим, а питание, охлаждение, резервные вводы и физическую охрану обеспечивает ЦОД.

При выборе площадки спрашивайте конкретно: сколько киловатт дадут на стойку, есть ли резервирование питания и охлаждения, можно ли заказать удалённые руки для простых работ, какой канал связи до офиса. Сравнить такой вариант с арендой GPU в облаке поможет статья «Свой сервер или аренда GPU».

Если серверов будет несколько, сразу заложите место и питание под сеть. В DGX H200 по каталогу восемь портов ConnectX-7 по 400 Гбит/с, и в кластере каждому нужен порт коммутатора. Как выбрать сеть, читайте в материале InfiniBand или Ethernet.

Чек-лист перед поставкой

1. Получите спецификацию выбранной системы: потребление, тип и число кабелей питания, вес, глубину, высоту в юнитах.
2. Подтвердите с инженером здания или ЦОД выделенную мощность на стойку с запасом.
3. Проложите две независимые линии питания, подберите PDU под разъёмы сервера.
4. Рассчитайте ИБП на полную нагрузку и нужное время автономии, подключите кондиционеры к резервному питанию.
5. Проверьте холодопроизводительность: тепло в кВт или BTU/ч плюс запас, резерв по схеме N+1.
6. Организуйте холодный и горячий коридоры, поставьте заглушки и датчики температуры.
7. Проверьте стойку: глубину, допустимую нагрузку, комплект направляющих.
8. Пройдите путь доставки: двери, лифт, перекрытия, место для распаковки.
9. Подготовьте сеть: порты для пользователей и для управления сервером, а для кластера коммутаторы и кабели.
10. Запланируйте приёмку под нагрузкой: несколько часов полной загрузки GPU покажут, справляются ли питание и охлаждение.

Коротко

• Сервер на восьми GPU класса H200 или B200 потребляет 10–14 кВт (DGX H200 до 10,2 кВт, DGX B200 до 14,3 кВт) и выделяет столько же тепла.
• 1 кВт ≈ 3 412 BTU/ч. Кондиционеры подбирают с запасом и резервом N+1.
• Нужны две независимые линии, ИБП на полную нагрузку и резервное питание для кондиционеров.
• Стойку и серверную считают от киловатт, а не от юнитов. В офис подходят только настольные системы.

Пришлём спецификацию выбранной системы с потреблением и требованиями к размещению и поможем оценить, подходит ли ваша площадка: оставьте заявку. Срок и условия поставки фиксируем в договоре.