DGX или HGX: NVIDIA DGX или сервер Supermicro на тех же GPU

Выбор DGX или HGX касается не видеокарт, а всего, что вокруг них. HGX это плата NVIDIA с восемью GPU, связанными NVLink, на которой разные производители собирают свои серверы. DGX это готовая система самой NVIDIA на той же плате: фиксированная конфигурация, фирменный софт и референсные архитектуры для кластеров. По GPU и их памяти DGX B200 и сервер Supermicro на HGX B200 одинаковы, а различаются процессоры, оперативная память, сеть, гибкость и цена.

Что такое HGX

HGX это не сервер, а базовая плата: восемь GPU в формате SXM, соединённых между собой через NVLink. NVIDIA поставляет её производителям серверов, а те проектируют вокруг неё всё остальное: корпус, процессоры, память, диски, сеть, питание и охлаждение.

Две актуальные платы:

• HGX H200: восемь H200 по 141 ГБ, всего 1 128 ГБ памяти HBM3e, NVLink 900 ГБ/с на GPU.
• HGX B200: восемь B200 по 180 ГБ, всего 1 440 ГБ памяти HBM3e, NVLink 5 на 1,8 ТБ/с на GPU.

На этих платах построены, например, Supermicro SYS-821GE-TNHR (HGX H200, 8U) и Supermicro SYS-A22GA-NBRT (HGX B200, 10U). Свои серверы на HGX выпускают и другие производители.

Что такое DGX

DGX это сервер, который NVIDIA собирает сама на той же плате HGX. Конфигурация у него фиксированная: процессоры, объём памяти, сеть и накопители определены производителем и одинаковы у всех покупателей.

Например, NVIDIA DGX B200: восемь B200 с 1 440 ГБ памяти, два Xeon Platinum 8570 (112 ядер), до 4 ТБ оперативной памяти, высота 10U и потребление до 14,3 кВт. DGX H200: восемь H200 SXM, два Xeon Platinum 8480C (112 ядер), 2 ТБ оперативной памяти и восемь сетевых портов ConnectX-7 по 400 Гбит/с, по одному на каждый GPU.

Кроме железа, DGX даёт:

• Готовый софт. Система работает под DGX OS с драйверами и библиотеками NVIDIA, проверенными именно на этом железе, и рассчитана на стек NVIDIA AI Enterprise.
• Референсные архитектуры. Для кластеров у NVIDIA есть описанные схемы DGX SuperPOD: как соединить десятки систем сетью InfiniBand, подключить хранилище и управлять всем как одним ресурсом.
• Единообразие. Все DGX одной модели устроены одинаково, поэтому инструкции, образы и настройки, проверенные на одной системе, работают на всех.

Чем DGX отличается от HGX-сервера: таблица

Сравним системы одного поколения по данным каталога. Сначала Blackwell:

Параметр	NVIDIA DGX B200	Supermicro SYS-A22GA-NBRT
GPU	8 × B200	HGX B200, 8 × 180 ГБ
Память GPU	1 440 ГБ HBM3e	1 440 ГБ HBM3e
Процессоры	2 × Xeon Platinum 8570, 112 ядер	2 × Xeon 6900, до 128 ядер на процессор
Оперативная память	до 4 ТБ	до 6 ТБ, 24 слота DDR5
Накопители и расширение	фиксированный набор	10 × NVMe U.2, 10 × PCIe 5.0 x16 LP и 2 × FHHL
Высота	10U	10U
Питание	потребление до 14,3 кВт	блоки 6 × 5 250 Вт с резервированием
Софт	DGX OS и стек NVIDIA	на выбор заказчика

Теперь Hopper:

Параметр	NVIDIA DGX H200	Supermicro SYS-821GE-TNHR
GPU	8 × H200 SXM 141 ГБ	HGX H200, 8 × 141 ГБ
Память GPU	1 128 ГБ HBM3e	1 128 ГБ HBM3e
Связь GPU	NVLink, 900 ГБ/с на GPU	NVLink, 900 ГБ/с на GPU
Процессоры	2 × Xeon Platinum 8480C, 112 ядер	2 × Xeon 4-го или 5-го поколения, до 64 ядер на процессор
Оперативная память	2 ТБ	до 8 ТБ, 32 слота DDR5
Сеть	8 × 400 Гбит/с ConnectX-7	на выбор: 8 × PCIe 5.0 x16 LP и 2 × FHHL под сетевые карты
Высота	8U	8U
Питание	потребление до 10,2 кВт	блоки 6 × 3 000 Вт с резервированием

GPU, их память и связь между ними совпадают полностью. Отличается платформа вокруг: у HGX-серверов больше оперативной памяти на выбор, другие процессоры и свободные слоты под сеть и диски.

Плюсы и минусы DGX

Плюсы:

• готовая проверенная система, которую не нужно конфигурировать;
• одинаковое устройство всех систем модели, проще документация и масштабирование;
• референсные архитектуры DGX SuperPOD для кластера из многих серверов;
• сеть для кластера уже заложена: у DGX H200 это восемь портов по 400 Гбит/с, по одному на GPU.

Минусы:

• конфигурацию нельзя изменить: процессоры, объём ОЗУ и сеть заданы заранее;
• обычно дороже HGX-сервера на тех же GPU;
• часть преимуществ (референсные кластеры, единообразие узлов) раскрывается на масштабе, а для одного сервера инференса они избыточны.

HGX-сервер Supermicro: плюсы и минусы

Плюсы:

• Свобода в конфигурации. Можно выбрать процессоры (в сервере на HGX B200 это Xeon 6900 до 128 ядер каждый), оперативную память до 6–8 ТБ, число NVMe и сетевые карты под свою инфраструктуру.
• Сеть под задачу. Для обучающего кластера ставят InfiniBand с портом на каждый GPU, а одному серверу инференса хватит обычной сети. Не нужно платить за то, что не понадобится.
• Цена. Обычно HGX-сервер дешевле DGX на тех же GPU.
• Софт на ваш выбор. Любой Linux, Kubernetes, свой набор драйверов и библиотек, привычный вашей команде.

Минусы:

• конфигурацию нужно правильно подобрать: сбалансировать процессоры, память, диски и сеть под восемь GPU;
• кластер проектируется под конкретный проект, а не собирается по готовой схеме DGX SuperPOD;
• программный стек настраивает ваша команда или интегратор.

DGX или HGX: кому что подходит

DGX выбирают, когда:

• строится кластер для обучения и важно следовать проверенной схеме NVIDIA;
• команде нужен стандартный стек и одинаковые узлы без собственной интеграции;
• политика компании требует систему целиком от производителя GPU.

HGX-сервер выбирают, когда:

• нужен один или несколько серверов для инференса и дообучения;
• есть требования к процессорам, объёму ОЗУ, дискам или сети, которые не совпадают с DGX;
• сервер встраивается в существующую инфраструктуру: ваша сеть, ваше хранилище, ваша система управления;
• важно уложиться в бюджет без потери производительности GPU.

В обоих случаях одинаковы GPU, NVLink, CUDA и весь софт для моделей. Модель, отлаженная на DGX, запустится на HGX-сервере того же поколения, и наоборот. Требования к площадке тоже близки: восемь одинаковых GPU потребляют и греются примерно одинаково, так что питание и охлаждение нужно готовить в любом случае.

Отдельный вопрос, какое поколение брать, Hopper или Blackwell: его мы разобрали в статье H200 или B200. Требования к серверу для обучения, включая хранилище, описаны в статье о сервере для обучения нейросетей, а выбор сети между серверами в материале InfiniBand или Ethernet.

Коротко

• HGX это плата с восемью GPU и NVLink, DGX это готовый сервер NVIDIA на этой же плате.
• GPU, память GPU и NVLink у DGX и HGX-сервера одного поколения одинаковы.
• DGX даёт фиксированную проверенную конфигурацию, DGX OS и референсные архитектуры SuperPOD для кластеров.
• HGX-сервер Supermicro даёт свободу в процессорах, ОЗУ (до 6–8 ТБ), дисках и сети и обычно дешевле.
• Для кластера по схеме NVIDIA удобнее DGX, для одного-двух серверов под свою инфраструктуру чаще выгоднее HGX.

Если вы выбираете между DGX и HGX-сервером, оставьте заявку и коротко опишите задачу: подготовим обе конфигурации для сравнения, а цену и срок пришлём в течение рабочего дня.