NVIDIA H200 NVL: обзор PCIe-ускорителя на 141 ГБ для LLM

NVIDIA H200 NVL это ускоритель на архитектуре Hopper в формате PCIe-карты: 141 ГБ памяти HBM3e со скоростью 4,8 ТБ/с, потребление до 600 Вт и NVLink-мост на две или четыре карты. Это самый ёмкий ускоритель NVIDIA в формате PCIe, и ставится он в обычные серверы, без платы HGX. Одной карты хватает, чтобы запустить Llama 3.3 70B в FP8 с большим запасом под контекст или обслуживать gpt-oss-120b для многих пользователей.

Характеристики NVIDIA H200 NVL

Цифры из карточки H200 NVL в нашем каталоге:

• архитектура: Hopper;
• память: 141 ГБ HBM3e, 4,8 ТБ/с;
• производительность: 3 341 TFLOPS в FP8, 1 671 TFLOPS в FP16 и BF16;
• разделение GPU (MIG): до 7 экземпляров;
• интерфейс: PCIe 5.0 x16;
• энергопотребление: до 600 Вт;
• NVLink-мост: 900 ГБ/с, на 2 или 4 карты.

Память у NVL та же, что у H200 в формате SXM: 141 ГБ HBM3e и 4,8 ТБ/с. Генерация текста упирается именно в скорость памяти, и здесь PCIe-версия не уступает серверной. По сравнению с H100 NVL (94 ГБ HBM3, 3,9 ТБ/с) памяти в полтора раза больше, а работает она примерно на 23% быстрее. О разнице поколений подробно рассказано в статье «H100 и H200: в чём разница».

Вычисления немного скромнее. В DGX H200 восемь GPU дают 32 ПФЛОПС в FP8, то есть около 4 000 TFLOPS на GPU. У H200 NVL 3 341 TFLOPS, на 15–20% меньше: это плата за более низкое потребление. FP8 поддерживается аппаратно, FP4 нет: его аппаратно поддерживают только GPU на Blackwell.

Через MIG одну карту можно разделить на семь изолированных экземпляров, у каждого своя часть памяти и вычислений. Это удобно, когда на одной карте нужно держать несколько небольших моделей или разделить её между командами.

NVL или SXM: чем отличается PCIe-версия

Параметр	H200 NVL	H200 SXM
Форм-фактор	PCIe-карта	модуль на плате HGX
Где работает	стандартные серверы со слотами PCIe 5.0 x16	DGX H200 и серверы на HGX H200
Память	141 ГБ HBM3e, 4,8 ТБ/с	141 ГБ HBM3e, 4,8 ТБ/с
Потребление	до 600 Вт	до 700 Вт
FP8 на GPU	3 341 TFLOPS	около 4 000 TFLOPS
Связь между GPU	NVLink-мост 900 ГБ/с, группы по 2 или 4 карты	NVLink 900 ГБ/с на GPU, все 8 GPU связаны
С чего начать	с одной карты	с готового сервера на 8 GPU

Главное практическое отличие в связи между картами. Мост NVLink объединяет две или четыре H200 NVL на скорости 900 ГБ/с. За пределами такой группы карты общаются через PCIe 5.0 x16, а это около 64 ГБ/с в каждую сторону, в разы медленнее. Модель, которую нужно разрезать на восемь GPU, лучше запускать на SXM-системе, где все восемь связаны NVLink. Моделям, которым хватает двух или четырёх карт, это ограничение не мешает.

Второе отличие в установке. Карта пассивная, без собственных вентиляторов: её охлаждает поток воздуха от вентиляторов сервера. Поэтому H200 NVL ставят в серверные платформы, рассчитанные на такие ускорители, а не в корпус обычного ПК. На четыре карты закладывайте до 2,4 кВт только на GPU, плюс процессоры, память и диски. Совместимость платформы по слотам, питанию и обдуву мы проверяем при подборе конфигурации.

H200 NVL для LLM: что помещается в 141 ГБ

Считаем по простой формуле: миллиарды параметров × байт на параметр, плюс 10–20% служебного и место под KV-кеш. Подробно она разобрана в статье о том, сколько видеопамяти нужно для LLM.

Модель и формат	Веса	Сколько H200 NVL нужно
Qwen3 32B, BF16	64 ГБ	1 карта, большой запас под кеш
Llama 3.3 70B, FP8	70 ГБ	1 карта, около 60 ГБ под кеш
Llama 3.3 70B, BF16	140 ГБ	2 карты с мостом
gpt-oss-120b, MXFP4	~61 ГБ	1 карта, запас на много пользователей
Qwen3 235B-A22B, 4 бита	~125 ГБ	2 карты
Qwen3 235B-A22B, FP8	235 ГБ	4 карты
DeepSeek V3 / R1, 4 бита	~380 ГБ	4 карты
DeepSeek V3 / R1, FP8	~700 ГБ	не помещается, нужен сервер на 8 × H200

Самый ходовой сценарий: Llama 3.3 70B в FP8 на одной карте. После весов и служебных данных под KV-кеш остаётся около 60 ГБ. При 0,31 МБ на токен это примерно шесть диалогов по 32 тысячи токенов одновременно, а коротких запросов в разы больше. Теоретический потолок скорости для одного диалога: 4,8 ТБ/с ÷ 70 ГБ ≈ 69 токенов в секунду. Реальная скорость ниже, но порядок понятен.

С полной точностью осторожнее. Веса Llama 3.3 70B в BF16 занимают около 140 ГБ, и на одной карте модель помещается только впритык, без места под кеш. Для BF16 берите пару карт с мостом, а на одной карте запускайте FP8: он почти не теряет качества.

Для MoE-моделей вроде Qwen3 235B-A22B память нужна под все веса, но на каждый токен читаются только 22B активных параметров. Поэтому на двух-четырёх H200 NVL такая модель отвечает быстро.

H200 NVL или RTX PRO 6000

Обе карты PCIe, обе потребляют до 600 Вт, но устроены по-разному.

Параметр	H200 NVL	RTX PRO 6000 Blackwell
Архитектура	Hopper	Blackwell
Память	141 ГБ HBM3e	96 ГБ GDDR7 с ECC
Скорость памяти	4,8 ТБ/с	1,79 ТБ/с
FP8 аппаратно	да, 3 341 TFLOPS	да
FP4 аппаратно	нет	да, 4 000 TOPS
MIG	до 7 экземпляров	до 4 экземпляров
Связь карт	NVLink-мост на 2 или 4 карты	только PCIe
Потребление	до 600 Вт	600 Вт, Max-Q 300 Вт
Теоретический потолок, Llama 3.3 70B в FP8, один диалог	~69 токенов/с	~26 токенов/с

H200 NVL выигрывает там, где важны скорость ответа и много одновременных пользователей. Память у неё в полтора раза больше и в 2,7 раза быстрее, а мост NVLink собирает 282 или 564 ГБ в одну быструю связку.

RTX PRO 6000 Blackwell сильнее в другом. Она поддерживает FP4, выпускается в версиях Workstation, Max-Q и Server Edition, а гигабайт памяти в ней обходится заметно дешевле. Восемь таких карт в сервере Gigabyte XL44-SX2 дают 768 ГБ: для многих задач это самый доступный путь к большой памяти. Сама H200 NVL заметно дороже.

Простое правило. Если модель с кешем помещается в 96 ГБ и важен бюджет, берите RTX PRO 6000. Если нужна максимальная скорость генерации, длинный контекст на много пользователей или модель крупнее 96 ГБ на одной карте, берите H200 NVL. Общий порядок выбора разобран в статье «Как выбрать видеокарту для нейросетей».

Кому подойдёт H200 NVL

• Компаниям со своими стойками и стандартными серверами, которым нужен быстрый инференс без перехода на платформу HGX.
• Корпоративным ассистентам и RAG-сервисам на моделях класса 70B. Длинный контекст из найденных документов занимает KV-кеш, и 141 ГБ дают под него запас.
• Тем, кто запускает крупные MoE-модели на двух-четырёх картах: Qwen3 235B-A22B, DeepSeek V3 и R1 в 4 битах.
• Для дообучения. QLoRA для модели 70B укладывается примерно в 48 ГБ, то есть в одну карту. LoRA с базой в BF16 потребует двух карт.

А вот для полного обучения PCIe-карт мало. Даже модель 8B требует 16–18 байт на параметр, то есть 128–144 ГБ без учёта активаций. Для такой работы и для моделей, которые нужно делить на восемь GPU, подходит сервер на SXM: например, Supermicro SYS-821GE-TNHR на HGX H200 с восемью GPU по 141 ГБ, NVLink 900 ГБ/с на GPU и до 8 ТБ оперативной памяти DDR5.

Коротко

• NVIDIA H200 NVL: Hopper, 141 ГБ HBM3e, 4,8 ТБ/с, до 600 Вт, PCIe 5.0 x16, NVLink-мост на 2 или 4 карты.
• Память как у SXM-версии, вычисления на 15–20% ниже, зато карта ставится в стандартные серверы.
• Одна карта: Llama 3.3 70B в FP8 с запасом под кеш, gpt-oss-120b для многих пользователей. Для 70B в BF16 нужны две.
• Против RTX PRO 6000: в полтора раза больше памяти и в 2,7 раза быстрее, но без FP4 и дороже.

Если планируете сервер на H200 NVL, оставьте заявку: напишите, какие модели и для скольких пользователей хотите запускать. Подберём число карт и платформу, а цену и срок пришлём в течение рабочего дня.