NVIDIA H200

Ускоритель вычислений на архитектуре NVIDIA Hopper: 141 ГБ HBM3e, пропускная способность памяти 4,8 ТБ/с, тензорные ядра четвёртого поколения с поддержкой FP8, до 7 инстансов MIG. Исполнение PCIe с двумя или четырьмя картами в связке NVLink.

NVIDIA H200 — первый ускоритель с памятью HBM3e: 141 ГБ и 4,8 ТБ/с против 80 ГБ и 3,35 ТБ/с у H100. Рост объёма и пропускной способности снимает основное ограничение при работе с большими языковыми моделями: модель целиком помещается в память одной карты, а генерация токенов упирается не в шину памяти. Тензорные ядра четвёртого поколения считают в FP8 и вдвое ускоряют обучение и инференс трансформеров по сравнению с FP16. Multi-Instance GPU делит карту на семь изолированных инстансов по 16,5 ГБ — один ускоритель обслуживает несколько независимых задач с гарантированными ресурсами. В исполнении NVL две или четыре карты соединяются мостом NVLink с пропускной способностью 900 ГБ/с на GPU.

Технические характеристики

Архитектура	NVIDIA Hopper
Объём памяти	141 ГБ HBM3e
Пропускная способность памяти	4,8 ТБ/с
FP64	30 TFLOPS
FP64 Tensor Core	60 TFLOPS
FP32	60 TFLOPS
TF32 Tensor Core	835 TFLOPS
BFLOAT16 Tensor Core	1671 TFLOPS
FP16 Tensor Core	1671 TFLOPS
FP8 Tensor Core	3341 TFLOPS
INT8 Tensor Core	3341 TOPS
Декодеры	7 NVDEC, 7 JPEG
Multi-Instance GPU	До 7 инстансов по 16,5 ГБ
Потребление энергии	До 600 Вт, настраиваемое
Форм-фактор	PCIe, 2 слота, пассивное охлаждение
Интерфейс подключения	NVLink 900 ГБ/с на GPU (2 или 4 карты), PCIe Gen5 128 ГБ/с