Аренда NVIDIA H100: ранний доступ

Характеристики NVIDIA H100

Архитектура

Hopper

Год анонса

2022

Память

80 ГБ

Тип памяти

HBM3

Скорость памяти

3,35 ТБ/с

FP32

67 TFLOPS

FP16/BF16 без разреженности

989,4 TFLOPS

FP8 без разреженности

1 978,9 TFLOPS

FP4 без разреженности

нет

FP64

34 TFLOPS

FP64 на тензорных ядрах

67 TFLOPS

RT-ядра

нет

NVENC/NVDEC

NVENC 0, NVDEC 7

MIG

до 7 экземпляров

Связь между картами

NVLink 900 ГБ/с

Мощность (TDP/TGP)

до 700 Вт

Исполнение

SXM (уточняется)

Память указана для одного GPU. У нескольких GPU память раздельная: для большой модели нужны совместимое ПО и распределение модели между картами. NVLink не превращает их в один GPU.

Другие исполнения: H100 NVL (открывается в новой вкладке), H100 PCIe (открывается в новой вкладке)

Исполнение H100 уточняем: от него зависят память, её скорость и другие характеристики. Характеристики по официальным материалам NVIDIA, проверены 26 сентября 2026.

H100 по задачам

• Инференс: LLM до 32 млрд в BF16 на одной карте
• Дообучение: QLoRA до 70 млрд, LoRA до 14 млрд на одной карте
• Обучение с нуля: модель до 3 млрд на одной карте
• Рендер: нет RT-ядер
• Расчёты FP64: 34 TFLOPS, на тензорных ядрах 67 TFLOPS

Оценка по открытым формулам, не замер и не счёт.

Сервер с NVIDIA H100

Конфигурация сервера (процессор, память, диск, сеть) уточняется.

Допущение расчёта: до 8 GPU на сервер. Фактическую конфигурацию подтвердим в ответе.

Источники

• NVIDIA H100 (открывается в новой вкладке)
• NVIDIA H100 Tensor Core GPU Architecture (whitepaper V1.04) (открывается в новой вкладке)
• NVIDIA Video Encode and Decode Support Matrix (открывается в новой вкладке)
• NVIDIA Newsroom, March 22, 2022 (открывается в новой вкладке)

Похожие GPU

• NVIDIA A100

  80 ГБ HBM2e · 2,04 ТБ/с · NVLink

  H100 впереди по 5 из 6 параметров. У H100 выше FP32 (67 против 19,5 TFLOPS) и выше FP64 на тензорных ядрах (67 против 19,5 TFLOPS). Одинаково: объём памяти.

• NVIDIA H200

  141 ГБ HBM3e · 4,8 ТБ/с · NVLink

  H200 впереди по 2 из 7 параметров. У H200 больше памяти (141 против 80 ГБ) и выше скорость памяти (4,8 против 3,35 ТБ/⁠с). Одинаково: FP32, FP16/BF16, FP8, FP64 на тензорных ядрах, NVLink.

FP16/BF16 и FP8 без разреженности — из столбца H100 SXM5 в whitepaper NVIDIA: для H200 NVIDIA приводит только значения с разреженностью, и они те же, что у H100 SXM.