NVIDIA H100 ijarasi: dastlabki kirish

NVIDIA H100 xususiyatlari

Arxitektura

Hopper

E’lon qilingan yil

2022

Xotira

80 GB

Xotira turi

HBM3

Xotira o‘tkazuvchanligi

3,35 TB/s

FP32

67 TFLOPS

FP16/BF16 siyrakliksiz

989,4 TFLOPS

FP8 siyrakliksiz

1 978,9 TFLOPS

FP4 siyrakliksiz

yo‘q

FP64

34 TFLOPS

Tenzor yadrolarida FP64

67 TFLOPS

RT yadrolari

yo‘q

NVENC/NVDEC

NVENC 0, NVDEC 7

MIG

ko‘pi bilan 7 ta MIG bo‘linmasi

Kartalar orasidagi aloqa

NVLink 900 GB/s

Quvvat (TDP/TGP)

700 Vt gacha

Form-faktor

SXM (aniqlanmoqda)

Xotira har bir GPU uchun ko‘rsatilgan. Bir nechta GPU xotirasi alohida: katta model uchun mos dasturiy ta’minot va modelni kartalar orasida taqsimlash kerak. NVLink ularni bitta GPU qilmaydi.

Boshqa variantlar: H100 NVL (yangi varaqda ochiladi), H100 PCIe (yangi varaqda ochiladi)

H100 form-faktori aniqlashtirilmoqda: xotira hajmi, o‘tkazuvchanligi va boshqa xususiyatlar unga bog‘liq. Xususiyatlar NVIDIA rasmiy materiallari bo‘yicha, 26-⁠sentabr, 2026 sanasida tekshirilgan.

H100 vazifalar bo‘yicha

• Inferens: 32 mlrd parametrgacha LLM (BF16), bitta kartada
• Qo‘shimcha o‘qitish: QLoRA 70 mlrd parametrgacha, LoRA 14 mlrd parametrgacha, bitta kartada
• Noldan o‘qitish: 3 mlrd parametrgacha model, bitta kartada
• Render: RT yadrolari yo‘q
• FP64 hisob-kitoblari: 34 TFLOPS, tenzor yadrolarida 67 TFLOPS

Ochiq formulalar asosidagi taxminiy hisob: bu amaliy sinov natijasi yoki hisob-faktura emas.

NVIDIA H100 o‘rnatilgan server

Server konfiguratsiyasi (protsessor, xotira, disk, tarmoq) aniqlanmoqda.

Hisob farazi: bitta serverda 8 tagacha GPU. Haqiqiy konfiguratsiyani javobda tasdiqlaymiz.

Manbalar

• NVIDIA H100 (yangi varaqda ochiladi)
• NVIDIA H100 Tensor Core GPU Architecture (whitepaper V1.04) (yangi varaqda ochiladi)
• NVIDIA Video Encode and Decode Support Matrix (yangi varaqda ochiladi)
• NVIDIA Newsroom, March 22, 2022 (yangi varaqda ochiladi)

O‘xshash GPU modellari

• NVIDIA A100

  80 GB HBM2e · 2,04 TB/s · NVLink

  H100 6 ta ko‘rsatkichdan 5 tasida oldinda. H100 modelida FP32 (67 va 19,5 TFLOPS) hamda tenzor yadrolaridagi FP64 unumdorligi (67 va 19,5 TFLOPS) yuqoriroq. Bir xil: xotira hajmi.

• NVIDIA H200

  141 GB HBM3e · 4,8 TB/s · NVLink

  H200 7 ta ko‘rsatkichdan 2 tasida oldinda. H200 modelida xotira hajmi (141 va 80 GB) hamda xotira o‘tkazuvchanligi (4,8 va 3,35 TB/⁠s) yuqoriroq. Bir xil: FP32, FP16/BF16, FP8, tenzor yadrolarida FP64, NVLink.

Siyrakliksiz FP16/BF16 va FP8 — NVIDIA texnik hujjatidagi H100 SXM5 ustunidan: H200 uchun NVIDIA faqat siyraklik bilan olingan qiymatlarni beradi, ular H100 SXM qiymatlari bilan bir xil.