NVIDIA H200 ijarasi: dastlabki kirish

NVIDIA H200 xususiyatlari

Arxitektura

Hopper

E’lon qilingan yil

2023

Xotira

141 GB

Xotira turi

HBM3e

Xotira o‘tkazuvchanligi

4,8 TB/s

FP32

67 TFLOPS

FP16/BF16 siyrakliksiz

989,4 TFLOPS

FP8 siyrakliksiz

1 978,9 TFLOPSSiyrakliksiz FP16/BF16 va FP8 — NVIDIA texnik hujjatidagi H100 SXM5 ustunidan: H200 uchun NVIDIA faqat siyraklik bilan olingan qiymatlarni beradi, ular H100 SXM qiymatlari bilan bir xil.

FP4 siyrakliksiz

yo‘q

FP64

34 TFLOPS

Tenzor yadrolarida FP64

67 TFLOPS

RT yadrolari

yo‘q

NVENC/NVDEC

NVENC 0, NVDEC 7NVENC NVIDIA kodlagich va dekoderlar jadvalidagi H100 qatoridan olingan: unda H200 qatori yo‘q, H200 sahifasida esa faqat dekoderlar ko‘rsatilgan.

MIG

ko‘pi bilan 7 ta MIG bo‘linmasi

Kartalar orasidagi aloqa

NVLink 900 GB/s

Quvvat (TDP/TGP)

700 Vt gacha

Form-faktor

SXM (aniqlanmoqda)

Xotira har bir GPU uchun ko‘rsatilgan. Bir nechta GPU xotirasi alohida: katta model uchun mos dasturiy ta’minot va modelni kartalar orasida taqsimlash kerak. NVLink ularni bitta GPU qilmaydi.

Boshqa variantlar: H200 NVL (yangi varaqda ochiladi)

H200 form-faktori aniqlashtirilmoqda. Xususiyatlar NVIDIA rasmiy materiallari bo‘yicha, 26-⁠sentabr, 2026 sanasida tekshirilgan.

H200 vazifalar bo‘yicha

• Inferens: 70 mlrd parametrgacha LLM (FP8), bitta kartada
• Qo‘shimcha o‘qitish: QLoRA 123 mlrd parametrgacha, LoRA 32 mlrd parametrgacha, bitta kartada
• Noldan o‘qitish: 3 mlrd parametrgacha model, bitta kartada
• Render: RT yadrolari yo‘q
• FP64 hisob-kitoblari: 34 TFLOPS, tenzor yadrolarida 67 TFLOPS

Ochiq formulalar asosidagi taxminiy hisob: bu amaliy sinov natijasi yoki hisob-faktura emas.

NVIDIA H200 o‘rnatilgan server

Server konfiguratsiyasi (protsessor, xotira, disk, tarmoq) aniqlanmoqda.

Hisob farazi: bitta serverda 8 tagacha GPU. Haqiqiy konfiguratsiyani javobda tasdiqlaymiz.

Manbalar

• NVIDIA H200 (yangi varaqda ochiladi)
• NVIDIA H100 Tensor Core GPU Architecture (whitepaper V1.04) (yangi varaqda ochiladi)
• NVIDIA Video Encode and Decode Support Matrix (yangi varaqda ochiladi)
• NVIDIA Omniverse Developer Guide: Technical Requirements (yangi varaqda ochiladi)
• NVIDIA Newsroom, November 13, 2023 (yangi varaqda ochiladi)

O‘xshash GPU modellari

• NVIDIA H100

  80 GB HBM3 · 3,35 TB/s · NVLink

  H200 7 ta ko‘rsatkichdan 2 tasida oldinda. H200 modelida xotira hajmi (141 va 80 GB) hamda xotira o‘tkazuvchanligi (4,8 va 3,35 TB/⁠s) yuqoriroq. Bir xil: FP32, FP16/BF16, FP8, tenzor yadrolarida FP64, NVLink.

• NVIDIA B200

  180 GB HBM3e · 7,7 TB/s · NVLink

  B200 7 ta ko‘rsatkichdan 6 tasida oldinda, H200 esa 1 tasida. B200 modelida FP16/BF16 (2 250 va 989,4 TFLOPS) hamda FP8 (4 500 va 1 978,9 TFLOPS) yuqoriroq. Biroq H200 modelida tenzor yadrolaridagi FP64 unumdorligi yuqoriroq (67 va 37 TFLOPS). Tenzor yadrolarisiz FP64 unumdorligi B200 modelida yuqoriroq: 37 va 34 TFLOPS.

• NVIDIA RTX PRO 6000 Blackwell

  96 GB GDDR7 · 1,6 TB/s · PCIe 5

  H200 5 ta ko‘rsatkichdan 4 tasida oldinda, RTX PRO 6000 esa 1 tasida. H200 modelida xotira o‘tkazuvchanligi (4,8 va 1,6 TB/⁠s) hamda FP8 (1 978,9 va 935,6 TFLOPS) yuqoriroq. Biroq RTX PRO 6000 modelida FP32 yuqoriroq (120 va 67 TFLOPS). FP64: H200 modelida 34 TFLOPS, RTX PRO 6000 uchun NVIDIA karta spetsifikatsiyasida ko‘rsatilmagan (NVIDIA texnik hujjatiga ko‘ra GB202 chipida FP32 ning 1/64 qismi).

Siyrakliksiz FP16/BF16 va FP8 — NVIDIA texnik hujjatidagi H100 SXM5 ustunidan: H200 uchun NVIDIA faqat siyraklik bilan olingan qiymatlarni beradi, ular H100 SXM qiymatlari bilan bir xil.

RTX PRO 6000 uchun FP16, FP8 va FP4 — hisoblangan qiymatlar. Hisob: NVIDIA texnik hujjatidagi har bir SM uchun tenzor yadrolari unumdorligi × mahsulot tavsifidagi 2 430 MHz Boost chastotasi. Server Edition uchun NVIDIA FP16/FP8/FP4 ko‘rsatkichlarini faqat yaxlitlangan 1/2/4 PFLOPS maksimal qiymatlari sifatida keltiradi. Bu siyraklikdan foydalanilgandagi qiymatlar darajasiga mos; siyrakliksiz qiymatlar e’lon qilinmagan.