Dastlabki kirish uchun arizalar
GPU ijarasi: katalog va xususiyatlar
Xususiyatlar NVIDIA rasmiy materiallaridan olingan. Har bir modelning mavjudligi va form-faktorini aniqlashtirmoqdamiz.
GPU tanlashni ochish11 modeldan 11 tasi
Xotira har bir GPU uchun ko‘rsatilgan. Bir nechta GPU xotirasi alohida: katta model uchun mos dasturiy ta’minot va modelni kartalar orasida taqsimlash kerak. NVLink ularni bitta GPU qilmaydi.
Narxlarni hozircha e’lon qilmaymiz: shartlar va mavjudlikni arizaga javobda yuboramiz.
| GPU | Har bir GPU xotirasi | Xotira o‘tkazuvchanligi | FP16/FP8, TFLOPSsiyrakliksiz | FP64, TFLOPS | Kartalar orasidagi aloqa | Mos vazifalar (kalkulyator bahosi) | Amallar |
|---|---|---|---|---|---|---|---|
| 96 GB va undan ko‘p | |||||||
| B300 Blackwell, SXM (aniqlanmoqda)270 GB HBM3e123 mlrd parametrgacha LLM (FP8), bitta kartada, bir nechta kartada o‘qitish (NVLink) | 270 GB HBM3e | 7,7 TB/s | 2 250/4 500 | 1,2 | NVLink 1,8 TB/s | 123 mlrd parametrgacha LLM (FP8), bitta kartada, bir nechta kartada o‘qitish (NVLink) | |
| B200 Blackwell, SXM (aniqlanmoqda)180 GB HBM3e123 mlrd parametrgacha LLM (FP8), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | 180 GB HBM3e | 7,7 TB/s | 2 250/4 500 | 37 | NVLink 1,8 TB/s | 123 mlrd parametrgacha LLM (FP8), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | |
| H200 Hopper, SXM (aniqlanmoqda)141 GB HBM3e70 mlrd parametrgacha LLM (FP8), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | 141 GB HBM3e | 4,8 TB/s | 989,4/1 978,9 | 34, tenzor yadrolarida 67 | NVLink 900 GB/s | 70 mlrd parametrgacha LLM (FP8), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | |
| RTX PRO 6000 Blackwell, Server Edition (aniqlanmoqda)96 GB GDDR770 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | 96 GB GDDR7 | 1,6 TB/s | 467,8/935,6 | ko‘rsatilmagan | PCIe 5, NVLink yo‘q | 70 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | |
| 80 GB | |||||||
| H100 Hopper, SXM (aniqlanmoqda)80 GB HBM332 mlrd parametrgacha LLM (BF16), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | 80 GB HBM3 | 3,35 TB/s | 989,4/1 978,9 | 34, tenzor yadrolarida 67 | NVLink 900 GB/s | 32 mlrd parametrgacha LLM (BF16), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | |
| A100 Ampere, SXM (aniqlanmoqda)80 GB HBM2e32 mlrd parametrgacha LLM (BF16), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | 80 GB HBM2e | 2,04 TB/s | 312/yo‘q | 9,7, tenzor yadrolarida 19,5 | NVLink 600 GB/s | 32 mlrd parametrgacha LLM (BF16), bitta kartada, bir nechta kartada o‘qitish (NVLink), FP64 hisob-kitoblari | |
| 48 GB | |||||||
| L40S Ada Lovelace, PCIe (aniqlanmoqda)48 GB GDDR632 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | 48 GB GDDR6 | 0,86 TB/s | 362,05/733 | ko‘rsatilmagan | PCIe 4, NVLink yo‘q | 32 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | |
| RTX 6000 Ada Ada Lovelace, Workstation (aniqlanmoqda)48 GB GDDR632 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | 48 GB GDDR6 | 0,96 TB/s | 364/728,5 | ko‘rsatilmagan | PCIe 4, NVLink yo‘q | 32 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | |
| RTX A6000 Ampere, Workstation (aniqlanmoqda)48 GB GDDR614 mlrd parametrgacha LLM (BF16), bitta kartada, 3D-render, videoni kodlash | 48 GB GDDR6 | 0,77 TB/s | 154,8/yo‘q | ko‘rsatilmagan | 2 ta karta uchun NVLink ko‘prigini qo‘llab-quvvatlaydi | 14 mlrd parametrgacha LLM (BF16), bitta kartada, 3D-render, videoni kodlash | |
| 24 GB | |||||||
| L4 Ada Lovelace, PCIe (aniqlanmoqda)24 GB GDDR614 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | 24 GB GDDR6 | 0,3 TB/s | 121/242 | ko‘rsatilmagan | PCIe 4, NVLink yo‘q | 14 mlrd parametrgacha LLM (FP8), bitta kartada, 3D-render, videoni kodlash | |
| RTX A5000 Ampere, Workstation (aniqlanmoqda)24 GB GDDR68 mlrd parametrgacha LLM (BF16), bitta kartada, 3D-render, videoni kodlash | 24 GB GDDR6 | 0,77 TB/s | 111,1/yo‘q | ko‘rsatilmagan | 2 ta karta uchun NVLink ko‘prigini qo‘llab-quvvatlaydi | 8 mlrd parametrgacha LLM (BF16), bitta kartada, 3D-render, videoni kodlash | |
† NVIDIA ma’lumotlariga ko‘ra foydalanish mumkin bo‘lgan xotira. Chip xotirasining eng katta hajmi — 288 GB.
‡ NVIDIA ma’lumotlariga ko‘ra foydalanish mumkin bo‘lgan xotira. Chip xotirasining eng katta hajmi — 192 GB.
* Siyrakliksiz FP16/BF16 va FP8 — NVIDIA texnik hujjatidagi H100 SXM5 ustunidan: H200 uchun NVIDIA faqat siyraklik bilan olingan qiymatlarni beradi, ular H100 SXM qiymatlari bilan bir xil.
** Hisob: NVIDIA texnik hujjatidagi har bir SM uchun tenzor yadrolari unumdorligi × mahsulot tavsifidagi 2 430 MHz Boost chastotasi. Server Edition uchun NVIDIA FP16/FP8/FP4 ko‘rsatkichlarini faqat yaxlitlangan 1/2/4 PFLOPS maksimal qiymatlari sifatida keltiradi. Bu siyraklikdan foydalanilgandagi qiymatlar darajasiga mos; siyrakliksiz qiymatlar e’lon qilinmagan.
*** Hisob: NVIDIA RTX A5000 uchun ko‘rsatgan siyraklik bilan FP16 qiymatining yarmi (222,2 TFLOPS); siyrakliksiz qiymatni NVIDIA keltirmaydi.
FP64 «ko‘rsatilmagan»: bu kartalarning spetsifikatsiyalarida NVIDIA qiymatni keltirmaydi; NVIDIA texnik hujjatlariga ko‘ra GA102, AD102 va GB202 chiplarida FP64 tezligi — FP32 ning 1/64 qismi.
Xususiyatlar NVIDIA rasmiy materiallari bo‘yicha, 26-sentabr, 2026 sanasida tekshirilgan.
GPU tanlash bo‘yicha qo‘llanmalar
- LLM inferensi uchun GPU qanday tanlanadi
- LLM uchun VRAM: vaznlar, KV kesh va kontekst
- LoRA va QLoRA uchun GPU konfiguratsiyasini tayyorlash
- Bulutli GPU, ajratilgan server yoki API: qaysi birini tanlash kerak?
- GPU ijarasi xarajatini hisoblash: hisoblash resurslari, saqlash va bekor turish
- RTX 4090 yoki L40S: AI uchun qaysi GPUni ijaraga olish kerak?