Dastlabki kirish uchun arizalar
Vazifa uchun GPU tanlash
Ochiq formulalar va NVIDIA rasmiy xususiyatlari asosidagi taxminiy hisob. Yakuniy konfiguratsiyani arizaga javobda muhokama qilamiz.
Narxlarni hozircha e’lon qilmaymiz; vazifangizga mos ijara shartlarini javobda yuboramiz. Shartnoma tuzilguncha to‘lov talab qilinmaydi.
GPU tanlash vositasi ishlashi uchun JavaScript yoqilgan bo‘lishi kerak. Quyida har bir vazifa uchun xotira talabi bo‘yicha eng kam konfiguratsiyalar keltirilgan.
Taxminan 87 GB · 1 × RTX PRO 6000
Natijani ko‘rishNatija
Misol. Vazifani va model hajmini o‘zgartiring.
Taxminan 87 GB GPU xotirasi kerak
Vazifani o‘zgartirishOchiq formulalar asosidagi taxminiy hisob: bu amaliy sinov natijasi yoki hisob-faktura emas.
| Tanlash | Konfiguratsiya | Jami VRAM | Xotira o‘tkazuvchanligi |
|---|---|---|---|
| 1 × RTX PRO 6000o‘tkazuvchanlik 1,6 TB/sTanlangan | 96 GB96 GB/GPUzaxira 9 GB | 1,6 TB/s | |
| 1 × H200o‘tkazuvchanlik 4,8 TB/s | 141 GB141 GB/GPUzaxira 54 GB | 4,8 TB/s | |
| 1 × B200o‘tkazuvchanlik 7,7 TB/s | 180 GB180 GB/GPUzaxira 93 GB | 7,7 TB/s | |
| 1 × B300o‘tkazuvchanlik 7,7 TB/s | 270 GB270 GB/GPUzaxira 183 GB | 7,7 TB/s | |
| 2 × RTX 6000 AdaPCIe 4o‘tkazuvchanlik 0,96 TB/s | 96 GB48 GB/GPUzaxira 9 GB | 0,96 TB/s |
Oyiga 720 GPU-soat
1 × 24 soat × 30 kun
Har bir karta o‘rtacha bir oydagi 730 soatning 99 % qismida band
Ajratilgan serverlar shartlarini arizaga javobda yuboramiz.
Ijara yoki xarid: narx nimalardan tashkil topadi- Mavjudligini javobda aniqlab beramiz.
- Kirish: UZ Dynamics Console, SSH
- Mos format: Ajratilgan serverlar va klasterlar
- Xotira o‘tkazuvchanligi modelning javob yaratish tezligiga ta’sir qiladi. Zaxira kontekst va bir vaqtdagi so‘rovlar uchun kerak; uzun kontekstga ko‘proq xotira kerak.
Tanlangan sozlamalar tiklanmoqda…
Parametrlarga ishonchingiz komil emasmi? Vazifani o‘z so‘zlaringiz bilan tavsiflang, shartlar bilan javob beramiz. GPU’ni oldindan tanlash shart emas.
Vazifani tavsiflashGPU serverini ijaraga olish yoki sotib olish
O‘z serverlaringiz yuklama doimiy ravishda yuqori bo‘lsa va ularga xizmat ko‘rsatuvchi jamoangiz bo‘lsa, o‘zini oqlaydi. Yuklama notekis bo‘lsa yoki vazifalar o‘zgarib tursa, ijara qulayroq.
Dastlabki mablag‘
- Xarid
- Ish boshlanishidan oldin serverlar uchun katta to‘lov (yoki lizing/kredit)
- Ijara
- Shartnoma bo‘yicha to‘lovlar, uskuna xarid qilinmaydi
Ishga tushirish muddati
- Xarid
- Serverlarni yetkazib berish, o‘rnatish va sozlash
- Ijara
- Ulanish muddatlari aniqlanmoqda
Elektr va sovutish
- Xarid
- Har oylik xarajatlaringiz
- Ijara
- Sizning xarajatingiz emas: uni GPU ijaraga beruvchi tomon qoplaydi
Texnik xizmat
- Xarid
- Drayverlarni sozlash va ta’mirlash uchun o‘z muhandislaringiz kerak
- Ijara
- Uskunaga xizmat ko‘rsatish sizning zimmangizda emas; kim va qanday xizmat ko‘rsatishini shartlarda bayon qilamiz
Yuklama
- Xarid
- Karta bo‘sh turganda ham uni xarid qilish xarajati qoladi
- Ijara
- Ko‘p yillik egalik uchun emas, ijara vaqti uchun to‘laysiz. Har bir format uchun kartalar sonini shartlar bilan yuboramiz
Yangi GPU avlodlari
- Xarid
- Serverdagi GPU avlodi xarid qilingandan keyin o‘zgarmaydi
- Ijara
- Katalogda bir nechta avlod bor: eng eskisi Ampere, eng yangisi Blackwell
Serverlar orasidagi tarmoq
- Xarid
- O‘z kommutatorlaringiz va kanallaringiz
- Ijara
- Arizaga javobda aniqlashtiramiz
| Mezon | O‘z serverlaringizni xarid qilish | Ijara |
|---|---|---|
| Dastlabki mablag‘ | Ish boshlanishidan oldin serverlar uchun katta to‘lov (yoki lizing/kredit) | Shartnoma bo‘yicha to‘lovlar, uskuna xarid qilinmaydi |
| Ishga tushirish muddati | Serverlarni yetkazib berish, o‘rnatish va sozlash | Ulanish muddatlari aniqlanmoqda |
| Elektr va sovutish | Har oylik xarajatlaringiz | Sizning xarajatingiz emas: uni GPU ijaraga beruvchi tomon qoplaydi |
| Texnik xizmat | Drayverlarni sozlash va ta’mirlash uchun o‘z muhandislaringiz kerak | Uskunaga xizmat ko‘rsatish sizning zimmangizda emas; kim va qanday xizmat ko‘rsatishini shartlarda bayon qilamiz |
| Yuklama | Karta bo‘sh turganda ham uni xarid qilish xarajati qoladi | Ko‘p yillik egalik uchun emas, ijara vaqti uchun to‘laysiz. Har bir format uchun kartalar sonini shartlar bilan yuboramiz |
| Yangi GPU avlodlari | Serverdagi GPU avlodi xarid qilingandan keyin o‘zgarmaydi | Katalogda bir nechta avlod bor: eng eskisi Ampere, eng yangisi Blackwell |
| Serverlar orasidagi tarmoq | O‘z kommutatorlaringiz va kanallaringiz | Arizaga javobda aniqlashtiramiz |
Sizning yuklamangiz
Katalogdagi yetakchi GPU modellari avlodlar bo‘yicha
- 2020: A100 (Ampere)
- 2022: H100 (Hopper)
- 2023: H200 (Hopper)
- 2024: B200 (Blackwell)
- 2025: B300 (Blackwell)
E’lon qilingan yillar NVIDIA ma’lumotlariga ko‘ra.
Hisoblash usuli
Inferens: xotira = parametrlar × parametr uchun bayt × 1,2. Parametr uchun bayt: BF16 2, FP8 1, INT4 0,5 («BF16 formatida har milliard parametrga 2 GB» qoidasi, Hugging Face Transformers (yangi varaqda ochiladi)). KV-kesh va aktivatsiyalar uchun 20 % zaxira o‘rtacha kontekst va bir vaqtdagi oz sonli so‘rovlar uchun bizning farazimiz; uzun kontekst va yuqori yuklamada KV-keshga ko‘proq joy kerak. FP8 va INT4 da til modellari vaznlarining bir qismi (embeddinglar, chiqish qatlami) 16 bitda qoladi; uning ulushini e’lon qilingan model vaznlari to‘plamlaridan (checkpoint) olamiz. Misol: 70 mlrd parametrli model uchun 4 bitda (ulardan 2,2 mlrdi 16 bitda) baho taxminan 46 GB, haqiqiy 4 bitli vaznlar to‘plami esa taxminan 40 GB (Hugging Face’dagi AWQ-INT4 (yangi varaqda ochiladi)).
LoRA: parametrlar × 2 bayt × 1,3. QLoRA: vaznlar INT4 inferensdagi kabi × 1,4, shu taxmin bo‘yicha 65 mlrd parametrli model (taxminan 47 GB) 48 GB xotiraga sig‘adi, QLoRA (yangi varaqda ochiladi) maqolasidagi misolga muvofiq. To‘liq qo‘shimcha o‘qitish: parametr uchun 18 bayt (aralash aniqlikdagi vaznlar, gradiyentlar va AdamW holati, Hugging Face (yangi varaqda ochiladi)) × 1,2.
Noldan o‘qitish: xotira to‘liq qo‘shimcha o‘qitishdagi kabi. Bu vaznlar, gradiyentlar va optimizator holatini joylashtirish uchun kerak bo‘lgan minimal kartalar soni.
Kartalar soni: 1, 2, 4 va 8 ichidan umumiy xotirasi kerakli hajmdan kam bo‘lmagan eng kichik son. Bunda model kartalar orasida bo‘linadi (tenzor yoki konveyer parallelizmi); aks holda bitta kartada yetarli xotira bo‘lishi kerak. Undan keyin 8 ga karrali hisoblaymiz: odatda serverda 8 tagacha GPU bo‘ladi (faraz). L4 va L40S da xotiraning bir qismini odatiy holatda ECC egallaydi (NVIDIA ma’lumotlari), RTX A6000, A5000 va RTX 6000 Ada da esa u yoqilganda. Baribir to‘liq xotirani hisoblaymiz: NVIDIA uni ikkilik gigabaytlarda beradi va ECC chegirilgandan keyin ham o‘nlik gigabaytlarda u kam bo‘lmaydi.
Render: to‘liq tezlik uchun sahna bitta kartaning xotirasiga sig‘ishi kerak (xotira yetmasa, Blender tizim xotirasiga o‘tadi, bu sekinroq). Odatda bir nechta karta xotirani birlashtirmaydi; istisno — NVLink orqali ulangan NVIDIA kartalari (Blender Manual (yangi varaqda ochiladi)). Baho bitta karta bo‘yicha hisoblanadi. Faqat RT yadroli kartalar mos keladi (nurlarni apparat darajasida kuzatish). Video: kodlash uchun NVENC, analitika uchun NVDEC kerak (bloklar soni — NVIDIA kodlagich va dekoderlar jadvali (yangi varaqda ochiladi) bo‘yicha).
FP64: faqat NVIDIA ma’lumotlariga ko‘ra FP64 ko‘rsatkichi FP32 ning kamida choragiga teng bo‘lgan kartalar. Matritsali hisoblashlar (DGEMM) uchun tenzor yadrolaridagi FP64 unumdorligi muhimroq: H100 SXM va H200 SXM da bu 67 TFLOPS, B200 da 37 (NVIDIA ma’lumotlari: H100 va H200 sahifalari, Blackwell Technical Brief). Shuning uchun qatorlar tenzor yadrolaridagi FP64 bo‘yicha tartiblanadi.
GPU-soatlar: kartalar × kuniga soat × kunlar. Yuklama: kuniga soat × kunlar ÷ 730 (oydagi o‘rtacha soatlar soni), ko‘pi bilan 100 %. Yuklama 70 % va undan yuqori bo‘lsa, ajratilgan serverlarni taklif qilamiz. Bu chegara narxlar hisobi emas, bizning qoidamiz: bunday yuklamada ajratilgan kartaning bo‘sh turish vaqti 30 % dan oshmaydi.
Qatorlar tartibi: kamroq karta, keyin kamroq ortiqcha xotira; teng bo‘lganda xotira o‘tkazuvchanligi yuqoriroq karta oldinroq turadi. Bir nechta kartada o‘qitish va to‘liq qo‘shimcha o‘qitishda NVLink qatorlari oldinroq turadi. Video uchun: avval xotirasi kamroq kartalar, kodlashda keyin NVENC bloklari ko‘proq kartalar. Render uchun: kamroq ortiqcha xotira, keyin xotira o‘tkazuvchanligi.
Farazlar
- Zaxira koeffitsiyenti: inferens uchun ×1,2, to‘liq qo‘shimcha o‘qitish va noldan o‘qitish uchun ×1,2, LoRA uchun ×1,3, QLoRA uchun ×1,4
- Hisob farazi: bitta serverda 8 tagacha GPU
- NVIDIA ma’lumotlariga ko‘ra kartaning foydalanish mumkin bo‘lgan xotirasini hisoblaymiz, chipning maksimal HBM hajmini emas (B300: 288 GB dan 270 GB, B200: 192 GB dan 180 GB)
- Kartalar xotirasini NVIDIA ko‘rsatgan ikkilik gigabaytlarda olamiz, ehtiyojni esa o‘nlik gigabaytlarda hisoblaymiz, shuning uchun baho taxminan 7 % zaxira bilan, xotiraning bir qismini ECC egallaydigan joyda esa 1 % dan kam
Hisob — ochiq formulalar va NVIDIA rasmiy xususiyatlari asosidagi baho: bu o‘lchov emas, mavjudlik kafolati emas va narx taklifi ham emas. Yakuniy konfiguratsiya, mavjudlik va shartlarni arizaga javobda tasdiqlaymiz.
Xotira bo‘yicha minimal konfiguratsiyalar
| Vazifa | Namuna | Xotira o‘tkazuvchanligi | Ariza |
|---|---|---|---|
| Inferens | BF16 aniqlikdagi 8 mlrd parametrli LLM | 0,77 TB/s | 1 × RTX A5000 uchun ariza (BF16 aniqlikdagi 8 mlrd parametrli LLM) |
| FP8 aniqlikdagi 70 mlrd parametrli LLM | 1,6 TB/s | 1 × RTX PRO 6000 uchun ariza (FP8 aniqlikdagi 70 mlrd parametrli LLM) | |
| Qo‘shimcha o‘qitish | 8 mlrd parametrli model uchun LoRA | 0,77 TB/s | 1 × RTX A5000 uchun ariza (8 mlrd parametrli model uchun LoRA) |
| 70 mlrd parametrli model uchun QLoRA | 3,35 TB/s | 1 × H100 uchun ariza (70 mlrd parametrli model uchun QLoRA) | |
| O‘qitish | 3 mlrd parametrli LLMni noldan o‘qitish | 3,35 TB/s | 1 × H100 uchun ariza (3 mlrd parametrli LLMni noldan o‘qitish) |
| Render va video | Xotirasi 16 GB gacha bo‘lgan 3D-sahna | 0,77 TB/s | 1 × RTX A5000 uchun ariza (Xotirasi 16 GB gacha bo‘lgan 3D-sahna) |
| Video kodlash | 0,3 TB/s | 1 × L4 uchun ariza (Video kodlash) | |
| Ilmiy hisoblashlar (FP64) | Bitta kartada hisoblashlar | 3,35 TB/s | 1 × H100 uchun ariza (Bitta kartada hisoblashlar) |