--- title: "Vazifa uchun GPU tanlash: dastlabki kirish | UZ Dynamics" description: "Ariza orqali dastlabki kirish: ochiq formulalar bilan GPU tanlash. Xotira, konfiguratsiya va oyiga GPU-soat: inferens, qo‘shimcha o‘qitish, o‘qitish, render." url: "https://uzdynamics.ai/uz/sizing" lang: "uz" image: "https://uzdynamics.ai/uz/opengraph-image/card?1237d0f845bd82b9" alternates: ru: "https://uzdynamics.ai/ru/sizing" uz: "https://uzdynamics.ai/uz/sizing" en: "https://uzdynamics.ai/en/sizing" --- > For an index of this site's pages, see [llms.txt](https://uzdynamics.ai/llms.txt). A markdown copy of each page is at its address with `.md` appended. Dastlabki kirish uchun arizalar # Vazifa uchun GPU tanlash Ochiq formulalar va NVIDIA rasmiy xususiyatlari asosidagi taxminiy hisob. Yakuniy konfiguratsiyani arizaga javobda muhokama qilamiz. Narxlarni hozircha e’lon qilmaymiz; vazifangizga mos ijara shartlarini javobda yuboramiz. Shartnoma tuzilguncha to‘lov talab qilinmaydi. GPU tanlash vositasi ishlashi uchun JavaScript yoqilgan bo‘lishi kerak. Quyida har bir vazifa uchun xotira talabi bo‘yicha eng kam konfiguratsiyalar keltirilgan. ## Natija Misol. Taxminan 87 GB GPU xotirasi kerak Ochiq formulalar asosidagi taxminiy hisob: bu amaliy sinov natijasi yoki hisob-faktura emas. **Xotira bo‘yicha mos keladi** | Konfiguratsiya | Jami VRAM | Xotira o‘tkazuvchanligi | | --- | --- | --- | | 1 × RTX PRO 6000 o‘tkazuvchanlik 1,6 TB/s Tanlangan | 96 GB 96 GB/GPU zaxira 9 GB | 1,6 TB/s | | 1 × H200 o‘tkazuvchanlik 4,8 TB/s | 141 GB 141 GB/GPU zaxira 54 GB | 4,8 TB/s | | 1 × B200 o‘tkazuvchanlik 7,7 TB/s | 180 GB 180 GB/GPU zaxira 93 GB | 7,7 TB/s | | 1 × B300 o‘tkazuvchanlik 7,7 TB/s | 270 GB 270 GB/GPU zaxira 183 GB | 7,7 TB/s | | 2 × RTX 6000 Ada PCIe 4 o‘tkazuvchanlik 0,96 TB/s | 96 GB 48 GB/GPU zaxira 9 GB | 0,96 TB/s | Oyiga 720 GPU-soat 1 × 24 soat × 30 kun Har bir karta o‘rtacha bir oydagi 730 soatning 99 % qismida band Ajratilgan serverlar shartlarini arizaga javobda yuboramiz. [Ijara yoki xarid: narx nimalardan tashkil topadi](https://uzdynamics.ai/uz/sizing#rent-vs-buy) - Mavjudligini javobda aniqlab beramiz. - Kirish: UZ Dynamics Console, SSH - Mos format: Ajratilgan serverlar va klasterlar * Xotira o‘tkazuvchanligi modelning javob yaratish tezligiga ta’sir qiladi. Zaxira kontekst va bir vaqtdagi so‘rovlar uchun kerak; uzun kontekstga ko‘proq xotira kerak. [Shu konfiguratsiyani so‘rash](https://uzdynamics.ai/uz/request?source=sizing&task=infer&sub=llm&p=70&prec=fp8&gpu=rtx-pro-6000&n=1&mode=mo&h=24&d=30&fmt=dedicated&example=1) Parametrlarga ishonchingiz komil emasmi? Vazifani o‘z so‘zlaringiz bilan tavsiflang, shartlar bilan javob beramiz. GPU’ni oldindan tanlash shart emas. [Vazifani tavsiflash](https://uzdynamics.ai/uz/request?source=sizing-help) **GPU serverini ijaraga olish yoki sotib olish** O‘z serverlaringiz yuklama doimiy ravishda yuqori bo‘lsa va ularga xizmat ko‘rsatuvchi jamoangiz bo‘lsa, o‘zini oqlaydi. Yuklama notekis bo‘lsa yoki vazifalar o‘zgarib tursa, ijara qulayroq. - ### Dastlabki mablag‘ - **Xarid:** Ish boshlanishidan oldin serverlar uchun katta to‘lov (yoki lizing/kredit) - **Ijara:** Shartnoma bo‘yicha to‘lovlar, uskuna xarid qilinmaydi - ### Ishga tushirish muddati - **Xarid:** Serverlarni yetkazib berish, o‘rnatish va sozlash - **Ijara:** Ulanish muddatlari aniqlanmoqda - ### Elektr va sovutish - **Xarid:** Har oylik xarajatlaringiz - **Ijara:** Sizning xarajatingiz emas: uni GPU ijaraga beruvchi tomon qoplaydi - ### Texnik xizmat - **Xarid:** Drayverlarni sozlash va ta’mirlash uchun o‘z muhandislaringiz kerak - **Ijara:** Uskunaga xizmat ko‘rsatish sizning zimmangizda emas; kim va qanday xizmat ko‘rsatishini shartlarda bayon qilamiz - ### Yuklama - **Xarid:** Karta bo‘sh turganda ham uni xarid qilish xarajati qoladi - **Ijara:** Ko‘p yillik egalik uchun emas, ijara vaqti uchun to‘laysiz. Har bir format uchun kartalar sonini shartlar bilan yuboramiz - ### Yangi GPU avlodlari - **Xarid:** Serverdagi GPU avlodi xarid qilingandan keyin o‘zgarmaydi - **Ijara:** Katalogda bir nechta avlod bor: eng eskisi Ampere, eng yangisi Blackwell - ### Serverlar orasidagi tarmoq - **Xarid:** O‘z kommutatorlaringiz va kanallaringiz - **Ijara:** Arizaga javobda aniqlashtiramiz ### Sizning yuklamangiz [GPU tanlash bo‘limida yuklamani hisoblash](https://uzdynamics.ai/uz/sizing#sizing) ### Katalogdagi yetakchi GPU modellari avlodlar bo‘yicha 1. 2020: A100 (Ampere) 2. 2022: H100 (Hopper) 3. 2023: H200 (Hopper) 4. 2024: B200 (Blackwell) 5. 2025: B300 (Blackwell) E’lon qilingan yillar NVIDIA ma’lumotlariga ko‘ra. ## Hisoblash usuli Inferens: xotira = parametrlar × parametr uchun bayt × 1,2. Parametr uchun bayt: BF16 2, FP8 1, INT4 0,5 («BF16 formatida har milliard parametrga 2 GB» qoidasi, [Hugging Face Transformers](https://huggingface.co/docs/transformers/main/en/llm_tutorial_optimization)). KV-kesh va aktivatsiyalar uchun 20 % zaxira o‘rtacha kontekst va bir vaqtdagi oz sonli so‘rovlar uchun bizning farazimiz; uzun kontekst va yuqori yuklamada KV-keshga ko‘proq joy kerak. FP8 va INT4 da til modellari vaznlarining bir qismi (embeddinglar, chiqish qatlami) 16 bitda qoladi; uning ulushini e’lon qilingan model vaznlari to‘plamlaridan (checkpoint) olamiz. Misol: 70 mlrd parametrli model uchun 4 bitda (ulardan 2,2 mlrdi 16 bitda) baho taxminan 46 GB, haqiqiy 4 bitli vaznlar to‘plami esa taxminan 40 GB ([Hugging Face’dagi AWQ-INT4](https://huggingface.co/hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4)). LoRA: parametrlar × 2 bayt × 1,3. QLoRA: vaznlar INT4 inferensdagi kabi × 1,4, shu taxmin bo‘yicha 65 mlrd parametrli model (taxminan 47 GB) 48 GB xotiraga sig‘adi, [QLoRA](https://arxiv.org/abs/2305.14314) maqolasidagi misolga muvofiq. To‘liq qo‘shimcha o‘qitish: parametr uchun 18 bayt (aralash aniqlikdagi vaznlar, gradiyentlar va AdamW holati, [Hugging Face](https://huggingface.co/docs/transformers/model_memory_anatomy)) × 1,2. Noldan o‘qitish: xotira to‘liq qo‘shimcha o‘qitishdagi kabi. Bu vaznlar, gradiyentlar va optimizator holatini joylashtirish uchun kerak bo‘lgan minimal kartalar soni. Kartalar soni: 1, 2, 4 va 8 ichidan umumiy xotirasi kerakli hajmdan kam bo‘lmagan eng kichik son. Bunda model kartalar orasida bo‘linadi (tenzor yoki konveyer parallelizmi); aks holda bitta kartada yetarli xotira bo‘lishi kerak. Undan keyin 8 ga karrali hisoblaymiz: odatda serverda 8 tagacha GPU bo‘ladi (faraz). L4 va L40S da xotiraning bir qismini odatiy holatda ECC egallaydi (NVIDIA ma’lumotlari), RTX A6000, A5000 va RTX 6000 Ada da esa u yoqilganda. Baribir to‘liq xotirani hisoblaymiz: NVIDIA uni ikkilik gigabaytlarda beradi va ECC chegirilgandan keyin ham o‘nlik gigabaytlarda u kam bo‘lmaydi. Render: to‘liq tezlik uchun sahna bitta kartaning xotirasiga sig‘ishi kerak (xotira yetmasa, Blender tizim xotirasiga o‘tadi, bu sekinroq). Odatda bir nechta karta xotirani birlashtirmaydi; istisno — NVLink orqali ulangan NVIDIA kartalari ([Blender Manual](https://docs.blender.org/manual/en/latest/render/cycles/gpu_rendering.html)). Baho bitta karta bo‘yicha hisoblanadi. Faqat RT yadroli kartalar mos keladi (nurlarni apparat darajasida kuzatish). Video: kodlash uchun NVENC, analitika uchun NVDEC kerak (bloklar soni — [NVIDIA kodlagich va dekoderlar jadvali](https://developer.nvidia.com/video-encode-decode-support-matrix) bo‘yicha). FP64: faqat NVIDIA ma’lumotlariga ko‘ra FP64 ko‘rsatkichi FP32 ning kamida choragiga teng bo‘lgan kartalar. Matritsali hisoblashlar (DGEMM) uchun tenzor yadrolaridagi FP64 unumdorligi muhimroq: H100 SXM va H200 SXM da bu 67 TFLOPS, B200 da 37 (NVIDIA ma’lumotlari: H100 va H200 sahifalari, Blackwell Technical Brief). Shuning uchun qatorlar tenzor yadrolaridagi FP64 bo‘yicha tartiblanadi. GPU-soatlar: kartalar × kuniga soat × kunlar. Yuklama: kuniga soat × kunlar ÷ 730 (oydagi o‘rtacha soatlar soni), ko‘pi bilan 100 %. Yuklama 70 % va undan yuqori bo‘lsa, ajratilgan serverlarni taklif qilamiz. Bu chegara narxlar hisobi emas, bizning qoidamiz: bunday yuklamada ajratilgan kartaning bo‘sh turish vaqti 30 % dan oshmaydi. Qatorlar tartibi: kamroq karta, keyin kamroq ortiqcha xotira; teng bo‘lganda xotira o‘tkazuvchanligi yuqoriroq karta oldinroq turadi. Bir nechta kartada o‘qitish va to‘liq qo‘shimcha o‘qitishda NVLink qatorlari oldinroq turadi. Video uchun: avval xotirasi kamroq kartalar, kodlashda keyin NVENC bloklari ko‘proq kartalar. Render uchun: kamroq ortiqcha xotira, keyin xotira o‘tkazuvchanligi. ## Farazlar - Zaxira koeffitsiyenti: inferens uchun ×1,2, to‘liq qo‘shimcha o‘qitish va noldan o‘qitish uchun ×1,2, LoRA uchun ×1,3, QLoRA uchun ×1,4 - Hisob farazi: bitta serverda 8 tagacha GPU - NVIDIA ma’lumotlariga ko‘ra kartaning foydalanish mumkin bo‘lgan xotirasini hisoblaymiz, chipning maksimal HBM hajmini emas (B300: 288 GB dan 270 GB, B200: 192 GB dan 180 GB) - Kartalar xotirasini NVIDIA ko‘rsatgan ikkilik gigabaytlarda olamiz, ehtiyojni esa o‘nlik gigabaytlarda hisoblaymiz, shuning uchun baho taxminan 7 % zaxira bilan, xotiraning bir qismini ECC egallaydigan joyda esa 1 % dan kam Hisob — ochiq formulalar va NVIDIA rasmiy xususiyatlari asosidagi baho: bu o‘lchov emas, mavjudlik kafolati emas va narx taklifi ham emas. Yakuniy konfiguratsiya, mavjudlik va shartlarni arizaga javobda tasdiqlaymiz. ## Xotira bo‘yicha minimal konfiguratsiyalar | Vazifa | Namuna | Xotira o‘tkazuvchanligi | Ariza | | --- | --- | --- | --- | | Inferens | BF16 aniqlikdagi 8 mlrd parametrli LLM | 0,77 TB/s | [1 × RTX A5000 uchun ariza (BF16 aniqlikdagi 8 mlrd parametrli LLM)](https://uzdynamics.ai/uz/request?source=preset%3Ainfer&task=infer&sub=llm&p=8&prec=bf16&gpu=rtx-a5000&n=1&mode=mo&h=24&d=30&fmt=dedicated) | | Inferens | FP8 aniqlikdagi 70 mlrd parametrli LLM | 1,6 TB/s | [1 × RTX PRO 6000 uchun ariza (FP8 aniqlikdagi 70 mlrd parametrli LLM)](https://uzdynamics.ai/uz/request?source=preset%3Ainfer&task=infer&sub=llm&p=70&prec=fp8&gpu=rtx-pro-6000&n=1&mode=mo&h=24&d=30&fmt=dedicated) | | Qo‘shimcha o‘qitish | 8 mlrd parametrli model uchun LoRA | 0,77 TB/s | [1 × RTX A5000 uchun ariza (8 mlrd parametrli model uchun LoRA)](https://uzdynamics.ai/uz/request?source=preset%3Afinetune&task=finetune&sub=lora&p=8&gpu=rtx-a5000&n=1&mode=once&hours=24&fmt=cloud) | | Qo‘shimcha o‘qitish | 70 mlrd parametrli model uchun QLoRA | 3,35 TB/s | [1 × H100 uchun ariza (70 mlrd parametrli model uchun QLoRA)](https://uzdynamics.ai/uz/request?source=preset%3Afinetune&task=finetune&sub=qlora&p=70&gpu=h100&n=1&mode=once&hours=24&fmt=cloud) | | O‘qitish | 3 mlrd parametrli LLMni noldan o‘qitish | 3,35 TB/s | [1 × H100 uchun ariza (3 mlrd parametrli LLMni noldan o‘qitish)](https://uzdynamics.ai/uz/request?source=preset%3Atrain&task=train&sub=llmPretrain&p=3&gpu=h100&n=1&mode=once&hours=168&fmt=cloud) | | Render va video | Xotirasi 16 GB gacha bo‘lgan 3D-sahna | 0,77 TB/s | [1 × RTX A5000 uchun ariza (Xotirasi 16 GB gacha bo‘lgan 3D-sahna)](https://uzdynamics.ai/uz/request?source=preset%3Arender&task=render&sub=render3d&scene=16&gpu=rtx-a5000&n=1&mode=mo&h=8&d=22&fmt=cloud) | | Render va video | Video kodlash | 0,3 TB/s | [1 × L4 uchun ariza (Video kodlash)](https://uzdynamics.ai/uz/request?source=preset%3Arender&task=render&sub=encode&gpu=l4&n=1&mode=mo&h=24&d=30&fmt=dedicated) | | Ilmiy hisoblashlar (FP64) | Bitta kartada hisoblashlar | 3,35 TB/s | [1 × H100 uchun ariza (Bitta kartada hisoblashlar)](https://uzdynamics.ai/uz/request?source=preset%3Afp64&task=fp64&sub=fp64&gpu=h100&n=1&mode=once&hours=72&fmt=cloud) | [8 tadan ortiq GPU? Klasterni muhokama qilish](https://uzdynamics.ai/uz/enterprise?source=sizing-presets-cluster) [Barcha GPU xususiyatlari](https://uzdynamics.ai/uz/gpus) [GPU tanlash bo‘yicha qo‘llanmalar](https://uzdynamics.ai/uz/guides) ```json {"@context":"https://schema.org","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"UZ Dynamics","item":"https://uzdynamics.ai/uz"},{"@type":"ListItem","position":2,"name":"Vazifa uchun GPU tanlash","item":"https://uzdynamics.ai/uz/sizing"}]} ```