RTX 4090 yoki L40S: AI uchun qaysi GPUni ijaraga olish kerak?

RTX 4090 va L40S nimasi bilan farq qiladi

RTX 4090 — GeForce GPU, L40S esa ma’lumotlar markazlari uchun GPU. Ikkalasi ham NVIDIA Ada Lovelace arxitekturasiga asoslangan. Ijarada mahsulot sinfi nomidan ko‘ra xotira, kerakli dasturiy ta’minot qo‘llanishi va butun server konfiguratsiyasi muhimroq.

UZ Dynamics katalogida L40S bor, RTX 4090 esa yo‘q. NVIDIA RTX 4090 xususiyatlarini Founders Edition yoki etalon dizayn uchun keltiradi; boshqa ishlab chiqaruvchilar kartalarida ular farq qilishi mumkin. Server konfiguratsiyasi, kirish va qo‘llab-quvvatlash shartlarini aniq taklif bo‘yicha aniqlang.

24 yoki 48 GB: vazifa sig‘adimi

Model fayli hajmi videoxotiraning eng yuqori sarfiga teng emas. Vaznlardan tashqari ishchi ma’lumotlar va buferlar, o‘qitishda esa gradientlar va optimizator holati ham xotira talab qiladi. Nominal 24 yoki 48 GB bu hajmning hammasi kodingiz uchun bo‘sh ekanini anglatmaydi: xotiraning bir qismini muhit band qilishi yoki zaxiraga olishi mumkin.

Dastlab faqat vaznlarni hisoblash mumkin. Aynan 8 milliard parametrning har biri 2 baytda saqlansa, 16 milliard bayt chiqadi: 16 GB yoki taxminan 14,9 GiB. Misol KV kesh, aktivatsiyalar, xizmat ma’lumotlari va boshqa xarajatlarni qamramaydi, shuning uchun vazifa RTX 4090ga sig‘ishini isbotlamaydi.

Kerakli sozlamalarda xotiraning eng yuqori sarfini solishtiring. U mavjud hajmga yaqinlashsa, qisqa muvaffaqiyatli sinov yetmaydi: uzun kirishlar va kutilgan yuklamani tekshiring. Xotira yetmasa, sozlamalarni o‘zgartirish, mos kvantlash, ayrim ma’lumotlarni RAMga ko‘chirish yoki boshqa konfiguratsiyani tanlash mumkin. Har bir variantda sifat va bajarish vaqtini qayta tekshiring.

Misolda faqat vaznlar: 8 000 000 000 × 2 bayt = 16 GB ≈ 14,9 GiB

• VRAM va KV kesh haqida batafsil

LLM uchun kontekst va parallel so‘rovlarni hisobga oling

Matn yaratish uchun vaznlarni yuklashning o‘zi yetmaydi. KV kesh attention hisoblarining oraliq ma’lumotlarini saqlaydi. Uning hajmi model arxitekturasi, ketma-ketlik uzunligi, qayta ishlanayotgan so‘rovlar va dasturiy amalga oshirishga bog‘liq. Bir model qisqa suhbatda ishlashi, ammo uzunroq kontekst yoki kattaroq yuklamada xotirasi yetmasligi mumkin.

Tanlangan model, aniqlik va yuklama mavjud xotiraga sig‘sa, RTX 4090ni sinovga kiriting. Model, kontekst yoki parallel so‘rovlar uchun xotira cheklov bo‘lsa, L40Sni sinang. vLLM ishga tushganda jurnalga KV kesh hajmini tokenlarda va sozlamalardagi eng katta uzunlikdagi (max_model_len) nechta so‘rovga bir vaqtda xizmat ko‘rsatish mumkinligi bahosini yozadi. Bu qatorlarni ikkala GPUda bir xil sozlamalar bilan solishtiring.

Solishtirishda model va uning versiyasi, vaznlar formati, kirish va javob uzunligi, inferens mexanizmi va parallel so‘rovlar sonini bir xil qiling. Birinchi tokengacha vaqt, javobni davom ettirish tezligi va umumiy o‘tkazuvchanlikni o‘lchang. Shartlari ko‘rsatilmagan tokens/s ko‘rsatkichi suhbat qulayligi yoki xizmatning yuklama ostidagi holatini tushuntirmaydi.

• LLM inferensi uchun konfiguratsiya tanlash

Tasvir yaratish va qo‘shimcha o‘qitish alohida sinov talab qiladi

Stable Diffusion, FLUX va boshqa generatorlar uchun aniq model, tasvir yaratish jarayoni versiyasi, tasvir o‘lchami, bir ishga tushirishdagi tasvirlar soni, aniqlik va qo‘shimcha komponentlarni belgilang. Generatsiya qadamlari va natijaga talablar bir xil bo‘lsin. Bitta tasvir muvaffaqiyatli yaratilgani shu ssenariy kattaroq tasvir o‘lchami yoki qo‘shimcha modellar bilan ham ishlashini tasdiqlamaydi.

Masalan, FLUX.1 [schnell] — 12 milliard parametrli transformer: faqat uning BF16dagi vaznlari taxminan 24 GB, ya’ni RTX 4090 nominal xotirasining deyarli hammasini egallaydi. Matn enkoderlari va VAE yana taxminan 10 GB qo‘shadi. Shuning uchun bitta RTX 4090da bunday jarayon BF16da komponentlarni CPUga ko‘chirmasdan yoki kvantlashsiz to‘liq sig‘maydi. L40Sda taxminan 34 GB vaznlardan keyin zaxira qoladi; u kerakli tasvir o‘lchami va tasvirlar soniga yetishini faqat sinov ko‘rsatadi.

Diffusers xotira sarfini kamaytirish uchun komponentlarni CPUga ko‘chirish va tasvirni qismlarga bo‘lib qayta ishlash kabi usullarni taklif qiladi. Diffusers hujjatlariga ko‘ra, model qismlarini CPUga ko‘chirish (sequential CPU offloading) xotirani keskin tejaydi, lekin juda sekin ishlaydi va ko‘pincha amaliy emas; modellarni butunlay ko‘chirish tezroq, ammo kamroq tejaydi. Shuning uchun RTX 4090 bunday sozlamalar bilan va L40S ularsiz — ikkita alohida ishga tushirish konfiguratsiyasi: tezlikdagi farqni faqat GPUga bog‘lab bo‘lmaydi.

Qo‘shimcha o‘qitishni inferensdan alohida baholang. To‘liq qo‘shimcha o‘qitishda model vaznlari yangilanadi; LoRA qo‘shimcha adapterlarni o‘qitadi, QLoRA esa adapterlarni kvantlangan bazaviy model bilan birlashtiradi. Bu usullar xotira talabini o‘zgartiradi, lekin aktivatsiyalar va o‘qitish xarajatlarini yo‘qotmaydi. Misol uzunligi, batch size, optimizator va xotirani tejash sozlamalarini tekshiring. Model RTX 4090da javob berishi uni shu yerda kerakli parametrlar bilan qo‘shimcha o‘qitish mumkinligini anglatmaydi.

• LoRA va QLoRA talablarini ko‘rish

Nega ko‘proq xotira yuqoriroq tezlik degani emas

Bajarish vaqti faqat xotira sig‘imiga emas, hisoblash, ma’lumot almashish va dasturiy amalga oshirishga ham bog‘liq. Texnik tavsifdagi TFLOPS yoki CUDA yadrolari soni bevosita tokens/s, bir daqiqadagi tasvirlar yoki o‘qitish vaqtini bermaydi.

Ikki GPUning texnik ko‘rsatkichlari turli tomonga tortadi. RTX 4090da xotira o‘tkazuvchanligi yuqoriroq: 1 008 GB/s, L40Sda esa 864 GB/s. L40Sda tenzor yadrolarining siyrakliksiz BF16dagi eng yuqori unumdorligi yuqoriroq: 362,05 TFLOPS, RTX 4090da esa 165,2. NVIDIA kirishni qayta ishlashni (prefill) GPUni amalda to‘liq band qiladigan, yaxshi parallellashadigan amal, tokenlarni yaratishni esa xotiraga bog‘liq amal deb ta’riflaydi: uning kechikishini asosan hisoblash tezligi emas, vaznlar, KV kesh va aktivatsiyalarni xotiradan uzatish tezligi belgilaydi. Shuning uchun uzun kirishlar, katta batch va o‘qitish L40Sning hisoblash zaxirasidan, bitta so‘rovga uzun javoblar esa RTX 4090ning xotira o‘tkazuvchanligidan ko‘proq foyda ko‘rishi mumkin. Bular sinov uchun farazlar: natija model, aniqlik, inferens mexanizmi va yuklamaga bog‘liq.

Vazifa ikkala GPUga ham bemalol sig‘sa, farqni o‘lchang. NVIDIA so‘rovlarni batch’ga jamlashni GPUdan yaxshiroq foydalanish va o‘tkazuvchanlikni oshirishning eng oddiy usuli deb ataydi: so‘rovlar bitta modeldan foydalanadi, shuning uchun uning vaznlari uchun xotira xarajati ular o‘rtasida taqsimlanadi. L40Sning xotira zaxirasi kattaroq batch’ni sinash imkonini beradi; bu o‘tkazuvchanlikni ham, javob kechikishini ham o‘zgartirishi mumkin. Paketli qayta ishlash va interaktiv xizmat uchun mos sozlamalar farqlanishi mumkin.

Butun ijaraga olingan resursni tekshiring. CPU, operativ xotira, disk va tarmoq ma’lumotlarni tayyorlash va yetkazishda qatnashadi. Vaqt modelni yuklash yoki ma’lumotlar to‘plamini o‘qishga ketsa, boshqa GPU bu vaqtni qisqartirmaydi. O‘lchovlar bilan birga dastur versiyalari va sinov sozlamalarini saqlang.

Ikkita RTX 4090 bitta 48 GB GPUga aylanmaydi

Ikkita RTX 4090ning jami nominal xotirasi 48 GB, ammo har birining o‘z 24 GB xotirasi qoladi. Dastur model yoki ishni qurilmalar o‘rtasida taqsimlay olishi kerak. Modelning ikkita mustaqil nusxasi ma’lumotlarni CPUga ko‘chirmasdan, to‘liq GPUda ishlasa, har biri o‘z qurilmasi xotirasiga sig‘ishi lozim.

RTX 4090 ham, L40S ham NVLinkni qo‘llamaydi. Bu bir nechta GPU bilan ishlashga xalal bermaydi, ammo modelni bo‘lish usuli natijaga ta’sir qiladi. vLLM hujjatlari bitta serverdagi L40S kabi NVLinksiz GPUlarda yuqoriroq o‘tkazuvchanlik va kamroq ma’lumot almashish xarajati uchun tensor parallelism o‘rniga pipeline parallelismdan foydalanishni maslahat beradi. Katta modelni Accelerate’dagi device_map orqali bir nechta GPUga bo‘lib joylasangiz, har bir paytda ulardan faqat bittasi ishlaydi. Faqat xotira yig‘indisini emas, narxi va dasturingizda qo‘llanishi bilan birga aniq ko‘p GPUli konfiguratsiyani bitta L40S bilan solishtiring.

Faqat soat narxini emas, natija xarajatini solishtiring

Bir xil topshiriqni oling: masalan, belgilangan sozlamalarda bir to‘plam tasvir yaratish yoki bir xil so‘rovlar to‘plamini qayta ishlash. Sifatni tekshirgach, davomiylik va hisoblangan to‘lovlarni solishtiring. Pastroq soatlik tarif uzoqroq bajarish bilan birga kelishi mumkin; qimmatroq soat vazifa ham qimmatroq chiqishini isbotlamaydi.

Smetada butun konfiguratsiya, pulli tayyorlash va kutish, saqlash va ma’lumot uzatishni hisobga oling. Doimiy ishlaydigan model uchun kutilgan yuklama va javob vaqti talablarini qo‘shing. Joriy tariflar va GPU mavjudligini aniq taklifda tekshiring.

• O‘z tariflaringiz bo‘yicha xarajatlarni hisoblang

Tanlovni o‘z vazifangizda qanday tekshirish kerak

Kelajakdagi ishga o‘xshash kichik to‘plam tayyorlang va maqbul sifat hamda bajarish vaqtini oldindan belgilang. Sinovni takrorlash uchun yetarli ma’lumotni yozib qo‘ying.

• Model, dastur versiyalari, aniqlik, sozlamalar va server tarkibini belgilang. Model va dasturiy ta’minotdan foydalanishga tegishli shartlarni tekshiring.
• Muhitni ishga tushirish va modelni yuklashni tayyor holatdagi bajarishdan ajrating. Sinovni bir necha marta takrorlab, xotiraning eng yuqori sarfi, vaqt va xatolarni yozing.
• Kutilgan yuklamani tekshiring: uzun kirishlar, parallel so‘rovlar, kerakli tasvir o‘lchami yoki batch hajmi. Xizmat uchun shu yuklamadagi kechikishni o‘lchang.
• Natijani to‘liq xarajat bilan solishtiring. Uzoq muddatli ijaradan oldin konfiguratsiya mavjudligi, kirish, to‘lov, saqlash va qo‘llab-quvvatlash shartlarini tasdiqlang.

• Vazifangiz uchun GPU talablarini baholash