LLM inferensi uchun GPU qanday tanlanadi

Avval javobga qo‘yiladigan talablarni belgilang

Modelning aniq checkpointi va reviziyasini, inferens dasturi (engine) va kutubxonalar versiyalarini, vaznlar formatini hamda kirish matni va javobning maksimal uzunligini yozib oling. Kontekst ikkalasini ham o‘z ichiga oladi: 7 000 tokenli kirish va 1 000 tokengacha javob uchun 7 000 emas, 8 000 token hisobga olinadi.

Bir vaqtda to‘rtta javob yaratilishi bilan to‘rtta ro‘yxatdan o‘tgan foydalanuvchi bir xil yuklama emas. Chatda birinchi tokenni kutish vaqti va tokenlar orasidagi kechikish muhim. So‘rovlarni guruhlab qayta ishlashda esa belgilangan muddatda qancha ish tugashini o‘lchang.

• Qisqa chat: odatiy va eng yuqori parallel yuklamada javob kechikishini tekshiring.
• Uzun hujjatlar bilan RAG: uzun kirish matnlari va KV keshdan foydalanishni alohida tekshiring.
• So‘rovlarni guruhlab qayta ishlash: bajarish muddati va so‘rovlar navbatda kutishi mumkinligini ko‘rsating.

Vaznlardan tashqari xotira uchun ham joy ajrating

Hisoblash misoli: aynan 8 milliard parametr BF16 formatida faqat vaznlar uchun 16 milliard bayt, ya’ni taxminan 14,9 GiB egallaydi. Bunga KV kesh, vaqtinchalik tenzorlar va inferens dasturining buferlari qo‘shiladi. Bu hisob 8B deb belgilangan har qanday checkpoint muayyan GPUda ishlashini anglatmaydi.

Har bir parametrni aniq 4 bitda saqlash vaznlar uchun 4 milliard bayt talab qilgan bo‘lardi. Biroq amaldagi formatlarda kvantlash koeffitsiyentlari ham saqlanadi, ayrim qatlamlar esa yuqoriroq aniqlikda qolishi mumkin. Tanlangan formatni inferens dasturi va GPU qo‘llashini, o‘z misollaringizdagi sifatni hamda model yuklangandan keyingi haqiqiy xotira sarfini tekshiring.

Vaznlar (bayt) ≈ parametrlar soni × har bir parametr uchun bitlar / 8

Konfiguratsiyalarni bir xil yuklamada taqqoslang

Bir xil checkpoint, kirish matnlari, javob uzunliklari, dastur versiyalari va sozlamalardan foydalaning. Dastur va modelni yangidan ishga tushirishni, oldindan tayyorlangan tizimdagi ishlashni va keshdagi umumiy prefiksdan qayta foydalanadigan sinovni alohida o‘lchang. GPU soni bir xil bo‘lsa ham, tezlik teng bo‘lishi shart emas: xotira, GPUlar orasidagi ulanishlar va qo‘llab-quvvatlanadigan hisoblash amallari farqlanadi.

vLLM birinchi tokengacha bo‘lgan vaqt, tokenlar orasidagi kechikish, navbatda kutish vaqti va tokenlar soni bo‘yicha metrikalarni taqdim etadi. Konfiguratsiya tanlash uchun bitta so‘rovning o‘rtacha tezligi yetarli emas: natijalar taqsimoti, masalan, p50 va p95 ham kerak.

• Eng yuqori VRAM sarfini, xotira yetishmasligi xatolarini (OOM) va muvaffaqiyatli bajarilgan so‘rovlar ulushini qayd eting.
• Birinchi tokengacha bo‘lgan vaqtni (TTFT) va tokenlar orasidagi kechikishni bir vaqtda 1 ta, 4 ta hamda rejalashtirilgan eng ko‘p so‘rov bajarilganda o‘lchang.
• Odatiy va uzun kirish matnlari bilan sinovni takrorlang, ishga tushirish parametrlarini saqlang.
• To‘lov shartlari ma’lum bo‘lgach, bekor turish, saqlash va ma’lumot uzatishni ham qo‘shib, butun vazifa xarajatini taqqoslang.

Konfiguratsiya tanlash uchun qanday ma’lumot kerak

Sayt kalkulyatori ochiq formulalar asosida dastlabki hisobni beradi. Yakuniy konfiguratsiyani tanlash uchun model nomi, vaznlar formati, kirish va javob uzunligi, parallel so‘rovlar soni, maqsadli kechikish, ishlash muddati va ma’lumotlarga oid cheklovlarni ko‘rsating. Buning uchun maxfiy kalitlar yoki foydalanuvchi ma’lumotlari kerak emas.

Ushbu qo‘llanmada bu ssenariylar bo‘yicha UZ Dynamics o‘lchovlari keltirilmagan. Soniyasiga tokenlar soni, foydalanuvchilar soni yoki har bir so‘rov narxini va’da qilishdan oldin natijalarni kelishilgan konfiguratsiyadagi sinov bilan tasdiqlash kerak.