NVIDIA L4 ijarasi: dastlabki kirish

NVIDIA L4 xususiyatlari

Arxitektura

Ada Lovelace

E’lon qilingan yil

2023

Xotira

24 GB

Xotira turi

GDDR6

Xotira o‘tkazuvchanligi

0,3 TB/s

FP32

30,3 TFLOPS

FP16/BF16 siyrakliksiz

121 TFLOPS

FP8 siyrakliksiz

242 TFLOPS

FP4 siyrakliksiz

yo‘q

FP64

NVIDIA karta spetsifikatsiyasida ko‘rsatilmagan

RT yadrolari

ha

NVENC/NVDEC

NVENC 2, NVDEC 4

MIG

yo‘q

Kartalar orasidagi aloqa

PCIe 4, NVLink yo‘q

Quvvat (TDP/TGP)

72 Vt

Form-faktor

PCIe (aniqlanmoqda)

Xotira har bir GPU uchun ko‘rsatilgan. Bir nechta GPU xotirasi alohida: katta model uchun mos dasturiy ta’minot va modelni kartalar orasida taqsimlash kerak. NVLink ularni bitta GPU qilmaydi.

L4 form-faktori aniqlashtirilmoqda. Xususiyatlar NVIDIA rasmiy materiallari bo‘yicha, 26-⁠sentabr, 2026 sanasida tekshirilgan.

L4 vazifalar bo‘yicha

• Inferens: 14 mlrd parametrgacha LLM (FP8), bitta kartada
• Qo‘shimcha o‘qitish: QLoRA 14 mlrd parametrgacha, LoRA 8 mlrd parametrgacha, bitta kartada
• Noldan o‘qitish: 1 mlrd parametrgacha model, bitta kartada
• Render: ko‘pi bilan 16 GB hajmdagi sahnalar
• FP64 hisob-kitoblari: bu karta mos emas

Ochiq formulalar asosidagi taxminiy hisob: bu amaliy sinov natijasi yoki hisob-faktura emas.

NVIDIA L4 o‘rnatilgan server

Server konfiguratsiyasi (protsessor, xotira, disk, tarmoq) aniqlanmoqda.

Hisob farazi: bitta serverda 8 tagacha GPU. Haqiqiy konfiguratsiyani javobda tasdiqlaymiz.

Manbalar

• NVIDIA L4 (yangi varaqda ochiladi)
• NVIDIA L4 GPU Accelerator Product Brief (yangi varaqda ochiladi)
• NVIDIA Ada GPU Architecture (v2.02) (yangi varaqda ochiladi)
• NVIDIA Video Encode and Decode Support Matrix (yangi varaqda ochiladi)
• NVIDIA Multi-Instance GPU User Guide (yangi varaqda ochiladi)
• NVIDIA Newsroom, March 21, 2023 (yangi varaqda ochiladi)

O‘xshash GPU modellari

• NVIDIA RTX A5000

  24 GB GDDR6 · 0,77 TB/s · NVLink ko‘prigi

  L4 4 ta ko‘rsatkichdan 2 tasida oldinda, RTX A5000 esa 1 tasida. L4 modelida FP32 (30,3 va 27,8 TFLOPS) hamda FP16/BF16 (121 va 111,1 TFLOPS) yuqoriroq. Biroq RTX A5000 modelida xotira o‘tkazuvchanligi yuqoriroq (0,77 va 0,3 TB/⁠s). Bir xil: xotira hajmi.

• NVIDIA L40S

  48 GB GDDR6 · 0,86 TB/s · PCIe 4

  L40S barcha 5 ta ko‘rsatkichda oldinda. L40S modelida FP8 (733 va 242 TFLOPS) hamda FP32 (91,6 va 30,3 TFLOPS) yuqoriroq.

Hisob: NVIDIA RTX A5000 uchun ko‘rsatgan siyraklik bilan FP16 qiymatining yarmi (222,2 TFLOPS); siyrakliksiz qiymatni NVIDIA keltirmaydi.