NVIDIA A100 ijarasi: dastlabki kirish

NVIDIA A100 xususiyatlari

Arxitektura

Ampere

E’lon qilingan yil

2020

Xotira

80 GB

Xotira turi

HBM2e

Xotira o‘tkazuvchanligi

2,04 TB/s

FP32

19,5 TFLOPS

FP16/BF16 siyrakliksiz

312 TFLOPS

FP8 siyrakliksiz

yo‘q

FP4 siyrakliksiz

yo‘q

FP64

9,7 TFLOPS

Tenzor yadrolarida FP64

19,5 TFLOPS

RT yadrolari

yo‘q

NVENC/NVDEC

NVENC 0, NVDEC 5

MIG

ko‘pi bilan 7 ta MIG bo‘linmasi

Kartalar orasidagi aloqa

NVLink 600 GB/s

Quvvat (TDP/TGP)

400 Vt

Form-faktor

SXM (aniqlanmoqda)

Xotira har bir GPU uchun ko‘rsatilgan. Bir nechta GPU xotirasi alohida: katta model uchun mos dasturiy ta’minot va modelni kartalar orasida taqsimlash kerak. NVLink ularni bitta GPU qilmaydi.

Boshqa variantlar: A100 80GB PCIe (yangi varaqda ochiladi), A100 40GB SXM (yangi varaqda ochiladi)

A100 form-faktori aniqlashtirilmoqda: xotira hajmi, o‘tkazuvchanligi va boshqa xususiyatlar unga bog‘liq. Xususiyatlar NVIDIA rasmiy materiallari bo‘yicha, 26-⁠sentabr, 2026 sanasida tekshirilgan.

A100 vazifalar bo‘yicha

• Inferens: 32 mlrd parametrgacha LLM (BF16), bitta kartada
• Qo‘shimcha o‘qitish: QLoRA 70 mlrd parametrgacha, LoRA 14 mlrd parametrgacha, bitta kartada
• Noldan o‘qitish: 3 mlrd parametrgacha model, bitta kartada
• Render: RT yadrolari yo‘q
• FP64 hisob-kitoblari: 9,7 TFLOPS, tenzor yadrolarida 19,5 TFLOPS

Ochiq formulalar asosidagi taxminiy hisob: bu amaliy sinov natijasi yoki hisob-faktura emas.

NVIDIA A100 o‘rnatilgan server

Server konfiguratsiyasi (protsessor, xotira, disk, tarmoq) aniqlanmoqda.

Hisob farazi: bitta serverda 8 tagacha GPU. Haqiqiy konfiguratsiyani javobda tasdiqlaymiz.

Manbalar

• NVIDIA A100 Datasheet (yangi varaqda ochiladi)
• NVIDIA A100 (yangi varaqda ochiladi)
• NVIDIA A100 Tensor Core GPU Architecture (yangi varaqda ochiladi)
• NVIDIA Video Encode and Decode Support Matrix (yangi varaqda ochiladi)
• NVIDIA Newsroom, May 14, 2020 (yangi varaqda ochiladi)

O‘xshash GPU modellari

• NVIDIA H100

  80 GB HBM3 · 3,35 TB/s · NVLink

  H100 6 ta ko‘rsatkichdan 5 tasida oldinda. H100 modelida FP32 (67 va 19,5 TFLOPS) hamda tenzor yadrolaridagi FP64 unumdorligi (67 va 19,5 TFLOPS) yuqoriroq. Bir xil: xotira hajmi.

• NVIDIA RTX PRO 6000 Blackwell

  96 GB GDDR7 · 1,6 TB/s · PCIe 5

  RTX PRO 6000 4 ta ko‘rsatkichdan 3 tasida oldinda, A100 esa 1 tasida. RTX PRO 6000 modelida FP32 (120 va 19,5 TFLOPS) hamda FP16/BF16 (467,8 va 312 TFLOPS) yuqoriroq. Biroq A100 modelida xotira o‘tkazuvchanligi yuqoriroq (2,04 va 1,6 TB/⁠s). FP64: A100 modelida 9,7 TFLOPS, RTX PRO 6000 uchun NVIDIA karta spetsifikatsiyasida ko‘rsatilmagan (NVIDIA texnik hujjatiga ko‘ra GB202 chipida FP32 ning 1/64 qismi).

RTX PRO 6000 uchun FP16, FP8 va FP4 — hisoblangan qiymatlar. Hisob: NVIDIA texnik hujjatidagi har bir SM uchun tenzor yadrolari unumdorligi × mahsulot tavsifidagi 2 430 MHz Boost chastotasi. Server Edition uchun NVIDIA FP16/FP8/FP4 ko‘rsatkichlarini faqat yaxlitlangan 1/2/4 PFLOPS maksimal qiymatlari sifatida keltiradi. Bu siyraklikdan foydalanilgandagi qiymatlar darajasiga mos; siyrakliksiz qiymatlar e’lon qilinmagan.