Аренда NVIDIA L4: ранний доступ

Характеристики NVIDIA L4

Архитектура

Ada Lovelace

Год анонса

2023

Память

24 ГБ

Тип памяти

GDDR6

Скорость памяти

0,3 ТБ/с

FP32

30,3 TFLOPS

FP16/BF16 без разреженности

121 TFLOPS

FP8 без разреженности

242 TFLOPS

FP4 без разреженности

нет

FP64

не указано в спецификации карты NVIDIA

RT-ядра

да

NVENC/NVDEC

NVENC 2, NVDEC 4

MIG

нет

Связь между картами

PCIe 4, без NVLink

Мощность (TDP/TGP)

72 Вт

Исполнение

PCIe (уточняется)

Память указана для одного GPU. У нескольких GPU память раздельная: для большой модели нужны совместимое ПО и распределение модели между картами. NVLink не превращает их в один GPU.

Исполнение L4 уточняем. Характеристики по официальным материалам NVIDIA, проверены 26 сентября 2026.

L4 по задачам

• Инференс: LLM до 14 млрд в FP8 на одной карте
• Дообучение: QLoRA до 14 млрд, LoRA до 8 млрд на одной карте
• Обучение с нуля: модель до 1 млрд на одной карте
• Рендер: сцены до 16 ГБ
• Расчёты FP64: не для этой карты

Оценка по открытым формулам, не замер и не счёт.

Сервер с NVIDIA L4

Конфигурация сервера (процессор, память, диск, сеть) уточняется.

Допущение расчёта: до 8 GPU на сервер. Фактическую конфигурацию подтвердим в ответе.

Источники

• NVIDIA L4 (открывается в новой вкладке)
• NVIDIA L4 GPU Accelerator Product Brief (открывается в новой вкладке)
• NVIDIA Ada GPU Architecture (v2.02) (открывается в новой вкладке)
• NVIDIA Video Encode and Decode Support Matrix (открывается в новой вкладке)
• NVIDIA Multi-Instance GPU User Guide (открывается в новой вкладке)
• NVIDIA Newsroom, March 21, 2023 (открывается в новой вкладке)

Похожие GPU

• NVIDIA RTX A5000

  24 ГБ GDDR6 · 0,77 ТБ/с · NVLink-мост

  L4 впереди по 2 из 4 параметров, RTX A5000 — по 1. У L4 выше FP32 (30,3 против 27,8 TFLOPS) и выше FP16/BF16 (121 против 111,1 TFLOPS). Но у RTX A5000 выше скорость памяти (0,77 против 0,3 ТБ/⁠с). Одинаково: объём памяти.

• NVIDIA L40S

  48 ГБ GDDR6 · 0,86 ТБ/с · PCIe 4

  L40S впереди по всем 5 параметрам. У L40S выше FP8 (733 против 242 TFLOPS) и выше FP32 (91,6 против 30,3 TFLOPS).

Расчёт: половина значения FP16 с разреженностью, которое NVIDIA указывает для RTX A5000 (222,2 TFLOPS); значения без разреженности NVIDIA не приводит.