Аренда NVIDIA L40S: ранний доступ

Характеристики NVIDIA L40S

Архитектура

Ada Lovelace

Год анонса

2023

Память

48 ГБ

Тип памяти

GDDR6

Скорость памяти

0,86 ТБ/с

FP32

91,6 TFLOPS

FP16/BF16 без разреженности

362,05 TFLOPS

FP8 без разреженности

733 TFLOPS

FP4 без разреженности

нет

FP64

не указано в спецификации карты NVIDIA

RT-ядра

да

NVENC/NVDEC

NVENC 3, NVDEC 3

MIG

нет

Связь между картами

PCIe 4, без NVLink

Мощность (TDP/TGP)

350 Вт

Исполнение

PCIe (уточняется)

Память указана для одного GPU. У нескольких GPU память раздельная: для большой модели нужны совместимое ПО и распределение модели между картами. NVLink не превращает их в один GPU.

Исполнение L40S уточняем. Характеристики по официальным материалам NVIDIA, проверены 26 сентября 2026.

L40S по задачам

• Инференс: LLM до 32 млрд в FP8 на одной карте
• Дообучение: QLoRA до 32 млрд, LoRA до 14 млрд на одной карте
• Обучение с нуля: модель до 1 млрд на одной карте
• Рендер: сцены до 32 ГБ
• Расчёты FP64: не для этой карты

Оценка по открытым формулам, не замер и не счёт.

Сервер с NVIDIA L40S

Конфигурация сервера (процессор, память, диск, сеть) уточняется.

Допущение расчёта: до 8 GPU на сервер. Фактическую конфигурацию подтвердим в ответе.

Источники

• NVIDIA L40S (открывается в новой вкладке)
• NVIDIA Video Encode and Decode Support Matrix (открывается в новой вкладке)
• NVIDIA Multi-Instance GPU User Guide (открывается в новой вкладке)
• NVIDIA Newsroom, August 8, 2023 (открывается в новой вкладке)

Похожие GPU

• NVIDIA RTX 6000 Ada Generation

  48 ГБ GDDR6 · 0,96 ТБ/с · PCIe 4

  RTX 6000 Ada впереди по 1 из 5 параметров. У RTX 6000 Ada выше скорость памяти (0,96 против 0,86 ТБ/⁠с). Одинаково: объём памяти. Почти одинаково (разница меньше 1 %): FP32, FP16/BF16, FP8.

• NVIDIA L4

  24 ГБ GDDR6 · 0,3 ТБ/с · PCIe 4

  L40S впереди по всем 5 параметрам. У L40S выше FP8 (733 против 242 TFLOPS) и выше FP32 (91,6 против 30,3 TFLOPS).