Подбор GPU под задачу

Инференс: память = параметры × байт на параметр × 1,2. Байт на параметр: BF16 2, FP8 1, INT4 0,5 (правило «2 ГБ на миллиард параметров в BF16» — Hugging Face Transformers (открывается в новой вкладке)). Запас 20 % под KV-кэш и активации — наше допущение для умеренного контекста и небольшого числа одновременных запросов; при длинном контексте и высокой нагрузке KV-кэшу нужно больше. У языковых моделей в FP8 и INT4 часть весов (эмбеддинги, выходной слой) остаётся в 16 битах; её долю берём из опубликованных чекпойнтов. Пример: для модели на 70 млрд в 4 битах (из них 2,2 млрд в 16 битах) оценка — около 46 ГБ, а реальный 4-битный чекпойнт весит около 40 ГБ (AWQ-INT4 на Hugging Face (открывается в новой вкладке)).

LoRA: параметры × 2 байта × 1,3. QLoRA: веса как при инференсе в INT4 × 1,4, поэтому модель на 65 млрд (около 47 ГБ) помещается в 48 ГБ, как в статье QLoRA (открывается в новой вкладке). Полное дообучение: 18 байт на параметр (веса, градиенты и состояние AdamW в смешанной точности, Hugging Face (открывается в новой вкладке)) × 1,2.

Обучение с нуля: память как при полном дообучении. Это минимум карт, чтобы разместить веса, градиенты и состояние оптимизатора.

Число карт: наименьшее из 1, 2, 4 и 8, при котором суммарная память не меньше нужной. Модель при этом делится между картами (тензорный или конвейерный параллелизм); без этого нужна одна карта с достаточной памятью. Дальше считаем кратно 8: обычно в сервере до 8 GPU (допущение). У L4 и L40S часть памяти по умолчанию занимает ECC (данные NVIDIA), у RTX A6000, A5000 и RTX 6000 Ada — если его включить. Всё равно считаем полную память: NVIDIA даёт её в двоичных гигабайтах, и за вычетом ECC в десятичных её не меньше.

Рендер: для полной скорости сцена должна помещаться в память одной карты (если памяти не хватает, Blender переходит на системную память, это медленнее). Обычно несколько карт память не складывают; исключение — карты NVIDIA, соединённые NVLink (Blender Manual (открывается в новой вкладке)). Оценка считает по одной карте. Подходят только карты с RT-ядрами (аппаратная трассировка лучей). Видео: кодированию нужен NVENC, аналитике нужен NVDEC (число блоков — по таблице кодеров и декодеров NVIDIA (открывается в новой вкладке)).

FP64: только карты, у которых по данным NVIDIA FP64 не меньше четверти от FP32. Для матричных расчётов (DGEMM) важнее FP64 на тензорных ядрах: у H100 SXM и H200 SXM это 67 TFLOPS, у B200 37 (данные NVIDIA: страницы H100 и H200, Blackwell Technical Brief). Поэтому строки идут по FP64 на тензорных ядрах.

GPU-часы: карты × часы в день × дни. Загрузка: часы в день × дни ÷ 730 (часов в среднем месяце), не больше 100 %. От 70 % предлагаем выделенные серверы. Это наше правило, а не расчёт по ценам: выделенная карта при этом простаивает не больше 30 % времени.

Порядок строк: меньше карт, затем меньше лишней памяти; при равенстве раньше идёт карта с более быстрой памятью. Для обучения и полного дообучения на нескольких картах строки с NVLink идут раньше. Для видео — сначала карты с меньшей памятью, при кодировании затем больше блоков NVENC. Для рендера — меньше лишней памяти, затем скорость памяти.