Как выбрать GPU для LLM inference

Начните с требований к ответу

Запишите точный checkpoint и его ревизию, движок и версии библиотек, формат весов, максимальную длину входа и ответа. Контекст включает оба: вход на 7 000 токенов и ответ до 1 000 требуют бюджета на 8 000 токенов, а не на 7 000.

Четыре одновременно генерируемых ответа — другая нагрузка, чем четыре зарегистрированных пользователя. Для чата важны ожидание первого токена и паузы между токенами; для пакетной обработки — сколько запросов завершается за отведённое время.

• Короткий чат: измерьте задержку при обычной и пиковой параллельности.
• RAG с длинными документами: отдельно проверьте длинный вход и заполнение KV cache.
• Пакетная задача: укажите срок выполнения и допустимость очереди.

От размера весов к запасу памяти

Учебный пример: ровно 8 млрд параметров в BF16 занимают 16 млрд байт, или примерно 14,9 GiB, только под веса. К ним добавляются KV cache, временные тензоры и рабочие буферы движка. Этот расчёт не означает, что любой checkpoint класса 8B запустится на конкретной карте.

Идеальная упаковка по 4 бита дала бы 4 млрд байт весов, но реальные форматы содержат масштабы квантования и могут оставлять часть слоёв в большей точности. Проверяйте поддержку выбранного формата движком и GPU, качество на своих примерах и фактическую память после загрузки.

Веса (байт) ≈ число параметров × бит на параметр / 8

Сравнивайте варианты на одинаковой нагрузке

Используйте один checkpoint, одинаковые входы и длины ответов, версии движка и настройки. Разделите холодный запуск, прогретый запуск и тест с повторно используемым префиксом. Одинаковое число GPU не гарантирует одинаковую скорость: отличаются память, связь между картами и поддерживаемые вычисления.

vLLM публикует метрики времени до первого токена, межтокенной задержки, очереди и объёма токенов. Для выбора конфигурации нужны распределения, например p50 и p95, а не только средняя скорость одного запроса.

• Зафиксируйте пиковую VRAM, ошибки OOM и долю успешных запросов.
• Снимите TTFT и задержку между токенами при 1, 4 и целевой пиковой параллельности.
• Повторите тест с типичными и длинными входами, сохраните параметры запуска.
• Когда известны условия оплаты, сравните стоимость всей работы, включая простой, хранение и передачу данных.

Что передать для подбора

Калькулятор сайта даёт первоначальную оценку по открытым формулам. Для окончательного выбора приложите название модели, формат весов, длины входа и ответа, параллельность, целевую задержку, срок работы и ограничения по данным. Секреты и пользовательские данные для этого не нужны.

Собственных измерений UZ Dynamics для этих сценариев в материале нет. Результаты измерений должен подтвердить тест согласованной конфигурации; до него нельзя обещать tokens/s, число пользователей или стоимость запроса.