--- title: "Как выбрать GPU для LLM inference | UZ Dynamics" description: "Подбор GPU под модель, контекст и параллельные запросы. Пример оценки памяти 8B, ограничения квантования и план проверки задержки." url: "https://uzdynamics.ai/ru/guides/llm-inference" lang: "ru" image: "https://uzdynamics.ai/ru/opengraph-image/card?1237d0f845bd82b9" alternates: ru: "https://uzdynamics.ai/ru/guides/llm-inference" uz: "https://uzdynamics.ai/uz/guides/llm-inference" en: "https://uzdynamics.ai/en/guides/llm-inference" --- > For an index of this site's pages, see [llms.txt](https://uzdynamics.ai/llms.txt). A markdown copy of each page is at its address with `.md` appended. # Как выбрать GPU для LLM inference Сначала опишите модель и нагрузку, затем проверьте память и измерьте задержку. Объём VRAM позволяет отсеять неподходящие варианты, но сам по себе не определяет скорость ответа. Автор: [UZ Dynamics](https://uzdynamics.ai/ru#company) Источники проверены: 9 октября 2026 Обновлено: 9 октября 2026 Опубликовано: 9 октября 2026 ## Начните с требований к ответу Запишите точный checkpoint и его ревизию, движок и версии библиотек, формат весов, максимальную длину входа и ответа. Контекст включает оба: вход на 7 000 токенов и ответ до 1 000 требуют бюджета на 8 000 токенов, а не на 7 000. Четыре одновременно генерируемых ответа — другая нагрузка, чем четыре зарегистрированных пользователя. Для чата важны ожидание первого токена и паузы между токенами; для пакетной обработки — сколько запросов завершается за отведённое время. - Короткий чат: измерьте задержку при обычной и пиковой параллельности. - RAG с длинными документами: отдельно проверьте длинный вход и заполнение KV cache. - Пакетная задача: укажите срок выполнения и допустимость очереди. ## От размера весов к запасу памяти Учебный пример: ровно 8 млрд параметров в BF16 занимают 16 млрд байт, или примерно 14,9 GiB, только под веса. К ним добавляются KV cache, временные тензоры и рабочие буферы движка. Этот расчёт не означает, что любой checkpoint класса 8B запустится на конкретной карте. Идеальная упаковка по 4 бита дала бы 4 млрд байт весов, но реальные форматы содержат масштабы квантования и могут оставлять часть слоёв в большей точности. Проверяйте поддержку выбранного формата движком и GPU, качество на своих примерах и фактическую память после загрузки. Веса (байт) ≈ число параметров × бит на параметр / 8 Источники к разделу: - [Hugging Face Transformers: Bitsandbytes](https://huggingface.co/docs/transformers/en/quantization/bitsandbytes) ## Сравнивайте варианты на одинаковой нагрузке Используйте один checkpoint, одинаковые входы и длины ответов, версии движка и настройки. Разделите холодный запуск, прогретый запуск и тест с повторно используемым префиксом. Одинаковое число GPU не гарантирует одинаковую скорость: отличаются память, связь между картами и поддерживаемые вычисления. vLLM публикует метрики времени до первого токена, межтокенной задержки, очереди и объёма токенов. Для выбора конфигурации нужны распределения, например p50 и p95, а не только средняя скорость одного запроса. - Зафиксируйте пиковую VRAM, ошибки OOM и долю успешных запросов. - Снимите TTFT и задержку между токенами при 1, 4 и целевой пиковой параллельности. - Повторите тест с типичными и длинными входами, сохраните параметры запуска. - Когда известны условия оплаты, сравните стоимость всей работы, включая простой, хранение и передачу данных. Источники к разделу: - [vLLM: Production Metrics](https://docs.vllm.ai/en/stable/usage/metrics/) ## Что передать для подбора Калькулятор сайта даёт первоначальную оценку по открытым формулам. Для окончательного выбора приложите название модели, формат весов, длины входа и ответа, параллельность, целевую задержку, срок работы и ограничения по данным. Секреты и пользовательские данные для этого не нужны. Собственных измерений UZ Dynamics для этих сценариев в материале нет. Результаты измерений должен подтвердить тест согласованной конфигурации; до него нельзя обещать tokens/s, число пользователей или стоимость запроса. ## GPU для сравнения Сравните характеристики L4, L40S, A100 и H100 после расчёта памяти. Карточки содержат спецификации моделей; это не подтверждение наличия или рекомендация конкретного SKU без теста. - [L4](https://uzdynamics.ai/ru/gpus/l4) - [L40S](https://uzdynamics.ai/ru/gpus/l40s) - [A100](https://uzdynamics.ai/ru/gpus/a100) - [H100](https://uzdynamics.ai/ru/gpus/h100) ## Перейти к расчёту и запросу UZ Dynamics — ранний доступ. Эти материалы помогают описать задачу; они не подтверждают наличие GPU, готовность среды или скорость выполнения. Наличие, конкретная конфигурация, цены и условия доступа уточняются при обсуждении заявки. [Открыть калькулятор GPU](https://uzdynamics.ai/ru/sizing) [Все модели GPU](https://uzdynamics.ai/ru/gpus) [Все материалы](https://uzdynamics.ai/ru/guides) [Запросить ранний доступ](https://uzdynamics.ai/ru/request?source=guide%3Allm-inference) ```json {"@context":"https://schema.org","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"UZ Dynamics","item":"https://uzdynamics.ai/ru"},{"@type":"ListItem","position":2,"name":"Практика выбора GPU","item":"https://uzdynamics.ai/ru/guides"},{"@type":"ListItem","position":3,"name":"Как выбрать GPU для LLM inference","item":"https://uzdynamics.ai/ru/guides/llm-inference"}]} {"@context":"https://schema.org","@type":"Article","@id":"https://uzdynamics.ai/ru/guides/llm-inference#article","headline":"Как выбрать GPU для LLM inference","description":"Подбор GPU под модель, контекст и параллельные запросы. Пример оценки памяти 8B, ограничения квантования и план проверки задержки.","inLanguage":"ru","datePublished":"2026-10-09","dateModified":"2026-10-09","author":{"@type":"Organization","@id":"https://uzdynamics.ai/#organization","name":"UZ Dynamics","url":"https://uzdynamics.ai/"},"publisher":{"@type":"Organization","@id":"https://uzdynamics.ai/#organization","name":"UZ Dynamics","url":"https://uzdynamics.ai/"},"mainEntityOfPage":{"@type":"WebPage","@id":"https://uzdynamics.ai/ru/guides/llm-inference"},"url":"https://uzdynamics.ai/ru/guides/llm-inference"} ```