--- title: "VRAM для LLM: веса, KV cache и контекст | UZ Dynamics" description: "Почему размер весов не равен требуемой VRAM. Учебный расчёт KV cache для 8 192 токенов и четырёх запросов с ограничениями формулы." url: "https://uzdynamics.ai/ru/guides/vram-kv-cache" lang: "ru" image: "https://uzdynamics.ai/ru/opengraph-image/card?1237d0f845bd82b9" alternates: ru: "https://uzdynamics.ai/ru/guides/vram-kv-cache" uz: "https://uzdynamics.ai/uz/guides/vram-kv-cache" en: "https://uzdynamics.ai/en/guides/vram-kv-cache" --- > For an index of this site's pages, see [llms.txt](https://uzdynamics.ai/llms.txt). A markdown copy of each page is at its address with `.md` appended. # VRAM для LLM: веса, KV cache и контекст Одна и та же модель может помещаться в память с коротким запросом и исчерпать её при длинном контексте или нескольких одновременных ответах. Причина часто в KV cache. Автор: [UZ Dynamics](https://uzdynamics.ai/ru#company) Источники проверены: 9 октября 2026 Обновлено: 9 октября 2026 Опубликовано: 9 октября 2026 ## Считайте несколько частей бюджета Веса загружаются для вычислений модели. KV cache хранит ключи и значения внимания для уже обработанных токенов. Отдельная память нужна активациям, рабочим буферам, CUDA graphs и распределённым операциям; её размер зависит от реализации. Калькулятор сайта использует коэффициент запаса для предварительного отбора. Он не моделирует архитектуру KV cache каждого checkpoint. Для длинного контекста или высокой параллельности нужен отдельный расчёт и измерение. VRAM ≈ веса + KV cache + активации и рабочие буферы Источники к разделу: - [Hugging Face Transformers: How caching works](https://huggingface.co/docs/transformers/en/cache_explanation) ## Формула для обычного KV cache Для decoder-only модели с полным вниманием и одинаковыми слоями оцените объём через число слоёв L, число KV-голов Hkv, размер головы D, байты на элемент b и сумму сохраняемых токенов T по всем активным последовательностям. Множитель 2 учитывает ключи и значения. Берите число KV-голов из конфигурации модели. При GQA/MQA оно может отличаться от числа query-голов. Формула описывает логический объём; выделение блоками, резерв движка и копии при распределении могут изменить фактическое потребление. KV (байт) ≈ 2 × L × Hkv × D × b × T Источники к разделу: - [Hugging Face Transformers: How caching works](https://huggingface.co/docs/transformers/en/cache_explanation) - [NVIDIA: Mastering LLM Techniques — Inference Optimization](https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/) ## Пример: 1 GiB превращается в 4 GiB Это учебная архитектура, а не измеренный checkpoint: 32 слоя, 8 KV-голов, размер головы 128, KV в BF16 (2 байта). Получается 131 072 байта на токен. При 8 192 сохраняемых токенах одна последовательность требует 1 GiB KV cache; четыре независимые последовательности такой длины — 4 GiB. Если каждая из четырёх последовательностей достигает 32 768 токенов, логический KV cache занимает уже 16 GiB. Веса при этом не изменились. Здесь GiB = 2³⁰ байт; не смешивайте этот результат с десятичными GB = 10⁹ байт и проверяйте доступную память GPU в используемой среде. 2 × 32 × 8 × 128 × 2 × 8 192 = 1 073 741 824 байта ## Когда формулу нужно изменить Sliding-window и chunked attention ограничивают рост cache в соответствующих слоях. Гибридные архитектуры могут хранить разные состояния в разных слоях. Общий префикс иногда переиспользуется, но экономию нельзя закладывать без подтверждённой настройки движка. Квантование весов и квантование KV cache — разные настройки. Более компактный cache или выгрузка на CPU могут экономить VRAM ценой задержки. После изменения проверяйте качество, время ответа и отсутствие OOM на максимальной нагрузке. - Извлеките из checkpoint число слоёв, KV-голов и head dimension. - Укажите тип cache и точность, максимальные длины и параллельность. - Проверьте доступную память после загрузки и пиковую память при длинном prefill. - Измерьте предел нагрузки и оставьте запас, выбранный по наблюдениям, а не универсальному проценту. Источники к разделу: - [Hugging Face Transformers: Cache strategies](https://huggingface.co/docs/transformers/en/kv_cache) - [vLLM: Production Metrics](https://docs.vllm.ai/en/stable/usage/metrics/) ## GPU для сравнения Карточки L40S, A100 и H200 позволяют сравнить объём памяти и другие спецификации. Большая память расширяет возможный бюджет, но не заменяет проверку конкретного сервера и движка. - [L40S](https://uzdynamics.ai/ru/gpus/l40s) - [A100](https://uzdynamics.ai/ru/gpus/a100) - [H200](https://uzdynamics.ai/ru/gpus/h200) ## Перейти к расчёту и запросу UZ Dynamics — ранний доступ. Эти материалы помогают описать задачу; они не подтверждают наличие GPU, готовность среды или скорость выполнения. Наличие, конкретная конфигурация, цены и условия доступа уточняются при обсуждении заявки. [Открыть калькулятор GPU](https://uzdynamics.ai/ru/sizing) [Все модели GPU](https://uzdynamics.ai/ru/gpus) [Все материалы](https://uzdynamics.ai/ru/guides) [Запросить ранний доступ](https://uzdynamics.ai/ru/request?source=guide%3Avram-kv-cache) ```json {"@context":"https://schema.org","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"UZ Dynamics","item":"https://uzdynamics.ai/ru"},{"@type":"ListItem","position":2,"name":"Практика выбора GPU","item":"https://uzdynamics.ai/ru/guides"},{"@type":"ListItem","position":3,"name":"VRAM для LLM: веса, KV cache и контекст","item":"https://uzdynamics.ai/ru/guides/vram-kv-cache"}]} {"@context":"https://schema.org","@type":"Article","@id":"https://uzdynamics.ai/ru/guides/vram-kv-cache#article","headline":"VRAM для LLM: веса, KV cache и контекст","description":"Почему размер весов не равен требуемой VRAM. Учебный расчёт KV cache для 8 192 токенов и четырёх запросов с ограничениями формулы.","inLanguage":"ru","datePublished":"2026-10-09","dateModified":"2026-10-09","author":{"@type":"Organization","@id":"https://uzdynamics.ai/#organization","name":"UZ Dynamics","url":"https://uzdynamics.ai/"},"publisher":{"@type":"Organization","@id":"https://uzdynamics.ai/#organization","name":"UZ Dynamics","url":"https://uzdynamics.ai/"},"mainEntityOfPage":{"@type":"WebPage","@id":"https://uzdynamics.ai/ru/guides/vram-kv-cache"},"url":"https://uzdynamics.ai/ru/guides/vram-kv-cache"} ```