--- title: "LoRA и QLoRA: как подготовить конфигурацию GPU | UZ Dynamics" description: "Что занимает память при LoRA и QLoRA: базовые веса, адаптеры, оптимизатор и активации. Параметры и проверка конфигурации перед fine-tuning." url: "https://uzdynamics.ai/ru/guides/lora-qlora" lang: "ru" image: "https://uzdynamics.ai/ru/opengraph-image/card?1237d0f845bd82b9" alternates: ru: "https://uzdynamics.ai/ru/guides/lora-qlora" uz: "https://uzdynamics.ai/uz/guides/lora-qlora" en: "https://uzdynamics.ai/en/guides/lora-qlora" --- > For an index of this site's pages, see [llms.txt](https://uzdynamics.ai/llms.txt). A markdown copy of each page is at its address with `.md` appended. # LoRA и QLoRA: как подготовить конфигурацию GPU Параметрически эффективное дообучение уменьшает число обучаемых весов, но не убирает базовую модель и активации из бюджета памяти. Выбор GPU начинается с конфигурации обучения. Автор: [UZ Dynamics](https://uzdynamics.ai/ru#company) Источники проверены: 9 октября 2026 Обновлено: 12 октября 2026 Опубликовано: 9 октября 2026 ## Разделите базовую модель и адаптеры LoRA замораживает базовые веса и обучает добавленные матрицы низкого ранга. QLoRA сочетает адаптеры с квантованной базовой моделью. В оригинальной работе базовые веса хранятся в 4 битах; это не означает, что все вычисления и обучаемые параметры имеют точность 4 бита. Full fine-tuning обновляет базовые веса и требует другого бюджета градиентов и состояния оптимизатора. Оценку inference нельзя использовать как оценку обучения без дополнительных составляющих. Источники к разделу: - [Hugging Face PEFT: LoRA](https://huggingface.co/docs/peft/v0.21.0/package_reference/lora) - [Dettmers et al.: QLoRA (2023)](https://arxiv.org/abs/2305.14314) ## Пример расчёта адаптера Для линейного слоя с размером входа din и выхода dout LoRA добавляет примерно r × (din + dout) параметров, без bias и дополнительных обучаемых модулей. При din = dout = 4 096 и r = 16 получается 131 072 параметра: 262 144 байта, или 0,25 MiB, если хранить только эти веса в BF16. Это один слой, не весь бюджет обучения. Нужно учесть все целевые слои, градиенты, состояния оптимизатора, возможные мастер-копии, активации и базовые веса. Увеличение rank с 16 до 64 в этом примере увеличивает число параметров адаптера в четыре раза. Параметры LoRA на слой ≈ r × (din + dout) Источники к разделу: - [Hugging Face PEFT: LoRA](https://huggingface.co/docs/peft/v0.21.0/package_reference/lora) ## Параметры, без которых оценка неполна Зафиксируйте checkpoint, target\_modules, rank, точность базовых весов и вычислений, optimizer, максимальную длину последовательности и micro-batch на GPU. В PEFT выбор all-linear для QLoRA охватывает больше модулей, чем адаптеры только на query/value. Проверьте gradient checkpointing, gradient accumulation, упаковку примеров и распределение по GPU. Они меняют соотношение памяти и времени. Accumulation позволяет набрать эффективный batch несколькими шагами; это не то же самое, что держать весь этот batch одновременно в VRAM. Источники к разделу: - [Hugging Face PEFT: Quantization](https://huggingface.co/docs/peft/main/developer_guides/quantization) ## Проведите короткий, но полный пробный запуск Используйте несколько репрезентативных примеров, включая самые длинные. Проверьте полный training step с backward и обновлением optimizer, сохранение и повторную загрузку адаптера, а также evaluation с теми настройками, которые будут в основном запуске. Результат QLoRA о 65B на одной GPU с 48 GB относится к экспериментальной конфигурации авторов. Он не гарантирует, что любой checkpoint 65B, длина последовательности и batch поместятся на вашей карте. Собственных замеров UZ Dynamics в этом материале нет. - Запишите максимальную VRAM, время шага и число обработанных токенов. - Зафиксируйте версии CUDA, PyTorch, Transformers, PEFT и quantization backend. - Сравните качество на отложенных примерах до и после обучения. - Передайте параметры и результаты теста вместе с требуемым сроком аренды для уточнения предложения. Источники к разделу: - [Dettmers et al.: QLoRA (2023)](https://arxiv.org/abs/2305.14314) - [Hugging Face Transformers: Bitsandbytes](https://huggingface.co/docs/transformers/en/quantization/bitsandbytes) ## GPU для сравнения Для сравнения откройте RTX A5000, L40S, A100 и H100. Выбор конфигурации сервера требует проверки доступа, межсоединений, памяти и условий; карточки не подтверждают наличие. - [RTX A5000](https://uzdynamics.ai/ru/gpus/rtx-a5000) - [L40S](https://uzdynamics.ai/ru/gpus/l40s) - [A100](https://uzdynamics.ai/ru/gpus/a100) - [H100](https://uzdynamics.ai/ru/gpus/h100) ## Перейти к расчёту и запросу UZ Dynamics — ранний доступ. Эти материалы помогают описать задачу; они не подтверждают наличие GPU, готовность среды или скорость выполнения. Наличие, конкретная конфигурация, цены и условия доступа уточняются при обсуждении заявки. [Открыть калькулятор GPU](https://uzdynamics.ai/ru/sizing) [Все модели GPU](https://uzdynamics.ai/ru/gpus) [Все материалы](https://uzdynamics.ai/ru/guides) [Запросить ранний доступ](https://uzdynamics.ai/ru/request?source=guide%3Alora-qlora) ```json {"@context":"https://schema.org","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"UZ Dynamics","item":"https://uzdynamics.ai/ru"},{"@type":"ListItem","position":2,"name":"Практика выбора GPU","item":"https://uzdynamics.ai/ru/guides"},{"@type":"ListItem","position":3,"name":"LoRA и QLoRA: как подготовить конфигурацию GPU","item":"https://uzdynamics.ai/ru/guides/lora-qlora"}]} {"@context":"https://schema.org","@type":"Article","@id":"https://uzdynamics.ai/ru/guides/lora-qlora#article","headline":"LoRA и QLoRA: как подготовить конфигурацию GPU","description":"Что занимает память при LoRA и QLoRA: базовые веса, адаптеры, оптимизатор и активации. Параметры и проверка конфигурации перед fine-tuning.","inLanguage":"ru","datePublished":"2026-10-09","dateModified":"2026-10-12","author":{"@type":"Organization","@id":"https://uzdynamics.ai/#organization","name":"UZ Dynamics","url":"https://uzdynamics.ai/"},"publisher":{"@type":"Organization","@id":"https://uzdynamics.ai/#organization","name":"UZ Dynamics","url":"https://uzdynamics.ai/"},"mainEntityOfPage":{"@type":"WebPage","@id":"https://uzdynamics.ai/ru/guides/lora-qlora"},"url":"https://uzdynamics.ai/ru/guides/lora-qlora"} ```