LoRA и QLoRA: как подготовить конфигурацию GPU

Разделите базовую модель и адаптеры

LoRA замораживает базовые веса и обучает добавленные матрицы низкого ранга. QLoRA сочетает адаптеры с квантованной базовой моделью. В оригинальной работе базовые веса хранятся в 4 битах; это не означает, что все вычисления и обучаемые параметры имеют точность 4 бита.

Full fine-tuning обновляет базовые веса и требует другого бюджета градиентов и состояния оптимизатора. Оценку inference нельзя использовать как оценку обучения без дополнительных составляющих.

Пример расчёта адаптера

Для линейного слоя с размером входа din и выхода dout LoRA добавляет примерно r × (din + dout) параметров, без bias и дополнительных обучаемых модулей. При din = dout = 4 096 и r = 16 получается 131 072 параметра: 262 144 байта, или 0,25 MiB, если хранить только эти веса в BF16.

Это один слой, не весь бюджет обучения. Нужно учесть все целевые слои, градиенты, состояния оптимизатора, возможные мастер-копии, активации и базовые веса. Увеличение rank с 16 до 64 в этом примере увеличивает число параметров адаптера в четыре раза.

Параметры LoRA на слой ≈ r × (din + dout)

Параметры, без которых оценка неполна

Зафиксируйте checkpoint, target_modules, rank, точность базовых весов и вычислений, optimizer, максимальную длину последовательности и micro-batch на GPU. В PEFT выбор all-linear для QLoRA охватывает больше модулей, чем адаптеры только на query/value.

Проверьте gradient checkpointing, gradient accumulation, упаковку примеров и распределение по GPU. Они меняют соотношение памяти и времени. Accumulation позволяет набрать эффективный batch несколькими шагами; это не то же самое, что держать весь этот batch одновременно в VRAM.

Проведите короткий, но полный пробный запуск

Используйте несколько репрезентативных примеров, включая самые длинные. Проверьте полный training step с backward и обновлением optimizer, сохранение и повторную загрузку адаптера, а также evaluation с теми настройками, которые будут в основном запуске.

Результат QLoRA о 65B на одной GPU с 48 GB относится к экспериментальной конфигурации авторов. Он не гарантирует, что любой checkpoint 65B, длина последовательности и batch поместятся на вашей карте. Собственных замеров UZ Dynamics в этом материале нет.

• Запишите максимальную VRAM, время шага и число обработанных токенов.
• Зафиксируйте версии CUDA, PyTorch, Transformers, PEFT и quantization backend.
• Сравните качество на отложенных примерах до и после обучения.
• Передайте параметры и результаты теста вместе с требуемым сроком аренды для уточнения предложения.