RTX 4090 или L40S: какую GPU арендовать для AI

Чем отличаются RTX 4090 и L40S

RTX 4090 — GeForce GPU, а L40S — GPU для центров обработки данных. Обе относятся к архитектуре NVIDIA Ada Lovelace. Для арендатора важнее не название класса, а память, поддержка нужного ПО и состав всего сервера.

В каталоге UZ Dynamics есть L40S, а RTX 4090 нет. Характеристики RTX 4090 NVIDIA приводит для Founders Edition или эталонного дизайна; у карт других производителей они могут отличаться. Конфигурацию сервера, доступ и условия поддержки уточняйте для конкретного предложения.

24 или 48 GB: поместится ли задача

Размер файла модели не равен пику потребления видеопамяти. Помимо весов нужны рабочие данные и буферы, а при обучении — ещё градиенты и состояние оптимизатора. Номинальные 24 или 48 GB также не означают, что весь этот объём свободен для вашего кода: часть памяти может быть занята средой или зарезервирована.

Для первого приближения можно посчитать только веса. Если ровно 8 миллиардов параметров хранятся по 2 байта каждый, это 16 миллиардов байт: 16 GB, или примерно 14,9 GiB. В этом примере нет KV cache, активаций, служебных данных и других расходов, поэтому он не доказывает, что запуск поместится на RTX 4090.

Сравнивайте пик памяти при нужных настройках. Если он близок к доступному объёму, короткого успешного запуска недостаточно: проверьте длинные входы и ожидаемую нагрузку. Если памяти не хватает, варианты включают изменение настроек, подходящее квантование, перенос части данных в RAM или другую конфигурацию. Каждый вариант требует новой проверки качества и времени работы.

Только веса в примере: 8 000 000 000 × 2 байта = 16 GB ≈ 14,9 GiB

• Разобрать VRAM и KV cache подробнее

Для LLM учитывайте контекст и параллельные запросы

Для генерации текста важно не только загрузить веса. KV cache хранит промежуточные данные внимания, а его объём зависит от архитектуры модели, длины последовательностей, числа обрабатываемых запросов и реализации. Одна и та же модель может работать с коротким диалогом и упираться в память на более длинном контексте или большей нагрузке.

RTX 4090 стоит включить в тест, если выбранная модель с нужной точностью и нагрузкой укладывается в доступную память. L40S стоит проверить, если ограничением стали память под модель, контекст или параллельные запросы. При запуске vLLM пишет в журнал размер KV cache в токенах и оценку того, сколько запросов максимальной длины из настроек (max_model_len) можно обслуживать одновременно. Сравните эти строки на обеих GPU при одинаковых настройках.

Для сравнения зафиксируйте модель и её версию, формат весов, длины входа и ответа, движок и число одновременных запросов. Измеряйте время до первого токена, скорость продолжения ответа и общую пропускную способность. Один показатель tokens/s без условий не описывает удобство диалога или поведение сервиса под нагрузкой.

• Выбрать конфигурацию для LLM inference

Генерация изображений и дообучение требуют разных проверок

Для Stable Diffusion, FLUX и других генераторов укажите точную модель, версию пайплайна (процесса генерации), разрешение, число изображений за запуск, точность и дополнительные компоненты. Сравните одинаковые шаги генерации и требования к результату. Успешная генерация одного изображения не подтверждает работу того же сценария с большим разрешением или дополнительными моделями.

Например, FLUX.1 [schnell] — трансформер на 12 миллиардов параметров: только его веса в BF16 занимают около 24 GB, почти всю номинальную память RTX 4090. Текстовые энкодеры и VAE добавляют ещё около 10 GB. Поэтому на одной RTX 4090 такой пайплайн в BF16 целиком не поместится без переноса компонентов на CPU или квантования. На L40S около 34 GB весов оставляют запас; хватит ли его для нужного разрешения и числа изображений, покажет тест.

В Diffusers есть способы снизить расход памяти, включая перенос компонентов на CPU и обработку изображения частями. По документации Diffusers, перенос на CPU по частям модели (sequential CPU offloading) сильно экономит память, но работает очень медленно и часто непрактичен; перенос моделей целиком быстрее, но экономит меньше. Поэтому RTX 4090 с такими настройками и L40S без них — два разных варианта запуска: разницу в скорости нельзя приписывать только GPU.

Дообучение оценивайте отдельно от inference. При полном дообучении обновляются веса модели; LoRA обучает дополнительные адаптеры, а QLoRA сочетает адаптеры с квантованной базовой моделью. Эти подходы меняют потребность в памяти, но не отменяют расходы на активации и обучение. Проверьте длину примера, batch size, оптимизатор и настройки экономии памяти. То, что модель отвечает на RTX 4090, ещё не означает, что её можно дообучить там же с нужными параметрами.

• Посмотреть требования LoRA и QLoRA

Почему больше памяти не означает быстрее

Время выполнения зависит не только от объёма памяти, но и от вычислений, обмена данными и программной реализации. Паспортные TFLOPS или число CUDA-ядер не превращаются напрямую в tokens/s, изображения в минуту или время обучения.

Паспортные характеристики двух GPU тянут в разные стороны. У RTX 4090 выше пропускная способность памяти: 1 008 GB/s против 864 GB/s у L40S. У L40S выше пиковая производительность тензорных ядер в BF16 без разреженности: 362,05 TFLOPS против 165,2. NVIDIA описывает обработку входа (prefill) как хорошо распараллеливаемую операцию, которая фактически полностью загружает GPU, а генерацию токенов — как операцию, ограниченную памятью: её задержку в основном определяет скорость передачи весов, KV cache и активаций из памяти, а не скорость вычислений. Поэтому длинные входы, большой batch и обучение скорее выиграют от вычислительного запаса L40S, а длинные ответы на одиночные запросы — от пропускной способности памяти RTX 4090. Это гипотезы для теста: итог зависит от модели, точности, движка и нагрузки.

Если задача свободно помещается на обеих GPU, преимущество нужно измерять. NVIDIA называет batching самым простым способом лучше загрузить GPU и поднять пропускную способность: запросы используют одну модель, и затраты памяти на её веса делятся между ними. Запас памяти L40S позволяет проверить batch крупнее; это может изменить и пропускную способность, и задержку ответа. Для пакетной обработки и интерактивного сервиса подходящие настройки могут различаться.

Проверяйте весь арендуемый ресурс. CPU, оперативная память, диск и сеть участвуют в подготовке и подаче данных. Если время уходит на загрузку модели или чтение набора данных, другая GPU это время не сократит. Сохраняйте версии ПО и параметры теста вместе с замерами.

Две RTX 4090 не становятся одной GPU на 48 GB

У двух RTX 4090 суммарно 48 GB номинальной памяти, но у каждой остаются собственные 24 GB. Программа должна уметь распределять модель или работу между устройствами. Если запустить две независимые копии модели целиком на GPU, без переноса данных на CPU, каждая должна помещаться на своём устройстве.

NVLink нет ни у RTX 4090, ни у L40S. Работать с несколькими GPU это не мешает, но способ разделения модели влияет на результат. Документация vLLM для GPU одного сервера без NVLink, например L40S, советует pipeline parallelism вместо tensor parallelism: так выше пропускная способность и меньше накладные расходы на обмен данными. А если разбить большую модель по нескольким GPU через device_map в Accelerate, в каждый момент будет работать только одна из них. Сравнивайте конкретную многокарточную конфигурацию с одной L40S, включая её стоимость и поддержку в вашем ПО, а не только сумму памяти.

Сравните стоимость результата, а не только часа

Возьмите одинаковое задание: например, один набор изображений с заданными настройками или обработку одного набора запросов. После проверки качества сравните длительность и начисления. Более низкий часовой тариф может сопровождаться более долгой работой; более дорогой час не доказывает, что задача обойдётся дороже.

В смете учитывайте всю конфигурацию, оплачиваемую подготовку и ожидание, хранение и передачу данных. Для постоянно работающей модели добавьте ожидаемую нагрузку и требования к времени ответа. Актуальные тарифы и наличие GPU проверяйте в конкретном предложении.

• Рассчитать расходы по своим тарифам

Как проверить выбор на своей задаче

Подготовьте небольшой набор, похожий на будущую работу, и заранее задайте приемлемое качество и время выполнения. Условия теста должны позволять повторить результат.

• Зафиксируйте модель, версии ПО, точность, настройки и состав сервера. Проверьте применимые условия использования модели и программного обеспечения.
• Отделите запуск среды и загрузку модели от прогретого выполнения. Повторите тест несколько раз и запишите пик памяти, время и ошибки.
• Проверьте ожидаемую нагрузку: длинные запросы, параллельность, нужное разрешение или размер batch. Для сервиса измерьте задержки под этой нагрузкой.
• Сопоставьте результат с полной стоимостью. До длительной аренды подтвердите наличие конфигурации, доступ, правила оплаты, хранения и поддержки.

• Оценить требования своей задачи к GPU