--- title: "Подбор GPU под задачу: ранний доступ | UZ Dynamics" description: "Ранний доступ по заявке: подбор GPU под задачу по открытым формулам. Память, конфигурации и GPU-часы в месяц для инференса, дообучения, обучения и рендера." url: "https://uzdynamics.ai/ru/sizing" lang: "ru" image: "https://uzdynamics.ai/ru/opengraph-image/card?1237d0f845bd82b9" alternates: ru: "https://uzdynamics.ai/ru/sizing" uz: "https://uzdynamics.ai/uz/sizing" en: "https://uzdynamics.ai/en/sizing" --- > For an index of this site's pages, see [llms.txt](https://uzdynamics.ai/llms.txt). A markdown copy of each page is at its address with `.md` appended. Заявки на ранний доступ # Подбор GPU под задачу Оценка по открытым формулам и характеристикам из официальных материалов NVIDIA. Итоговую конфигурацию обсудим в ответе на заявку. Ответим с условиями для вашей задачи: цены пока не публикуем. Платить до договора ничего не нужно. Подбор работает с включённым JavaScript. Ниже — минимальные конфигурации по памяти для каждой задачи. ## Результат Пример. Нужно около 87 ГБ памяти GPU Оценка по открытым формулам, не замер и не счёт. **Подходят по памяти** | Конфигурация | Всего VRAM | Скорость памяти | | --- | --- | --- | | 1 × RTX PRO 6000 скорость 1,6 ТБ/с Выбрано | 96 ГБ 96 ГБ/GPU запас 9 ГБ | 1,6 ТБ/с | | 1 × H200 скорость 4,8 ТБ/с | 141 ГБ 141 ГБ/GPU запас 54 ГБ | 4,8 ТБ/с | | 1 × B200 скорость 7,7 ТБ/с | 180 ГБ 180 ГБ/GPU запас 93 ГБ | 7,7 ТБ/с | | 1 × B300 скорость 7,7 ТБ/с | 270 ГБ 270 ГБ/GPU запас 183 ГБ | 7,7 ТБ/с | | 2 × RTX 6000 Ada PCIe 4 скорость 0,96 ТБ/с | 96 ГБ 48 ГБ/GPU запас 9 ГБ | 0,96 ТБ/с | 720 GPU-часов в месяц 1 × 24 ч × 30 дней Каждая карта занята 99 % среднего месяца (730 ч) Условия для выделенных серверов пришлём в ответ на заявку. [Аренда или покупка: из чего складывается стоимость](https://uzdynamics.ai/ru/sizing#rent-vs-buy) - Наличие уточним в ответе. - Доступ: UZ Dynamics Console, SSH - Подходит формат: Выделенные серверы и кластеры * Скорость памяти влияет на скорость генерации. Запас нужен под контекст и одновременные запросы; для длинного контекста памяти нужно больше. [Запросить эту конфигурацию](https://uzdynamics.ai/ru/request?source=sizing&task=infer&sub=llm&p=70&prec=fp8&gpu=rtx-pro-6000&n=1&mode=mo&h=24&d=30&fmt=dedicated&example=1) Не уверены в параметрах? Опишите задачу своими словами, и мы ответим с условиями. Выбирать GPU заранее не нужно. [Описать задачу](https://uzdynamics.ai/ru/request?source=sizing-help) **Аренда или покупка GPU-сервера** Свои серверы оправданы при постоянной высокой загрузке и своей команде эксплуатации. Аренда удобнее, когда загрузка неровная или задачи меняются. - ### Деньги на старте - **Покупка:** Крупный платёж за серверы до начала работы (или лизинг/кредит) - **Аренда:** Платежи по договору, без покупки оборудования - ### Срок запуска - **Покупка:** Поставка, монтаж и настройка серверов - **Аренда:** Сроки подключения уточняем - ### Электричество и охлаждение - **Покупка:** Ваши расходы каждый месяц - **Аренда:** Не ваши расходы: их несёт сторона, сдающая GPU - ### Эксплуатация - **Покупка:** Свои инженеры на драйверы и ремонт - **Аренда:** Обслуживание оборудования не на вас; кто и как обслуживает, опишем в условиях - ### Загрузка - **Покупка:** Простаивающая карта всё равно оплачена - **Аренда:** Платите за время аренды, а не за годы владения. Число карт для каждого формата пришлём с условиями - ### Новое поколение GPU - **Покупка:** Сервер остаётся того поколения, которое вы купили - **Аренда:** В каталоге несколько поколений, от Ampere до Blackwell - ### Сеть между серверами - **Покупка:** Свои коммутаторы и каналы - **Аренда:** Уточним в ответе на заявку ### Ваша загрузка [Посчитать загрузку в подборе](https://uzdynamics.ai/ru/sizing#sizing) ### Флагманы каталога по поколениям 1. 2020: A100 (Ampere) 2. 2022: H100 (Hopper) 3. 2023: H200 (Hopper) 4. 2024: B200 (Blackwell) 5. 2025: B300 (Blackwell) Годы анонса по данным NVIDIA. ## Как мы считаем Инференс: память = параметры × байт на параметр × 1,2. Байт на параметр: BF16 2, FP8 1, INT4 0,5 (правило «2 ГБ на миллиард параметров в BF16» — [Hugging Face Transformers](https://huggingface.co/docs/transformers/main/en/llm_tutorial_optimization)). Запас 20 % под KV-кэш и активации — наше допущение для умеренного контекста и небольшого числа одновременных запросов; при длинном контексте и высокой нагрузке KV-кэшу нужно больше. У языковых моделей в FP8 и INT4 часть весов (эмбеддинги, выходной слой) остаётся в 16 битах; её долю берём из опубликованных чекпойнтов. Пример: для модели на 70 млрд в 4 битах (из них 2,2 млрд в 16 битах) оценка — около 46 ГБ, а реальный 4-битный чекпойнт весит около 40 ГБ ([AWQ-INT4 на Hugging Face](https://huggingface.co/hugging-quants/Meta-Llama-3.1-70B-Instruct-AWQ-INT4)). LoRA: параметры × 2 байта × 1,3. QLoRA: веса как при инференсе в INT4 × 1,4, поэтому модель на 65 млрд (около 47 ГБ) помещается в 48 ГБ, как в статье [QLoRA](https://arxiv.org/abs/2305.14314). Полное дообучение: 18 байт на параметр (веса, градиенты и состояние AdamW в смешанной точности, [Hugging Face](https://huggingface.co/docs/transformers/model_memory_anatomy)) × 1,2. Обучение с нуля: память как при полном дообучении. Это минимум карт, чтобы разместить веса, градиенты и состояние оптимизатора. Число карт: наименьшее из 1, 2, 4 и 8, при котором суммарная память не меньше нужной. Модель при этом делится между картами (тензорный или конвейерный параллелизм); без этого нужна одна карта с достаточной памятью. Дальше считаем кратно 8: обычно в сервере до 8 GPU (допущение). У L4 и L40S часть памяти по умолчанию занимает ECC (данные NVIDIA), у RTX A6000, A5000 и RTX 6000 Ada — если его включить. Всё равно считаем полную память: NVIDIA даёт её в двоичных гигабайтах, и за вычетом ECC в десятичных её не меньше. Рендер: для полной скорости сцена должна помещаться в память одной карты (если памяти не хватает, Blender переходит на системную память, это медленнее). Обычно несколько карт память не складывают; исключение — карты NVIDIA, соединённые NVLink ([Blender Manual](https://docs.blender.org/manual/en/latest/render/cycles/gpu_rendering.html)). Оценка считает по одной карте. Подходят только карты с RT-ядрами (аппаратная трассировка лучей). Видео: кодированию нужен NVENC, аналитике нужен NVDEC (число блоков — по [таблице кодеров и декодеров NVIDIA](https://developer.nvidia.com/video-encode-decode-support-matrix)). FP64: только карты, у которых по данным NVIDIA FP64 не меньше четверти от FP32. Для матричных расчётов (DGEMM) важнее FP64 на тензорных ядрах: у H100 SXM и H200 SXM это 67 TFLOPS, у B200 37 (данные NVIDIA: страницы H100 и H200, Blackwell Technical Brief). Поэтому строки идут по FP64 на тензорных ядрах. GPU-часы: карты × часы в день × дни. Загрузка: часы в день × дни ÷ 730 (часов в среднем месяце), не больше 100 %. От 70 % предлагаем выделенные серверы. Это наше правило, а не расчёт по ценам: выделенная карта при этом простаивает не больше 30 % времени. Порядок строк: меньше карт, затем меньше лишней памяти; при равенстве раньше идёт карта с более быстрой памятью. Для обучения и полного дообучения на нескольких картах строки с NVLink идут раньше. Для видео — сначала карты с меньшей памятью, при кодировании затем больше блоков NVENC. Для рендера — меньше лишней памяти, затем скорость памяти. ## Допущения - Коэффициент запаса: ×1,2 для инференса, ×1,2 для полного дообучения и обучения с нуля, ×1,3 для LoRA, ×1,4 для QLoRA - Допущение расчёта: до 8 GPU на сервер - Считаем доступную память карты по данным NVIDIA, а не максимальный объём HBM чипа (B300 270 из 288 ГБ, B200 180 из 192 ГБ) - Память карт — в двоичных гигабайтах NVIDIA, потребность — в десятичных: запас около 7 %, а там, где часть памяти занимает ECC, меньше 1 % Расчёт — оценка по открытым формулам и характеристикам NVIDIA: не замер, не гарантия наличия и не предложение цены. Итоговую конфигурацию, наличие и условия подтвердим в ответе на заявку. ## Минимальные конфигурации по памяти | Задача | Пресет | Скорость памяти | Заявка | | --- | --- | --- | --- | | Инференс | LLM на 8 млрд в BF16 | 0,77 ТБ/с | [Запросить 1 × RTX A5000 (LLM на 8 млрд в BF16)](https://uzdynamics.ai/ru/request?source=preset%3Ainfer&task=infer&sub=llm&p=8&prec=bf16&gpu=rtx-a5000&n=1&mode=mo&h=24&d=30&fmt=dedicated) | | Инференс | LLM на 70 млрд в FP8 | 1,6 ТБ/с | [Запросить 1 × RTX PRO 6000 (LLM на 70 млрд в FP8)](https://uzdynamics.ai/ru/request?source=preset%3Ainfer&task=infer&sub=llm&p=70&prec=fp8&gpu=rtx-pro-6000&n=1&mode=mo&h=24&d=30&fmt=dedicated) | | Дообучение | LoRA для модели на 8 млрд | 0,77 ТБ/с | [Запросить 1 × RTX A5000 (LoRA для модели на 8 млрд)](https://uzdynamics.ai/ru/request?source=preset%3Afinetune&task=finetune&sub=lora&p=8&gpu=rtx-a5000&n=1&mode=once&hours=24&fmt=cloud) | | Дообучение | QLoRA для модели на 70 млрд | 3,35 ТБ/с | [Запросить 1 × H100 (QLoRA для модели на 70 млрд)](https://uzdynamics.ai/ru/request?source=preset%3Afinetune&task=finetune&sub=qlora&p=70&gpu=h100&n=1&mode=once&hours=24&fmt=cloud) | | Обучение | LLM на 3 млрд с нуля | 3,35 ТБ/с | [Запросить 1 × H100 (LLM на 3 млрд с нуля)](https://uzdynamics.ai/ru/request?source=preset%3Atrain&task=train&sub=llmPretrain&p=3&gpu=h100&n=1&mode=once&hours=168&fmt=cloud) | | Рендер и видео | 3D-сцена до 16 ГБ | 0,77 ТБ/с | [Запросить 1 × RTX A5000 (3D-сцена до 16 ГБ)](https://uzdynamics.ai/ru/request?source=preset%3Arender&task=render&sub=render3d&scene=16&gpu=rtx-a5000&n=1&mode=mo&h=8&d=22&fmt=cloud) | | Рендер и видео | Кодирование видео | 0,3 ТБ/с | [Запросить 1 × L4 (Кодирование видео)](https://uzdynamics.ai/ru/request?source=preset%3Arender&task=render&sub=encode&gpu=l4&n=1&mode=mo&h=24&d=30&fmt=dedicated) | | Расчёты (FP64) | Расчёты на одной карте | 3,35 ТБ/с | [Запросить 1 × H100 (Расчёты на одной карте)](https://uzdynamics.ai/ru/request?source=preset%3Afp64&task=fp64&sub=fp64&gpu=h100&n=1&mode=once&hours=72&fmt=cloud) | [Больше 8 GPU? Обсудить кластер](https://uzdynamics.ai/ru/enterprise?source=sizing-presets-cluster) [Все характеристики GPU](https://uzdynamics.ai/ru/gpus) [Практика выбора GPU](https://uzdynamics.ai/ru/guides) ```json {"@context":"https://schema.org","@type":"BreadcrumbList","itemListElement":[{"@type":"ListItem","position":1,"name":"UZ Dynamics","item":"https://uzdynamics.ai/ru"},{"@type":"ListItem","position":2,"name":"Подбор GPU под задачу","item":"https://uzdynamics.ai/ru/sizing"}]} ```