Хостинг GPU для AI-инференса: требования к VRAM и обслуживанию
Оцените веса модели, кэш контекста и параллелизм, прежде чем выбирать 24, 48 или 80 GB GPU. Спланируйте аутентификацию и репрезентативный тест инференса.
Контент пересмотрен · Русский
- Архитектура для оценки
- Веса модели / KV-кэш / среда выполнения
- Подготовленные отправные точки
- 5 тарифов
- Обязанности
- Приложение, права и восстановление
Подходящий список, а не установленное программное обеспечение или актуальный инвентарь.
Держите это в поле зрения.
- Веса модели / KV-кэш / среда выполнения.
- Квантование меняет оболочку.
- Держите обслуживание достаточно приватным для его входных данных.
Веса модели / KV-кэш / среда выполнения
Начните с памяти модели, длины контекста и параллелизма. Веса FP16 используют примерно два байта на параметр: 13 миллиардов параметров требуют около 26 GB только для весов, а 70 миллиардов — около 140 GB. Устройство с 24 GB не может вместить первое в FP16, а устройство с 80 GB не может вместить второе в FP16 без дополнительных методов.
Квантование меняет оболочку
Оценка веса в четыре бита — это примерно 0.5 байт на параметр до учёта метаданных, среды выполнения и KV-кэша. Это может уменьшить модель, но меняет компромиссы между развёртыванием и качеством. Тестируйте реальную модель, контекст, размер пакета и движок, а не приравнивайте VRAM карты к полезной ёмкости модели.
Держите обслуживание достаточно приватным для его входных данных
Ollama или vLLM можно оценить для совместимого стека. Обеспечьте аутентификацию, TLS и квоты вокруг любого публичного API, ограничьте логирование подсказок и определите сроки хранения. Проверьте лицензии моделей и наборов данных. Листинг GPU не даёт доступа к ограниченным моделям или исключения из экспортного законодательства.
Сделайте тест инференса воспроизводимым
Зафиксируйте версию и лицензию модели, версию сервисного движка, точность или квантование, длину запроса и вывода, одновременные запросы и точное устройство. Измерьте загруженную память устройства, время до первого токена, устойчивую скорость вывода, ошибки и поведение очереди. Сравнивайте одинаковые входные данные на каждом кандидате; подготовленный список оборудования не даёт измеренного результата инференса.
| Входные данные для поддержания постоянными | Результат для измерения |
|---|---|
| Модель, точность и версия движка | Загруженная память GPU и успешный запуск |
| Длина запроса и запрошенная длина вывода | Время до первого токена и скорость вывода |
| Одновременность и характер поступления запросов | Глубина очереди, рост памяти и частота ошибок |
| Пользовательский маршрут и шлюз приложений | Сквозное время отклика |
| Количество параметров | FP16 при ~2 байт / параметр | 4-бит при ~0.5 байт / параметр |
|---|---|---|
| 7Б | ~14 GB | ~3.5 GB |
| 13Б | ~26 GB | ~6.5 GB |
| 70Б | ~140 GB | ~35 GB |
Ёмкость для рассмотрения.
Сопоставьте эти отправные точки с типовым приложением. Установка программного обеспечения и актуальная инвентаризация не связаны; точная спецификация и итог за период берутся из каталога.
Spectre 4090
Объедините один NVIDIA RTX 4090 с 24 GB памяти GPU, 64 GB памяти хоста и 1 TB хранилища NVMe для инференса, рендеринга и экспериментов. Варианты образов CUDA и канал 10 Gbps поддерживают ваш программный стек; пригодность модели зависит от точности, длины контекста и накладных расходов среды выполнения.
- Вычисления
- 8 vCPU (Threadripper)
- Память
- 64 GB DDR5
- Хранилище
- 1 TB NVMe SSD
- Передача
- 20 TB / месяц
оплата ежемесячно
Spectre A6000
Используйте один NVIDIA RTX A6000 с 48 GB памяти GPU вместе с 128 GB хост-памяти ECC и 2 TB хранилища NVMe. Больший объём памяти GPU и 10 Gbps восходящий канал подходят для более требовательных задач вывода или отдельных рабочих процессов обучения, при этом память модели и оптимизатора оценивается перед развёртыванием.
- Вычисления
- 16 vCPU (EPYC)
- Память
- 128 GB DDR5
- Хранилище
- 2 TB NVMe SSD
- Передача
- 30 TB / месяц
оплата ежемесячно
Spectre H100
Создайте интенсивные ускорительные нагрузки на базе одного NVIDIA H100 с 80 GB HBM3, 256 GB памяти хоста и 4 TB хранилища NVMe. Канал 25 Gbps и ежемесячный лимит трафика 50 TB поддерживают большие наборы данных; модели с большим числом параметров по-прежнему требуют тщательного планирования точности, контекста и памяти.
- Вычисления
- 32 vCPU (EPYC)
- Память
- 256 GB DDR5
- Хранилище
- 4 TB NVMe SSD
- Передача
- 50 TB / месяц
оплата ежемесячно
Eclipse EPYC
Объедините более крупные рабочие нагрузки на физическом сервере EPYC 7443P с 24 ядрами, 48 потоками и 128 GB памяти ECC. Два диска NVMe объёмом 2 TB в паре RAID-1 с каналом 10 Gbps, 100 TB ежемесячного трафика и уровнем сетевой защиты 200 Gbps.
- Вычисления
- AMD EPYC 7443P (24c / 48t @ 2.85 GHz)
- Память
- 128 GB DDR4 ECC
- Хранилище
- 2× 2 TB NVMe (RAID-1)
- Передача
- 100 TB / месяц
оплата ежемесячно
Eclipse Dual
Зарезервируйте два процессора Xeon Gold 6338 в общей сложности на 64 физических ядер и 128 потоков, поддержанных 256 GB памяти ECC. Четыре диска 4 TB NVMe образуют RAID-10, с портом 10 Gbps, без учёта трафика и уровнем сетевой защиты 400 Gbps для крупных параллельных рабочих нагрузок.
- Вычисления
- 2× Intel Xeon Gold 6338 (32c / 64t на каждый процессор)
- Память
- 256 GB DDR4 ECC
- Хранилище
- 4× 4 TB NVMe (RAID-10)
- Передача
- Без тарификации трафика
оплата ежемесячно
Перед запуском этой рабочей нагрузки.
- Оценивайте веса, кэш контекста, накладные расходы среды выполнения и параллелизм вместе.
- Проверьте память устройства, совместимый образ и регион для точного тарифа.
- Проведите бенчмарк репрезентативной модели и точности на реальном развёртывании.
- Защитите конечную точку обслуживания с помощью аутентификации, TLS и ограничений ресурсов.
- Определите хранение подсказок, права на модель и путь восстановления.
Вопросы и ответы.
Какая модель подходит для 80 GB GPU?
Используйте фактические точность, веса, контекст, кэш и размер пакета. Оценка только весов 70B FP16 составляет около 140 GB, поэтому она не помещается на устройство 80 GB без дополнительных методов.
Могу ли я открыть приложение в стиле OpenAI API?
Можно оценить совместимый серверный движок с аутентификацией, TLS, квотами и контролем хранения запросов. Никакой серверный движок или публичная точка входа при оформлении заказа не создаются.
Является ли GPU bare metal или виртуализированным?
Прочитайте точную спецификацию виртуализации и доступа тарифного плана. Выделение устройств, поддержка драйверов и изоляция требуют проверенной платформы запуска; не выводите их только из VRAM.
Победит ли задержка ответа внешний API?
Измеренное сравнение не проводится. Проведите бенчмарк репрезентативной модели, длины запроса, параллелизма и пользовательского маршрута на фактическом развёртывании.
Что хранится в рабочей области моего аккаунта?
Ваша конфигурация, выбранный план, образ, локация и срок оплаты хранятся вместе со ссылками на заказ и запрос на оплату. Котировки, чтение состояния оплаты и переписка с поддержкой остаются привязанными к вашему аккаунту. Читайте детали исполнения отдельно от статуса оплаты.