Alojamiento de GPU para inferencia de IA: requisitos de VRAM y de servicio
Estima los pesos del modelo, la caché de contexto y la concurrencia antes de elegir un 24, 48 o 80 GB GPU. Planifica la autenticación y una prueba de inferencia representativa.
Contenido revisado · Español
- Arquitectura a evaluar
- Pesos del modelo / caché KV / entorno de ejecución
- Puntos de partida preparados
- 5 planes
- Responsabilidades
- Aplicación, derechos y recuperación
Una lista corta adecuada, no software instalado ni inventario en vivo.
Mantén esto a la vista.
- Pesos del modelo / caché KV / entorno de ejecución.
- La cuantización cambia el envolvente.
- Mantén el servicio lo suficientemente privado para sus entradas.
Pesos del modelo / caché KV / entorno de ejecución
Empieza con la memoria del modelo, la longitud de contexto y la concurrencia. Los pesos FP16 usan aproximadamente dos bytes por parámetro: 13 mil millones de parámetros requieren alrededor de 26 GB solo para los pesos, y 70 mil millones requieren alrededor de 140 GB. Un dispositivo 24 GB no puede contener lo primero en FP16 y un dispositivo 80 GB no puede contener lo segundo en FP16 sin técnicas adicionales.
La cuantización cambia el envolvente
Una estimación de peso de cuatro bits es aproximadamente 0.5 bytes por parámetro antes de los metadatos, el entorno de ejecución y la caché KV. Puede hacer que un modelo sea más pequeño, pero cambia sus compensaciones de implementación y calidad. Evalúa el modelo real, el contexto, el tamaño del lote y el motor en lugar de equiparar la VRAM de la tarjeta con la capacidad de modelo utilizable.
Mantén el servicio lo suficientemente privado para sus entradas
Ollama o vLLM pueden evaluarse para una pila compatible. Coloque autenticación, TLS y cuotas alrededor de cualquier API público, limite el registro de prompts y defina la retención. Compruebe las licencias de modelos y conjuntos de datos. Una ficha de GPU no otorga acceso a modelos restringidos ni una exención de las leyes de exportación.
Haz que la prueba de inferencia sea reproducible
Registra la versión y licencia del modelo, la versión del motor de servicio, la precisión o cuantización, la longitud del prompt y de la salida, las solicitudes concurrentes y el dispositivo exacto. Mide la memoria cargada del dispositivo, el tiempo hasta el primer token, la tasa de salida sostenida, los errores y el comportamiento de la cola. Compara las mismas entradas en cada candidato; el listado de hardware preparado no ofrece ningún resultado de inferencia medido.
| Entrada que debe mantenerse constante | Resultado a medir |
|---|---|
| Modelo, precisión y versión del motor | Memoria GPU cargada y arranque exitoso |
| Longitud del prompt y longitud de salida solicitada | Tiempo hasta el primer token y tasa de salida |
| Concurrencia y patrón de llegada de solicitudes | Profundidad de la cola, crecimiento de la memoria y tasa de errores |
| Ruta de usuario y puerta de enlace de aplicación | Tiempo de respuesta de extremo a extremo |
| Recuento de parámetros | FP16 a ~2 bytes / parámetro | 4-bit a ~0.5 bytes / parámetro |
|---|---|---|
| 7B | ~14 GB | ~3.5 GB |
| 13B | ~26 GB | ~6.5 GB |
| 70B | ~140 GB | ~35 GB |
Capacidad a considerar.
Empareja estos puntos de partida con la aplicación representativa. La instalación de software y el inventario en vivo no están conectados; la especificación exacta y el total del periodo provienen del catálogo.
Spectre 4090
Combina un NVIDIA RTX 4090 con 24 GB de memoria GPU, 64 GB de memoria del host y 1 TB de almacenamiento NVMe para inferencia, renderizado y experimentos. Las opciones de imagen CUDA y un enlace ascendente de 10 Gbps admiten tu stack de software; el ajuste del modelo depende de la precisión, la longitud del contexto y la sobrecarga en tiempo de ejecución.
- Cómputo
- 8 vCPU (Threadripper)
- Memoria
- 64 GB DDR5
- Almacenamiento
- 1 TB NVMe SSD
- Transferencia
- 20 TB / mes
facturado mensualmente
Spectre A6000
Utilice un NVIDIA RTX A6000 con 48 GB de memoria GPU junto con 128 GB de memoria host ECC y 2 TB de almacenamiento NVMe. La mayor asignación de memoria GPU y el enlace ascendente de 10 Gbps se adaptan a flujos de trabajo de inferencia o entrenamiento seleccionados más exigentes, con la memoria del modelo y del optimizador evaluada antes del despliegue.
- Cómputo
- 16 vCPU (EPYC)
- Memoria
- 128 GB DDR5
- Almacenamiento
- 2 TB NVMe SSD
- Transferencia
- 30 TB / mes
facturado mensualmente
Spectre H100
Cree cargas de trabajo intensivas de acelerador en torno a una NVIDIA H100 con 80 GB de HBM3, 256 GB de memoria de host y 4 TB de almacenamiento NVMe. Un enlace ascendente de 25 Gbps y una asignación de transferencia mensual de 50 TB admiten grandes conjuntos de datos; los modelos de altos parámetros aún requieren una planificación cuidadosa de precisión, contexto y memoria.
- Cómputo
- 32 vCPU (EPYC)
- Memoria
- 256 GB DDR5
- Almacenamiento
- 4 TB NVMe SSD
- Transferencia
- 50 TB / mes
facturado mensualmente
Eclipse EPYC
Consolide cargas de trabajo mayores en un servidor físico EPYC 7443P con 24 núcleos, 48 hilos y 128 GB de memoria ECC. Dos unidades NVMe de 2 TB en RAID-1 se combinan con un enlace ascendente de 10 Gbps, 100 TB de transferencia mensual y un nivel de mitigación de red de 200 Gbps.
- Cómputo
- AMD EPYC 7443P (24c / 48t @ 2.85 GHz)
- Memoria
- 128 GB DDR4 ECC
- Almacenamiento
- 2× 2 TB NVMe (RAID-1)
- Transferencia
- 100 TB / mes
facturado mensualmente
Eclipse Dual
Reserva dos procesadores Xeon Gold 6338 para un total de 64 núcleos físicos y 128 hilos, respaldados por 256 GB de memoria ECC. Cuatro unidades NVMe de 4 TB forman RAID-10, con un puerto 10 Gbps, transferencia sin medición y un nivel de mitigación de red de 400 Gbps para grandes cargas de trabajo paralelas.
- Cómputo
- 2× Intel Xeon Gold 6338 (32c / 64t cada uno)
- Memoria
- 256 GB DDR4 ECC
- Almacenamiento
- 4× 4 TB NVMe (RAID-10)
- Transferencia
- Sin cuota medida
facturado mensualmente
Antes de que esta carga de trabajo entre en producción.
- Estima los pesos, la caché de contexto, la sobrecarga de ejecución y la concurrencia en conjunto.
- Verifica la memoria del dispositivo, la imagen compatible y la región del plan exacto.
- Evalúa el modelo representativo y la precisión en un despliegue real.
- Proteger el endpoint de servicio con autenticación, TLS y límites de recursos.
- Define la retención de prompts, los derechos del modelo y la vía de recuperación.
Preguntas, respondidas.
¿Qué modelo encaja con una GPU de 80 GB?
Utilice la precisión, los pesos, el contexto, la caché y el tamaño de lote reales. Una estimación de solo pesos de 70B FP16 es de aproximadamente 140 GB, por lo que no cabe en un dispositivo de 80 GB sin técnicas adicionales.
¿Puedo exponer una aplicación estilo OpenAI API?
Se puede evaluar un motor de servicio compatible, con autenticación, TLS, cuotas y controles de retención de solicitudes. El checkout no crea ningún motor de servicio ni endpoint público.
¿El GPU es bare metal o virtualizado?
Lea la especificación exacta de virtualización y acceso del plan. La asignación de dispositivos, la compatibilidad de controladores y el aislamiento necesitan una plataforma de lanzamiento verificada; no los infiera solo de VRAM.
¿La latencia de respuesta superará a un API externo?
No se realiza ninguna comparación medida. Compara el modelo representativo, la longitud del prompt, la concurrencia y la ruta del usuario en el despliegue real.
¿Qué se guarda en el espacio de trabajo de mi cuenta?
Tu configuración, el plan seleccionado, la imagen, la ubicación y el plazo de facturación se guardan con las referencias del pedido y de la solicitud de pago. Las cotizaciones, las lecturas del estado de pago y las conversaciones de soporte permanecen vinculadas a tu cuenta. Lee los detalles de cumplimiento por separado del estado de pago.