Espacio para un experimento más pesado
Planifica recursos para entrenamiento legítimo, ajuste fino y trabajo de modelos repetible.
Contenido revisado · Español
- Arquitectura a evaluar
- LoRA / QLoRA / ajuste fino completo
- Puntos de partida preparados
- 3 planes
- Responsabilidades
- Aplicación, derechos y recuperación
Una lista corta adecuada, no software instalado ni inventario en vivo.
Mantén esto a la vista.
- LoRA / QLoRA / ajuste fino completo.
- Haz que la pila y los datos sean reproducibles.
- El hardware Custom es una solicitud, no stock.
LoRA / QLoRA / ajuste fino completo
La inferencia, el ajuste de adaptadores y el ajuste fino completo tienen distintas demandas de memoria. Los pesos son solo una parte de la memoria de entrenamiento: las activaciones, el estado del optimizador y los gradientes también importan. Compruebe el lote, la longitud de secuencia, la precisión y la estrategia de checkpoints en el experimento real.
Haz que la pila y los datos sean reproducibles
Un proyecto puede usar CUDA, PyTorch, Transformers, Accelerate o herramientas relacionadas después de verificar la compatibilidad. Registre las versiones del entorno, los derechos del conjunto de datos, las semillas aleatorias y los resultados de evaluación. Prepare los datos de forma segura y mantenga los puntos de control cifrados en una ubicación de recuperación separada.
El hardware Custom es una solicitud, no stock
El catálogo preparado muestra configuraciones de un solo dispositivo. Una topología multi-GPU, una disposición NVLink, un plazo de ráfaga corto o una fecha de entrega personalizada necesitan una propuesta explícita y una revisión de compatibilidad. No hay ningún programador por horas ni inventario multi-H100 conectado.
Empieza con el experimento
El tamaño del conjunto de datos, los parámetros del modelo, el tamaño del lote y el estado del optimizador determinan el requisito de memoria. Comprueba la compatibilidad del framework y el controlador GPU instalado antes de comprometerte con una ejecución larga.
Mantén el trabajo reproducible
Código de versión, definiciones de entorno y procedencia del conjunto de datos. Escribe puntos de control fuera de los directorios de trabajo temporales y registra suficiente configuración para continuar un trabajo fallido o reproducir un resultado.
Respetar el límite de datos
El material de entrenamiento puede contener información protegida o personal. Confirmar derechos, minimizar la entrada sensible y controlar el acceso a artefactos intermedios, registros y salidas del modelo.
Capacidad a considerar.
Empareja estos puntos de partida con la aplicación representativa. La instalación de software y el inventario en vivo no están conectados; la especificación exacta y el total del periodo provienen del catálogo.
Spectre A6000
Utilice un NVIDIA RTX A6000 con 48 GB de memoria GPU junto con 128 GB de memoria host ECC y 2 TB de almacenamiento NVMe. La mayor asignación de memoria GPU y el enlace ascendente de 10 Gbps se adaptan a flujos de trabajo de inferencia o entrenamiento seleccionados más exigentes, con la memoria del modelo y del optimizador evaluada antes del despliegue.
- Cómputo
- 16 vCPU (EPYC)
- Memoria
- 128 GB DDR5
- Almacenamiento
- 2 TB NVMe SSD
- Transferencia
- 30 TB / mes
facturado mensualmente
Spectre H100
Cree cargas de trabajo intensivas de acelerador en torno a una NVIDIA H100 con 80 GB de HBM3, 256 GB de memoria de host y 4 TB de almacenamiento NVMe. Un enlace ascendente de 25 Gbps y una asignación de transferencia mensual de 50 TB admiten grandes conjuntos de datos; los modelos de altos parámetros aún requieren una planificación cuidadosa de precisión, contexto y memoria.
- Cómputo
- 32 vCPU (EPYC)
- Memoria
- 256 GB DDR5
- Almacenamiento
- 4 TB NVMe SSD
- Transferencia
- 50 TB / mes
facturado mensualmente
Eclipse Dual
Reserva dos procesadores Xeon Gold 6338 para un total de 64 núcleos físicos y 128 hilos, respaldados por 256 GB de memoria ECC. Cuatro unidades NVMe de 4 TB forman RAID-10, con un puerto 10 Gbps, transferencia sin medición y un nivel de mitigación de red de 400 Gbps para grandes cargas de trabajo paralelas.
- Cómputo
- 2× Intel Xeon Gold 6338 (32c / 64t cada uno)
- Memoria
- 256 GB DDR4 ECC
- Almacenamiento
- 4× 4 TB NVMe (RAID-10)
- Transferencia
- Sin cuota medida
facturado mensualmente
Antes de que esta carga de trabajo entre en producción.
- Comprobar el CPU, la memoria, el disco, la transferencia y el puerto del plan exacto.
- Elige una región listada y verifica el uso permitido de la carga de trabajo.
- Prueba la aplicación representativa y una restauración independiente.
Preguntas, respondidas.
¿Puedo reservar varios dispositivos H100?
Una configuración multidispositivo es una solicitud personalizada sujeta a revisión, no stock disponible en vivo. Confirme la interconexión, la topología, la compatibilidad del framework y la entrega antes de comprometerse.
¿GPU factura por hora?
El catálogo preparado usa totales mensuales, anuales y bienales. No hay ningún programador de facturación por horas conectado. Un plazo de ráfaga especial necesitaría su propia propuesta aceptada.
¿Puedo entrenar con información personal?
Los derechos sobre el conjunto de datos, una base de procesamiento lícito, el acceso, la retención y las transferencias requieren evaluación. Una región o un dispositivo concretos no crean ese permiso.
¿Se incluyen frameworks y permisos para dispositivos restringidos?
La compatibilidad del marco y cualquier restricción de exportación o acceso aplicable deben verificarse para el operador y la carga de trabajo reales. No se reclama ninguna exención general ni entorno de entrenamiento preinstalado.
¿Qué se guarda en el espacio de trabajo de mi cuenta?
Tu configuración, el plan seleccionado, la imagen, la ubicación y el plazo de facturación se guardan con las referencias del pedido y de la solicitud de pago. Las cotizaciones, las lecturas del estado de pago y las conversaciones de soporte permanecen vinculadas a tu cuenta. Lee los detalles de cumplimiento por separado del estado de pago.