Hébergement GPU pour l'inférence IA : exigences de VRAM et de service
Estimez les poids du modèle, le cache de contexte et la concurrence avant de choisir un 24, 48 ou 80 GB GPU. Planifiez l’authentification et un test d’inférence représentatif.
Contenu révisé · Français
- Architecture à évaluer
- Poids du modèle / cache KV / environnement d’exécution
- Points de départ préparés
- 5 forfaits
- Responsabilités
- Application, droits et récupération
Une liste restreinte adaptée, pas un logiciel installé ni un inventaire en direct.
Gardez ces éléments en vue.
- Poids du modèle / cache KV / environnement d’exécution.
- La quantification modifie l’enveloppe.
- Gardez le service suffisamment privé pour ses entrées.
Poids du modèle / cache KV / environnement d’exécution
Commencez par la mémoire du modèle, la longueur du contexte et la concurrence. Les poids FP16 utilisent environ deux octets par paramètre : 13 milliards de paramètres nécessitent environ 26 GB pour les poids seuls, et 70 milliards nécessitent environ 140 GB. Un appareil 24 GB ne peut pas contenir le premier en FP16 et un appareil 80 GB ne peut pas contenir le second en FP16 sans techniques supplémentaires.
La quantification modifie l’enveloppe
Une estimation de poids sur quatre bits représente environ 0.5 octets par paramètre avant les métadonnées, le runtime et le cache KV. Cela peut réduire la taille d’un modèle, mais modifie ses compromis de déploiement et de qualité. Évaluez le modèle réel, le contexte, la taille de lot et le moteur plutôt que d’assimiler le VRAM de la carte à la capacité de modèle utilisable.
Gardez le service suffisamment privé pour ses entrées
Ollama ou vLLM peuvent être évalués pour une pile compatible. Placez l'authentification, TLS et des quotas autour de tout API public, limitez la journalisation des invites et définissez la conservation. Vérifiez les licences des modèles et des jeux de données. Une liste GPU n'accorde pas l'accès à des modèles restreints ni une exemption de loi d'exportation.
Rendez le test d'inférence reproductible
Enregistrez la version et la licence du modèle, la version du moteur de service, la précision ou la quantification, la longueur du prompt et de la sortie, les requêtes simultanées et l'appareil exact. Mesurez la mémoire chargée de l'appareil, le temps jusqu'au premier token, le débit de sortie soutenu, les erreurs et le comportement de la file d'attente. Comparez les mêmes entrées sur chaque candidat ; la liste matérielle préparée ne fournit aucun résultat d'inférence mesuré.
| Entrée à maintenir constante | Résultat à mesurer |
|---|---|
| Modèle, précision et version du moteur | Mémoire GPU chargée et démarrage réussi |
| Longueur de l'invite et longueur de sortie demandée | Temps jusqu'au premier token et débit de sortie |
| Concurrence et modèle d'arrivée des requêtes | Profondeur de file d’attente, croissance de la mémoire et taux d’erreur |
| Route utilisateur et passerelle applicative | Temps de réponse de bout en bout |
| Nombre de paramètres | FP16 à ~2 octets / paramètre | 4 bits à ~0.5 octets / paramètre |
|---|---|---|
| 7B | ~14 GB | ~3.5 GB |
| 13B | ~26 GB | ~6.5 GB |
| 70B | ~140 GB | ~35 GB |
Capacité à considérer.
Associez ces points de départ à l’application représentative. L’installation logicielle et l’inventaire en direct ne sont pas liés ; la spécification exacte et le total de la période proviennent du catalogue.
Spectre 4090
Associez un NVIDIA RTX 4090 avec 24 GB de mémoire GPU, 64 GB de mémoire hôte et 1 TB de stockage NVMe pour l'inférence, le rendu et les expérimentations. Les options d'image CUDA et une liaison montante 10 Gbps prennent en charge votre pile logicielle ; l'adéquation des modèles dépend de la précision, de la longueur de contexte et de la surcharge d'exécution.
- Calcul
- 8 vCPU (Threadripper)
- Mémoire
- 64 GB DDR5
- Stockage
- 1 TB NVMe SSD
- Transfert
- 20 TB / mois
facturé mensuellement
Spectre A6000
Utilisez un NVIDIA RTX A6000 avec 48 GB de mémoire GPU ainsi que 128 GB de mémoire hôte ECC et 2 TB de stockage NVMe. L'allocation de mémoire GPU plus importante et la liaison montante 10 Gbps conviennent aux charges d'inférence plus exigeantes ou à certains flux d'entraînement, avec la mémoire du modèle et de l'optimiseur évaluée avant le déploiement.
- Calcul
- 16 vCPU (EPYC)
- Mémoire
- 128 GB DDR5
- Stockage
- 2 TB NVMe SSD
- Transfert
- 30 TB / mois
facturé mensuellement
Spectre H100
Créez des charges de travail d'accélérateur intensives autour d'un NVIDIA H100 avec 80 GB de HBM3, 256 GB de mémoire hôte et 4 TB de stockage NVMe. Une liaison montante de 25 Gbps et une allocation de transfert mensuel de 50 TB prennent en charge de grands ensembles de données ; les modèles à paramètres élevés nécessitent toujours une planification soignée de la précision, du contexte et de la mémoire.
- Calcul
- 32 vCPU (EPYC)
- Mémoire
- 256 GB DDR5
- Stockage
- 4 TB NVMe SSD
- Transfert
- 50 TB / mois
facturé mensuellement
Eclipse EPYC
Consolidez des charges de travail plus importantes sur un serveur physique EPYC 7443P avec 24 cœurs, 48 threads et 128 GB de mémoire ECC. Deux disques NVMe de 2 TB en RAID-1 s'associent à une liaison montante de 10 Gbps, 100 TB de transfert mensuel et un palier d'atténuation réseau de 200 Gbps.
- Calcul
- AMD EPYC 7443P (24c / 48t @ 2.85 GHz)
- Mémoire
- 128 GB DDR4 ECC
- Stockage
- 2× 2 TB NVMe (RAID-1)
- Transfert
- 100 TB / mois
facturé mensuellement
Eclipse Dual
Réservez deux processeurs Xeon Gold 6338 pour un total de 64 cœurs physiques et 128 threads, soutenus par 256 GB de mémoire ECC. Quatre disques 4 TB NVMe forment RAID-10, avec un port 10 Gbps, un transfert non mesuré et un niveau d'atténuation réseau 400 Gbps pour les charges de travail parallèles importantes.
- Calcul
- 2× Intel Xeon Gold 6338 (32c / 64t chacun)
- Mémoire
- 256 GB DDR4 ECC
- Stockage
- 4× 4 TB NVMe (RAID-10)
- Transfert
- Sans quota de transfert
facturé mensuellement
Avant que cette charge de travail ne soit mise en production.
- Estimez ensemble les poids, le cache de contexte, la surcharge d’exécution et la concurrence.
- Vérifiez la mémoire de l'appareil, l'image compatible et la région du forfait exact.
- Évaluez le modèle représentatif et la précision sur un déploiement réel.
- Protéger le point de terminaison de service avec authentification, TLS et limites de ressources.
- Définissez la rétention des invites, les droits sur les modèles et le chemin de récupération.
Questions, réponses.
Quel modèle convient à un 80 GB GPU ?
Utilisez la précision, les poids, le contexte, le cache et la taille de lot réels. Une estimation des poids uniquement en FP16 de 70B est d'environ 140 GB, donc elle ne tient pas sur un appareil 80 GB sans techniques supplémentaires.
Puis-je exposer une API d'application de style OpenAI ?
Un moteur de service compatible peut être évalué, avec authentification, TLS, quotas et contrôles de rétention des requêtes. Aucun moteur de service ni point de terminaison public n'est créé par le paiement.
Le GPU est-il du bare metal ou virtualisé ?
Lisez la spécification exacte de virtualisation et d’accès du forfait. L’allocation des appareils, la prise en charge des pilotes et l’isolation nécessitent une plateforme de lancement vérifiée ; ne les déduisez pas de VRAM seul.
La latence de réponse battra-t-elle un API externe ?
Aucune comparaison mesurée n’est effectuée. Évaluez le modèle représentatif, la longueur du prompt, la concurrence et la route utilisateur sur le déploiement réel.
Que conserve-t-on dans l'espace de travail de mon compte ?
Votre configuration, le plan sélectionné, l'image, l'emplacement et la durée de facturation sont conservés avec les références de la commande et de la demande de paiement. Les devis, les lectures de l'état du paiement et les conversations de support restent liés à votre compte. Lisez les détails d'exécution séparément de l'état du paiement.