De la place pour une expérience plus lourde
Planifiez des ressources pour l'entraînement légitime, l'affinage et le travail reproductible sur les modèles.
Contenu révisé · Français
- Architecture à évaluer
- LoRA / QLoRA / fine-tuning complet
- Points de départ préparés
- 3 forfaits
- Responsabilités
- Application, droits et récupération
Une liste restreinte adaptée, pas un logiciel installé ni un inventaire en direct.
Gardez ces éléments en vue.
- LoRA / QLoRA / fine-tuning complet.
- Rendre la pile et les données reproductibles.
- Le matériel personnalisé est une demande, pas un stock disponible.
LoRA / QLoRA / fine-tuning complet
L'inférence, l'adaptation d'adaptateurs et l'affinage complet ont des besoins en mémoire différents. Les poids ne représentent qu'une partie de la mémoire d'entraînement : les activations, l'état de l'optimiseur et les gradients comptent aussi. Vérifiez le lot, la longueur de séquence, la précision et la stratégie de points de contrôle sur l'expérience réelle.
Rendre la pile et les données reproductibles
Un projet peut utiliser CUDA, PyTorch, Transformers, Accelerate ou des outils associés après vérification de la compatibilité. Enregistrez les versions de l'environnement, les droits sur les jeux de données, les graines aléatoires et les résultats d'évaluation. Organisez les données de manière sécurisée et conservez les points de contrôle chiffrés dans un emplacement de récupération séparé.
Le matériel personnalisé est une demande, pas un stock disponible
Le catalogue préparé présente des configurations mono-appareil. Une topologie multi-GPU, un agencement NVLink, une courte durée de rafale ou une date de livraison personnalisée nécessitent une proposition explicite et un examen de compatibilité. Aucun planificateur horaire ni inventaire multi-H100 n'est connecté.
Commencez par l'expérience
La taille du jeu de données, les paramètres du modèle, la taille des lots et l'état de l'optimiseur déterminent le besoin en mémoire. Vérifiez la compatibilité du framework et le pilote GPU installé avant de vous engager dans une longue exécution.
Gardez le travail reproductible
Code de version, définitions d'environnement et provenance des jeux de données. Écrivez les points de contrôle en dehors des répertoires de travail temporaires, et consignez suffisamment de configuration pour poursuivre une tâche échouée ou reproduire un résultat.
Respecter la frontière des données
Le matériel d'entraînement peut contenir des informations protégées ou personnelles. Confirmer les droits, minimiser les entrées sensibles et contrôler l'accès aux artefacts intermédiaires, aux journaux et aux sorties du modèle.
Capacité à considérer.
Associez ces points de départ à l’application représentative. L’installation logicielle et l’inventaire en direct ne sont pas liés ; la spécification exacte et le total de la période proviennent du catalogue.
Spectre A6000
Utilisez un NVIDIA RTX A6000 avec 48 GB de mémoire GPU ainsi que 128 GB de mémoire hôte ECC et 2 TB de stockage NVMe. L'allocation de mémoire GPU plus importante et la liaison montante 10 Gbps conviennent aux charges d'inférence plus exigeantes ou à certains flux d'entraînement, avec la mémoire du modèle et de l'optimiseur évaluée avant le déploiement.
- Calcul
- 16 vCPU (EPYC)
- Mémoire
- 128 GB DDR5
- Stockage
- 2 TB NVMe SSD
- Transfert
- 30 TB / mois
facturé mensuellement
Spectre H100
Créez des charges de travail d'accélérateur intensives autour d'un NVIDIA H100 avec 80 GB de HBM3, 256 GB de mémoire hôte et 4 TB de stockage NVMe. Une liaison montante de 25 Gbps et une allocation de transfert mensuel de 50 TB prennent en charge de grands ensembles de données ; les modèles à paramètres élevés nécessitent toujours une planification soignée de la précision, du contexte et de la mémoire.
- Calcul
- 32 vCPU (EPYC)
- Mémoire
- 256 GB DDR5
- Stockage
- 4 TB NVMe SSD
- Transfert
- 50 TB / mois
facturé mensuellement
Eclipse Dual
Réservez deux processeurs Xeon Gold 6338 pour un total de 64 cœurs physiques et 128 threads, soutenus par 256 GB de mémoire ECC. Quatre disques 4 TB NVMe forment RAID-10, avec un port 10 Gbps, un transfert non mesuré et un niveau d'atténuation réseau 400 Gbps pour les charges de travail parallèles importantes.
- Calcul
- 2× Intel Xeon Gold 6338 (32c / 64t chacun)
- Mémoire
- 256 GB DDR4 ECC
- Stockage
- 4× 4 TB NVMe (RAID-10)
- Transfert
- Sans quota de transfert
facturé mensuellement
Avant que cette charge de travail ne soit mise en production.
- Vérifier le CPU, la mémoire, le disque, le transfert et le port du forfait exact.
- Choisissez une région répertoriée et vérifiez l'utilisation autorisée de la charge de travail.
- Testez l'application représentative et une restauration indépendante.
Questions, réponses.
Puis-je réserver plusieurs appareils H100 ?
Un agencement multi-appareils est une demande personnalisée à examiner, et non un stock disponible immédiatement. Confirmez l’interconnexion, la topologie, la compatibilité du framework et la livraison avant de vous engager.
La facturation GPU est-elle horaire ?
Le catalogue préparé utilise des totaux mensuels, annuels et biennaux. Aucun planificateur de facturation horaire n'est connecté. Une durée de rafale spéciale nécessiterait sa propre proposition acceptée.
Puis-je entraîner sur des informations personnelles ?
Les droits sur les jeux de données, une base de traitement licite, l'accès, la rétention et les transferts doivent être évalués. Une région ou un appareil particulier ne crée pas cette autorisation.
Les frameworks et permissions d'appareils restreints sont-ils inclus ?
La compatibilité du cadre et toute restriction d'exportation ou d'accès applicable doivent être vérifiées pour l'opérateur et la charge de travail réels. Aucune exemption générale ni environnement de formation préinstallé n'est revendiqué.
Que conserve-t-on dans l'espace de travail de mon compte ?
Votre configuration, le plan sélectionné, l'image, l'emplacement et la durée de facturation sont conservés avec les références de la commande et de la demande de paiement. Les devis, les lectures de l'état du paiement et les conversations de support restent liés à votre compte. Lisez les détails d'exécution séparément de l'état du paiement.