Ruimte voor een zwaarder experiment
Plan middelen voor legitieme training, fine-tuning en herhaalbaar modelwerk.
Content herzien · Nederlands
- Architectuur om te evalueren
- LoRA / QLoRA / volledige fine-tuning
- Voorbereide startpunten
- 3 abonnementen
- Verantwoordelijkheden
- Applicatie, rechten en herstel
Een passende shortlist, geen geïnstalleerde software of live voorraad.
Houd deze in het zicht.
- LoRA / QLoRA / volledige fine-tuning.
- Maak de stack en data reproduceerbaar.
- Custom-hardware is een aanvraag, geen voorraad.
LoRA / QLoRA / volledige fine-tuning
Inference, adapterafstemming en volledige fine-tuning hebben verschillende geheugenbehoeften. Gewichten zijn slechts een deel van het trainingsgeheugen: activaties, optimizerstatus en gradiënten zijn ook belangrijk. Controleer de batch, sequentielengte, precisie en checkpointstrategie op het werkelijke experiment.
Maak de stack en data reproduceerbaar
Een project kan CUDA, PyTorch, Transformers, Accelerate of gerelateerde tooling gebruiken na compatibiliteitscontrole. Leg omgevingsversies, datasetrechten, random seeds en evaluatieresultaten vast. Stage gegevens veilig en houd checkpoints versleuteld op een aparte herstellocatie.
Custom-hardware is een aanvraag, geen voorraad
De voorbereide catalogus toont configuraties voor één apparaat. Een multi-GPU-topologie, NVLink-opstelling, korte bursttermijn of aangepaste leverdatum vereist een expliciet voorstel en compatibiliteitsbeoordeling. Er is geen uurscheduler of multi-H100-inventaris verbonden.
Begin met het experiment
Datasetgrootte, modelparameters, batchgrootte en optimiserstatus bepalen de geheugenbehoefte. Controleer frameworkcompatibiliteit en de geïnstalleerde GPU-driver voordat u zich vastlegt op een lange run.
Houd werk reproduceerbaar
Versiecode, omgevingsdefinities en herkomst van datasets. Schrijf checkpoints buiten tijdelijke werkdirectories en leg voldoende configuratie vast om een mislukte taak voort te zetten of een resultaat te reproduceren.
Respecteer de datagrens
Trainingsmateriaal kan beschermde of persoonlijke informatie bevatten. Bevestig rechten, minimaliseer gevoelige invoer en beheer de toegang tot tussenliggende artefacten, logs en modeluitvoer.
Capaciteit om te overwegen.
Stem deze startpunten af op de representatieve toepassing. Software-installatie en live-inventaris zijn niet verbonden; de exacte specificatie en periodetotaal komen uit de catalogus.
Spectre A6000
Gebruik één NVIDIA RTX A6000 met 48 GB GPU geheugen naast 128 GB ECC hostgeheugen en 2 TB NVMe opslag. De grotere GPU geheugentoewijzing en 10 Gbps-uplink zijn geschikt voor veeleisendere inferentie of geselecteerde trainingsworkflows, waarbij model- en optimalisatiegeheugen vóór implementatie worden beoordeeld.
- Compute
- 16 vCPU (EPYC)
- Geheugen
- 128 GB DDR5
- Opslag
- 2 TB NVMe SSD
- Overdracht
- 30 TB / maand
maandelijks gefactureerd
Spectre H100
Bouw intensieve acceleratorworkloads rond één NVIDIA H100 met 80 GB HBM3, 256 GB hostgeheugen en 4 TB NVMe-opslag. Een 25 Gbps-uplink en een maandelijkse overdrachtslimiet van 50 TB ondersteunen grote datasets; modellen met veel parameters vereisen nog steeds zorgvuldige precisie-, context- en geheugenplanning.
- Compute
- 32 vCPU (EPYC)
- Geheugen
- 256 GB DDR5
- Opslag
- 4 TB NVMe SSD
- Overdracht
- 50 TB / maand
maandelijks gefactureerd
Eclipse Dual
Reserveer twee Xeon Gold 6338-processors voor in totaal 64 fysieke cores en 128 threads, ondersteund door 256 GB ECC-geheugen. Vier 4 TB NVMe-drives vormen RAID-10, met een 10 Gbps-poort, onbeperkte overdracht en een 400 Gbps netwerkmitigatieniveau voor grote parallelle workloads.
- Compute
- 2× Intel Xeon Gold 6338 (32c / 64t per processor)
- Geheugen
- 256 GB DDR4 ECC
- Opslag
- 4× 4 TB NVMe (RAID-10)
- Overdracht
- Niet gemeten
maandelijks gefactureerd
Voordat deze workload live gaat.
- Controleer de CPU, het geheugen, de schijf, de overdracht en de poort van het exacte abonnement.
- Kies een vermelde regio en verifieer het toegestane gebruik van de workload.
- Test de representatieve applicatie en een onafhankelijk herstel.
Vragen, beantwoord.
Kan ik meerdere H100-apparaten reserveren?
Een multi-device-opstelling is een aangepast verzoek om te beoordelen, geen live vermelde voorraad. Bevestig interconnectie, topologie, frameworkcompatibiliteit en levering voordat je je vastlegt.
Wordt GPU per uur gefactureerd?
De voorbereide catalogus gebruikt maandelijkse, jaarlijkse en tweejaarlijkse totalen. Er is geen uurlijkse factureringsscheduler verbonden. Een speciale bursttermijn zou zijn eigen geaccepteerde voorstel vereisen.
Kan ik trainen op persoonsgegevens?
Datasetrechten, een rechtmatige verwerkingsgrondslag, toegang, bewaring en overdrachten moeten worden beoordeeld. Een bepaalde regio of apparaat creëert die toestemming niet.
Zijn frameworks en machtigingen voor beperkte apparaten inbegrepen?
Compatibiliteit van het kader en eventuele toepasselijke export- of toegangsbeperkingen moeten worden gecontroleerd voor de werkelijke operator en workload. Er wordt geen algemene vrijstelling of vooraf geïnstalleerde trainingsomgeving geclaimd.
Wat wordt bewaard in mijn accountwerkruimte?
Uw configuratie, gekozen plan, image, locatie en factureringstermijn worden bewaard bij de bestelling en betalingsverzoekreferenties. Offertes, uitlezingen van de betaalstatus en supportgesprekken blijven gekoppeld aan uw account. Lees uitvoeringsdetails apart van de betaalstatus.