GPU hosting voor AI-inferentie: VRAM en serveervereisten
Schat modelgewichten, contextcache en gelijktijdigheid in voordat u een 24, 48 of 80 GB GPU kiest. Plan authenticatie en een representatieve inferentietest.
Content herzien · Nederlands
- Architectuur om te evalueren
- Modelgewichten / KV-cache / runtime
- Voorbereide startpunten
- 5 abonnementen
- Verantwoordelijkheden
- Applicatie, rechten en herstel
Een passende shortlist, geen geïnstalleerde software of live voorraad.
Houd deze in het zicht.
- Modelgewichten / KV-cache / runtime.
- Quantisatie verandert de envelop.
- Houd de dienstverlening privé genoeg voor de invoer.
Modelgewichten / KV-cache / runtime
Begin met modelgeheugen, contextlengte en gelijktijdigheid. FP16-gewichten gebruiken ongeveer twee bytes per parameter: 13 miljard parameters vereisen ongeveer 26 GB alleen voor gewichten, en 70 miljard vereisen ongeveer 140 GB. Een 24 GB-apparaat kan het eerste niet in FP16 houden en een 80 GB-apparaat kan het laatste niet in FP16 houden zonder aanvullende technieken.
Quantisatie verandert de envelop
Een schatting van het gewicht van vier bits is ruwweg 0.5 bytes per parameter vóór metadata, runtime en KV-cache. Het kan een model kleiner maken, maar verandert de afwegingen rond deployment en kwaliteit. Benchmark het werkelijke model, de context, de batchgrootte en de engine in plaats van het VRAM van de kaart gelijk te stellen aan bruikbare modelcapaciteit.
Houd de dienstverlening privé genoeg voor de inputs
Ollama of vLLM kunnen worden beoordeeld voor een compatibele stack. Plaats authenticatie, TLS en quota rond elke openbare API, beperk promptlogging en definieer retentie. Controleer model- en datasetlicenties. Een GPU-vermelding verleent geen toegang tot beperkte modellen of een vrijstelling van exportwetgeving.
Maak de inferentietest reproduceerbaar
Leg de modelversie en licentie, versie van de serveerengine, precisie of kwantisatie, prompt- en uitvoerlengte, gelijktijdige aanvragen en het exacte apparaat vast. Meet geladen apparaatgeheugen, tijd tot eerste token, aanhoudende uitvoersnelheid, fouten en wachtrijgedrag. Vergelijk dezelfde invoer op elke kandidaat; de voorbereide hardwarelijst levert geen gemeten inferentieresultaat.
| Invoer om constant te houden | Te meten resultaat |
|---|---|
| Model, precisie en engineversie | Geladen GPU geheugen en succesvolle opstart |
| Lengte van de prompt en gevraagde uitvoerlengte | Tijd tot eerste token en uitvoersnelheid |
| Gelijktijdigheid en aankomstpatroon van verzoeken | Wachtrijdiepte, geheugengroei en foutpercentage |
| Gebruikersroute en applicatiegateway | End-to-end responstijd |
| Aantal parameters | FP16 bij ~2 bytes / parameter | 4-bits bij ~0.5 bytes / parameter |
|---|---|---|
| 7B | ~14 GB | ~3.5 GB |
| 13B | ~26 GB | ~6.5 GB |
| 70B | ~140 GB | ~35 GB |
Capaciteit om te overwegen.
Stem deze startpunten af op de representatieve toepassing. Software-installatie en live-inventaris zijn niet verbonden; de exacte specificatie en periodetotaal komen uit de catalogus.
Spectre 4090
Combineer één NVIDIA RTX 4090 met 24 GB GPU geheugen, 64 GB hostgeheugen en 1 TB NVMe opslag voor inferentie, rendering en experimenten. CUDA image-opties en een 10 Gbps uplink ondersteunen uw softwarestack; modelgeschiktheid hangt af van precisie, contextlengte en runtime-overhead.
- Compute
- 8 vCPU (Threadripper)
- Geheugen
- 64 GB DDR5
- Opslag
- 1 TB NVMe SSD
- Overdracht
- 20 TB / maand
maandelijks gefactureerd
Spectre A6000
Gebruik één NVIDIA RTX A6000 met 48 GB GPU geheugen naast 128 GB ECC hostgeheugen en 2 TB NVMe opslag. De grotere GPU geheugentoewijzing en 10 Gbps-uplink zijn geschikt voor veeleisendere inferentie of geselecteerde trainingsworkflows, waarbij model- en optimalisatiegeheugen vóór implementatie worden beoordeeld.
- Compute
- 16 vCPU (EPYC)
- Geheugen
- 128 GB DDR5
- Opslag
- 2 TB NVMe SSD
- Overdracht
- 30 TB / maand
maandelijks gefactureerd
Spectre H100
Bouw intensieve acceleratorworkloads rond één NVIDIA H100 met 80 GB HBM3, 256 GB hostgeheugen en 4 TB NVMe-opslag. Een 25 Gbps-uplink en een maandelijkse overdrachtslimiet van 50 TB ondersteunen grote datasets; modellen met veel parameters vereisen nog steeds zorgvuldige precisie-, context- en geheugenplanning.
- Compute
- 32 vCPU (EPYC)
- Geheugen
- 256 GB DDR5
- Opslag
- 4 TB NVMe SSD
- Overdracht
- 50 TB / maand
maandelijks gefactureerd
Eclipse EPYC
Consolideer grotere workloads op een fysieke EPYC 7443P-server met 24 cores, 48 threads en 128 GB aan ECC-geheugen. Twee 2 TB NVMe-schijven in RAID-1 vormen een paar met een 10 Gbps-uplink, 100 TB aan maandelijkse overdracht en een netwerkmitigatieniveau van 200 Gbps.
- Compute
- AMD EPYC 7443P (24c / 48t @ 2.85 GHz)
- Geheugen
- 128 GB DDR4 ECC
- Opslag
- 2× 2 TB NVMe (RAID-1)
- Overdracht
- 100 TB / maand
maandelijks gefactureerd
Eclipse Dual
Reserveer twee Xeon Gold 6338-processors voor in totaal 64 fysieke cores en 128 threads, ondersteund door 256 GB ECC-geheugen. Vier 4 TB NVMe-drives vormen RAID-10, met een 10 Gbps-poort, onbeperkte overdracht en een 400 Gbps netwerkmitigatieniveau voor grote parallelle workloads.
- Compute
- 2× Intel Xeon Gold 6338 (32c / 64t per processor)
- Geheugen
- 256 GB DDR4 ECC
- Opslag
- 4× 4 TB NVMe (RAID-10)
- Overdracht
- Niet gemeten
maandelijks gefactureerd
Voordat deze workload live gaat.
- Schat gewichten, contextcache, runtime-overhead en gelijktijdigheid samen in.
- Verifieer het apparaatgeheugen, de compatibele image en de regio van het exacte plan.
- Benchmark het representatieve model en de precisie op een daadwerkelijke implementatie.
- Bescherm het leveringseindpunt met authenticatie, TLS en resourcelimieten.
- Definieer promptretentie, modelrechten en het herstelpad.
Vragen, beantwoord.
Welk model past bij een 80 GB GPU?
Gebruik de werkelijke precisie, gewichten, context, cache en batchgrootte. Een schatting van alleen gewichten van 70B FP16 is ongeveer 140 GB, dus past niet op een 80 GB-apparaat zonder aanvullende technieken.
Kan ik een API in OpenAI-stijl beschikbaar stellen voor een applicatie?
Een compatibele serving-engine kan worden geëvalueerd, met authenticatie, TLS, quota en controles op het bewaren van verzoeken. Er wordt geen serving-engine of openbaar eindpunt aangemaakt door de checkout.
Is de GPU bare metal of gevirtualiseerd?
Lees de exacte virtualisatie- en toegangsspecificatie van het plan. Apparaattoewijzing, driverondersteuning en isolatie vereisen een geverifieerd lanceerplatform; leid deze niet alleen af uit VRAM.
Verslaat de responslatentie een externe API?
Er wordt geen gemeten vergelijking gemaakt. Benchmark het representatieve model, de promptlengte, gelijktijdigheid en gebruikersroute op de werkelijke implementatie.
Wat wordt bewaard in mijn accountwerkruimte?
Uw configuratie, gekozen plan, image, locatie en factureringstermijn worden bewaard bij de bestelling en betalingsverzoekreferenties. Offertes, uitlezingen van de betaalstatus en supportgesprekken blijven gekoppeld aan uw account. Lees uitvoeringsdetails apart van de betaalstatus.