GPU Hosting für KI-Inferenz: VRAM- und Serving-Anforderungen
Schätzen Sie Modellgewichte, Kontext-Cache und Parallelität, bevor Sie einen 24, 48 oder 80 GB GPU wählen. Planen Sie Authentifizierung und einen repräsentativen Inferenztest.
Inhalt überarbeitet · Deutsch
- Zu bewertende Architektur
- Modellgewichte / KV-Cache / Laufzeitumgebung
- Vorbereitete Ausgangspunkte
- 5 Tarife
- Verantwortlichkeiten
- Anwendung, Rechte und Wiederherstellung
Eine passende Auswahl, keine installierte Software und kein Live-Bestand.
Diese im Blick behalten.
- Modellgewichte / KV-Cache / Laufzeitumgebung.
- Quantisierung verändert die Hülle.
- Halten Sie den Serving-Endpunkt privat genug für seine Eingaben.
Modellgewichte / KV-Cache / Laufzeitumgebung
Beginne mit Modellspeicher, Kontextlänge und Parallelität. FP16-Gewichte verwenden ungefähr zwei Bytes pro Parameter: 13 Milliarden Parameter benötigen etwa 26 GB allein für Gewichte, und 70 Milliarden benötigen etwa 140 GB. Ein 24 GB-Gerät kann Ersteres nicht in FP16 halten und ein 80 GB-Gerät kann Letzteres nicht in FP16 ohne zusätzliche Techniken halten.
Quantisierung verändert die Hülle
Eine Vier-Bit-Gewichtsschätzung beträgt grob 0.5 Bytes pro Parameter, bevor Metadaten, Laufzeit und KV-Cache hinzukommen. Sie kann ein Modell kleiner machen, verändert jedoch seine Bereitstellungs- und Qualitätskompromisse. Benchmarken Sie das tatsächliche Modell, den Kontext, die Batch-Größe und die Engine, anstatt den VRAM der Karte mit der nutzbaren Modellkapazität gleichzusetzen.
Halten Sie das Serving privat genug für seine Eingaben
Ollama oder vLLM können für einen kompatiblen Stack bewertet werden. Setzen Sie Authentifizierung, TLS und Quoten um jedes öffentliche API, begrenzen Sie die Prompt-Protokollierung und definieren Sie die Aufbewahrung. Prüfen Sie Modell- und Datensatzlizenzen. Ein GPU-Eintrag gewährt keinen Zugriff auf eingeschränkte Modelle oder eine Ausfuhrrecht-Ausnahme.
Machen Sie den Inferenztest reproduzierbar
Erfassen Sie die Modellversion und Lizenz, die Serving-Engine-Version, Präzision oder Quantisierung, Prompt- und Ausgabelänge, gleichzeitige Anfragen und das exakte Gerät. Messen Sie den belegten Gerätespeicher, die Zeit bis zum ersten Token, die anhaltende Ausgaberate, Fehler und das Warteschlangenverhalten. Vergleichen Sie dieselben Eingaben bei jedem Kandidaten; die vorbereitete Hardware-Auflistung liefert kein gemessenes Inferenzergebnis.
| Konstant zu haltende Eingabe | Zu messendes Ergebnis |
|---|---|
| Modell, Präzision und Engine-Version | Geladener GPU-Speicher und erfolgreicher Start |
| Prompt-Länge und angeforderte Ausgabelänge | Zeit bis zum ersten Token und Ausgaberate |
| Parallelität und Muster des Anfrageeingangs | Warteschlangentiefe, Speicherwachstum und Fehlerrate |
| Benutzerroute und Anwendungsgateway | End-to-End-Antwortzeit |
| Parameteranzahl | FP16 bei ~2 Bytes / Parameter | 4-Bit bei ~0.5 Bytes / Parameter |
|---|---|---|
| 7B | ~14 GB | ~3.5 GB |
| 13B | ~26 GB | ~6.5 GB |
| 70B | ~140 GB | ~35 GB |
Zu berücksichtigende Kapazität.
Ordnen Sie diese Ausgangspunkte der repräsentativen Anwendung zu. Softwareinstallation und Live-Inventar sind nicht verbunden; die exakte Spezifikation und die Periodensumme stammen aus dem Katalog.
Spectre 4090
Kombinieren Sie eine NVIDIA RTX 4090 mit 24 GB GPU-Speicher, 64 GB Host-Speicher und 1 TB NVMe-Speicher für Inferenz, Rendering und Experimente. CUDA-Image-Optionen und eine 10 Gbps-Uplink unterstützen Ihren Software-Stack; die Modell-Eignung hängt von Präzision, Kontextlänge und Laufzeit-Overhead ab.
- Compute
- 8 vCPU (Threadripper)
- Arbeitsspeicher
- 64 GB DDR5
- Speicher
- 1 TB NVMe SSD
- Transfer
- 20 TB / Monat
monatlich abgerechnet
Spectre A6000
Verwenden Sie eine NVIDIA RTX A6000 mit 48 GB GPU-Speicher zusammen mit 128 GB ECC-Hostspeicher und 2 TB NVMe-Speicher. Die größere GPU-Speicherzuweisung und der 10 Gbps-Uplink eignen sich für anspruchsvollere Inferenz- oder ausgewählte Trainingsworkflows, wobei Modell- und Optimiererspeicher vor der Bereitstellung bewertet werden.
- Compute
- 16 vCPU (EPYC)
- Arbeitsspeicher
- 128 GB DDR5
- Speicher
- 2 TB NVMe SSD
- Transfer
- 30 TB / Monat
monatlich abgerechnet
Spectre H100
Erstellen Sie intensive Beschleuniger-Workloads rund um eine NVIDIA H100 mit 80 GB HBM3, 256 GB Host-Speicher und 4 TB NVMe-Speicher. Eine 25 Gbps-Uplink und 50 TB monatliches Transferkontingent unterstützen große Datensätze; Modelle mit hoher Parameterzahl erfordern weiterhin sorgfältige Präzisions-, Kontext- und Speicherplanung.
- Compute
- 32 vCPU (EPYC)
- Arbeitsspeicher
- 256 GB DDR5
- Speicher
- 4 TB NVMe SSD
- Transfer
- 50 TB / Monat
monatlich abgerechnet
Eclipse EPYC
Konsolidiere größere Workloads auf einem physischen EPYC 7443P-Server mit 24 Kernen, 48 Threads und 128 GB ECC-Speicher. Zwei 2 TB NVMe-Laufwerke im RAID-1-Verbund mit einem 10 Gbps-Uplink, 100 TB monatlichem Transfer und einer 200 Gbps-Netzwerk-Mitigationsstufe.
- Compute
- AMD EPYC 7443P (24c / 48t @ 2.85 GHz)
- Arbeitsspeicher
- 128 GB DDR4 ECC
- Speicher
- 2× 2 TB NVMe (RAID-1)
- Transfer
- 100 TB / Monat
monatlich abgerechnet
Eclipse Dual
Reservieren Sie zwei Xeon Gold 6338-Prozessoren für insgesamt 64 physische Kerne und 128 Threads, unterstützt von 256 GB ECC-Speicher. Vier 4 TB NVMe-Laufwerke bilden RAID-10, mit einem 10 Gbps-Port, unbegrenztem Transfer und einer 400 Gbps-Netzwerk-Mitigationsstufe für große parallele Workloads.
- Compute
- 2× Intel Xeon Gold 6338 (32c / 64t je Prozessor)
- Arbeitsspeicher
- 256 GB DDR4 ECC
- Speicher
- 4× 4 TB NVMe (RAID-10)
- Transfer
- Ohne Volumenabrechnung
monatlich abgerechnet
Bevor diese Workload live geht.
- Schätzen Sie Gewichte, Kontext-Cache, Laufzeit-Overhead und Parallelität gemeinsam.
- Verifizieren Sie den Gerätespeicher, das kompatible Image und die Region des genauen Tarifs.
- Benchmarken Sie das repräsentative Modell und die Präzision in einer tatsächlichen Bereitstellung.
- Den Bereitstellungsendpunkt mit Authentifizierung, TLS und Ressourcenlimits schützen.
- Definieren Sie Prompt-Aufbewahrung, Modellrechte und den Wiederherstellungspfad.
Fragen, beantwortet.
Welches Modell passt zu einem 80 GB GPU?
Verwenden Sie die tatsächliche Präzision, Gewichte, Kontext, Cache- und Batch-Größe. Eine 70B-FP16-Nur-Gewichte-Schätzung beträgt etwa 140 GB, passt also ohne zusätzliche Techniken nicht auf ein 80 GB-Gerät.
Kann ich eine API im OpenAI-Stil für eine Anwendung bereitstellen?
Eine kompatible Serving-Engine kann bewertet werden, mit Authentifizierung, TLS, Kontingenten und Kontrollen zur Anfrageaufbewahrung. Durch den Checkout wird keine Serving-Engine und kein öffentlicher Endpunkt erstellt.
Ist GPU Bare Metal oder virtualisiert?
Lesen Sie die genaue Virtualisierungs- und Zugriffsspezifikation des Plans. Gerätezuweisung, Treiberunterstützung und Isolation erfordern eine verifizierte Startplattform; leiten Sie diese nicht allein aus VRAM ab.
Wird die Antwortlatenz eine externe API übertreffen?
Es wird kein gemessener Vergleich angestellt. Benchmarken Sie das repräsentative Modell, die Prompt-Länge, die Parallelität und die Benutzerroute auf der tatsächlichen Bereitstellung.
Was wird in meinem Kontoworkspace aufbewahrt?
Deine Konfiguration, der ausgewählte Plan, das Image, der Standort und die Abrechnungsperiode werden zusammen mit den Bestell- und Zahlungsanforderungsreferenzen aufbewahrt. Angebote, Zahlungsstatus-Abfragen und Support-Gespräche bleiben mit deinem Konto verknüpft. Lies Erfüllungsdetails getrennt vom Zahlungsstatus.