Hospedagem GPU para inferência de IA: requisitos de VRAM e de serviço
Estime pesos do modelo, cache de contexto e concorrência antes de escolher um 24, 48 ou 80 GB GPU. Planeje autenticação e um teste de inferência representativo.
Conteúdo revisado · Português (BR)
- Arquitetura a avaliar
- Pesos do modelo / cache KV / runtime
- Pontos de partida preparados
- 5 planos
- Responsabilidades
- Aplicação, direitos e recuperação
Uma lista final adequada, não software instalado ou inventário ativo.
Mantenha estes em vista.
- Pesos do modelo / cache KV / runtime.
- A quantização altera o envelope.
- Mantenha o serviço privado o suficiente para suas entradas.
Pesos do modelo / cache KV / runtime
Comece pela memória do modelo, comprimento de contexto e concorrência. Pesos FP16 usam cerca de dois bytes por parâmetro: 13 bilhões de parâmetros exigem cerca de 26 GB apenas para os pesos, e 70 bilhões exigem cerca de 140 GB. Um dispositivo 24 GB não comporta o primeiro em FP16 e um dispositivo 80 GB não comporta o segundo em FP16 sem técnicas adicionais.
A quantização altera o envelope
Uma estimativa de peso de quatro bits é aproximadamente 0.5 bytes por parâmetro antes de metadados, runtime e KV cache. Isso pode tornar um modelo menor, mas altera seus tradeoffs de implantação e qualidade. Faça benchmark do modelo real, contexto, tamanho de lote e engine em vez de equiparar o VRAM da placa à capacidade utilizável do modelo.
Mantenha o serviço privado o suficiente para suas entradas
Ollama ou vLLM podem ser avaliados para uma stack compatível. Coloque autenticação, TLS e cotas em torno de qualquer API público, limite o logging de prompts e defina a retenção. Verifique as licenças de modelos e conjuntos de dados. Uma listagem de GPU não concede acesso a modelos restritos nem uma isenção de lei de exportação.
Torne o teste de inferência reproduzível
Registre a versão e a licença do modelo, a versão do mecanismo de serviço, a precisão ou quantização, o comprimento do prompt e da saída, as solicitações simultâneas e o dispositivo exato. Meça a memória do dispositivo carregada, o tempo até o primeiro token, a taxa de saída sustentada, os erros e o comportamento da fila. Compare as mesmas entradas em cada candidato; a listagem de hardware preparada não fornece nenhum resultado de inferência medido.
| Entrada a manter constante | Resultado a medir |
|---|---|
| Modelo, precisão e versão do mecanismo | Memória GPU carregada e sucesso na inicialização |
| Comprimento do prompt e comprimento de saída solicitado | Tempo até o primeiro token e taxa de saída |
| Concorrência e padrão de chegada de solicitações | Profundidade da fila, crescimento de memória e taxa de erros |
| Rota do usuário e gateway de aplicação | Tempo de resposta ponta a ponta |
| Contagem de parâmetros | FP16 a ~2 bytes / parâmetro | 4 bits a ~0.5 bytes / parâmetro |
|---|---|---|
| 7B | ~14 GB | ~3.5 GB |
| 13B | ~26 GB | ~6.5 GB |
| 70B | ~140 GB | ~35 GB |
Capacidade a considerar.
Combine estes pontos de partida com a aplicação representativa. A instalação de software e o inventário ativo não estão conectados; a especificação exata e o total do período vêm do catálogo.
Spectre 4090
Combine um NVIDIA RTX 4090 com 24 GB de memória GPU, 64 GB de memória do host e 1 TB de armazenamento NVMe para inferência, renderização e experimentos. Opções de imagem CUDA e um uplink de 10 Gbps suportam sua pilha de software; o ajuste do modelo depende da precisão, do comprimento do contexto e da sobrecarga de execução.
- Computação
- 8 vCPU (Threadripper)
- Memória
- 64 GB DDR5
- Armazenamento
- 1 TB NVMe SSD
- Transferência
- 20 TB / mês
cobrado mensalmente
Spectre A6000
Use um NVIDIA RTX A6000 com 48 GB de memória GPU junto com 128 GB de memória do host ECC e 2 TB de armazenamento NVMe. A alocação maior de memória GPU e o uplink 10 Gbps atendem a fluxos de trabalho de inferência ou treinamento selecionados mais exigentes, com a memória do modelo e do otimizador avaliada antes da implantação.
- Computação
- 16 vCPU (EPYC)
- Memória
- 128 GB DDR5
- Armazenamento
- 2 TB NVMe SSD
- Transferência
- 30 TB / mês
cobrado mensalmente
Spectre H100
Crie cargas de trabalho intensivas de acelerador em torno de uma NVIDIA H100 com 80 GB de HBM3, 256 GB de memória do host e 4 TB de armazenamento NVMe. Um uplink de 25 Gbps e uma cota mensal de transferência de 50 TB suportam grandes conjuntos de dados; modelos com muitos parâmetros ainda exigem planejamento cuidadoso de precisão, contexto e memória.
- Computação
- 32 vCPU (EPYC)
- Memória
- 256 GB DDR5
- Armazenamento
- 4 TB NVMe SSD
- Transferência
- 50 TB / mês
cobrado mensalmente
Eclipse EPYC
Consolide cargas de trabalho maiores em um servidor físico EPYC 7443P com 24 núcleos, 48 threads e 128 GB de memória ECC. Dois drives NVMe de 2 TB em par RAID-1 com um uplink de 10 Gbps, 100 TB de transferência mensal e um nível de mitigação de rede de 200 Gbps.
- Computação
- AMD EPYC 7443P (24c / 48t @ 2.85 GHz)
- Memória
- 128 GB DDR4 ECC
- Armazenamento
- 2× 2 TB NVMe (RAID-1)
- Transferência
- 100 TB / mês
cobrado mensalmente
Eclipse Dual
Reserve dois processadores Xeon Gold 6338 para um total de 64 núcleos físicos e 128 threads, suportados por 256 GB de memória ECC. Quatro discos 4 TB NVMe formam RAID-10, com uma porta 10 Gbps, transferência não medida e um nível de mitigação de rede 400 Gbps para grandes cargas de trabalho paralelas.
- Computação
- 2× Intel Xeon Gold 6338 (32c / 64t cada)
- Memória
- 256 GB DDR4 ECC
- Armazenamento
- 4× 4 TB NVMe (RAID-10)
- Transferência
- Sem medição
cobrado mensalmente
Antes que esta carga de trabalho entre em produção.
- Estime pesos, cache de contexto, sobrecarga de runtime e concorrência em conjunto.
- Verifique a memória do dispositivo, a imagem compatível e a região do plano exato.
- Faça benchmark do modelo representativo e da precisão em uma implantação real.
- Proteja o endpoint de serviço com autenticação, TLS e limites de recursos.
- Defina a retenção de prompts, os direitos sobre o modelo e o caminho de recuperação.
Perguntas, respondidas.
Qual modelo se encaixa em um 80 GB GPU?
Use a precisão, os pesos, o contexto, o cache e o tamanho de lote reais. Uma estimativa somente de pesos de 70B FP16 é cerca de 140 GB, portanto não cabe em um dispositivo 80 GB sem técnicas adicionais.
Posso expor uma API de aplicação no estilo OpenAI?
Um mecanismo de serviço compatível pode ser avaliado, com autenticação, TLS, cotas e controles de retenção de requisições. Nenhum mecanismo de serviço ou endpoint público é criado pelo checkout.
O GPU é bare metal ou virtualizado?
Leia a especificação exata de virtualização e acesso do plano. A alocação de dispositivos, o suporte a drivers e o isolamento precisam de uma plataforma de lançamento verificada; não os infira apenas a partir de VRAM.
A latência de resposta superará uma API externa?
Nenhuma comparação medida é feita. Faça benchmark do modelo representativo, comprimento do prompt, concorrência e rota do usuário na implantação real.
O que é mantido no espaço de trabalho da minha conta?
Sua configuração, plano selecionado, imagem, localização e período de cobrança são mantidos com as referências do pedido e da solicitação de pagamento. Cotações, leituras do estado de pagamento e conversas de suporte permanecem vinculadas à sua conta. Leia os detalhes de atendimento separadamente do estado de pagamento.