Espaço para um experimento mais pesado
Planeje recursos para treinamento legítimo, ajuste fino e trabalho repetível de modelos.
Conteúdo revisado · Português (BR)
- Arquitetura a avaliar
- LoRA / QLoRA / ajuste fino completo
- Pontos de partida preparados
- 3 planos
- Responsabilidades
- Aplicação, direitos e recuperação
Uma lista final adequada, não software instalado ou inventário ativo.
Mantenha estes em vista.
- LoRA / QLoRA / ajuste fino completo.
- Torne a pilha e os dados reproduzíveis.
- o hardware personalizado é uma solicitação, não estoque.
LoRA / QLoRA / ajuste fino completo
Inferência, ajuste de adaptador e ajuste fino completo têm demandas de memória diferentes. Os pesos são apenas parte da memória de treinamento: ativações, estado do otimizador e gradientes também importam. Verifique o lote, o comprimento da sequência, a precisão e a estratégia de checkpoint no experimento real.
Torne a pilha e os dados reproduzíveis
Um projeto pode usar CUDA, PyTorch, Transformers, Accelerate ou ferramentas relacionadas após verificar compatibilidade. Registre versões de ambiente, direitos de dataset, sementes aleatórias e resultados de avaliação. Prepare dados com segurança e mantenha checkpoints criptografados em um local de recuperação separado.
o hardware personalizado é uma solicitação, não estoque
O catálogo preparado mostra configurações de dispositivo único. Uma topologia multi-GPU, um arranjo NVLink, um prazo de burst curto ou uma data de entrega personalizada precisam de uma proposta explícita e de uma revisão de compatibilidade. Não há agendador por hora nem inventário multi-H100 conectado.
Comece pelo experimento
Tamanho do conjunto de dados, parâmetros do modelo, tamanho do lote e estado do otimizador determinam o requisito de memória. Verifique a compatibilidade do framework e o driver GPU instalado antes de se comprometer com uma execução longa.
Mantenha o trabalho reproduzível
Código de versão, definições de ambiente e proveniência do conjunto de dados. Grave checkpoints fora de diretórios de trabalho temporários e registre configuração suficiente para continuar um trabalho falho ou reproduzir um resultado.
Respeite a fronteira de dados
Material de treinamento pode conter informações protegidas ou pessoais. Confirme os direitos, minimize a entrada de dados sensíveis e controle o acesso a artefatos intermediários, logs e saídas do modelo.
Capacidade a considerar.
Combine estes pontos de partida com a aplicação representativa. A instalação de software e o inventário ativo não estão conectados; a especificação exata e o total do período vêm do catálogo.
Spectre A6000
Use um NVIDIA RTX A6000 com 48 GB de memória GPU junto com 128 GB de memória do host ECC e 2 TB de armazenamento NVMe. A alocação maior de memória GPU e o uplink 10 Gbps atendem a fluxos de trabalho de inferência ou treinamento selecionados mais exigentes, com a memória do modelo e do otimizador avaliada antes da implantação.
- Computação
- 16 vCPU (EPYC)
- Memória
- 128 GB DDR5
- Armazenamento
- 2 TB NVMe SSD
- Transferência
- 30 TB / mês
cobrado mensalmente
Spectre H100
Crie cargas de trabalho intensivas de acelerador em torno de uma NVIDIA H100 com 80 GB de HBM3, 256 GB de memória do host e 4 TB de armazenamento NVMe. Um uplink de 25 Gbps e uma cota mensal de transferência de 50 TB suportam grandes conjuntos de dados; modelos com muitos parâmetros ainda exigem planejamento cuidadoso de precisão, contexto e memória.
- Computação
- 32 vCPU (EPYC)
- Memória
- 256 GB DDR5
- Armazenamento
- 4 TB NVMe SSD
- Transferência
- 50 TB / mês
cobrado mensalmente
Eclipse Dual
Reserve dois processadores Xeon Gold 6338 para um total de 64 núcleos físicos e 128 threads, suportados por 256 GB de memória ECC. Quatro discos 4 TB NVMe formam RAID-10, com uma porta 10 Gbps, transferência não medida e um nível de mitigação de rede 400 Gbps para grandes cargas de trabalho paralelas.
- Computação
- 2× Intel Xeon Gold 6338 (32c / 64t cada)
- Memória
- 256 GB DDR4 ECC
- Armazenamento
- 4× 4 TB NVMe (RAID-10)
- Transferência
- Sem medição
cobrado mensalmente
Antes que esta carga de trabalho entre em produção.
- Verifique o CPU, a memória, o disco, a transferência e a porta do plano exato.
- Escolha uma região listada e verifique o uso permitido da carga de trabalho.
- Teste a aplicação representativa e uma restauração independente.
Perguntas, respondidas.
Posso reservar vários dispositivos H100?
Um arranjo multi-dispositivo é uma solicitação personalizada a ser revisada, não estoque ativo listado. Confirme interconexão, topologia, compatibilidade de framework e entrega antes de se comprometer.
A cobrança do GPU é por hora?
O catálogo preparado usa totais mensais, anuais e bienais. Nenhum agendador de cobrança por hora está conectado. Um prazo de burst especial precisaria de sua própria proposta aceita.
Posso treinar com informações pessoais?
Direitos sobre conjuntos de dados, uma base legal de processamento, acesso, retenção e transferências precisam de avaliação. Uma região ou dispositivo específico não cria essa permissão.
Frameworks e permissões de dispositivos restritos estão incluídos?
A compatibilidade da estrutura e qualquer restrição de exportação ou acesso aplicável devem ser verificadas para o operador e a carga de trabalho reais. Nenhuma isenção geral ou ambiente de treinamento pré-instalado é alegado.
O que é mantido no espaço de trabalho da minha conta?
Sua configuração, plano selecionado, imagem, localização e período de cobrança são mantidos com as referências do pedido e da solicitação de pagamento. Cotações, leituras do estado de pagamento e conversas de suporte permanecem vinculadas à sua conta. Leia os detalhes de atendimento separadamente do estado de pagamento.