Spectre 4090
将一个 NVIDIA RTX 4090 与 24 GB 的 GPU 内存、64 GB 的主机内存和 1 TB 的 NVMe 存储配对,用于推理、渲染和实验。CUDA 镜像选项和 10 Gbps 上行链路支持您的软件栈;模型适配取决于精度、上下文长度和运行时开销。
- 加速器一个 NVIDIA RTX 4090,配备 24 GB VRAM
- 计算8 vCPU (Threadripper)
- 内存64 GB DDR5
- 存储1 TB NVMe SSD
- 传输20 TB / 月
- DDoS 保护40 Gbps
- IPv4包含 1 个
- 网络端口10 Gbps
- 平台Bare-Metal
- IPv6/64 个子网
- 一个 NVIDIA RTX 4090,配备 24 GB VRAM
- 位置仅限于冰岛、瑞士、荷兰和摩尔多瓦
- PyTorch、vLLM 和 Ollama 堆栈兼容性
- 10 Gbps 上行链路
位置与软件
Ubuntu 22.04 + CUDA 12 · Debian + CUDA 12 · Custom
配置说明- GPU 内存与 64 GB 主机内存分配相互独立
- CUDA 镜像选项列在操作系统选择中
- 一个 13B FP16 模型仅权重就需要约 26 GB,如果不采用不同的内存策略,会超过 24 GB VRAM
- 量化、上下文长度、KV 缓存和运行时开销决定模型适配