GPU 用于 AI 推理的托管：VRAM 与 serving 需求
在选择 24、48 或 80 GB GPU 之前，估算模型权重、上下文缓存和并发。规划身份验证和具有代表性的推理测试。
内容已修订 · 简体中文
- 待评估的架构
- 模型权重 / KV 缓存 / 运行时
- 已准备起点
- 5 个方案
- 职责
- 应用程序、权限和恢复
合适的候选名单，而非已安装的软件或实时库存。
将这些保持在视野中。
- 模型权重 / KV 缓存 / 运行时。
- 量化改变包络。
- 保持服务对其输入足够私密。
模型权重 / KV 缓存 / 运行时
从模型内存、上下文长度和并发开始。FP16 权重每个参数大约使用两个字节：13 十亿参数仅权重就需要约 26 GB，而 70 十亿参数需要约 140 GB。24 GB 设备无法在 FP16 中容纳前者，而 80 GB 设备无法在 FP16 中容纳后者，除非使用额外技术。
量化改变包络
在元数据、运行时和 KV 缓存之前，四位权重的估计大约是每个参数 0.5 字节。它可以让模型更小，但会改变其部署和质量的权衡。应对实际模型、上下文、批大小和引擎进行基准测试，而不是将显卡的 VRAM 等同于可用的模型容量。
让服务对输入保持足够私密
可评估 Ollama 或 vLLM 以用于兼容技术栈。为任何公共 API 配置身份验证、TLS 和配额，限制提示日志记录并定义保留。检查模型和数据集许可证。GPU 列表并不授予对受限模型的访问权或出口法律豁免。
使推理测试可复现
记录模型版本和许可证、服务引擎版本、精度或量化、提示和输出长度、并发请求以及确切设备。测量已加载的设备内存、首个 token 时间、持续输出速率、错误和队列行为。在每个候选上比较相同输入；准备好的硬件列表不提供任何经过测量的推理结果。
| 保持恒定的输入 | 要衡量的结果 |
|---|---|
| 模型、精度和引擎版本 | 已加载的 GPU 内存和启动成功 |
| 提示长度和请求的输出长度 | 首个 token 时间与输出速率 |
| 并发和请求到达模式 | 队列深度、内存增长和错误率 |
| 用户路径和应用网关 | 端到端响应时间 |
| 参数数量 | FP16 约为 ~2 字节 / 参数 | 4 位，约 0.5 字节 / 参数 |
|---|---|---|
| 7B | ~14 GB | ~3.5 GB |
| 13B | ~26 GB | ~6.5 GB |
| 70B | ~140 GB | ~35 GB |
值得考虑的容量。
将这些起点与代表性应用相匹配。软件安装和实时清单未连接；确切规格和周期总价来自目录。
Spectre 4090
将一个 NVIDIA RTX 4090 与 24 GB 的 GPU 内存、64 GB 的主机内存和 1 TB 的 NVMe 存储配对，用于推理、渲染和实验。CUDA 镜像选项和 10 Gbps 上行链路支持您的软件栈；模型适配取决于精度、上下文长度和运行时开销。
- 计算
- 8 vCPU (Threadripper)
- 内存
- 64 GB DDR5
- 存储
- 1 TB NVMe SSD
- 传输
- 20 TB / 月
按月计费
Spectre A6000
使用一个 NVIDIA RTX A6000，配备 48 GB 的 GPU 内存，以及 128 GB 的 ECC 主机内存和 2 TB 的 NVMe 存储。更大的 GPU 内存分配和 10 Gbps 上行链路适合更苛刻的推理或选定的训练工作流，部署前需评估模型和优化器内存。
- 计算
- 16 vCPU (EPYC)
- 内存
- 128 GB DDR5
- 存储
- 2 TB NVMe SSD
- 传输
- 30 TB / 月
按月计费
Spectre H100
围绕一个 NVIDIA H100 构建密集型加速器工作负载，配备 80 GB 的 HBM3、256 GB 的主机内存和 4 TB 的 NVMe 存储。25 Gbps 上行链路和 50 TB 的月度传输配额支持大型数据集；高参数模型仍然需要仔细的精度、上下文和内存规划。
- 计算
- 32 vCPU (EPYC)
- 内存
- 256 GB DDR5
- 存储
- 4 TB NVMe SSD
- 传输
- 50 TB / 月
按月计费
Eclipse EPYC
将更大的工作负载整合到一台物理 EPYC 7443P 服务器上，配备 24 个核心、48 个线程和 128 GB 的 ECC 内存。两块 2 TB NVMe 硬盘以 RAID-1 配对，搭配 10 Gbps 上行链路、每月 100 TB 的传输量和 200 Gbps 网络缓解层级。
- 计算
- AMD EPYC 7443P (24c / 48t @ 2.85 GHz)
- 内存
- 128 GB DDR4 ECC
- 存储
- 2× 2 TB NVMe (RAID-1)
- 传输
- 100 TB / 月
按月计费
Eclipse Dual
预留两颗 Xeon Gold 6338 处理器，总计 64 个物理核心和 128 个线程，并配备 256 GB 的 ECC 内存。四块 4 TB NVMe 硬盘组成 RAID-10，并配备一个 10 Gbps 端口、不限量流量以及 400 Gbps 网络缓解层级，适用于大规模并行工作负载。
- 计算
- 2× Intel Xeon Gold 6338（每颗 32c / 64t）
- 内存
- 256 GB DDR4 ECC
- 存储
- 4× 4 TB NVMe (RAID-10)
- 传输
- 流量不计量
按月计费
在此工作负载上线之前。
- 将权重、上下文缓存、运行时开销和并发一起估算。
- 验证确切方案的设备内存、兼容镜像和地区。
- 在实际部署中对代表性模型和精度进行基准测试。
- 通过身份验证、TLS 和资源限制保护服务端点。
- 定义提示保留、模型权利和恢复路径。
问题，已解答。
哪种型号适合 80 GB GPU？
使用实际精度、权重、上下文、缓存和批大小。70B FP16 仅权重估算约为 140 GB，因此若不采用额外技术，它无法装入 80 GB 设备。
我可以暴露一个 OpenAI 风格的应用程序 API 吗？
可以评估兼容的服务引擎，包括身份验证、TLS、配额和请求保留控制。结账不会创建任何服务引擎或公共端点。
GPU 是裸机还是虚拟化？
阅读该确切方案的虚拟化与访问规格。设备分配、驱动支持和隔离需要一个经过验证的启动平台；不要仅凭 VRAM 推断这些内容。
响应延迟会优于外部 API 吗？
未进行实测比较。请在实际部署上对代表性模型、提示长度、并发和用户路线进行基准测试。
我的账户工作区中保留了什么？
您的配置、所选方案、镜像、位置和计费周期会与订单和付款请求参考一起保留。报价、付款状态读取和支持对话仍与您的账户关联。请将履约详情与付款状态分开阅读。