- 待评估的架构
- LoRA / QLoRA / 全量微调
- 已准备起点
- 3 个方案
- 职责
- 应用程序、权限和恢复
合适的候选名单,而非已安装的软件或实时库存。
将这些保持在视野中。
- LoRA / QLoRA / 全量微调。
- 让技术栈和数据可复现。
- 自定义硬件是请求,不是现货。
LoRA / QLoRA / 全量微调
推理、适配器调优和完全微调有不同的内存需求。权重只是训练内存的一部分:激活值、优化器状态和梯度也很重要。请在实际实验中检查批次、序列长度、精度和检查点策略。
让技术栈和数据可复现
项目在检查兼容性后可以使用 CUDA、PyTorch、Transformers、Accelerate 或相关工具。记录环境版本、数据集权利、随机种子和评估结果。安全地暂存数据,并将检查点加密保存在单独的恢复位置。
自定义硬件是请求,不是现货
准备好的目录显示单设备配置。多 GPU 拓扑、NVLink 布置、短突发期限或自定义交付日期需要明确的提案和兼容性审查。未连接任何按小时调度器或多 H100 库存。
从实验开始
数据集大小、模型参数、批大小和优化器状态决定内存需求。在承诺长时间运行之前,请检查框架兼容性和已安装的 GPU 驱动程序。
保持工作可复现
版本代码、环境定义和数据集来源。将检查点写入临时工作目录之外,并记录足够的配置,以便继续失败的任务或复现结果。
尊重数据边界
训练材料可能包含受保护或个人信息。确认权利、尽量减少敏感输入,并控制对中间产物、日志和模型输出的访问。
值得考虑的容量。
将这些起点与代表性应用相匹配。软件安装和实时清单未连接;确切规格和周期总价来自目录。
Spectre A6000
使用一个 NVIDIA RTX A6000,配备 48 GB 的 GPU 内存,以及 128 GB 的 ECC 主机内存和 2 TB 的 NVMe 存储。更大的 GPU 内存分配和 10 Gbps 上行链路适合更苛刻的推理或选定的训练工作流,部署前需评估模型和优化器内存。
- 计算
- 16 vCPU (EPYC)
- 内存
- 128 GB DDR5
- 存储
- 2 TB NVMe SSD
- 传输
- 30 TB / 月
按月计费
Spectre H100
围绕一个 NVIDIA H100 构建密集型加速器工作负载,配备 80 GB 的 HBM3、256 GB 的主机内存和 4 TB 的 NVMe 存储。25 Gbps 上行链路和 50 TB 的月度传输配额支持大型数据集;高参数模型仍然需要仔细的精度、上下文和内存规划。
- 计算
- 32 vCPU (EPYC)
- 内存
- 256 GB DDR5
- 存储
- 4 TB NVMe SSD
- 传输
- 50 TB / 月
按月计费
Eclipse Dual
预留两颗 Xeon Gold 6338 处理器,总计 64 个物理核心和 128 个线程,并配备 256 GB 的 ECC 内存。四块 4 TB NVMe 硬盘组成 RAID-10,并配备一个 10 Gbps 端口、不限量流量以及 400 Gbps 网络缓解层级,适用于大规模并行工作负载。
- 计算
- 2× Intel Xeon Gold 6338(每颗 32c / 64t)
- 内存
- 256 GB DDR4 ECC
- 存储
- 4× 4 TB NVMe (RAID-10)
- 传输
- 流量不计量
按月计费
在此工作负载上线之前。
- 检查确切方案的 CPU、内存、磁盘、流量和端口。
- 选择列出的区域并核实工作负载的允许用途。
- 测试代表性应用程序和独立恢复。
问题,已解答。
我可以预留多台 H100 设备吗?
多设备安排是需要审查的自定义请求,不是列出的实时库存。在承诺之前确认互连、拓扑、框架兼容性和交付。
GPU 是按小时计费吗?
准备好的目录使用月度、年度和两年期总额。未连接任何按小时计费调度器。特殊突发期限需要其自己已接受的提案。
我可以基于个人信息进行训练吗?
数据集权利、合法处理依据、访问、保留和传输都需要评估。特定地区或设备并不会产生该许可。
是否包含框架和受限设备权限?
必须针对实际运营方和工作负载检查框架兼容性以及任何适用的出口或访问限制。不声称有任何一揽子豁免或预装培训环境。
我的账户工作区中保留了什么?
您的配置、所选方案、镜像、位置和计费周期会与订单和付款请求参考一起保留。报价、付款状态读取和支持对话仍与您的账户关联。请将履约详情与付款状态分开阅读。