工作负载蓝图

为更重的实验留出空间

为合法训练、微调和可重复的模型工作规划资源。

2 分钟阅读简体中文

内容已修订 · 简体中文

概览
待评估的架构
LoRA / QLoRA / 全量微调
已准备起点
3 个方案

合适的候选名单,而非已安装的软件或实时库存。

职责
应用程序、权限和恢复
实用部分

将这些保持在视野中。

  • LoRA / QLoRA / 全量微调。
  • 让技术栈和数据可复现。
  • 自定义硬件是请求,不是现货。
01

LoRA / QLoRA / 全量微调

推理、适配器调优和完全微调有不同的内存需求。权重只是训练内存的一部分:激活值、优化器状态和梯度也很重要。请在实际实验中检查批次、序列长度、精度和检查点策略。

02

让技术栈和数据可复现

项目在检查兼容性后可以使用 CUDA、PyTorch、Transformers、Accelerate 或相关工具。记录环境版本、数据集权利、随机种子和评估结果。安全地暂存数据,并将检查点加密保存在单独的恢复位置。

03

自定义硬件是请求,不是现货

准备好的目录显示单设备配置。多 GPU 拓扑、NVLink 布置、短突发期限或自定义交付日期需要明确的提案和兼容性审查。未连接任何按小时调度器或多 H100 库存。

04

从实验开始

数据集大小、模型参数、批大小和优化器状态决定内存需求。在承诺长时间运行之前,请检查框架兼容性和已安装的 GPU 驱动程序。

05

保持工作可复现

版本代码、环境定义和数据集来源。将检查点写入临时工作目录之外,并记录足够的配置,以便继续失败的任务或复现结果。

06

尊重数据边界

训练材料可能包含受保护或个人信息。确认权利、尽量减少敏感输入,并控制对中间产物、日志和模型输出的访问。

一个实用的起点

值得考虑的容量。

3预备方案

将这些起点与代表性应用相匹配。软件安装和实时清单未连接;确切规格和周期总价来自目录。

下一步之前

在此工作负载上线之前。

  • 检查确切方案的 CPU、内存、磁盘、流量和端口。
  • 选择列出的区域并核实工作负载的允许用途。
  • 测试代表性应用程序和独立恢复。
多一点背景

问题,已解答。

我可以预留多台 H100 设备吗?

多设备安排是需要审查的自定义请求,不是列出的实时库存。在承诺之前确认互连、拓扑、框架兼容性和交付。

GPU 是按小时计费吗?

准备好的目录使用月度、年度和两年期总额。未连接任何按小时计费调度器。特殊突发期限需要其自己已接受的提案。

我可以基于个人信息进行训练吗?

数据集权利、合法处理依据、访问、保留和传输都需要评估。特定地区或设备并不会产生该许可。

是否包含框架和受限设备权限?

必须针对实际运营方和工作负载检查框架兼容性以及任何适用的出口或访问限制。不声称有任何一揽子豁免或预装培训环境。

我的账户工作区中保留了什么?

您的配置、所选方案、镜像、位置和计费周期会与订单和付款请求参考一起保留。报价、付款状态读取和支持对话仍与您的账户关联。请将履约详情与付款状态分开阅读。