文档 / ML Studio
深度学习与 GPU
逐层设计神经网络、训练分词器、诊断 GPU、估算资源,并在多 GPU 和远程机器上使用 DDP。
本页内容
大多数表格类问题都不需要 GPU:在普通 CPU 上几秒或几分钟就能训练完成。本页面向模型变大的场景:神经网络、视觉、音频、文本和语言模型。
架构设计器
架构设计器 让你无需编写训练循环即可组合神经网络。工作台(“工作台 · 名称”)会显示 网络层;点击 添加层 即可新增一层,并可调整 学习率 和 批大小。
| 类别 | 用途 |
|---|---|
| MLP | 表格数据和小型问题。 |
| CNN | 图像以及具有局部结构的信号。 |
| RNN、LSTM、GRU | 序列和时间序列。 |
| VAE | 压缩表示与生成。 |
| GAN | 由生成器和判别器完成生成。 |
| 扩散 | 通过去噪进行生成。 |
| ViT | 基于注意力的图像模型(视觉 Transformer)。 |
| Transformer encoder / decoder | 文本和长序列。 |
设计保存在 architecture/architecture.yaml 中,随项目一起进行版本管理。例如,一个用于 32×32 图像的小型 CNN:
# architecture/architecture.yaml
kind: cnn
inputs: { shape: [3, 32, 32] }
outputs: { classes: 10 }
components:
- { id: c1, type: conv2d, filters: 32, pool: max2 }
- { id: c2, type: conv2d, filters: 64, pool: max2 }
- { id: flat, type: flatten }
- { id: h1, type: dense, units: 128, dropout: 0.2 }
- { id: out, type: head, kind: classification }除通用网络外,ML Studio 还涵盖图像(分类与检测)、音频(分类与语音转文字)、视频、图(GCN、GAT、GraphSAGE)、强化学习(DQN、PPO、REINFORCE)、多臂老虎机(bandits)以及推荐系统(ALS、BPR)。
分词器
对于自有的文本模型,你可以用项目中的文本训练分词器:
| 类型 | 说明 |
|---|---|
bpe | 经典的字节对编码(Byte-pair encoding)。 |
byte-bpe | 基于字节的 BPE:永远不会出现未知 token。 |
wordpiece | BERT 所用的方式。 |
unigram | 概率子词模型。 |
验证 会衡量未知 token 率(unk)、每个词的 token 数以及 round-trip(编码再解码后是否得到相同文本)。每个分词器都会连同其 sha256 一起进行版本管理:
tokenizers/
└── soporte-es/
├── v1/ tokenizer.json sha256:…
└── v2/ tokenizer.json sha256:…GPU 诊断
GPU 诊断 会检测你电脑上的 Python 可以使用哪些加速器:
| 后端 | 硬件 |
|---|---|
| CUDA | NVIDIA GPU。 |
| ROCm | AMD GPU(Linux)。 |
| DirectML | Windows 上的 GPU(DirectX 12)。 |
| MPS | Apple Silicon(macOS)。 |
| Intel XPU | Intel GPU。 |
测试 CPU 与 GPU 会运行一个简短测试,并告诉你类似“GPU 比 CPU 快 ×8”的结果。如果对你的模型而言差距不大,用 CPU 就够了。
在 监控 › 资源 中可以实时查看 CPU、RAM、GPU 和可用磁盘空间。允许智能体训练(2 小时) 会授权智能体在接下来的两个小时内启动训练。
资源估算
训练开始前,计划会估算所需的内存和时间:
| 部分 | 计入内容 |
|---|---|
| 权重 | 模型的参数。 |
| 梯度 | 每个可训练参数一个。 |
| 优化器 | Adam 等优化器的状态。 |
| 激活值 | 每一步为反向传播保存的内容;随批大小增长。 |
训练结束后,会对比估算值与实际值。如果某个任务放不下,计划会在开始前告诉你,并给出建议:更小的批大小、更低的精度,或对语言模型使用 QLoRA。等待期间,任务会留在队列中,并显示“等待显存:需要 X,可用 Y”。
多 GPU:DDP
如果同一台机器上有两块或以上 CUDA GPU,Yuli 可以使用 DDP(DistributedDataParallel)进行数据并行训练:每块 GPU 处理每个 epoch 中属于自己的那部分数据,然后合并梯度。
# 在训练配置中
training:
distributed:
mode: ddp
devices: auto # 或 GPU 数量仅支持使用 2 块或以上 CUDA GPU 的 DDP。如果无法使用(只有一块 GPU、没有 torch.distributed),训练会以单进程继续,并在指标中注明。张量并行和流水线并行暂不可用。
远程机器
如果你的电脑性能不够,可以通过 SSH 在远程机器或云端训练。启动前,Yuli 会显示数据外发提示:
“数据将发送到 host:会上传数据集以及任务读取的代码。完成后,Yuli 会取回模型、校验每个文件,并删除那里的数据(除非该机器设置为保留数据)。”
- 未经你确认,任何内容都不会外发。
- 你可以为云端机器设置支出上限。
- 在
yuli-ml.yaml中,hardware.prefer: remote表示该项目倾向于在外部训练。