文档 / ML Studio

深度学习与 GPU

逐层设计神经网络、训练分词器、诊断 GPU、估算资源,并在多 GPU 和远程机器上使用 DDP。

本页内容

大多数表格类问题都不需要 GPU:在普通 CPU 上几秒或几分钟就能训练完成。本页面向模型变大的场景:神经网络、视觉、音频、文本和语言模型。

架构设计器

架构设计器 让你无需编写训练循环即可组合神经网络。工作台(“工作台 · 名称”)会显示 网络层;点击 添加层 即可新增一层,并可调整 学习率 和 批大小。

类别用途
MLP表格数据和小型问题。
CNN图像以及具有局部结构的信号。
RNN、LSTM、GRU序列和时间序列。
VAE压缩表示与生成。
GAN由生成器和判别器完成生成。
扩散通过去噪进行生成。
ViT基于注意力的图像模型(视觉 Transformer)。
Transformer encoder / decoder文本和长序列。

设计保存在 architecture/architecture.yaml 中,随项目一起进行版本管理。例如,一个用于 32×32 图像的小型 CNN:

yaml
# architecture/architecture.yaml
kind: cnn
inputs: { shape: [3, 32, 32] }
outputs: { classes: 10 }
components:
  - { id: c1, type: conv2d, filters: 32, pool: max2 }
  - { id: c2, type: conv2d, filters: 64, pool: max2 }
  - { id: flat, type: flatten }
  - { id: h1, type: dense, units: 128, dropout: 0.2 }
  - { id: out, type: head, kind: classification }

除通用网络外,ML Studio 还涵盖图像(分类与检测)、音频(分类与语音转文字)、视频、图(GCN、GAT、GraphSAGE)、强化学习(DQN、PPO、REINFORCE)、多臂老虎机(bandits)以及推荐系统(ALS、BPR)。

分词器

对于自有的文本模型,你可以用项目中的文本训练分词器:

类型说明
bpe经典的字节对编码(Byte-pair encoding)。
byte-bpe基于字节的 BPE:永远不会出现未知 token。
wordpieceBERT 所用的方式。
unigram概率子词模型。

验证 会衡量未知 token 率(unk)、每个词的 token 数以及 round-trip(编码再解码后是否得到相同文本)。每个分词器都会连同其 sha256 一起进行版本管理:

text
tokenizers/
└── soporte-es/
    ├── v1/   tokenizer.json  sha256:…
    └── v2/   tokenizer.json  sha256:…

GPU 诊断

GPU 诊断 会检测你电脑上的 Python 可以使用哪些加速器:

后端硬件
CUDANVIDIA GPU。
ROCmAMD GPU(Linux)。
DirectMLWindows 上的 GPU(DirectX 12)。
MPSApple Silicon(macOS)。
Intel XPUIntel GPU。

测试 CPU 与 GPU 会运行一个简短测试,并告诉你类似“GPU 比 CPU 快 ×8”的结果。如果对你的模型而言差距不大,用 CPU 就够了。

在 监控 › 资源 中可以实时查看 CPU、RAM、GPU 和可用磁盘空间。允许智能体训练(2 小时) 会授权智能体在接下来的两个小时内启动训练。

资源估算

训练开始前,计划会估算所需的内存和时间:

部分计入内容
权重模型的参数。
梯度每个可训练参数一个。
优化器Adam 等优化器的状态。
激活值每一步为反向传播保存的内容;随批大小增长。

训练结束后,会对比估算值与实际值。如果某个任务放不下,计划会在开始前告诉你,并给出建议:更小的批大小、更低的精度,或对语言模型使用 QLoRA。等待期间,任务会留在队列中,并显示“等待显存:需要 X,可用 Y”。

多 GPU:DDP

如果同一台机器上有两块或以上 CUDA GPU,Yuli 可以使用 DDP(DistributedDataParallel)进行数据并行训练:每块 GPU 处理每个 epoch 中属于自己的那部分数据,然后合并梯度。

yaml
# 在训练配置中
training:
  distributed:
    mode: ddp
    devices: auto     # 或 GPU 数量

仅支持使用 2 块或以上 CUDA GPU 的 DDP。如果无法使用(只有一块 GPU、没有 torch.distributed),训练会以单进程继续,并在指标中注明。张量并行和流水线并行暂不可用。

远程机器

如果你的电脑性能不够,可以通过 SSH 在远程机器或云端训练。启动前,Yuli 会显示数据外发提示:

“数据将发送到 host:会上传数据集以及任务读取的代码。完成后,Yuli 会取回模型、校验每个文件,并删除那里的数据(除非该机器设置为保留数据)。”

  • 未经你确认,任何内容都不会外发。
  • 你可以为云端机器设置支出上限。
  • 在 yuli-ml.yaml 中,hardware.prefer: remote 表示该项目倾向于在外部训练。

参见ML 隐私与沙箱和容器与远程开发。