Dokumentation / ML Studio

Deep Learning und GPU

Entwirf neuronale Netze Schicht für Schicht, trainiere Tokenizer, diagnostiziere deine GPU, schätze Ressourcen, nutze DDP mit mehreren GPUs und entfernte Rechner.

Auf dieser Seite

Für die meisten tabellarischen Probleme brauchst du keine GPU: Sie trainieren in Sekunden oder Minuten auf einer normalen CPU. Diese Seite ist für den Fall, dass das Modell wächst: neuronale Netze, Bild, Audio, Text und Sprachmodelle.

Architektur-Designer

Der Architektur-Designer setzt neuronale Netze zusammen, ohne dass du die Trainingsschleife schreibst. Die Werkstatt („Werkstatt · Name“) zeigt die Schichten des Netzes; klicke auf Schicht hinzufügen, um eine zu ergänzen, und passe Lernrate und Batchgröße an.

FamilieWofür sie dient
MLPTabellarische Daten und kleine Probleme.
CNNBilder und Signale mit lokaler Struktur.
RNN, LSTM, GRUSequenzen und Zeitreihen.
VAEKomprimierte Repräsentationen und Generierung.
GANGenerierung mit einem Generator und einem Diskriminator.
DiffusionGenerierung durch Entrauschen.
ViTBilder mit Attention (Vision Transformer).
Transformer Encoder / DecoderText und lange Sequenzen.

Der Entwurf wird in architecture/architecture.yaml gespeichert und mit dem Projekt versioniert. Zum Beispiel ein kleines CNN für Bilder mit 32×32 Pixeln:

yaml
# architecture/architecture.yaml
kind: cnn
inputs: { shape: [3, 32, 32] }
outputs: { classes: 10 }
components:
  - { id: c1, type: conv2d, filters: 32, pool: max2 }
  - { id: c2, type: conv2d, filters: 64, pool: max2 }
  - { id: flat, type: flatten }
  - { id: h1, type: dense, units: 128, dropout: 0.2 }
  - { id: out, type: head, kind: classification }

Neben allgemeinen Netzen deckt ML Studio Bilder (Klassifikation und Erkennung), Audio (Klassifikation und Sprache zu Text), Video, Graphen (GCN, GAT, GraphSAGE), Reinforcement Learning (DQN, PPO, REINFORCE), Bandits und Empfehlungssysteme (ALS, BPR) ab.

Tokenizer

Für eigene Textmodelle kannst du einen Tokenizer mit den Texten des Projekts trainieren:

TypHinweis
bpeKlassisches Byte-Pair-Encoding.
byte-bpeBPE auf Bytes: Es gibt nie unbekannte Tokens.
wordpieceDer Stil von BERT.
unigramProbabilistisches Subword-Modell.

Validieren misst die Rate unbekannter Tokens (unk), die Tokens pro Wort und den Round-Trip (dass Kodieren und Dekodieren denselben Text zurückgibt). Jeder Tokenizer wird mit seinem sha256 versioniert:

text
tokenizers/
└── soporte-es/
    ├── v1/   tokenizer.json  sha256:…
    └── v2/   tokenizer.json  sha256:…

GPU-Diagnose

GPU-Diagnose erkennt, welche Beschleuniger Python auf deinem Rechner nutzen kann:

BackendHardware
CUDANVIDIA-GPU.
ROCmAMD-GPU (Linux).
DirectMLGPU unter Windows (DirectX 12).
MPSApple Silicon (macOS).
Intel XPUIntel-GPU.

CPU vs. GPU testen führt einen kurzen Test aus und sagt dir zum Beispiel: „Die GPU ist ×8 schneller als die CPU“. Wenn der Unterschied für dein Modell klein ist, reicht die CPU.

Unter Überwachung › Ressourcen siehst du CPU, RAM, GPU und freien Speicherplatz live. Agenten trainieren lassen (2 h) erlaubt den Agenten, in den nächsten zwei Stunden Trainings zu starten.

Geschätzte Ressourcen

Vor dem Training schätzt der Plan den benötigten Speicher und die Zeit:

TeilWas zählt
GewichteDie Parameter des Modells.
GradientenEiner pro trainierbarem Parameter.
OptimiererDer Zustand von Adam und Ähnlichen.
AktivierungenWas in jedem Schritt für die Backpropagation gespeichert wird; wächst mit der Batchgröße.

Am Ende vergleicht er geschätzt vs. tatsächlich. Wenn ein Job nicht passt, sagt dir der Plan das vor dem Start und schlägt Optionen vor: kleinerer Batch, geringere Präzision oder QLoRA für Sprachmodelle. Solange er wartet, bleibt der Job mit „Wartet auf VRAM: braucht X, verfügbar Y“ in der Warteschlange.

Mehrere GPUs: DDP

Mit zwei oder mehr CUDA-GPUs auf demselben Rechner kann Yuli datenparallel mit DDP (DistributedDataParallel) trainieren: Jede GPU verarbeitet ihren Teil jeder Epoche, und die Gradienten werden zusammengeführt.

yaml
# in der Trainingskonfiguration
training:
  distributed:
    mode: ddp
    devices: auto     # oder eine Anzahl GPUs

Unterstützt wird nur DDP mit 2 oder mehr CUDA-GPUs. Wenn das nicht möglich ist (nur eine GPU, kein torch.distributed), läuft das Training in einem einzigen Prozess weiter und vermerkt das in den Metriken. Tensor- oder Pipeline-Parallelität ist nicht verfügbar.

Entfernte Rechner

Wenn dein Rechner nicht ausreicht, kannst du auf einem entfernten Rechner per SSH oder in der Cloud trainieren. Vor dem Start zeigt Yuli einen Hinweis zum Datenausgang:

„Die Daten gehen an host: Der Datensatz und der Code, den der Job liest, werden hochgeladen. Am Ende holt Yuli das Modell zurück, prüft jede Datei und löscht die Daten dort (sofern der Rechner sie nicht behält).“

  • Nichts geht hinaus, ohne dass du es bestätigst.
  • Du kannst eine Kostenobergrenze für Cloud-Rechner festlegen.
  • In yuli-ml.yaml gibt hardware.prefer: remote an, dass das Projekt extern trainieren möchte.

Siehe Datenschutz und Sandbox für ML und Container und Remote-Entwicklung.