Documentație / ML Studio

Deep learning și GPU

Proiectează rețele neuronale strat cu strat, antrenează tokenizere, diagnostichează GPU-ul, estimează resursele, folosește DDP cu mai multe GPU-uri și mașini la distanță.

Pe această pagină

Pentru majoritatea problemelor tabulare nu ai nevoie de GPU: se antrenează în câteva secunde sau minute pe un CPU obișnuit. Pagina aceasta este pentru momentul în care modelul crește: rețele neuronale, viziune, audio, text și modele de limbaj.

Designerul de arhitectură

Designerul de arhitectură compune rețele neuronale fără să scrii bucla de antrenare. Atelierul („Atelier · nume”) arată Straturile rețelei; apasă Adaugă strat ca să adaugi unul și ajustează Rata de învățare și Dimensiunea lotului.

FamilieLa ce folosește
MLPDate tabulare și probleme mici.
CNNImagini și semnale cu structură locală.
RNN, LSTM, GRUSecvențe și serii temporale.
VAEReprezentări comprimate și generare.
GANGenerare cu un generator și un discriminator.
DifuzieGenerare prin eliminarea zgomotului.
ViTImagini cu atenție (transformer de viziune).
Transformer encoder / decoderText și secvențe lungi.

Designul se salvează în architecture/architecture.yaml, versionat împreună cu proiectul. De exemplu, o CNN mică pentru imagini de 32×32:

yaml
# architecture/architecture.yaml
kind: cnn
inputs: { shape: [3, 32, 32] }
outputs: { classes: 10 }
components:
  - { id: c1, type: conv2d, filters: 32, pool: max2 }
  - { id: c2, type: conv2d, filters: 64, pool: max2 }
  - { id: flat, type: flatten }
  - { id: h1, type: dense, units: 128, dropout: 0.2 }
  - { id: out, type: head, kind: classification }

Pe lângă rețelele generale, ML Studio acoperă imagini (clasificare și detecție), audio (clasificare și transcriere vorbire în text), video, grafuri (GCN, GAT, GraphSAGE), învățare prin întărire (DQN, PPO, REINFORCE), bandits și sisteme de recomandare (ALS, BPR).

Tokenizere

Pentru modele de text proprii poți antrena un tokenizer cu textele proiectului:

TipNotă
bpeByte-pair encoding clasic.
byte-bpeBPE pe octeți: nu există niciodată tokeni necunoscuți.
wordpieceStilul BERT.
unigramModel probabilistic de subcuvinte.

Validează măsoară rata tokenilor necunoscuți (unk), tokenii pe cuvânt și round-trip-ul (dacă codificarea și decodificarea întorc același text). Fiecare tokenizer este versionat cu sha256-ul lui:

text
tokenizers/
└── soporte-es/
    ├── v1/   tokenizer.json  sha256:…
    └── v2/   tokenizer.json  sha256:…

Diagnostic GPU

Diagnostic GPU detectează ce acceleratoare poate folosi Python pe calculatorul tău:

BackendHardware
CUDAGPU NVIDIA.
ROCmGPU AMD (Linux).
DirectMLGPU în Windows (DirectX 12).
MPSApple Silicon (macOS).
Intel XPUGPU Intel.

Testează CPU vs GPU rulează un test scurt și îți spune, de exemplu, „GPU-ul este de ×8 ori mai rapid decât CPU-ul”. Dacă diferența este mică pentru modelul tău, CPU-ul este suficient.

În Supraveghere › Resurse vezi în timp real CPU, RAM, GPU și spațiul liber pe disc. Permite agenților să antreneze (2 h) le dă agenților permisiunea de a lansa antrenări în următoarele două ore.

Resurse estimate

Înainte de antrenare, planul estimează memoria necesară și timpul:

ParteCe include
PonderiParametrii modelului.
GradiențiCâte unul pentru fiecare parametru antrenabil.
OptimizatorStarea lui Adam și a celor similari.
ActivăriCe se salvează la fiecare pas pentru propagarea înapoi; crește odată cu dimensiunea lotului.

La final compară estimat vs real. Dacă o lucrare nu încape, planul îți spune înainte de a începe și sugerează opțiuni: un lot mai mic, o precizie mai redusă sau QLoRA pentru modelele de limbaj. Cât timp așteaptă, lucrarea rămâne în coadă cu „Așteaptă VRAM: necesită X, există Y”.

Mai multe GPU-uri: DDP

Cu două sau mai multe GPU-uri CUDA pe aceeași mașină, Yuli poate antrena în paralelism de date cu DDP (DistributedDataParallel): fiecare GPU procesează partea sa din fiecare epocă, iar gradienții se combină.

yaml
# în configurația antrenării
training:
  distributed:
    mode: ddp
    devices: auto     # sau un număr de GPU-uri

Este acceptat doar DDP cu 2 sau mai multe GPU-uri CUDA. Dacă nu este posibil (un singur GPU, fără torch.distributed), antrenarea continuă într-un singur proces și indică acest lucru în metrici. Paralelismul de tensori sau de pipeline nu este disponibil.

Mașini la distanță

Dacă puterea calculatorului tău nu ajunge, poți antrena pe o mașină la distanță prin SSH sau în cloud. Înainte de lansare, Yuli afișează un avertisment de ieșire a datelor:

„Datele ies către host: se încarcă setul de date și codul pe care îl citește lucrarea. La final, Yuli aduce modelul, verifică fiecare fișier și șterge datele de acolo (cu excepția cazului în care mașina le păstrează).”

  • Nimic nu iese fără confirmarea ta.
  • Poți stabili o limită de cheltuieli pentru mașinile din cloud.
  • În yuli-ml.yaml, hardware.prefer: remote indică faptul că proiectul preferă antrenarea în altă parte.

Vezi Confidențialitate și sandbox ML și Containere și dezvoltare la distanță.