Belgeler / ML Studio

Derin öğrenme ve GPU

Sinir ağlarını katman katman tasarlayın, tokenizer eğitin, GPU'nuzu tanılayın, kaynakları tahmin edin, birden fazla GPU ile DDP'yi ve uzak makineleri kullanın.

Bu sayfada

Tablo problemlerinin çoğu için GPU gerekmez: sıradan bir CPU'da saniyeler veya dakikalar içinde eğitilirler. Bu sayfa model büyüdüğünde içindir: sinir ağları, görüntü, ses, metin ve dil modelleri.

Mimari tasarımcısı

Mimari tasarımcısı, eğitim döngüsünü yazmadan sinir ağları oluşturur. Atölye («Atölye · ad») Ağın katmanları'nı gösterir; bir katman eklemek için Katman ekle düğmesine basın ve Öğrenme oranı ile Yığın boyutu'nu ayarlayın.

AileNe için
MLPTablo verileri ve küçük problemler.
CNNYerel yapıya sahip görüntüler ve sinyaller.
RNN, LSTM, GRUDiziler ve zaman serileri.
VAESıkıştırılmış temsiller ve üretim.
GANBir üretici ve bir ayırt edici ile üretim.
DifüzyonGürültü giderme yoluyla üretim.
ViTDikkat mekanizmalı görüntüler (görsel transformer).
Transformer encoder / decoderMetin ve uzun diziler.

Tasarım, projeyle birlikte sürümlenen architecture/architecture.yaml içine kaydedilir. Örneğin 32×32 görüntüler için küçük bir CNN:

yaml
# architecture/architecture.yaml
kind: cnn
inputs: { shape: [3, 32, 32] }
outputs: { classes: 10 }
components:
  - { id: c1, type: conv2d, filters: 32, pool: max2 }
  - { id: c2, type: conv2d, filters: 64, pool: max2 }
  - { id: flat, type: flatten }
  - { id: h1, type: dense, units: 128, dropout: 0.2 }
  - { id: out, type: head, kind: classification }

Genel ağların yanı sıra ML Studio; görüntüleri (sınıflandırma ve tespit), sesi (sınıflandırma ve konuşmadan metne), videoyu, grafları (GCN, GAT, GraphSAGE), pekiştirmeli öğrenmeyi (DQN, PPO, REINFORCE), bandit'leri ve öneri sistemlerini (ALS, BPR) kapsar.

Tokenizer'lar

Kendi metin modelleriniz için projenin metinleriyle bir tokenizer eğitebilirsiniz:

TürNot
bpeKlasik byte-pair encoding.
byte-bpeBaytlar üzerinde BPE: bilinmeyen token hiçbir zaman oluşmaz.
wordpieceBERT tarzı.
unigramOlasılıksal alt sözcük modeli.

Doğrula, bilinmeyen token oranını (unk), sözcük başına token sayısını ve round-trip'i (kodlayıp çözmenin aynı metni geri verip vermediğini) ölçer. Her tokenizer sha256 değeriyle sürümlenir:

text
tokenizers/
└── soporte-es/
    ├── v1/   tokenizer.json  sha256:…
    └── v2/   tokenizer.json  sha256:…

GPU tanılama

GPU tanılama, Python'un bilgisayarınızda hangi hızlandırıcıları kullanabileceğini algılar:

BackendDonanım
CUDANVIDIA GPU.
ROCmAMD GPU (Linux).
DirectMLWindows'ta GPU (DirectX 12).
MPSApple Silicon (macOS).
Intel XPUIntel GPU.

CPU ile GPU'yu karşılaştır kısa bir test çalıştırır ve size örneğin «GPU, CPU'dan ×8 daha hızlı» der. Fark modeliniz için küçükse CPU yeterlidir.

İzleme › Kaynaklar içinde CPU, RAM, GPU ve boş disk alanını canlı olarak görürsünüz. Ajanların eğitim yapmasına izin ver (2 sa), ajanlara önümüzdeki iki saat boyunca eğitim başlatma izni verir.

Tahmini kaynaklar

Eğitimden önce plan, gereken belleği ve süreyi tahmin eder:

BölümNeyi sayar
AğırlıklarModelin parametreleri.
GradyanlarEğitilebilir her parametre için bir tane.
Optimize ediciAdam ve benzerlerinin durumu.
AktivasyonlarGeri yayılım için her adımda saklananlar; yığın boyutuyla birlikte büyür.

Bitince tahmini ve gerçek değerleri karşılaştırır. Bir iş sığmıyorsa plan bunu başlamadan önce söyler ve seçenekler önerir: daha küçük bir yığın, daha düşük hassasiyet veya dil modelleri için QLoRA. Beklerken iş «VRAM bekleniyor: X gerekli, Y var» ile kuyrukta kalır.

Birden fazla GPU: DDP

Aynı makinede iki veya daha fazla CUDA GPU varsa Yuli, DDP (DistributedDataParallel) ile veri paralel eğitim yapabilir: her GPU her epoch'un kendi payını işler ve gradyanlar birleştirilir.

yaml
# eğitim yapılandırmasında
training:
  distributed:
    mode: ddp
    devices: auto     # veya bir GPU sayısı

Yalnızca 2 veya daha fazla CUDA GPU ile DDP desteklenir. Mümkün değilse (tek GPU, torch.distributed yok), eğitim tek bir süreçte devam eder ve bunu metriklerde belirtir. Tensör veya pipeline paralelliği kullanılamaz.

Uzak makineler

Bilgisayarınız yetmezse SSH üzerinden uzak bir makinede veya bulutta eğitim yapabilirsiniz. Başlatmadan önce Yuli bir veri çıkışı uyarısı gösterir:

«Veriler host'a çıkıyor: veri kümesi ve işin okuduğu kod yüklenir. Bitince Yuli modeli geri getirir, her dosyayı doğrular ve oradaki verileri siler (makine onları saklamıyorsa).»

  • Siz onaylamadan hiçbir şey çıkmaz.
  • Bulut makineleri için bir harcama sınırı belirleyebilirsiniz.
  • yuli-ml.yaml içinde hardware.prefer: remote, projenin dışarıda eğitimi tercih ettiğini belirtir.

Bkz. ML gizliliği ve sandbox ve Kapsayıcılar ve uzak geliştirme.