Belgeler / ML Studio

Eğitim

Stratejiyi sekiz soruyla tasarlayın, bir eğitim başlatın, eğriyi canlı izleyin, deneyleri karşılaştırın ve SDK ile kendi betiğinizden raporlayın.

Bu sayfada

Yuli'de eğitim; planı, doğrulaması ve kaydı olan bir iştir: sohbeti kapatsanız da devam eder, duraklatılabilir ve ayrıca değerlendirilen bir model sürümü bırakır.

Stratejiyi tasarlama

Tasarla sekmesinde Yuli bir strateji önerir ve bunu sekiz soruyu yanıtlayarak gerekçelendirir:

#SoruÖrnek yanıt
1Ne öğrenirBir müşterinin önümüzdeki 90 gün içinde ayrılıp ayrılmayacağı.
2Hangi stratejiyi seçtiSıfırdan, gradient boosting ile.
3NedenTablo verileri, 40 000 satır, önceki model yok.
4Hangi alternatifleri değerlendirdiLojistik regresyon (referans) ve random forest.
5Hangi kaynaklara ihtiyaç duyarCPU, birkaç dakika, az bellek.
6Hangi sınırlamaları varBir aydan yeni müşterileri tanımaz.
7İyileştiğini nasıl anlayacağızTestte F1 ≥ 0,85 ve referanstan daha iyi.
8Destek düzeyiBu yolun Yuli'de ne kadar test edildiği.

İnceleyin, gerekeni ayarlayın ve Onayla ve eğit › düğmesine basın.

Stratejiler

StratejiNe zaman
SıfırdanÖnceki bir model yoksa.
Sıcak başlangıçÖnceki bir sürümün ağırlıklarından devam etmek için.
İnce ayarZaten eğitilmiş bir modeli verilerinize uyarlamak için.
Özellik çıkarmaBir modeli değişken üreticisi olarak kullanmak için.
Yarı denetimliAz etiket ve çok sayıda etiketsiz örnek varsa.
Öz denetimliEtiketsiz verilerden yapı öğrenmek için.
Sürekli öğrenmeÖğrendiklerini unutmadan modeli yeni verilerle güncellemek için.

Yeni eğitim

Yeni eğitim içinde şunları doldurursunuz:

AlanNedir
Veri kümesiEğitimde kullanılan veri sürümü.
Tahmin edilecek sütunHedef (target).
Frameworkscikit-learn, PyTorch, Transformers, XGBoost, LightGBM veya kendi betiğiniz.
AlgoritmaBelirli bir algoritma veya Otomatik (Yuli seçer).
Epoch'larVeriler üzerinden kaç geçiş yapılacağı (sinir ağları).
CihazCPU veya GPU.
ModTek eğitim, Hiperparametre araması veya AutoML.

Dahil olan tablo algoritmaları: lojistik ve doğrusal regresyon, ridge, lasso, random forest, extra trees, gradient boosting, karar ağacı, kNN, naive bayes, SVM, SGD ve MLP. Anomaliler için: isolation forest, LOF ve sağlam z-score.

Eğit düğmesine bastığınızda Yuli sırasıyla üç şey yapar:

  1. Planla: belleği, süreyi, cihazı ve riski hesaplar.
  2. Doğrula: verilerin değişmediğini, Python ortamının hazır olduğunu ve kaynak bulunduğunu kontrol eder.
  3. Başlat: işi başlatır.

Durumlar ve denetimler

DurumAnlamı
KuyruktaSırasını veya kaynakları bekliyor (örneğin «VRAM bekleniyor: X gerekli, Y var»).
DoğrulanıyorÖn kontroller.
SürüyorEğitiliyor.
Duraklatılıyor / DuraklatıldıBir denetim noktası kaydeder ve durur.
TamamlandıBitti ve bir sürüm kaydetti.
BaşarısızBir hatayla durdu; Günlüğü görüntüle nedenini gösterir.
İptal edildiSiz durdurdunuz.

Denetimler: Duraklat, Sürdür, İptal et ve Günlüğü görüntüle.

Canlı öğrenme eğrisi

Öğrenme eğrisi, eğitim sırasında train ve doğrulama kaybını ve metriklerini çizer; Epoch n / N, Şimdiye kadarki en iyi, Geçen süre, Kalan süre ve GPU kullanılıyorsa GPU: ad bilgilerini gösterir. Yumuşatmayı seçin (Ham, Yumuşak, Çok yumuşak) ve kayıp birkaç büyüklük mertebesi düştüğünde Log ölçeği'ni açın.

Train kaybı düşmeye devam ederken doğrulama kaybı artıyorsa model ezberliyordur: Yuli olası bir aşırı öğrenme konusunda uyarır. Daha erken durdurun veya karmaşıklığı azaltın.

Deneyler ve hiperparametre araması

Deneyler, her eğitimi parametreleri, verileri ve metrikleriyle birlikte kaydeder; böylece onları yan yana karşılaştırabilirsiniz.

  • Hiperparametre araması, kombinasyonları denemek ve doğrulamada en iyisini seçmek için Optuna kullanır.
  • AutoML sizin yerinize birkaç algoritma ve yapılandırma dener.
  • Ekibiniz MLflow kullanıyorsa deneyleri orada da yansıtabilirsiniz (isteğe bağlı).

SDK ile kendi betiğiniz

Zaten bir eğitim döngünüz varsa (spaCy dahil), framework: script kullanın ve yuli_ml.sdk ile raporlayın. Betiğiniz ML Studio'da dahil bir adaptör gibi görünür: eğriler, duraklatma, denetim noktaları ve kayıtlı sürüm.

python
# train.py
import numpy as np
import yuli_ml.sdk as yuli

epochs = 20
device = yuli.device()          # Yuli'nin ayırdığına göre "cuda:0", "mps" veya "cpu"
yuli.info(f"Entrenando en {device}")

start = 0
if yuli.resume_from():          # bir duraklatmanın ardından sürdür
    start = load_checkpoint(yuli.resume_from())

best_f1, best_epoch = 0.0, 0
for epoch in range(start, epochs):
    loss = train_one_epoch(device)
    f1 = validate()
    yuli.log("train/loss", loss, step=epoch, epoch=epoch)
    yuli.log("val/f1", f1, step=epoch, epoch=epoch, split="validation")
    if f1 > best_f1:
        best_f1, best_epoch = f1, epoch
    if yuli.should_stop():      # kullanıcı Duraklat veya İptal et düğmesine bastı
        path = yuli.checkpoint_dir()
        save_checkpoint(path, epoch)
        yuli.checkpoint(path, step=epoch, epoch=epoch, resumable=True)
        yuli.stop()
    yuli.progress(epoch + 1, epochs)

yuli.save_model({"layer.weight": np.zeros((4, 4))}, metrics={"f1": best_f1}, best_epoch=best_epoch)
İşlevNe için
log, progress, infoCanlı metrikler, ilerleme ve mesajlar.
should_stop, checkpoint, checkpoint_dir, resume_fromDuraklatma, denetim noktaları ve sürdürme.
model_dir, save_model, reportSürüm klasörü, son ağırlıklar ve değerlendirme raporları.
device, use_gpuAyrılan cihaz (spaCy kullanıyorsanız spacy.prefer_gpu() de).
warm_startİnce ayar yaptığınız sürümün ağırlıkları.

Yuli dışında (bir terminalde python train.py) SDK'nın her çağrısı hiçbir şey yapmaz: betiğiniz kendi başına çalışmaya devam eder.

Kendi algoritmanıza veya metriğinize mi ihtiyacınız var? Onu ml/extensions/*.py içinde @ext.algorithm, @ext.metric veya @ext.transform ile yazın ve dahil olanlar gibi kullanın. Sonraki adım: Değerlendirme ve modeller.