Belgeler / ML Studio
Eğitim
Stratejiyi sekiz soruyla tasarlayın, bir eğitim başlatın, eğriyi canlı izleyin, deneyleri karşılaştırın ve SDK ile kendi betiğinizden raporlayın.
Bu sayfada
Yuli'de eğitim; planı, doğrulaması ve kaydı olan bir iştir: sohbeti kapatsanız da devam eder, duraklatılabilir ve ayrıca değerlendirilen bir model sürümü bırakır.
Stratejiyi tasarlama
Tasarla sekmesinde Yuli bir strateji önerir ve bunu sekiz soruyu yanıtlayarak gerekçelendirir:
| # | Soru | Örnek yanıt |
|---|---|---|
| 1 | Ne öğrenir | Bir müşterinin önümüzdeki 90 gün içinde ayrılıp ayrılmayacağı. |
| 2 | Hangi stratejiyi seçti | Sıfırdan, gradient boosting ile. |
| 3 | Neden | Tablo verileri, 40 000 satır, önceki model yok. |
| 4 | Hangi alternatifleri değerlendirdi | Lojistik regresyon (referans) ve random forest. |
| 5 | Hangi kaynaklara ihtiyaç duyar | CPU, birkaç dakika, az bellek. |
| 6 | Hangi sınırlamaları var | Bir aydan yeni müşterileri tanımaz. |
| 7 | İyileştiğini nasıl anlayacağız | Testte F1 ≥ 0,85 ve referanstan daha iyi. |
| 8 | Destek düzeyi | Bu yolun Yuli'de ne kadar test edildiği. |
İnceleyin, gerekeni ayarlayın ve Onayla ve eğit › düğmesine basın.
Stratejiler
| Strateji | Ne zaman |
|---|---|
| Sıfırdan | Önceki bir model yoksa. |
| Sıcak başlangıç | Önceki bir sürümün ağırlıklarından devam etmek için. |
| İnce ayar | Zaten eğitilmiş bir modeli verilerinize uyarlamak için. |
| Özellik çıkarma | Bir modeli değişken üreticisi olarak kullanmak için. |
| Yarı denetimli | Az etiket ve çok sayıda etiketsiz örnek varsa. |
| Öz denetimli | Etiketsiz verilerden yapı öğrenmek için. |
| Sürekli öğrenme | Öğrendiklerini unutmadan modeli yeni verilerle güncellemek için. |
Yeni eğitim
Yeni eğitim içinde şunları doldurursunuz:
| Alan | Nedir |
|---|---|
| Veri kümesi | Eğitimde kullanılan veri sürümü. |
| Tahmin edilecek sütun | Hedef (target). |
| Framework | scikit-learn, PyTorch, Transformers, XGBoost, LightGBM veya kendi betiğiniz. |
| Algoritma | Belirli bir algoritma veya Otomatik (Yuli seçer). |
| Epoch'lar | Veriler üzerinden kaç geçiş yapılacağı (sinir ağları). |
| Cihaz | CPU veya GPU. |
| Mod | Tek eğitim, Hiperparametre araması veya AutoML. |
Dahil olan tablo algoritmaları: lojistik ve doğrusal regresyon, ridge, lasso, random forest, extra trees, gradient boosting, karar ağacı, kNN, naive bayes, SVM, SGD ve MLP. Anomaliler için: isolation forest, LOF ve sağlam z-score.
Eğit düğmesine bastığınızda Yuli sırasıyla üç şey yapar:
- Planla: belleği, süreyi, cihazı ve riski hesaplar.
- Doğrula: verilerin değişmediğini, Python ortamının hazır olduğunu ve kaynak bulunduğunu kontrol eder.
- Başlat: işi başlatır.
Durumlar ve denetimler
| Durum | Anlamı |
|---|---|
| Kuyrukta | Sırasını veya kaynakları bekliyor (örneğin «VRAM bekleniyor: X gerekli, Y var»). |
| Doğrulanıyor | Ön kontroller. |
| Sürüyor | Eğitiliyor. |
| Duraklatılıyor / Duraklatıldı | Bir denetim noktası kaydeder ve durur. |
| Tamamlandı | Bitti ve bir sürüm kaydetti. |
| Başarısız | Bir hatayla durdu; Günlüğü görüntüle nedenini gösterir. |
| İptal edildi | Siz durdurdunuz. |
Denetimler: Duraklat, Sürdür, İptal et ve Günlüğü görüntüle.
Canlı öğrenme eğrisi
Öğrenme eğrisi, eğitim sırasında train ve doğrulama kaybını ve metriklerini çizer; Epoch n / N, Şimdiye kadarki en iyi, Geçen süre, Kalan süre ve GPU kullanılıyorsa GPU: ad bilgilerini gösterir. Yumuşatmayı seçin (Ham, Yumuşak, Çok yumuşak) ve kayıp birkaç büyüklük mertebesi düştüğünde Log ölçeği'ni açın.
Train kaybı düşmeye devam ederken doğrulama kaybı artıyorsa model ezberliyordur: Yuli olası bir aşırı öğrenme konusunda uyarır. Daha erken durdurun veya karmaşıklığı azaltın.
Deneyler ve hiperparametre araması
Deneyler, her eğitimi parametreleri, verileri ve metrikleriyle birlikte kaydeder; böylece onları yan yana karşılaştırabilirsiniz.
- Hiperparametre araması, kombinasyonları denemek ve doğrulamada en iyisini seçmek için Optuna kullanır.
- AutoML sizin yerinize birkaç algoritma ve yapılandırma dener.
- Ekibiniz MLflow kullanıyorsa deneyleri orada da yansıtabilirsiniz (isteğe bağlı).
SDK ile kendi betiğiniz
Zaten bir eğitim döngünüz varsa (spaCy dahil), framework: script kullanın ve yuli_ml.sdk ile raporlayın. Betiğiniz
ML Studio'da dahil bir adaptör gibi görünür: eğriler, duraklatma, denetim noktaları ve kayıtlı sürüm.
# train.py
import numpy as np
import yuli_ml.sdk as yuli
epochs = 20
device = yuli.device() # Yuli'nin ayırdığına göre "cuda:0", "mps" veya "cpu"
yuli.info(f"Entrenando en {device}")
start = 0
if yuli.resume_from(): # bir duraklatmanın ardından sürdür
start = load_checkpoint(yuli.resume_from())
best_f1, best_epoch = 0.0, 0
for epoch in range(start, epochs):
loss = train_one_epoch(device)
f1 = validate()
yuli.log("train/loss", loss, step=epoch, epoch=epoch)
yuli.log("val/f1", f1, step=epoch, epoch=epoch, split="validation")
if f1 > best_f1:
best_f1, best_epoch = f1, epoch
if yuli.should_stop(): # kullanıcı Duraklat veya İptal et düğmesine bastı
path = yuli.checkpoint_dir()
save_checkpoint(path, epoch)
yuli.checkpoint(path, step=epoch, epoch=epoch, resumable=True)
yuli.stop()
yuli.progress(epoch + 1, epochs)
yuli.save_model({"layer.weight": np.zeros((4, 4))}, metrics={"f1": best_f1}, best_epoch=best_epoch)| İşlev | Ne için |
|---|---|
log, progress, info | Canlı metrikler, ilerleme ve mesajlar. |
should_stop, checkpoint, checkpoint_dir, resume_from | Duraklatma, denetim noktaları ve sürdürme. |
model_dir, save_model, report | Sürüm klasörü, son ağırlıklar ve değerlendirme raporları. |
device, use_gpu | Ayrılan cihaz (spaCy kullanıyorsanız spacy.prefer_gpu() de). |
warm_start | İnce ayar yaptığınız sürümün ağırlıkları. |
Yuli dışında (bir terminalde python train.py) SDK'nın her çağrısı hiçbir şey yapmaz: betiğiniz kendi başına
çalışmaya devam eder.
Kendi algoritmanıza veya metriğinize mi ihtiyacınız var? Onu ml/extensions/*.py içinde @ext.algorithm,
@ext.metric veya @ext.transform ile yazın ve dahil olanlar gibi kullanın. Sonraki adım:
Değerlendirme ve modeller.