Belgeler / ML Studio
Değerlendirme ve modeller
Bağımsız değerlendirme, metrikler, sağlamlık ve adillik, şampiyon ile rakip, model kayıt defteri, diskte sürümleme ve nasıl yayımlanacağı.
Bu sayfada
Bir model, eğitimi bittiği için hazır değildir. Bağımsız bir değerlendirme kriterleri karşıladığını söylediğinde, bir insan onu onayladığında ve paketi testleri geçtiğinde hazırdır.
Bağımsız değerlendirme
Yuli her sürümü ayrı ayrı, test bölümü · eğitim dışı üzerinde değerlendirir: modelin ne eğitimde ne de parametre seçiminde gördüğü veriler. Karar açıktır:
- «Kriterleri karşılıyor (n/N)» veya
- «Karşılamıyor: …», başarısız olan kriterle birlikte.
Kriterler, yuli-ml.yaml içindeki acceptance bölümünde yer alanlardır:
acceptance:
minimum_f1: 0.85
maximum_latency_ms: 200
maximum_memory_mb: 2048
require_no_nan: trueMetrikler
| Problem türü | Metrikler |
|---|---|
| Tümü | Kayıp (train / doğrulama) |
| Sınıflandırma | Doğruluk, F1, Makro F1, Kesinlik, Duyarlılık, ROC AUC |
| Kalibrasyon | ECE, Brier |
| Regresyon ve seriler | RMSE, MAE, R², MAPE |
| Dil modelleri | Perplexity, Token/s |
| Hizmet | p95 gecikme (ms) |
Dengesiz sınıflarda Doğruluk yanıltır: örneklerin yalnızca %5'i «evet» ise her zaman «hayır» diyen bir model %95 isabet eder. Hangi hatanın daha pahalıya mal olduğuna göre F1, Makro F1 veya Duyarlılık kullanın.
Karışıklık matrisi
Sınıflandırmada Karışıklık matrisi, her gerçek sınıf için modelin kaç kez doğru bildiğini ve onu neyle karıştırdığını gösterir. Modelin nerede hata yaptığını görmenin en hızlı yoludur.
Sağlamlık ve adillik
Sağlamlık ve adillik, modelin bozulmuş verilerle ve gruplar arasında nasıl değiştiğini kontrol eder. Her test sağlam, hassas veya kırılgan olarak sonuçlanır. Model insanları etkiliyorsa bunu her zaman inceleyin.
Değerlendirme geçmişi
Her değerlendirme Ne zaman, Paket, Test verileri, Kriterler ve Karar bilgileriyle ve Üretime göre iyileşme ile kaydedilir: hizmetteki modele göre ne kadar iyileştiği (veya kötüleştiği).
Model panelleri
| Panel | Ne yapar |
|---|---|
| Özet | Metrikler, kriterler ve karar. |
| Gezgin | Modelin içeride ne öğrendiği. |
| Açıklama | Her tahminde hangi değişkenlerin ağır bastığı. |
| Dene | Elle tahminler: «Ya … olursa?» bir değeri değiştirir ve etkisini görürsünüz, «Canlı · n ms». |
| Kart | Model kartı: ne yaptığı, verileri, metrikleri ve sınırları. |
| Dağıtım | Yerel hizmet ve türlü istemci. |
| Sözleşme | Uygulamanızın bekleyebileceği girdi ve çıktı biçimi. |
Şampiyon ile rakip
Şampiyon, üretimdeki sürümdür. Rakip ise aynı test verileri üzerinde onunla yarışan yeni bir sürümdür. Rakibi yükseltmek yalnızca ölçülebilir biçimde daha iyiyse anlamlıdır.
Kayıt defteri ve durumlar
Geliştirme → Değerlendirme → Onaylandı → Staging → Üretim
↘ Reddedildi ↘ ArşivlendiÜretime yükseltmeyi her zaman bir insan yapar. Tek tıkla geri alma. Hiçbir ajan bir modeli yükseltemez.
Diskte sürümleme
Her sürüm, yeniden üretmek ve denetlemek için gereken her şeyle birlikte models/<nombre>/v<major>.<minor>/ içinde
bulunur:
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│ └── run-3.json
├── artifacts/
│ ├── weights/
│ ├── checkpoints/
│ ├── metrics/
│ └── reports/
├── evaluation/
│ └── evaluation-report.json
└── exports/Yayımlama
Yayımla sekmesi doğrulanmış sürüm üzerinde bir adımlar zincirini izler:
Kullanım modları
| Mod | Ne zaman |
|---|---|
| Gömülü | Model uygulamanızın içinde çalışır. |
| Bağımsız | Kendi çalıştırılabilir dosyası. |
| Mikro hizmet | Başkalarının çağırdığı bir HTTP hizmeti. |
| Toplu | Veri yığınlarını düzenli aralıklarla puanlamak. |
| Akış | Akan olaylar üzerinde tahminler. |
Yerel hizmet
Sun, modeli POST /predict ile 127.0.0.1 üzerinde başlatır (LLM'ler OpenAI uyumlu API ile). Yalnızca kendi
makinenizde dinler.
curl -s http://127.0.0.1:<puerto>/predict \
-H "Content-Type: application/json" \
-d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'Sözleşme panelinin (model-contract.json) tanımladığı biçimle aynı olan {"predictions": [...]} ile yanıt
verir.
Türlü istemci SDK'sı
Türlü istemci (SDK) içinde TypeScript, Python, Java, Go veya C# için bir istemci üretin. Zaman aşımı, circuit breaker ve model başarısız olursa kendi kurallarınıza geri dönüşle entegre etmek için ajandan isteyin.
Ayrıca bkz. ML gizliliği ve sandbox.