Belgeler / ML Studio

Değerlendirme ve modeller

Bağımsız değerlendirme, metrikler, sağlamlık ve adillik, şampiyon ile rakip, model kayıt defteri, diskte sürümleme ve nasıl yayımlanacağı.

Bu sayfada

Bir model, eğitimi bittiği için hazır değildir. Bağımsız bir değerlendirme kriterleri karşıladığını söylediğinde, bir insan onu onayladığında ve paketi testleri geçtiğinde hazırdır.

Bağımsız değerlendirme

Yuli her sürümü ayrı ayrı, test bölümü · eğitim dışı üzerinde değerlendirir: modelin ne eğitimde ne de parametre seçiminde gördüğü veriler. Karar açıktır:

  • «Kriterleri karşılıyor (n/N)» veya
  • «Karşılamıyor: …», başarısız olan kriterle birlikte.

Kriterler, yuli-ml.yaml içindeki acceptance bölümünde yer alanlardır:

yaml
acceptance:
  minimum_f1: 0.85
  maximum_latency_ms: 200
  maximum_memory_mb: 2048
  require_no_nan: true

Metrikler

Problem türüMetrikler
TümüKayıp (train / doğrulama)
SınıflandırmaDoğruluk, F1, Makro F1, Kesinlik, Duyarlılık, ROC AUC
KalibrasyonECE, Brier
Regresyon ve serilerRMSE, MAE, R², MAPE
Dil modelleriPerplexity, Token/s
Hizmetp95 gecikme (ms)

Dengesiz sınıflarda Doğruluk yanıltır: örneklerin yalnızca %5'i «evet» ise her zaman «hayır» diyen bir model %95 isabet eder. Hangi hatanın daha pahalıya mal olduğuna göre F1, Makro F1 veya Duyarlılık kullanın.

Karışıklık matrisi

Sınıflandırmada Karışıklık matrisi, her gerçek sınıf için modelin kaç kez doğru bildiğini ve onu neyle karıştırdığını gösterir. Modelin nerede hata yaptığını görmenin en hızlı yoludur.

Sağlamlık ve adillik

Sağlamlık ve adillik, modelin bozulmuş verilerle ve gruplar arasında nasıl değiştiğini kontrol eder. Her test sağlam, hassas veya kırılgan olarak sonuçlanır. Model insanları etkiliyorsa bunu her zaman inceleyin.

Değerlendirme geçmişi

Her değerlendirme Ne zaman, Paket, Test verileri, Kriterler ve Karar bilgileriyle ve Üretime göre iyileşme ile kaydedilir: hizmetteki modele göre ne kadar iyileştiği (veya kötüleştiği).

Model panelleri

PanelNe yapar
ÖzetMetrikler, kriterler ve karar.
GezginModelin içeride ne öğrendiği.
AçıklamaHer tahminde hangi değişkenlerin ağır bastığı.
DeneElle tahminler: «Ya … olursa?» bir değeri değiştirir ve etkisini görürsünüz, «Canlı · n ms».
KartModel kartı: ne yaptığı, verileri, metrikleri ve sınırları.
DağıtımYerel hizmet ve türlü istemci.
SözleşmeUygulamanızın bekleyebileceği girdi ve çıktı biçimi.

Şampiyon ile rakip

Şampiyon, üretimdeki sürümdür. Rakip ise aynı test verileri üzerinde onunla yarışan yeni bir sürümdür. Rakibi yükseltmek yalnızca ölçülebilir biçimde daha iyiyse anlamlıdır.

Kayıt defteri ve durumlar

text
Geliştirme → Değerlendirme → Onaylandı → Staging → Üretim
                                     ↘ Reddedildi      ↘ Arşivlendi

Üretime yükseltmeyi her zaman bir insan yapar. Tek tıkla geri alma. Hiçbir ajan bir modeli yükseltemez.

Diskte sürümleme

Her sürüm, yeniden üretmek ve denetlemek için gereken her şeyle birlikte models/<nombre>/v<major>.<minor>/ içinde bulunur:

text
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│   └── run-3.json
├── artifacts/
│   ├── weights/
│   ├── checkpoints/
│   ├── metrics/
│   └── reports/
├── evaluation/
│   └── evaluation-report.json
└── exports/

Yayımlama

Yayımla sekmesi doğrulanmış sürüm üzerinde bir adımlar zincirini izler:

7 adımdan 0 tamam

Kullanım modları

ModNe zaman
GömülüModel uygulamanızın içinde çalışır.
BağımsızKendi çalıştırılabilir dosyası.
Mikro hizmetBaşkalarının çağırdığı bir HTTP hizmeti.
TopluVeri yığınlarını düzenli aralıklarla puanlamak.
AkışAkan olaylar üzerinde tahminler.

Yerel hizmet

Sun, modeli POST /predict ile 127.0.0.1 üzerinde başlatır (LLM'ler OpenAI uyumlu API ile). Yalnızca kendi makinenizde dinler.

bash
curl -s http://127.0.0.1:<puerto>/predict \
  -H "Content-Type: application/json" \
  -d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'

Sözleşme panelinin (model-contract.json) tanımladığı biçimle aynı olan {"predictions": [...]} ile yanıt verir.

Türlü istemci SDK'sı

Türlü istemci (SDK) içinde TypeScript, Python, Java, Go veya C# için bir istemci üretin. Zaman aşımı, circuit breaker ve model başarısız olursa kendi kurallarınıza geri dönüşle entegre etmek için ajandan isteyin.

Ayrıca bkz. ML gizliliği ve sandbox.