Documentație / ML Studio
Evaluare și modele
Evaluare independentă, metrici, robustețe și echitate, campion contra challenger, registrul de modele, versionarea pe disc și cum publici.
Pe această pagină
Un model nu este gata pentru că a terminat de antrenat. Este gata când o evaluare independentă spune că îndeplinește criteriile, o persoană îl aprobă și pachetul lui trece testele.
Evaluare independentă
Yuli evaluează separat fiecare versiune, pe partiția de test · în afara antrenării: date pe care modelul nu le-a văzut niciodată nici la antrenare, nici la alegerea parametrilor. Verdictul este clar:
- „Îndeplinește criteriile (n/N)” sau
- „Nu îndeplinește: …”, cu criteriul care a eșuat.
Criteriile sunt cele din acceptance în yuli-ml.yaml:
acceptance:
minimum_f1: 0.85
maximum_latency_ms: 200
maximum_memory_mb: 2048
require_no_nan: trueMetrici
| Tip de problemă | Metrici |
|---|---|
| Toate | Pierdere (train / validare) |
| Clasificare | Acuratețe, F1, F1 macro, Precizie, Recall, ROC AUC |
| Calibrare | ECE, Brier |
| Regresie și serii | RMSE, MAE, R², MAPE |
| Modele de limbaj | Perplexitate, Tokeni/s |
| Serviciu | Latență p95 (ms) |
Cu clase dezechilibrate, Acuratețea minte: un model care spune mereu „nu” nimerește în 95 % din cazuri dacă doar 5 % sunt „da”. Folosește F1, F1 macro sau Recall, în funcție de ce greșeală costă mai mult.
Matricea de confuzie
La clasificare, Matricea de confuzie arată, pentru fiecare clasă reală, de câte ori a nimerit modelul și cu ce a confundat-o. Este cel mai rapid mod de a vedea unde greșește.
Robustețe și echitate
Robustețe și echitate verifică cum se schimbă modelul cu date perturbate și între grupuri. Fiecare test iese robust, sensibil sau fragil. Dacă modelul afectează oameni, verifică-l întotdeauna.
Istoricul evaluărilor
Fiecare evaluare este înregistrată cu Când, Suită, Date de test, Criterii și Verdict, precum și cu Îmbunătățirea față de producție: cât se îmbunătățește (sau se înrăutățește) față de modelul aflat în serviciu.
Panourile modelului
| Panou | Ce face |
|---|---|
| Rezumat | Metrici, criterii și verdict. |
| Explorator | Ce a învățat modelul pe dinăuntru. |
| Explicație | Ce variabile contează în fiecare predicție. |
| Testează | Predicții manuale: „Și dacă…?” schimbă o valoare și vezi efectul, „În timp real · n ms”. |
| Fișă | Fișa modelului: ce face, date, metrici și limite. |
| Implementare | Serviciu local și client tipizat. |
| Contract | Forma de intrare și ieșire la care se poate aștepta aplicația ta. |
Campion contra challenger
Campionul este versiunea aflată în producție. Un challenger este o versiune nouă care concurează cu el pe aceleași date de test. Are sens să-l promovezi doar dacă challengerul se îmbunătățește în mod măsurabil.
Registru și stări
Dezvoltare → Evaluare → Aprobat → Staging → Producție
↘ Respins ↘ ArhivatPromovarea în producție o face întotdeauna o persoană. Rollback dintr-un clic. Niciun agent nu poate promova un model.
Versionarea pe disc
Fiecare versiune se află în models/<nombre>/v<major>.<minor>/, cu tot ce trebuie ca să fie reprodusă și auditată:
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│ └── run-3.json
├── artifacts/
│ ├── weights/
│ ├── checkpoints/
│ ├── metrics/
│ └── reports/
├── evaluation/
│ └── evaluation-report.json
└── exports/Publicare
Fila Publicare parcurge un lanț de pași pe versiunea validată:
Moduri de consum
| Mod | Când |
|---|---|
| Încorporat | Modelul rulează în interiorul aplicației tale. |
| Standalone | Un executabil propriu. |
| Microserviciu | Un serviciu HTTP apelat de alții. |
| Batch | Evaluarea periodică a unor loturi de date. |
| Streaming | Predicții pe evenimente în flux. |
Serviciu local
Servește pornește modelul pe 127.0.0.1 cu POST /predict (LLM-urile, cu API compatibil cu OpenAI). Ascultă
doar pe calculatorul tău.
curl -s http://127.0.0.1:<puerto>/predict \
-H "Content-Type: application/json" \
-d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'Răspunde cu {"predictions": [...]}, cu aceeași formă pe care o descrie panoul Contract (model-contract.json).
SDK client tipizat
În Client tipizat (SDK) generezi un client pentru TypeScript, Python, Java, Go sau C#. Ca să-l integrezi cu timeout, circuit breaker și revenire la regulile tale dacă modelul eșuează, cere-i agentului.
Vezi și Confidențialitate și sandbox ML.