Documentație / ML Studio

Evaluare și modele

Evaluare independentă, metrici, robustețe și echitate, campion contra challenger, registrul de modele, versionarea pe disc și cum publici.

Pe această pagină

Un model nu este gata pentru că a terminat de antrenat. Este gata când o evaluare independentă spune că îndeplinește criteriile, o persoană îl aprobă și pachetul lui trece testele.

Evaluare independentă

Yuli evaluează separat fiecare versiune, pe partiția de test · în afara antrenării: date pe care modelul nu le-a văzut niciodată nici la antrenare, nici la alegerea parametrilor. Verdictul este clar:

  • „Îndeplinește criteriile (n/N)” sau
  • „Nu îndeplinește: …”, cu criteriul care a eșuat.

Criteriile sunt cele din acceptance în yuli-ml.yaml:

yaml
acceptance:
  minimum_f1: 0.85
  maximum_latency_ms: 200
  maximum_memory_mb: 2048
  require_no_nan: true

Metrici

Tip de problemăMetrici
ToatePierdere (train / validare)
ClasificareAcuratețe, F1, F1 macro, Precizie, Recall, ROC AUC
CalibrareECE, Brier
Regresie și seriiRMSE, MAE, R², MAPE
Modele de limbajPerplexitate, Tokeni/s
ServiciuLatență p95 (ms)

Cu clase dezechilibrate, Acuratețea minte: un model care spune mereu „nu” nimerește în 95 % din cazuri dacă doar 5 % sunt „da”. Folosește F1, F1 macro sau Recall, în funcție de ce greșeală costă mai mult.

Matricea de confuzie

La clasificare, Matricea de confuzie arată, pentru fiecare clasă reală, de câte ori a nimerit modelul și cu ce a confundat-o. Este cel mai rapid mod de a vedea unde greșește.

Robustețe și echitate

Robustețe și echitate verifică cum se schimbă modelul cu date perturbate și între grupuri. Fiecare test iese robust, sensibil sau fragil. Dacă modelul afectează oameni, verifică-l întotdeauna.

Istoricul evaluărilor

Fiecare evaluare este înregistrată cu Când, Suită, Date de test, Criterii și Verdict, precum și cu Îmbunătățirea față de producție: cât se îmbunătățește (sau se înrăutățește) față de modelul aflat în serviciu.

Panourile modelului

PanouCe face
RezumatMetrici, criterii și verdict.
ExploratorCe a învățat modelul pe dinăuntru.
ExplicațieCe variabile contează în fiecare predicție.
TesteazăPredicții manuale: „Și dacă…?” schimbă o valoare și vezi efectul, „În timp real · n ms”.
FișăFișa modelului: ce face, date, metrici și limite.
ImplementareServiciu local și client tipizat.
ContractForma de intrare și ieșire la care se poate aștepta aplicația ta.

Campion contra challenger

Campionul este versiunea aflată în producție. Un challenger este o versiune nouă care concurează cu el pe aceleași date de test. Are sens să-l promovezi doar dacă challengerul se îmbunătățește în mod măsurabil.

Registru și stări

text
Dezvoltare → Evaluare → Aprobat → Staging → Producție
                               ↘ Respins        ↘ Arhivat

Promovarea în producție o face întotdeauna o persoană. Rollback dintr-un clic. Niciun agent nu poate promova un model.

Versionarea pe disc

Fiecare versiune se află în models/<nombre>/v<major>.<minor>/, cu tot ce trebuie ca să fie reprodusă și auditată:

text
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│   └── run-3.json
├── artifacts/
│   ├── weights/
│   ├── checkpoints/
│   ├── metrics/
│   └── reports/
├── evaluation/
│   └── evaluation-report.json
└── exports/

Publicare

Fila Publicare parcurge un lanț de pași pe versiunea validată:

0 din 7 gata

Moduri de consum

ModCând
ÎncorporatModelul rulează în interiorul aplicației tale.
StandaloneUn executabil propriu.
MicroserviciuUn serviciu HTTP apelat de alții.
BatchEvaluarea periodică a unor loturi de date.
StreamingPredicții pe evenimente în flux.

Serviciu local

Servește pornește modelul pe 127.0.0.1 cu POST /predict (LLM-urile, cu API compatibil cu OpenAI). Ascultă doar pe calculatorul tău.

bash
curl -s http://127.0.0.1:<puerto>/predict \
  -H "Content-Type: application/json" \
  -d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'

Răspunde cu {"predictions": [...]}, cu aceeași formă pe care o descrie panoul Contract (model-contract.json).

SDK client tipizat

În Client tipizat (SDK) generezi un client pentru TypeScript, Python, Java, Go sau C#. Ca să-l integrezi cu timeout, circuit breaker și revenire la regulile tale dacă modelul eșuează, cere-i agentului.

Vezi și Confidențialitate și sandbox ML.