Documentación / ML Studio

Evaluación y modelos

Evaluación independiente, métricas, robustez y equidad, campeón contra retador, el registro de modelos, el versionado en disco y cómo publicar.

En esta página

Un modelo no está listo porque terminó de entrenar. Está listo cuando una evaluación independiente dice que cumple los criterios, una persona lo aprueba y su paquete pasa las pruebas.

Evaluación independiente

Yuli evalúa cada versión por separado, sobre la partición de prueba · fuera del entrenamiento: datos que el modelo nunca vio al entrenar ni al elegir parámetros. El veredicto es claro:

  • «Cumple los criterios (n/N)», o
  • «No cumple: …», con el criterio que falló.

Los criterios son los de acceptance en yuli-ml.yaml:

yaml
acceptance:
  minimum_f1: 0.85
  maximum_latency_ms: 200
  maximum_memory_mb: 2048
  require_no_nan: true

Métricas

Tipo de problemaMétricas
TodasPérdida (train / validación)
ClasificaciónExactitud, F1, F1 macro, Precisión, Recall, ROC AUC
CalibraciónECE, Brier
Regresión y seriesRMSE, MAE, R², MAPE
Modelos de lenguajePerplejidad, Tokens/s
ServicioLatencia p95 (ms)

Con clases desbalanceadas, la Exactitud miente: un modelo que siempre dice «no» acierta el 95 % si solo el 5 % es «sí». Usa F1, F1 macro o Recall según lo que cueste más equivocarse.

Matriz de confusión

En clasificación, la Matriz de confusión muestra para cada clase real cuántas veces el modelo acertó y con qué la confundió. Es la forma más rápida de ver dónde falla.

Robustez y equidad

Robustez y equidad comprueba cómo cambia el modelo con datos perturbados y entre grupos. Cada prueba sale como robusto, sensible o frágil. Si el modelo afecta a personas, revísala siempre.

Historial de evaluaciones

Cada evaluación queda registrada con Cuándo, Suite, Datos de prueba, Criterios y Veredicto, y con la Mejora vs producción: cuánto mejora (o empeora) frente al modelo que está en servicio.

Los paneles del modelo

PanelQué hace
ResumenMétricas, criterios y veredicto.
ExploradorLo que aprendió el modelo por dentro.
ExplicaciónQué variables pesan en cada predicción.
ProbarPredicciones a mano: «¿Y si…?» cambia un valor y ves el efecto, «En vivo · n ms».
FichaLa ficha del modelo: qué hace, datos, métricas y límites.
DespliegueServicio local y cliente tipado.
ContratoLa forma de entrada y salida que tu aplicación puede esperar.

Campeón contra retador

El campeón es la versión que está en producción. Un retador es una versión nueva que compite con él en los mismos datos de prueba. Solo si el retador mejora de forma medible tiene sentido promoverlo.

Registro y estados

text
Desarrollo → Evaluación → Aprobado → Staging → Producción
                                   ↘ Rechazado      ↘ Archivado

Promover a producción siempre lo hace una persona. Rollback en un clic. Ningún agente puede promover un modelo.

Versionado en disco

Cada versión vive en models/<nombre>/v<major>.<minor>/ con todo lo necesario para reproducirla y auditarla:

text
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│   └── run-3.json
├── artifacts/
│   ├── weights/
│   ├── checkpoints/
│   ├── metrics/
│   └── reports/
├── evaluation/
│   └── evaluation-report.json
└── exports/

Publicar

La pestaña Publicar recorre una cadena de pasos sobre la versión validada:

0 de 7 hechos

Modos de consumo

ModoCuándo
EmbebidoEl modelo corre dentro de tu aplicación.
StandaloneUn ejecutable propio.
MicroservicioUn servicio HTTP al que llaman otros.
BatchPuntuar lotes de datos de forma periódica.
StreamingPredicciones sobre eventos en flujo.

Servicio local

Servir levanta el modelo en 127.0.0.1 con POST /predict (los LLM, con API compatible con OpenAI). Solo escucha en tu máquina.

bash
curl -s http://127.0.0.1:<puerto>/predict \
  -H "Content-Type: application/json" \
  -d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'

Responde {"predictions": [...]}, con la misma forma que describe el panel Contrato (model-contract.json).

SDK cliente tipado

En Cliente tipado (SDK) genera un cliente para TypeScript, Python, Java, Go o C#. Para integrarlo con timeout, circuit breaker y vuelta a tus reglas si el modelo falla, pídeselo al agente.

Ver también Privacidad y sandbox de ML.