Documentación / ML Studio
Evaluación y modelos
Evaluación independiente, métricas, robustez y equidad, campeón contra retador, el registro de modelos, el versionado en disco y cómo publicar.
En esta página
Un modelo no está listo porque terminó de entrenar. Está listo cuando una evaluación independiente dice que cumple los criterios, una persona lo aprueba y su paquete pasa las pruebas.
Evaluación independiente
Yuli evalúa cada versión por separado, sobre la partición de prueba · fuera del entrenamiento: datos que el modelo nunca vio al entrenar ni al elegir parámetros. El veredicto es claro:
- «Cumple los criterios (n/N)», o
- «No cumple: …», con el criterio que falló.
Los criterios son los de acceptance en yuli-ml.yaml:
acceptance:
minimum_f1: 0.85
maximum_latency_ms: 200
maximum_memory_mb: 2048
require_no_nan: trueMétricas
| Tipo de problema | Métricas |
|---|---|
| Todas | Pérdida (train / validación) |
| Clasificación | Exactitud, F1, F1 macro, Precisión, Recall, ROC AUC |
| Calibración | ECE, Brier |
| Regresión y series | RMSE, MAE, R², MAPE |
| Modelos de lenguaje | Perplejidad, Tokens/s |
| Servicio | Latencia p95 (ms) |
Con clases desbalanceadas, la Exactitud miente: un modelo que siempre dice «no» acierta el 95 % si solo el 5 % es «sí». Usa F1, F1 macro o Recall según lo que cueste más equivocarse.
Matriz de confusión
En clasificación, la Matriz de confusión muestra para cada clase real cuántas veces el modelo acertó y con qué la confundió. Es la forma más rápida de ver dónde falla.
Robustez y equidad
Robustez y equidad comprueba cómo cambia el modelo con datos perturbados y entre grupos. Cada prueba sale como robusto, sensible o frágil. Si el modelo afecta a personas, revísala siempre.
Historial de evaluaciones
Cada evaluación queda registrada con Cuándo, Suite, Datos de prueba, Criterios y Veredicto, y con la Mejora vs producción: cuánto mejora (o empeora) frente al modelo que está en servicio.
Los paneles del modelo
| Panel | Qué hace |
|---|---|
| Resumen | Métricas, criterios y veredicto. |
| Explorador | Lo que aprendió el modelo por dentro. |
| Explicación | Qué variables pesan en cada predicción. |
| Probar | Predicciones a mano: «¿Y si…?» cambia un valor y ves el efecto, «En vivo · n ms». |
| Ficha | La ficha del modelo: qué hace, datos, métricas y límites. |
| Despliegue | Servicio local y cliente tipado. |
| Contrato | La forma de entrada y salida que tu aplicación puede esperar. |
Campeón contra retador
El campeón es la versión que está en producción. Un retador es una versión nueva que compite con él en los mismos datos de prueba. Solo si el retador mejora de forma medible tiene sentido promoverlo.
Registro y estados
Desarrollo → Evaluación → Aprobado → Staging → Producción
↘ Rechazado ↘ ArchivadoPromover a producción siempre lo hace una persona. Rollback en un clic. Ningún agente puede promover un modelo.
Versionado en disco
Cada versión vive en models/<nombre>/v<major>.<minor>/ con todo lo necesario para reproducirla y auditarla:
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│ └── run-3.json
├── artifacts/
│ ├── weights/
│ ├── checkpoints/
│ ├── metrics/
│ └── reports/
├── evaluation/
│ └── evaluation-report.json
└── exports/Publicar
La pestaña Publicar recorre una cadena de pasos sobre la versión validada:
Modos de consumo
| Modo | Cuándo |
|---|---|
| Embebido | El modelo corre dentro de tu aplicación. |
| Standalone | Un ejecutable propio. |
| Microservicio | Un servicio HTTP al que llaman otros. |
| Batch | Puntuar lotes de datos de forma periódica. |
| Streaming | Predicciones sobre eventos en flujo. |
Servicio local
Servir levanta el modelo en 127.0.0.1 con POST /predict (los LLM, con API compatible con OpenAI). Solo escucha
en tu máquina.
curl -s http://127.0.0.1:<puerto>/predict \
-H "Content-Type: application/json" \
-d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'Responde {"predictions": [...]}, con la misma forma que describe el panel Contrato (model-contract.json).
SDK cliente tipado
En Cliente tipado (SDK) genera un cliente para TypeScript, Python, Java, Go o C#. Para integrarlo con timeout, circuit breaker y vuelta a tus reglas si el modelo falla, pídeselo al agente.
Ver también Privacidad y sandbox de ML.