Documentation / ML Studio

Évaluation et modèles

Évaluation indépendante, métriques, robustesse et équité, champion contre challenger, le registre des modèles, le versionnage sur disque et la publication.

Sur cette page

Un modèle n’est pas prêt parce qu’il a fini de s’entraîner. Il est prêt lorsqu’une évaluation indépendante indique qu’il respecte les critères, qu’une personne l’approuve et que son paquet passe les tests.

Évaluation indépendante

Yuli évalue chaque version séparément, sur la partition de test · hors entraînement : des données que le modèle n’a jamais vues, ni pendant l’entraînement ni lors du choix des paramètres. Le verdict est clair :

  • « Respecte les critères (n/N) », ou
  • « Ne respecte pas : … », avec le critère qui a échoué.

Les critères sont ceux de acceptance dans yuli-ml.yaml :

yaml
acceptance:
  minimum_f1: 0.85
  maximum_latency_ms: 200
  maximum_memory_mb: 2048
  require_no_nan: true

Métriques

Type de problèmeMétriques
TousPerte (train / validation)
ClassificationExactitude, F1, F1 macro, Précision, Rappel, ROC AUC
CalibrationECE, Brier
Régression et sériesRMSE, MAE, R², MAPE
Modèles de langagePerplexité, Tokens/s
ServiceLatence p95 (ms)

Avec des classes déséquilibrées, l’Exactitude est trompeuse : un modèle qui répond toujours « non » a raison dans 95 % des cas si seuls 5 % sont des « oui ». Utilisez F1, F1 macro ou Rappel selon l’erreur qui coûte le plus cher.

Matrice de confusion

En classification, la Matrice de confusion montre, pour chaque classe réelle, combien de fois le modèle a vu juste et avec quoi il l’a confondue. C’est le moyen le plus rapide de voir où il échoue.

Robustesse et équité

Robustesse et équité vérifie comment le modèle évolue avec des données perturbées et d’un groupe à l’autre. Chaque test ressort comme robuste, sensible ou fragile. Si le modèle concerne des personnes, examinez-la toujours.

Historique des évaluations

Chaque évaluation est enregistrée avec Quand, Suite, Données de test, Critères et Verdict, ainsi que l’Amélioration vs production : de combien elle améliore (ou dégrade) le modèle en service.

Les panneaux du modèle

PanneauCe qu’il fait
RésuméMétriques, critères et verdict.
ExplorateurCe que le modèle a appris en interne.
ExplicationLes variables qui pèsent dans chaque prédiction.
TesterPrédictions à la main : « Et si… ? » modifie une valeur et vous voyez l’effet, « En direct · n ms ».
FicheLa fiche du modèle : ce qu’il fait, données, métriques et limites.
DéploiementService local et client typé.
ContratLa forme d’entrée et de sortie que votre application peut attendre.

Champion contre challenger

Le champion est la version en production. Un challenger est une nouvelle version qui l’affronte sur les mêmes données de test. Il n’est pertinent de le promouvoir que si le challenger apporte une amélioration mesurable.

Registre et états

text
Développement → Évaluation → Approuvé → Staging → Production
                                     ↘ Rejeté        ↘ Archivé

La promotion en production est toujours faite par une personne. Rollback en un clic. Aucun agent ne peut promouvoir un modèle.

Versionnage sur disque

Chaque version réside dans models/<nom>/v<major>.<minor>/ avec tout ce qu’il faut pour la reproduire et l’auditer :

text
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│   └── run-3.json
├── artifacts/
│   ├── weights/
│   ├── checkpoints/
│   ├── metrics/
│   └── reports/
├── evaluation/
│   └── evaluation-report.json
└── exports/

Publier

L’onglet Publier enchaîne une série d’étapes sur la version validée :

0 sur 7 faits

Modes de consommation

ModeQuand
EmbarquéLe modèle s’exécute dans votre application.
AutonomeUn exécutable dédié.
MicroserviceUn service HTTP appelé par d’autres.
BatchÉvaluer des lots de données de façon périodique.
StreamingDes prédictions sur des flux d’événements.

Service local

Servir démarre le modèle sur 127.0.0.1 avec POST /predict (les LLM, avec une API compatible OpenAI). Il n’écoute que sur votre machine.

bash
curl -s http://127.0.0.1:<port>/predict \
  -H "Content-Type: application/json" \
  -d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'

Il répond {"predictions": [...]}, avec la forme décrite par le panneau Contrat (model-contract.json).

SDK client typé

Dans Client typé (SDK), générez un client pour TypeScript, Python, Java, Go ou C#. Pour l’intégrer avec un timeout, un circuit breaker et un repli sur vos propres règles si le modèle échoue, demandez-le à l’agent.

Voir aussi Confidentialité et sandbox ML.