Documentation / ML Studio
Évaluation et modèles
Évaluation indépendante, métriques, robustesse et équité, champion contre challenger, le registre des modèles, le versionnage sur disque et la publication.
Sur cette page
Un modèle n’est pas prêt parce qu’il a fini de s’entraîner. Il est prêt lorsqu’une évaluation indépendante indique qu’il respecte les critères, qu’une personne l’approuve et que son paquet passe les tests.
Évaluation indépendante
Yuli évalue chaque version séparément, sur la partition de test · hors entraînement : des données que le modèle n’a jamais vues, ni pendant l’entraînement ni lors du choix des paramètres. Le verdict est clair :
- « Respecte les critères (n/N) », ou
- « Ne respecte pas : … », avec le critère qui a échoué.
Les critères sont ceux de acceptance dans yuli-ml.yaml :
acceptance:
minimum_f1: 0.85
maximum_latency_ms: 200
maximum_memory_mb: 2048
require_no_nan: trueMétriques
| Type de problème | Métriques |
|---|---|
| Tous | Perte (train / validation) |
| Classification | Exactitude, F1, F1 macro, Précision, Rappel, ROC AUC |
| Calibration | ECE, Brier |
| Régression et séries | RMSE, MAE, R², MAPE |
| Modèles de langage | Perplexité, Tokens/s |
| Service | Latence p95 (ms) |
Avec des classes déséquilibrées, l’Exactitude est trompeuse : un modèle qui répond toujours « non » a raison dans 95 % des cas si seuls 5 % sont des « oui ». Utilisez F1, F1 macro ou Rappel selon l’erreur qui coûte le plus cher.
Matrice de confusion
En classification, la Matrice de confusion montre, pour chaque classe réelle, combien de fois le modèle a vu juste et avec quoi il l’a confondue. C’est le moyen le plus rapide de voir où il échoue.
Robustesse et équité
Robustesse et équité vérifie comment le modèle évolue avec des données perturbées et d’un groupe à l’autre. Chaque test ressort comme robuste, sensible ou fragile. Si le modèle concerne des personnes, examinez-la toujours.
Historique des évaluations
Chaque évaluation est enregistrée avec Quand, Suite, Données de test, Critères et Verdict, ainsi que l’Amélioration vs production : de combien elle améliore (ou dégrade) le modèle en service.
Les panneaux du modèle
| Panneau | Ce qu’il fait |
|---|---|
| Résumé | Métriques, critères et verdict. |
| Explorateur | Ce que le modèle a appris en interne. |
| Explication | Les variables qui pèsent dans chaque prédiction. |
| Tester | Prédictions à la main : « Et si… ? » modifie une valeur et vous voyez l’effet, « En direct · n ms ». |
| Fiche | La fiche du modèle : ce qu’il fait, données, métriques et limites. |
| Déploiement | Service local et client typé. |
| Contrat | La forme d’entrée et de sortie que votre application peut attendre. |
Champion contre challenger
Le champion est la version en production. Un challenger est une nouvelle version qui l’affronte sur les mêmes données de test. Il n’est pertinent de le promouvoir que si le challenger apporte une amélioration mesurable.
Registre et états
Développement → Évaluation → Approuvé → Staging → Production
↘ Rejeté ↘ ArchivéLa promotion en production est toujours faite par une personne. Rollback en un clic. Aucun agent ne peut promouvoir un modèle.
Versionnage sur disque
Chaque version réside dans models/<nom>/v<major>.<minor>/ avec tout ce qu’il faut pour la reproduire et l’auditer :
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│ └── run-3.json
├── artifacts/
│ ├── weights/
│ ├── checkpoints/
│ ├── metrics/
│ └── reports/
├── evaluation/
│ └── evaluation-report.json
└── exports/Publier
L’onglet Publier enchaîne une série d’étapes sur la version validée :
Modes de consommation
| Mode | Quand |
|---|---|
| Embarqué | Le modèle s’exécute dans votre application. |
| Autonome | Un exécutable dédié. |
| Microservice | Un service HTTP appelé par d’autres. |
| Batch | Évaluer des lots de données de façon périodique. |
| Streaming | Des prédictions sur des flux d’événements. |
Service local
Servir démarre le modèle sur 127.0.0.1 avec POST /predict (les LLM, avec une API compatible OpenAI). Il
n’écoute que sur votre machine.
curl -s http://127.0.0.1:<port>/predict \
-H "Content-Type: application/json" \
-d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'Il répond {"predictions": [...]}, avec la forme décrite par le panneau Contrat (model-contract.json).
SDK client typé
Dans Client typé (SDK), générez un client pour TypeScript, Python, Java, Go ou C#. Pour l’intégrer avec un timeout, un circuit breaker et un repli sur vos propres règles si le modèle échoue, demandez-le à l’agent.
Voir aussi Confidentialité et sandbox ML.