Dokumentation / ML Studio
Evaluation und Modelle
Unabhängige Evaluation, Metriken, Robustheit und Fairness, Champion gegen Challenger, die Modellregistrierung, die Versionierung auf der Festplatte und das Veröffentlichen.
Auf dieser Seite
Ein Modell ist nicht bereit, nur weil das Training fertig ist. Es ist bereit, wenn eine unabhängige Evaluation bestätigt, dass es die Kriterien erfüllt, ein Mensch es genehmigt und sein Paket die Tests besteht.
Unabhängige Evaluation
Yuli evaluiert jede Version separat, auf der Testpartition · außerhalb des Trainings: Daten, die das Modell weder beim Training noch bei der Wahl der Parameter gesehen hat. Das Urteil ist eindeutig:
- „Erfüllt die Kriterien (n/N)“ oder
- „Nicht erfüllt: …“, mit dem Kriterium, das verfehlt wurde.
Die Kriterien stehen unter acceptance in yuli-ml.yaml:
acceptance:
minimum_f1: 0.85
maximum_latency_ms: 200
maximum_memory_mb: 2048
require_no_nan: trueMetriken
| Problemtyp | Metriken |
|---|---|
| Alle | Verlust (Train / Validierung) |
| Klassifikation | Genauigkeit, F1, Makro-F1, Präzision, Recall, ROC AUC |
| Kalibrierung | ECE, Brier |
| Regression und Zeitreihen | RMSE, MAE, R², MAPE |
| Sprachmodelle | Perplexität, Tokens/s |
| Dienst | p95-Latenz (ms) |
Bei unausgewogenen Klassen lügt die Genauigkeit: Ein Modell, das immer „nein“ sagt, liegt zu 95 % richtig, wenn nur 5 % „ja“ sind. Verwende F1, Makro-F1 oder Recall, je nachdem, welcher Fehler teurer ist.
Konfusionsmatrix
Bei der Klassifikation zeigt die Konfusionsmatrix für jede tatsächliche Klasse, wie oft das Modell richtig lag und womit es sie verwechselt hat. So siehst du am schnellsten, wo es versagt.
Robustheit und Fairness
Robustheit und Fairness prüft, wie sich das Modell bei gestörten Daten und zwischen Gruppen verändert. Jeder Test ergibt robust, empfindlich oder fragil. Wenn das Modell Menschen betrifft, prüfe das immer.
Evaluationsverlauf
Jede Evaluation wird mit Wann, Suite, Testdaten, Kriterien und Urteil festgehalten, dazu die Verbesserung ggü. Produktion: wie viel besser (oder schlechter) sie im Vergleich zum Modell im Dienst ist.
Die Panels des Modells
| Panel | Was es tut |
|---|---|
| Übersicht | Metriken, Kriterien und Urteil. |
| Explorer | Was das Modell intern gelernt hat. |
| Erklärung | Welche Variablen bei jeder Vorhersage Gewicht haben. |
| Testen | Vorhersagen von Hand: „Was wäre, wenn…?“ ändert einen Wert und du siehst die Wirkung, „Live · n ms“. |
| Datenblatt | Das Datenblatt des Modells: was es tut, Daten, Metriken und Grenzen. |
| Deployment | Lokaler Dienst und typisierter Client. |
| Vertrag | Die Ein- und Ausgabeform, auf die sich deine Anwendung verlassen kann. |
Champion gegen Challenger
Der Champion ist die Version, die in der Produktion läuft. Ein Challenger ist eine neue Version, die auf denselben Testdaten gegen ihn antritt. Nur wenn der Challenger messbar besser ist, lohnt es sich, ihn hochzustufen.
Registrierung und Status
Entwicklung → Evaluation → Genehmigt → Staging → Produktion
↘ Abgelehnt ↘ ArchiviertDas Hochstufen in die Produktion übernimmt immer ein Mensch. Rollback mit einem Klick. Kein Agent kann ein Modell hochstufen.
Versionierung auf der Festplatte
Jede Version liegt in models/<name>/v<major>.<minor>/ mit allem, was nötig ist, um sie zu reproduzieren und zu
prüfen:
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│ └── run-3.json
├── artifacts/
│ ├── weights/
│ ├── checkpoints/
│ ├── metrics/
│ └── reports/
├── evaluation/
│ └── evaluation-report.json
└── exports/Veröffentlichen
Der Tab Veröffentlichen durchläuft eine Kette von Schritten mit der validierten Version:
Nutzungsarten
| Art | Wann |
|---|---|
| Eingebettet | Das Modell läuft innerhalb deiner Anwendung. |
| Standalone | Eine eigene ausführbare Datei. |
| Microservice | Ein HTTP-Dienst, den andere aufrufen. |
| Batch | Datenstapel regelmäßig bewerten. |
| Streaming | Vorhersagen auf Ereignisströmen. |
Lokaler Dienst
Bereitstellen startet das Modell auf 127.0.0.1 mit POST /predict (LLMs mit OpenAI-kompatibler API). Es lauscht
nur auf deinem Rechner.
curl -s http://127.0.0.1:<Port>/predict \
-H "Content-Type: application/json" \
-d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'Die Antwort ist {"predictions": [...]}, in derselben Form, die das Panel Vertrag beschreibt
(model-contract.json).
Typisiertes Client-SDK
Unter Typisierter Client (SDK) erzeugst du einen Client für TypeScript, Python, Java, Go oder C#. Um ihn mit Timeout, Circuit Breaker und Rückfall auf deine Regeln bei einem Modellfehler zu integrieren, bitte den Agenten darum.
Siehe auch Datenschutz und Sandbox für ML.