Dokumentation / ML Studio

Evaluation und Modelle

Unabhängige Evaluation, Metriken, Robustheit und Fairness, Champion gegen Challenger, die Modellregistrierung, die Versionierung auf der Festplatte und das Veröffentlichen.

Auf dieser Seite

Ein Modell ist nicht bereit, nur weil das Training fertig ist. Es ist bereit, wenn eine unabhängige Evaluation bestätigt, dass es die Kriterien erfüllt, ein Mensch es genehmigt und sein Paket die Tests besteht.

Unabhängige Evaluation

Yuli evaluiert jede Version separat, auf der Testpartition · außerhalb des Trainings: Daten, die das Modell weder beim Training noch bei der Wahl der Parameter gesehen hat. Das Urteil ist eindeutig:

  • „Erfüllt die Kriterien (n/N)“ oder
  • „Nicht erfüllt: …“, mit dem Kriterium, das verfehlt wurde.

Die Kriterien stehen unter acceptance in yuli-ml.yaml:

yaml
acceptance:
  minimum_f1: 0.85
  maximum_latency_ms: 200
  maximum_memory_mb: 2048
  require_no_nan: true

Metriken

ProblemtypMetriken
AlleVerlust (Train / Validierung)
KlassifikationGenauigkeit, F1, Makro-F1, Präzision, Recall, ROC AUC
KalibrierungECE, Brier
Regression und ZeitreihenRMSE, MAE, R², MAPE
SprachmodellePerplexität, Tokens/s
Dienstp95-Latenz (ms)

Bei unausgewogenen Klassen lügt die Genauigkeit: Ein Modell, das immer „nein“ sagt, liegt zu 95 % richtig, wenn nur 5 % „ja“ sind. Verwende F1, Makro-F1 oder Recall, je nachdem, welcher Fehler teurer ist.

Konfusionsmatrix

Bei der Klassifikation zeigt die Konfusionsmatrix für jede tatsächliche Klasse, wie oft das Modell richtig lag und womit es sie verwechselt hat. So siehst du am schnellsten, wo es versagt.

Robustheit und Fairness

Robustheit und Fairness prüft, wie sich das Modell bei gestörten Daten und zwischen Gruppen verändert. Jeder Test ergibt robust, empfindlich oder fragil. Wenn das Modell Menschen betrifft, prüfe das immer.

Evaluationsverlauf

Jede Evaluation wird mit Wann, Suite, Testdaten, Kriterien und Urteil festgehalten, dazu die Verbesserung ggü. Produktion: wie viel besser (oder schlechter) sie im Vergleich zum Modell im Dienst ist.

Die Panels des Modells

PanelWas es tut
ÜbersichtMetriken, Kriterien und Urteil.
ExplorerWas das Modell intern gelernt hat.
ErklärungWelche Variablen bei jeder Vorhersage Gewicht haben.
TestenVorhersagen von Hand: „Was wäre, wenn…?“ ändert einen Wert und du siehst die Wirkung, „Live · n ms“.
DatenblattDas Datenblatt des Modells: was es tut, Daten, Metriken und Grenzen.
DeploymentLokaler Dienst und typisierter Client.
VertragDie Ein- und Ausgabeform, auf die sich deine Anwendung verlassen kann.

Champion gegen Challenger

Der Champion ist die Version, die in der Produktion läuft. Ein Challenger ist eine neue Version, die auf denselben Testdaten gegen ihn antritt. Nur wenn der Challenger messbar besser ist, lohnt es sich, ihn hochzustufen.

Registrierung und Status

text
Entwicklung → Evaluation → Genehmigt → Staging → Produktion
                                   ↘ Abgelehnt      ↘ Archiviert

Das Hochstufen in die Produktion übernimmt immer ein Mensch. Rollback mit einem Klick. Kein Agent kann ein Modell hochstufen.

Versionierung auf der Festplatte

Jede Version liegt in models/<name>/v<major>.<minor>/ mit allem, was nötig ist, um sie zu reproduzieren und zu prüfen:

text
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│   └── run-3.json
├── artifacts/
│   ├── weights/
│   ├── checkpoints/
│   ├── metrics/
│   └── reports/
├── evaluation/
│   └── evaluation-report.json
└── exports/

Veröffentlichen

Der Tab Veröffentlichen durchläuft eine Kette von Schritten mit der validierten Version:

0 von 7 erledigt

Nutzungsarten

ArtWann
EingebettetDas Modell läuft innerhalb deiner Anwendung.
StandaloneEine eigene ausführbare Datei.
MicroserviceEin HTTP-Dienst, den andere aufrufen.
BatchDatenstapel regelmäßig bewerten.
StreamingVorhersagen auf Ereignisströmen.

Lokaler Dienst

Bereitstellen startet das Modell auf 127.0.0.1 mit POST /predict (LLMs mit OpenAI-kompatibler API). Es lauscht nur auf deinem Rechner.

bash
curl -s http://127.0.0.1:<Port>/predict \
  -H "Content-Type: application/json" \
  -d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'

Die Antwort ist {"predictions": [...]}, in derselben Form, die das Panel Vertrag beschreibt (model-contract.json).

Typisiertes Client-SDK

Unter Typisierter Client (SDK) erzeugst du einen Client für TypeScript, Python, Java, Go oder C#. Um ihn mit Timeout, Circuit Breaker und Rückfall auf deine Regeln bei einem Modellfehler zu integrieren, bitte den Agenten darum.

Siehe auch Datenschutz und Sandbox für ML.