Dokumentation / ML Studio
Daten in ML Studio
Datensätze importieren und profilieren, unveränderliche Versionen, Aufbereitung, Qualität, Sensibilität mit Maskierung und Herkunft.
Auf dieser Seite
Fast alle schlechten Modelle beginnen mit einem Problem, das schon in den Daten steckte. Der Tab Daten hilft dir, es vor dem Training zu sehen. Ein Datensatz ist eine Tabelle: Zeilen (Beispiele) und Spalten (Variablen und die vorherzusagende Spalte).
Importieren und profilieren
Klicke auf Importieren und profilieren und wähle eine Datei oder eine Datenbank.
| Quelle | Details |
|---|---|
| Dateien | CSV, TSV, JSON, JSONL, Parquet und SQLite. |
| Datenbank | Eine schreibgeschützte SELECT-Abfrage über eine Verbindung aus Datenbank. |
| Große Daten | Funktioniert mit Datensätzen, die größer als der Arbeitsspeicher sind. |
Beim Import berechnet Yuli das vollständige Profil und zeigt dir die Maskierte Stichprobe: die Beispielzeilen mit ausgeblendeten sensiblen Spalten.
Unveränderliche Versionen
Jede Änderung (importieren, bereinigen, aufteilen) erzeugt eine neue, unveränderliche Version, identifiziert durch ihren Hash. Eine Version wird nie überschrieben: Ein Modell kann immer genau sagen, mit welchen Daten es trainiert wurde.
ventas.csv
├── v1 sha256:4f1c… importiert
├── v2 sha256:9a07… Duplikate entfernen
├── v3 sha256:c2e8… Nullwerte füllen (Median)
└── v4 sha256:71bd… aufteilen 70 / 15 / 15Die Ansichten eines Datensatzes
| Ansicht | Was sie zeigt |
|---|---|
| Profil | Schema und Statistiken pro Spalte. |
| Aufbereiten | Schritte zur Bereinigung und Transformation. |
| Datenblatt | Das Datenblatt des Datensatzes mit seiner Lizenz (nötig, um ein Modell zu genehmigen). |
| Daten | Die Zeilen, maskiert, wo es nötig ist. |
| Sensibilität | Welche Spalten sensibel sind und wie sie maskiert werden. |
| Qualität | Eine Gesamtbewertung und ihre Dimensionen. |
| Herkunft | Woher jede Version stammt und welche Modelle sie verwenden. |
Profil
Die Spaltentabelle zeigt Spalte, Typ, Nullwerte, Eindeutige, Verteilung und Übersicht. Darunter:
- Klassenbalance: wie viele Beispiele es für jeden Wert der vorherzusagenden Spalte gibt.
- Stärkste Korrelationen: die Spaltenpaare, die sich am stärksten gemeinsam bewegen.
- Erkannte Probleme: konstante Spalten, Kennungen, die man besser ausschließt, viele Nullwerte, doppelte Zeilen oder unausgewogene Klassen.
Eine fast perfekte Korrelation mit der vorherzusagenden Spalte ist meist ein Leck: Information aus der Antwort, die in die Variablen durchsickert. Das Modell wirkt hervorragend und versagt in der Produktion. Schließe diese Spalte aus.
Die Daten aufbereiten
Jeder Schritt in Aufbereiten erzeugt eine neue Version:
| Schritt | Was er tut |
|---|---|
| Duplikate entfernen | Löscht wiederholte Zeilen. |
| Nullwerte füllen | Ergänzt fehlende Werte. |
| One-hot | Wandelt eine Kategorie in Spalten mit 0 und 1 um. |
| Standardisieren | Zentriert auf 0 mit Standardabweichung 1. |
| Normalisieren (0–1) | Skaliert auf den Bereich von 0 bis 1. |
| Aufteilen | Trennt in Training, Validierung und Test. |
Qualität
Die Ansicht Qualität liefert eine Gesamtbewertung und eine Note und schlüsselt sie in Dimensionen auf:
| Dimension | Frage |
|---|---|
| Fehlende Werte | Wie viele Werte fehlen und wo? |
| Gültigkeit | Haben die Werte den erwarteten Typ und das erwartete Format? |
| Duplikate und Regeln | Gibt es wiederholte Zeilen oder verletzte Geschäftsregeln? |
| Ausreißer | Gibt es verdächtige Extremwerte? |
| Verteilungen | Haben die Spalten plausible Formen? |
| Zeit und Drift | Ändern sich die Daten mit der Zeit? |
| Labels | Ist die vorherzusagende Spalte stimmig? |
| Verzerrung | Ist eine Gruppe unter- oder überrepräsentiert? |
Sensibilität und Maskierung
Unter Sensibilität hat jede Spalte eine Wahrscheinlichkeit, sensibel zu sein, eine Kategorie und eine vorgeschlagene Maskierung. Der Detektor kombiniert den Spaltennamen, Muster und Validatoren mit Prüfziffer (Karten, IBAN, CLABE, CPF, CURP/RFC).
- Du und deine lokalen Modelle arbeiten mit den echten Werten: Sie verlassen deinen Rechner nicht.
- Externe Agenten sehen sensible Spalten nur als
•••. Aggregate werden durchgelassen: Ein Agent kann darüber nachdenken, welche Variablen am meisten Gewicht haben, ohne einen einzigen Kunden zu sehen. - Nur ein Mensch kann eine Spalte als nicht sensibel markieren. Ein Agent kann nie Daten für sich selbst demaskieren.
Die sensiblen Spalten werden in yuli-ml.yaml festgehalten:
sensitiveColumns:
- email
- curp
- telefonoWenn das Modell Menschen betrifft, prüfe auch die Dimension Verzerrung unter Qualität und den Abschnitt Robustheit und Fairness der Evaluation. Siehe Datenschutz und Sandbox für ML.
Herkunft
Herkunft zeichnet die vollständige Kette: Quelldatei oder -abfrage → Versionen des Datensatzes →
Aufbereitungsschritte → Trainingsläufe → Versionen des Modells. Jedes Modell speichert seine lineage.json, sodass du
immer beantworten kannst: „Mit welchen Daten genau wurde die Version trainiert, die in der Produktion läuft?“
Nächster Schritt: Training.