Dokumentation / ML Studio

Daten in ML Studio

Datensätze importieren und profilieren, unveränderliche Versionen, Aufbereitung, Qualität, Sensibilität mit Maskierung und Herkunft.

Auf dieser Seite

Fast alle schlechten Modelle beginnen mit einem Problem, das schon in den Daten steckte. Der Tab Daten hilft dir, es vor dem Training zu sehen. Ein Datensatz ist eine Tabelle: Zeilen (Beispiele) und Spalten (Variablen und die vorherzusagende Spalte).

Importieren und profilieren

Klicke auf Importieren und profilieren und wähle eine Datei oder eine Datenbank.

QuelleDetails
DateienCSV, TSV, JSON, JSONL, Parquet und SQLite.
DatenbankEine schreibgeschützte SELECT-Abfrage über eine Verbindung aus Datenbank.
Große DatenFunktioniert mit Datensätzen, die größer als der Arbeitsspeicher sind.

Beim Import berechnet Yuli das vollständige Profil und zeigt dir die Maskierte Stichprobe: die Beispielzeilen mit ausgeblendeten sensiblen Spalten.

Unveränderliche Versionen

Jede Änderung (importieren, bereinigen, aufteilen) erzeugt eine neue, unveränderliche Version, identifiziert durch ihren Hash. Eine Version wird nie überschrieben: Ein Modell kann immer genau sagen, mit welchen Daten es trainiert wurde.

text
ventas.csv
├── v1  sha256:4f1c…  importiert
├── v2  sha256:9a07…  Duplikate entfernen
├── v3  sha256:c2e8…  Nullwerte füllen (Median)
└── v4  sha256:71bd…  aufteilen 70 / 15 / 15

Die Ansichten eines Datensatzes

AnsichtWas sie zeigt
ProfilSchema und Statistiken pro Spalte.
AufbereitenSchritte zur Bereinigung und Transformation.
DatenblattDas Datenblatt des Datensatzes mit seiner Lizenz (nötig, um ein Modell zu genehmigen).
DatenDie Zeilen, maskiert, wo es nötig ist.
SensibilitätWelche Spalten sensibel sind und wie sie maskiert werden.
QualitätEine Gesamtbewertung und ihre Dimensionen.
HerkunftWoher jede Version stammt und welche Modelle sie verwenden.

Profil

Die Spaltentabelle zeigt Spalte, Typ, Nullwerte, Eindeutige, Verteilung und Übersicht. Darunter:

  • Klassenbalance: wie viele Beispiele es für jeden Wert der vorherzusagenden Spalte gibt.
  • Stärkste Korrelationen: die Spaltenpaare, die sich am stärksten gemeinsam bewegen.
  • Erkannte Probleme: konstante Spalten, Kennungen, die man besser ausschließt, viele Nullwerte, doppelte Zeilen oder unausgewogene Klassen.

Eine fast perfekte Korrelation mit der vorherzusagenden Spalte ist meist ein Leck: Information aus der Antwort, die in die Variablen durchsickert. Das Modell wirkt hervorragend und versagt in der Produktion. Schließe diese Spalte aus.

Die Daten aufbereiten

Jeder Schritt in Aufbereiten erzeugt eine neue Version:

SchrittWas er tut
Duplikate entfernenLöscht wiederholte Zeilen.
Nullwerte füllenErgänzt fehlende Werte.
One-hotWandelt eine Kategorie in Spalten mit 0 und 1 um.
StandardisierenZentriert auf 0 mit Standardabweichung 1.
Normalisieren (0–1)Skaliert auf den Bereich von 0 bis 1.
AufteilenTrennt in Training, Validierung und Test.
0 von 5 erledigt

Qualität

Die Ansicht Qualität liefert eine Gesamtbewertung und eine Note und schlüsselt sie in Dimensionen auf:

DimensionFrage
Fehlende WerteWie viele Werte fehlen und wo?
GültigkeitHaben die Werte den erwarteten Typ und das erwartete Format?
Duplikate und RegelnGibt es wiederholte Zeilen oder verletzte Geschäftsregeln?
AusreißerGibt es verdächtige Extremwerte?
VerteilungenHaben die Spalten plausible Formen?
Zeit und DriftÄndern sich die Daten mit der Zeit?
LabelsIst die vorherzusagende Spalte stimmig?
VerzerrungIst eine Gruppe unter- oder überrepräsentiert?

Sensibilität und Maskierung

Unter Sensibilität hat jede Spalte eine Wahrscheinlichkeit, sensibel zu sein, eine Kategorie und eine vorgeschlagene Maskierung. Der Detektor kombiniert den Spaltennamen, Muster und Validatoren mit Prüfziffer (Karten, IBAN, CLABE, CPF, CURP/RFC).

  • Du und deine lokalen Modelle arbeiten mit den echten Werten: Sie verlassen deinen Rechner nicht.
  • Externe Agenten sehen sensible Spalten nur als •••. Aggregate werden durchgelassen: Ein Agent kann darüber nachdenken, welche Variablen am meisten Gewicht haben, ohne einen einzigen Kunden zu sehen.
  • Nur ein Mensch kann eine Spalte als nicht sensibel markieren. Ein Agent kann nie Daten für sich selbst demaskieren.

Die sensiblen Spalten werden in yuli-ml.yaml festgehalten:

yaml
sensitiveColumns:
  - email
  - curp
  - telefono

Wenn das Modell Menschen betrifft, prüfe auch die Dimension Verzerrung unter Qualität und den Abschnitt Robustheit und Fairness der Evaluation. Siehe Datenschutz und Sandbox für ML.

Herkunft

Herkunft zeichnet die vollständige Kette: Quelldatei oder -abfrage → Versionen des Datensatzes → Aufbereitungsschritte → Trainingsläufe → Versionen des Modells. Jedes Modell speichert seine lineage.json, sodass du immer beantworten kannst: „Mit welchen Daten genau wurde die Version trainiert, die in der Produktion läuft?“

Nächster Schritt: Training.