Documentație / ML Studio

Date în ML Studio

Importul și profilarea seturilor de date, versiuni imuabile, pregătire, calitate, sensibilitate cu mascare și proveniență.

Pe această pagină

Aproape toate modelele proaste pornesc de la o problemă care exista deja în date. Fila Date te ajută să o vezi înainte de antrenare. Un set de date (dataset) este un tabel: rânduri (exemple) și coloane (variabile și coloana de prezis).

Import și profilare

Apasă Importă și profilează și alege un fișier sau o bază de date.

SursăDetaliu
FișiereCSV, TSV, JSON, JSONL, Parquet și SQLite.
Bază de dateO interogare SELECT doar în citire pe o conexiune din Bază de date.
Date mariFuncționează cu seturi de date mai mari decât memoria RAM.

La import, Yuli calculează profilul complet și îți arată Eșantionul mascat: rândurile de exemplu cu coloanele sensibile ascunse.

Versiuni imuabile

Fiecare modificare (import, curățare, împărțire) creează o versiune nouă și imuabilă, identificată prin hash-ul ei. O versiune nu este niciodată suprascrisă: un model poate spune întotdeauna exact cu ce date a fost antrenat.

text
ventas.csv
├── v1  sha256:4f1c…  importat
├── v2  sha256:9a07…  eliminare duplicate
├── v3  sha256:c2e8…  completare valori nule (mediană)
└── v4  sha256:71bd…  împărțire 70 / 15 / 15

Vizualizările unui set de date

VizualizareCe arată
ProfilSchema și statistici pe coloană.
PregătirePașii de curățare și transformare.
FișăFișa setului de date, cu licența lui (necesară pentru aprobarea unui model).
DateRândurile, mascate unde este cazul.
SensibilitateCe coloane sunt sensibile și cum sunt mascate.
CalitateUn scor general și dimensiunile lui.
ProveniențăDe unde vine fiecare versiune și ce modele o folosesc.

Profil

Tabelul coloanelor arată Coloană, Tip, Nule, Unice, Distribuție și Rezumat. Dedesubt:

  • Echilibrul claselor: câte exemple există pentru fiecare valoare a coloanei de prezis.
  • Cele mai puternice corelații: perechile de coloane care variază cel mai mult împreună.
  • Probleme detectate: coloane constante, identificatori care ar trebui excluși, multe valori nule, rânduri duplicate sau clase dezechilibrate.

O corelație aproape perfectă cu coloana de prezis este de obicei o scurgere: informație din răspuns care se strecoară în variabile. Modelul va părea excelent și va eșua în producție. Exclude acea coloană.

Pregătirea datelor

Fiecare pas din Pregătire produce o versiune nouă:

PasCe face
Elimină duplicateleȘterge rândurile repetate.
Completează valorile nuleCompletează valorile lipsă.
One-hotTransformă o categorie în coloane de 0 și 1.
StandardizeazăCentrează în 0 cu abaterea 1.
Normalizează (0–1)Scalează în intervalul de la 0 la 1.
ÎmparteSepară în antrenare, validare și test.
0 din 5 gata

Calitate

Vizualizarea Calitate oferă un Scor general și o Notă și le detaliază pe dimensiuni:

DimensiuneÎntrebare
Valori lipsăCâte valori lipsesc și unde?
ValiditateValorile au tipul și formatul așteptate?
Duplicate și reguliExistă rânduri repetate sau reguli de business încălcate?
Valori atipiceExistă valori extreme suspecte?
DistribuțiiColoanele au forme rezonabile?
Timp și derivăDatele se schimbă în timp?
EticheteColoana de prezis este coerentă?
BiasVreun grup este subreprezentat sau suprareprezentat?

Sensibilitate și mascare

În Sensibilitate, fiecare coloană are o probabilitate de a fi sensibilă, o categorie și o mascare sugerată. Detectorul combină numele coloanei, tipare și validatori cu cifră de control (carduri, IBAN, CLABE, CPF, CURP/RFC).

  • Tu și modelele tale locale lucrați cu valorile reale: ele nu ies de pe calculatorul tău.
  • Agenții externi văd coloanele sensibile doar ca •••. Agregatele trec: un agent poate raționa despre ce variabile contează cel mai mult fără să vadă vreun client.
  • Doar o persoană poate marca o coloană ca nesensibilă. Un agent nu poate niciodată să demascheze date pentru el însuși.

Coloanele sensibile sunt înregistrate în yuli-ml.yaml:

yaml
sensitiveColumns:
  - email
  - curp
  - telefono

Dacă modelul afectează oameni, verifică și dimensiunea Bias din Calitate și secțiunea Robustețe și echitate din evaluare. Vezi Confidențialitate și sandbox ML.

Proveniență

Proveniență desenează lanțul complet: fișierul sau interogarea sursă → versiunile setului de date → pașii de pregătire → antrenările → versiunile modelului. Fiecare model își păstrează lineage.json, așa că poți răspunde oricând la „cu ce date exacte a fost antrenată versiunea din producție?”.

Pasul următor: Antrenare.