Documentație / ML Studio
Date în ML Studio
Importul și profilarea seturilor de date, versiuni imuabile, pregătire, calitate, sensibilitate cu mascare și proveniență.
Pe această pagină
Aproape toate modelele proaste pornesc de la o problemă care exista deja în date. Fila Date te ajută să o vezi înainte de antrenare. Un set de date (dataset) este un tabel: rânduri (exemple) și coloane (variabile și coloana de prezis).
Import și profilare
Apasă Importă și profilează și alege un fișier sau o bază de date.
| Sursă | Detaliu |
|---|---|
| Fișiere | CSV, TSV, JSON, JSONL, Parquet și SQLite. |
| Bază de date | O interogare SELECT doar în citire pe o conexiune din Bază de date. |
| Date mari | Funcționează cu seturi de date mai mari decât memoria RAM. |
La import, Yuli calculează profilul complet și îți arată Eșantionul mascat: rândurile de exemplu cu coloanele sensibile ascunse.
Versiuni imuabile
Fiecare modificare (import, curățare, împărțire) creează o versiune nouă și imuabilă, identificată prin hash-ul ei. O versiune nu este niciodată suprascrisă: un model poate spune întotdeauna exact cu ce date a fost antrenat.
ventas.csv
├── v1 sha256:4f1c… importat
├── v2 sha256:9a07… eliminare duplicate
├── v3 sha256:c2e8… completare valori nule (mediană)
└── v4 sha256:71bd… împărțire 70 / 15 / 15Vizualizările unui set de date
| Vizualizare | Ce arată |
|---|---|
| Profil | Schema și statistici pe coloană. |
| Pregătire | Pașii de curățare și transformare. |
| Fișă | Fișa setului de date, cu licența lui (necesară pentru aprobarea unui model). |
| Date | Rândurile, mascate unde este cazul. |
| Sensibilitate | Ce coloane sunt sensibile și cum sunt mascate. |
| Calitate | Un scor general și dimensiunile lui. |
| Proveniență | De unde vine fiecare versiune și ce modele o folosesc. |
Profil
Tabelul coloanelor arată Coloană, Tip, Nule, Unice, Distribuție și Rezumat. Dedesubt:
- Echilibrul claselor: câte exemple există pentru fiecare valoare a coloanei de prezis.
- Cele mai puternice corelații: perechile de coloane care variază cel mai mult împreună.
- Probleme detectate: coloane constante, identificatori care ar trebui excluși, multe valori nule, rânduri duplicate sau clase dezechilibrate.
O corelație aproape perfectă cu coloana de prezis este de obicei o scurgere: informație din răspuns care se strecoară în variabile. Modelul va părea excelent și va eșua în producție. Exclude acea coloană.
Pregătirea datelor
Fiecare pas din Pregătire produce o versiune nouă:
| Pas | Ce face |
|---|---|
| Elimină duplicatele | Șterge rândurile repetate. |
| Completează valorile nule | Completează valorile lipsă. |
| One-hot | Transformă o categorie în coloane de 0 și 1. |
| Standardizează | Centrează în 0 cu abaterea 1. |
| Normalizează (0–1) | Scalează în intervalul de la 0 la 1. |
| Împarte | Separă în antrenare, validare și test. |
Calitate
Vizualizarea Calitate oferă un Scor general și o Notă și le detaliază pe dimensiuni:
| Dimensiune | Întrebare |
|---|---|
| Valori lipsă | Câte valori lipsesc și unde? |
| Validitate | Valorile au tipul și formatul așteptate? |
| Duplicate și reguli | Există rânduri repetate sau reguli de business încălcate? |
| Valori atipice | Există valori extreme suspecte? |
| Distribuții | Coloanele au forme rezonabile? |
| Timp și derivă | Datele se schimbă în timp? |
| Etichete | Coloana de prezis este coerentă? |
| Bias | Vreun grup este subreprezentat sau suprareprezentat? |
Sensibilitate și mascare
În Sensibilitate, fiecare coloană are o probabilitate de a fi sensibilă, o categorie și o mascare sugerată. Detectorul combină numele coloanei, tipare și validatori cu cifră de control (carduri, IBAN, CLABE, CPF, CURP/RFC).
- Tu și modelele tale locale lucrați cu valorile reale: ele nu ies de pe calculatorul tău.
- Agenții externi văd coloanele sensibile doar ca
•••. Agregatele trec: un agent poate raționa despre ce variabile contează cel mai mult fără să vadă vreun client. - Doar o persoană poate marca o coloană ca nesensibilă. Un agent nu poate niciodată să demascheze date pentru el însuși.
Coloanele sensibile sunt înregistrate în yuli-ml.yaml:
sensitiveColumns:
- email
- curp
- telefonoDacă modelul afectează oameni, verifică și dimensiunea Bias din Calitate și secțiunea Robustețe și echitate din evaluare. Vezi Confidențialitate și sandbox ML.
Proveniență
Proveniență desenează lanțul complet: fișierul sau interogarea sursă → versiunile setului de date → pașii de
pregătire → antrenările → versiunile modelului. Fiecare model își păstrează lineage.json, așa că poți răspunde
oricând la „cu ce date exacte a fost antrenată versiunea din producție?”.
Pasul următor: Antrenare.