Documentation / ML Studio

Les données dans ML Studio

Importer et profiler des datasets, versions immuables, préparation, qualité, sensibilité avec masquage et lignage.

Sur cette page

Presque tous les mauvais modèles commencent par un problème qui était déjà dans les données. L’onglet Données vous aide à le voir avant l’entraînement. Un dataset est un tableau : des lignes (exemples) et des colonnes (variables et la colonne à prédire).

Importer et profiler

Cliquez sur Importer et profiler et choisissez un fichier ou une base de données.

SourceDétail
FichiersCSV, TSV, JSON, JSONL, Parquet et SQLite.
Base de donnéesUne requête SELECT en lecture seule sur une connexion de Base de données.
Gros volumesFonctionne avec des datasets plus grands que la mémoire RAM.

À l’import, Yuli calcule le profil complet et vous montre l’Échantillon masqué : les lignes d’exemple avec les colonnes sensibles masquées.

Versions immuables

Chaque modification (import, nettoyage, découpage) crée une nouvelle version immuable, identifiée par un hachage de son contenu. Une version n’est jamais écrasée : un modèle peut toujours dire exactement avec quelles données il a été entraîné.

text
ventas.csv
├── v1  sha256:4f1c…  importé
├── v2  sha256:9a07…  supprimer les doublons
├── v3  sha256:c2e8…  remplir les valeurs nulles (médiane)
└── v4  sha256:71bd…  découper 70 / 15 / 15

Les vues d’un dataset

VueCe qu’elle montre
ProfilSchéma et statistiques par colonne.
PréparerÉtapes de nettoyage et de transformation.
FicheLa fiche du dataset, avec sa licence (nécessaire pour approuver un modèle).
DonnéesLes lignes, masquées là où c’est nécessaire.
SensibilitéLes colonnes sensibles et leur masquage.
QualitéUn score global et ses dimensions.
LignageD’où vient chaque version et quels modèles l’utilisent.

Profil

Le tableau des colonnes affiche Colonne, Type, Nulles, Uniques, Distribution et Résumé. En dessous :

  • Équilibre des classes : le nombre d’exemples pour chaque valeur de la colonne à prédire.
  • Corrélations les plus fortes : les paires de colonnes qui varient le plus ensemble.
  • Problèmes détectés : colonnes constantes, identifiants à exclure, nombreuses valeurs nulles, lignes en double ou classes déséquilibrées.

Une corrélation presque parfaite avec la colonne à prédire est souvent une fuite : une information de la réponse qui se glisse dans les variables. Le modèle paraîtra excellent et échouera en production. Excluez cette colonne.

Préparer les données

Chaque étape de Préparer produit une nouvelle version :

ÉtapeCe qu’elle fait
Supprimer les doublonsÉlimine les lignes répétées.
Remplir les valeurs nullesComplète les valeurs manquantes.
One-hotTransforme une catégorie en colonnes de 0 et de 1.
StandardiserCentre sur 0 avec un écart type de 1.
Normaliser (0–1)Met à l’échelle dans la plage de 0 à 1.
DécouperSépare en entraînement, validation et test.
0 sur 5 faits

Qualité

La vue Qualité donne un Score global et une Note, et les détaille par dimension :

DimensionQuestion
Valeurs manquantesCombien de valeurs manquent, et où ?
ValiditéLes valeurs ont-elles le type et le format attendus ?
Doublons et règlesY a-t-il des lignes répétées ou des règles métier non respectées ?
Valeurs aberrantesY a-t-il des valeurs extrêmes suspectes ?
DistributionsLes colonnes ont-elles des formes raisonnables ?
Temps et dériveLes données évoluent-elles dans le temps ?
ÉtiquettesLa colonne à prédire est-elle cohérente ?
BiaisUn groupe est-il sous- ou surreprésenté ?

Sensibilité et masquage

Dans Sensibilité, chaque colonne a une probabilité d’être sensible, une catégorie et un masquage suggéré. Le détecteur combine le nom de la colonne, des motifs et des validateurs à chiffre de contrôle (cartes, IBAN, CLABE, CPF, CURP/RFC).

  • Vous et vos modèles locaux travaillez avec les valeurs réelles : elles ne quittent pas votre machine.
  • Les agents externes ne voient les colonnes sensibles que sous la forme •••. Les agrégats, eux, passent : un agent peut raisonner sur les variables qui pèsent le plus sans voir un seul client.
  • Seule une personne peut marquer une colonne comme non sensible. Un agent ne peut jamais démasquer des données pour lui-même.

Les colonnes sensibles sont enregistrées dans yuli-ml.yaml :

yaml
sensitiveColumns:
  - email
  - curp
  - telefono

Si le modèle concerne des personnes, examinez aussi la dimension Biais de Qualité et la section Robustesse et équité de l’évaluation. Voir Confidentialité et sandbox ML.

Lignage

Lignage dessine la chaîne complète : fichier ou requête source → versions du dataset → étapes de préparation → entraînements → versions du modèle. Chaque modèle conserve son lineage.json ; vous pouvez donc toujours répondre à la question « avec quelles données exactes la version en production a-t-elle été entraînée ? ».

Étape suivante : Entraînement.