Documentation / ML Studio
Les données dans ML Studio
Importer et profiler des datasets, versions immuables, préparation, qualité, sensibilité avec masquage et lignage.
Sur cette page
Presque tous les mauvais modèles commencent par un problème qui était déjà dans les données. L’onglet Données vous aide à le voir avant l’entraînement. Un dataset est un tableau : des lignes (exemples) et des colonnes (variables et la colonne à prédire).
Importer et profiler
Cliquez sur Importer et profiler et choisissez un fichier ou une base de données.
| Source | Détail |
|---|---|
| Fichiers | CSV, TSV, JSON, JSONL, Parquet et SQLite. |
| Base de données | Une requête SELECT en lecture seule sur une connexion de Base de données. |
| Gros volumes | Fonctionne avec des datasets plus grands que la mémoire RAM. |
À l’import, Yuli calcule le profil complet et vous montre l’Échantillon masqué : les lignes d’exemple avec les colonnes sensibles masquées.
Versions immuables
Chaque modification (import, nettoyage, découpage) crée une nouvelle version immuable, identifiée par un hachage de son contenu. Une version n’est jamais écrasée : un modèle peut toujours dire exactement avec quelles données il a été entraîné.
ventas.csv
├── v1 sha256:4f1c… importé
├── v2 sha256:9a07… supprimer les doublons
├── v3 sha256:c2e8… remplir les valeurs nulles (médiane)
└── v4 sha256:71bd… découper 70 / 15 / 15Les vues d’un dataset
| Vue | Ce qu’elle montre |
|---|---|
| Profil | Schéma et statistiques par colonne. |
| Préparer | Étapes de nettoyage et de transformation. |
| Fiche | La fiche du dataset, avec sa licence (nécessaire pour approuver un modèle). |
| Données | Les lignes, masquées là où c’est nécessaire. |
| Sensibilité | Les colonnes sensibles et leur masquage. |
| Qualité | Un score global et ses dimensions. |
| Lignage | D’où vient chaque version et quels modèles l’utilisent. |
Profil
Le tableau des colonnes affiche Colonne, Type, Nulles, Uniques, Distribution et Résumé. En dessous :
- Équilibre des classes : le nombre d’exemples pour chaque valeur de la colonne à prédire.
- Corrélations les plus fortes : les paires de colonnes qui varient le plus ensemble.
- Problèmes détectés : colonnes constantes, identifiants à exclure, nombreuses valeurs nulles, lignes en double ou classes déséquilibrées.
Une corrélation presque parfaite avec la colonne à prédire est souvent une fuite : une information de la réponse qui se glisse dans les variables. Le modèle paraîtra excellent et échouera en production. Excluez cette colonne.
Préparer les données
Chaque étape de Préparer produit une nouvelle version :
| Étape | Ce qu’elle fait |
|---|---|
| Supprimer les doublons | Élimine les lignes répétées. |
| Remplir les valeurs nulles | Complète les valeurs manquantes. |
| One-hot | Transforme une catégorie en colonnes de 0 et de 1. |
| Standardiser | Centre sur 0 avec un écart type de 1. |
| Normaliser (0–1) | Met à l’échelle dans la plage de 0 à 1. |
| Découper | Sépare en entraînement, validation et test. |
Qualité
La vue Qualité donne un Score global et une Note, et les détaille par dimension :
| Dimension | Question |
|---|---|
| Valeurs manquantes | Combien de valeurs manquent, et où ? |
| Validité | Les valeurs ont-elles le type et le format attendus ? |
| Doublons et règles | Y a-t-il des lignes répétées ou des règles métier non respectées ? |
| Valeurs aberrantes | Y a-t-il des valeurs extrêmes suspectes ? |
| Distributions | Les colonnes ont-elles des formes raisonnables ? |
| Temps et dérive | Les données évoluent-elles dans le temps ? |
| Étiquettes | La colonne à prédire est-elle cohérente ? |
| Biais | Un groupe est-il sous- ou surreprésenté ? |
Sensibilité et masquage
Dans Sensibilité, chaque colonne a une probabilité d’être sensible, une catégorie et un masquage suggéré. Le détecteur combine le nom de la colonne, des motifs et des validateurs à chiffre de contrôle (cartes, IBAN, CLABE, CPF, CURP/RFC).
- Vous et vos modèles locaux travaillez avec les valeurs réelles : elles ne quittent pas votre machine.
- Les agents externes ne voient les colonnes sensibles que sous la forme
•••. Les agrégats, eux, passent : un agent peut raisonner sur les variables qui pèsent le plus sans voir un seul client. - Seule une personne peut marquer une colonne comme non sensible. Un agent ne peut jamais démasquer des données pour lui-même.
Les colonnes sensibles sont enregistrées dans yuli-ml.yaml :
sensitiveColumns:
- email
- curp
- telefonoSi le modèle concerne des personnes, examinez aussi la dimension Biais de Qualité et la section Robustesse et équité de l’évaluation. Voir Confidentialité et sandbox ML.
Lignage
Lignage dessine la chaîne complète : fichier ou requête source → versions du dataset → étapes de préparation →
entraînements → versions du modèle. Chaque modèle conserve son lineage.json ; vous pouvez donc toujours répondre à
la question « avec quelles données exactes la version en production a-t-elle été entraînée ? ».
Étape suivante : Entraînement.