Documentación / ML Studio
Datos en ML Studio
Importar y perfilar datasets, versiones inmutables, preparación, calidad, sensibilidad con enmascarado y linaje.
En esta página
Casi todos los malos modelos empiezan con un problema que ya estaba en los datos. La pestaña Datos te ayuda a verlo antes de entrenar. Un dataset es una tabla: filas (ejemplos) y columnas (variables y la columna a predecir).
Importar y perfilar
Pulsa Importar y perfilar y elige un archivo o una base de datos.
| Origen | Detalle |
|---|---|
| Archivos | CSV, TSV, JSON, JSONL, Parquet y SQLite. |
| Base de datos | Una consulta SELECT de solo lectura sobre una conexión de Base de datos. |
| Datos grandes | Funciona con datasets más grandes que la memoria RAM. |
Al importar, Yuli calcula el perfil completo y te muestra la Muestra enmascarada: las filas de ejemplo con las columnas sensibles ocultas.
Versiones inmutables
Cada cambio (importar, limpiar, dividir) crea una versión nueva e inmutable, identificada por su hash. Nunca se sobrescribe una versión: un modelo siempre puede decir exactamente con qué datos se entrenó.
ventas.csv
├── v1 sha256:4f1c… importado
├── v2 sha256:9a07… quitar duplicados
├── v3 sha256:c2e8… rellenar nulos (mediana)
└── v4 sha256:71bd… dividir 70 / 15 / 15Las vistas de un dataset
| Vista | Qué muestra |
|---|---|
| Perfil | Esquema y estadísticas por columna. |
| Preparar | Pasos de limpieza y transformación. |
| Ficha | La ficha del dataset, con su licencia (hace falta para aprobar un modelo). |
| Datos | Las filas, enmascaradas donde corresponde. |
| Sensibilidad | Qué columnas son sensibles y cómo se enmascaran. |
| Calidad | Una puntuación general y sus dimensiones. |
| Linaje | De dónde viene cada versión y qué modelos la usan. |
Perfil
La tabla de columnas muestra Columna, Tipo, Nulos, Únicos, Distribución y Resumen. Debajo:
- Balance de clases: cuántos ejemplos hay de cada valor de la columna a predecir.
- Correlaciones más fuertes: las parejas de columnas que más se mueven juntas.
- Problemas detectados: columnas constantes, identificadores que conviene excluir, muchos nulos, filas duplicadas o clases desbalanceadas.
Una correlación casi perfecta con la columna a predecir suele ser una fuga: información de la respuesta que se cuela en las variables. El modelo parecerá excelente y fallará en producción. Excluye esa columna.
Preparar los datos
Cada paso de Preparar produce una versión nueva:
| Paso | Qué hace |
|---|---|
| Quitar duplicados | Elimina filas repetidas. |
| Rellenar nulos | Completa valores faltantes. |
| One-hot | Convierte una categoría en columnas de 0 y 1. |
| Estandarizar | Centra en 0 con desviación 1. |
| Normalizar (0–1) | Escala al rango de 0 a 1. |
| Dividir | Separa en entrenamiento, validación y prueba. |
Calidad
La vista Calidad da una Puntuación general y una Nota, y la desglosa en dimensiones:
| Dimensión | Pregunta |
|---|---|
| Faltantes | ¿Cuántos valores faltan y dónde? |
| Validez | ¿Los valores tienen el tipo y el formato esperados? |
| Duplicados y reglas | ¿Hay filas repetidas o reglas de negocio incumplidas? |
| Atípicos | ¿Hay valores extremos sospechosos? |
| Distribuciones | ¿Las columnas tienen formas razonables? |
| Tiempo y deriva | ¿Los datos cambian con el tiempo? |
| Etiquetas | ¿La columna a predecir es coherente? |
| Sesgo | ¿Algún grupo está sub o sobrerrepresentado? |
Sensibilidad y enmascarado
En Sensibilidad, cada columna tiene una probabilidad de ser sensible, una categoría y un enmascarado sugerido. El detector combina el nombre de la columna, patrones y validadores con dígito de control (tarjetas, IBAN, CLABE, CPF, CURP/RFC).
- Tú y tus modelos locales trabajan con los valores reales: no salen de tu equipo.
- Los agentes externos solo ven las columnas sensibles como
•••. Los agregados sí pasan: un agente puede razonar sobre qué variables pesan más sin ver a un solo cliente. - Solo una persona puede marcar una columna como no sensible. Un agente nunca puede desenmascarar datos para sí mismo.
Las columnas sensibles quedan registradas en yuli-ml.yaml:
sensitiveColumns:
- email
- curp
- telefonoSi el modelo afecta a personas, revisa también la dimensión Sesgo de Calidad y la sección Robustez y equidad de la evaluación. Ver Privacidad y sandbox de ML.
Linaje
Linaje dibuja la cadena completa: archivo o consulta de origen → versiones del dataset → pasos de preparación →
entrenamientos → versiones del modelo. Cada modelo guarda su lineage.json, así que siempre puedes responder «¿con qué
datos exactos se entrenó la versión que está en producción?».
Siguiente paso: Entrenamiento.