Documentación / ML Studio

Datos en ML Studio

Importar y perfilar datasets, versiones inmutables, preparación, calidad, sensibilidad con enmascarado y linaje.

En esta página

Casi todos los malos modelos empiezan con un problema que ya estaba en los datos. La pestaña Datos te ayuda a verlo antes de entrenar. Un dataset es una tabla: filas (ejemplos) y columnas (variables y la columna a predecir).

Importar y perfilar

Pulsa Importar y perfilar y elige un archivo o una base de datos.

OrigenDetalle
ArchivosCSV, TSV, JSON, JSONL, Parquet y SQLite.
Base de datosUna consulta SELECT de solo lectura sobre una conexión de Base de datos.
Datos grandesFunciona con datasets más grandes que la memoria RAM.

Al importar, Yuli calcula el perfil completo y te muestra la Muestra enmascarada: las filas de ejemplo con las columnas sensibles ocultas.

Versiones inmutables

Cada cambio (importar, limpiar, dividir) crea una versión nueva e inmutable, identificada por su hash. Nunca se sobrescribe una versión: un modelo siempre puede decir exactamente con qué datos se entrenó.

text
ventas.csv
├── v1  sha256:4f1c…  importado
├── v2  sha256:9a07…  quitar duplicados
├── v3  sha256:c2e8…  rellenar nulos (mediana)
└── v4  sha256:71bd…  dividir 70 / 15 / 15

Las vistas de un dataset

VistaQué muestra
PerfilEsquema y estadísticas por columna.
PrepararPasos de limpieza y transformación.
FichaLa ficha del dataset, con su licencia (hace falta para aprobar un modelo).
DatosLas filas, enmascaradas donde corresponde.
SensibilidadQué columnas son sensibles y cómo se enmascaran.
CalidadUna puntuación general y sus dimensiones.
LinajeDe dónde viene cada versión y qué modelos la usan.

Perfil

La tabla de columnas muestra Columna, Tipo, Nulos, Únicos, Distribución y Resumen. Debajo:

  • Balance de clases: cuántos ejemplos hay de cada valor de la columna a predecir.
  • Correlaciones más fuertes: las parejas de columnas que más se mueven juntas.
  • Problemas detectados: columnas constantes, identificadores que conviene excluir, muchos nulos, filas duplicadas o clases desbalanceadas.

Una correlación casi perfecta con la columna a predecir suele ser una fuga: información de la respuesta que se cuela en las variables. El modelo parecerá excelente y fallará en producción. Excluye esa columna.

Preparar los datos

Cada paso de Preparar produce una versión nueva:

PasoQué hace
Quitar duplicadosElimina filas repetidas.
Rellenar nulosCompleta valores faltantes.
One-hotConvierte una categoría en columnas de 0 y 1.
EstandarizarCentra en 0 con desviación 1.
Normalizar (0–1)Escala al rango de 0 a 1.
DividirSepara en entrenamiento, validación y prueba.
0 de 5 hechos

Calidad

La vista Calidad da una Puntuación general y una Nota, y la desglosa en dimensiones:

DimensiónPregunta
Faltantes¿Cuántos valores faltan y dónde?
Validez¿Los valores tienen el tipo y el formato esperados?
Duplicados y reglas¿Hay filas repetidas o reglas de negocio incumplidas?
Atípicos¿Hay valores extremos sospechosos?
Distribuciones¿Las columnas tienen formas razonables?
Tiempo y deriva¿Los datos cambian con el tiempo?
Etiquetas¿La columna a predecir es coherente?
Sesgo¿Algún grupo está sub o sobrerrepresentado?

Sensibilidad y enmascarado

En Sensibilidad, cada columna tiene una probabilidad de ser sensible, una categoría y un enmascarado sugerido. El detector combina el nombre de la columna, patrones y validadores con dígito de control (tarjetas, IBAN, CLABE, CPF, CURP/RFC).

  • Tú y tus modelos locales trabajan con los valores reales: no salen de tu equipo.
  • Los agentes externos solo ven las columnas sensibles como •••. Los agregados sí pasan: un agente puede razonar sobre qué variables pesan más sin ver a un solo cliente.
  • Solo una persona puede marcar una columna como no sensible. Un agente nunca puede desenmascarar datos para sí mismo.

Las columnas sensibles quedan registradas en yuli-ml.yaml:

yaml
sensitiveColumns:
  - email
  - curp
  - telefono

Si el modelo afecta a personas, revisa también la dimensión Sesgo de Calidad y la sección Robustez y equidad de la evaluación. Ver Privacidad y sandbox de ML.

Linaje

Linaje dibuja la cadena completa: archivo o consulta de origen → versiones del dataset → pasos de preparación → entrenamientos → versiones del modelo. Cada modelo guarda su lineage.json, así que siempre puedes responder «¿con qué datos exactos se entrenó la versión que está en producción?».

Siguiente paso: Entrenamiento.