Documentação / ML Studio
Dados no ML Studio
Importar e perfilar datasets, versões imutáveis, preparação, qualidade, sensibilidade com mascaramento e linhagem.
Nesta página
Quase todos os modelos ruins começam com um problema que já estava nos dados. A aba Dados ajuda você a vê-lo antes de treinar. Um dataset é uma tabela: linhas (exemplos) e colunas (variáveis e a coluna a prever).
Importar e perfilar
Clique em Importar e perfilar e escolha um arquivo ou um banco de dados.
| Origem | Detalhe |
|---|---|
| Arquivos | CSV, TSV, JSON, JSONL, Parquet e SQLite. |
| Banco de dados | Uma consulta SELECT somente leitura sobre uma conexão de Banco de dados. |
| Dados grandes | Funciona com datasets maiores que a memória RAM. |
Ao importar, o Yuli calcula o perfil completo e mostra a Amostra mascarada: as linhas de exemplo com as colunas sensíveis ocultas.
Versões imutáveis
Cada alteração (importar, limpar, dividir) cria uma versão nova e imutável, identificada pelo seu hash. Uma versão nunca é sobrescrita: um modelo sempre pode dizer exatamente com quais dados foi treinado.
ventas.csv
├── v1 sha256:4f1c… importado
├── v2 sha256:9a07… remover duplicatas
├── v3 sha256:c2e8… preencher nulos (mediana)
└── v4 sha256:71bd… dividir 70 / 15 / 15As visões de um dataset
| Visão | O que mostra |
|---|---|
| Perfil | Esquema e estatísticas por coluna. |
| Preparar | Passos de limpeza e transformação. |
| Ficha | A ficha do dataset, com a sua licença (necessária para aprovar um modelo). |
| Dados | As linhas, mascaradas onde for o caso. |
| Sensibilidade | Quais colunas são sensíveis e como são mascaradas. |
| Qualidade | Uma pontuação geral e as suas dimensões. |
| Linhagem | De onde vem cada versão e quais modelos a usam. |
Perfil
A tabela de colunas mostra Coluna, Tipo, Nulos, Únicos, Distribuição e Resumo. Abaixo:
- Balanceamento de classes: quantos exemplos há de cada valor da coluna a prever.
- Correlações mais fortes: os pares de colunas que mais se movem juntos.
- Problemas detectados: colunas constantes, identificadores que convém excluir, muitos nulos, linhas duplicadas ou classes desbalanceadas.
Uma correlação quase perfeita com a coluna a prever costuma ser um vazamento: informação da resposta que se infiltra nas variáveis. O modelo vai parecer excelente e falhar em produção. Exclua essa coluna.
Preparar os dados
Cada passo de Preparar produz uma versão nova:
| Passo | O que faz |
|---|---|
| Remover duplicatas | Elimina linhas repetidas. |
| Preencher nulos | Completa valores ausentes. |
| One-hot | Converte uma categoria em colunas de 0 e 1. |
| Padronizar | Centraliza em 0 com desvio 1. |
| Normalizar (0–1) | Escala para o intervalo de 0 a 1. |
| Dividir | Separa em treinamento, validação e teste. |
Qualidade
A visão Qualidade dá uma Pontuação geral e uma Nota, e a detalha em dimensões:
| Dimensão | Pergunta |
|---|---|
| Ausentes | Quantos valores faltam e onde? |
| Validade | Os valores têm o tipo e o formato esperados? |
| Duplicatas e regras | Há linhas repetidas ou regras de negócio descumpridas? |
| Atípicos | Há valores extremos suspeitos? |
| Distribuições | As colunas têm formatos razoáveis? |
| Tempo e deriva | Os dados mudam com o tempo? |
| Rótulos | A coluna a prever é coerente? |
| Viés | Algum grupo está sub ou sobrerrepresentado? |
Sensibilidade e mascaramento
Em Sensibilidade, cada coluna tem uma probabilidade de ser sensível, uma categoria e um mascaramento sugerido. O detector combina o nome da coluna, padrões e validadores com dígito verificador (cartões, IBAN, CLABE, CPF, CURP/RFC).
- Você e os seus modelos locais trabalham com os valores reais: eles não saem do seu computador.
- Os agentes externos só veem as colunas sensíveis como
•••. Os agregados passam: um agente pode raciocinar sobre quais variáveis pesam mais sem ver um único cliente. - Só uma pessoa pode marcar uma coluna como não sensível. Um agente nunca pode desmascarar dados para si mesmo.
As colunas sensíveis ficam registradas em yuli-ml.yaml:
sensitiveColumns:
- email
- curp
- telefonoSe o modelo afeta pessoas, revise também a dimensão Viés de Qualidade e a seção Robustez e equidade da avaliação. Veja Privacidade e sandbox de ML.
Linhagem
Linhagem desenha a cadeia completa: arquivo ou consulta de origem → versões do dataset → passos de preparação →
treinamentos → versões do modelo. Cada modelo guarda o seu lineage.json, então você sempre pode responder «com quais
dados exatos foi treinada a versão que está em produção?».
Próximo passo: Treinamento.