Documentação / ML Studio

Dados no ML Studio

Importar e perfilar datasets, versões imutáveis, preparação, qualidade, sensibilidade com mascaramento e linhagem.

Nesta página

Quase todos os modelos ruins começam com um problema que já estava nos dados. A aba Dados ajuda você a vê-lo antes de treinar. Um dataset é uma tabela: linhas (exemplos) e colunas (variáveis e a coluna a prever).

Importar e perfilar

Clique em Importar e perfilar e escolha um arquivo ou um banco de dados.

OrigemDetalhe
ArquivosCSV, TSV, JSON, JSONL, Parquet e SQLite.
Banco de dadosUma consulta SELECT somente leitura sobre uma conexão de Banco de dados.
Dados grandesFunciona com datasets maiores que a memória RAM.

Ao importar, o Yuli calcula o perfil completo e mostra a Amostra mascarada: as linhas de exemplo com as colunas sensíveis ocultas.

Versões imutáveis

Cada alteração (importar, limpar, dividir) cria uma versão nova e imutável, identificada pelo seu hash. Uma versão nunca é sobrescrita: um modelo sempre pode dizer exatamente com quais dados foi treinado.

text
ventas.csv
├── v1  sha256:4f1c…  importado
├── v2  sha256:9a07…  remover duplicatas
├── v3  sha256:c2e8…  preencher nulos (mediana)
└── v4  sha256:71bd…  dividir 70 / 15 / 15

As visões de um dataset

VisãoO que mostra
PerfilEsquema e estatísticas por coluna.
PrepararPassos de limpeza e transformação.
FichaA ficha do dataset, com a sua licença (necessária para aprovar um modelo).
DadosAs linhas, mascaradas onde for o caso.
SensibilidadeQuais colunas são sensíveis e como são mascaradas.
QualidadeUma pontuação geral e as suas dimensões.
LinhagemDe onde vem cada versão e quais modelos a usam.

Perfil

A tabela de colunas mostra Coluna, Tipo, Nulos, Únicos, Distribuição e Resumo. Abaixo:

  • Balanceamento de classes: quantos exemplos há de cada valor da coluna a prever.
  • Correlações mais fortes: os pares de colunas que mais se movem juntos.
  • Problemas detectados: colunas constantes, identificadores que convém excluir, muitos nulos, linhas duplicadas ou classes desbalanceadas.

Uma correlação quase perfeita com a coluna a prever costuma ser um vazamento: informação da resposta que se infiltra nas variáveis. O modelo vai parecer excelente e falhar em produção. Exclua essa coluna.

Preparar os dados

Cada passo de Preparar produz uma versão nova:

PassoO que faz
Remover duplicatasElimina linhas repetidas.
Preencher nulosCompleta valores ausentes.
One-hotConverte uma categoria em colunas de 0 e 1.
PadronizarCentraliza em 0 com desvio 1.
Normalizar (0–1)Escala para o intervalo de 0 a 1.
DividirSepara em treinamento, validação e teste.
0 de 5 feitos

Qualidade

A visão Qualidade dá uma Pontuação geral e uma Nota, e a detalha em dimensões:

DimensãoPergunta
AusentesQuantos valores faltam e onde?
ValidadeOs valores têm o tipo e o formato esperados?
Duplicatas e regrasHá linhas repetidas ou regras de negócio descumpridas?
AtípicosHá valores extremos suspeitos?
DistribuiçõesAs colunas têm formatos razoáveis?
Tempo e derivaOs dados mudam com o tempo?
RótulosA coluna a prever é coerente?
ViésAlgum grupo está sub ou sobrerrepresentado?

Sensibilidade e mascaramento

Em Sensibilidade, cada coluna tem uma probabilidade de ser sensível, uma categoria e um mascaramento sugerido. O detector combina o nome da coluna, padrões e validadores com dígito verificador (cartões, IBAN, CLABE, CPF, CURP/RFC).

  • Você e os seus modelos locais trabalham com os valores reais: eles não saem do seu computador.
  • Os agentes externos só veem as colunas sensíveis como •••. Os agregados passam: um agente pode raciocinar sobre quais variáveis pesam mais sem ver um único cliente.
  • Só uma pessoa pode marcar uma coluna como não sensível. Um agente nunca pode desmascarar dados para si mesmo.

As colunas sensíveis ficam registradas em yuli-ml.yaml:

yaml
sensitiveColumns:
  - email
  - curp
  - telefono

Se o modelo afeta pessoas, revise também a dimensão Viés de Qualidade e a seção Robustez e equidade da avaliação. Veja Privacidade e sandbox de ML.

Linhagem

Linhagem desenha a cadeia completa: arquivo ou consulta de origem → versões do dataset → passos de preparação → treinamentos → versões do modelo. Cada modelo guarda o seu lineage.json, então você sempre pode responder «com quais dados exatos foi treinada a versão que está em produção?».

Próximo passo: Treinamento.