Documentação / ML Studio

Treinamento

Projete a estratégia com oito perguntas, inicie um treinamento, acompanhe a curva ao vivo, compare experimentos e reporte a partir do seu próprio script com o SDK.

Nesta página

Treinar no Yuli é um trabalho com plano, validação e registro: continua mesmo se você fechar o chat, pode ser pausado e deixa uma versão do modelo que é avaliada separadamente.

Projetar a estratégia

Na aba Projetar, o Yuli propõe uma estratégia e a justifica respondendo oito perguntas:

#PerguntaExemplo de resposta
1O que aprendeSe um cliente vai cancelar nos próximos 90 dias.
2Qual estratégia escolheuDo zero, com gradient boosting.
3Por quêDados tabulares, 40 000 linhas, sem modelo anterior.
4Quais alternativas avaliouRegressão logística (base) e random forest.
5De quais recursos precisaCPU, alguns minutos, pouca memória.
6Quais limitações temNão conhece clientes com menos de um mês.
7Como saberemos que melhorouF1 no teste ≥ 0,85 e melhor que a base.
8Nível de suporteO quanto esse caminho está testado no Yuli.

Revise, ajuste o que for preciso e clique em Aprovar e treinar ›.

Estratégias

EstratégiaQuando
Do zeroNão há um modelo anterior.
Partida a quenteContinuar a partir dos pesos de uma versão anterior.
Ajuste finoAdaptar um modelo já treinado aos seus dados.
Extrair característicasUsar um modelo como gerador de variáveis.
SemissupervisionadoPoucos rótulos e muitos exemplos sem rótulo.
AutossupervisionadoAprender a estrutura dos dados sem rótulos.
Aprendizado contínuoAtualizar o modelo com dados novos sem esquecer o que aprendeu.

Novo treinamento

Em Novo treinamento você preenche:

CampoO que é
DatasetA versão dos dados com a qual se treina.
Coluna a preverO objetivo (target).
Frameworkscikit-learn, PyTorch, Transformers, XGBoost, LightGBM ou script próprio.
AlgoritmoUm específico ou Automático (o Yuli escolhe).
ÉpocasQuantas passadas pelos dados (redes neurais).
DispositivoCPU ou GPU.
ModoUm treinamento, Busca de hiperparâmetros ou AutoML.

Algoritmos tabulares incluídos: regressão logística e linear, ridge, lasso, random forest, extra trees, gradient boosting, árvore de decisão, kNN, naive bayes, SVM, SGD e MLP. Para anomalias: isolation forest, LOF e z-score robusto.

Ao clicar em Treinar, o Yuli faz três coisas em ordem:

  1. Planejar: calcula memória, tempo, dispositivo e risco.
  2. Validar: verifica se os dados não mudaram, se o ambiente Python está pronto e se há recursos.
  3. Iniciar: dispara o trabalho.

Estados e controles

EstadoSignificado
Na filaAguarda a sua vez ou recursos (por exemplo, «Aguardando VRAM: precisa de X, há Y»).
ValidandoVerificações prévias.
Em andamentoTreinando.
Pausando / PausadoSalva um ponto de controle e para.
ConcluídoTerminou e registrou uma versão.
FalhouParou com um erro; Ver registro mostra por quê.
CanceladoVocê o interrompeu.

Controles: Pausar, Retomar, Cancelar e Ver registro.

Curva de aprendizado ao vivo

A Curva de aprendizado desenha a perda e as métricas de train e validação durante o treinamento, com Época n de N, Melhor até agora, Decorrido, Restante e, se usar GPU, GPU: nome. Escolha a suavização (Bruto, Suave, Muito suave) e ative Escala log quando a perda cair várias ordens de grandeza.

Se a perda de validação sobe enquanto a de train continua caindo, o modelo está memorizando: o Yuli avisa de um possível sobreajuste. Pare antes ou reduza a complexidade.

Experimentos e busca de hiperparâmetros

Experimentos guarda cada treinamento com os seus parâmetros, dados e métricas para compará-los lado a lado.

  • Busca de hiperparâmetros usa o Optuna para testar combinações e ficar com a melhor na validação.
  • AutoML testa vários algoritmos e configurações por você.
  • Se a sua equipe usa MLflow, você pode espelhar os experimentos lá (opcional).

Seu próprio script com o SDK

Se você já tem um loop de treinamento (incluindo spaCy), use framework: script e reporte com yuli_ml.sdk. O seu script aparece no ML Studio igual a um adaptador incluído: curvas, pausa, pontos de controle e versão registrada.

python
# train.py
import numpy as np
import yuli_ml.sdk as yuli

epochs = 20
device = yuli.device()          # "cuda:0", "mps" ou "cpu", conforme o que o Yuli reservou
yuli.info(f"Entrenando en {device}")

start = 0
if yuli.resume_from():          # retomar após uma pausa
    start = load_checkpoint(yuli.resume_from())

best_f1, best_epoch = 0.0, 0
for epoch in range(start, epochs):
    loss = train_one_epoch(device)
    f1 = validate()
    yuli.log("train/loss", loss, step=epoch, epoch=epoch)
    yuli.log("val/f1", f1, step=epoch, epoch=epoch, split="validation")
    if f1 > best_f1:
        best_f1, best_epoch = f1, epoch
    if yuli.should_stop():      # o usuário clicou em Pausar ou Cancelar
        path = yuli.checkpoint_dir()
        save_checkpoint(path, epoch)
        yuli.checkpoint(path, step=epoch, epoch=epoch, resumable=True)
        yuli.stop()
    yuli.progress(epoch + 1, epochs)

yuli.save_model({"layer.weight": np.zeros((4, 4))}, metrics={"f1": best_f1}, best_epoch=best_epoch)
FunçãoPara quê
log, progress, infoMétricas, progresso e mensagens ao vivo.
should_stop, checkpoint, checkpoint_dir, resume_fromPausa, pontos de controle e retomada.
model_dir, save_model, reportPasta da versão, pesos finais e relatórios de avaliação.
device, use_gpuO dispositivo reservado (e spacy.prefer_gpu() se você usa spaCy).
warm_startOs pesos da versão a partir da qual você faz o ajuste fino.

Fora do Yuli (python train.py em um terminal), cada chamada do SDK não faz nada: o seu script continua funcionando sozinho.

Precisa de um algoritmo ou de uma métrica própria? Escreva-a em ml/extensions/*.py com @ext.algorithm, @ext.metric ou @ext.transform, e use-a como as incluídas. Próximo passo: Avaliação e modelos.