Documentação / ML Studio
Deep learning e GPU
Projete redes neurais camada por camada, treine tokenizers, diagnostique sua GPU, estime recursos, use DDP com várias GPUs e máquinas remotas.
Nesta página
Para a maioria dos problemas tabulares você não precisa de GPU: eles treinam em segundos ou minutos em uma CPU comum. Esta página é para quando o modelo cresce: redes neurais, visão, áudio, texto e modelos de linguagem.
Designer de arquitetura
O Designer de arquitetura monta redes neurais sem escrever o loop de treinamento. A oficina («Oficina · nome») mostra as Camadas da rede; clique em Adicionar camada para incluir uma e ajuste a Taxa de aprendizado e o Tamanho do lote.
| Família | Para que serve |
|---|---|
| MLP | Dados tabulares e problemas pequenos. |
| CNN | Imagens e sinais com estrutura local. |
| RNN, LSTM, GRU | Sequências e séries temporais. |
| VAE | Representações comprimidas e geração. |
| GAN | Geração com um gerador e um discriminador. |
| Difusão | Geração por remoção de ruído. |
| ViT | Imagens com atenção (transformer de visão). |
| Transformer encoder / decoder | Texto e sequências longas. |
O projeto é salvo em architecture/architecture.yaml, versionado com o projeto. Por exemplo, uma CNN pequena para
imagens de 32×32:
# architecture/architecture.yaml
kind: cnn
inputs: { shape: [3, 32, 32] }
outputs: { classes: 10 }
components:
- { id: c1, type: conv2d, filters: 32, pool: max2 }
- { id: c2, type: conv2d, filters: 64, pool: max2 }
- { id: flat, type: flatten }
- { id: h1, type: dense, units: 128, dropout: 0.2 }
- { id: out, type: head, kind: classification }Além de redes gerais, o ML Studio cobre imagens (classificação e detecção), áudio (classificação e fala para texto), vídeo, grafos (GCN, GAT, GraphSAGE), reforço (DQN, PPO, REINFORCE), bandits e recomendadores (ALS, BPR).
Tokenizers
Para modelos de texto próprios, você pode treinar um tokenizer com os textos do projeto:
| Tipo | Nota |
|---|---|
bpe | Byte-pair encoding clássico. |
byte-bpe | BPE sobre bytes: nunca há tokens desconhecidos. |
wordpiece | O estilo do BERT. |
unigram | Modelo probabilístico de subpalavras. |
Validar mede a taxa de tokens desconhecidos (unk), os tokens por palavra e o round-trip (que codificar e decodificar devolva o mesmo texto). Cada tokenizer é versionado com o seu sha256:
tokenizers/
└── soporte-es/
├── v1/ tokenizer.json sha256:…
└── v2/ tokenizer.json sha256:…Diagnóstico de GPU
Diagnóstico de GPU detecta quais aceleradores o Python pode usar no seu computador:
| Backend | Hardware |
|---|---|
| CUDA | GPU NVIDIA. |
| ROCm | GPU AMD (Linux). |
| DirectML | GPU no Windows (DirectX 12). |
| MPS | Apple Silicon (macOS). |
| Intel XPU | GPU Intel. |
Testar CPU vs GPU executa um teste curto e informa, por exemplo, «A GPU é ×8 mais rápida que a CPU». Se a diferença for pequena para o seu modelo, a CPU basta.
Em Supervisão › Recursos você vê CPU, RAM, GPU e disco livre ao vivo. Permitir que os agentes treinem (2 h) dá permissão aos agentes para iniciar treinamentos durante as próximas duas horas.
Recursos estimados
Antes de treinar, o plano estima a memória necessária e o tempo:
| Parte | O que conta |
|---|---|
| Pesos | Os parâmetros do modelo. |
| Gradientes | Um por parâmetro treinável. |
| Otimizador | O estado do Adam e similares. |
| Ativações | O que é guardado em cada passo para a retropropagação; cresce com o tamanho do lote. |
Ao terminar, compare o estimado vs real. Se um trabalho não couber, o plano avisa antes de começar e sugere opções: lote menor, menor precisão ou QLoRA para modelos de linguagem. Enquanto espera, o trabalho fica na fila com «Aguardando VRAM: precisa de X, há Y».
Várias GPUs: DDP
Com duas ou mais GPUs CUDA na mesma máquina, o Yuli pode treinar com paralelismo de dados usando DDP (DistributedDataParallel): cada GPU processa a sua parte de cada época e os gradientes são combinados.
# na configuração do treinamento
training:
distributed:
mode: ddp
devices: auto # ou um número de GPUsSó é suportado DDP com 2 ou mais GPUs CUDA. Se não for possível (uma única GPU, sem torch.distributed), o
treinamento continua em um único processo e indica isso nas métricas. O paralelismo de tensores ou de pipeline não
está disponível.
Máquinas remotas
Se o seu computador não der conta, você pode treinar em uma máquina remota por SSH ou na nuvem. Antes de iniciar, o Yuli mostra um aviso de saída de dados:
«Os dados saem para host: são enviados o dataset e o código que o trabalho lê. Ao terminar, o Yuli traz o modelo, verifica cada arquivo e apaga os dados lá (a menos que a máquina os mantenha).»
- Nada sai sem a sua confirmação.
- Você pode definir um limite de gastos para as máquinas na nuvem.
- Em
yuli-ml.yaml,hardware.prefer: remoteindica que o projeto prefere treinar fora.
Veja Privacidade e sandbox de ML e Contêineres e desenvolvimento remoto.