Documentação / ML Studio
LLM Studio e RAG
Especialize modelos de linguagem locais com SFT, DPO, ORPO, KTO, QLoRA e mais, quantize-os com gate de qualidade, sirva-os localmente e responda com os seus documentos.
Nesta página
O LLM Studio (a aba Linguagem) especializa modelos de linguagem pequenos com os seus exemplos. Conhecimento indexa os seus documentos para que um modelo responda com base neles (RAG). Ambos funcionam sem rede e no seu computador.
Bases locais
Um modelo base é um modelo já treinado que você vai adaptar. Em Modelos base locais você vê os que estão em
models/base do projeto. Eles só são carregados no formato safetensors, nunca com código remoto.
| Base | Uso típico |
|---|---|
| SmolLM2, Qwen2.5, Phi-3.5 | Geração e chat. |
| BERT multilíngue | Classificação e extração de entidades. |
| E5, MiniLM | Embeddings para busca e RAG. |
Baixar uma base do catálogo exige que o projeto permita rede (policies.allowNetwork: true) e a sua aprovação.
Criar base minúscula cria um modelo muito pequeno que treina sem rede em qualquer CPU, para testar o fluxo.
models/
└── base/
└── qwen2.5-0.5b-instruct/
├── config.json
├── model.safetensors
└── tokenizer.jsonMétodos de ajuste fino
| Método | Dados | Para quê |
|---|---|---|
| SFT (LoRA) | JSONL com messages ou prompt/completion | Ensiná-lo a responder com exemplos. O LoRA treina só um adaptador pequeno. |
| DPO | prompt, chosen, rejected | Alinhar com preferências (resposta boa frente a ruim). |
| ORPO | prompt, chosen, rejected | Preferências sem modelo de referência. |
| KTO | prompt, completion, label | Preferências sem pareamento. |
| IPO | Pares de preferência | Variante do DPO mais robusta ao sobreajuste. |
| RLHF | Preferências humanas | Aprendizado por reforço com feedback humano. |
| RLAIF | Preferências de um modelo juiz | Reforço com feedback de IA. |
| Destilação | Respostas de um modelo professor | Passar o que um modelo grande sabe para um pequeno. |
| QLoRA | Igual ao SFT | Base carregada em 4 bits para treinar modelos maiores com pouca VRAM. |
| Classificador de textos | CSV com texto e rótulo | Um codificador que classifica textos. |
Um exemplo de dados para SFT:
{"messages": [{"role": "user", "content": "¿Cómo reinicio mi contraseña?"},
{"role": "assistant", "content": "Entra en Cuenta › Seguridad y pulsa «Cambiar contraseña»."}]}O QLoRA só funciona com GPU NVIDIA e CUDA. Ajustar um LLM pequeno com LoRA é possível em CPU, mas lento. Veja Deep learning e GPU.
Como nos modelos tabulares, há curvas ao vivo, pausa e retomada. Ao terminar, você pode Mesclar adaptador para ter um único modelo.
Avaliação e guardrails
Ao terminar um ajuste generativo, o Yuli enfileira sozinho uma avaliação: perplexidade (quanto menor, melhor), correspondência exata e F1 por tokens sobre um conjunto de perguntas, contaminação (se as perguntas estavam no treinamento) e velocidade (Tokens/s, Latência p95).
Os guardrails do manifesto (llm.guardrails) bloqueiam padrões e mascaram dados pessoais em cada geração, tanto
no painel Testar quanto no serviço.
Quantização
Quantizar salva os pesos com menos bits (int8, int4 ou GGUF) para que o modelo ocupe menos espaço e seja mais rápido. O Yuli aplica um gate de qualidade: compara o modelo quantizado com o original em dados que ele não viu e nunca aceita uma versão que perca qualidade além da tolerância. Se nenhuma opção passar, o trabalho falha com os números e não é criada uma versão pior.
Motor de inferência próprio
Serviço local sobe um servidor próprio do Yuli em 127.0.0.1, compatível com a API da OpenAI. O motor de
inferência do Yuli carrega safetensors, adaptadores LoRA, versões quantizadas, GGUF e ONNX sem
instalar nada à parte.
import os
from openai import OpenAI
# Você só muda a base URL. A chave, se usar uma, vem de uma variável de ambiente, nunca do código.
client = OpenAI(base_url="http://127.0.0.1:<porta>/v1", api_key=os.environ["LOCAL_LLM_KEY"])
reply = client.chat.completions.create(
model="soporte-es",
messages=[{"role": "user", "content": "¿Dónde veo mi licencia?"}],
)
print(reply.choices[0].message.content)Conhecimento (RAG)
Em Conhecimento, Criar base de conhecimento indexa uma pasta do projeto (com globs para escolher arquivos) em fragmentos. Usa embeddings próprios do Yuli, sem rede, ou um modelo local se você indicar.
| Busca | Como encontra |
|---|---|
| Híbrida | Combina significado e palavras. Costuma ser a melhor opção. |
| Vetores | Por significado (embeddings). |
| Palavras (BM25) | Por correspondência de termos. |
A busca explica por que cada fragmento subiu. Qualidade da recuperação mede, sobre um conjunto de perguntas, se o fragmento correto aparece entre os primeiros (recall@k, MRR).
Meça a recuperação antes de culpar o modelo: se a busca não encontra o fragmento, nenhum LLM consegue responder bem.
Próximo: Avaliação e modelos.