Dokumentation / ML Studio
LLM Studio und RAG
Spezialisiere lokale Sprachmodelle mit SFT, DPO, ORPO, KTO, QLoRA und mehr, quantisiere sie mit Qualitäts-Gate, stelle sie lokal bereit und antworte mit deinen Dokumenten.
Auf dieser Seite
LLM Studio (der Tab Sprache) spezialisiert kleine Sprachmodelle mit deinen Beispielen. Wissen indexiert deine Dokumente, damit ein Modell mit ihnen antwortet (RAG). Beides funktioniert ohne Netzwerk auf deinem Rechner.
Lokale Basismodelle
Ein Basismodell ist ein bereits trainiertes Modell, das du anpasst. Unter Lokale Basismodelle siehst du die
Modelle in models/base des Projekts. Sie werden nur im Format safetensors geladen, nie mit Remote-Code.
| Basis | Typische Verwendung |
|---|---|
| SmolLM2, Qwen2.5, Phi-3.5 | Generierung und Chat. |
| Mehrsprachiges BERT | Klassifikation und Entitätenextraktion. |
| E5, MiniLM | Embeddings für Suche und RAG. |
Um ein Basismodell aus dem Katalog herunterzuladen, muss das Projekt Netzwerk erlauben (policies.allowNetwork: true)
und du musst zustimmen. Winziges Basismodell erstellen erzeugt ein sehr kleines Modell, das ohne Netzwerk auf
jeder CPU trainiert, um den Ablauf zu testen.
models/
└── base/
└── qwen2.5-0.5b-instruct/
├── config.json
├── model.safetensors
└── tokenizer.jsonFine-Tuning-Methoden
| Methode | Daten | Wofür |
|---|---|---|
| SFT (LoRA) | JSONL mit messages oder prompt/completion | Ihm mit Beispielen das Antworten beibringen. LoRA trainiert nur einen kleinen Adapter. |
| DPO | prompt, chosen, rejected | An Präferenzen ausrichten (gute gegenüber schlechter Antwort). |
| ORPO | prompt, chosen, rejected | Präferenzen ohne Referenzmodell. |
| KTO | prompt, completion, label | Ungepaarte Präferenzen. |
| IPO | Präferenzpaare | DPO-Variante, robuster gegen Overfitting. |
| RLHF | Menschliche Präferenzen | Reinforcement Learning mit menschlichem Feedback. |
| RLAIF | Präferenzen eines Richter-Modells | Reinforcement mit KI-Feedback. |
| Destillation | Antworten eines Lehrer-Modells | Das Wissen eines großen Modells auf ein kleines übertragen. |
| QLoRA | Wie bei SFT | Basis in 4 Bit geladen, um größere Modelle mit wenig VRAM zu trainieren. |
| Textklassifikator | CSV mit Text und Label | Ein Encoder, der Texte klassifiziert. |
Ein Datenbeispiel für SFT:
{"messages": [{"role": "user", "content": "¿Cómo reinicio mi contraseña?"},
{"role": "assistant", "content": "Entra en Cuenta › Seguridad y pulsa «Cambiar contraseña»."}]}QLoRA funktioniert nur mit NVIDIA-GPU und CUDA. Ein kleines LLM mit LoRA anzupassen ist auf der CPU möglich, aber langsam. Siehe Deep Learning und GPU.
Wie bei tabellarischen Modellen gibt es Live-Kurven, Pausieren und Fortsetzen. Am Ende kannst du mit Adapter zusammenführen ein einziges Modell erhalten.
Evaluation und Guardrails
Nach einem generativen Fine-Tuning reiht Yuli selbstständig eine Evaluation ein: Perplexität (niedriger ist besser), exakte Übereinstimmung und Token-F1 auf einem Fragenkatalog, Kontamination (ob die Fragen im Training vorkamen) und Geschwindigkeit (Tokens/s, p95-Latenz).
Die Guardrails des Manifests (llm.guardrails) blockieren Muster und maskieren personenbezogene Daten bei jeder
Generierung, sowohl im Panel Testen als auch im Dienst.
Quantisierung
Quantisieren speichert die Gewichte mit weniger Bits (int8, int4 oder GGUF), damit das Modell weniger Platz braucht und schneller läuft. Yuli wendet ein Qualitäts-Gate an: Es vergleicht das quantisierte Modell auf ungesehenen Daten mit dem Original und akzeptiert nie eine Version, die außerhalb der Toleranz an Qualität verliert. Wenn keine Option besteht, schlägt der Job mit den Zahlen fehl, und es entsteht keine schlechtere Version.
Eigene Inferenz-Engine
Lokaler Dienst startet einen eigenen Yuli-Server auf 127.0.0.1, kompatibel mit der OpenAI-API. Die
Inferenz-Engine von Yuli lädt safetensors, LoRA-Adapter, quantisierte Versionen, GGUF und ONNX, ohne
dass du zusätzlich etwas installierst.
import os
from openai import OpenAI
# Du änderst nur die Base-URL. Der Schlüssel, falls du einen nutzt, kommt aus einer Umgebungsvariable, nie aus dem Code.
client = OpenAI(base_url="http://127.0.0.1:<Port>/v1", api_key=os.environ["LOCAL_LLM_KEY"])
reply = client.chat.completions.create(
model="soporte-es",
messages=[{"role": "user", "content": "Wo sehe ich meine Lizenz?"}],
)
print(reply.choices[0].message.content)Wissen (RAG)
Unter Wissen indexiert Wissensbasis erstellen einen Ordner des Projekts (mit Globs zur Auswahl der Dateien) in Fragmenten. Es nutzt Yulis eigene Embeddings, ohne Netzwerk, oder ein lokales Modell, wenn du eines angibst.
| Suche | Wie sie findet |
|---|---|
| Hybrid | Kombiniert Bedeutung und Wörter. Meist die beste Wahl. |
| Vektoren | Nach Bedeutung (Embeddings). |
| Wörter (BM25) | Nach übereinstimmenden Begriffen. |
Die Suche erklärt, warum jedes Fragment nach oben kam. Abrufqualität misst auf einem Fragenkatalog, ob das richtige Fragment unter den ersten erscheint (recall@k, MRR).
Miss den Abruf, bevor du dem Modell die Schuld gibst: Wenn die Suche das Fragment nicht findet, kann kein LLM gut antworten.
Weiter: Evaluation und Modelle.