Dokumentation / ML Studio

LLM Studio und RAG

Spezialisiere lokale Sprachmodelle mit SFT, DPO, ORPO, KTO, QLoRA und mehr, quantisiere sie mit Qualitäts-Gate, stelle sie lokal bereit und antworte mit deinen Dokumenten.

Auf dieser Seite

LLM Studio (der Tab Sprache) spezialisiert kleine Sprachmodelle mit deinen Beispielen. Wissen indexiert deine Dokumente, damit ein Modell mit ihnen antwortet (RAG). Beides funktioniert ohne Netzwerk auf deinem Rechner.

Lokale Basismodelle

Ein Basismodell ist ein bereits trainiertes Modell, das du anpasst. Unter Lokale Basismodelle siehst du die Modelle in models/base des Projekts. Sie werden nur im Format safetensors geladen, nie mit Remote-Code.

BasisTypische Verwendung
SmolLM2, Qwen2.5, Phi-3.5Generierung und Chat.
Mehrsprachiges BERTKlassifikation und Entitätenextraktion.
E5, MiniLMEmbeddings für Suche und RAG.

Um ein Basismodell aus dem Katalog herunterzuladen, muss das Projekt Netzwerk erlauben (policies.allowNetwork: true) und du musst zustimmen. Winziges Basismodell erstellen erzeugt ein sehr kleines Modell, das ohne Netzwerk auf jeder CPU trainiert, um den Ablauf zu testen.

text
models/
└── base/
    └── qwen2.5-0.5b-instruct/
        ├── config.json
        ├── model.safetensors
        └── tokenizer.json

Fine-Tuning-Methoden

MethodeDatenWofür
SFT (LoRA)JSONL mit messages oder prompt/completionIhm mit Beispielen das Antworten beibringen. LoRA trainiert nur einen kleinen Adapter.
DPOprompt, chosen, rejectedAn Präferenzen ausrichten (gute gegenüber schlechter Antwort).
ORPOprompt, chosen, rejectedPräferenzen ohne Referenzmodell.
KTOprompt, completion, labelUngepaarte Präferenzen.
IPOPräferenzpaareDPO-Variante, robuster gegen Overfitting.
RLHFMenschliche PräferenzenReinforcement Learning mit menschlichem Feedback.
RLAIFPräferenzen eines Richter-ModellsReinforcement mit KI-Feedback.
DestillationAntworten eines Lehrer-ModellsDas Wissen eines großen Modells auf ein kleines übertragen.
QLoRAWie bei SFTBasis in 4 Bit geladen, um größere Modelle mit wenig VRAM zu trainieren.
TextklassifikatorCSV mit Text und LabelEin Encoder, der Texte klassifiziert.

Ein Datenbeispiel für SFT:

json
{"messages": [{"role": "user", "content": "¿Cómo reinicio mi contraseña?"},
              {"role": "assistant", "content": "Entra en Cuenta › Seguridad y pulsa «Cambiar contraseña»."}]}

QLoRA funktioniert nur mit NVIDIA-GPU und CUDA. Ein kleines LLM mit LoRA anzupassen ist auf der CPU möglich, aber langsam. Siehe Deep Learning und GPU.

Wie bei tabellarischen Modellen gibt es Live-Kurven, Pausieren und Fortsetzen. Am Ende kannst du mit Adapter zusammenführen ein einziges Modell erhalten.

Evaluation und Guardrails

Nach einem generativen Fine-Tuning reiht Yuli selbstständig eine Evaluation ein: Perplexität (niedriger ist besser), exakte Übereinstimmung und Token-F1 auf einem Fragenkatalog, Kontamination (ob die Fragen im Training vorkamen) und Geschwindigkeit (Tokens/s, p95-Latenz).

Die Guardrails des Manifests (llm.guardrails) blockieren Muster und maskieren personenbezogene Daten bei jeder Generierung, sowohl im Panel Testen als auch im Dienst.

Quantisierung

Quantisieren speichert die Gewichte mit weniger Bits (int8, int4 oder GGUF), damit das Modell weniger Platz braucht und schneller läuft. Yuli wendet ein Qualitäts-Gate an: Es vergleicht das quantisierte Modell auf ungesehenen Daten mit dem Original und akzeptiert nie eine Version, die außerhalb der Toleranz an Qualität verliert. Wenn keine Option besteht, schlägt der Job mit den Zahlen fehl, und es entsteht keine schlechtere Version.

Eigene Inferenz-Engine

Lokaler Dienst startet einen eigenen Yuli-Server auf 127.0.0.1, kompatibel mit der OpenAI-API. Die Inferenz-Engine von Yuli lädt safetensors, LoRA-Adapter, quantisierte Versionen, GGUF und ONNX, ohne dass du zusätzlich etwas installierst.

python
import os
from openai import OpenAI

# Du änderst nur die Base-URL. Der Schlüssel, falls du einen nutzt, kommt aus einer Umgebungsvariable, nie aus dem Code.
client = OpenAI(base_url="http://127.0.0.1:<Port>/v1", api_key=os.environ["LOCAL_LLM_KEY"])
reply = client.chat.completions.create(
    model="soporte-es",
    messages=[{"role": "user", "content": "Wo sehe ich meine Lizenz?"}],
)
print(reply.choices[0].message.content)

Wissen (RAG)

Unter Wissen indexiert Wissensbasis erstellen einen Ordner des Projekts (mit Globs zur Auswahl der Dateien) in Fragmenten. Es nutzt Yulis eigene Embeddings, ohne Netzwerk, oder ein lokales Modell, wenn du eines angibst.

SucheWie sie findet
HybridKombiniert Bedeutung und Wörter. Meist die beste Wahl.
VektorenNach Bedeutung (Embeddings).
Wörter (BM25)Nach übereinstimmenden Begriffen.

Die Suche erklärt, warum jedes Fragment nach oben kam. Abrufqualität misst auf einem Fragenkatalog, ob das richtige Fragment unter den ersten erscheint (recall@k, MRR).

0 von 4 erledigt

Miss den Abruf, bevor du dem Modell die Schuld gibst: Wenn die Suche das Fragment nicht findet, kann kein LLM gut antworten.

Weiter: Evaluation und Modelle.