Belgeler / ML Studio
LLM Studio ve RAG
Yerel dil modellerini SFT, DPO, ORPO, KTO, QLoRA ve daha fazlasıyla uzmanlaştırın, kalite kapısıyla nicemleyin, yerelde sunun ve belgelerinize dayanarak yanıt verin.
Bu sayfada
LLM Studio (Dil sekmesi), küçük dil modellerini sizin örneklerinizle uzmanlaştırır. Bilgi, bir modelin belgelerinize dayanarak yanıt verebilmesi için onları dizinler (RAG). İkisi de ağ olmadan, bilgisayarınızda çalışır.
Yerel temel modeller
Temel model, uyarlayacağınız önceden eğitilmiş bir modeldir. Yerel temel modeller içinde projenin
models/base klasöründekileri görürsünüz. Yalnızca safetensors biçiminde yüklenirler, asla uzak kodla değil.
| Temel model | Tipik kullanım |
|---|---|
| SmolLM2, Qwen2.5, Phi-3.5 | Üretim ve sohbet. |
| Çok dilli BERT | Sınıflandırma ve varlık çıkarma. |
| E5, MiniLM | Arama ve RAG için embedding'ler. |
Katalogdan bir temel model indirmek, projenin ağa izin vermesini (policies.allowNetwork: true) ve sizin onayınızı
gerektirir. Küçücük temel model oluştur, akışı denemek için herhangi bir CPU'da ağ olmadan eğitilen çok küçük bir
model oluşturur.
models/
└── base/
└── qwen2.5-0.5b-instruct/
├── config.json
├── model.safetensors
└── tokenizer.jsonİnce ayar yöntemleri
| Yöntem | Veriler | Ne için |
|---|---|---|
| SFT (LoRA) | messages veya prompt/completion içeren JSONL | Örneklerle yanıt vermeyi öğretmek. LoRA yalnızca küçük bir adaptör eğitir. |
| DPO | prompt, chosen, rejected | Tercihlerle hizalama (iyi yanıta karşı kötü yanıt). |
| ORPO | prompt, chosen, rejected | Referans modeli olmadan tercihler. |
| KTO | prompt, completion, label | Eşleştirilmemiş tercihler. |
| IPO | Tercih çiftleri | Aşırı öğrenmeye karşı daha sağlam bir DPO varyantı. |
| RLHF | İnsan tercihleri | İnsan geri bildirimiyle pekiştirmeli öğrenme. |
| RLAIF | Yargıç bir modelin tercihleri | Yapay zekâ geri bildirimiyle pekiştirme. |
| Damıtma | Öğretmen bir modelin yanıtları | Büyük bir modelin bildiklerini küçük bir modele aktarmak. |
| QLoRA | SFT ile aynı | Az VRAM ile daha büyük modelleri eğitmek için 4 bitte yüklenen temel model. |
| Metin sınıflandırıcı | Metin ve etiket içeren CSV | Metinleri sınıflandıran bir kodlayıcı. |
SFT için örnek bir veri:
{"messages": [{"role": "user", "content": "¿Cómo reinicio mi contraseña?"},
{"role": "assistant", "content": "Entra en Cuenta › Seguridad y pulsa «Cambiar contraseña»."}]}QLoRA yalnızca NVIDIA GPU ve CUDA ile çalışır. Küçük bir LLM'ye LoRA ile ince ayar CPU'da mümkündür, ancak yavaştır. Bkz. Derin öğrenme ve GPU.
Tablo modellerinde olduğu gibi canlı eğriler, duraklatma ve sürdürme vardır. Bitince tek bir modele sahip olmak için Adaptörü birleştir'i kullanabilirsiniz.
Değerlendirme ve guardrail'ler
Üretken bir ince ayar bittiğinde Yuli kendiliğinden bir değerlendirmeyi kuyruğa alır: perplexity (düşük olması daha iyidir), bir soru kümesi üzerinde tam eşleşme ve token bazında F1, kirlenme (soruların eğitimde olup olmadığı) ve hız (Token/s, p95 gecikme).
Manifestodaki guardrail'ler (llm.guardrails), her üretimde hem Dene panelinde hem de hizmette örüntüleri
engeller ve kişisel verileri maskeler.
Nicemleme
Nicemle, modelin daha az yer kaplaması ve daha hızlı çalışması için ağırlıkları daha az bitle (int8, int4 veya GGUF) kaydeder. Yuli bir kalite kapısı uygular: nicemlenmiş modeli, görmediği veriler üzerinde orijinalle karşılaştırır ve toleransın dışında kalite kaybeden bir sürümü asla kabul etmez. Hiçbir seçenek geçemezse iş rakamlarla birlikte başarısız olur ve daha kötü bir sürüm oluşturulmaz.
Kendi çıkarım motoru
Yerel hizmet, 127.0.0.1 üzerinde OpenAI API'siyle uyumlu, Yuli'ye ait bir sunucu başlatır. Yuli'nin çıkarım
motoru; safetensors, LoRA adaptörleri, nicemlenmiş sürümler, GGUF ve ONNX dosyalarını ayrıca bir şey
kurmadan yükler.
import os
from openai import OpenAI
# Yalnızca base URL'yi değiştirirsiniz. Anahtar, kullanıyorsanız, koddan değil bir ortam değişkeninden gelir.
client = OpenAI(base_url="http://127.0.0.1:<puerto>/v1", api_key=os.environ["LOCAL_LLM_KEY"])
reply = client.chat.completions.create(
model="soporte-es",
messages=[{"role": "user", "content": "¿Dónde veo mi licencia?"}],
)
print(reply.choices[0].message.content)Bilgi (RAG)
Bilgi içinde Bilgi tabanı oluştur, projenin bir klasörünü (dosyaları seçmek için glob'larla) parçalar hâlinde dizinler. Yuli'nin ağ gerektirmeyen kendi embedding'lerini veya belirtirseniz yerel bir modeli kullanır.
| Arama | Nasıl bulur |
|---|---|
| Hibrit | Anlamı ve sözcükleri birleştirir. Genellikle en iyi seçenektir. |
| Vektörler | Anlama göre (embedding'ler). |
| Sözcükler (BM25) | Terim eşleşmesine göre. |
Arama, her parçanın neden üst sıralara çıktığını açıklar. Erişim kalitesi, bir soru kümesi üzerinde doğru parçanın ilk sonuçlar arasında yer alıp almadığını ölçer (recall@k, MRR).
Modeli suçlamadan önce erişimi ölçün: arama parçayı bulamıyorsa hiçbir LLM iyi yanıt veremez.
Sonraki: Değerlendirme ve modeller.