文档 / ML Studio
LLM Studio 与 RAG
使用 SFT、DPO、ORPO、KTO、QLoRA 等方法让本地语言模型专精化,在质量关卡下进行量化,在本地提供服务,并基于你的文档作答。
本页内容
LLM Studio(语言 标签页)用你的示例让小型语言模型专精化。知识 会为你的文档建立索引,让模型基于这些文档作答(RAG)。两者都在你的电脑上运行,无需联网。
本地基础模型
基础模型 是你将要调整的已训练模型。在 本地基础模型 中可以看到项目 models/base 中的模型。它们只以 safetensors 格式加载,绝不执行远程代码。
| 基础模型 | 典型用途 |
|---|---|
| SmolLM2、Qwen2.5、Phi-3.5 | 生成与对话。 |
| 多语言 BERT | 分类和实体抽取。 |
| E5、MiniLM | 用于搜索和 RAG 的嵌入向量。 |
从目录下载基础模型需要项目允许联网(policies.allowNetwork: true)并经你批准。创建微型基础模型 会创建一个非常小的模型,可在任何 CPU 上离线训练,用于测试流程。
models/
└── base/
└── qwen2.5-0.5b-instruct/
├── config.json
├── model.safetensors
└── tokenizer.json微调方法
| 方法 | 数据 | 用途 |
|---|---|---|
| SFT (LoRA) | 包含 messages 或 prompt/completion 的 JSONL | 用示例教模型如何回答。LoRA 只训练一个小型适配器。 |
| DPO | prompt、chosen、rejected | 按偏好对齐(好回答与坏回答)。 |
| ORPO | prompt、chosen、rejected | 无需参考模型的偏好对齐。 |
| KTO | prompt、completion、label | 非成对的偏好数据。 |
| IPO | 偏好对 | DPO 的变体,对过拟合更稳健。 |
| RLHF | 人类偏好 | 基于人类反馈的强化学习。 |
| RLAIF | 评审模型的偏好 | 基于 AI 反馈的强化学习。 |
| 蒸馏 | 教师模型的回答 | 把大模型掌握的知识迁移到小模型。 |
| QLoRA | 与 SFT 相同 | 以 4 位加载基础模型,用很少的显存训练更大的模型。 |
| 文本分类器 | 包含文本和标签的 CSV | 一个对文本进行分类的编码器。 |
SFT 数据示例:
{"messages": [{"role": "user", "content": "如何重置我的密码?"},
{"role": "assistant", "content": "进入 账户 › 安全,然后点击“修改密码”。"}]}QLoRA 仅适用于 NVIDIA GPU 和 CUDA。 在 CPU 上用 LoRA 微调小型 LLM 是可行的,但速度较慢。参见深度学习与 GPU。
与表格模型一样,这里也有实时曲线,并支持暂停和恢复。训练结束后,你可以 合并适配器,得到一个单一模型。
评估与护栏
生成式微调结束后,Yuli 会自动排队一次评估:困惑度(越低越好)、在一组问题上的精确匹配和按 token 计算的 F1、数据污染(问题是否出现在训练数据中)以及速度(Tokens/s、p95 延迟)。
清单中的 护栏(llm.guardrails)会在每次生成时拦截特定模式并对个人数据进行脱敏,无论是在 试用 面板还是在服务中。
量化
量化 以更少的位数(int8、int4 或 GGUF)保存权重,让模型占用更少空间、运行更快。Yuli 会应用 质量关卡:在模型未见过的数据上将量化模型与原始模型进行比较,绝不接受质量损失超出容差的版本。如果没有任何选项通过,任务会连同具体数值一起失败,不会生成更差的版本。
自有推理引擎
本地服务 会在 127.0.0.1 上启动 Yuli 自有的服务器,兼容 OpenAI API。Yuli 的推理引擎无需额外安装任何东西,即可加载 safetensors、LoRA 适配器、量化版本、GGUF 和 ONNX。
import os
from openai import OpenAI
# 只需更改 base URL。如果使用密钥,它来自环境变量,绝不写在代码中。
client = OpenAI(base_url="http://127.0.0.1:<端口>/v1", api_key=os.environ["LOCAL_LLM_KEY"])
reply = client.chat.completions.create(
model="soporte-es",
messages=[{"role": "user", "content": "我在哪里查看我的许可证?"}],
)
print(reply.choices[0].message.content)知识(RAG)
在 知识 中,创建知识库 会将项目中的某个文件夹(可用 glob 选择文件)切分为片段并建立索引。它使用 Yuli 自有的嵌入向量,无需联网;如果你指定,也可以使用本地模型。
| 搜索方式 | 查找方式 |
|---|---|
| 混合 | 结合语义和关键词。通常是最佳选择。 |
| 向量 | 按语义(嵌入向量)。 |
| 关键词(BM25) | 按词项匹配。 |
搜索会解释每个片段为何被召回。检索质量 会在一组问题上衡量正确的片段是否出现在前几位(recall@k、MRR)。
先衡量检索,再怪罪模型:如果搜索找不到片段,任何 LLM 都无法回答好。
下一步:评估与模型。