文档 / ML Studio

LLM Studio 与 RAG

使用 SFT、DPO、ORPO、KTO、QLoRA 等方法让本地语言模型专精化,在质量关卡下进行量化,在本地提供服务,并基于你的文档作答。

本页内容

LLM Studio(语言 标签页)用你的示例让小型语言模型专精化。知识 会为你的文档建立索引,让模型基于这些文档作答(RAG)。两者都在你的电脑上运行,无需联网。

本地基础模型

基础模型 是你将要调整的已训练模型。在 本地基础模型 中可以看到项目 models/base 中的模型。它们只以 safetensors 格式加载,绝不执行远程代码。

基础模型典型用途
SmolLM2、Qwen2.5、Phi-3.5生成与对话。
多语言 BERT分类和实体抽取。
E5、MiniLM用于搜索和 RAG 的嵌入向量。

从目录下载基础模型需要项目允许联网(policies.allowNetwork: true)并经你批准。创建微型基础模型 会创建一个非常小的模型,可在任何 CPU 上离线训练,用于测试流程。

text
models/
└── base/
    └── qwen2.5-0.5b-instruct/
        ├── config.json
        ├── model.safetensors
        └── tokenizer.json

微调方法

方法数据用途
SFT (LoRA)包含 messages 或 prompt/completion 的 JSONL用示例教模型如何回答。LoRA 只训练一个小型适配器。
DPOprompt、chosen、rejected按偏好对齐(好回答与坏回答)。
ORPOprompt、chosen、rejected无需参考模型的偏好对齐。
KTOprompt、completion、label非成对的偏好数据。
IPO偏好对DPO 的变体,对过拟合更稳健。
RLHF人类偏好基于人类反馈的强化学习。
RLAIF评审模型的偏好基于 AI 反馈的强化学习。
蒸馏教师模型的回答把大模型掌握的知识迁移到小模型。
QLoRA与 SFT 相同以 4 位加载基础模型,用很少的显存训练更大的模型。
文本分类器包含文本和标签的 CSV一个对文本进行分类的编码器。

SFT 数据示例:

json
{"messages": [{"role": "user", "content": "如何重置我的密码?"},
              {"role": "assistant", "content": "进入 账户 › 安全,然后点击“修改密码”。"}]}

QLoRA 仅适用于 NVIDIA GPU 和 CUDA。 在 CPU 上用 LoRA 微调小型 LLM 是可行的,但速度较慢。参见深度学习与 GPU。

与表格模型一样,这里也有实时曲线,并支持暂停和恢复。训练结束后,你可以 合并适配器,得到一个单一模型。

评估与护栏

生成式微调结束后,Yuli 会自动排队一次评估:困惑度(越低越好)、在一组问题上的精确匹配和按 token 计算的 F1、数据污染(问题是否出现在训练数据中)以及速度(Tokens/s、p95 延迟)。

清单中的 护栏(llm.guardrails)会在每次生成时拦截特定模式并对个人数据进行脱敏,无论是在 试用 面板还是在服务中。

量化

量化 以更少的位数(int8、int4 或 GGUF)保存权重,让模型占用更少空间、运行更快。Yuli 会应用 质量关卡:在模型未见过的数据上将量化模型与原始模型进行比较,绝不接受质量损失超出容差的版本。如果没有任何选项通过,任务会连同具体数值一起失败,不会生成更差的版本。

自有推理引擎

本地服务 会在 127.0.0.1 上启动 Yuli 自有的服务器,兼容 OpenAI API。Yuli 的推理引擎无需额外安装任何东西,即可加载 safetensors、LoRA 适配器、量化版本、GGUF 和 ONNX。

python
import os
from openai import OpenAI

# 只需更改 base URL。如果使用密钥,它来自环境变量,绝不写在代码中。
client = OpenAI(base_url="http://127.0.0.1:<端口>/v1", api_key=os.environ["LOCAL_LLM_KEY"])
reply = client.chat.completions.create(
    model="soporte-es",
    messages=[{"role": "user", "content": "我在哪里查看我的许可证?"}],
)
print(reply.choices[0].message.content)

知识(RAG)

在 知识 中,创建知识库 会将项目中的某个文件夹(可用 glob 选择文件)切分为片段并建立索引。它使用 Yuli 自有的嵌入向量,无需联网;如果你指定,也可以使用本地模型。

搜索方式查找方式
混合结合语义和关键词。通常是最佳选择。
向量按语义(嵌入向量)。
关键词(BM25)按词项匹配。

搜索会解释每个片段为何被召回。检索质量 会在一组问题上衡量正确的片段是否出现在前几位(recall@k、MRR)。

已完成 0/4

先衡量检索,再怪罪模型:如果搜索找不到片段,任何 LLM 都无法回答好。

下一步:评估与模型。