文档 / ML Studio
评估与模型
独立评估、指标、稳健性与公平性、冠军与挑战者、模型注册表、磁盘上的版本管理以及如何发布。
本页内容
模型训练完成并不代表它已经就绪。只有当独立评估表明它满足标准、经人批准,并且它的包通过了测试,它才算就绪。
独立评估
Yuli 会单独评估每个版本,使用 测试集 · 未参与训练:模型在训练和选择参数时都从未见过的数据。结论一目了然:
- “满足标准(n/N)”,或
- “不满足:…”,并列出未通过的标准。
这些标准来自 yuli-ml.yaml 中的 acceptance:
acceptance:
minimum_f1: 0.85
maximum_latency_ms: 200
maximum_memory_mb: 2048
require_no_nan: true指标
| 问题类型 | 指标 |
|---|---|
| 所有 | 损失(训练 / 验证) |
| 分类 | 准确率、F1、宏平均 F1、精确率、召回率、ROC AUC |
| 校准 | ECE、Brier |
| 回归与时间序列 | RMSE、MAE、R²、MAPE |
| 语言模型 | 困惑度、Tokens/s |
| 服务 | p95 延迟(ms) |
类别不平衡时,准确率 会误导人:如果只有 5% 是“是”,一个永远回答“否”的模型准确率也有 95%。请根据哪种错误代价更高,使用 F1、宏平均 F1 或 召回率。
混淆矩阵
在分类任务中,混淆矩阵 会针对每个真实类别显示模型预测正确的次数,以及把它与哪个类别混淆了。这是查看模型在哪里出错的最快方式。
稳健性与公平性
稳健性与公平性 会检查模型在扰动数据下以及在不同群体之间的表现变化。每项测试的结果为 稳健、敏感 或 脆弱。如果模型会影响到人,请务必查看。
评估历史
每次评估都会记录 时间、套件、测试数据、标准 和 结论,以及 相对生产环境的提升:与正在服务的模型相比提升(或下降)了多少。
模型面板
| 面板 | 作用 |
|---|---|
| 摘要 | 指标、标准和结论。 |
| 浏览器 | 模型内部学到了什么。 |
| 解释 | 每次预测中哪些特征权重较大。 |
| 试用 | 手动预测:“如果……会怎样?”可修改某个值并查看效果,“实时 · n ms”。 |
| 模型卡 | 模型的说明卡片:用途、数据、指标和局限。 |
| 部署 | 本地服务和类型化客户端。 |
| 契约 | 你的应用可以预期的输入和输出格式。 |
冠军与挑战者
冠军 是正在生产环境中运行的版本。挑战者 是在相同测试数据上与之竞争的新版本。只有当挑战者有可衡量的提升时,才值得将其提升。
注册表与状态
开发 → 评估 → 已批准 → Staging → 生产
↘ 已拒绝 ↘ 已归档提升到生产环境始终由人来完成。一键回滚。 任何智能体都不能提升模型。
磁盘上的版本管理
每个版本都保存在 models/<nombre>/v<major>.<minor>/ 中,包含复现和审计所需的一切:
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│ └── run-3.json
├── artifacts/
│ ├── weights/
│ ├── checkpoints/
│ ├── metrics/
│ └── reports/
├── evaluation/
│ └── evaluation-report.json
└── exports/发布
发布 标签页会对已验证的版本依次执行一系列步骤:
使用模式
| 模式 | 何时使用 |
|---|---|
| 嵌入式 | 模型在你的应用内部运行。 |
| 独立运行 | 一个独立的可执行文件。 |
| 微服务 | 一个供其他服务调用的 HTTP 服务。 |
| 批处理 | 定期对成批数据进行评分。 |
| 流式 | 对事件流进行预测。 |
本地服务
提供服务 会在 127.0.0.1 上启动模型,提供 POST /predict(LLM 则提供兼容 OpenAI 的 API)。它只监听你的本机。
curl -s http://127.0.0.1:<端口>/predict \
-H "Content-Type: application/json" \
-d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'它会返回 {"predictions": [...]},格式与 契约 面板(model-contract.json)中描述的一致。
类型化客户端 SDK
在 类型化客户端(SDK) 中可以为 TypeScript、Python、Java、Go 或 C# 生成客户端。如需集成超时、熔断器(circuit breaker) 以及模型出错时回退到你的规则,请交给智能体来做。
另请参见ML 隐私与沙箱。