文档 / ML Studio

评估与模型

独立评估、指标、稳健性与公平性、冠军与挑战者、模型注册表、磁盘上的版本管理以及如何发布。

本页内容

模型训练完成并不代表它已经就绪。只有当独立评估表明它满足标准、经人批准,并且它的包通过了测试,它才算就绪。

独立评估

Yuli 会单独评估每个版本,使用 测试集 · 未参与训练:模型在训练和选择参数时都从未见过的数据。结论一目了然:

  • “满足标准(n/N)”,或
  • “不满足:…”,并列出未通过的标准。

这些标准来自 yuli-ml.yaml 中的 acceptance:

yaml
acceptance:
  minimum_f1: 0.85
  maximum_latency_ms: 200
  maximum_memory_mb: 2048
  require_no_nan: true

指标

问题类型指标
所有损失(训练 / 验证)
分类准确率、F1、宏平均 F1、精确率、召回率、ROC AUC
校准ECE、Brier
回归与时间序列RMSE、MAE、R²、MAPE
语言模型困惑度、Tokens/s
服务p95 延迟(ms)

类别不平衡时,准确率 会误导人:如果只有 5% 是“是”,一个永远回答“否”的模型准确率也有 95%。请根据哪种错误代价更高,使用 F1、宏平均 F1 或 召回率。

混淆矩阵

在分类任务中,混淆矩阵 会针对每个真实类别显示模型预测正确的次数,以及把它与哪个类别混淆了。这是查看模型在哪里出错的最快方式。

稳健性与公平性

稳健性与公平性 会检查模型在扰动数据下以及在不同群体之间的表现变化。每项测试的结果为 稳健、敏感 或 脆弱。如果模型会影响到人,请务必查看。

评估历史

每次评估都会记录 时间、套件、测试数据、标准 和 结论,以及 相对生产环境的提升:与正在服务的模型相比提升(或下降)了多少。

模型面板

面板作用
摘要指标、标准和结论。
浏览器模型内部学到了什么。
解释每次预测中哪些特征权重较大。
试用手动预测:“如果……会怎样?”可修改某个值并查看效果,“实时 · n ms”。
模型卡模型的说明卡片:用途、数据、指标和局限。
部署本地服务和类型化客户端。
契约你的应用可以预期的输入和输出格式。

冠军与挑战者

冠军 是正在生产环境中运行的版本。挑战者 是在相同测试数据上与之竞争的新版本。只有当挑战者有可衡量的提升时,才值得将其提升。

注册表与状态

text
开发 → 评估 → 已批准 → Staging → 生产
              ↘ 已拒绝      ↘ 已归档

提升到生产环境始终由人来完成。一键回滚。 任何智能体都不能提升模型。

磁盘上的版本管理

每个版本都保存在 models/<nombre>/v<major>.<minor>/ 中,包含复现和审计所需的一切:

text
models/bajas-clientes/v1.2/
├── model.yaml
├── lineage.json
├── configs/
├── experiments/
│   └── run-3.json
├── artifacts/
│   ├── weights/
│   ├── checkpoints/
│   ├── metrics/
│   └── reports/
├── evaluation/
│   └── evaluation-report.json
└── exports/

发布

发布 标签页会对已验证的版本依次执行一系列步骤:

已完成 0/7

使用模式

模式何时使用
嵌入式模型在你的应用内部运行。
独立运行一个独立的可执行文件。
微服务一个供其他服务调用的 HTTP 服务。
批处理定期对成批数据进行评分。
流式对事件流进行预测。

本地服务

提供服务 会在 127.0.0.1 上启动模型,提供 POST /predict(LLM 则提供兼容 OpenAI 的 API)。它只监听你的本机。

bash
curl -s http://127.0.0.1:<端口>/predict \
  -H "Content-Type: application/json" \
  -d '{"inputs": [{"antiguedad_meses": 4, "plan": "basico", "tickets_90d": 7}]}'

它会返回 {"predictions": [...]},格式与 契约 面板(model-contract.json)中描述的一致。

类型化客户端 SDK

在 类型化客户端(SDK) 中可以为 TypeScript、Python、Java、Go 或 C# 生成客户端。如需集成超时、熔断器(circuit breaker) 以及模型出错时回退到你的规则,请交给智能体来做。

另请参见ML 隐私与沙箱。