文档 / ML Studio

ML Studio 中的数据

导入并分析数据集、不可变版本、数据准备、质量、带脱敏的敏感度检测以及数据血缘。

本页内容

几乎所有糟糕的模型,问题都早已存在于数据之中。数据 标签页帮助你在训练前发现它。数据集 是一张表:行(示例)和列(特征以及要预测的列)。

导入并分析

点击 导入并分析,然后选择一个文件或数据库。

来源说明
文件CSV、TSV、JSON、JSONL、Parquet 和 SQLite。
数据库在数据库连接上执行的只读 SELECT 查询。
大型数据支持比 RAM 更大的数据集。

导入时,Yuli 会计算完整的数据概况,并显示 脱敏样本:隐藏了敏感列的示例行。

不可变版本

每次更改(导入、清洗、划分)都会创建一个新的不可变版本,以其哈希值标识。版本绝不会被覆盖:模型始终能准确说明自己是用哪些数据训练的。

text
ventas.csv
├── v1  sha256:4f1c…  已导入
├── v2  sha256:9a07…  去除重复项
├── v3  sha256:c2e8…  填充空值(中位数)
└── v4  sha256:71bd…  划分 70 / 15 / 15

数据集的视图

视图显示内容
概况每列的结构和统计信息。
准备清洗和转换步骤。
数据卡数据集的说明卡片及其许可证(批准模型时必需)。
数据数据行,在需要处进行脱敏。
敏感度哪些列是敏感的,以及如何脱敏。
质量一个总体评分及其各个维度。
血缘每个版本的来源,以及哪些模型在使用它。

概况

列表显示 列、类型、空值、唯一值、分布 和 摘要。下方还有:

  • 类别平衡:要预测的列中每个取值各有多少示例。
  • 最强相关性:变化最同步的列对。
  • 检测到的问题:常量列、建议排除的标识符、大量空值、重复行或类别不平衡。

与要预测的列近乎完美的相关性通常意味着泄漏:答案的信息混入了特征中。模型看起来会非常出色,但在生产环境中会失败。请排除该列。

准备数据

准备 中的每一步都会生成一个新版本:

步骤作用
去除重复项删除重复的行。
填充空值补全缺失值。
One-hot将一个类别转换为由 0 和 1 组成的多列。
标准化以 0 为中心,标准差为 1。
归一化(0–1)缩放到 0 到 1 的范围。
划分分为训练集、验证集和测试集。
已完成 0/5

质量

质量 视图给出 总体评分 和 等级,并按维度细分:

维度问题
缺失值缺少多少值?缺在哪里?
有效性值的类型和格式是否符合预期?
重复项与规则是否有重复行或违反业务规则的情况?
异常值是否有可疑的极端值?
分布各列的分布形态是否合理?
时间与漂移数据是否随时间变化?
标签要预测的列是否一致?
偏差是否有某个群体代表性不足或过度?

敏感度与脱敏

在 敏感度 中,每一列都有一个敏感概率、一个类别和一种建议的脱敏方式。检测器结合了列名、模式以及带校验位的验证器(银行卡、IBAN、CLABE、CPF、CURP/RFC)。

  • 你和你的本地模型使用真实值:它们不会离开你的电脑。
  • 外部智能体只能看到显示为 ••• 的敏感列。聚合数据可以传递:智能体可以推断哪些特征权重最大,而无需看到任何一个客户。
  • 只有人可以将一列标记为非敏感。智能体永远无法为自己解除数据脱敏。

敏感列会记录在 yuli-ml.yaml 中:

yaml
sensitiveColumns:
  - email
  - curp
  - telefono

如果模型会影响到人,请同时查看质量中的 偏差 维度以及评估中的 稳健性与公平性 部分。参见ML 隐私与沙箱。

血缘

血缘 会绘制完整链路:源文件或查询 → 数据集版本 → 准备步骤 → 训练运行 → 模型版本。每个模型都会保存自己的 lineage.json,因此你始终可以回答“生产环境中的版本究竟是用哪些数据训练的?”。

下一步:训练。