文档 / ML Studio
ML Studio 中的数据
导入并分析数据集、不可变版本、数据准备、质量、带脱敏的敏感度检测以及数据血缘。
本页内容
几乎所有糟糕的模型,问题都早已存在于数据之中。数据 标签页帮助你在训练前发现它。数据集 是一张表:行(示例)和列(特征以及要预测的列)。
导入并分析
点击 导入并分析,然后选择一个文件或数据库。
| 来源 | 说明 |
|---|---|
| 文件 | CSV、TSV、JSON、JSONL、Parquet 和 SQLite。 |
| 数据库 | 在数据库连接上执行的只读 SELECT 查询。 |
| 大型数据 | 支持比 RAM 更大的数据集。 |
导入时,Yuli 会计算完整的数据概况,并显示 脱敏样本:隐藏了敏感列的示例行。
不可变版本
每次更改(导入、清洗、划分)都会创建一个新的不可变版本,以其哈希值标识。版本绝不会被覆盖:模型始终能准确说明自己是用哪些数据训练的。
ventas.csv
├── v1 sha256:4f1c… 已导入
├── v2 sha256:9a07… 去除重复项
├── v3 sha256:c2e8… 填充空值(中位数)
└── v4 sha256:71bd… 划分 70 / 15 / 15数据集的视图
| 视图 | 显示内容 |
|---|---|
| 概况 | 每列的结构和统计信息。 |
| 准备 | 清洗和转换步骤。 |
| 数据卡 | 数据集的说明卡片及其许可证(批准模型时必需)。 |
| 数据 | 数据行,在需要处进行脱敏。 |
| 敏感度 | 哪些列是敏感的,以及如何脱敏。 |
| 质量 | 一个总体评分及其各个维度。 |
| 血缘 | 每个版本的来源,以及哪些模型在使用它。 |
概况
列表显示 列、类型、空值、唯一值、分布 和 摘要。下方还有:
- 类别平衡:要预测的列中每个取值各有多少示例。
- 最强相关性:变化最同步的列对。
- 检测到的问题:常量列、建议排除的标识符、大量空值、重复行或类别不平衡。
与要预测的列近乎完美的相关性通常意味着泄漏:答案的信息混入了特征中。模型看起来会非常出色,但在生产环境中会失败。请排除该列。
准备数据
准备 中的每一步都会生成一个新版本:
| 步骤 | 作用 |
|---|---|
| 去除重复项 | 删除重复的行。 |
| 填充空值 | 补全缺失值。 |
| One-hot | 将一个类别转换为由 0 和 1 组成的多列。 |
| 标准化 | 以 0 为中心,标准差为 1。 |
| 归一化(0–1) | 缩放到 0 到 1 的范围。 |
| 划分 | 分为训练集、验证集和测试集。 |
已完成 0/5
质量
质量 视图给出 总体评分 和 等级,并按维度细分:
| 维度 | 问题 |
|---|---|
| 缺失值 | 缺少多少值?缺在哪里? |
| 有效性 | 值的类型和格式是否符合预期? |
| 重复项与规则 | 是否有重复行或违反业务规则的情况? |
| 异常值 | 是否有可疑的极端值? |
| 分布 | 各列的分布形态是否合理? |
| 时间与漂移 | 数据是否随时间变化? |
| 标签 | 要预测的列是否一致? |
| 偏差 | 是否有某个群体代表性不足或过度? |
敏感度与脱敏
在 敏感度 中,每一列都有一个敏感概率、一个类别和一种建议的脱敏方式。检测器结合了列名、模式以及带校验位的验证器(银行卡、IBAN、CLABE、CPF、CURP/RFC)。
- 你和你的本地模型使用真实值:它们不会离开你的电脑。
- 外部智能体只能看到显示为
•••的敏感列。聚合数据可以传递:智能体可以推断哪些特征权重最大,而无需看到任何一个客户。 - 只有人可以将一列标记为非敏感。智能体永远无法为自己解除数据脱敏。
敏感列会记录在 yuli-ml.yaml 中:
sensitiveColumns:
- email
- curp
- telefono