可视化数据集
本文档介绍「可视化数据集」的功能与操作。可视化数据集通过可视化的配置方式,对系统内已有数据表进行数据治理和加工,生成新的可用数据集,为 AI 工作台、电子表格制作报表、BI 分析做仪表盘等产品场景提供数据基础。
1.功能总览
在实际业务中,原始数据往往不能满足直接分析的需求。例如销售订单明细表中仅有订单基础字段,需要补充计算字段(如含税金额、订单金额区间)、按地区汇总销售额、关联部门档案补全部门名称等,都需要对原始数据进行加工处理。
可视化数据集正是为这类场景设计的数据表类型:它不直接访问数据库,而是以系统内已配置的数据表(如数据库表、SQL数据表、EXCEL数据表、HTTP数据表、表单数据表等)为数据来源,通过可视化配置加工步骤的方式,对数据进行治理和加工,最终生成一张新的可用数据集。
其主要能力包括:
| 能力 | 说明 |
|---|---|
| 可视化配置 | 无需编写代码,通过选择加工节点并配置参数即可完成数据加工 |
| 多类数据来源 | 可基于数据库表、SQL数据表、EXCEL数据表、HTTP数据表、表单数据表等多种类型的数据表进行加工 |
| 丰富加工节点 | 支持新增公式列、汇总列、赋值列、条件标签列、左右/上下合并、分组汇总、过滤、排序、字段设置、时间差、获取时间、行转列、列转行、拆分行列、删除重复行等 16 种加工节点 |
| 加工步骤链 | 加工节点自上而下依次处理,每一步的结果都是下一步的输入,可随时查看任一步骤的处理结果 |
| 实时预览 | 配置过程中可实时预览每一步骤的输出数据,所见即所得 |
| 数据管理与复用 | 生成后可进行数据预览、字段管理、数据更新、数据加工等,并可在 AI 工作台、电子表格、BI 分析等产品中被引用使用 |
说明:本章「可视化数据集」相关文档包含 1 篇主文档(本文档)与 16 篇功能节点子文档。主文档介绍整体流程与管理、操作,各加工节点的详细使用方式请查看对应子文档。
2.新建可视化数据集
在「数据空间 → 数据中心 → 企业数据」页面中,点击右上角 新建数据集 按钮,在下拉菜单中选择 可视化数据集,即可打开「新建可视化数据表」配置页面。
新建可视化数据集需要完成以下步骤:
- 填写数据表名称
- 选择主表(数据来源)
- 添加数据加工步骤(可添加多个,自上而下依次处理)
- 确认创建
2.1 填写数据表名称
在页面顶部的「数据表名称」输入框中,为该数据集起一个容易识别的名称,如「销售订单部门汇总」。
2.2 选择主表
点击「数据生产步骤」区域中的 请选择主表 按钮,弹出数据表选择下拉框。支持通过搜索快速定位数据表,选择一张已配置的数据表作为主表(数据来源)。
示例:本文档后续功能节点示例均以「销售订单明细表」作为主表进行演示。选择主表后,页面底部的「数据预览」区域即展示该表的原始数据(如 1023 行、33 个字段、展示前 100 行)。
2.3 添加数据加工步骤
选择主表后,点击「数据生产步骤」区域中的 添加加工步骤 按钮,在左侧功能节点面板中选择需要使用的加工节点(共 16 种),并在弹出的配置界面中完成参数设置。
加工节点列表与详细使用说明见下表:
| 节点 | 功能简介 | 详细说明 |
|---|---|---|
| 新增公式列 | 通过公式函数对已有字段计算,生成新的字段 | 详情查看:功能节点/2.1新增公式列.md |
| 新增汇总列 | 按分组字段对某字段进行汇总,生成新的汇总列 | 详情查看:功能节点/2.2新增汇总列.md |
| 新增赋值列 | 对字段值进行分组赋值,生成新的分组字段 | 详情查看:功能节点/2.3新增赋值列.md |
| 条件标签列 | 根据满足的条件为数据行打上不同标签 | 详情查看:功能节点/2.4条件标签列.md |
| 左右合并 | 将两张表按合并依据字段横向合并成一张表 | 详情查看:功能节点/2.5左右合并.md |
| 上下合并 | 将两张表按字段纵向拼接成一张表 | 详情查看:功能节点/2.6上下合并.md |
| 分组汇总 | 按分组字段将数据分组后进行汇总计算 | 详情查看:功能节点/2.7分组汇总.md |
| 过滤 | 按条件筛选出需要的数据行 | 详情查看:功能节点/2.8过滤.md |
| 排序 | 按指定字段对数据进行升序或降序排列 | 详情查看:功能节点/2.9排序.md |
| 字段设置 | 对字段进行隐藏、重命名、调整顺序、修改类型 | 详情查看:功能节点/2.10字段设置.md |
| 时间差 | 计算两个时间字段的时间差,生成新的时间差列 | 详情查看:功能节点/2.11时间差.md |
| 获取时间 | 获取时间字段的指定时间粒度值,生成新的时间列 | 详情查看:功能节点/2.12获取时间.md |
| 行转列 | 依据某字段的字段值生成新的表头列,将一维表转成二维表 | 详情查看:功能节点/2.13行转列.md |
| 列转行 | 将多个相同性质的字段合并成一列,将二维表转成一维表 | 详情查看:功能节点/2.14列转行.md |
| 拆分行列 | 按分隔符或字符数将字段值拆分为多列或多行 | 详情查看:功能节点/2.15拆分行列.md |
| 删除重复行 | 按所选去重字段判断并删除重复的数据行 | 详情查看:功能节点/2.16删除重复行.md |
2.4 加工步骤链的处理逻辑
加工节点是自上而下依次处理的,即前一个节点的输出作为后一个节点的输入,形成一个加工步骤链:
-
在「数据生产步骤」区域,第一个步骤为主表(数据来源),其下依次为各加工步骤;
-
点击步骤链中的任意一个节点,右侧「数据预览」区域展示的,就是从主表开始依次处理到该节点的数据结果;
-
支持通过 Ctrl、Shift 快捷键多选步骤;
-
可对步骤进行重命名、删除、调整顺序、复制等操作(通过步骤的「步骤操作」按钮)。
说明:确认所有加工步骤配置无误后,点击页面底部的「确 定」按钮即可完成可视化数据集的创建;点击「取 消」放弃本次创建。
3.可视化数据集管理
在企业数据列表中点击已创建的可视化数据集名称,进入数据集管理页面。页面顶部提供「数据集详情」「数据加工」「编 辑」等入口,中部提供「数据预览」「数据字段」「数据更新」等管理标签页。
3.1 数据预览
「数据预览」标签页展示该可视化数据集加工后的最终数据:
-
页面默认展示加工结果数据,可通过 字段搜索 快速定位字段列;
-
点击 导出Excel 可将当前预览数据导出为 Excel 文件;
-
底部展示分页信息,支持分页浏览数据。
3.2 数据字段
「数据字段」标签页展示该数据集中各字段的元信息:
-
字段列表以表格形式展示,包含 序号、原始名称、显示名称、字段类型、数据列 等列,字段类型由系统自动识别(如「数字」「字符串」等);
-
点击 编辑 可对字段的显示名称、字段类型等进行修改。
3.3 数据更新
「数据更新」标签页配置该数据集的更新策略:
-
页面展示当前更新方式与更新策略,如「抽取模式 / 每天 00:00 自动抽取更新一次」;
-
立即更新:点击后立即手动触发一次数据更新;
-
修改:点击后弹出更新配置对话框,可修改更新方式(直连模式/抽取模式)与更新策略(如每 N 分钟自动更新、每天指定时间自动更新)。
3.4 数据加工
点击页面右上角的 数据加工 按钮,进入数据加工页面:
-
左侧为「选字段」面板,展示当前数据集的所有字段,支持全选或按需勾选需要保留的字段,并支持字段搜索;
-
加工配置完成后,点击 保存 生效;点击 返 回 放弃修改并回到数据集详情页。
具体数据加工的详细使用,可以查看文档:企业数据数据加工 - 文档中心
3.5 数据集详情
点击页面右上角的 数据集详情 按钮,弹出该数据集的基本信息窗口,包括:
-
创建用户:创建该数据集的用户;
-
创建时间:数据集的创建时间;
-
最近编辑时间:最近一次修改配置的时间;
-
字段数:数据集包含的字段总数。
4.可视化数据集操作
在左侧目录树或右侧数据列表中,将鼠标悬停在某个可视化数据集上,可通过行内提供的「编辑」「删除」按钮,或「...」更多操作按钮对数据集进行管理。
4.1 编辑
选择「编辑」,进入可视化数据集的编辑页面。编辑页面的配置项与新建时一致,可修改数据表名称、主表以及各数据加工步骤等内容。修改完成后点击「确定」保存。
4.2 重命名
选择「重命名」,可直接修改该数据集的名称,便于在数据集较多时进行管理和区分。
4.3 移动到
选择「移动到」,弹出文件夹选择对话框:
-
对话框标题显示「将【数据集名称】移动到」;
-
可在搜索框中输入文件夹名称快速定位;
-
选择目标文件夹后点击「确定」,即可将该数据集移动到指定文件夹下;
-
点击「取消」放弃操作。
4.4 复制
选择「复制」,系统会基于当前可视化数据集的配置创建一份副本,生成一个新的数据集。复制后的数据集会保留原有的主表配置和加工步骤,但不会复制数据本身,可根据需要在此基础上修改配置。
4.5 删除
选择「删除」,系统会将该可视化数据集从企业数据中移除。
注意:删除后该数据集将无法恢复,且依赖该数据集的报表将无法正常取数,请谨慎操作。