跳到主要内容

如何使用数据？

概念​

数据模块旨在帮助企业高效管理、利用和共享其数据资产。通过灵活的数据接口、元数据管理、数据源配置以及数据导入功能，用户可以全面掌控和优化数据流转过程。产品提供了直观的操作界面，便于用户进行数据查询、预览和操作，同时支持数据订阅和推送功能，确保数据的实时性和准确性。

整体架构

数据资产​

作为数据模块的入口，数据资产模块提供了一个总览视图，使企业用户能够直观掌握系统中各类数据资产的数量及详细信息，帮助用户全面了解当前数据的全貌及其分布情况。

搜索数据资产​

通过搜索功能（放大镜），可以进一步通过关键字、数据资产的类别等信息进行数据资产的快速定位。

查看资产数据与元数据​

每个数据资产的卡片都提供了数据预览以及元数据查看的快速连接。

单击卡片中心区域可以进入数据预览界面，用户可以看到对应数据表中的一部分数据，向下滚动可以不断加载更多。

如果启用了ChatX模块，则会在右侧显示Agent对话界面，用户可以通过自然语言的方式对当前数据进行查询并让系统提供见解。

点击卡片右上角的[查看元数据]，进入元数据查看界面。此处将会显示元数据的表名、注释、备注等，同时也包括了表里面所有字段的字段名、注释、类型信息。

点击[查看]按钮进入字段的详情页面。

数据接口​

提供简便的数据接口创建、修改及测试功能，用户能够高效地开发和维护数据接口，同时支持接口日志查询，确保接口运行的稳定性和可追溯性。

操作说明

  • 搜索，通过接口名称，数据实体名称进行筛选
  • 新建，点击弹窗进行新的数据接口定义
  • 接口日志，进入数据接口日志查看页面
  • 授权，为指定客户端开通接口的访问权限，在没有绑定客户端的情况下接口不可访问
  • 行操作
    • 详情，查看接口详细信息
    • 编辑，对已经创建的接口进行修改
    • 日志，仅查看跟此接口相关的日志
    • 启用/禁用，禁用后的接口将不可以再被进行调用，但是接口本身不会被删除，随时可以进行启用
    • 删除，删除接口

接口详情

创建数据接口​

通过接口创建，可以将新的数据接口添加至系统中，用户可以添加不同的数据接口，用于不同数据实体、不同条件、不同字段的查询。 目前只支持单个数据实体的查询接口定义，如果需要进行多个实体的关联查询，请先在上游平台中先组合成一个视图，再通过数据接口添加条件进行查询。

字段说明

  • 分类，接口的分类，当数据接口较多的时候可以作为分组的标识
  • 接口名称，用于接口的唯一标识
  • 接口地址，接口发布后的访问地址，不可以与其他接口使用相同地址
  • 数据源，接口的数据来源，必须先将数据域维护至系统才可以在此处进行选择
  • 数据实体，接口的数据从哪个数据实体中进行查询
  • 输入参数，可以为接口定义一个或多个输入参数进行数据的过滤，提供相等、包含、大于等常用的运算符，输入参数由接口调用方进行传递
  • 固定参数，不需要调用方传递的固定参数/条件，例如总是查询中国地区的省份，可以将中国地区作为一个固定参数。
  • 是否进行分页，否，总是返回符合条件的所有记录。是，根据调用方的入参pageSize指定每页的数量，pageIndex指定页码。总记录数和总页数对应返回参数的totalCount、totalPage
  • 排序条件，通过指定排序字段以及方向（升序还是降序）控制查询结果的排序
  • 返回参数，控制哪些字段要通过接口进行返回，没有勾选的字段将不会出现在查询结果的报文中。（可用于控制一些敏感信息的传输）

数据接口授权​

所有数据接口都需要经过授权以后才可以被外部系统调用，客户端代表外部系统的标识，通常一个客户端对应一个外部系统。 在授权之前，需要让SERVICEME管理员先将客户端添加至系统，此处才可以选择对应的客户端进行授权。

进行接口测试（预览）​

针对已经创建的数据接口进行测试，通过详细的输入输出报文确定接口是否符合预期。

注：接口在测试之前需要先完成客户端授权，并且需要将算好的Authorization填入Header才可以进行调用，否则请求将被拒绝。Authorization算法请查阅[技术指南/DATA 开发对接]

查看接口日志​

可查询系统最近一段时间的所有数据接口查询日志，系统将会记录调用方的IP地址，返回的报文等信息。

数据订阅​

与数据接口方向相反，数据订阅是由SERVICEME平台向外部系统主动推送数据。用户可以在此设定数据订阅的条件和频率，系统将会在到达触发时间的时候检查是否存在符合条件的数据，如果存在，则将相应数据推送给指定的接口。

操作说明

  • 查询，通过订阅名称等条件进行数据订阅查询
  • 新建，填写数据定义的参数并进行创建
  • 立即触发，点击后立即检查是否存在符合条件的数据，如果存在则立即进行推送
  • 删除，移除数据订阅，不再进行触发和数据推送
  • 推送日志，跨数据订阅查询所有的推送日志
  • 行操作
    • 启用/禁用，订阅禁用后不再进行触发和数据推送
    • 查看推送日志，仅查看当前订阅相关的日志

创建与编辑数据订阅​

字段说明

  • 数据配置
    • 名称，数据订阅的唯一标识
    • 数据源，数据订阅的数据来源
    • 数据实体，数据订阅查询的数据实体（表或视图）
    • 筛选规则，用于判定是否存在符合条件的数据，可以组合多个条件
    • 数据字段，数据订阅最终推送的数据字段，此处可以为它赋予别名和默认值
  • 订阅配置
    • 推送方式，推送的协议，目前支持HTTP报文方式
    • 频率，推送频率，支持CRONS（5位）表达式
    • 分批数量，如果符合条件的数据大于分批数量，将会分成几批进行推送，以控制单次推送的数据量大小
    • API，数据接收方的API地址，此处需要输入包括域名和接口路径的完整地址。例如：https://www.baidu.com/api/sendData
    • HTTP Method，支持POST和PUT两种
    • Headers，接收方需要传递的HTTP Header，可用于传递鉴权所需的固定api_key
    • Body，接收方接收的报文格式，如果不进行调整，所有数据将以数组形式放在JSON对下的data属性中。

特殊规则

  • 对于日期类型的字段，可以在值的输入框中使用日期变量，方便查询特定时间端内的数据。

日期变量示例

$utcnow-1m$ 最近一分钟
$utcnow-1h$ 最近一小时
$utcnow-1d$ 最近一天
$utcnow-1w$ 最近一周
$utcnow-1M$ 最近一个月
$utcnow-1y$ 最近一年

组合
$utcnow-1h20m$ 最近一小时二十分钟

推送日志查询​

可查询系统最近一段时间的所有推送日志，供用户了解数据订阅的运行情况。当数据接收方反馈数据没有收到时，可以结合推送日志进行调查。

数据源​

支持多种类型的数据源接入和管理，用户可以方便地新建和配置数据源连接，确保数据输入的可靠性和灵活性。

操作说明

  • 查询，通过编号/名称/类型等信息对数据源进行查询
  • 新建，点击弹出数据源创建表单
  • 元数据同步，立即同步此数据源里的所有元数据
  • 删除，将数据源进行删除，不再可用，也不会再进行相关元数据的同步
  • 行操作，
    • 点击链接，查看数据源信息，基于安全的考虑，数据库连接只可修改，不可查看

创建数据源​

首先需要选择一种数据源类型，目前平台支持Excel、Azure SQL、Azure Databricks三种数据源

以Azure SQL为例，创建过程如下：

首先填入数据源基础信息以及连接字符串。

字段说明

  • 编号，数据源唯一标识
  • 名称，数据源显示名
  • 标签，可用于数据源的分类
  • 连接字符串，输入对应数据源的连接字符串，填写后使用连接测试按钮功能进行验证

连接字符串测试通过后，点击下一步进入元数据选择。

操作说明

  • 同步所有，同步该数据源所有元数据，也包括将来新建的元数据
  • 选择同步，只同步选定的元数据

点击保存后，完成数据源的创建。

元数据​

产品内置的元数据管理功能，支持数据域的创建、编辑和管理，帮助企业构建清晰的数据体系结构。

操作说明

  • 查询，通过实体名/显示名/数据源等字段对元数据进行筛选
  • 元数据同步，立即同步该元数据实体以及字段
  • 设置数据域，将元数据指定到对应的数据域
  • 数据域管理，数据域维护
  • 行操作
    • 实体名称超链接，点击进入元数据明细页面

编辑元数据​

元数据编辑，可以为表和字段补充有意义的名称、描述。这些信息都会帮助系统更好的理解这些元数据，尤其是在AI生成查询的场景下，提供准确且完整的元数据描述将会得到更好的稳定性。

管理数据域​

数据域管理，可以通过创建不同领域的数据域，对平台中的数据资产进行分类管理。

数据导入​

支持通过文件或手动创建数据模板，定义数据校验规则，实现数据的高效导入，支持导入新的数据表或覆盖现有数据，确保数据处理的灵活性和准确性。

操作说明

  • 查询，通过数据表名称进行筛选
  • 模板管理，创建/编辑导入模板，在数据导入之前需要先创建好对应的导入模板。
  • 导入数据，进行导入数据操作
  • 删除，删除已经导入系统的数据表
  • 列操作，
    • 点击列名超链接，查看数据表中的详细数据
    • 编辑，修改数据表的数据域
    • 导出，将数据表整体进行导出

数据模板创建​

数据模板创建功能允许用户通过两种方式创建数据模板：手动创建和通过文件创建。

  1. 手动创建：

    • 用户可以直接在界面上定义数据模板的结构。
    • 可以添加、编辑和删除字段，设置字段类型和其他属性。

  2. 通过文件创建：

    • 用户可以上传包含数据结构的Excel文件。
    • 系统会自动识别文件中的数据结构，并生成相应的模板。
    • 用户可以选择特定的工作表（Sheet）作为模板基础。

创建模板过程中，用户可以：

  • 定义字段名称、类型和描述。
  • 设置必填字段。
  • 添加数据校验规则，如数据格式、取值范围等。

完成模板创建后，用户可以使用该模板进行数据导入，确保导入的数据符合预定义的结构和规则。这种方法可以显著提高数据质量和导入效率。

手动创建导入模板​

操作说明

  • 模板名称，模板的唯一标识
  • 添加字段（加号），点击后新增模板列
  • 字段操作
    • 参数名，用于数据表
    • 显示名，用于导入数据后的显示
    • 类型，指定导入数据的类型（String-文本，Number-数字，Boolean-布尔，DateTime-日期时间）
    • 是否主键，主键列必须是唯一的，如果需要在二次导入数据的时候，更新已经存在的数据而不是总是新增，就需要为模板指定一个主键列
    • 设置，进入列的校验规则设定

校验规则定义

操作说明

  • 数值范围，约束值范围要在某个区间内，如：考试分数可以约束在0-100的范围内容
  • 值范围，枚举值定义，如，性别：男/女，风险：高/中/低
  • 是否唯一，如果不希望这一列的数据出现重复，可以开启唯一校验
  • 外键约束，用于数据的存在性校验，例如，可以通过学校表的学校编码列进行存在性校验，如果用户上传的数据中学校编码不在学校表中定义，则会提示错误。

通过文件创建导入模板​

选择Sheet

系统将会根据Sheet的第一行决定模板里面的字段信息，并且会尝试推断每一列的类型。导入后的操作与手动创建类似。

数据导入​

数据导入功能允许用户将准备好的数据文件导入到系统中。这个过程包括以下几个主要步骤：

  1. 选择数据文件：

    • 用户可以上传包含待导入数据的Excel或者CSV文件，然后选择希望导入系统的Sheet。

  2. 数据预览和验证：

    • 在正式导入前，系统会显示数据预览，让用户检查数据的正确性。

  3. 选择导入方式：

    • 创建新的表：将数据导入到一个全新的数据表中。

    • 导入到现有数据：将数据添加或更新到已存在的数据表中。
      • 新增：总是新增数据
      • 更新或新增：根据主键判断数据是否已经存在，如果存在更新数据，不存在新增数据
      • 覆盖：使用上传的数据整体覆盖目标数据表的数据）

  4. 执行导入：

    • 系统将上传文件中的列与预定义模板中的字段进行匹配（通过列的顺序，A-Z）
    • 用户确认无误后，可以开始执行数据导入过程。

  5. 错误处理：

    • 如果导入过程中遇到错误，系统会提供详细的错误日志。
    • 用户可以根据错误信息修正数据，然后重新尝试导入。