数据质量管理

在大数据时代，数据质量管理是确保数据正确性、有效性和一致性的关键环节。通过数据质量管理，我们可以对海量数据进行清洗、加工和优化，从而提升数据价值密度，更好地服务于业务需求。数据质量模块为您提供全方位监控和评估数据质量的功能，包括完整性、唯一性、一致性、准确性、有效性和及时性六大维度。通过数据质量模块，您可以实现数据质量的持续改进和优化。

概览

数据质量概览页面为您提供了一个直观的数据质量监控大盘，方便您查看质量规则和校验运行的整体情况。以下是部分指标的详细解释：

部分指标的口径如下

质量规则数：服务实例的所有工作空间下，配置的质量规则总数，包含未开启的规则
覆盖表总数：服务实例的所有工作空间下，有配置质量规则的表的数量
检测运行次数：近一个月的质量规则运行次数
校验通过率：近一个月的通过次数/校验总次数
质量规则分布：服务实例的所有工作空间下的质量规则，按照负责人或者工作空间统计的数量分布
校验结果分布：服务实例的所有工作空间下的质量规则，校验结果状态的分布
高质量表：有配置质量规则，且最近7天均校验通过的表
今日需要关注结果：校验失败的质量规则

质量规则

质量规则页面以列表形式展示您已配置的全部质量规则。通过顶部的筛选过滤区域，您可以快速找到所需的规则。

通过顶部的筛选过滤区域，可以进行精细化地查找。

新建质量规则

在质量规则列表中，或在校验对象的规则列表中，点击“新建规则”按钮，进入新建质量规则页面。
填写必填配置项，如数据源、工作空间、校验对象、负责人、描述、参数配置、取值过滤、校验方式、期待结果、触发方式、执行集群和超时时间等。
预览

配置项	配置说明
数据源	指数据源类型，当前只支持Lakehouse数据源
工作空间	校验对象所属的工作空间
校验对象	校验对象是Lakehouse表时，选择其所在的Schema和名称（表名、视图名称等）
负责人	质量规则的负责人，影响告警的接受
描述	给质量规则定义的描述
参数配置	质量规则中，在取值过滤和自定义SQL来计算指标值时，支持引用预先定义的动态参数取值。举例定义如下参数* partition = $[yyyyMMdd]
取值过滤	用以过滤需要校验的对象范围，比如按照分区过滤，支持引用参数* dt = ${partition}
校验方式 - 内置指标	系统内置的校验指标，按需选择使用
校验方式 - 自定义SQL	如果系统内置的校验指标不满足使用需要，可以通过自定义SQL来计算指标取值* 特别注意：自定义SQL的运行结果，必须是一个单值的数值，才能进行比较
期待结果	定义指标值的期待结果
触发方式	用于配置质量规则触发运行的方式 1、定时触发：在给定的定时时间，由系统触发运行一次校验 2、周期任务触发：由关联的周期任务实例来触发，在实例运行成功后，触发质量规则运行。对于周期调度触发，有两种调度阻塞配置选项 A：强阻塞调度：如果质量规则校验失败，会把关联的调度任务实例置为失败，进而会阻塞该调度实例的下游实例运行。 B：不阻塞调度：质量规则作为旁路运行，不影响关联的调度任务实例的运行状态 3、手动触发：按需手动触发
执行集群	指定工作空间下，运行质量规则的计算集群
超时时间	在设定的超时时间到达后，如果质量规则校验没有完成，会被系统自动取消