一种数据质量评估方法、设备及介质与流程

本申请涉及计算机领域，具体涉及一种数据质量评估方法、设备及介质。

背景技术：

1、作为重要的信息载体，数据是一种生产要素和重要的生产力，是社会经济发展的基石，是现代社会的基础性资源和战略性资源，广泛应用于零售、电信、制造、农业、金融、农业等众多行业，产生了巨大的社会价值和产业潜力。其实际应用价值主要体现在两个重要方面：一方面，数据不仅可以帮助企业分析市场及其发展趋势用于提高企业的创新能力和核心竞争力；另一方面，还可以帮助监管部门监管和决策用于提高监管部门的服务质量和效率。

2、然而，很多实际情况下会存在数据不完整、数据不一致、元数据缺失、数据类型不准确、数据格式不标准、数据取值不合理、数据重复或多余、数据失效等数据质量问题。这些问题的存在将极大影响数据中蕴含信息的可靠性，从而影响数据的实际价值。因此，需要对数据质量问题进行评估分析。

技术实现思路

1、为了解决上述问题，本申请提出了一种数据质量评估方法，包括：

2、基于预设的多个评估维度，建立数据质量评估指标体系，每个所述评估维度中包含多个评估指标；

3、获取待评估数据对应的待评估数据表和元数据表，并基于所述待评估数据表、所述元数据表的属性，确定所述待评估数据在所述数据质量评估指标体系下，各评估指标对应的实测值；

4、确定所述待评估数据对应的评估指标权重矩阵和评估指标选取矩阵；

5、根据所述评估指标权重矩阵、所述评估指标选取矩阵、所述实测值，构建数据质量评估模型，以便根据所述数据质量评估模型对所述待评估数据进行数据质量评估。

6、另一方面，本申请还提出了一种数据质量评估设备，包括：

7、至少一个处理器；以及，

8、与所述至少一个处理器通信连接的存储器；其中，

9、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如：上述示例所述的数据质量评估方法。

10、另一方面，本申请还提出了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：上述示例所述的数据质量评估方法。

11、通过本申请提出数据质量评估方法能够带来如下有益效果：

12、通过建立系统全面的多维度、多指标质量评估指标体系，构建合理有效的质量评估分析模型实现对数据质量进行定量评估和分析，能够为数据开发与使用提供针对性指导，为数据质量提高奠定基础。

技术特征：

1.一种数据质量评估方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，基于预设的多个评估维度，建立数据质量评估指标体系，具体包括：

3.根据权利要求2所述的方法，其特征在于，所述评估维度包括：完整性评估维度、有效性评估维度、唯一性评估维度以及一致性评估维度；

4.根据权利要求3所述的方法，其特征在于，获取待评估数据对应的待评估数据表和元数据表，并基于所述待评估数据表、所述元数据表的属性，确定所述待评估数据在所述数据质量评估指标体系下，各评估指标对应的实测值，具体包括：

5.根据权利要求4所述的方法，其特征在于，根据所述待评估数据表的行数、字段数，以及所述元数据表的字段数，确定所述待评估数据在所述数据质量评估指标体系下，各评估指标对应的实测值，具体包括：

6.根据权利要求2所述的方法，其特征在于，确定所述待评估数据对应的评估指标权重矩阵和评估指标选取矩阵，具体包括：

7.根据权利要求6所述的方法，其特征在于，所述评估指标选取矩阵基于数据质量评估过程中评估指标的实际选取情况确定；

8.根据权利要求1所述的方法，其特征在于，根据所述评估指标权重矩阵、所述评估指标选取矩阵、所述实测值，构建数据质量评估模型，具体包括：

9.一种数据质量评估设备，其特征在于，包括：

10.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：权利要求1～8中任一项权利要求所述的数据质量评估方法。

技术总结
本申请公开了一种数据质量评估方法、设备及介质，方法包括：基于预设的多个评估维度，建立数据质量评估指标体系；获取待评估数据对应的待评估数据表和元数据表，确定待评估数据在数据质量评估指标体系下，各评估指标对应的实测值；确定待评估数据对应的评估指标权重矩阵和评估指标选取矩阵；根据评估指标权重矩阵、评估指标选取矩阵、实测值，构建数据质量评估模型，以便根据数据质量评估模型对待评估数据进行数据质量评估。通过建立系统全面的多维度、多指标质量评估指标体系，构建合理有效的质量评估分析模型实现对数据质量进行定量评估和分析，能够为数据开发与使用提供针对性指导，为数据质量提高奠定基础。

技术研发人员：张庆乐,赵海兴,赵子墨,张帆,申传旺,邱阳
受保护的技术使用者：浪潮卓数大数据产业发展有限公司
技术研发日：
技术公布日：2024/1/15