数据质量的校验方法和数据质量校验设备与流程

本技术涉及数据质量评估，具体而言，涉及一种数据质量的校验方法、数据质量校验设备、计算机可读存储介质和数据质量校验系统。

背景技术：

1、在电力数字化建设过程中，为了进行有效的数据挖掘，开展业务多维度分析，对数据质量提出了全新的要求。数字化时代，数据作为生产要素已成为推动经济社会发展及转型的新动能，数据的质量已成为影响数据要素发挥价值的重要因素。在实际工作和数字化建设中，发现现有数据的质量较差，已难以满足日益复杂的数据分析要求。

技术实现思路

1、本技术的主要目的在于提供一种数据质量的校验方法、数据质量校验设备、计算机可读存储介质和数据质量校验系统，以至少解决现有技术中数据的质量较差，已难以满足日益复杂的数据分析要求的问题。

2、为了实现上述目的，根据本技术的一个方面，提供了一种数据质量的校验方法，包括：第一设备获取数据校验规则，其中，所述数据校验规则为预先定义的对数据的质量校验的规则；所述第一设备在获取到第一业务需求的情况下，根据所述数据校验规则对所述第一业务需求对应的第一数据进行校验，得到第一校验结果，所述第一业务需求为第二设备向所述第一设备请求处理业务的需求，所述第一业务需求和所述第一数据一一对应，所述第一数据为所述第二设备发送的数据，所述第一设备为根据业务需求存储所述数据的设备，所述第二设备为向所述第一设备填报所述数据的设备；所述第一设备在所述第一校验结果表征通过校验的情况下将所述第一数据存储至本地，在所述第一校验结果表征不通过校验的情况下不将所述第一数据存储至本地；所述第一设备在获取到第二业务需求的情况下，根据所述数据校验规则对所述第二业务需求对应的第二数据进行校验，得到第二校验结果，其中，所述第二业务需求为所述第一设备处理本地业务的需求，所述第二业务需求和所述第二数据一一对应，所述第二数据为所述第一设备本地存储的数据；所述第一设备在所述第二校验结果表征不通过校验的情况下，对不通过校验的所述第二数据进行更新，并再次对更新后的第二数据进行校验，直到所有的所述第二数据都通过校验。

3、可选地，第一设备获取数据校验规则，包括：所述第一设备获取第一数据校验规则，其中，所述第一数据校验规则为对同一张数据表内的所有字段的类型、长度、枚举值校验，对第一字段的数据元素限定的第二字段的取值范围校验的规则，所述第一字段和所述第二字段都是同一张数据表中的字段；所述第一设备获取第二数据校验规则，其中，所述第二数据校验规则为对第三字段的数据元素限定的第四字段的取值范围校验的规则，所述第三字段为第一数据表中的字段，所述第四字段为第二数据表中的字段；所述第一设备获取第三数据校验规则，其中，所述第三数据校验规则为对第一数据表的第一数据记录和第二数据表的第二数据记录之间的逻辑校验的规则；所述第一设备获取第四数据校验规则，其中，所述第四数据校验规则为任意一个数据表中是否存在重复的数据记录的校验规则。

4、可选地，在第一设备获取数据校验规则之后，所述方法还包括：所述第一设备至少按照所述数据校验规则中的内容和迭代次数，生成记录模板，其中，所述记录模板表征对数据校验的标准化的校验模板；所述第一设备根据业务需求、所述数据校验规则和所述记录模板，确定所述数据校验规则的版本。

5、可选地，所述数据校验规则有多个，所述第一设备根据业务需求、所述数据校验规则和所述记录模板，确定所述数据校验规则的版本，包括：所述第一设备在有所述第一业务需求的情况下，根据所述第一业务需求从多个所述数据校验规则提取至少部分所述数据校验规则，得到第一目标数据校验规则；所述第一设备将所述第一目标数据校验规则添加到所述记录模板中，生成增量校验规则，并对所述增量校验规则进行测试，得到第一测试结果；所述第一设备在所述第一测试结果表征不通过测试的情况下，对所述增量校验规则进行更新，并再次对所述增量校验规则进行测试，直到所述第一测试结果表征通过测试，确定通过测试的所述增量校验规则的版本为最新版本。

6、可选地，所述数据校验规则有多个，所述第一设备根据业务需求、所述数据校验规则和所述记录模板，确定所述数据校验规则的版本，包括：所述第一设备在有所述第二业务需求的情况下，根据所述第二业务需求从多个所述数据校验规则提取至少部分所述数据校验规则，得到第二目标数据校验规则；所述第一设备将所述第二目标数据校验规则添加到所述记录模板中，生成存量校验规则，并对所述存量校验规则进行测试，得到第二测试结果；所述第一设备在所述第二测试结果表征不通过测试的情况下，对所述存量校验规则进行更新，并再次对所述存量校验规则进行测试，直到所述第二测试结果表征通过测试，确定通过测试的所述存量校验规则的版本为最新版本。

7、可选地，在第一设备获取数据校验规则之后，所述方法还包括：所述第一设备在获取到第三业务需求的情况下，根据所述数据校验规则对所述第三业务需求对应的第三数据进行校验，得到第三校验结果，其中，所述第三业务需求为所述第一设备中新增业务的需求，所述第三业务需求和所述第三数据一一对应，所述第三数据为新增业务需求时新增的数据；所述第一设备在所述第三校验结果表征通过校验的情况下，在将所述第三数据存储至本地之前，根据所述数据校验规则对所述第三数据进行再次校验，得到第四校验结果；所述第一设备在所述第四校验结果表征通过校验的情况下，将所述第三数据存储至本地；所述第一设备在所述第四校验结果表征不通过校验的情况下，生成提示信息；所述第一设备在所述第一校验结果表征不通过校验的情况下，根据不通过校验的所述第一数据生成第一问题数据清单，并发送至所述第二设备。

8、可选地，在根据所述数据校验规则对所述第二业务需求对应的第二数据进行校验，得到第二校验结果之后，所述方法还包括：所述第一设备在所述第二校验结果表征不通过校验的情况下，根据不通过校验的所述第二数据生成第二问题数据清单；所述第一设备确定所述数据校验规则是否为最新版本，在所述数据校验规则是最新版本的情况下，确定所述数据校验规则异常。

9、根据本技术的另一方面，提供了一种数据质量校验设备，包括：获取单元，用于获取数据校验规则，其中，所述数据校验规则为预先定义的对数据的质量校验的规则；第一校验单元，用于在获取到第一业务需求的情况下，根据所述数据校验规则对所述第一业务需求对应的第一数据进行校验，得到第一校验结果，所述第一业务需求为第二设备向第一设备请求处理业务的需求，所述第一业务需求和所述第一数据一一对应，所述第一数据为所述第二设备发送的数据；第一处理单元，用于在所述第一校验结果表征通过校验的情况下将所述第一数据存储至本地，在所述第一校验结果表征不通过校验的情况下不将所述第一数据存储至本地；第二校验单元，用于在获取到第二业务需求的情况下，根据所述数据校验规则对所述第二业务需求对应的第二数据进行校验，得到第二校验结果，其中，所述第二业务需求为所述第一设备处理本地业务的需求，所述第二业务需求和所述第二数据一一对应，所述第二数据为所述第一设备本地存储的数据；第二处理单元，用于在所述第二校验结果表征不通过校验的情况下，对不通过校验的所述第二数据进行更新，并再次对更新后的第二数据进行校验，直到所有的所述第二数据都通过校验。

10、根据本技术的再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行任意一种所述数据质量的校验方法。

11、根据本技术的又一方面，提供了一种数据质量校验系统，包括：第一设备和第二设备，所述第一设备为根据业务需求存储数据的设备，所述第二设备为向所述第一设备填报所述数据的设备，所述第一设备用于执行任意一种所述数据质量的校验方法。

12、应用本技术的技术方案，将数据校验规则固化在数据入口处，堵住增量问题数据，即在第二设备发过来数据后，第一数据还未数据入库前就对数据进行校验了，校验不通过数据不入库，这样避免后续数据入库后造成的数据质量较差的问题，同时在第一设备内部，按照业务来不断地查找问题的数据，即本地中也要不断地对数据进行校验，直到数据符合校验规则，形成闭环的数据管理，进而提高了数据质量。