数据质量检测方法、装置、设备及存储介质与流程

本技术涉及大数据，尤其涉及一种数据质量检测方法、装置、设备及存储介质。

背景技术：

1、随着信息技术的发展和互联网的普及，我们已经进入了一个数据爆炸的时代，每时每刻都会产生大量的数据。为了能够更好地利用这些数据并从中获取价值，大数据应运而生。大数据可以被定义为数据量巨大、来源多样、结构复杂、需要高效处理、分析和管理的数据。为了能够在大数据中获取高质量的价值，因此大数据的数据质量尤为重要。

2、现有技术中，对于数据表的质量检测通常是通过用户设定定时检测任务进行定时质量检测。

3、然而，对于数据量大并且更新较慢的数据表，根据用户设定的时间定时检测，可能会出现数据表未更新，而重复检测的情况，进而浪费了大量的资源，降低了数据表的质量检测效率。

技术实现思路

1、本技术提供一种数据质量检测方法、装置、设备及存储介质，用以解决如何提高数据质量检测效率的问题。

2、第一方面，本技术提供一种数据质量检测方法，包括：

3、响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间，所述触发指令用于指示对所述待检测数据表进行质量检测，所述元数据模块中包括至少一个数据表，每个数据表的标识、更新时间、，所述数据质量模块中包括所述至少一个数据表的检测未执行次数、每次质量检测的检测时间和检测结果；

4、根据所述触发指令、所述更新时间和所述检测时间，确定在所述检测时间之后所述待检测数据表是否存在更新；

5、若确定在所述检测时间之后所述待检测数据表不存在更新，则在所述数据质量模块中对所述待检测数据表累计一次检测未执行，并生成第一提示信息，所述第一提示信息用于提示用户所述待检测数据表未更新；

6、将所述第一提示信息发送至所述用户。

7、结合第一方面，在一些实施例中，所述方法还包括：

8、若确定在所述检测时间之后所述待检测数据表存在更新，则根据所述触发指令、所述待检测数据表的标识和预先设定的数据标准，对所述待检测数据表进行质量检测，得到新的检测时间和检测结果；

9、将所述新的检测时间和所述检测结果存储在所述数据质量模块，并将所述检测结果发送至所述用户。

10、结合第一方面，在一些实施例中，在响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间之前，所述方法还包括：

11、接收所述用户发送的质量检测请求，所述质量检测请求中包括所述待检测数据表的标识。

12、结合第一方面，在一些实施例中，所述质量检测请求中还包括定时检测任务的检测指令和检测间隔时间，则所述方法还包括：

13、根据所述待检测数据表的标识和所述元数据模块，对所述待检测数据表的检测时长进行预测计算，得到所述待检测数据表对应的目标检测时长；

14、根据所述目标检测时长，确定所述检测间隔时长是否大于或等于所述目标检测时长；

15、确定所述检测间隔时长小于所述目标检测时长，则生成第二提示信息，并向所述用户发送所述第二提示信息，所述第二提示信息中包括所述目标检测时长，所述第二提示信息用于提示所述用户对所述检测间隔时长进行修改。

16、结合第一方面，在一些实施例中，所述检测请求中还包括所述定时检测任务的执行次数，则所述方法还包括：

17、确定所述检测间隔时长大于或等于所述目标检测时长，则在所述数据质量模块中获取所述待检测数据表的检测未执行次数，并根据预先设定的次数阈值，确定所述检测未执行次数是否达到了所述次数阈值；

18、若确定所述检测未执行次数达到了所述次数阈值，则生成第三提示信息，并将所述第三提示信息发送至所述用户，所述第三提示信息用于提示所述用户对所述执行次数进行修改。

19、结合第一方面，在一些实施例中，所述方法还包括：

20、若确定所述检测未执行次数未达到所述次数阈值，则生成所述触发指令。

21、结合第一方面，在一些实施例中，所述数据质量模块中还包括每个数据表的数据类型和每种类型对应的单位时间内可以处理的数据量，则所述根据所述待检测数据表的标识和所述元数据模块，对所述待检测数据表的检测时长进行预测计算，得到所述待检测数据表对应的目标检测时长，包括：

22、根据所述待检测数据表的标识和所述元数据模块，确定出所述待检测数据表的数据类型和数据量；

23、根据所述数据类型、所述数据量和所述数据类型对应的单位时间内可以处理的数据量，计算得到所述目标检测时长。

24、第二方面，本技术提供一种数据质量检测装置，包括：

25、第一获取模块，用于响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间，所述触发指令用于指示对所述待检测数据表进行质量检测，所述元数据模块中包括至少一个数据表，每个数据表的标识、更新时间，所述数据质量模块中包括所述至少一个数据表的检测未执行次数、每次质量检测的检测时间和检测结果；

26、第一确定模块，用于根据所述触发指令、所述更新时间和所述检测时间，确定在所述检测时间之后所述待检测数据表是否存在更新；

27、第一生成模块，用于若确定在所述检测时间之后所述待检测数据表不存在更新，则在所述数据质量模块中对所述待检测数据表累计一次检测未执行，并生成第一提示信息，所述第一提示信息用于提示用户所述待检测数据表未更新；

28、第一发送模块，用于将所述第一提示信息发送至所述用户。

29、结合第二方面，在一些实施例中，所述装置还包括：

30、检测模块，用于若确定在所述检测时间之后所述待检测数据表存在更新，则根据所述触发指令、所述待检测数据表的标识和预先设定的数据标准，对所述待检测数据表进行质量检测，得到新的检测时间和检测结果；

31、第二发送模块，用于将所述新的检测时间和所述检测结果存储在所述数据质量模块，并将所述检测结果发送至所述用户。

32、结合第二方面，在一些实施例中，所述方法还包括：

33、接收模块，用于接收所述用户发送的质量检测请求，所述质量检测请求中包括所述待检测数据表的标识。

34、结合第二方面，在一些实施例中，所述质量检测请求中还包括定时检测任务的检测指令和检测间隔时间，则所述装置还包括：

35、计算模块，用于根据所述待检测数据表的标识和所述元数据模块，对所述待检测数据表的检测时长进行预测计算，得到所述待检测数据表对应的目标检测时长；

36、第二确定模块，用于根据所述目标检测时长，确定所述检测间隔时长是否大于或等于所述目标检测时长；

37、第三发送模块，用于确定所述检测间隔时长小于所述目标检测时长，则生成第二提示信息，并向所述用户发送所述第二提示信息，所述第二提示信息中包括所述目标检测时长，所述第二提示信息用于提示所述用户对所述检测间隔时长进行修改。

38、结合第二方面，在一些实施例中，所述检测请求中还包括所述定时检测任务的执行次数，则所述装置还包括：

39、第二获取模块，用于确定所述检测间隔时长大于或等于所述目标检测时长，则在所述数据质量模块中获取所述待检测数据表的检测未执行次数，并根据预先设定的次数阈值，确定所述检测未执行次数是否达到了所述次数阈值；

40、第二生成模块，用于若确定所述检测未执行次数达到了所述次数阈值，则生成第三提示信息，并将所述第三提示信息发送至所述用户，所述第三提示信息用于提示所述用户对所述执行次数进行修改。

41、结合第二方面，在一些实施例中，所述装置还包括：

42、第三生成模块，用于若确定所述检测未执行次数未达到所述次数阈值，则生成所述触发指令。

43、结合第二方面，在一些实施例中，所述数据质量模块中还包括每个数据表的数据类型和每种类型对应的单位时间内可以处理的数据量，则所述计算模块，包括：

44、确定单元，用于根据所述待检测数据表的标识和所述元数据模块，确定出所述待检测数据表的数据类型和数据量；

45、计算单元，用于根据所述数据类型、所述数据量和所述数据类型对应的单位时间内可以处理的数据量，计算得到所述目标检测时长。

46、第三方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器，显示器；

47、所述存储器存储计算机执行指令；

48、所述处理器执行所述存储器存储的计算机执行指令，以实现上述第一方面中任一项所述的方法。

49、第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面中任一项所述的数据质量检测方法。

50、第五方面，本技术提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现第一方面中任一项所述的数据质量检测方法。

51、本技术提供的数据质量检测方法、装置、设备及存储介质。响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取待检测数据表的更新时间，并在预先设定的数据质量模块中获取待检测数据表上一次质量检测的检测时间，并确定在检测时间以后待检测数据表是否有更新，若没有更新，则生成第一提示信息对用户进行提醒待检测数据表未更新，并在数据质量模块中对待检测数据表累计一次检测未执行。通过上述方法，实现了高效率的对数据进行质量检测，并且能够避免在检测结果未改变情况下重复检测浪费资源。