数据检测方法、装置、设备及存储介质与流程

本公开实施例涉及数据处理，尤其涉及一种数据检测方法、装置、设备及存储介质。

背景技术：

1、随着数据规模和复杂性的不断增加，对实时流数据的检测变得越来越重要。如果问题数据的检测时间较长或者无法发现，很容易导致脏数据或者问题数据污染线上数据，轻则导致数据错误，降低用户满意度，重则会引起舆论或者安全风险。目前常见的实时检测方法，不仅时效性低，且维护成本较高。

技术实现思路

1、本公开实施例提供一种数据检测方法、装置、设备及存储介质，可以提高数据检测的效率。

2、第一方面，本公开实施例提供了一种数据检测方法，包括：

3、获取流数据集；其中，所述流数据集中包括多个流数据，且所述流数据携带有业务链路信息；

4、基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组；

5、确定所述多个流数据组分别对应的检测规则；其中，所述检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；

6、基于所述检测规则对对应流数据组进行检测，获得检测结果；其中，所述检测结果为检测通过或者检测不通过。

7、第二方面，本公开实施例还提供了一种数据检测装置，包括：

8、流数据集获取模块，用于获取流数据集；其中，所述流数据集中包括多个流数据，且所述流数据携带有业务链路信息；

9、流数据集分组模块，用于基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组；

10、检测规则确定模块，用于确定所述多个流数据组分别对应的检测规则；其中，所述检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；

11、数据检测模块，用于基于所述检测规则对对应流数据组进行检测，获得检测结果；其中，所述检测结果为检测通过或者检测不通过。

12、第三方面，本公开实施例还提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储装置，用于存储一个或多个程序，

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开实施例所述的数据检测方法。

16、第四方面，本公开实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本公开实施例所述的数据检测方法。

17、本公开实施例公开了一种数据检测方法、装置、设备及存储介质，获取流数据集；其中，流数据集中包括多个流数据，且流数据携带有业务链路信息；基于业务链路信息对流数据集进行分组，获得多个流数据组；确定多个流数据组分别对应的检测规则；其中，检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；基于检测规则对对应流数据组进行检测，获得检测结果；其中，检测结果为检测通过或者检测不通过。本公开实施例提供的数据检测方法，基于对应的检测规则对各流数据组进行检测，可以提高数据检测的效率。

技术特征：

1.一种数据检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，在获取流数据集之后，还包括：

3.根据权利要求1所述的方法，其特征在于，基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组，包括：

4.根据权利要求1所述的方法，其特征在于，所述流数据包括至少一个关键字段，基于所述检测规则对对应流数据组进行检测，获得检测结果，包括：

5.根据权利要求4所述的方法，其特征在于，基于所述完整性检测规则对对应流数据组中的至少一个关键字段进行检测，获得所述至少一个关键字段分别对应的检测结果，包括：

6.根据权利要求5所述的方法，其特征在于，根据所述流数据总数量和所述第一流数据数量确定所述关键字段对应的完整性检测结果，包括：

7.根据权利要求4所述的方法，其特征在于，基于所述准确性检测规则对对应流数据组中的至少一个关键字段进行检测，获得所述至少一个关键字段分别对应的检测结果，包括：

8.根据权利要求7所述的方法，其特征在于，根据所述第二流数据数量和所述第三流数据数量确定所述关键字段的准确性检测结果，包括：

9.根据权利要求1所述的方法，其特征在于，当检测规则为时效性检测规则时，基于所述检测规则对对应流数据组进行检测，获得检测结果，包括：

10.根据权利要求9所述的方法，其特征在于，基于排序后的时延信息确定时效性检测结果，包括：

11.根据权利要求1所述的方法，其特征在于，在获得检测结果之后，还包括：

12.根据权利要求1所述的方法，其特征在于，在获取流数据集之后，还包括：

13.一种数据检测装置，其特征在于，包括：

14.一种电子设备，其特征在于，所述电子设备包括：

15.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-12中任一所述的数据检测方法。

技术总结
本公开实施例提供了一种数据检测方法、装置、设备及存储介质。获取流数据集；其中，所述流数据集中包括多个流数据，且所述流数据携带有业务链路信息；基于所述业务链路信息对所述流数据集进行分组，获得多个流数据组；确定所述多个流数据组分别对应的检测规则；其中，所述检测规则包括如下至少一项：完整性检测规则、准确性检测规则及时效性检测规则；基于所述检测规则对对应流数据组进行检测，获得检测结果；其中，所述检测结果为检测通过或者检测不通过。本公开实施例提供的数据检测方法，基于对应的检测规则对各流数据组进行检测，可以提高数据检测的效率。

技术研发人员：赵旭,冯鹏超,黄维
受保护的技术使用者：抖音视界有限公司
技术研发日：
技术公布日：2024/1/14