埋点数据实时验证方法、系统、电子设备及存储介质与流程

本发明涉及计算机，尤其涉及一种埋点数据的实时验证方法、系统、电子设备及存储介质。

背景技术：

1、随着计算机技术的飞速发展，越来越多的用户通过互联网完成线上服务或者线上交易，埋点数据验证一般出现在业务需求生命周期中上线前的测试环节，通过对已经注册并开发的埋点数据进行规范验证，能够有效保障线上埋点的质量，避免因为错误埋点导致线上埋点数据的不准确，从而影响业务的分析和决策。针对埋点数据的验证，目前主要通过测试人员在客户端进行抓包验证，或者对全量埋点数据进行原始上报日志的查询，然后进行人工比对。目前全埋点信息校验的埋点验证服务仅针对实际埋点id与注册埋点id是否匹配进行校验，如果匹配，给出全量埋点数据，需要业务自行比对是否正确以及错误原因。由于一个需求中可能存在几十至上百个埋点，逐个触发比对验证时间成本高，时效性差，测试效率低，同时人工比对难以覆盖全部场景，导致埋点验证结果准确性低。

技术实现思路

1、本发明提供一种埋点数据实时验证方法、系统、电子设备和存储介质，用以解决现有技术中逐个比对验证时间成本高，时效性差，测试效率低，且人工比对难以覆盖全部场景，导致埋点测试结果准确性低的缺陷。

2、本发明提供一种埋点数据实时验证方法，包括：

3、响应于埋点验证请求，获取上报埋点日志；

4、根据历史错误埋点日志与埋点注册数据对比得到错误类型；

5、通过实时校验任务对所述上报埋点日志基于所述错误类型进行校验，得到埋点校验信息，并将所述埋点校验信息存储至实时存储引擎，所述埋点校验信息包括上报埋点日志的错误类型及错误类型对应的修复建议。

6、根据本发明提供的一种埋点数据实时验证方法，所述通过实时校验任务对所述上报埋点日志基于错误类型进行校验，包括：

7、通过redis获取实时更新的埋点注册数据；

8、通过flink任务对所述上报埋点日志与所述实时更新的埋点注册数据按照错误类型进行逐条实时校验，得到上报埋点日志的错误类型及错误类型对应的修复建议。

9、根据本发明提供的一种埋点数据实时验证方法，所述埋点注册数据包括注册埋点元信息及注册自定义信息，所述错误类型包括：

10、值错误，所述值错误包括所述上报埋点日志中的埋点元信息的值与注册埋点元信息的值不同，以及所述上报埋点日志中的自定义信息的值与注册自定义信息的值不同；

11、组合错误，所述组合错误包括所述上报埋点日志中的埋点元信息的字段组合与注册埋点元信息的字段组合不同；

12、自定义信息缺失，所述自定义信息缺失包括注册自定义信息参数在所述上报埋点日志中的自定义信息参数中不存在；

13、自定义信息多报，所述自定义信息多报包括所述上报埋点日志中的自定义信息参数在所述注册自定义信息参数中不存在；

14、自定义信息类型错误，所述自定义信息类型错误包括所述上报埋点日志中的自定义信息参数类型与注册自定义信息参数类型不同；

15、自定义信息范围错误，所述自定义信息范围错误包括所述上报埋点日志中的自定义信息参数值范围与注册自定义信息参数值范围不同；

16、自定义信息正则错误，所述自定义信息正则错误包括所述上报埋点日志中的自定义信息的参数值不符合注册自定义信息的正则表达式。

17、根据本发明提供的一种埋点数据实时验证方法，所述将埋点校验数据存储至实时存储引擎，包括：

18、采用clickhouse通过mergetree结构表分布式存储埋点校验数据。

19、根据本发明提供的一种埋点数据实时验证方法，获取上报埋点日志，包括：

20、对初始上报埋点日志进行格式解析，得到格式转换后的埋点日志；

21、对所述格式转换后的埋点日志进行数据清洗和过滤，得到上报埋点日志。

22、根据本发明提供的一种埋点数据实时验证方法，所述通过实时校验任务对所述上报埋点日志基于所述错误类型进行校验，并将埋点校验数据存储至实时存储引擎之后，包括：

23、根据埋点验证查询条件，从所述实时存储引擎中获取符合查询条件的埋点日志；

24、按照所述错误类型对所述符合查询条件的埋点日志进行分类并聚合对应的修复建议及日志示例，得到埋点的错误类型、错误类型对应的修复建议及对应的埋点日志。

25、根据本发明提供的一种埋点数据实时验证方法，所述埋点注册数据根据埋点注册规则注册得到，所述埋点注册规则根据业务埋点需求确定。

26、本发明还提供一种埋点数据实时验证系统，包括：

27、获取模块，用于响应于埋点验证请求，获取上报埋点日志；

28、对比模块，用于根据历史错误埋点日志与埋点注册数据对比得到错误类型；

29、验证模块，用于通过实时校验任务对所述上报埋点日志基于所述错误类型进行校验，得到埋点校验信息，并将所述埋点校验信息存储至实时存储引擎，所述埋点校验信息包括上报埋点日志的错误类型及错误类型对应的修复建议。

30、本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项所述的埋点数据实时验证方法。

31、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的埋点数据实时验证方法。

32、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的埋点数据实时验证方法。

33、本发明提供的一种埋点数据实时验证方法、系统、电子设备及存储介质，该方法响应于埋点验证请求，获取上报埋点日志；根据历史错误埋点日志与埋点注册数据对比得到错误类型；通过实时校验任务对上报埋点日志基于错误类型进行校验，得到埋点校验信息，并将埋点校验信息存储至实时存储引擎，埋点校验信息包括上报埋点日志的错误类型及错误类型对应的修复建议。通过实时校验任务对上报埋点日志基于错误类型进行校验，得到埋点校验信息，并将埋点校验信息存储至实时存储引擎，实现了自动且实时完成埋点校验，提高了测试效率，保证了时效性，且埋点验证覆盖全部错误场景，提高了埋点测试结果的准确性。

技术特征：

1.一种埋点数据实时验证方法，其特征在于，包括：

2.根据权利要求1所述的埋点数据实时验证方法，其特征在于，所述通过实时校验任务对所述上报埋点日志基于错误类型进行校验，包括：

3.根据权利要求1所述的埋点数据实时验证方法，其特征在于，所述埋点注册数据包括注册埋点元信息及注册自定义信息，所述错误类型包括：

4.根据权利要求1所述的埋点数据实时验证方法，其特征在于，所述将所述埋点校验信息存储至实时存储引擎，包括：

5.根据权利要求1所述的埋点数据实时验证方法，其特征在于，所述获取上报埋点日志，包括：

6.根据权利要求1所述的埋点数据实时验证方法，其特征在于，所述通过实时校验任务对所述上报埋点日志基于所述错误类型进行校验，得到埋点校验信息，并将所述埋点校验信息存储至实时存储引擎之后，包括：

7.根据权利要求1所述的埋点数据实时验证方法，其特征在于，所述埋点注册数据根据埋点注册规则注册得到，所述埋点注册规则根据业务埋点需求确定。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述埋点数据实时验证方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述埋点数据实时验证方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述埋点数据实时验证方法。

技术总结
本发明提供的一种埋点数据实时验证方法、系统、电子设备及存储介质，该方法响应于埋点验证请求，获取上报埋点日志；根据历史错误埋点日志与埋点注册数据对比得到错误类型；通过实时校验任务对上报埋点日志基于错误类型进行校验，得到埋点校验信息，并将埋点校验信息存储至实时存储引擎，埋点校验信息包括上报埋点日志的错误类型及错误类型对应的修复建议。通过实时校验任务对上报埋点日志基于错误类型进行校验，得到埋点校验信息，并将埋点校验信息存储至实时存储引擎，实现了自动且实时完成埋点校验，提高了测试效率，保证了时效性，且埋点验证覆盖全部错误场景，提高了埋点测试结果的准确性。

技术研发人员：国春洋
受保护的技术使用者：贝壳找房（北京）科技有限公司
技术研发日：
技术公布日：2024/3/27