服务端采集客户端数据的方法与流程

本申请涉及应用性能管理，尤其涉及服务端采集客户端数据的方法。

背景技术：

1、随着移动互联网技术迅猛发展，用户将使用手机应用程序代替电脑网页进行业务办理。

2、在进行业务办理的过程当中，应用程序服务端与移动终端程序之间的交互通常通过移动终端主动进行数据上报，应用程序服务端进行数据被动接收的方式进行专利数据的采集。

3、然而，相关技术中的应用程序单相数据采集会导致服务端端的数据无法对于客户端上传的数据进行实时有效的接收，在一些情况下，服务端端无法对于自身数据采集的逻辑故障进行高效辨析和识别，致使数据采集的效率较低。

技术实现思路

1、本发明的目的在于克服现有技术的不足与缺陷，提供了一种服务端采集客户端数据的方法，更改了数据采集逻辑，提高了数据采集的效率，该方法应用于数据采集系统中，数据采集系统包括服务端与客户端，服务端与客户端通信连接，该方法包括：

2、客户端采集并存储日志数据，日志数据包括本地持久化日志数据以及内存存储日志数据；

3、客户端基于日志数据的类型确定日志数据的上传方式；

4、客户端根据上传方式向服务端发送日志数据；

5、服务端通过消息队列接收并监听日志数据；

6、服务端通过分布式并行数据库存储日志数据；

7、服务端基于查询需求数据采集日志数据。

8、在一个可选的实施例中，本地持久化日志数据包括崩溃日志数据以及业务异常请求日志数据；

9、内存存储日志数据包括业务埋点日志数据以及网络监控日志数据。

10、在一个可选的实施例中，当日志数据实现为本地持久化数据时，客户端采集并存储日志数据，包括：

11、客户端采集日志数据；

12、客户端通过对称加密方式对日志数据进行加密；

13、客户端存储加密后的日志数据。

14、在一个可选的实施例中，客户端基于日志数据的类型确定日志数据的上传方式，包括：

15、客户端响应于日志数据实现为崩溃日志数据，确定上传方式为实时上传方式；

16、客户端响应于日志数据实现为业务埋点日志数据、网络监控日志数据以及异常请求日志数据，确定上传方式为周期上传方式，周期上传方式为客户端以预设时间间隔向服务端上传日志数据的上传方式。

17、在一个可选的实施例中，响应于上传方式为周期上传方式，该方法还包括：

18、服务端向客户端发送日志数据上传指令，日志数据上传指令包括预设时间数据。

19、在一个可选的实施例中，服务端基于查询需求数据采集日志数据，包括：

20、服务端调取与日志数据对应的任务机制数据；

21、服务端基于任务机制数据，对日志数据进行统计，得到日志数据统计结果；

22、服务端将日志数据统计结果存储至统计结果数据库中。

23、在一个可选的实施例中，该方法还包括：

24、服务端基于日志数据统计结果，对自身运行逻辑进行评估。

25、在一个可选的实施例中，日志数据包括公共部分数据以及自定义部分数据；

26、日志数据实现为json格式；

27、公共部分数据包括设备类型、当前时间、设备id、数据类型、app版本号和网络类型；

28、当日志数据实现为崩溃日志数据时，自定义部分数据包括操作系统版本号、日志类型、崩溃时间、崩溃名称、崩溃原因，崩溃详细信息；

29、当日志数据实现为网络监控日志数据时，自定义部分数据包含数据类型、域名、接口名、请求开始时间、dns 解析耗时、tcp 建立连接耗时、ssl 耗时、request发送耗时、response接收耗时、服务端处理响应耗时、请求过程总耗时、http 错误码。

30、当日志数据实现为业务异常请求日志数据时，自定义部分数据包括域名、接口id、请求发起时间、dns解析耗时、tcp链接耗时、ssl链接耗时、http请求耗时、返回接收耗时、服务端处理响应耗时、总耗时以及http状态码；

31、当日志数据实现为业务埋点日志数据时，自定义部分数据包括域名、接口名、请求发起时间、加密用户账号、业务数据类型、业务数据。

32、在一个可选的实施例中，服务端基于查询需求数据采集日志数据之后，包括：

33、服务端基于日志数据统计结果，生成可视化数据，可视化数据用于支持与服务端对应的显示设备以图表形式显示与日志数据统计结果关联的量化内容。

34、在一个可选的实施例中，客户端与服务端均对应目标应用程序。

35、本申请至少包括如下有益效果：

36、在服务端对于客户端进行数据采集的过程当中，客户端对于日志数据进行分类存储，并对应类型进行数据上传，而服务端在进行数据上传的过程当中，通过消息队列进行日志数据的接收及监听，并基于日志数据的具体采集需求，对于数据进行采集与统计，在该流程中，客户端能够主动向服务端进行数据上传，且服务端能够基于自身需求，对于消息队列中的数据进行采集，提高了服务端对于客户端的数据采集及管理效率。

技术特征：

1.一种服务端采集客户端数据的方法，其特征在于，所述方法应用于数据采集系统，所述数据采集系统包括客户端与服务端，所述客户端与所述服务端通信连接，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述本地持久化日志数据包括崩溃日志数据以及业务异常请求日志数据；

3.根据权利要求1所述的方法，其特征在于，当所述日志数据实现为本地持久化数据时，所述客户端采集并存储日志数据，包括：

4.根据权利要求2所述的方法，其特征在于，所述客户端基于所述日志数据的类型确定所述日志数据的上传方式，包括：

5.根据权利要求4所述的方法，其特征在于，响应于所述上传方式为周期上传方式，所述方法还包括：

6.根据权利要求1所述的方法，其特征在于，所述服务端基于查询需求数据采集所述日志数据，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求2所述的方法，其特征在于，所述日志数据包括公共部分数据以及自定义部分数据；

9.根据权利要求6所述的方法，其特征在于，所述服务端基于查询需求数据采集所述日志数据之后，包括：

10.根据权利要求1所述的方法，其特征在于，所述客户端与所述服务端均对应目标应用程序。

技术总结
本发明涉及应用性能管理技术领域，尤其涉及服务端采集客户端数据的方法,该方法包括：客户端采集并存储日志数据，日志数据包括本地持久化日志数据以及内存存储日志数据；客户端基于日志数据的类型确定日志数据的上传方式；客户端根据上传方式向服务端发送日志数据；服务端通过消息队列接收并监听日志数据；服务端通过分布式并行数据库存储日志数据；服务端基于查询需求数据采集日志数据。在该流程中，客户端能够主动向服务端进行数据上传，且服务端能够基于自身需求，对于消息队列中的数据进行采集，提高了服务端对于客户端的数据采集及管理效率。

技术研发人员：徐晓东,朱明,全喜伟,殷磊,生一鸣,夏海波,李想,胡杰
受保护的技术使用者：公安部交通管理科学研究所
技术研发日：
技术公布日：2024/2/19