数据收集方法、链路故障的排查方法以及系统与流程

本发明涉及计算机，具体地涉及一种数据收集方法、链路故障的排查方法以及系统。

背景技术：

1、目前排查问题时，如果是测试环境，基本都是用charles(其是一个http代理服务器)进行抓包，抓到最外层web端接口的请求与返回值后，根据时间或者用户标识(uid)等其他特征，一层一层追查后续其他层的日志，从而发现问题。如果是线上环境，出于安全考虑抓包是禁用的，一旦出现线上问题，只能根据一些特征值对线上多端日志进行搜索，再排查出问题。

2、其一，由于抓包只能抓到最外端的请求与返回，所以大多数问题的排查都是需要搜索排查多端日志的，这在复杂的业务系统中，工作量无疑是巨大的，浪费时间的同时，也需要巨大的学习成本，使用者要对每个系统都有详细的了解才能操作。其二，多环境下抓包时的环境切换也很麻烦，容易搞不清后续整个链路，造成排查错日志这种情况。其三，由于线上无法抓包，线上问题排查就只能依据当时的一些特征值来进行排查，并且很多情况下并没有这样的日志可以用来查看，由于关键位置没有日志输出或者日志时间已过期等等原因，这些都会让我们的排查陷入瓶颈；并且即使在有日志的情况下，可能也需要在每一层业务业务日志上进行排查才能查到原因，在目前微服务的框架下问题会格外明显，效率非常的低。

技术实现思路

1、本发明的目的是提供一种数据收集方法、链路故障的排查方法以及系统，其不依赖于对代码节点中的日志输出，通过对框架层的开发来使新业务快速接入，从而可高效地提供故障排查服务，进而降低框架(尤其是微服务框架)下业务问题排查的复杂性。

2、为了实现上述目的，本发明第一方面提供一种数据收集方法，所述数据收集方法包括：通过拦截层收集网页请求所对应的多个子请求中的每个子请求的输入数据与响应数据，其中，所述拦截层与实现所述网页请求的业务逻辑层解耦，以及所述网页请求包括用户标识、设备标识与请求时间；以及将所述多个子请求的输入数据与响应数据传送到搜索引擎。

3、优选地，所述将所述多个子请求的输入数据与响应数据传送到搜索引擎包括：将所述多个子请求的输入数据与响应数据传送到数据队列中；以及通过异步进程将所述数据队列中的所述多个子请求的输入数据与响应数据存储到所述搜索引擎。

4、优选地，所述将所述多个子请求的输入数据与响应数据传送到数据队列中包括：通过udp协议将所述多个子请求的输入数据与响应数据传送到所述数据队列。

5、优选地，所述多个子请求包括以下各项中的至少两者：数据库请求、缓存请求、http请求以及rpc请求。

6、通过上述技术方案，本发明创造性地通过拦截层收集网页请求所对应的多个子请求中的每个子请求的输入数据与响应数据；将所述多个子请求的输入数据与响应数据传送到搜索引擎。由此，本发明不依赖于对代码节点中的日志输出，通过对框架层的开发来使新业务快速接入，从而可高效地提供故障排查服务，进而降低框架(尤其是微服务框架)下业务问题排查的复杂性。

7、本发明第二方面提供一种链路故障的排查方法，所述排查方法包括：根据所述的数据收集方法传送每个子请求的输入数据与响应数据到搜索引擎；通过所述搜索引擎筛选符合预设条件的网页请求所对应的每个子请求的输入数据与响应数据，其中，所述预设条件包括以下各项中的至少一者：特定用户标识、特定设备标识、或特定请求时间；以及根据所筛选的每个子请求的输入数据与响应数据，排查实现所述网页请求的链路上故障发生的环节。

8、优选地，所述排查方法还包括：在包括所述特定用户标识和/或所述特定设备标识的网页请求所对应的排查结果表明有故障发生且其他网页请求所对应的排查结果表明未有故障发生的情况下，将所述特定用户标识和/或所述特定设备标识加入白名单中；以及响应于关于所述白名单中的用户标识和/或设备标识的网页请求，重新查所述链路上故障发生的环节。

9、通过上述技术方案，本发明创造性地首先根据所述的数据收集方法传送每个子请求的输入数据与响应数据到搜索引擎；然后通过所述搜索引擎筛选符合预设条件的网页请求所对应的每个子请求的输入数据与响应数据；最后根据所筛选的每个子请求的输入数据与响应数据，排查实现所述网页请求的链路上故障发生的环节，由此本发明可高效地提供故障排查服务，进而降低框架(尤其是微服务框架)下业务问题排查的复杂性。

10、本发明第三方面提供一种数据收集系统，所述数据收集系统包括：收集装置，用于通过拦截层收集网页请求所对应的多个子请求中的每个子请求的输入数据与响应数据，其中，所述拦截层与实现所述网页请求的业务逻辑层解耦，以及所述网页请求包括用户标识、设备标识与请求时间；以及传送装置，用于将所述多个子请求的输入数据与响应数据传送到搜索引擎。

11、有关本发明实施例提供的数据收集系统的具体细节及益处可参阅上述针对数据收集方法的描述，于此不再赘述。

12、本发明第四方面提供一种链路故障的排查系统，所述排查系统包括：所述的数据收集系统，用于将每个子请求的输入数据与响应数据传送到搜索引擎；所述搜索引擎，用于筛选符合预设条件的网页请求所对应的每个子请求的输入数据与响应数据，其中，所述预设条件包括以下各项中的至少一者：特定用户标识、特定设备标识、特定请求时间；以及排查装置，用于根据所筛选的每个子请求的输入数据与响应数据，排查实现所述网页请求的链路上故障发生的环节。

13、有关本发明实施例提供的适用于链路故障的排查系统的具体细节及益处可参阅上述针对链路故障的排查方法的描述，于此不再赘述。

14、本发明第五方面提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令用于使得机器执行上述的数据收集方法和/或链路故障的排查方法。

15、本发明第六方面提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的数据收集方法和/或链路故障的排查方法。

16、本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

技术特征：

1.一种数据收集方法，其特征在于，所述数据收集方法包括：

2.根据权利要求1所述的排查方法，其特征在于，所述将所述多个子请求的输入数据与响应数据传送到搜索引擎包括：

3.根据权利要求2所述的排查方法，其特征在于，所述将所述多个子请求的输入数据与响应数据传送到数据队列中包括：通过udp协议将所述多个子请求的输入数据与响应数据传送到所述数据队列。

4.根据权利要求1所述的排查方法，其特征在于，所述多个子请求包括以下各项中的至少两者：数据库请求、缓存请求、http请求以及rpc请求。

5.一种链路故障的排查方法，其特征在于，所述排查方法包括：

6.根据权利要求5所述的排查方法，其特征在于，所述排查方法还包括：

7.一种数据收集系统，其特征在于，所述数据收集系统包括：

8.一种链路故障的排查系统，其特征在于，所述排查系统包括：

9.一种机器可读存储介质，其特征在于，所述机器可读存储介质上存储有指令，该指令用于使得机器执行上述权利要求1-4任一项所述的数据收集方法和/或权利要求5或6所述的链路故障的排查方法。

10.一种电子设备，其特征在于，所述电子设备包括：

技术总结
本发明涉及计算机技术领域，公开一种数据收集方法、链路故障的排查方法以及系统。所述数据收集方法包括：通过拦截层收集网页请求所对应的多个子请求中的每个子请求的输入数据与响应数据，其中拦截层设置在框架底层，以及所述网页请求包括用户标识、设备标识与请求时间；将所述多个子请求的输入数据与响应数据传送到搜索引擎。本发明不依赖于对代码节点中的日志输出，通过对框架层的开发来使新业务快速接入，从而可高效地提供故障排查服务，进而降低框架(尤其是微服务框架)下业务问题排查的复杂性。

技术研发人员：王爱如
受保护的技术使用者：贝壳找房（北京）科技有限公司
技术研发日：
技术公布日：2024/4/17