本技术属于通信,尤其涉及一种数据采集的方法、装置、电子设备和存储介质。
背景技术:
1、安全和运维设备需要获取原始的流量数据,并在此基础上进行内容的详细分析,从而保障网络安全。
2、现有技术中,在获取原始流量数据时,往往利用虚拟交换机的镜像功能或者利用流量牵引探针,将原始流量数据复制后导出到外部,以用于安全和运维设备进行数据分析。但是,复制出来的大量原始流量数据会给云网造成很大的压力,严重影响了云环境的服务质量。
3、因此,现有技术存在的问题是:在获取原始流量数据时,会增加云网压力,降低云环境的服务质量。
技术实现思路
1、本技术实施例提供了一种数据采集的方法、装置、电子设备和存储介质,解决了安全和运维设备在获取原始流量数据时,会增加云网压力,降低云环境的服务质量的问题。
2、第一方面,本技术实施例提供了一种数据采集的方法,应用于主机,包括:
3、获取目标网卡的原始报文,原始报文包括协议类型;
4、根据协议类型对原始报文进行分类,得到不同协议类型的目标报文;
5、从目标报文中获取与目标报文的协议类型对应的目标关键信息;
6、基于目标关键信息生成日志信息;
7、向服务接收器发送日志信息。
8、在一些可能的实现方式中,目标关键信息包括目标字段数据;从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:
9、确定与目标报文的协议类型对应的目标字段;
10、从目标报文中获取目标字段对应的目标字段数据。
11、在一些可能的实现方式中,该方法还包括:
12、创建不同协议类型的临时会话列表;
13、按照协议类型将目标报文存储至目标报文对应的临时会话列表的目标区域;
14、从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:
15、确定目标报文存储的临时会话列表的位置;
16、从位置获取与目标报文的协议类型对应的目标关键信息。
17、在一些可能的实现方式中,目标关键信息包括目标参数;从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:
18、确定与目标报文的协议类型对应的预设参数信息;
19、从目标报文中获取与预设参数信息对应的目标参数。
20、在一些可能的实现方式中,协议类型包括第一协议类型,预设参数信息包括报文数量的信息、总数据包大小的信息和传输最大时延的信息;目标参数包括报文数量、总数据包大小和传输最大时延;从目标报文中获取与预设参数信息对应的目标参数,包括:在目标报文的协议类型为第一协议类型的情况下,按照预设时间周期对目标报文进行计算,得到与预设参数信息对应的报文数量、总数据包大小、传输最大时延。
21、在一些可能的实现方式中,协议类型包括第二协议类型,预设参数信息包括应答时间的信息,目标参数包括应答时间;从目标报文中获取与预设参数信息对应的目标参数,包括:
22、在目标报文的协议类型为第二协议类型,且目标报文是应答报文的情况下,查询对应的请求报文;
23、根据应答报文和请求报文,计算得到与预设参数信息对应的应答时间。
24、在一些可能的实现方式中,该方法还包括:
25、接收服务接收器发送的提取目标原始报文的请求,请求中包括目标提取条件;
26、响应于请求,向服务接收器发送目标提取条件对应的目标原始报文。
27、第二方面,本技术实施例还提供了一种数据采集的方法,应用于服务接收器,包括:
28、接收主机发送的日志信息,其中,日志信息是主机通过获取目标网卡的原始报文,原始报文包括协议类型;根据协议类型对原始报文进行分类,得到不同协议类型的目标报文;从目标报文中获取与目标报文的协议类型对应的目标关键信息;基于目标关键信息生成的日志信息;
29、在日志信息与预设的异常数据匹配成功的情况下,对日志信息中的数据进行分析。
30、在一些可能的实现方式中,该方法还包括:
31、向主机发送提取目标原始报文的请求,其中,目标原始报文为存在异常的日志信息对应的原始报文,请求包括目标提取条件;
32、接收主机发送的目标原始报文,其中,目标原始报文是主机响应于所述请求,向服务接收器发送目标提取条件对应的目标原始报文;
33、对目标原始报文中的数据进行分析。
34、在一些可能的实现方式中,目标提取条件包括:存在异常的时间区间、ip地址和ip端口中的至少一项。
35、第三方面,本技术实施例还提供了一种数据采集的装置,包括:
36、获取模块,用于获取目标网卡的原始报文,原始报文包括协议类型;
37、分类模块,用于根据协议类型对原始报文进行分类,得到不同协议类型的目标报文;
38、获取模块,还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息;
39、生成模块,用于基于目标关键信息生成日志信息;
40、发送模块,用于向服务接收器发送日志信息。
41、在一些可能的实现中,目标关键信息包括目标字段数据;获取模块还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:
42、确定单元,用于确定与目标报文的协议类型对应的目标字段;
43、获取单元,用于从目标报文中获取目标字段对应的目标字段数据。
44、在一些可能的实现方式中,该装置还包括创建模块和存储模块:
45、创建模块,用于创建不同协议类型的临时会话列表;
46、存储模块,用于按照协议类型将目标报文存储至目标报文对应的临时会话列表的目标区域;
47、获取模块还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:
48、确定单元,用于确定目标报文存储的临时会话列表的位置;
49、获取单元,用于从位置获取与目标报文的协议类型对应的目标关键信息。
50、在一些可能的实现中,目标关键信息包括目标参数;获取模块还用于从目标报文中获取与目标报文的协议类型对应的目标关键信息,包括:
51、确定单元,用于确定与目标报文的协议类型对应的预设参数信息;
52、获取单元,用于从目标报文中获取与预设参数信息对应的目标参数。
53、在一些可能的实现中,协议类型包括第一协议类型,预设参数信息包括报文数量的信息、总数据包大小的信息和传输最大时延的信息;目标参数包括报文数量、总数据包大小和传输最大时延;获取单元用于从目标报文中获取与预设参数信息对应的目标参数,包括:
54、计算单元,用于在目标报文的协议类型为第一协议类型的情况下,按照预设时间周期对目标报文进行计算,得到与预设参数信息对应的报文数量、总数据包大小、传输最大时延。
55、在一些可能的实现中,协议类型包括第二协议类型,预设参数信息包括应答时间的信息,目标参数包括应答时间;获取单元用于从目标报文中获取与预设参数信息对应的目标参数,包括:
56、查询单元,用于在目标报文的协议类型为第二协议类型,且目标报文是应答报文的情况下,查询对应的请求报文;
57、计算单元,用于根据应答报文和请求报文,计算得到与预设参数信息对应的应答时间。
58、在一些可能的实现中,该装置还包括存储模块:
59、存储模块,用于存储目标网卡的原始报文。
60、第四方面,本技术实施例还提供了一种数据采集的装置,应用于服务接收器,包括:
61、接收模块,用于接收主机发送的日志信息,其中,日志信息是主机通过获取目标网卡的原始报文,原始报文包括协议类型;根据协议类型对原始报文进行分类,得到不同协议类型的目标报文;从目标报文中获取与目标报文的协议类型对应的目标关键信息;基于目标关键信息生成的日志信息;
62、判断模块,用于在日志信息与预设的异常数据匹配成功的情况下,对日志信息中的数据进行分析。
63、在一些可能的实现中,该装置还包括:
64、发送模块,用于向主机发送提取目标原始报文的请求,其中,目标原始报文为存在异常的所述日志信息对应的原始报文,请求包括目标提取条件;
65、接收模块,用于接收主机发送的所述目标原始报文,其中,目标原始报文是主机响应于请求,向服务接收器发送目标提取条件对应的目标原始报文;
66、对目标原始报文中的数据进行分析。
67、在一些可能的实现中,目标提取条件包括:存在异常的时间区间、ip地址和ip端口中的至少一项。
68、第五方面,本技术实施例还提供了一种电子设备,该电子设备包括处理器以及存储有计算机程序指令的存储器;处理器执行计算机程序指令时实现第一方面或第一方面中的任一可能实现方式,或者实现第二方面或第二方面中任一可能实现方式中的数据采集的方法。
69、第六方面,本技术实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现第一方面或第一方面中的任一可能实现方式,或者,实现第二方面或第二方面中任一可能实现方式中的数据采集的方法。
70、本技术实施例的数据采集的方法、装置、电子设备和存储介质,通过获取目标网卡的原始报文,该原始报文中包括协议类型,然后根据协议类型可以对原始报文进行分类,得到不同协议类型的目标报文,接下来从目标报文中获取与目标报文的协议类型对应的目标关键信息,进而可以基于目标关键信息生成日志信息,并向服务接收器发送该日志信息。通过获取目标报文中的关键信息并生成日志信息,使得该日志信息相较于原始报文的数据包更小,将该日志信息实时转发至服务接收器,可以减少对云网造成的压力,从而提高了云环境的服务质量。