可疑流量的检索方法、装置、存储介质和设备与流程

1.本技术涉及互联网技术领域，尤其涉及一种可疑流量的检索方法、装置、存储介质和设备。


背景技术：

2.网络分析系统通过镜像获取所需网络流量的数据包，并对数据包进行存储、解码、检测、分析、诊断，可以帮助网络安全人员定位可疑流量，规避网络入侵风险。但是对于网络结构复杂的大型企业，如何在海量的数据流量中快速精准的检索出可疑流量，检索方法非常关键。
3.目前常用的可疑流量检索方法主要采用单个ip、ip通讯对、ip加端口以及报文内容特征值等。这些检索方法需要知道精准时间点、ip地址或者具体攻击特征，另外使用特征值进行检索时，由于不能在某协议报文或者某些字段中进行检索，导致不仅仅检索了报文头还包含了报文体中的所有内容，如果服务器的返回报文中存在大量的页面信息或者文件图片信息，这样会导致检索时间的大大增加。
4.为此，如何提高可疑流量的检索效率，成为本领域亟需解决的问题。


技术实现要素：

5.本技术提供了一种可疑流量的检索方法、装置、存储介质和设备，目的在于提高可疑流量的检索效率。
6.为了实现上述目的，本技术提供了以下技术方案：
7.一种可疑流量的检索方法，包括：
8.将采集得到的各个流量数据的数据包，保存到预设数据库中；
9.基于所述预设数据库中的各个所述数据包，获得与各个协议类型对应的元数据表；所述元数据表包括各个所述数据包的元数据集合；所述元数据集合包括多个元数据以及每个所述元数据的字段值；所述元数据代表所述数据包的报文头字段；
10.在确定用户输入的检索信息包含特征字段的情况下，从符合第三预设条件的所述元数据表中，获取字段值与所述特征字段相同的元数据，作为攻击特征；所述第三预设条件为：与所述元数据表对应的协议类型，与所述检索信息所示的协议类型相同；
11.将包含有所述攻击特征的数据包，标识为可疑流量，并通过预设界面向所述用户展示所述可疑流量。
12.可选的，所述基于所述预设数据库中的各个所述数据包，获得与各个协议类型对应的元数据表，包括：
13.对所述预设数据库中的各个所述数据包进行分类，得到与各个协议类型对应的数据包分组；其中，协议类型相同的多个数据包将被划分到同一数据包分组中；
14.对于每个所述数据包分组，对所述数据包分组中每个数据包进行报文头字段提取，得到所述数据包分组中每个数据包的报文头字段集合；所述报文头字段集合包括多个
报文头字段，以及每个所述报文头字段的字段值；
15.基于每个所述数据包分组中各个数据包的报文头字段集合，生成与每个协议类型对应的元数据表。
16.可选的，所述将包含有所述攻击特征的数据包，标识为可疑流量，包括：
17.预先为所述预设数据库中每个所述数据包配置区域标签和时间标签；所述区域标签指示所述流量数据所来源的前端链路；所述采集时间指示所述流量数据的采集时间；
18.在确定所述检索信息包含时间点的情况下，从预设数据库中获取符合第一预设条件的所述数据包，作为候选数据包；所述第一预设条件为：所述数据包的采集时间与所述检索信息所示时间点之间的时间差小于预设时间阈值；
19.在确定所述检索信息包含前端链路的情况下，从获取得到的一个或多个所述候选数据包中，筛选出符合第二预设条件的所述候选数据包，作为有效数据包；所述第二预设条件为：所述候选数据包的前端链路与所述检索信息所示前端链路相同；
20.将包含有所述攻击特征的有效数据包，标识为可疑流量。
21.可选的，所述将包含有所述攻击特征的有效数据包，标识为可疑流量之前，还包括：
22.在确定所述检索信息不包含所述时间点的情况下，则按照采集时间从晚到早的顺序，遍历所述预设数据库中的各个数据包，直至获取得到包含所述检索信息所示可疑ip的数据包，作为所述候选数据包。
23.可选的，所述将包含有所述攻击特征的有效数据包，标识为可疑流量之前，还包括：
24.在确定所述检索信息不包含所述前端链路的情况下，将获取得到的所有候选数据包，均标识为所述有效数据包。
25.可选的，所述在确定所述检索信息包含前端链路的情况下，从获取得到的一个或多个所述候选数据包中，筛选出符合第二预设条件的所述候选数据包，作为有效数据包之后，还包括：
26.在确定所述检索信息包含所述五元组中的任意一个或多个元素的情况下，从各个所述有效数据包中获取包含有所述检索信息所示元素的有效数据包，作为可疑流量，并通过预设界面向所述用户展示所述可疑流量。
27.可选的，所述在确定所述检索信息包含前端链路的情况下，从获取得到的一个或多个所述候选数据包中，筛选出符合第二预设条件的所述候选数据包，作为有效数据包之后，还包括：
28.在确定所述检索信息不包含所述特征字段的情况下，对每个所述有效数据包进行特征值检索，得到每个所述有效数据包的特征值，并将特征值包含有预设敏感字段的有效数据包，标识为可疑流量，并通过预设界面向所述用户展示所述可疑流量。
29.一种可疑流量的检索装置，包括：
30.流量采集单元，用于将采集得到的各个流量数据的数据包，保存到预设数据库中；
31.元数据获取单元，用于基于所述预设数据库中的各个所述数据包，获得与各个协议类型对应的元数据表；所述元数据表包括各个所述数据包的元数据集合；所述元数据集合包括多个元数据以及每个所述元数据的字段值；所述元数据代表所述数据包的报文头字
段；
32.元数据查询单元，用于在确定用户输入的检索信息包含特征字段的情况下，从符合第三预设条件的所述元数据表中，获取字段值与所述特征字段相同的元数据，作为攻击特征；所述第三预设条件为：与所述元数据表对应的协议类型，与所述检索信息所示的协议类型相同；
33.流量筛选单元，用于将包含有所述攻击特征的数据包，标识为可疑流量，并通过预设界面向所述用户展示所述可疑流量。
34.一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序被处理器运行时执行所述的可疑流量的检索方法。
35.一种可疑流量的检索设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
36.所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序被处理器运行时执行所述的可疑流量的检索方法。
37.本技术提供的技术方案，将采集得到的各个流量数据的数据包，保存到预设数据库中。基于预设数据库中的各个数据包，获得与各个协议类型对应的元数据表。在确定用户输入的检索信息包含特征字段的情况下，从符合第三预设条件的元数据表中，获取字段值与特征字段相同的元数据，作为攻击特征。将包含有攻击特征的数据包，标识为可疑流量，并通过预设界面向用户展示可疑流量。本技术利用元数据表中所示的各个元数据，实现对数据包的准确筛选，无需耗费时间成本去逐个解析所有流量数据，有效提高可疑流量的检索效率。
附图说明
38.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本技术实施例提供的一种可疑流量的检索方法的流程示意图；
40.图2为本技术实施例提供的另一种可疑流量的检索方法的流程示意图；
41.图3为本技术实施例提供的一种可疑流量的检索装置的架构示意图。
具体实施方式
42.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
43.如图1所示，为本技术实施例提供的一种可疑流量的检索方法的流程示意图，包括如下所示步骤。
44.s101：使用预设的流量采集工具，将来源于不同前端链路的各个流量数据进行镜像，得到各个流量数据的数据包。
45.其中，预设的流量采集工具包括但不限于为数据平面开发套件(data plane developmentkit，dpdk)。
46.s102：将各个数据包保存到预设数据库中，并为每个数据包配置区域标签和时间标签。
47.其中，区域标签指示流量数据所来源的前端链路。时间标签用于指示流量数据的采集时间。
48.s103：对预设数据库中的各个数据包进行分类，得到与各个协议类型对应的数据包分组。
49.其中，协议类型相同的多个数据包将被划分到同一数据包分组中。
50.需要说明的是，各个协议类型包括但不限于为http协议、icmp协议、dns协议、pop3协议等。
51.s104：对于每个数据包分组，对数据包分组中每个数据包进行报文头字段提取，得到数据包分组中每个数据包的报文头字段集合。
52.其中，报文头字段集合包括多个报文头字段，以及每个报文头字段的字段值。
53.具体的，以与http协议对应的数据包分组中的数据包为例，该数据包的各个报文头字段包括但不限于为：uri、请求方式、host、状态码、xff、location、referer、user agent、cookie等。
54.s105：基于每个数据包分组中各个数据包的报文头字段集合，生成与每个协议类型对应的元数据表。
55.其中，元数据表包括数据包分组各个数据包的元数据集合，元数据集合包括多个元数据以及每个元数据的字段值，元数据代表报文头字段。
56.具体的，元数据表中所示的元数据集合，以与http协议对应的数据包分组为例，元数据表中所示的各个元数据可以参见表1所示。
57.表1
[0058][0059]
[0060]
需要说明的是，上述表1所示内容仅仅用于举例说明。
[0061]
s106：对用户输入的流量查询命令进行解析，得到检索信息。
[0062]
其中，当业务系统出现可疑流量时，业务系统会出现告警提示，用户依据告警提示输入流量查询命令，实现对可疑流量的抓包。
[0063]
s107：在确定检索信息包含时间点的情况下，从预设数据库中获取符合第一预设条件的数据包，作为候选数据包。
[0064]
其中，第一预设条件为：数据包的采集时间与检索信息所示时间点之间的时间差小于预设时间阈值。
[0065]
可选的，在确定检索信息不包含时间点的情况下，则按照采集时间从晚到早的顺序，遍历预设数据库中的各个数据包，直至获取得到包含检索信息所示可疑ip的数据包，作为候选数据包。
[0066]
具体的，假设检索信息并未包含时间点，则流量查询命令发送的当天时间作为查询起点，比如说今天五点有某个可疑ip，那么先查询今天零点到五点这个时间点看有没有相关流量(即数据包)，没有的话查昨天零点到今天零点，再到前天零点到昨天零点，一天天往前推，直到数据包最远存储时间点，比如有的区域原始流量存储时间只有三四天这样子，就只能往前推三四天查询，看是否有相关流量，没有的话表明流量数据已回滚。
[0067]
需要说明的是，上述具体实现过程仅仅用于举例说明。
[0068]
s108：在确定检索信息包含前端链路的情况下，从获取得到的一个或多个候选数据包中，筛选出符合第二预设条件的候选数据包，作为有效数据包。
[0069]
其中，第二预设条件为：候选数据包的前端链路与检索信息所示前端链路相同。
[0070]
可选的，在确定检索信息不包含前端链路的情况下，将获取得到的所有候选数据包，均标识为有效数据包。
[0071]
s109：在确定检索信息包含特征字段的情况下，从符合第三预设条件的元数据表中，获取字段值与特征字段相同的元数据，作为攻击特征。
[0072]
其中，第三预设条件为：与元数据表所属数据包分组对应的协议类型，与检索信息所示的协议类型相同。
[0073]
需要说明的是，检索信息所包含的特征字段，比如说常见的目录遍历的攻击，在报文头url中可以看到攻击特征/etc/passwd，可以根据这一特征利用http协议的元数据抓取可疑流量(即下述提及的包含有攻击特征的数据包)。
[0074]
可选的，在确定检索信息包含五元组中的任意一个或多个元素的情况下，从各个有效数据包中获取包含有检索信息所示元素的有效数据包，作为可疑流量，并通过预设界面向用户展示可疑流量。
[0075]
需要说明的是，五元组包括源ip、目的ip、源端口、目的端口以及传输层协议。
[0076]
可选的，在确定检索信息不包含特征字段的情况下，对每个有效数据包进行特征值检索，得到每个有效数据包的特征值，并将特征值包含有预设敏感字段的有效数据包，标识为可疑流量，并通过预设界面向用户展示可疑流量。
[0077]
s110：将包含有攻击特征的有效数据包，标识为可疑流量，并通过预设界面向用户展示可疑流量。
[0078]
基于上述s101-s110所示流程，本实施例能够自定义选择个别协议数据包包头中
的部分字段生成元数据表，并与流量数据建立对应的检索关系，在进行检索的时候就可以指定请求头中的某些字段采用与或非的逻辑关系进行精准筛选，相比于在请求头和请求体中进行全盘搜索，本实施例不仅可以提高检索效率还能实现精准定位。
[0079]
综上所述，本实施例利用元数据表中所示的各个元数据，实现对数据包的准确筛选，无需耗费时间成本去逐个解析所有流量数据，有效提高可疑流量的检索效率。
[0080]
需要说明的是，上述实施例提及的s101，为本技术实施例所示可疑流量的检索方法的一种可选实现方式。此外，上述实施例提及的s106，也为本技术实施例所示可疑流量的检索方法的一种可选实现方式。为此，上述实施例提及的流程，可以概括为图2所示的方法。
[0081]
如图2所示，为本技术实施例提供的另一种可疑流量的检索方法的流程示意图，包括如下所示步骤。
[0082]
s201：将采集得到的各个流量数据的数据包，保存到预设数据库中。
[0083]
s202：基于预设数据库中的各个数据包，获得与各个协议类型对应的元数据表。
[0084]
其中，元数据表包括各个数据包的元数据集合；元数据集合包括多个元数据以及每个元数据的字段值；元数据代表数据包的报文头字段。
[0085]
s203：在确定用户输入的检索信息包含特征字段的情况下，从符合第三预设条件的元数据表中，获取字段值与特征字段相同的元数据，作为攻击特征。
[0086]
其中，第三预设条件为：与元数据表对应的协议类型，与检索信息所示的协议类型相同。
[0087]
s204：将包含有攻击特征的数据包，标识为可疑流量，并通过预设界面向用户展示可疑流量。
[0088]
综上所述，本实施例利用元数据表中所示的各个元数据，实现对数据包的准确筛选，无需耗费时间成本去逐个解析所有流量数据，有效提高可疑流量的检索效率。
[0089]
与上述本技术实施例提供的可疑流量的检索方法相对应，本技术实施例还提供了一种可疑流量的检索装置。
[0090]
如图3所示，为本技术实施例提供的一种可疑流量的检索装置的架构示意图，包括如下所述单元。
[0091]
流量采集单元100，用于将采集得到的各个流量数据的数据包，保存到预设数据库中。
[0092]
元数据获取单元200，用于基于预设数据库中的各个数据包，获得与各个协议类型对应的元数据表；元数据表包括各个数据包的元数据集合；元数据集合包括多个元数据以及每个元数据的字段值；元数据代表数据包的报文头字段。
[0093]
可选的，元数据获取单元200具体用于：对预设数据库中的各个数据包进行分类，得到与各个协议类型对应的数据包分组；其中，协议类型相同的多个数据包将被划分到同一数据包分组中；对于每个数据包分组，对数据包分组中每个数据包进行报文头字段提取，得到数据包分组中每个数据包的报文头字段集合；报文头字段集合包括多个报文头字段，以及每个报文头字段的字段值；基于每个数据包分组中各个数据包的报文头字段集合，生成与每个协议类型对应的元数据表。
[0094]
元数据查询单元300，用于在确定用户输入的检索信息包含特征字段的情况下，从符合第三预设条件的元数据表中，获取字段值与特征字段相同的元数据，作为攻击特征；第
三预设条件为：与元数据表对应的协议类型，与检索信息所示的协议类型相同。
[0095]
流量筛选单元400，用于将包含有攻击特征的数据包，标识为可疑流量，并通过预设界面向用户展示可疑流量。
[0096]
可选的，流量筛选单元400具体用于：预先为预设数据库中每个数据包配置区域标签和时间标签；区域标签指示流量数据所来源的前端链路；采集时间指示流量数据的采集时间；在确定用户输入的检索信息包含时间点的情况下，从预设数据库中获取符合第一预设条件的数据包，作为候选数据包；第一预设条件为：数据包的采集时间与检索信息所示时间点之间的时间差小于预设时间阈值；在确定检索信息包含前端链路的情况下，从获取得到的一个或多个候选数据包中，筛选出符合第二预设条件的候选数据包，作为有效数据包；第二预设条件为：候选数据包的前端链路与检索信息所示前端链路相同；将包含有攻击特征的有效数据包，标识为可疑流量。
[0097]
流量筛选单元400还用于：在确定检索信息不包含时间点的情况下，则按照采集时间从晚到早的顺序，遍历预设数据库中的各个数据包，直至获取得到包含检索信息所示可疑ip的数据包，作为候选数据包。
[0098]
流量筛选单元400还用于：在确定检索信息不包含前端链路的情况下，将获取得到的所有候选数据包，均标识为有效数据包。
[0099]
流量筛选单元400还用于：在确定检索信息包含五元组中的任意一个或多个元素的情况下，从各个有效数据包中获取包含有检索信息所示元素的有效数据包，作为可疑流量，并通过预设界面向用户展示可疑流量。
[0100]
流量筛选单元400还用于：在确定检索信息不包含特征字段的情况下，对每个有效数据包进行特征值检索，得到每个有效数据包的特征值，并将特征值包含有预设敏感字段的有效数据包，标识为可疑流量，并通过预设界面向用户展示可疑流量。
[0101]
综上所述，本实施例利用元数据表中所示的各个元数据，实现对数据包的准确筛选，无需耗费时间成本去逐个解析所有流量数据，有效提高可疑流量的检索效率。
[0102]
本技术还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本技术提供的可疑流量的检索方法。
[0103]
本技术还提供了一种可疑流量的检索设备，包括：处理器、存储器和总线。处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，其中，程序运行时执行上述本技术提供的可疑流量的检索方法，包括如下步骤：
[0104]
将采集得到的各个流量数据的数据包，保存到预设数据库中；
[0105]
基于所述预设数据库中的各个所述数据包，获得与各个协议类型对应的元数据表；所述元数据表包括各个所述数据包的元数据集合；所述元数据集合包括多个元数据以及每个所述元数据的字段值；所述元数据代表所述数据包的报文头字段；
[0106]
在确定用户输入的检索信息包含特征字段的情况下，从符合第三预设条件的所述元数据表中，获取字段值与所述特征字段相同的元数据，作为攻击特征；所述第三预设条件为：与所述元数据表对应的协议类型，与所述检索信息所示的协议类型相同；
[0107]
将包含有所述攻击特征的数据包，标识为可疑流量，并通过预设界面向所述用户展示所述可疑流量。
[0108]
具体的，在上述实施例的基础上，所述基于所述预设数据库中的各个所述数据包，
获得与各个协议类型对应的元数据表，包括：
[0109]
对所述预设数据库中的各个所述数据包进行分类，得到与各个协议类型对应的数据包分组；其中，协议类型相同的多个数据包将被划分到同一数据包分组中；
[0110]
对于每个所述数据包分组，对所述数据包分组中每个数据包进行报文头字段提取，得到所述数据包分组中每个数据包的报文头字段集合；所述报文头字段集合包括多个报文头字段，以及每个所述报文头字段的字段值；
[0111]
基于每个所述数据包分组中各个数据包的报文头字段集合，生成与每个协议类型对应的元数据表。
[0112]
具体的，在上述实施例的基础上，所述将包含有所述攻击特征的数据包，标识为可疑流量，包括：
[0113]
预先为所述预设数据库中每个所述数据包配置区域标签和时间标签；所述区域标签指示所述流量数据所来源的前端链路；所述采集时间指示所述流量数据的采集时间；
[0114]
在确定用户输入的检索信息包含时间点的情况下，从预设数据库中获取符合第一预设条件的所述数据包，作为候选数据包；所述第一预设条件为：所述数据包的采集时间与所述检索信息所示时间点之间的时间差小于预设时间阈值；
[0115]
在确定所述检索信息包含前端链路的情况下，从获取得到的一个或多个所述候选数据包中，筛选出符合第二预设条件的所述候选数据包，作为有效数据包；所述第二预设条件为：所述候选数据包的前端链路与所述检索信息所示前端链路相同；
[0116]
将包含有所述攻击特征的有效数据包，标识为可疑流量。
[0117]
具体的，在上述实施例的基础上，所述将包含有所述攻击特征的有效数据包，标识为可疑流量之前，还包括：
[0118]
在确定所述检索信息不包含所述时间点的情况下，则按照采集时间从晚到早的顺序，遍历所述预设数据库中的各个数据包，直至获取得到包含所述检索信息所示可疑ip的数据包，作为所述候选数据包。
[0119]
具体的，在上述实施例的基础上，所述将包含有所述攻击特征的有效数据包，标识为可疑流量之前，还包括：
[0120]
在确定所述检索信息不包含所述前端链路的情况下，将获取得到的所有候选数据包，均标识为所述有效数据包。
[0121]
具体的，在上述实施例的基础上，所述在确定所述检索信息包含前端链路的情况下，从获取得到的一个或多个所述候选数据包中，筛选出符合第二预设条件的所述候选数据包，作为有效数据包之后，还包括：
[0122]
在确定所述检索信息包含所述五元组中的任意一个或多个元素的情况下，从各个所述有效数据包中获取包含有所述检索信息所示元素的有效数据包，作为可疑流量，并通过预设界面向所述用户展示所述可疑流量。
[0123]
具体的，在上述实施例的基础上，所述在确定所述检索信息包含前端链路的情况下，从获取得到的一个或多个所述候选数据包中，筛选出符合第二预设条件的所述候选数据包，作为有效数据包之后，还包括：
[0124]
在确定所述检索信息不包含所述特征字段的情况下，对每个所述有效数据包进行特征值检索，得到每个所述有效数据包的特征值，并将特征值包含有预设敏感字段的有效
数据包，标识为可疑流量，并通过预设界面向所述用户展示所述可疑流量。
[0125]
本技术实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本技术实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0126]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
[0127]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。