本技术涉及计算机,尤其涉及一种识别移动网络资产的方法、装置、设备及存储介质。
背景技术:
1、随着科技的不断发展,越来越多的设备可以作为网络地址,如源地址或目的地址,以实现网络数据的收发功能。设备表征的源地址或目的地址可以是移动网络资产,从而设备可以从一个网络资源系统,移动到另一个网络资源系统,但是设备所表征的源地址或目的地址保持不变,从而使得设备在移动中一直保持其连接性,实现跨越不同网段的漫游功能。通过识别移动网络资产,可以为网络威胁情报系统提供网络资源白名单,使得网络威胁情报系统不会误将移动网络资产判定为异常网络地址。
2、相关技术中,识别移动网络资产的方法通常是,基于网络地址的归属机构,或基于网络地址的自治系统号(autonomous system number,asn)进行识别。例如,如果网络地址的归属机构为运营商机构,那么将该网络地址识别为移动网络资产;又例如,如果网络地址的asn与运营商机构具有关联关系,那么将该网络地址识别为移动网络资产。
3、然而,由于网络地址的地址量较为庞大,因此,可能存在一些网络地址没有被规范使用或及时管理。例如,归属机构为运营商机构的一些网络地址可能早已被弃用或已失效,但一直没有被清理;又例如,一些网络地址的asn与运营商机构没有关联关系,但被分配作为移动网络资产使用;又例如,归属机构为运营商机构的一些网络地址,被分配作为非移动网络资产使用等。
4、可见,相关技术中识别移动网络资产时,容易出现将已失效资产识别为移动网络资产的情况;还容易出现将非移动网络资产误识别为移动网络资产的情况;还容易出现遗漏移动网络资产的情况等,即识别移动网络资产的识别准确地较低。
技术实现思路
1、本技术实施例提供了一种识别移动网络资产的方法、装置、设备及存储介质,用于解决识别移动网络资产的识别准确地较低的问题。
2、第一方面,提供一种识别移动网络资产的方法,包括:
3、获取多个历史时间段内分别产生的多个网络数据流;其中,所述网络数据流包括网络地址;
4、针对每个所述历史时间段内产生的多个网络数据流,执行以下操作:基于所述多个网络数据流各自包括的网络地址,对所述多个网络数据流进行聚类处理,获得多个聚类簇;其中,每个所述聚类簇包含的各网络数据流各自包括的网络地址的地址类型相同;
5、基于针对所述多个历史时间段分别获得的多个聚类簇,确定各个网络数据流各自包括的网络地址中,满足移动网络资产条件的至少一个网络地址,生成移动网络资产识别结果。
6、可选的,所述获取多个历史时间段内分别产生的多个网络数据流,包括:
7、获取多个历史时间段内分别产生的多个初始数据流;
8、针对每个所述历史时间段内产生的多个初始数据流,执行以下操作:
9、基于预存的数据过滤策略,对所述多个初始数据流进行数据过滤,获得多个过滤数据流;
10、针对所述多个过滤数据流中,包括相同网络地址的至少两个过滤数据流进行数据去重,获得所述多个网络数据流。
11、可选的,所述初始数据流还包括数据通讯协议;
12、所述基于预存的数据过滤策略,对所述多个初始数据流进行数据过滤,获得多个过滤数据流,包括:
13、确定所述多个初始数据流中,存在包括指定网络地址的第一数据流时,在所述多个初始数据流中,删除所述第一数据流;
14、确定所述多个初始数据流中,存在包括除了预设通讯协议以外的数据通讯协议的第二数据流时,在所述多个初始数据流中,删除所述第二数据流;
15、基于删除所述第一数据流,和/或,所述第二数据流后的多个所述初始数据流,获得所述多个过滤数据流。
16、可选的,所述基于所述多个网络数据流各自包括的网络地址,对所述多个网络数据流进行聚类处理,获得多个聚类簇,包括:
17、基于每两个所述网络数据流各自包括的网络地址,确定相应的两个所述网络数据流之间的流相似度;
18、基于获得的各个流相似度,对所述多个网络数据流进行多轮聚类处理,获得多个聚类簇;其中,每轮聚类处理包括:
19、获取多个上一轮中间簇;其中,在存在上一轮聚类处理时,所述多个上一轮中间簇是在所述上一轮聚类处理后获得的多个当前中间簇,在不存在上一轮聚类处理时,所述多个上一轮中间簇为所述多个网络数据流;
20、基于每两个所述上一轮中间簇各自包含的各网络数据流之间的流相似度,对所述多个上一轮中间簇进行聚类处理,获得多个当前中间簇。
21、可选的,所述基于每两个所述上一轮中间簇各自包含的各网络数据流之间的流相似度,对所述多个上一轮中间簇进行聚类处理,获得多个当前中间簇,包括:
22、针对每两个所述上一轮中间簇,执行以下操作:
23、基于一个所述上一轮中间簇包含的各网络数据流,分别与另一个所述上一轮中间簇包含的各网络数据流之间的流相似度,确定最大流相似度;
24、将所述最大流相似度,作为相应的两个所述上一轮中间簇之间的簇相似度;
25、基于每两个所述上一轮中间簇之间的簇相似度,对所述多个上一轮中间簇进行聚类处理,获得多个当前中间簇。
26、可选的,所述基于针对所述多个历史时间段分别获得的多个聚类簇,确定各个网络数据流各自包括的网络地址中,满足移动网络资产条件的至少一个网络地址,生成移动网络资产识别结果,包括:
27、针对每个历史时间段获得的多个聚类簇,分别执行以下操作:
28、将所述聚类簇所在历史时间段以外的历史时间段获得的多个聚类簇,分别作为针对各个其他历史时间段分别获得的多个其他聚类簇,确定所述各个其他历史时间段分别获得的多个其他聚类簇中,存在与所述聚类簇匹配的其他聚类簇时,统计与所述聚类簇匹配的其他聚类簇所在其他历史时间段的历史时间段数量;
29、确定获得的历史时间段数量达到第一数量阈值时,将所述聚类簇包含的各网络数据流包括的网络地址,作为移动网络资产,获得移动网络资产识别结果。
30、可选的,所述将所述聚类簇包含的各网络数据流包括的网络地址,作为移动网络资产,获得移动网络资产识别结果,包括:
31、确定所述聚类簇包含的各网络数据流各自包括的网络地址对应的地理位置;
32、确定获得的各地理位置中相同的地理位置的位置数量,低于第二数量阈值时,将所述聚类簇包含的各网络数据流各自包括的网络地址,作为移动网络资产,获得移动网络资产识别结果。
33、可选的,在所述获得移动网络资产识别结果之后,还包括:
34、分别设置所述移动网络资产识别结果包括的各网络地址的移动资产有效期;其中,所述移动资产有效期表征:相应的网络地址被用作移动网络资产的期限;
35、为所述多个历史时间段内分别产生的多个网络数据流各自包括的网络地址中,除了所述移动网络资产识别结果包括的各网络地址以外的网络地址,添加过期状态标识;其中,所述过期状态标识用于指示:相应的网络地址未被用作移动网络资产。
36、第二方面,提供一种识别移动网络资产的装置,包括:
37、获取模块:用于获取多个历史时间段内分别产生的多个网络数据流;其中,所述网络数据流用于包括网络地址,所述网络地址包括:源地址和目的地址;
38、处理模块:用于针对每个所述历史时间段内产生的多个网络数据流,执行以下操作:基于所述多个网络数据流各自包括的网络地址,对所述多个网络数据流进行聚类处理,获得多个聚类簇;其中,每个所述聚类簇包含的各网络数据流各自包括的网络地址的地址类型相同;
39、所述处理模块还用于:基于针对所述多个历史时间段分别获得的多个聚类簇,确定各个网络数据流各自包括的网络地址中,满足移动网络资产条件的至少一个网络地址,生成移动网络资产识别结果。
40、可选的,所述获取模块具体用于:
41、获取多个历史时间段内分别产生的多个初始数据流;
42、针对每个所述历史时间段内产生的多个初始数据流,执行以下操作:
43、基于预存的数据过滤策略,对所述多个初始数据流进行数据过滤,获得多个过滤数据流;
44、针对所述多个过滤数据流中,包括相同网络地址的至少两个过滤数据流进行数据去重,获得所述多个网络数据流。
45、可选的,所述初始数据流还包括数据通讯协议;
46、所述获取模块具体用于:
47、确定所述多个初始数据流中,存在包括指定网络地址的第一数据流时,在所述多个初始数据流中,删除所述第一数据流;
48、确定所述多个初始数据流中,存在包括除了预设通讯协议以外的数据通讯协议的第二数据流时,在所述多个初始数据流中,删除所述第二数据流;
49、基于删除所述第一数据流,和/或,所述第二数据流后的多个所述初始数据流,获得所述多个过滤数据流。
50、可选的,所述处理模块具体用于:
51、基于每两个所述网络数据流各自包括的网络地址,确定相应的两个所述网络数据流之间的流相似度;
52、基于获得的各个流相似度,对所述多个网络数据流进行多轮聚类处理,获得多个聚类簇;其中,每轮聚类处理包括:
53、获取多个上一轮中间簇;其中,在存在上一轮聚类处理时,所述多个上一轮中间簇是在所述上一轮聚类处理后获得的多个当前中间簇,在不存在上一轮聚类处理时,所述多个上一轮中间簇为所述多个网络数据流;
54、基于每两个所述上一轮中间簇各自包含的各网络数据流之间的流相似度,对所述多个上一轮中间簇进行聚类处理,获得多个当前中间簇。
55、可选的,所述处理模块具体用于:
56、针对每两个所述上一轮中间簇,执行以下操作:
57、基于一个所述上一轮中间簇包含的各网络数据流,分别与另一个所述上一轮中间簇包含的各网络数据流之间的流相似度,确定最大流相似度;
58、将所述最大流相似度,作为相应的两个所述上一轮中间簇之间的簇相似度;
59、基于每两个所述上一轮中间簇之间的簇相似度,对所述多个上一轮中间簇进行聚类处理,获得多个当前中间簇。
60、可选的,所述处理模块具体用于:
61、针对每个历史时间段获得的多个聚类簇,分别执行以下操作:
62、将所述聚类簇所在历史时间段以外的历史时间段获得的多个聚类簇,分别作为针对各个其他历史时间段分别获得的多个其他聚类簇,确定所述各个其他历史时间段分别获得的多个其他聚类簇中,存在与所述聚类簇匹配的其他聚类簇时,统计与所述聚类簇匹配的其他聚类簇所在其他历史时间段的历史时间段数量;
63、确定获得的历史时间段数量达到第一数量阈值时,将所述聚类簇包含的各网络数据流包括的网络地址,作为移动网络资产,获得移动网络资产识别结果。
64、可选的,所述处理模块具体用于:
65、确定所述聚类簇包含的各网络数据流各自包括的网络地址对应的地理位置;
66、确定获得的各地理位置中相同的地理位置的位置数量,低于第二数量阈值时,将所述聚类簇包含的各网络数据流各自包括的网络地址,作为移动网络资产,获得移动网络资产识别结果。
67、可选的,所述处理模块还用于:
68、在所述获得移动网络资产识别结果之后,分别设置所述移动网络资产识别结果包括的各网络地址的移动资产有效期;其中,所述移动资产有效期表征:相应的网络地址被用作移动网络资产的期限;
69、为所述多个历史时间段内分别产生的多个网络数据流各自包括的网络地址中,除了所述移动网络资产识别结果包括的各网络地址以外的网络地址,添加过期状态标识;其中,所述过期状态标识用于指示:相应的网络地址未被用作移动网络资产。
70、第三方面,提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法。
71、第四方面,提供一种计算机设备,包括:
72、存储器,用于存储程序指令;
73、处理器,用于调用所述存储器中存储的程序指令,按照获得的程序指令执行如第一方面所述的方法。
74、第五方面,提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如第一方面所述的方法。
75、本技术实施例中,通过对历史时间段内实时产生的网络数据流进行分析,识别出移动网络资产,避免了将已被弃用或已失效的网络地址识别为移动网络资产的情况,在一定程度上提高了识别移动网络资产的准确性。
76、进一步的,通过对多个历史时间段内分别产生的多个网络数据流进行分析,能够从宏观角度分析出网络地址是否具有移动网络资产的特性,从而识别出满足移动网络资产条件的至少一个网络地址,进一步地提高了识别移动网络资产的准确性。
77、进一步的,针对每个历史时间段内产生的多个网络数据流,进行聚类处理,可以将包括的网络地址的地址类型相同的网络数据流汇聚到一个聚类簇中,从而可以将可能被用作移动网络资产的网络地址汇聚到一个聚类簇中,再结合多个历史时间段的联合分析,能够准确地识别出移动网络资产,例如,可以将与运营商机构没有关联关系的移动网络资产识别出,还不会将归属于运营商机构,但被分配作为非移动网络资产,识别为移动网络资产,提高了识别准确性。