IP数据处理方法、装置、设备及介质与流程

ip数据处理方法、装置、设备及介质
技术领域
1.本发明涉及网络安全技术领域，尤其涉及一种ip数据处理方法、装置、设备及介质。


背景技术：

2.全面掌握ip信息是网络安全领域最基础的环节，也是最重要的环节。但网络上的信息十分零散混乱，无法从互联网获取到关于ip的全面信息。
3.针对无法全面、完整获取ip信息的问题，目前尚未提出有效的解决方法。


技术实现要素：

4.本发明实施例提供了一种ip数据处理方法、装置、设备及介质，以获得全面的ip信息。
5.第一方面，本发明实施例提供了一种ip数据处理方法，包括以下步骤：
6.获取从不同数据源采集的ip数据，其中，所述ip数据包括ip地址及对应的属性信息；
7.将所述ip数据按数据类型分类存储在不同的数据单元；
8.分别对每个数据单元中具有相同ip地址的ip数据进行合并处理。
9.在其中一些实施例中，所述获取从不同数据源采集的ip数据，包括：
10.获取从不同数据源采集的威胁ip信息和未知ip信息，作为所述ip数据。
11.在其中一些实施例中，所述将所述ip数据按数据类型分类存储在不同的数据单元，包括：
12.采用列存储的方式，将所述数据按数据类型分类存储在不同的数据单元，其中每个数据单元对应一列。
13.在其中一些实施例中，所述分别对每个数据单元中具有相同ip地址的ip数据进行合并处理，包括：
14.将每个数据单元中具有相同ip地址的ip数据取并集。
15.在其中一些实施例中，所述分别对每个数据单元中具有相同ip地址的ip数据进行合并处理之后，包括：
16.接收待查询的ip地址，
17.从不同数据单元中查询所述待查询的ip地址的属性信息，得到所述待查询的ip地址的所有属性信息。
18.在其中一些实施例中，所述分别对每个数据单元中具有相同ip地址的ip数据进行合并处理之后，还包括：
19.获取新采集的ip数据；
20.将所述ip数据和所述新采集的ip数据进行合并去重处理。
21.在其中一些实施例中，所述将所述ip数据和所述新采集的ip数据进行合并去重处
理，包括：
22.将所述新采集的ip数据与所述ip数据进行匹配；
23.根据匹配结果，从所述新采集的ip数据中删除与所述ip数据相同的数据，保留所述新采集的ip数据中与所述ip数据不同的数据，得到待更新的ip数据；
24.将所述待更新的ip数据按数据类型存储在相应的数据单元中。
25.第二方面，本发明实施例提供了一种ip数据处理装置，包括：
26.数据获取模块，用于获取从不同数据源采集的ip数据，其中，所述ip数据包括ip地址及对应的属性信息；
27.数据分类模块，用于将所述ip数据按数据类型分类存储在不同的数据单元；
28.数据处理模块，用于分别对每个数据单元中具有相同ip地址的ip数据进行合并处理。
29.第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的ip数据处理方法。
30.第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的ip数据处理方法。
31.相比于现有技术，本发明实施例提供一种ip数据处理方法、装置、设备及介质，将从不同数据源采集到的ip数据进行分类存储，可通过自由扩展分类，采集并处理更多的ip关联信息，并对采集的ip数据进行合并整合，以获得全面的ip信息，供后续根据ip地址查询该ip地址关联的所有信息。
32.本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。
附图说明
33.此处所说明的附图用来提供对本申请的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
34.图1是本发明ip数据处理方法的流程图；
35.图2是本发明实施例的ip数据处理装置的结构框图；
36.图3是本发明实施例的电子设备的结构框图。
具体实施方式
37.为了使本申请的目的、技术方案更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
38.显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭
露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
39.在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
40.实施例1
41.本实施例提供一种对ip数据处理方法，图1是本发明ip数据处理方法的流程图。
42.如图1所示，ip数据处理方法，包括以下步骤：
43.s101、获取从不同数据源采集的ip数据，其中，该ip数据包括ip地址及对应的属性信息。
44.可从现有的威胁ip数据库采集ip数据，如ddos攻击数据、waf攻击数据、cc攻击数据，安全网关威胁数据，蜜罐威胁数据以及其他已知威胁数据，从威胁ip数据库中采集的ip数据都是威胁ip(攻击ip)，威胁ip数据至少包括ip地址、攻击类型、攻击报文数据、攻击流量、攻击开始时间、攻击结束时间等属性信息。
45.还可从第三方数据库或者通过网络爬虫的方式采集ip数据，此处采集的ip数据包括ip地址、asn码、归属组织、端口信息、地理位置(洲/国家/省/市/区/经纬度/邮政编码)、url等属性信息。
46.需要注意的是，ip地址的各属性具有不同的数据类型。
47.s102、将ip数据按数据类型分类存储在不同的数据单元；
48.将ip数据按照数据类型进行单元化分类，每个数据单元记录不同的ip数据，在本实施例中分为五个是数据单元，具体如下：
49.数据单元一：对威胁ip数据库中采集的ip地址、对应的攻击时间和攻击类型进行逐条记录。
50.数据单元二：对通过爬虫等方式采集到的ip地址、对应的asn码(自治域号码)及归属组织进行逐条记录，其中涉及的主要信息包括ip地址、对应的asn码、归属组织。
51.数据单元三：对通过爬虫等方式采集到的ip地址、对应的端口信息进行逐条记录，其中涉及的主要信息包括ip地址、对应的端口信息、数据采集字段、ip开放端口。
52.数据单元四：对通过爬虫等方式采集到的ip地址、对应的地理位置进行逐条记录，其中涉及的主要信息包括ip地址、洲、国家、省、市、邮政编码、经度、纬度。
53.数据单元五：对通过爬虫等方式采集到的ip地址、对应的url进行逐条记录，涉及的主要信息包括ip地址、对应的url或域名信息、数据采集字段。
54.通过上述五个数据单元对ip数据按数据类型进行分类,数据单元一中记录的所有ip均为黑名单ip(已知威胁ip)，数据单元二至数据单元五中记录的ip为未知ip(未知威胁ip)。
55.s103、分别对每个数据单元中具有相同ip地址的ip数据进行合并处理。
56.例如：即提取数据单元一中具有相同ip地址的ip数据，则将具有相同ip地址的ip数据中出现的所有攻击类型进行合并，作为该相同ip地址对应的攻击类型，且仅保留一条相同的ip地址。提取数据单元二中具有相同的ip地址的ip数据合并成一条ip数据。其余数据单元也作相同处理。
57.通过上述处理，使得每个数据单元中没有重复的ip数据，即针对一个ip地址，仅存在一条记录，通过各数据单元查询ip信息时，可从各单元中提取相关ip地址对应的所有信息。
58.在应用本实施例的ip数据处理方法时，可对不同数据源的ip数据进行整理合并，从而获得完整、全面的ip信息，可以应用于网络安全的各业务场景。
59.优选地，获取从不同数据源采集的ip数据，包括：
60.获取从不同数据源采集的威胁ip信息和未知ip信息，作为所述ip数据。威胁ip信息从已知的威胁ip库采集，未知ip信息从第三方数据库或通过网络爬虫采集。
61.优选地，将ip数据按数据类型分类存储在不同的数据单元，包括：
62.采用列存储的方式，将数据按数据类型分类存储在不同的数据单元，其中每个数据单元对应一列。
63.采用列存储的方式对各数据单元进行存储，使得每一列对应一个数据单元，采用列存储的方式，可以使得数据单元可自由纵向扩展，不局限于上述的五个数据单元，通过扩展更多的数据单元，以存储更多类型的ip数据。同时，采用列存储的方式，可以对每个数据单元进行单独的数据更新或查询，而不需要对整个数据库进行查询或更新。
64.优选地，分别对每个数据单元中具有相同ip地址的ip数据进行合并处理，包括：
65.将每个数据单元中具有相同ip地址的ip数据取并集。
66.在本实施例中，对上述五个数据单元的合并处理过程进行介绍：
67.针对数据单元一，提取具有同一ip地址的ip数据，合并相同的攻击类型，集合不同的攻击类型及攻击时间记录。
68.例如：存在两条具有相同ip地址的记录：
69.(1)ip地址：1.1.1.1.1.1攻击类型：漏洞、木马攻击时间：1
‑170.(2)ip地址：1.1.1.1.1.1攻击类型：漏洞、tcp攻击时间：1
‑271.合并处理后形成一条记录：
72.ip地址：1.1.1.1.1.1攻击类型：漏洞攻击时间：1
‑273.tcp攻击时间：1
‑274.木马攻击时间：1
‑175.针对数据单元和数据单元四，两个数据单元中的ip数据具有唯一对应关系，即数据单元二中相同ip地址仅对应一个asn码及归属组织；数据单元四中相同ip地址仅对应一个地理位置，因此，只需将具有相同ip地址的记录提取后合并成一条记录即可。
76.针对数据单元三和数据单元五，每一条ip数据中，每个ip地址与其端口信息或url信息均为一对一关系，在这两个数据单元中，只需要将具有相同ip地址的端口信息或url信息合并成一条记录即可。
77.例如：数据单元三中存在两条具有相同ip地址的记录：
78.(1)ip地址：1.1.1.1.1.0端口信息：rj
‑
45端口
79.(2)ip地址：1.1.1.1.1.0端口信息：sc端口
80.合并处理后形成一条记录：
81.ip地址：1.1.1.1.1.0端口信息：rj
‑
45端口、sc端口
82.综上，在对各数据单元的合并处理时，相当于将具有同一ip地址的ip数据分别放
在一个集合里，然后对各集合进行并集运算，并集运算的原理为将相同元素合并，不同元素保留，并集运算后不存在重复的元素。
83.优选地，分别对每个数据单元中具有相同ip地址的ip数据进行合并处理之后，包括：
84.接收待查询的ip地址，
85.从不同数据单元中查询待查询的ip地址的属性信息，得到待查询的ip地址的所有属性信息。
86.以上述五个数据单元为例，当查询一个ip地址的信息时，可根据该ip地址从五个数据单元中提取该ip地址的属性信息，得到该ip地址在各数据单元中存储的属性信息，如对应的攻击类型及攻击时间、对应的asn码及归属组织、对应的端口信息、对应的地理位置、对应的url信息，从而得到该ip地址的全面信息。
87.需要注意的是，因各数据单元采用列存储的方式，使得从各数据单元检索到的ip数据，可以实现纵向查看。
88.优选地，分别对每个数据单元中具有相同ip地址的ip数据进行合并处理之后，还包括：
89.获取新采集的ip数据；
90.将上述ip数据和新采集的ip数据进行合并去重处理。
91.为保证数据的实时性，需要实时更新数据单元中的ip数据。若新采集的ip数据在原ip数据中已存在相同数据，则新采集的ip数据为重复数据进行删除，若新采集的ip数据与原ip数据不相同，则合并原有的ip数据和新采集的ip数据。
92.在实际应用时，可设置每个数据单元的更新周期，以上述五个数据单元为例，可设置数据单元一的更新周期为按日更新，其他数据单元按周更新。
93.优选地，将上述ip数据和新采集的ip数据进行合并去重处理，包括：
94.将新采集的ip数据与上述ip数据进行匹配；
95.根据匹配结果，从新采集的ip数据中删除与上述ip数据相同的数据，保留新采集的ip数据中与上述ip数据不同的数据，得到待更新的ip数据；
96.将待更新的ip数据按数据类型存储在相应的数据单元中。
97.通过上述处理，删除新采集的ip数据中与上述ip数据重复的数据，将新采集的ip数据中与上述ip数据不同的数据存储在相应的数据单元，实现与原ip数据的去重合并。
98.实施例2
99.本实施例提供一种ip数据处理装置，该装置用于实现上述实施例及优选实施例方式，已经进行过说明的不再赘述，如下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能实现并被构想的。
100.图2是本发明实施例的ip数据处理装置的结构框图，如图2所示，该装置包括：
101.数据获取模块21，用于获取从不同数据源采集的ip数据，其中，该ip数据包括ip地址及对应的属性信息；
102.数据分类模块22，用于将上述ip数据按数据类型分类存储在不同的数据单元；
103.数据处理模块23，用于分别对每个数据单元中具有相同ip地址的ip数据进行合并
处理。
104.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
105.实施例3
106.图3为本发明实施例的一种电子设备的结构示意图，如图3所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图3所示。该电子设备包括处理器、存储器、输入装置和输出装置；其中该电子设备中处理器的数量可以是一个或多个，图3中以一个处理器为例；电子设备中的处理器、存储器、输入装置和输出装置可以通过总线或其他方式连接，图3中以通过总线连接为例。
107.存储器作为一种计算机可读存储介质，可以包括高速随机存取存储器、非易失性存储器等，可用于存储操作系统、软件程序、计算机可执行程序和数据库，如本发明实施例1的ip数据处理方法对应的程序指令/模块，还可以包括内存，可用于为操作系统和计算机程序提供运行环境。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。
108.处理器用于提供计算和控制能力，可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本申请实施例的一个或多个集成电路。处理器通过运行存储在存储器中的计算机可执行程序、软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例1的ip数据处理方法。
109.该电子设备的输出装置可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
110.该电子设备还可包括网络接口/通信接口，该电子设备的网络接口用于与外部的终端通过网络连接通信。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
111.本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所述更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
112.本领域普通技术人员可以理解实现实施例1的ip数据处理方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram
(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
113.实施例4
114.本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现ip数据处理方法，该方法包括：
115.获取从不同数据源采集的ip数据，其中，该ip数据包括ip地址及对应的属性信息；
116.将上述ip数据按数据类型分类存储在不同的数据单元；
117.分别对每个数据单元中具有相同ip地址的ip数据进行合并处理。
118.当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述实施例的ip数据处理方法操作，还可以执行本发明任意实施例所提供的ip数据处理方法中的相关操作。
119.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的ip数据处理方法。
120.值得注意的是，上述ip数据处理方法的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
121.除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
122.对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。