一种多源情报数据的处理方法及装置与流程

1.本技术涉及网络安全技术领域，具体而言，涉及一种多源情报数据的处理方法及装置。


背景技术：

2.目前，为了有效利用多源情报已经发展出了多源情报统一接入的方法。该种方法要求多源情报在接入的时候，通过不同的方式获取情报源文件并将其数据格式统一，然后再持久化到存储装置中。然而，该种方法在每接入一种情报时都会记录一个情报源，从而使得后续查询的时候返回多个源的情报结果，从而导致查询效率较低而结果复杂性较高。


技术实现要素：

3.本技术实施例的目的在于提供一种多源情报数据的处理方法及装置，能够降低情报使用的复杂度，并提高情报的查询效率。
4.本技术实施例第一方面提供了一种多源情报数据的处理方法，包括：获取多个情报源的单源情报数据；获取与所述单源情报数据相对应的字段融合策略；提取所述单源情报数据的唯一键；基于所述唯一键，获取其他情报源中的同类情报数据；基于所述字段融合策略融合所述单源情报数据和所述同类情报数据，得到融合情报数据。
5.在上述实现过程中，该方法可以优先获取多个情报源的单源情报数据；并获取与单源情报数据相对应的字段融合策略；然后，提取单源情报数据的唯一键；再基于唯一键，获取其他情报源中的同类情报数据；最后，再基于字段融合策略融合单源情报数据和同类情报数据，得到融合情报数据。可见，该方法能够降低情报使用的复杂度，并提高情报的查询效率。
6.进一步地，所述获取多个情报源的单源情报数据的步骤包括：识别用户指定的情报类型；在多个情报源中，获取与所述情报类型相对应的单源情报数据。
7.进一步地，所述获取与所述单源情报数据相对应的字段融合策略的步骤包括：识别所述单源情报数据的数据类型；获取与所述数据类型相对应的字段融合策略。
8.进一步地，所述获取与所述单源情报数据相对应的字段融合策略的步骤之后，所述方法还包括：通过布隆过滤器检测所述单源情报数据是否未融合过；当所述单源情报数据未融合过时，执行所述提取所述单源情报数据的唯一键的步骤。
9.进一步地，所述基于所述字段融合策略融合所述单源情报数据和所述同类情报数据，得到融合情报数据的步骤包括：当所述单源情报数据的数据类型为数值类型或枚举类型时，基于最大值融合策略、最小值融合策略或顺序取值融合策略对所述单源情报数据和所述同类情报数据进行融合，得到融合情报数据。
10.进一步地，所述基于所述字段融合策略融合所述单源情报数据和所述同类情报数据，得到融合情报数据的步骤包括：当所述单源情报数据的数据类型为数组类型时，基于合并融合策略或顺序取值融合策略对所述单源情报数据和所述同类情报数据进行合并去重，得到融合情报数据。
11.进一步地，所述单源情报数据的情报类型包括ip信誉情报类型、失陷指标情报类型、恶意域名情报类型以及文件样本情报类型；字段融合策略包括最大值融合策略、最小值融合策略、合并融合策略以及顺序取值融合策略。
12.在上述事项过程中，该顺序取值融合可以适用于所有字段。
13.本技术实施例第二方面提供了一种多源情报数据的处理装置，所述多源情报数据的处理装置包括：第一获取单元，用于获取多个情报源的单源情报数据；第二获取单元，用于获取与所述单源情报数据相对应的字段融合策略；提取单元，用于提取所述单源情报数据的唯一键；第三获取单元，用于基于所述唯一键，获取其他情报源中的同类情报数据；融合单元，用于基于所述字段融合策略融合所述单源情报数据和所述同类情报数据，得到融合情报数据。
14.在上述实现过程中，该装置可以通过第一获取单元获取多个情报源的单源情报数据；通过第二获取单元获取与单源情报数据相对应的字段融合策略；通过提取单元提取单源情报数据的唯一键；通过第三获取单元来基于唯一键，获取其他情报源中的同类情报数据；再通过融合单元，用于基于字段融合策略融合单源情报数据和同类情报数据，得到融合情报数据。可见，该装置能够降低情报使用的复杂度，并提高情报的查询效率。
15.进一步地，所述第一获取单元包括：第一识别子单元，用于识别用户指定的情报类型；第一获取子单元，用于在多个情报源中，获取与所述情报类型相对应的单源情报数据。
16.进一步地，所述第二获取单元包括：第二识别子单元，用于识别所述单源情报数据的数据类型；第二获取子单元，用于获取与所述数据类型相对应的字段融合策略。
17.进一步地，所述多源情报数据的处理装置还包括：检测单元，用于通过布隆过滤器检测所述单源情报数据是否未融合过；所述提取单元，具体用于当所述单源情报数据未融合过时，提取所述单源情报数据的唯一键。
18.进一步地，所述融合单元，具体用于当所述单源情报数据的数据类型为数值类型
或枚举类型时，基于最大值融合策略或最小值融合策略对所述单源情报数据和所述同类情报数据进行融合，得到融合情报数据。
19.进一步地，所述融合单元，具体还用于当所述单源情报数据的数据类型为数组类型时，基于合并融合策略对所述单源情报数据和所述同类情报数据进行合并去重，得到融合情报数据。
20.进一步地，所述单源情报数据的情报类型包括ip信誉情报类型、失陷指标情报类型、恶意域名情报类型以及文件样本情报类型；字段融合策略包括最大值融合策略、最小值融合策略、合并融合策略以及顺序取值融合策略。
21.本技术实施例第三方面提供了一种电子设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行本技术实施例第一方面中任一项所述的多源情报数据的处理方法。
22.本技术实施例第四方面提供了一种计算机可读存储介质，其存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本技术实施例第一方面中任一项所述的多源情报数据的处理方法。
附图说明
23.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
24.图1为本技术实施例提供的一种多源情报数据的处理方法的流程示意图；图2为本技术实施例提供的一种多源情报数据的处理装置的结构示意图；图3为本技术实施例提供的一种多源情报数据的融合举例示意图。
具体实施方式
25.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
26.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
27.实施例1请参看图1，图1为本实施例提供了一种多源情报数据的处理方法的流程示意图。其中，该多源情报数据的处理方法包括：s101、获取用户指定的多个待融合的情报源。
28.s102、在指定的多个情报源中，获取单源情报数据。
29.s103、识别单源情报数据的情报类型。
30.本实施例中，单源情报数据的情报类型包括ip信誉情报类型、失陷指标情报类型、恶意域名情报类型以及文件样本情报类型。
31.在本实施例中，ip信誉类型的融合字段为威胁类型/可信度/威胁级别/标签/asn/
来源/封禁指数/地理位置/运营商/应用场景；失陷指标以及恶意域名类型的融合字段为威胁类型/可信度/威胁级别/标签/asn/来源/封禁指数/重要标签/基础标签/受影响平台/情报共享范围/证书信息/开放端口/当前解析ip/当前whois/相关样本；文件样本类型的融合字段为文件类型/文件名称/威胁级别/运行环境/威胁标签/家族/黑客组织/来源。
32.s104、获取当前待融合情报源对应的所有字段融合策略。
33.本实施例中，该方法优先基于用户指定的情报类型提取出所有对应的单源情报数据；然后再选择其中一个单源情报数据对应的情报源作为当前待融合情报源；其中，其他的单源情报数据对应于其他情报源。可见，此时选出的单元情报数据通用选出来的字段融合策略。
34.本实施例中，字段融合策略包括最大值融合策略、最小值融合策略、合并融合策略以及顺序取值融合策略。
35.本实施例中，该方法可以在情报更新时，根据ip信誉/失陷指标/恶意域名/文件样本的类型不同，获取对应情报类型的融合字段以及融合策略，根据单个字段融合策略获取待融合的相关情报源。
36.s105、通过布隆过滤器检测单源情报数据是否未融合过，若是，则执行步骤s106；若否，则结束本流程。
37.本实施例中，在单源情报数据已融合过时，可以更新一条单源情报数据，并执行步骤ss105。
38.本实施例中，该方法可以利用布隆过滤器判断该条情报是否已经融合过，若融合过则直接忽略，进行下一条情报的融合，若没有融合过，则根据字段进行融合。
39.s106、提取单源情报数据的唯一键。
40.本实施例中，该方法可以根据获取到的情报源，按照顺序遍历这些情报源的数据，针对每条情报，获取其唯一键。
41.在本实施例中，上述情报源包括待融合情报源和其他情报源。
42.s107、基于唯一键，获取其他情报源中的同类情报数据。
43.s108、基于字段融合策略融合单源情报数据和同类情报数据，得到融合情报数据。
44.本实施例中，该方法在融合了所有相同唯一键的情报数据之后，得到上述的融合情报数据。
45.作为一种可选的实施方式，基于字段融合策略融合单源情报数据和同类情报数据，得到融合情报数据的步骤包括：当单源情报数据的数据类型为数值类型或枚举类型时，基于最大值融合策略或最小值融合策略对单源情报数据和同类情报数据进行融合，得到融合情报数据。
46.作为另一种可选的实施方式，基于字段融合策略融合单源情报数据和同类情报数据，得到融合情报数据的步骤包括：当单源情报数据的数据类型为数组类型时，基于合并融合策略对单源情报数据和同类情报数据进行合并去重，得到融合情报数据。
47.本实施例中，该方法可以根据唯一键，获取到其他源中的情报结果，并新建一条空
白情报结果，将当前唯一键设置为该空白情报的唯一键，然后遍历当前所选择对应策略包括的所有字段，根据字段选择的合并/取最大值/取最小值/按顺序取值策略。
48.在本实施例中，针对数值类型以及枚举类型（枚举值可选：info/low/medium/high/critical）的字段可以选择最大/最小值策略，将多源结果的同一个字段进行比较获取最大/最小值。
49.在本实施例中，针对数组类型的字段可以选择合并策略，将多源结果中相同字段的值合并并去重，从多源结果中比较并取值。
50.在本实施例中，按照顺序取值所有字段均可选择（即顺序取值融合策略可以应用于所有数据类型的融合过程当中），将根据所选择情报源的顺序取对应情报字段的值，如果当前情报该字段没有值，则按照顺序取取下一条情报该字段的值；最后将值赋给空白情报中相应的字段。
51.作为一种可选的实施方式，该方法还可以在得到融合情报数据之后，对融合情报数据进行暂存，等待得到批量融合情报数据时，再持久化到存储装置中。
52.其中，图3示出了单个字段所选策略融合多源结果的具体过程，即针对某一条单源情报数据的单个字段融合流程。
53.举例来说，存在两个ip信誉类型得情报源t1，t2，t1和t2又各包含一条情报a1，a2，且拥有相同得唯一键k1。其中，a1得可信度为高，威胁类型包含【垃圾邮件、扫描】，a2可信度为低，威胁类型包含【垃圾邮件、傀儡机】，此时可信度得融合策略为取最大值，威胁类型融合策略为合并多源结果。
54.基于上述条件，该方法在融合时，可信度取最大值，则a1（可信度高）比a2（可信度低）大，则会选取高，威胁类型合并去重后，则剩下【垃圾邮件、扫描、傀儡机】三种。
55.在融合结束后，该方法将会得到一条唯一键为k1，可信度为高，威胁类型为【垃圾邮件、傀儡机、扫描】的新情报。
56.本实施例中，该方法作为一种新的融合多源情报数据的处理方法，能够解决“由于无法针对不同类型情报如：ip信誉/失陷指标/恶意域名/文件样本进行字段级别的数据融合，导致企业无法有效获取到多源结果信息，从而无法有效利用多源情报数据”的问题。从而实现针对不同类型的情报，选择不同的字段融合策略（可选择合并、最大值、最小值、顺序四种融合策略），以将多个情报源中拥有相同唯一键的情报融合到一起的效果。进而解决返回结果过长，无法快速提取有效信息的问题。
57.举例来说，该方法可以通过以下多个步骤加以实现：获取与待融合情报源相对应的所有字段融合策略；获取与字段融合策略相对应的多个其他情报源；获取多个其他情报源中的所有单源情报数据；提取所有单源情报数据的唯一键；基于所述字段融合策略，融合具有相同唯一键的多个单源情报数据，得到融合情报数据。
58.具体的，基于该方法可知，本例中可以优先预存好所有情报源的情报数据（即获取多个情报源的单源情报数据），并同时指定出一个待融合情报源，再以此待融合情报源获取相对应的字段融合策略（可见，该字段融合策略是与该待融合情报源中的情报数据相对应
的）。然后，该方法基于字段融合策略在所有情报源中选择出用于融合的多个其他情报源，以使该方法基于多个其他情报源确定用于融合的所有情报数据（该情报数据与情报源具有对应关系，因此又称之为单源情报数据）。此后，该方法提取出所有情报数据中的唯一键，并选出一个情报数据为基础情报数据，再将与基础情报数据唯一键相同的情报数据确定为同类情报数据。最后，基于字段融合策略将具有相同唯一键的情报数据（包括基础情报数据和同类情报数据）进行融合；在所有不同唯一键对应的情报数据融合完毕时，即可得到融合情报数据。其中，该方法可以基于用户指定的情报类型确定上述的待融合情报源。
59.本实施例中，该方法的执行主体可以为计算机、服务器等计算装置，对此本实施例中不作任何限定。
60.在本实施例中，该方法的执行主体还可以为智能手机、平板电脑等智能设备，对此本实施例中不作任何限定。
61.可见，实施本实施例所描述的多源情报数据的处理方法，能够通过融合多源情报，实现多源情报数据统一，降低情报使用的复杂度效果；还能够通过制定字段融合策略，针对不同厂商情报取长补短，实现情报结构统一性、数据组合的灵活性、情报使用的便捷性。
62.实施例2请参看图2，图2为本实施例提供的一种多源情报数据的处理装置的结构示意图。如图2所示，该多源情报数据的处理装置包括：第一获取单元210，用于获取多个情报源的单源情报数据；第二获取单元220，用于获取与单源情报数据相对应的字段融合策略；提取单元230，用于提取单源情报数据的唯一键；第三获取单元240，用于基于唯一键，获取其他情报源中的同类情报数据；融合单元250，用于基于字段融合策略融合单源情报数据和同类情报数据，得到融合情报数据。
63.作为一种可选的实施方式，第一获取单元210包括：第一识别子单元211，用于识别用户指定的情报类型；第一获取子单元212，用于在多个情报源中，获取与情报类型相对应的单源情报数据。
64.作为一种可选的实施方式，第二获取单元220包括：第二识别子单元221，用于识别单源情报数据的数据类型；第二获取子单元222，用于获取与数据类型相对应的字段融合策略。
65.作为一种可选的实施方式，多源情报数据的处理装置还包括：检测单元260，用于通过布隆过滤器检测单源情报数据是否未融合过；提取单元230，具体用于当单源情报数据未融合过时，提取单源情报数据的唯一键。
66.作为一种可选的实施方式，融合单元250，具体用于当单源情报数据的数据类型为数值类型或枚举类型时，基于最大值融合策略或最小值融合策略对单源情报数据和同类情报数据进行融合，得到融合情报数据。
67.作为一种可选的实施方式，融合单元250，具体还用于当单源情报数据的数据类型为数组类型时，基于合并融合策略对单源情报数据和同类情报数据进行合并去重，得到融
合情报数据。
68.本实施例中，单源情报数据的情报类型包括ip信誉情报类型、失陷指标情报类型、恶意域名情报类型以及文件样本情报类型；字段融合策略包括最大值融合策略、最小值融合策略、合并融合策略以及顺序取值融合策略。
69.本技术实施例中，对于多源情报数据的处理装置的解释说明可以参照实施例1中的描述，对此本实施例中不再多加赘述。
70.可见，实施本实施例所描述的多源情报数据的处理装置，能够通过融合多源情报，实现多源情报数据统一，降低情报使用的复杂度效果；还能够通过制定字段融合策略，针对不同厂商情报取长补短，实现情报结构统一性、数据组合的灵活性、情报使用的便捷性。
71.本技术实施例提供了一种电子设备，包括存储器以及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行本技术实施例1中的多源情报数据的处理方法。
72.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行本技术实施例1中的多源情报数据的处理方法。
73.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
74.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
75.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
76.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
77.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
78.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。