一种多数据源安全知识归集系统的制作方法

本发明涉及一种多数据源安全知识归集系统，属于网络安全知识数据归集技术领域。

背景技术：

随着网络安全技术的深入研究，及众多安全爱好者的加入，安全威胁及漏洞解决方案越来越多。例如：cve,cnvd,cnnvd等是当前主要的漏洞信息收集库，以上漏洞库对漏洞进行了统一编号、分类并阐述漏洞对应的影响产品、漏洞描述、解决方案、厂商补丁等详细信息，并附有poc。另外各种开源安全检测工具都有各自的社区组织，具备工具核心安全脚本/知识收集能力，同时兼有知识讨论功能。但各安全检测工具的知识库都是独立存在，独立运营，且知识的审核机制不完善，多处于提交者自发验证，无监管审核状态。这些未经验证的安全知识，在实施过程中存在着不安全因素，假如能对以上知识统一归集、统一审核、验证，统一测试，统一分发，将大大提高实施的安全性。

安全知识的的来源包括开源工具建立的开源论坛、安全厂商组织的安全社区、以及安全爱好者或研究人员自发组织的安全社区，以及众多分散于各处的安全爱好者自有知识。

以上安全知识库的运营方式大多基于厂商或贡献者自行运营的方式，通过人工审核方式对贡献者提交的知识审核、验证。存在社区运营过度自主化，缺乏第三方审核、验证，审核验证效率过低，不严谨等安全隐患。

安全知识数据包括漏洞类，如cve、cnvd、cnnvd等提交的漏洞库；安全检测工具知识类:如nmap，探测用操作系统指纹、服务指纹、nse脚本等；弱口令检测工具hydra，口令字典集；渗透测试工具metasploit，渗透利用脚本、攻击载荷等。

安全知识涉及众多安全检测工具，每种安全检测工具的知识文件类型不一、内容格式不一、知识类型不一、配置复杂、数据也较为繁杂。安全知识内容的安全性识别，可用性识别存在较大难度。

另外安全知识数据异构性比较强，对于知识的归集，需要一种统一的规范约束，一方面为贡献者提供规范的数据导入模板，便于知识归集、统计；另一方面规范化的知识数据，更便于知识的第三方输出，有利于知识的交流。

当前成熟的安全知识库并不多，主要原因是在安全知识的来源单一、安全知识审核验证效率不高、安全知识库闭塞，导致安全知识无法广泛共享。

技术实现要素：

本发明所要解决的技术问题是提供一种多数据源安全知识归集系统，通过自动化审核验证机制知识库的设计，实现安全网络知识数据的广泛搜集，并实现知识的共享共建。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种多数据源安全知识归集系统，用于针对包含安全网络知识数据的各个数据源，实现安全网络知识数据的归集；包括数据采集系统、数据分析系统、以及数据存储系统；

其中，数据采集系统用于分别根据各个数据源的特点，选择相应的数据采集方式，分别完成对各个数据源中安全网络采集数据的获取，并上传至数据分析系统；

数据分析系统用于接收来自数据采集系统上传的各安全网络采集数据，并分别针对各安全网络采集数据，依次进行数据识别、分类、清洗、转换、审核、验证处理，进而获得各个待存储安全网络知识数据，并上传至数据存储系统；

数据存储系统用于接收数据分析系统上传的待存储安全网络知识数据，并采用关系型和非关系型数据存储方式对各待存储安全网络知识数据进行存储。

作为本发明的一种优选技术方案：所述包含安全网络知识数据的各个数据源，包括网页、开源漏洞库/安全工具社区、安全贡献者、蜜罐系统。

作为本发明的一种优选技术方案：所述数据采集系统按如下，分别根据各个数据源的特点，选择相应的数据采集方式，分别完成对各个数据源中安全网络采集数据的获取；

针对网页，采用爬虫技术采集方式爬取网页中所需的安全网络采集数据；

对于开源漏洞库/安全工具社区，则基于漏洞库厂商/安全社区授权的方式，获取安全网络采集数据；

针对安全贡献者，则由安全贡献者自行对安全网络采集数据上传；

针对蜜罐系统，则基于所开放易于暴露的安全漏洞，通过对网络攻击行为的诱捕，实现对攻击行为数据的获取，即作为采集到的安全网络采集数据。

作为本发明的一种优选技术方案，所述数据分析系统分别针对各安全网络采集数据，依次执行如下处理：

首先对安全网络采集数据进行数据识别处理，识别获得该安全网络采集数据所对应的数据来源，并根据数据来源所对应的预设指定规则，将该安全网络采集数据匹配成其对应的系统处理数据；

接着针对该安全网络采集数据所对应的系统处理数据，按预设分类规则进行分类，并对该系统处理数据中非可利用数据进行清洗，获得该安全网络采集数据所对应的基础知识数据；

然后针对该安全网络采集数据所对应的基础知识数据，进行数据转换，获得该安全网络采集数据所对应的系统待审核验证数据；

最后针对该安全网络采集数据所对应的系统待审核验证数据，依次进行审核、验证处理，若通过审核、验证，则获得该系统待审核验证数据中的待存储安全网络知识数据，若未通过审核、验证，则不做任何进一步操作。

作为本发明的一种优选技术方案，所述数据分析系统中的审核、验证处理，包括如下步骤：

步骤a.针对安全网络采集数据所对应的系统待审核验证数据进行完全知识识别与知识分类，任何进入步骤b；

步骤b.针对该系统待审核验证数据，结合其所对应的知识分类，进行知识合规验证，若通过，则进入步骤c；若未通过，则对安全网络采集数据所对应的系统待审核验证数据，不做任何进一步处理；

步骤c.针对该系统待审核验证数据，进一步应用预设专家审核、解读、验证规则进行处理，若通过，则进入步骤d；若未通过，则对安全网络采集数据所对应的系统待审核验证数据，不做任何进一步处理；

步骤d.针对该系统待审核验证数据，采用预设指定安全知识检测工具进行检测，获得该系统待审核验证数据中的待存储安全网络知识数据。

作为本发明的一种优选技术方案：根据所述数据分析系统中针对安全网络采集数据的审核、验证处理结果，针对所述数据存储系统中所存储的对应待存储安全网络知识数据，按公共知识库和个人知识库进行分别存储。

本发明所述一种多数据源安全知识归集系统，采用以上技术方案与现有技术相比，具有以下技术效果：

本发明设计的多数据源安全知识归集系统，能够有效应对当前安全网络知识库系统的数据来源多样、种类多样、数据元素丰富、以及知识实时更新的特点，其中数据采集自动化程度高，可大大减少知识收集成本，并且该设计实现人工与自动化收集并行，实现全面知识收集；同时该设计通过严谨、可靠的知识审核验证流程，实现知识安全可用归集，以及基于自动化工具验证，减少人工审核过程和人工审核错误率，最大化提高审核验证效率；另一方面通过人工审核验证过程，实现重点、难点知识的分类、识别、审核、验证，人工审核验证的加入，弥补了工具自动验证过程中高难度知识的辨识，如此基于工具和人工双重验证，实现了严谨、可靠、安全的知识过滤，收集。

附图说明

图1是本发明设计多数据源安全知识归集系统的架构图；

图2是本发明设计多数据源安全知识归集系统的流程示意图；

图3是本发明设计据分析系统中的审核验证处理流程示意图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

本发明设计了一种多数据源安全知识归集系统，用于针对包含安全网络知识数据的各个数据源，实现安全网络知识数据的归集，实际应用中，对于包含安全网络知识数据的各个数据源来说，诸如网页、开源漏洞库/安全工具社区、安全贡献者、蜜罐系统，但是不仅限于这几种，此系统适用于所有包含安全网络知识数据的数据源。

针对上述各个数据源，所设计多数据源安全知识归集系统，通过对各包含安全网络知识数据的各个数据源，分别应用相对应的数据采集方式，完成安全网络采集数据的获得，然后基于数据分析系统数据识别、分类、清洗、转换、审核、验证处理，实现对安全网络采集数据的分析，最终基于结构化数据存储，实现待存储安全网络知识数据的统一归集；具体来说，整个多数据源安全知识归集系统，如图1所示，包括数据采集系统、数据分析系统、以及数据存储系统。

数据采集系统用于分别根据各个数据源的特点，选择相应的数据采集方式，分别完成对各个数据源中安全网络采集数据的获取，并上传至数据分析系统。

实际应用当中，结合图2所示，根据不同数据源特点，选择不同数据采集方式，由于知识库数据多为异构数据，数据种类不同，结构不同，存储方式不同，网络获取方式不同，因此数据源数据的获取方式也不同，诸如针对上述网页、开源漏洞库/安全工具社区、安全贡献者、蜜罐系统四种数据源来说。

针对网页，采用爬虫技术采集方式爬取网页中所需的安全网络采集数据。

对于开源漏洞库/安全工具社区，一般具有特定格式，且数据结构较为规范，不会存在非结构化数据，则基于漏洞库厂商/安全社区授权的方式，获取安全网络采集数据。

针对安全贡献者，则由安全贡献者自行对安全网络采集数据上传。

针对蜜罐系统，则基于所开放易于暴露的安全漏洞，通过对网络攻击行为的诱捕，实现对攻击行为数据的获取，即作为采集到的安全网络采集数据。

数据分析系统用于接收来自数据采集系统上传的各安全网络采集数据，并分别针对各安全网络采集数据，依次进行数据识别、分类、清洗、转换、审核、验证处理，进而获得各个待存储安全网络知识数据，并上传至数据存储系统。

实际应用当中，数据分析系统分别针对各安全网络采集数据，依次具体执行如下处理，进而获得各个待存储安全网络知识数据，并上传至数据存储系统。

首先对安全网络采集数据进行数据识别处理，识别获得该安全网络采集数据所对应的数据来源，并根据数据来源所对应的预设指定规则，将该安全网络采集数据匹配成其对应的系统处理数据；

接着针对该安全网络采集数据所对应的系统处理数据，按预设分类规则进行分类，并对该系统处理数据中非可利用数据进行清洗，获得该安全网络采集数据所对应的基础知识数据；

然后针对该安全网络采集数据所对应的基础知识数据，进行数据转换，获得该安全网络采集数据所对应的系统待审核验证数据；

最后针对该安全网络采集数据所对应的系统待审核验证数据，依次进行审核、验证处理，若通过审核、验证，则获得该系统待审核验证数据中的待存储安全网络知识数据，若未通过审核、验证，则不做任何进一步操作。

对于数据分析系统中的审核、验证处理，在实际应用当中，如图3所示，具体执行如下步骤：

步骤a.针对安全网络采集数据所对应的系统待审核验证数据进行完全知识识别与知识分类，任何进入步骤b；

步骤b.针对该系统待审核验证数据，结合其所对应的知识分类，进行知识合规验证，若通过，则进入步骤c；若未通过，则对安全网络采集数据所对应的系统待审核验证数据，不做任何进一步处理；

步骤c.针对该系统待审核验证数据，进一步应用预设专家审核、解读、验证规则进行处理，若通过，则进入步骤d；若未通过，则对安全网络采集数据所对应的系统待审核验证数据，不做任何进一步处理；

步骤d.针对该系统待审核验证数据，采用预设指定安全知识检测工具进行检测，获得该系统待审核验证数据中的待存储安全网络知识数据。

数据存储系统用于接收数据分析系统上传的待存储安全网络知识数据，并采用关系型和非关系型数据存储方式对各待存储安全网络知识数据进行存储，同时，根据所述数据分析系统中针对安全网络采集数据的审核、验证处理结果，针对所述数据存储系统中所存储的对应待存储安全网络知识数据，按公共知识库和个人知识库进行分别存储。

上述技术方案是所设计多数据源安全知识归集系统，能够有效应对当前安全网络知识库系统的数据来源多样、种类多样、数据元素丰富、以及知识实时更新的特点，其中数据采集自动化程度高，可大大减少知识收集成本，并且该设计实现人工与自动化收集并行，实现全面知识收集；同时该设计通过严谨、可靠的知识审核验证流程，实现知识安全可用归集，以及基于自动化工具验证，减少人工审核过程和人工审核错误率，最大化提高审核验证效率；另一方面通过人工审核验证过程，实现重点、难点知识的分类、识别、审核、验证，人工审核验证的加入，弥补了工具自动验证过程中高难度知识的辨识，如此基于工具和人工双重验证，实现了严谨、可靠、安全的知识过滤，收集。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。