漏洞快速感知、定位及验证的方法与系统与流程

本发明涉及信息资产安全，尤其是一种漏洞快速感知、定位及验证的方法与系统。

背景技术

安全漏洞是信息系统在生命周期的各个阶段(设计、实现、运维等过程)中产生的某类问题，这些问题会对系统的安全(机密性、完整性、可用性)产生影响，它们以不同形式存在于信息系统中，一旦被利用，就会影响信息系统所承载业务的正常运行，危害信息系统及信息的安全。近年来由漏洞导致的网络安全事件层出不穷，如2014年4月爆出了heartbleed漏洞，该漏洞是近年来影响范围最广的高危漏洞，涉及各大网银、门户网站等。2015年，venom毒液漏洞影响全球数百万虚拟机安全。2016年3月，全球有三分之二的网站服务器用的开源的加密工具openssl爆出新的安全漏洞“水牢漏洞”，我国有十万余家网站受到影响。漏洞给国家政治、经济和社会造成危害，并对internet及国家关键基础设施构成严重威胁。

漏洞库是网络安全隐患分析的核心，收集和整理漏洞信息，建设漏洞库有十分重要的意义。漏洞库关系国家安全，世界各国都十分重视漏洞库的建设工作。欧美发达国家对漏洞库的研究建设投入较早，如美国国家漏洞库nvd、澳大利亚的aus-cert、丹麦的secunia、法国的vupen。国内在该领域的研究起步较晚，但对漏洞库建设工作非常重视，自2009年，先后建成了国家信息安全漏洞共享平台(cnvd)、中国国家安全漏洞库(cnnvd)及安全漏洞库(nipc)等三个颇具规模的国家级漏洞库。国家漏洞库建立后，国内知名安全厂商也纷纷建立第三方漏洞库，如360的补天漏洞响应平台、腾讯漏洞提交平台、seebug漏洞库等。

传统漏洞信息大多通过类似nvd、cve、cnvd、cnnvd等国家级漏洞平台或seebug等民间平台公布，而工业控制系统则通过ics-cert、cnvd的工控系统行业漏洞平台、工业控制系统生产厂商官网等进行公布，国内专业工控系统漏洞库较少，cnvd的工控系统行业漏洞平台主要通过对cve相关漏洞的分类整理进行收集，未能较突出地体现工业控制系统漏洞的重要性和危害性，cnnvd并未对工控系统漏洞单独分类，由此可知，多数收录工业控制系统漏洞的机构组织仅将从cve官网搜集的漏洞进行简单罗列和展示，未进行更深一步的分析和评级。

国有企业自有的漏洞库建设，目前尚未形成规模。

根据对国内外nvd、bugtrag、secunia、cnnvd、seebug的分类现状调研，nvd参照的是cwe标准，其漏洞类型，是目前分类最为规范、条目最多、使用最为广泛的分类标准，目前nvd漏洞分类有34个类型。cnnvd漏洞库参照nvd对漏洞的分类制定了《cnnvd漏洞分类描述规范》，在规范中，漏洞共分为31种类型。而bugtrag、secunia、sebug、360补天等其他漏洞发布平台漏洞分类标准，存在分类类型少、分类标准不规范、适用范围小等问题。

针对以上情况，国家于2017年颁布了漏洞分类标准gb/t33561-2017信息安全技术安全漏洞分类标准。在国家标准中，漏洞根据成因、空间、时间三个维度进行分类。从成因维度：漏洞分为11个类别；从空间维度，漏洞分为三个类别；按时间维度，漏洞则从生成阶段、发现阶段、利用阶段及验证阶段几个阶段进行分类。

另外，国家于2013年颁布了漏洞分类标准gb/t30279-2013信息安全技术安全漏洞等级划分指南标准。在国家标准中，根据访问路径、利用复杂度、影响程度三个要素进行等级的划分，共分为超危、高危、中危、低危。访问路径主要考察本地、邻接、远程三个因素，利用复杂度主要考察简单、复杂三个因素，影响程度主要考察保密性、完整性和可用性的影响程度。

根据对国内外漏洞平台nvd、cnvd、cnnvd采用的漏洞分级标准调研，nvd、cnvd分级均采用了cvss评分标准。cnnvd采用了国家标准，将漏洞分为超危、高危、中危、低危，并与cvss兼容，兼容的结果为超危(cvss：9-10分)、高危(cvss：7-8.9分)、中危(cvss：4-6.9分)、低危(cvss：1-3.9分)。

另外，国家于2012年颁布了漏洞分类标准gb/t28458-2012信息安全技术安全漏洞标识与描述规范。在国家标准中，定义了安全漏洞标识号为cvd-yyyy-nnnnnn格式，其中cvd为commonvulnerabilitiesdescription的缩写，yyyy为4位十进制数字，表示产生本漏洞的年份；nnnnnn为6位十进制数字，表示当年内产生的安全漏洞的序号；在国家标准中，漏洞描述项包括标识号、名称、发布时间、发布单位、类别、等级、影响系统等必须描述项，并可根据需要扩展相关编号、利用方法、解决方案建议、其他描述等描述项。

针对漏洞编码语法规则的制定，对cve、bugtraq、secunia、cnnvd、cnvd、360补天等国内外一些重要的漏洞发布平台进行分析调研。上述平台，除bugtraq和secunia仅以数字代表漏洞编号(bid：72853，sid：58037)外，其他均采用“前缀-年-数字”的形式表示。对于编码中未体现提交单位的情况，在漏洞展示页面中有“提交人员”、“提交单位”等属性项，可以提供相应的展示、统计等功能。

cve-id目前是国际通用的漏洞标识格式，在国内的各大漏洞平台中，漏洞编码与cve-id大多是一一对应关系，即任意cve-id都有唯一的漏洞编码进行标识。

漏洞信息的收集与发布对于互联网安全的发展来讲具有重要的意义。既可帮助安全人员研究分析漏洞数据，总结漏洞规律，提供相应的安全防护措施，也可帮助互联网用户有效的防止攻击者的攻击，保护个人隐私和利益。

通过对国内外知名漏洞库如cve、cnnvd、cnvd、360补天等进行分析调研，国外漏洞共享平台发展较早，已经形成一套完善的体系，cve的漏洞来源于美国政府部门、安全组织、商业公司、产品厂商合作共享以及专业人员的挖掘分析；国内各漏洞平台发展较晚，其历史漏洞资源都来自于国外权威漏洞平台的共享，对于新漏洞情报的获取，经过这些年的发展，目前也渐渐形成政府部门、安全组织、商业公司合作共享、国外权威漏洞平台获取及专业人员的挖掘分析多途径获取的模式；获取的方式可通过共享api、网络爬虫爬取、平台提交等技术和方法。

爬虫技术作为一种辅助人们检索信息的工具成为用户访问互联网的入口和指南。通用的爬虫技术是从一个或若干个初始种子开始爬行，获得初始，在爬取网页的过程中，不断从当前也面上获取新的放入队列，直到满足系统结束条件为止。然而随着网络资源的爆炸式膨胀和信息量的飞速增长，通用爬虫技术在搜索规模、更新速度和个性化等很多方面都已不能满足用户需要。为了解决此类问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程序，它根据既定的抓取目标，有选择的访问万维网上的网页与相关链接，获取所需的信息。与通用爬虫技术不同，聚焦爬虫并不追求大的覆盖率，而将目标定为抓取与某一特定主题内容相关的网页。从用户提供的种子网站幵始，按照用户根据自身需求所设定的爬取规则来爬取网站信息。

技术实现要素：

本发明的主要目的在于针对现有技术的不足，提供一种漏洞快速感知、定位及验证的方法与系统。

为实现上述目的，本发明采用以下技术方案：

一种用于实现漏洞快速感知、定位及验证的系统，其特征在于，包括漏洞感知模块，所述漏洞感知模块包括：

漏洞信息采集层，通过漏洞信息采集技术从漏洞信息源获取漏洞信息；

漏洞信息预处理层，对所述漏洞信息采集层获取的漏洞信息进行预处理，并根据处理结果将漏洞信息送入漏洞数据存储层；

漏洞数据存储层,在漏洞数据库中存储经处理的漏洞信息。

进一步地，所述漏洞信息采集技术包括线下导入、提交、线上下载、漏洞平台api获取以及网络自动爬取。

进一步地，所述漏洞信息预处理包括通过去重、降噪、评级、分类、建索引中的任一种或多种处理方法，对漏洞信息进行处理。

进一步地，所述漏洞信息采集层采用爬虫技术实现漏洞的自动化巡检，实现漏洞资源的自动获取，包括：自动收集各个漏洞库在网络上最新发布的漏洞信息和最近更新的漏洞信息；通过调整网络参数躲避目标站点防护墙的检测；针对漏洞信息的局部及全局快速下载。

进一步地，所述漏洞信息采集层采用漏洞扫描方法获得漏洞信息，包括：建立漏洞扫描任务，开展漏洞扫描，以及发掘漏洞威胁；优选地，以不同粒度进行漏洞扫描，包括：全漏洞库扫描，按漏洞类别进行扫描，以及指定特定漏洞的扫描。

进一步地，所述漏洞信息采集层采用匹配法获得漏洞信息，将漏洞信息与资产信息库进行匹配，包括构建跨区资产信息库，资产库中包含资产的详细属性，包括：资产归属组织管理字段：业务资产管理字段：ip资产管理字段：ip资产属性字段；

当从漏洞源获取新高危漏洞情况时，通过比对漏洞详细信息，匹配出可能存在该漏洞的资产；当资产库发生变更时，则通过比对发生变更的资产的详细信息，找出此资产可能存在漏洞清单。

进一步地，采用主题描述方法，将所需要的主题量化成可以计算、对比的形式，实现网络爬虫漏洞信息获取；所述主题描述方法包括以下基于本体的描述法、基于层次分类的描述法和基于动态关键词的描述法中的一种或多种；

基于本体的描述法包括将主题采用本体的概念来描述，所述本体是描述概念模型的明确清晰的规范说明；

基于层次分类的描述法包括利用树状结构的目录对主题进行描述，优选地，在设置好的目录树中选择一些结点作为正例，其余结点作为反例；

基于动态关键词的描述法包括对基本关键字集合进行动态扩充。

进一步地，采用相关度分析方法实现网络爬虫漏洞信息获取，包括基于内容的相关度分析和基于链接的相关度分析以及两者的结合；

基于内容的相关度分析包括：分析网页中的文本、锚文等与主题的相关性，其中通过字符串匹配扫描对比文本与主题字典有无重合部分，或者，在主题关键词的出现顺序对主题表示无影响的情况下，首先将主题字典表示为一个主题空间中的n维向量k(k1，k2，…，kn)，ki表示第i个关键词对主题描述的准确度，ki的值越大则第i个关键词对主题描述的准确度越高，之后将待分析内容也表示为主题空间的一个向量a(a1，a2，…，an)，计算k和a的余弦值得到内容与主题的相关度，所述相关度的取值范围为[0，1]，若结果为0表示相关度最低，为1表示相关度最高；

基于链接的相关度分析包括：通过网页之间的链接关系来确定网页的相关程度；

结合基于基于内容的相关度分析方法和基于链接的相关度分析包括：利用公式k＝k1α+k2β或者k＝k1αβ来重新计算相关度，其中α，β分别是所述基于内容相关度的分析和所述基于链接的相关度分析得到的结果，k1，k2是调节参数，k是最终的相关度分析结果；优选地，包括对url和网页进行相关度分析。

进一步地，针对同一个漏洞从不同的源下载后出现多个名字，采用以下的处理方式：

1)对于已经列入cve名称列表的漏洞，在从不同的源爬取时，采用比对cve-id的方法，下载漏洞信息时，首先判断漏洞库中是否已经包含该条漏洞，如果包含，将放弃下载，避免重复：

2)对于未列入cve名称列表的漏洞，在预处理时判断其描述、影响系统、级别、分类、参考资源等信息，并作未待确认漏洞，提示用户判断该漏洞信息是否已经存在。

一种用于实现漏洞快速感知、定位及验证的方法，使用所述的系统来进行漏洞快速感知、定位及验证。

本发明的有益效果：

本发明提供了一种漏洞快速感知、定位及验证的方法与系统，能够快速、可靠地感知漏洞信息，并根据漏洞感知结果可进行漏洞的定位及验证。例如，通过本发明的漏洞感知，可以用于发现联网主机的操作系统、服务、应用组件的脆弱点，为渗透攻击/测试提供数据支撑和利用资源，最终寻找出联网主机、其系统、服务、应用组件中可能存在的漏洞。本发明有助于建设结构合理、信息完备的漏洞库，有利于为安全厂商基于漏洞发现和攻击防护类的产品提供技术和数据支持；有利于企业从整体上分析漏洞的数量、类型、威胁要素及发展趋势，指导他们制定未来的安全策略；有利于用户确认自身应用环境中可能存在的漏洞，及时采取防护措施。使用本发明实施例，可实现漏洞信息的自动化巡检，包括自动收集目前各个漏洞库发布的漏洞信息；通过调整网络参数躲避目标站点防护墙的检测；自动化检测最新发布的漏洞信息和最新更新的漏洞信息；针对漏洞信息局部及全局快速下载。本发明为实现漏洞快速治理，及时地修复信息系统的安全漏洞提供了有利的条件和有效的途径。同时，本发明还有利于实现资产识别和管理。本发明还为资产的变更感知和分布式资产的探测提供了有用的方法。

附图说明

图1为本发明一种实施例的用于实现漏洞快速感知、定位及验证的系统的结构框图；

图2为本发明优选实施例中的采用相关度分析方法结合基于内容的相关度分析和基于链接的相关度分析实现网络爬虫漏洞信息获取的流程图；

图3为本发明优选一种实施例的针对同一漏洞从不同的源下载后出现多个名字的处理流程图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1，在一种实施例中，一种用于实现漏洞快速感知、定位及验证的系统，其特征在于，包括漏洞感知模块，所述漏洞感知模块包括：

漏洞信息采集层，通过漏洞信息采集技术从漏洞信息源获取漏洞信息；

漏洞信息预处理层，对所述漏洞信息采集层获取的漏洞信息进行预处理，并根据处理结果将漏洞信息送入漏洞数据存储层；

漏洞数据存储层,在漏洞数据库中存储经处理的漏洞信息。

在具体实施例中，漏洞信息可以分别从国际、国家等权威漏洞平台、厂商漏洞以及电网内部等漏洞信息来源获取。

在各种实施例中，所述漏洞信息采集技术包括线下导入、提交、线上下载、漏洞平台api获取以及网络自动爬取。

在一些实施例中，所述漏洞信息预处理包括通过去重、降噪、评级、分类、建索引中的任一种或多种处理方法，对漏洞信息进行处理。

在一些实施例中，所述漏洞信息采集层采用爬虫技术实现漏洞的自动化巡检，实现漏洞资源的自动获取，包括：自动收集各个漏洞库在网络上最新发布的漏洞信息和最近更新的漏洞信息；通过调整网络参数躲避目标站点防护墙的检测；针对漏洞信息的局部及全局快速下载。

在一些实施例中，所述漏洞信息采集层采用漏洞扫描方法获得漏洞信息，包括：建立漏洞扫描任务，开展漏洞扫描，以及发掘漏洞威胁；优选地，以不同粒度进行漏洞扫描，包括：全漏洞库扫描，按漏洞类别进行扫描，以及指定特定漏洞的扫描。

在另一些实施例中，所述漏洞信息采集层采用匹配法获得漏洞信息，将漏洞信息与资产信息库进行匹配，包括构建跨区资产信息库，资产库中包含资产的详细属性，包括：资产归属组织管理字段：业务资产管理字段：ip资产管理字段：ip资产属性字段。例如：

资产归属组织管理字段：

组织名称、组织接口人、备注；

业务资产管理字段：

等保备案名称、资产ip(多个)、业务资产名称、编号、业务资产类型、资产所属组织、资产管理员、资产管理员联系方式、等保级别(1,2,3,4,5)、机密性需求、完整性需求、可用性需求；

ip资产管理字段：

ip、域名、区域、业务资产名称、资产归属组织、资产管理员、操作系统类型、操作系统版本、资产mac、所处位置、所处机架；

ip资产属性字段：

端口属性：端口、应用名称、服务名称、服务版本；

数据库属性：服务名称、服务端口、数据库版本；

web服务属性：服务端口、标题、web应用名称、web服务名称；

证书数据集：加密套件的标识、证书版本、证书拥有者信息、证书序列号。

当从漏洞源获取新高危漏洞情况时，通过比对漏洞详细信息，匹配出可能存在该漏洞的资产；当资产库发生变更时，则通过比对发生变更的资产的详细信息，找出此资产可能存在漏洞清单。

与漏洞扫描方法相比，信息匹配的方式更全面，也能快速定位后采用验证方式进行漏洞验证，达到提高精确度、减少工作量的目的。

在一些实施例中，可采用聚焦爬虫(也称之为主题爬虫策略)，通过聚焦爬虫根据既定的主题有选择性地获取网页信息，获取后对网页进行主题相关性分析。网络爬虫源自spider(或crawler、robots、wanderer)等的意译。网络爬虫的定义有广义和狭义之分，狭义的定义为：利用标准的http协议，根据超级链接和web文档检索的方法遍历万维网信息空间的软件程序。广义的定义为：所有能利用http协议检索web文档的软件都称之为网络爬虫。网络爬虫是一个功能很强大的自动提取网页的程序，它为搜索引擎从万维网下载网页，是搜索引擎的重要组成部分。它通过请求站点上的html文档访问某一站点。它遍历web空间，不断从一个站点移动到另一个站点，自动建立索引，并加入到网页数据库中。网络爬虫进入某个超级文本时，利用html语言的标记结构来搜索信息及获取指向其他超级文本的url地址，可以完全不依赖用户干预实现网络上的自动“爬行”和搜索。网络爬虫在搜索时往往采用一定的搜索策略。

在一些具体实施例中，聚焦爬虫的爬行策略只跳出某个特定主题的页面，根据“最好优先原则”进行访问，快速、有效地获得更多的与主题相关的页面，主要通过内容与web的链接结构指导进一步的页面抓取。聚焦爬虫会给它所下载的页面一个评价分，根据得分排序插入到一个队列中。最好的下一个搜索对弹出队列中的第一个页面进行分析后执行，这种策略保证爬虫能优先跟踪那些最有可能链接到目标页面的页面。通过评价链接价值，链接的价值不同，表现出的链接的“重要程度”也不同。由于链接包含于页面之中，而通常具有较高价值的页面包含的链接也具有较高价值。因此，可以对链接价值的评价转换为对页面价值的评价。本策略尤其适于只关心某一特定主题的页面。

在一些实施例中，采用主题描述方法，将所需要的主题量化成可以计算、对比的形式，实现网络爬虫漏洞信息获取；所述主题描述方法包括以下基于本体的描述法、基于层次分类的描述法和基于动态关键词的描述法中的一种或多种。

基于本体的描述法包括将主题采用本体的概念来描述，所述本体是描述概念模型的明确清晰的规范说明。

基于层次分类的描述法包括利用树状结构的目录对主题进行描述，优选地，在设置好的目录树中选择一些结点作为正例，其余结点作为反例。

基于动态关键词的描述法包括对基本关键字集合进行动态扩充。

在优选的实施例中，采用相关度分析方法实现网络爬虫漏洞信息获取，包括基于内容的相关度分析和基于链接的相关度分析以及两者的结合。

基于内容的相关度分析包括：分析网页中的文本、锚文等与主题的相关性，其中通过字符串匹配扫描对比文本与主题字典有无重合部分，或者，在主题关键词的出现顺序对主题表示无影响的情况下，首先将主题字典表示为一个主题空间中的n维向量k(k1，k2，…，kn)，ki表示第i个关键词对主题描述的准确度，ki的值越大则第i个关键词对主题描述的准确度越高，之后将待分析内容也表示为主题空间的一个向量a(a1，a2，…，an)，计算k和a的余弦值得到内容与主题的相关度，所述相关度的取值范围为[0，1]，若结果为0表示相关度最低，为1表示相关度最高。

基于链接的相关度分析包括：通过网页之间的链接关系来确定网页的相关程度。

如图2所示，在更优选的实施例中，结合基于基于内容的相关度分析方法和基于链接的相关度分析包括：利用公式k＝k1α+k2β或者k＝k1αβ来重新计算相关度，其中α，β分别是所述基于内容相关度的分析和所述基于链接的相关度分析得到的结果，k1，k2是调节参数，k是最终的相关度分析结果。本实施例的方法可以有效提高相关度分析的准确性。优选地，包括对url和网页进行相关度分析。在此感知模型中对url和网页进行相关度分析，可进一步提高相关度分析的准确性。

较佳地，本发明的实施例还提供一种多源获知的漏洞集成策略。对于多源获知的漏洞，可以保证信息的全面性，但是可能会出现同一个漏洞信息在多个源都存在的问题，也就是存在信息冗余的问题，即同一个漏洞从不同的源下载后，出现多个名字的问题。目前，国外的大多数权威漏洞源遵循cve的标准，而国内的权威漏洞平台的漏洞都会将名称对应唯一的cve-id。如图3所示，在优选的实施例中，针对同一个漏洞从不同的源下载后出现多个名字，采用以下的处理方式：

1)对于已经列入cve名称列表的漏洞，在从不同的源爬取时，采用比对cve-id的方法，下载漏洞信息时，首先判断漏洞库中是否已经包含该条漏洞，如果包含，将放弃下载，避免重复：

2)对于未列入cve名称列表的漏洞，在预处理时判断其描述、影响系统、级别、分类、参考资源等信息，并作未待确认漏洞，提示用户判断该漏洞信息是否已经存在。

一种用于实现漏洞快速感知、定位及验证的方法，使用前述任一实施例所述的系统来进行漏洞快速感知、定位及验证。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。