基于分布式技术的自动化互联网资产监控和风险检测方法与流程

本发明属于网络信息安全技术领域，尤其涉及基于分布式技术的自动化互联网资产监控和风险检测方法。

背景技术：

进入了互联网+时代，各行各业逐步在向互联网+转型。随着互联网+的发展，企业将会逐步转型，更多的业务将会部署在互联网上，然而随着互联网资产的增多，企业所面临的安全风险将更多，如何加强互联网资产的风险管理将成为安全管理员的重大挑战。随着企业的业务从线下逐步走到线上，互联网上的资产成为了黑客攻击的重点，而在不同的互联网资产上，企业的边缘资产往往成为黑客攻击的首要对象。黑客的攻击手法也在变化，利用敏感信息入侵已经成为了黑客新的攻击手法，包括利用外泄的邮件进行钓鱼，在Github上搜索与企业相关的代码并进行渗透，一个员工的密码提交到Github，导致全公司Wiki，Jira和代码泄漏，因此企业除了需要关注常规漏洞外，敏感信息也应该得到重视。当出现严重漏洞爆发时，安全管理员将必须马上对互联网上的资产进行漏洞确认及修补，然而随着互联网资产的增多，从漏洞检测到修补的时间将加大，黑客往往会利用这个修补的间隙通过漏洞对系统进行入侵，因此，如何缩短漏洞的网内生命周期也将成为安全管理员所要关注的重要问题。

安全评估利用大量安全性行业经验和漏洞扫描的最先进技术，从内部和外部两个角度，对企业信息系统进行全面的评估，由于各种平台、应用、连接与变更的速度和有限的资源组合在一起，因此采取所有必要措施保护组织的资产比以往任何时候都困难。环境越复杂，就越需要这种措施和控制来保证组织业务流程的连续性，目前常见的安全评估产品有绿盟、启明等公司的RSAS、天镜脆弱性扫描与管理系统。

传统的扫描器已经无法满足用户在互联网+背景下复杂变化资产的持续监控和安全评估需求，目前主要体现在以下方面：

1、传统的扫描工具需要人力去搜集资产，并手工添加到扫描器中，工作效率低；

2、无法主动化获取监控互联网资产和变化，进行安全评估；

3、无法获取最新的安全动态、资产数据进行关联分析，做智能化的安全资讯推荐。

技术实现要素：

本发明实施例的目的在于提供一种基于分布式技术的自动化互联网资产监控和风险检测方法，能够主动监控互联网资产并识别出资产风险。

本发明实施例是这样实现的：

基于分布式技术的自动化互联网资产监控和风险检测方法，包括：

利用分布式消息队列对暴露在互联网侧的互联网资产进行发现和扫描，使用爬虫技术和DNS解析自动爬取所发现的互联网资产信息，包括子域名、网段、web信息、IP信息、搜索引擎信息和社工信息，设置人工信息收集端口，对CVE漏洞库信息、安全资讯信息、社工库信息及POC库信息进行收集，将上述自动爬取的信息和人工收集的信息进行整合，形成完整的互联网资产信息库，对所述互联网资产信息库进行扫描及安全检测，检测高危服务端口、系统弱口令、系统高危安全漏洞、暴露在搜索引擎的敏感文件、危险CMS的风险，并输出风险分析结果。

本发明实施例通过在网络中利用分布式引擎进行自动资产发现、深度资产探测、外部信息收集从而可以进行自动化数据挖掘与情报分析，对企业互联网资产进行全面监控，并提供风险分析结果及风险信息展示，使风险可视化，利于企业快速采取漏洞补救措施。

附图说明

图1是本发明资产监控及风险检测方法构成图；

图2是本发明资产监控及风险检测平台的功能模块示意图；

图3是本发明中自动资产发现的展示图；

图4是本发明中资产信息收集的范围示意图；

图5是本发明中威胁情报收集的范围示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例通过在网络中利用分布式引擎进行自动资产发现、深度资产探测、外部信息收集从而可以进行自动化数据挖掘与情报分析，对企业互联网资产进行全面监控，并提供风险分析结果及风险信息展示，使风险可视化，利于企业快速采取漏洞补救措施。

以下结合具体实施例对本发明的具体实现进行详细描述：

本发明的方案采用celery+redis作为分布式消息队列，提升自动化资产发现和扫描速率，其中，Celery是Python开发的分布式任务调度模块，Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值(value)可以是字符串(String)，哈希(Map)，列表(list)，集合(sets)和有序集合(sorted sets)等类型；使用爬虫技术和DNS解析记录主动发现互联网资产，使用无状态扫描技术快速获取服务状态和应用信息；利用计算分析引擎分析资产关联和应用类别；利用扫描引擎对互联网资产进行扫描和安全检测。

如图1所示，本发明的互联网资产监控和风险检测方法包括：利用分布式消息队列对暴露在互联网侧的互联网资产进行发现和扫描，使用爬虫技术和DNS解析自动爬取所发现的互联网资产信息，包括子域名、网段、web信息、IP信息、搜索引擎信息和社工信息，设置人工信息收集端口，对CVE漏洞库信息、安全资讯信息、社工库信息及POC库信息进行收集，将上述自动爬取的信息和人工收集的信息进行整合，形成完整的互联网资产信息库，对所述互联网资产信息库进行扫描及安全检测，检测高危服务端口、系统弱口令、系统高危安全漏洞、暴露在搜索引擎的敏感文件、危险CMS的风险，并输出风险分析结果。

其中，CVE的英文全称是“Common Vulnerabilities&Exposures”公共漏洞和暴露。CVE就好像是一个字典表，为广泛认同的信息安全漏洞或者已经暴露出来的弱点给出一个公共的名称。使用一个共同的名字，可以帮助用户在各自独立的各种漏洞数据库中和漏洞评估工具中共享数据，虽然这些工具很难整合在一起。这样就使得CVE成为了安全信息共享的“关键字”。如果在一个漏洞报告中指明的一个漏洞，如果有CVE名称，你就可以快速地在任何其它CVE兼容的数据库中找到相应修补的信息，解决安全问题。CMS是Content Management System的缩写，意为“内容管理系统”。

如图2所示，在互联网侧的所有资产以自动化与人工相结合的模式，模拟APT攻击的自动信息收集、威胁发现、威胁预警的持续监控，同时提供平台给用户自助查看，目前平台主要功能分为五大块，包括自动资产发现、深度资产探测、外部信息收集(威胁情报收集)、自动化数据挖掘和人工情报分析。

对于自动资产发现：如图3所示，自动资产发现是方案中最重要与最智能功能之一，用户只需要通过平台填写主域名，如(test.com)，平台将会根据用户所提供的主域名进行自动爬取，同时针对没有域名的系统，可提供网段进行自动爬取，发现企业暴露在互联网的资产信息，包括子域名、网段等信息。

对于深度资产探测：如图4所示，平台将会根据自动资产发现的企业资产进行深度挖掘，发现资产中的Web信息、IP信息、搜索引擎信息、社工信息，形成庞大的互联网资产数据库。Web信息指Web指纹识别，包括网站关键字、开发语言、中间件、网站描述、CMS类型和开源框架类型等；IP信息识别指操作系统、开放端口、服务版本等；搜索引擎信息指暴露在搜索引擎中的敏感文件、登录页面、敏感信息等；社工信息指暴露在开源社区中的敏感信息。

□IP资产数据库

针对每个IP地址的端口、服务、应用、版本类型进行收集，形成数据库，并提供搜索接口方便用户进行查询。

□Web资产数据库

针对每个Web登录界面的各类型信息收集，包括中间件、服务器类型、开发语言进行收集，形成数据库，并提供搜索接口方便用户进行查询。

同时也提供多样化的数据统计，为安全管理员提供更好的安全量化工作，如端口统计、操作系统类别统计等。

对于外部信息收集(威胁情报收集)：如图5所示，由人工将定期去收集外部的威胁情报，包括重大的安全漏洞所影响的范围、最新的漏洞POC、社工库信息等，用于对资产信息收集过程中的数据进行挖掘，这样就形成了信息收集的补充。CVE漏洞库信息收集，主要抓取CVE上最新的安全漏洞以及影响版本；安全资讯信息收集，主要收集各大安全媒体的重要资讯，如freebuf、安全牛等；社工库信息收集，专注已经流出的社工库并进行收集；POC库收集，监控个类型漏洞收集平台，关注软件安全漏洞的最新情况。

平台还会通过搜索引擎以及爬虫持续对企业暴露在互联网侧的敏感信息进行抓取，包括员工信息、外泄文件、Github开源社区、社工信息进行监控。自动化发现企业暴露在互联网侧的邮箱账号；自动化发现企业暴露在互联侧的文件信息，发现包含有身份证、银行卡、电话、邮箱等敏感信息；开源社区监控：用户可自定义敏感字，系统将自动监控在Github上的敏感信息，发现企业暴露在Github上的可疑敏感代码。

对所有收集的信息进行数据挖掘与评估测试，发现互联网资产中脆弱点，自动化去解决大部分常见的安全漏洞，如：

1、自动化去发现暴露在外网的各类型高危端口，包括SSH、RDP、MYSQL、Oracle、MSSQL等各类型可登陆的服务类型的高危端口。

2、对于系统弱口令，基于协议的端口识别技术，支持常见的服务的暴力破解，包括SSH、RDP、MYSQL、Oracle、MSSQL等各类型可登陆的服务类型端口。

3、对于可被利用系统漏洞的检测，漏洞检测方法与传统的漏洞扫描不一样，平台的漏洞检测引擎主要关注可被直接利用入侵的往往有公开POC的安全漏洞为主，如心脏滴血、Shockshock、常见CMS注入等安全漏洞。

4、对于可撞库入口识别，目前暴露在外网中的登录接口往往是攻击者往往首要关注的对象，诸如撞库攻击、弱口令猜测等，平台可对用户暴露在外网的登录接口进行收集，并交由后台的分析人员对登录接口进行分析，发现可被攻击的登录接口。

5、对于危险CMS主动识别，目前越来越多的开发者习惯使用开源CMS进行源码修改后使用，因此CMS往往成为了攻击者关注的重点，尤其当出现常见CMS的安全漏洞时，用开源源码修改的系统往往最容易受到直接的攻击，目前平台支持识别市面上大部分的CMS，能够帮助用户尽可能的识别出自身在外网的开源CMS，当该CMS出现高危漏洞时，能够及时预警，减少被利用的风险。

综上，通过完成互联网资产收集及各种风险识别，使企业互联网资产的风险可视化，识别范围全面，减少了资产风险的危害性。

本发明的方法是采用分布式技术，在互联网上自动化的方式对企业资产进行深度挖掘，发现资产中的域名信息、IP信息、Web信息、搜索引擎信息、社工信息，形成庞大的互联网资产数据库，并和漏洞信息联动，构建自己的扫描插件库对所有搜集到的资产信息进行实时资产监控和风险评估。本发明的目标是帮助用户从被动检查转化为主动发现，通过自主互联网资产发现，并进行持续监控，实现对互联网资产的可视化管理，主动发现边缘资产脆弱性，重大漏洞及时预警，最终达到互联网资产安全管理闭环、安全量化，提高企业互联网资产的安全性。

本发明的实施例中，主要的效果体现在：

1、全方位的自动资产挖掘，与传统的扫描器、以及云监控服务不同，本发明的方案不需要用户提供具体的域名，只需要提供一个主域名，如test.com，即可主动去挖掘用户暴露在互联网上的子域名、IP网段、端口、服务、Web业务等信息，简化安全管理员的资产收集工作，同时更全面的发现暴露在互联网中资产。

2、细粒度的即时企业互联网资产库，在安全运维的过程中，由于安全管理员并非业务系统管理员，因此在需要对资产信息进行收集分析时往往需要大量向业务系统管理员进行收集，而且花费大量的时间，在这个过程中往往因为临时业务变更，导致信息已经出现偏差。本发明通过资产挖掘以及信息收集功能，能够生成一个即时的细粒度资产数据库，安全管理员可以通过本发明的实时资产数据库的查询功能，搜索暴露在互联网上的资产信息，如IP、端口、域名等，方便安全管理员对资产数据进行实时的信息统计，提高工作效率。

3、智能、专业的漏洞识别，传统的漏洞扫描已经逐步演变成应付与安全检查的工具，扫描出的大量的安全漏洞信息其实并没有实际的利用价值，与传统的漏洞扫描不同，本发明的漏洞识别模块往往更关注于渗透测试中常见的可被黑客攻击者所利用的安全漏洞以及运维失当的安全问题，使得本发明的漏洞扫描模块更贴近于实际业务，同时提供漏洞插件，提高本发明的漏洞发现能力。

4、重大漏洞的及时预警，当出现大规模安全漏洞爆发时，安全管理员可通过本发明的资产数据库，及时定位可能受影响的互联网资产，缩短漏洞检测的漫长过程，提高漏洞修补的速度，减少被黑客利用入侵的机会。

5、多维、细粒度的统计分析，本发明提供多方位的统计分析，本发明从多个视角对互联网资产进行了透彻地分析，对漏洞分布、资产信息等多视角信息进行了细粒度的统计分析，并通过柱状图、饼图等形式，直观、清晰的从总体上反映了网络资产的漏洞分布情况、资产分布情况，协助安全管理员更好的纵观当前的网络安全趋势。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。