一种基于多源海量异构数据的网络监测分析及管理平台的制作方法

文档序号：12278757阅读：328来源：国知局

本发明属于网络安全应用技术领域，尤其是涉及一种基于多源海量异构数据的网络监测分析及管理平台。

背景技术：

现有技术中，各个网络安全监测手段相对独立，监测数据分布散乱，缺乏有效的关联分析，难以发挥数据的综合效益，加之监测数据量巨大、数据结构多样，传统的单纯基于关系型数据库的存储和分析方法已经无法满足网络安全业务需要。此为现有技术的不足之处。

因此，针对现有技术中的上述缺陷，建设一套集中化的网络安全监测分析和业务管理平台，将分布的各个系统监测数据汇总，利用大数据技术进行存储、清理、比对、分析、关联、统计、溯源，自动化处理网络安全业务，生成各种网络安全事件报表和重要事件处置文档，为互联网网络安全监管提供支撑服务；是非常有必要的。

技术实现要素：

本发明的目的在于，针对上述现有技术存在的缺陷，提供设计一种基于多源海量异构数据的网络监测分析及管理系统，以解决上述技术问题。

为实现上述目的，本发明给出以下技术方案：

一种基于多源海量异构数据的网络监测分析及管理平台，其特征在于：该平台包括由底层到顶层依次排列的数据源层模块、采集层模块、数据层模块、处理层模块、展现层模块以及用户层模块；

所述的数据源层模块包括恶意程序系统、僵木蠕系统、互联网站监管系统、DNS监测系统、流监测系统、事件报送系统以及漏扫系统；

所述的采集层模块包括恶意程序数据接口、僵木蠕数据接口、备案数据接口、DNS数据接口、流检测数据接口、事件报送系统接口、漏扫系统接口；

所述的数据层模块包括大数据服务中心，还包括恶意程序事件单元、恶意程序样本单元、僵木蠕事件单元、僵木蠕样本单元、网站数据单元、域名数据单元、IP数据单元、网站主体单元、流数据单元、恶意软件单元、恶意站点单元、网站篡改单元、网站后门单元、僵尸木马单元、蠕虫单元、事件处置单元、事件通知单元、漏洞信息单元；

还包括恶意程序监测策略单元，僵木蠕监测策略单元，事件处置策略单元，漏洞处置策略单元，数据分析、关联、统计数据单元，系统配置参数单元；

所述的处理层模块包括数据对比单元、数据清洗单元、数据关联单元、数据统计单元、报表管理单元、监测管理单元、预警通报单元、事件处置单元、系统管理单元；

所述的展现层模块包括安全态势分析单元、关联分析单元、基础数据管理单元、业务管理单元、统计查询单元、系统管理单元、通告数据单元、统计数据单元、报表数据单元、定制数据的单元；

所述的用户层模块包括本单位用户和外单位用户。

优选地，所述的恶意程序系统连接恶意程序数据接口，僵木蠕系统连接僵木蠕数据接口，互联网站监管系统连接备案数据接口，DNS监测系统连接DNS数据接口，流监测系统连接流检测数据接口，事件报送系统连接事件报送系统接口，漏扫系统连接漏扫系统接口。

优选地，所述的本单位用户连接安全态势分析单元、关联分析单元、基础数据管理单元、业务管理单元、统计查询单元、系统管理单元。

优选地，所述的外单位用户连接通告数据单元、统计数据单元、报表数据单元、定制数据的单元。

本发明还给出网络监测分析及管理平台的研究方法：

(1)制定《与僵木蠕监测系统对接接口规范》、《与恶意程序监测系统对接接口规范》、《下发监测指令至僵木蠕监测系统接口规范》、《下发监测指令至恶意程序监测系统接口规范》、《与域名安全系统对接接口规范》、《与流日志系统对接接口规范》接口规范；

(2)研究基于大数据、云计算、云存储技术实现多源异构数据汇入、整合、存储、关联分析；

(3)研究自定义图形化事件分析模型，完成各种网络安全事件之间的关联分析、二维透视分析；

(4)研究基于多样化的网络事件属性及危害程度，建立安全事件综合评估模型；

(5)研究不同系统跨网数据查询技术；

(6)研究IP归属地的准确性校验技术。

该网络检测分析及管理平台主要功能包括：

(1) 态势分析

可以通过宏观和微观事件两个方面呈现网络安全态势，增强安全威胁感知和事件发现能力。安全态势展示功能主要用来展示网络安全状况，包括有仪表盘展示、地图展示、图表展示、趋势曲线几种方式。安全态势展示模块根据指标体系计算出的不同维度的网络安全指数，其模型算法能够准确反应威胁等级，并在界面给用户以简要的描述信息。通过上述方式进行展示，用户能够非常直观地了解到当前的网络状况。展示模块列出了重要的威胁信息：威胁类型、威胁名称、风险值、发生次数、原因、最后的统计时间、发生的区域、发生的单位、发生的行业、影响范围根据这些信息可以确定网络中最严重的威胁是什么，从而有针对性地采取措施。

(2) 统计查询

全局统计分析方面：从宏观角度，建立网络安全评估模型，并利用趋势曲线、地图、列表等多种可视化仪表，以多个维度展现实时和历史整体网络安全态势；

具体事件统计分析方面：按具体事件（木马僵尸、蠕虫、后门、篡改、挂马、移动恶意程序）种类划分，展现某类安全威胁的地区分布、行业统计、时间趋势分析、大型攻击源排名、运营商统计、影响单位统计、活跃度等级等情况。

(3) 数据查询

平台能够实现多种查询方式包括：向导式、可编程式等多种界面，支持同步和异步两种响应模式，结果能选择多种呈现方式,为安全事件的追踪溯源和态势分析提供数据支撑。

(4) 关联分析

二维透视分析：平台提供可以按照选择的安全数据建立交互式透视分析表，建立同一种数据下两个维度之间的透视关系，达到诸如分析主机控制关系、网络攻击热度等目的；

关联分析：建立同一纬度下分布式数据仓库间的关联关系,从海量异构数据中发现感知安全威胁,从单一事件信息感知大规模攻击行为,并与基础资源数据和重要行业数据相关联，从地域、部门、行业等多个角度进行分析，为防范持续大规模网络攻击（APT）提供分析手段。

(5) 数据管理

基础数据管理：平台支持对基础数据的导入、核查纠错功能，能够手工或批量管理重要用户单位信息，包括单位名、域名、IP地址段、行业分类等；

运行数据管理：平台支持管理流日志、域名安全等业务系统数据；

事件数据管理：实现对各网络安全事件上报系统数据管理。

(6) 业务管理

下发监测指令：主要是可以根据用户需求定制不同的监测策略，监测策略可以下发至各独立系统监测探头实现数据采集，采集数据可以反馈至网络安全监测分析和业务管理平台；

事件威胁处置：分为日常处置和专项处置。平台支撑用户业务办理中的事件处置，每天处理大量的处置事件，使整个业务的事件处置流程化；

定期信息通报：平台提供多种预警通报。网络安全监测分析和业务管理平台针对用户经常使用的预警通报格式进行整理，以模版的方式内置到系统，通过系统事件监测和事件处置后，会形成信息通报；通过对监测事件的通报统计，可以针对合作伙伴、重点客户进行安全事件进行预警通报。

本发明的有益效果在于，丰富网络安全监测分析与业务管理手段，大大加强网络安全事件的感知能力，并实现安全数据共享，协助各行业重要信息系统单位提升网络安全保障能力，促进互联网健康平稳发展，带来良好社会经济效益。平台整合各大独立系统的监测手段，能够对分散的监测系统进行集中化管理，统一存储汇总各数据源数据，并具备对各系统监测特征库的管理功能。依托上述架构，平台利用较少投资实现了网络安全态势感知分析能力的大幅提升，且随着各独立系统的升级扩容，无须额外投入便可实现监测能力的自增长，具有较高的产出投入比。此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

由此可见，本发明与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。

附图说明

图1是本发明提供的一种基于多源海量异构数据的网络监测分析及管理平台的架构图。

图2是本发明提供的一种基于多源海量异构数据的网络监测分析及管理平台的功能图。

具体实施方式

下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。

如图1和2所示，本发明提供的一种基于多源海量异构数据的网络监测分析及管理平台，该平台包括由底层到顶层依次排列的数据源层模块、采集层模块、数据层模块、处理层模块、展现层模块以及用户层模块；