本发明涉及数据分析相关技术领域，特别是指一种基于海量网络监测数据的大数据安全分析系统。
背景技术：
随着it在各行各业的深入发展，以及it技术自身的复杂化，it技术趋向于结构上的分层化以及广泛使用分布式的部署，传统单一的网络运维方式越来越不能满足变化的it技术、层出不穷的新型攻击手段。虚拟化云计算等技术也在原有的结构下，重新改变了it部署的方式。而智能电网的广泛使用，使得电网中的数字信息量剧增，需要以一种新的可视化运维方式来解决新的it运维挑战，保障用电网络的生产安全和能源科学研究的信息安全。
安全数据的数量、速度、种类的迅速膨胀，导致的不仅仅是海量异构数据的融合、存储和管理的问题，甚至动摇了传统的安全分析体系和方法。当前绝大多数安全分析工具和方法都是针对普通数据量设计的，在面对海量数据时难以为继。面对大量的安全要素信息，我们需要更加迅捷地感知网络安全态势。
传统的分析方法大都采用基于规则和特征的分析引擎，必须要有规则库和特征库才能工作，而规则和特征只能对已知的攻击和威胁进行描述，无法识别未知的攻击，或者是尚未被描述成规则的攻击和威胁。面对未知攻击和复杂攻击如apt等，需要更有效的分析方法和技术。我们需要更主动、更智能的分析方法。大数据安全分析平台加上可靠的数据采集样本，可以默认集成这样的已知攻击行为模式模型，来减少数据分析的工作。数据挖掘可以帮助完成一部分人的工作，特别是当分析平台可以自动化识别很多线索的时候，那么数据挖掘就可以根据线索的特定组合判定一个事件。通过这种工具式的分析平台可以极大的简化运维人员的数据分析工作，加上可靠的数据采集技术，可以实时准确的掌握电网的网络状态，充分保障智能用电网络的数据安全。
技术实现要素：
有鉴于此，本发明的目的在于提出一种基于海量网络监测数据的大数据安全分析系统，能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。
基于上述目的本发明提供的一种基于海量网络监测数据的大数据安全分析系统，包括：
数据流量监控模块，用于对网络中的数据流量进行实时监控，通过对不同系统应用的分析，对各类系统产生的海量实时流量数据进行全面无损采集并将监控数据发送给其他各个模块；
深度分组检测模块，用于基于采集的数据通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；
数据联合分析模块，用于通过对海量安全数据的聚合获取有效信息，然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；
异常检测模块，用于对采集数据进行分析检测，并判断是否存在异常；
安全评测模块，用于基于其余模块的分析和检测，综合判断当前网络态势，进而得到网络数据的评测结果。
可选的，所述数据类型包括机器数据，包括客户端、服务器、网络设备、安全设备、应用程序产生的日志以及采集的系统相关的时间序列事件数据，用于反映it系统内在的真实状况；
流量数据，为系统部分层网络通信协议的数据，用于进行深度包检测dpi、包头取样netflow技术进行分析；
代理数据，为应用的运行环境中插入代理程序，用于从字节码里统计函数调用、堆栈使用信息，从而进行代码级别的监控。
可选的，所述数据流量监控模块还包括数据采集模块，用于针对不同的数据类型根据预设的数据采集方式进行数据的采集。
可选的，所述深度分组检测模块还包括：
净荷特征匹配模块，用于通过识别数据报文中的净荷特征来确定业务流所承载的应用；
业务识别模块，用于识别控制流，并根据控制流协议分析识别出业务流的端口或对端网关地址等信息，然后对业务流进行解析，从而识别出相应的业务流；
行为模式识别模块，用于根据用户已经实施的行为，判断用户正在进行的动作或者即将实施的动作。
可选的，所述数据流量监控模块还包括数据采集系统模块，用于通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集。
可选的，所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；
依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；
实时展现获取的威胁情报、apt攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意ip的数量、恶意url的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行top排名展现。
可选的，还包括运维监控模块、组织管理模块、系统管理模块；
运维监控模块包括全局监控、前端状态、运维告警、告警配置；
组织管理模块包括监控单位管理和前端设备管理模块；监控单位管理模块对客户单位进行管理；前端设备管理模块对前端设备进行信息维护；
系统管理模块包括用户管理、角色管理、权限管理、菜单管理、安全审计、配置管理及数据字典。
可选的，还包括所述态势感知展示系统模块，用于采用数据可视化工具库，实时、立体地对安全威胁态势进行综合展示，包括单位威胁态势、行业威胁态势、资产安全态势、威胁报告管理、运维监控、组织管理及系统管理。
从上面所述可以看出，本发明提供的基于海量网络监测数据的大数据安全分析系统通过数据流量监控模块实现数据的实时监控并且相应的全面无损的采集得到准确的数据，通过深度分组检测模块准确分析得到相应的应用类型，通过数据联合分析模块，出去数据中的冗余信息，保证数据的准确有效，通过异常检测模块判定数据是否存在异常，通过安全评测实现数据的评测分析。因此，本申请所述基于海量网络监测数据的大数据安全分析系统，能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。
附图说明
图1为本发明提供的基于海量网络监测数据的大数据安全分析系统的一个实施例的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
目前大数据和数据挖掘的运维管理和安全分析在国内外均有研究案例，其中美国的爱因斯坦计划是比较成功的案例，其于2009年初正式更名为全面的国家网络安全行动(cnci)，其职能和功能得到进一步的提升和强化。被美国一些媒体称为信息安全的曼哈顿计划。其方案包括如下几个方面：
基于流的统计分析技术，2004年启动，通过分析网络的流量信息查找可能的恶意活动，采用政府网络出口路由器的netflow技术实现。
基于特征的入侵检测系统。可以通过分析网络的流量信息来查找以发现非授权的访问和恶意的内容，这是通过对进出美国政府网络的流量自动进行全封包检查来实现的。当联邦网络流量中出现恶意或可能有害的活动时，爱因斯坦2能够向us-cert提供实时报警，并对导出数据提供关联和可视化能力。
基于威胁的决策系统。采用商业技术和专门为政府开发的技术来对进出行政机关网络的流量实施实时的全封包检查，目标是发现恶意的网络流量并对其进行特征化表示，以增强网络安全分析、态势感知和安全响应能力。
另外在大数据分析平台上，国外有splunk和palantir等产品做平台级的分析，另外还有专做安全分析平台的opensoc之类开源项目。但平台化的分析模型都没有对电力业务模型的分析，也缺乏底层的流量接入层工具的结合，这两个方面和结合是本申请的重点研究方向。
在一些可选的实施例中，参照图1所示，所述基于海量网络监测数据的大数据安全分析系统，包括：
数据流量监控模块，用于对网络中的数据流量进行实时监控，通过对不同系统应用的分析，对各类系统产生的海量实时流量数据进行全面无损采集并将监控数据发送给其他各个模块；
深度分组检测模块，用于基于采集的数据通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，分析得到不同的应用类型；
数据联合分析模块，用于通过对海量安全数据的聚合获取有效信息，然后再通过对状态及关联分析进行研究，进而去除原始数据中的冗余信息；
异常检测模块，用于对采集数据进行分析检测，并判断是否存在异常；
安全评测模块，用于基于其余模块的分析和检测，综合判断当前网络态势，进而得到网络数据的评测结果。
在一些可选的实施例中，所述数据类型包括机器数据，包括客户端、服务器、网络设备、安全设备、应用程序产生的日志以及采集的系统相关的时间序列事件数据，用于反映it系统内在的真实状况；
流量数据，为系统部分层网络通信协议的数据，用于进行深度包检测dpi、包头取样netflow技术进行分析；
代理数据，为应用的运行环境中插入代理程序，用于从字节码里统计函数调用、堆栈使用信息，从而进行代码级别的监控。
在一些可选的实施例中，所述数据流量监控模块还包括数据采集模块，用于针对不同的数据类型根据预设的数据采集方式进行数据的采集。
在一些可选的实施例中，所述深度分组检测模块还包括：
净荷特征匹配模块，用于通过识别数据报文中的净荷特征来确定业务流所承载的应用；
业务识别模块，用于识别控制流，并根据控制流协议分析识别出业务流的端口或对端网关地址等信息，然后对业务流进行解析，从而识别出相应的业务流；
行为模式识别模块，用于根据用户已经实施的行为，判断用户正在进行的动作或者即将实施的动作。
在一些可选的实施例中，所述数据流量监控模块还包括数据采集系统模块，用于通过网络全流量安全分析系统、入侵检测系统、入侵防御系统及高级持续性威胁系统对原始网络流量进行实时数据采集。
在一些可选的实施例中，所述数据采集系统模块还采集威胁情报，从互联网上爬取威胁情报；
依据杀伤链对威胁情报进行分析，对威胁情报进行载体利用和突防利用、攻击手法、威胁情报本土化所关心的行业领域、目标作业环境和偏好进行机器学习和分析；
实时展现获取的威胁情报、apt攻击报告的数量、重大互联网泄密事件的数量、重大安全漏洞曝光事件的数量、恶意文件的数量、恶意ip的数量、恶意url的数量、地图上动态显示所有威胁源或攻击源国家或地区、高亮显示个别国家的威胁情报情况、实时刷新威胁情报事件、对威胁源国家进行top排名展现。
在一些可选的实施例中，还包括运维监控模块、组织管理模块、系统管理模块；
运维监控模块包括全局监控、前端状态、运维告警、告警配置；
组织管理模块包括监控单位管理和前端设备管理模块；监控单位管理模块对客户单位进行管理；前端设备管理模块对前端设备进行信息维护；
系统管理模块包括用户管理、角色管理、权限管理、菜单管理、安全审计、配置管理及数据字典。
在一些可选的实施例中，还包括所述态势感知展示系统模块，用于采用数据可视化工具库，实时、立体地对安全威胁态势进行综合展示，包括单位威胁态势、行业威胁态势、资产安全态势、威胁报告管理、运维监控、组织管理及系统管理。
由上述实施例可知，本申请所述基于海量网络监测数据的大数据安全分析系统通过数据流量监控模块实现数据的实时监控并且相应的全面无损的采集得到准确的数据，通过深度分组检测模块准确分析得到相应的应用类型，通过数据联合分析模块，出去数据中的冗余信息，保证数据的准确有效，通过异常检测模块判定数据是否存在异常，通过安全评测实现数据的评测分析。因此，本申请所述基于海量网络监测数据的大数据安全分析系统，能够实现网络数据的实时监控并且相应的进行数据安全分析，提高数据安全性和可靠性。
在本申请的另一方面，还包括以下内容：
本申请方案的原理和理论，主要分为两大部分，分别是：(1)数据网络中的实时流量监控、流量可视化技术；(2)基于数据挖掘建模技术的决策支撑系统的研究以及安全分析平台。
具体的，数据网络中的实时流量监控、流量可视化技术包括：无损收集海量实时流量、并进行实时高的dpi深度包检测防护技术研究
通过对不同系统应用的分析，对各类系统产生的海量实时流量数据进行全面无损采集，系统运行数据主要有如下三种：
机器数据：it系统自己产生的数据，包括客户端、服务器、网络设备、安全设备、应用程序等产生的日志，以及通过snmp、ssh、wmi等技术手段采集的系统相关的时间序列事件数据，可反映it系统内在的真实状况；
流量数据：也称通信数据，系统l2～l7层网络通信协议的数据，可通过网络镜像端口抓取，进行深度包检测dpi、包头取样netflow等技术进行分析；
代理数据：是在.net或java等应用的运行环境中插入代理程序(agent)，从字节码里统计函数调用、堆栈使用等信息，从而进行代码级别的监控。
本申请对以上三类运行数据采集进行研究，通过研究旁路流量、snmp\ssh\wmi及agent等采集方式，对业务系统运行数据的全面采集。这样既可以采集到完整的性能分析数据源，又可以将数据采集系统给当前网络造成干扰降到最低，以下是对不同类型数据的采集方式的说明：
snmp\ssh\wmi等采集方式：对系统运行状况或日志采集，并采用模块化方式进行设计，即支持平台自行采集，也可通过集成第三方工具采集；
旁路流量采集方式：简单来说就是通过使用类似tcpdump等技术，将网络中传输的数据包完整截获下来，通过分析提取数据包的网络层信息(源、目的地址，源、目的端口)和应用层信息(web协议、数据库协议等)来分析网络传输质量和应用系统运行质量，甚至通过针对特定协议类型的解析，可以分析到交易报文的信息。旁路的方式可以截获大部分对智能分析系统有用的数据源，但由于旁路分析是取自交换机等网络设备的镜像流量，所以一些设备本身硬件性能的问题不会在网络中进行传输，所以无法解析到，此时需要结合snmp信息协助分析。
agent代理技术采集方式：对程序代码级别的监控，会增加程序执行的开销，建议根据用户的实际需要而定，通常用于系统开发及测试场景。
所述dpi(deeppacketinspection，深度分组检测)深度包检测防护技术包括：
所谓深度分组检测是相对普通报文检测而言的一种新的检测技术，即对第七层，也即应用层的内容(净荷)进行深度分析，从而根据应用层的净荷特征识别其应用类型或内容。当ip数据包、tcp或者udp数据流经过基于dpi技术的网络设备时，dpi引擎通过深入读取ip包载荷的内容来对osi7层协议中的应用层信息进行重组，从而识别出ip包的应用层协议。
传统的业务识别方法是通过分析5元组或7元组信息，增加输入输出接口索引信息，无法细分不同的应用类型，尤其是应用类型不依赖于5元组或7元组信息的应用。而dpi技术是通过深入重组、分析第七层分组的净荷内容，匹配业务特征，从而判断业务和应用类型，dpi技术可以细分不同的应用类型。
dpi技术主要包括：净荷特征匹配技术，不同的应用通常会采用不同的协议，而各种协议都有其特殊的特征(除加密应用)，这些特征可能是特定的端口、特定的字符串或者特定的bit序列。基于净荷特征匹配技术，正是通过识别数据报文中的净荷特征来确定业务流所承载的应用。根据具体检测方式的不同，基于净荷特征匹配技术又可细分为固定(或可变)位置特征匹配、多连接联合匹配和状态特征匹配四种分支技术。通过对特征信息的升级，基于净荷特征匹配技术可以很方便地扩展到对新协议的检测。
固定位置匹配是最为简单的一种匹配方法。以kazaa协议的识别为例，其握手消息中总包含字符串“user-agent:kazaa”。因此可以确定，“user-agent:kazaa”就是kazaa协议的特征字。多连接联合匹配是一种需要结合该应用中的多个连接联合匹配特征的方法。如johndoeprotocol这种协议，其每个连接的相同位置具有相同的特征。
交互式业务识别技术：目前voip/ftp/网络游戏等业务普遍采用控制流与业务流分离的方式，通过控制流完成握手，协商出业务流的端口信息然后进行信息流传输，其业务流没有任何特征。因此通过dpi技术首先识别出控制流，并根据控制流协议分析识别出业务流的端口或对端网关地址信息，然后对业务流进行解析，从而识别出相应的业务流。典型的业务如sip、h323协议都属于这种类型的协议。sip、h323通过信令交互过程，协商得到其数据通道，一般是rtp格式封装的语音流。也即，纯粹检测rtp流并不能确定这条rtp流是通过哪种协议建立起来的，只有通过检测sip或h323的协议交互，才能得到其完整的分析。
行为模式识别技术：在实施行为模式识别技术之前，运营商必须首先对终端的各种行为进行研究，并在此基础上建立起行为识别模型。基于行为识别模型，行为模式识别技术即可根据用户已经实施的行为，判断用户正在进行的动作或者即将实施的动作。行为模式识别技术通常用于那些无法由协议本身就能判定的业务。例如，从email的内容看，spam(垃圾邮件)业务流与普通邮件业务流两者没有区别，只有进一步分析才能识别出spam邮件。具体可通过发送邮件的速率、目的邮件地址数目、变化频率、源邮件地址数目、变化频率、邮件被拒绝的频率等参数，建立起行为识别模型，并以此分拣出垃圾邮件。
通过对实时高的dpi深度包检测防护技术的研究及功能特点对比，找出适用于本申请的深度包检测防护技术方法。
海量安全数据的聚合、关联技术研究
数据聚合技术可以去除原始数据中的冗余信息，减小数据传输量，降低网络通信开销，提高信息的获取准确率和收集效率，延长了网络的有效工作时间。
本申请通过对海量安全数据的聚合获取有效信息，然后再通过对状态及关联分析进行研究，研究基于it基础架构设施、应用组件及业务系统等各类运行数据的状态，运行数据状态信息主要包括服务器，路由交换设备，中间件，数据库以及其他类等设备cpu，内存，硬盘等状态信息，提取这些设备的状态信息，通过研究不同的采集技术，对此类数据进行集中采集。
通过对海量安全数据状态及关联分析的研究，以利于状态及关联预警模型实现。在运行数据状态的健康诊断评估过程中，因运行数据对系统影响不同产生的告警等级不同，某个设备部件故障往往会造成海量的告警，在实际环境中，很多告警事件之间存在关联关系，如父子关系、触发关系、影响关系等，极易产生重复告警。建立合理的事件相关性模型和被管对象的关联关系，以及面向应用过程的业务分析流，判断已发生告警间的相关性，同时加入相关的规则属性，准确识别故障根源和准确定位故障。
异常流量的可视化分析呈现，多维度的问题溯源手段研究：对于异常流量的可视化分析，首先是数据源的选取，不同数据源能表现不同方面的问题。其次，设计合适的可视化结构来表示数据信息，建立数据到图像的映射是可视化技术的关键。通过本申请，研究适用于国网吉林省供电公司系统环境的可视化呈现方式。
多维度的问题溯源追踪：如何在海量网络中追踪溯源ddos攻击，网络入侵攻击是业界难点和重点，采用dfi模式开发网络溯源系统，针对apt攻击、ddos攻击、蠕虫病毒及木马进行有效的追踪溯源。可以保证未知的攻击的危害得到有效的溯源，如，ddos攻击可以溯源到链路，物理接口。apt溯源可以溯源到外泄了多少g的数据。蠕虫病毒、木马溯源可以溯源cc主机的影响范围。未来基于信誉情报，可以挖掘更多信息，重要的是，提供了在海量数据下的溯源难题。可以在低成本下，还原任何ip的流量。网络攻击溯源追踪具体包括以下两个功能：
(1)流量分析溯源：在企业的网络中发生流量型的网络安全事件时，并已确认安全事件相关资产ip地址和时间段信息，此时通过系统该模块可实现对该时间段、ip地址等相关的流量分析溯源取证；另外在企业发生流量型的安全事件时，也可通过该模块中渐进式数据挖掘、统计报表等子模块实现流量攻击的溯源和取证。
(2)安全溯源：在企业的业务系统发生遭受网络攻击事件时，根据遭受攻击的类型和安全溯源的需求，通过溯源追踪实现ddos溯源和蠕虫病毒、木马溯源。ddos溯源：企业发生ddos攻击时，可通过ddos告警日志信息判断网内ddos攻击还是网内向网外发起ddos攻击还是网外向网内发起ddos攻击，进而通过溯源功能确定ddos发起ip地址及遭受攻击的ip和业务系统。
蠕虫病毒、木马溯源：定期对采集的企业各网络区域流量信息进行智能c&c主控分析，可溯源到企业网络内部与僵尸网络通信的可疑“肉鸡”；另外在其他安全检测防护系统发现僵尸网络通讯时确定控制服务器ip和端口后也可通过该功能溯源企业内僵尸主机情况。
基于数据挖掘建模技术的决策支撑系统的研究以及安全分析平台：(1)研究基于多告警数据关联的异常行为识别技术，研究未知威胁深度挖掘技术研究：本申请研究多维度告警数据(如日志采集、流量采集、情境数据采集及外部支持数据等)，并将这些数据进行结构化或非结构化处理，通过特征提取、统计分析、模型训练、取证溯源、全文检索等方法，对告警数据所关联的异常行为进行识别，同时分析并对未知威胁进行深度挖掘。
异常检测并非是一项新技术，事实上在入侵检测概念产生初期，ides、nides等原型系统都采用了异常检测技术。但受限于当时的技术条件，异常检测的准确度较低，主要原因如下：
模型粒度问题：由于计算能力有限，在当时很难建立对异常行为较为敏感的细粒度模型，从而导致较高的漏报率。以异常流量检测为例，当时的建模对象往往基于安全域间的流量，这就使得个体间的攻击流量淹没在大量背景流量中，很难进行有效检测。
特征数量问题：同样由于计算能力有限，在当时很难建立从不同维度描述网络行为的高维模型，从而导致较高的误报率。特征数量选取的限制，使得只能基于低维的特征判断网络行为的异常度，很难通过特征间的关联降低误报。
模型训练问题：由于存储容量有限，在当时很难基于长期的数据对模型进行充分的训练，从而导致模型的准确度不足。模型的准确度与训练是否充分是有直接关系的，虽然安全分析人员的经验有助于提升特征选取的有效性，但仍然需要足够的样本对模型进行训练。因此，虽然异常检测具有能够识别未知威胁的优势，但当时国内外商业化的入侵检测产品大都选择了基于攻击签名的误用检测技术。随着攻防博弈的发展，apt攻击成为首要的安全威胁，这就使得安全研究人员需要对技术路线的选择进行重新思考。以下为基于大数据的异常检测技术具备的特点：
更细的模型粒度：与传统以安全域为建模对象不同，基于大数据的异常检测技术可以基于单个的主机，甚至是主机上的单个应用建立细粒度的模型，这就使得模型对异常的检测能力有足够的灵敏度。这样做的计算代价是很大的，以一个仅有数千台主机的小型企业为例，基于主机间的连接建模得到的模型数量将会是百万量级，这在过去是很难想象的，但目前大数据平台的性能足以支撑类似规模的计算。
更高维的特征选取：基于大数据提取特征参数，可以从建模对象的时空维度、行为维度等方面抽取足够丰富的特征参数，使得对于任何可描述的攻击行为，总能体现在一组特征参数的异常上，真正做到让攻击者在大数据下无处可遁。
更充分的模型训练：基于大数据平台的海量存储能力，可存储足够多的历史流量数据作为样本，对提取的参数和模型进行充分训练，使得模型对于异常行为具有足够精确的检测能力。由此可见，基于大数据实现网络异常行为检测，克服了早期异常检测技术的不足，给检测技术带来了质的飞跃，但同时也对存储和计算能力提出了新的挑战，需要有一个能提供有效支撑的技术平台。
此外，典型的大数据异常检测平台可分为四层：数据采集层、存储管理层、入侵行为分析挖掘层和展示及配置管理层。
一个完整的大数据异常检测平台，在数据源层面上要具备完整的数据采集能力，包括与网络行为相关的各类日志、网络流量以及情境数据和外部支持数据的采集。在存储层面上要能够支持异构数据存储，能够通过缓存应付突发的数据，具备弹性扩展能力。在分析层面上要能够支持灵活的特征提取、基于特征的统计分析和模型训练以及对检测结果的事后取证溯源和验证能力。在展示层面上要能够支持大数据平台集群配置管理和数据的交互式可视化分析。
研究安全威胁态势感知和入侵意图识别技术：态势感知(situationawareness，sa)的概念是1988年endsley提出的，态势感知是在一定时间和空间内对环境因素的获取，理解和对未来短期的预测。整个态势感知过程可由下图所示的三级模型直观地表示出来。
所谓网络态势是指由各种网络设备运行状况、网络行为以及用户行为等因素所构成的整个网络当前状态和变化趋势。
网络安全态势感知就是利用数据融合、数据挖掘、智能分析和可视化等技术，直观显示网络环境的实时安全状况，为网络安全提供保障。借助网络安全态势感知，网络监管人员可以及时了解网络的状态、受攻击情况、攻击来源以及哪些服务易受到攻击等情况，对发起攻击的网络采取措施；网络用户可以清楚地掌握所在网络的安全状态和趋势，做好相应的防范准备，避免和减少网络中病毒和恶意攻击带来的损失；应急响应组织也可以从网络安全态势中了解所服务网络的安全状况和发展趋势，为制定有预见性的应急预案提供基础。
对于大规模网络而言，一方面网络节点众多、分支复杂、数据流量大，存在多种异构网络环境和应用平台；另一方面网络攻击技术和手段呈平台化、集成化和自动化的发展趋势，网络攻击具有更强的隐蔽性和更长的潜伏时间，网络威胁不断增多且造成的损失不断增大。为了实时、准确地显示整个网络安全态势状况，检测出潜在、恶意的攻击行为，网络安全态势感知要在对网络资源进行要素采集的基础上，通过数据预处理、网络安全态势特征提取、态势评估、态势预测和态势展示等过程来完成，这其中涉及许多相关的技术问题，包括数据融合技术、数据挖掘技术、特征提取技术、态势预测技术和可视化技术等。
网络入侵态势感知是国际上公认的难点，核心是海量日志的挖掘和决策支持系统的开发，发达国家这方面的研究比较领先。经过多年的研究，提出“基于对抗的智能态势感知预警模型”，解决海量日志挖掘的工作。通过对著名的killchain击杀链和attacktree攻击树的相关研究，形成推理决策系统，借助大数据分析系统的分布式数据库，可以实现决策预警。
众所周知，ips/ids主要是基于攻击特征规则进行检测，即ips/ids每次匹配到含有攻击特征数据包便产生一次攻击告警，1g流量下可产生120万条攻击告警。而传统的日志分析系统只会归并同规则事件的告警(部分ips/ids本身也支持)，1g流量下可归并至12万条告警日志，意味着归并后运维人员还需要面对12万条告警日志。通过基于攻击树的威胁计分方式，预警威胁较大的攻击源，促进防外决策，以及预警面临威胁较大的被攻击目标，促进安内决策。再攻击树的反向推理方法，发现入侵成功事件，促进事后响应。
ddos威胁一般称为网络氢弹，是目前国与国之间，竞争对手之间的主要攻击方式，成本低，见效大。ddos攻击越来越频繁，尤其针对发达地区和重点业务，某省电信每天发生的ddos攻击次数在100次左右。其次，ddos攻击流量越来越大，从检测结果来看20％以上攻击在大于20g。2014年4月，监测到的某电信的单一ip攻击流量达到300g。因此，如何检测预警大型的ddos攻击，是我们研究重点。在这个方面，网络异常流量检测，可以全目标检测(传统dfi设备为了提升性能，需要设定检测目标)。而且平台拥有自学习功能，可以降低误报，经过处理后，形成告警完全是可以处置的。
通过一段时间的机器学习得到其正常状态的流量上限。自学习过程中系统自动记录网络的流量变化特征，进行基础数据建模，按照可信范围的数据设置置信区间，通过对置信区间内的历史数据进行分析计算，得到流量的变化趋势和模型特征。为了保证学习的流量特征符合正态分布，系统支持开启日历模式的数据建模，如设置工作日、双休日等日历时间点，针对不同的时间点进行自学习建模。同时系统支持对生成的动态基线进行手动调整，和日历自学习模式相结合，共同保证动态基线的准确性。
蠕虫、木马态势感知：在办公网等内网环境中，蠕虫病毒、木马的威胁是首要威胁，蠕虫病毒及木马引起的arp，ddos断网等问题成为主要问题，更不用说由蠕虫病毒、木马导致的apt泄密等事件了。在这个场景下，我们采用业界领先的防病毒引擎，通过对网络流量监控，发现蠕虫病毒、木马的传播，并通过对蠕虫病毒、木马态势监控，实现僵尸网络发现、打击及效果评估。
apt攻击态势感知：已知攻击检测，我们可以用入侵检测设备，防病毒，但是针对目前越来越严重的apt攻击，我们需要更先进的技术手段和方法。威胁分析系统，可有效检测通过网页、电子邮件或其他的在线文件共享方式进入网络的已知和未知的恶意软件，发现利用0day漏洞的apt攻击行为，保护客户网络免遭0day等攻击造成的各种风险，如敏感信息泄露、基础设施破坏等。因此，在整个防护体系中，未知的0day攻击，apt攻击态势感知，我们依靠未知威胁态势感知传感器通过对web、邮件、客户端软件等方式进入内网的各种恶意软件进行检测，利用多种应用层及文件层解码、智能shellcode检测、动态沙箱检测及av、基于漏洞的静态检测等多种检测手段将未知威胁检测并感知。
入侵意图识别技术：入侵检测作为一种主动的信息安全保障措施，已成为计算机安全特别是网络安全领域的研究热点。将人工智能技术、机器学习技术引入入侵检测领域，以解决入侵日益分布化、智能化的问题。通过对动态贝叶斯网络模型、基于三层攻击图的入侵意图的自动识别模型及基于概率推理的入侵意图模型等入侵意图识别技术研究，为处理网络中的不确定性信息，提供了有效的解决方法，同时在此基础上预测攻击者的后续攻击规划和目标，从而起到提到预警的作用。
研究实时分析预警技术：主动实时预警的方式会很多，有基于阀值的预警，有基于趋势的预警，以及关联的预警等，我们基于大数据分析的技术，将以上预警的方式统一纳入进来，进行统一的分析，整理成能对用户系统形成有效预警的方式。
主要的预警方式简要描述如下：阈值预警：通过设置对象的阈值参数，将指标数据与阈值参数进行比较，如果指标数据不在相应的阈值范围内，则预警该指标异常。趋势预警：通过预先建立的趋势预警模型和算法，将当前时间后推一段时间内所有的指标数据进行趋势分析，如果这段时间内的指标数据趋势符合趋势预警模型，则预警该指标异常。关联预警：分为单对象多指标关联预警和多对象多指标关联预警，通过对指标的关联预警和对象的关联预警，分析出故障的影响域及故障源，从多个异常指标或多个异常对象中找出主因。
基于异常流量可视化技术基础上，研究网络入侵攻击路径及威胁溯源分析技术，包括：异常流量可视化技术，异常流量可视化技术通过构建覆盖全网络的监测点对网络中数据流进行监测。通过对流经路由器的所有数据包(包括攻击数据包)进行信息存储，一旦发生攻击，由受害端发起查询信息，以此确定攻击路径。
网络入侵攻击路径及威胁溯源分析：网络入侵攻击路径及威胁溯源是指确定网络攻击者身份或位置及其中间介质的过程。身份指攻击者名字、账号或与之有关系的类似信息；位置包括其地理位置或虚拟地址：如ip地址、mac地址等。追踪溯源过程还能够提供其他辅助信息，比如攻击路径和攻击时序等。网络管理者可使用追踪溯源技术定位真正的攻击源，以采取多种安全策略和手段，从源头抑制，防止网络攻击带来更大破坏，并记录攻击过程，为司法取证提供必要的信息支撑。在网络中应用追踪溯源我们可以：
确定攻击源：制定实施针对性的防御策略；采取拦截、隔离等手段，减轻损害，保证网络平稳健康的运行；同时通过网络入侵攻击路径及威胁溯源分析，确定攻击源，记录攻击过程，为司法取证提供有力证据。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本发明难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本发明难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本发明的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本发明的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本发明。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本发明的具体实施例对本发明进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
本发明的实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。