一种基于回归的信息安全异常检测的方法及系统的制作方法
【技术领域】
[0001] 本发明设及信息安全应用技术领域，尤其设及诸如SNMP、syslog等上报的海量告 警的异常检测方法与系统。
【背景技术】
[0002] 本发明中包含的英文简称如下： SMA:Simple Moving Average简单移动平均线 ACF:Autocorrelation F^mction自动关联函数 MAD:Median Absolute Deviation 中位绝对偏差 LR： linear regression 线性回归 0LS：ordinary least squares 最小二乘法 MA:moving average 移动平均 WMA:wei曲ted moving average加权移动平均 EWMA: exponential wei曲ted moving average指数加权移动平均 AR：autoregressive 自回归 ARMA:auto regressive moving average自回归移动平均 ARIMA: integrated ARIA集成自回归移动平均 CUSUM:Cumulative Sum Test累积和检验 SOC: Security Operation Center安全管理中屯、 IDS: Intrusion Detection Systems入侵检测系统 SNMP: Simple 化twork Management Protocol简单网络管理协议 皿FS:Hadoop Distribute File SystemHadoop分布式文件系统 MQ:Message如eue消息队列 安全生产历来是保障各项工作有序开展的前提，也是考核各级领导干部的否决指标。 网络及信息安全运维体系是各类企业安全生产工作的重要组成部分。保障网络高效稳定地 运行，是企业一切市场经营活动和正常运作的基础。
[0003] 随着各类企业信息系统的建设和完善，有效地提高了劳动生产率，降低了运营成 本。一旦企业各业务系统出现安全事件、或发生故障、或形成性能瓶颈，不能及时发现、及时 处理、及时恢复，势必直接导致承载在其上所有业务的运行，影响企业的正常运营秩序，企 业业务不能正常开展。因此，对于政府和企业IT基础实施的安全保障就显得格外重要。
[0004] 随着政府和企业信息化程度不断提高。各业务系统间联系越来越密切，数据交换 越来越频繁，各系统有着复杂网络或逻辑连接，存在大量数据交换，甚至一个故障可W引发 成为企业全网故障，一点或一种业务系统出现漏桐感染病毒或受到攻击，将迅速波及其它 业务系统及网络，甚至导致企业全网擁痕。
[0005] 企业IT系统产生了大量的告警，随着存储设备成本的降低，没有理由丢弃运些数 据，然而，目前，还没有相应的方法及其分析工具，能够从运些海量告警中，预防或发现安全 攻击，溯源或找到故障的根源;还不能够帮助信息安全工程师尽快恢复IT业务。
[0006] 为此，如何利用信息化手段提高企业安全管理运维效益，优化企业信息安全管理 运维服务，使得它能够为各类企业提供专业的和高性能的信息安全运维管理服务，即成为 尤其是信息安全管理运维设计上必须要解决的一个重要课题。
【发明内容】
[0007] 本发明在分析了上述各类企业信息安全管理运维服务平台的缺陷和不足之后，提 出了一种基于回归的信息安全异常检测的方法及系统。
[0008] 本发明的核屯、思想是：构建一个用于安全异常检测的基于回归的方法及系统。所 述方法及系统能够通过告警时间序列建立安全异常检测模型，所述模型是W离线方式建立 的，并为在线安全异常检测系统提供方法指南。
[0009] 进一步地，所述方法及系统，包括实时告警模块、历史告警模块、离线异常检测建 模模块、在线异常检测模块，W及知识库。
[0010] 所述实时告警模块，实时地接收来自各种安全设备通过挪MP、syslog等上报的告 警，并分别发送给历史告警模块和基于回归的异常在线检测模型模块。
[0011] 所述历史告警模块，可W作为告警时间序列的备份，也可W为离线安全攻击异常 检测建模模块提供告警数据。
[0012] 所述离线异常检测建模模块，对所述告警时间序列建模，并提供基于口限的异常 检测方法、基于回归的异常检测方法和基于分布的异常检测方法的指南。所述基于回归的 异常检测方法，通过实时计算中位数m、四分位距iqr、事件间隔k和周期T情况，来决定是否 选择基于回归的信息安全异常检测方法，并且实时反馈给在线基于回归的异常检测模块。
[0013] 所述在线异常检测模块，采用基于回归的方法，实时在线地检测实时告警模块所 上报告警时间序列的异常，并且，将检测结果上报给相关显示模块或安全分析师作进一步 地处理。
[0014] 所述知识库，存储各种统计参数、异常检测方法及其应用场景等。
[001引优选地，所述中位数m、四分位距iqr、事件间隔k和周期T情况，当满足5判，而且 k~i和Τ!=0时，则采用基于回归的安全异常检测方法。
[0016] 本发明针对异构和动态的IT企业网络设备产生的海量安全告警，能够检测到安全 攻击事件，能够溯源或回放事件，能够发现故障的根源或源头，能够帮助IT企业快速恢复业 务，保证其正常运营。
【附图说明】
[0017] 图1为本发明所述的离线异常检测建模模块内部流程示意图； 图2为本发明所述的一种基于回归的信息安全异常检测的实际检测告警百分比实施 例； 图3为本发明所述的一种基于回归的信息安全异常检测的巧巾告警(有线木马、wifi木 马和外部木马）的实施例(每小时告警时间序列）； 图4为本发明所述的一种基于回归的信息安全异常检测的告警统计分布盒图实施例； 图5为本发明所述的一种基于回归的信息安全异常检测的统计方差系数实施例； 图6为本发明所述的一种基于回归的信息安全异常检测的巧巾告警时序依赖实施例； 图7为本发明所述的一种基于回归的信息安全异常检测的描述性统计稳定性示意图； 图8为本发明所述的一种基于回归的信息安全异常检测的稳定指数值示意图； 图9为本发明所述的一种基于回归的信息安全异常检测的选择异常检测方法示意图； 图10为本发明所述的一种基于回归的信息安全异常检测的示意图。
【具体实施方式】
[0018] 下面是根据附图和实例对本发明的进一步详细说明： 图1为本发明所述的离线异常检测建模模块内部流程示意图，包括:①预处理和分组； ②基于时间的分割;③描述性统计;④描述性统计分析;⑤可能的重新组合。双圆圈表示离 线安全异常检测的输入和输出。原始的输入是来自安全设备的告警(例如，防火墙、入侵检 测设备和路由器等设备）。最终输出是选择安全异常检测的算法指南。灰色框是由安全分析 师输入的参数，不同的参数能够适应不同的应用场景和安全分析的目的。应用场景决定了 安全分析所需的告警数量(例如，1年的告警）、网络拓扑(例如，节点、子网）、节点数量(因为 主机和网络设备数量越多，则告警数量越大）。
[0019] 所述①预处理和分组，对于如何分组主要取决于网络的拓扑和安全分析师的目 的，例如，只需要对某一个子网或某一类告警进行监控。如果告警是由不同的安全设备产生 的，则需要做安全告警属性的标准化，W及初步的告警相关性分析。
[0020] 所述②基于时间的分割，计算告警时间序列和基于时间分割(例如，将一天分成白 天和晚上）。
[0021] 所述③描述性统计，抽取每一个告警时间序列的分布和时序依赖的描述性统计。 所述分布通过集中趋势（均值、中位数）和数据的离散度(方差，四分位数，方差系数)来表 示。再者，也能评估告警分布统计的稳定性。如果告警时间序列形成趋势、具有周期性、季节 性或可被预测，则它表现出时序依赖性。因此，时序依赖性可W表示为告警时间序列的可预 测性和/或周期性。
[0022] 所述④描述性统计分析，分析所提取的描述性统计来推断异常检测算法的适用性 和有效性。
[0023] 所述⑤可能的重新组合，对安全分析师建议告警时间序列可能的重新组合，W建 立更加有效的安全异常检测算法。例如，如果告警数量依赖于工作时间，则可抽取不同时间 分布的描述性统计(例如，白天、晚上）。此时可W决定时序依赖的异常检测的口限。
[0024] 进一步地，所述①预处理和分组模块，该模块所接收到的告警，可W是任何类型的 告警，例如，安全设备上报的原始告警、超级告警、或元告警。为不失一般性，本发明主要考 虑原始告警。
[0025] 所述预处理，即告警信息标准化，且消除重复告警等。告警分组通过设置初始组合 参数學而实现。不同分组方法取决于安全分析师的目标。例如： (1)告警源:告警的源地址； 间告警类型:既可W是通常告警类型，也可W是超级告警类型。
[0026] 所述(1)告警源，告警源既可W是内部告警，也可W是外部告警。内部告警主要展示 在工作时间内的行为和用户行为，而外部告警主要是变化和噪声。内部告警更细粒度的组 合可w基于网络拓扑和安全分析的目的。例如，安全分析师可w基于不同的网络和防火墙 策略进行分组，诸如不同的子网、组织部口和有线或无线。
[0027]所述间告警类型，基于不同告警类型来掲示不同的行为，否则，考虑到一个组的所 有警报