一种大数据安全分析的可视化交互式方法与流程

本发明涉及大数据安全分析技术领域，具体涉及一种大数据安全分析的可视化交互式方法。

背景技术：

在如今这个大数据时代，海量数据中蕴含着层出不穷的安全问题，安全分析人员在对安全问题进行分析的过程中，发挥着至关重要的作用。传统的大数据安全分析需要安全分析人员利用自身知识以及经验，对于日志数据，制定规则，进行分析计算，生成事件告警。但是，在创建场景、制定规则对海量数据进行安全分析的过程中，存在以下的问题：

第一，需要安全分析人员自己写代码，安全分析人员是拥有安全分析背景的专业人员，他们更注重安全相关的业务，和精通代码的研发人员不同，他们大部分并不精通编写程序，而如果把安全问题分析的工作交给研发人员，由于研发人员对安全问题的分析没那么透彻、全面，故把安全分析的工作任务交给研发人员不仅不合理，还容易引发其他问题；

第二，如果由安全分析人员直接编写安全大数据分析规则，需要直接对数据库进行操作，将规则写入数据库中，在生产环境中直接操纵数据库是不安全的；

第三，如果通过预置规则的方式在数据库中配置好规则，则对数据分析的可配置性低，交互体验差，在大数据环境下对安全问题分析工作的开展是不利的，并且当安全分析人员想要改变某个阈值的时候也带来了不便；

第四，由于安全分析人员更关心的是安全大数据分析的业务，故安全分析人员并不需要了解日志数据中具体字段的定义，并且，从他们的角度看，不同的安全业务场景，关键元素指代的字段很有可能是不同日志数据中的不同字段，并且在安全大数据的分析实现中，一般需要对安全分析人员隐藏日志数据中字段的具体细节。

综上所述，传统的大数据安全问题分析存在可操作性、可配置性、交互性、安全性弱等缺点，既不利于使安全分析人员更专注于安全业务分析本身，也不利于帮助安全分析人员定位、分析大数据安全问题，是当前急需解决的问题。

技术实现要素：

本发明的目的是克服传统的大数据安全问题分析，可操作性、可配置性、交互性、安全性弱的问题。本发明的大数据安全分析的可视化交互式方法，在传统攻击场景建模基础上，使用了可视化的规则配置界面，并在规则生效后可预览告警，提高了场景建模的可视性及交互性，实现了可视化交互的攻击场景建模，便于大数据安全分析，具有良好的应用前景。

为了达到上述目的，本发明所采用的技术方案是：

一种大数据安全分析的可视化交互式方法，其特征在于：包括以下步骤，

步骤（a），通过web展示规则配置界面、告警预览界面，并进行配置，所述规则配置界面，用于实现攻击场景建模的规则配置，所述告警预览界面，用于生成告警与场景规则之间关系的展示；

步骤（b），确立交互模型，实现输入的场景与规则片段信息的组合分析处理；

步骤（c），建立规则库，实现场景规则数据的结构化存储；

步骤（d），大数据安全分析，实现实时大数据及场景规则的数据关联分析。

前述的一种大数据安全分析的可视化交互式方法，其特征在于：步骤（a），通过web展示规则配置界面、告警预览界面，并进行配置，，包括以下步骤，

（a1），通过web展示的规则配置界面进行规则配置：在规则配置页面通过选择、点击、输入的方式建立安全事件场景及其规则的片段信息，信息暂存在交互模型中，其中，规则配置页面上选择日志数据字段是通过查询数据库表中的日志对应字段实现，并且规则配置页面在显示字段含义的同时还悬浮显示该字段在数据库中存储的英文字段名，用于帮助分析安全人员配置规则；

（a2），规则片段重组：将暂存在交互模型的片段信息在内存中进行组合、关联、分析，形成被计算机理解的攻击场景建模规则，并向结构化数据库传输。

（a3），规则存储：将经过分析后的攻击场景建模规则信息存储到场景数据库表，将经过组合后的规则语句存储到规则数据库表，场景与规则关联的信息存储在场景规则关联库表中，用于后续日志分析、场景建模；

（a4），规则启用形成反馈闭环：在web展示的告警预览界面反映两部分信息：自定义的场景与规则信息的关系、告警事件与场景的关系，其中，告警事件与场景的关系需要由安全分析人员确认使场景规则生效，在对日志数据进行分析后，安全分析人员通过查看生成的告警事件与生成该事件的规则，进行分析，形成反馈闭环。

前述的一种大数据安全分析的可视化交互式方法，其特征在于：（a4），规则启用形成反馈闭环过程中，根据场景规则合适则沿用使用，不合适则修改后使用或丢弃的原则处理建立的场景建模规则。

前述的一种大数据安全分析的可视化交互式方法，其特征在于：步骤（b），确立交互模型，实现输入的场景与规则片段信息的组合分析处理，包括以下步骤，

（b1），建立场景交互分析：安全分析人员在场景建模界面的场景界面根据业务的需要，在场景建模界面输入场景的名称、描述，选择场景的分类、级别，在后台通过将原始输入信息转换为包含同等信息量的结构化数据，实现场景信息的分析转化；

（b2），建立规则交互分析：安全分析人员在场景建模的规则配置界面根据场景的时间关联性选择场景规则的规则分类，在界面提供的日志数据树形结构中选择需要进行规则分析的字段，并输入或选择场景规则的适用条件、输出字段信息，后台按照攻击事件关联性的规则分类判断使用何种规则拼接模型，处理需要分析的字段、规则，并将上述的片段信息转化为具有场景分析能力的结构化语句及包含场景规则对应关系的结构化数据；

（b3），建立场景交互分析与规则交互分析的关联：在后台将用户输入或选择的场景及规则信息进行关联、存储到对应的场景与规则关系数据表中，实现场景交互分析与规则交互分析的关联。

前述的一种大数据安全分析的可视化交互式方法，其特征在于：步骤（c），建立规则库，实现场景规则数据的结构化存储，包括若干相关数据库表，每一个数据库表是规则库中用于交互的一个组件，每个组件负责一个规则建立，具体包括日志对应字段数据库表、场景数据库表、规则数据库表、场景规则关联数据库表四个数据库表。

前述的一种大数据安全分析的可视化交互式方法，其特征在于：步骤（d），大数据安全分析，实现实时大数据及场景规则的数据关联分析，包括以下步骤，

（d1），创建的场景及规则启用

安全分析人员查看针对不同场景的自定义场景规则，确认后选择启用，如不满意，进行修改后启用或删除；

（d2），规则启用后告警生成快照

在启用创建的规则后，规则在引擎中预设的生效间隔时长后生效，可默认为一天，在此期间可修改，对实时日志数据进行分析，生成告警，存储在数据库的告警表中，告警预览界面实时读取数据库中最新的告警事件，并进行展示，其中，告警表中除了反映告警事件的内容外，还会反映生成该条告警的自定义场景及规则；

（d3），反馈及评估

安全分析人员在通过查看生成的告警快照后，根据告警及关联场景规则推断制定的规则是否适用于当前的业务分析，适用的场景规则沿用，不适用的修改或删除，形成实时大数据及场景规则的数据关联分析的反馈闭环。

本发明的有益效果是：本发明的大数据安全分析的可视化交互式方法，在传统攻击场景建模基础上，使用了可视化的规则配置界面，并在规则生效后可预览告警，提高了场景建模的可视性及交互性，实现了可视化交互的攻击场景建模，便于大数据安全分析，充分利用开源的流式处理框架、事件处理模型以及可视化交互运行反馈模型，通过对场景规则的可视化配置，以及规则作用于数据后的反馈，使数据分析的流程形成完整闭环，人机形成良好交互，最终形成场景建模的良好可视化交互流程，具有良好的应用前景。

附图说明

图1是本发明的大数据安全分析的可视化交互式方法的可视化模型形成的反馈闭环的示意图；

图2是本发明的四个步骤对应的可视化分析运行模型的示意图；

图3是本发明的大数据安全分析的可视化交互式方法的流程图；

图4是本发明各个步骤对应的模块化结构的交互示意图；

图5是本发明的用户界面与数据库交互的数据示意图。

具体实施方式

下面将结合说明书附图，对本发明作进一步的说明。

本发明的大数据安全分析的可视化交互式方法，采用流计算组件storm、复杂事件处理组件esper、结构化数据库及交互式技术，使展示界面及场景建模后台形成可视化交互，通过包含web展现、建立交互模型、建立规则库以及数据分析的四大步骤，实现如图1所示的安全数据分析的反馈闭环，每一流程内部按照交互式的分工不同，联合使用，交互式作用，实现自定义规则场景建模、规则作用于数据后的告警预览，同时，本发明的方法实现场景建立规则和通过应用规则后产生的告警之间的交互作用，确定规则中的阈值是否适当，完成对数据进行预期分析的场景规则进行取舍的交互式运行闭环，可视化交互式方法，基于安全分析人员自定义的规则，提取出事件之间的关联，生成告警快照，并依据告警的快照反推规则制定的合理性，如图2所示，本发明的四个步骤抽象为反馈闭环里的四个模块，模块之间交互式运行，完成场景建模，区别于以往的非可视化、非交互式场景建模，如图3-图5所示，具体包括以下步骤，

步骤（a），通过web展示规则配置界面、告警预览界面，并进行配置，所述规则配置界面，用于实现攻击场景建模的规则配置，所述告警预览界面，用于生成告警与场景规则之间关系的展示，包括以下步骤，

（a1），通过web展示的规则配置界面进行规则配置：在规则配置页面通过选择、点击、输入的方式建立安全事件场景及其规则的片段信息，信息暂存在交互模型中，其中，规则配置页面上选择日志数据字段是通过查询数据库表中的日志对应字段实现，并且规则配置页面在显示字段含义的同时还悬浮显示该字段在数据库中存储的英文字段名，用于帮助分析安全人员配置规则，这里将如下几类信息片段存储在内存中：（1）创建的场景名称、分类、描述信息；（2）通过界面的数据字段树形图选择的待分析字段；（3）通过点击选择的数据分析条件，以树状图法及左上角优先原则在web展示面构建场景、配置规则项；

（a2），规则片段重组：将暂存在交互模型的片段信息在内存中进行组合、关联、分析，形成被计算机理解的攻击场景建模规则，并向结构化数据库传输，在内存中按照场景、规则、场景与规则关联三个维度重组记录在交互模型模块中的场景及规则语义片段，上述提及组合、关联、分析场景规则语句的模式依照事件流处理语言（epl，eventprocessinglanguage）的规则语句的固定模式，即：规则语句中必须包含组成告警意义的时间、攻击源、攻击目的、攻击类型字段，安全分析人员在选择告警字段时需考虑具体的业务，选择欲分析输出的字段，这里的结构化数据库内结构化数据库表，分为预存储数据表及用于交互反馈的数据结构表，两类数据表的作用分别是：

（1）预存储数据表：该类数据库表不仅预先建立了数据结构，还存储了数据，用于表示不同类别日志数据的字段对应，即日志对应字段数据表，反映不同类别日志数据字段的对应名称、类型、精度、类别标识号等关键信息，该表中的数据以树形图的形式展现在web界面，供安全分析人员在web界面中创建规则时选择符合安全分析业务含义的实际数据字段使用；

（2）用于交互反馈的数据结构表：该类数据表中仅存储了数据结构，在场景建模初期，该类数据库表为空，当具体的数据实例由交互模型重组分析后，再存储到该类表中，该类数据库表用于存储不同业务场景的不同业务规则，供安全分析人员建立不同场景及场景对应不同规则使用；

（a3），规则存储：将经过分析后的攻击场景建模规则信息存储到场景数据库表，将经过组合后的规则语句存储到规则数据库表，场景与规则关联的信息存储在场景规则关联库表中，用于后续日志分析、场景建模；

（a4），规则启用形成反馈闭环：在web展示的告警预览界面反映两部分信息：自定义的场景与规则信息的关系、告警事件与场景的关系，其中，告警事件与场景的关系需要由安全分析人员确认使场景规则生效，在对日志数据进行分析后，安全分析人员通过查看生成的告警事件与生成该事件的规则，进行分析，形成反馈闭环，规则启用形成反馈闭环过程中，根据场景规则合适则沿用使用，不合适则修改后使用或丢弃的原则处理建立的场景建模规则；

步骤（b），确立交互模型，实现输入的场景与规则片段信息的组合分析处理，包括以下步骤，

（b1），建立场景交互分析：安全分析人员在场景建模界面的场景界面根据业务的需要，在场景建模界面输入场景的名称、描述，选择场景的分类、级别，在后台通过将原始输入信息转换为包含同等信息量的结构化数据，实现场景信息的分析转化，举例说明，

用户在界面输入或选择的场景自定义名称、备注、场景的类型及告警级别存入场景表中，场景表中的场景唯一标识字段sceneid由交互模型按照“cj”+“制定场景规则的单位编号”+“六位时间数字编号(yymmdd)”+“自增序号”的拼接规则产生，不同场景的名称可以相同，即相同场景可以建立不同的业务规则，但是相同场景不可以建立基于同一字段分析的不同阈值的业务规则，否则在进行场景分析时，无法判断使用哪一个阈值分析；

（b2），建立规则交互分析：安全分析人员在场景建模界面的规则界面根据场景的时间关联性选择场景规则的规则分类，在界面提供的日志数据树形结构中选择需要进行规则分析的字段，并输入或选择场景规则的适用条件、输出字段信息，后台按照时间关联性的规则分类判断使用何种规则拼接模型处理需要分析的字段、规则，并将上述的片段信息转化为具有场景分析能力的结构化语句及包含场景规则对应关系的结构化数据，举例说明，

场景中关联了规则，在创建完场景信息之后，在web界面中继续制定规则，以保证场景与规则之间的关联性，无需用户再手动关联，制定场景规则之初，依据创建的场景分析规则按照事件的时间关联性，从pointevent（点事件），intervalevent（间隔事件），edgeevent（不确定间隔事件/边缘事件）三类场景类规则中选择实际业务符合的场景规则类型，依据类型的不同，后台的分析模型也有些许差异，在确定了场景的规则类型后，分析人员在左侧的树形图中选择待分析字段，在界面右侧选择分析成立的条件片段，这些信息在内存中按照一定的规则进行排列组合，三类规则的具体组合步骤及差别如下：

（1）pointevent场景类规则

基于某一时刻发生的日志数据进行的场景分析。该类事件场景多用于基于阈值分析的事件场景，在用户选择了条件及阈值之后，在内存中完成规则的拼接，在生成告警语句中按照“insert-into-告警窗口-select—from-where”的模式拼接，其中,“告警窗口”是固定的，只需用户依据业务选择字段及条件完成需告警字段及告警成立条件的建立；

（2）intervalevent场景类规则

基于某一类型事件的场景分析，该类事件是在最近的一个连续时间段或最近连续事件条数的事件，在语句拼接的过程中，整体与pointevent类字段拼接类似，但是由于是连续发生的事件，所以在拼接的epl中的“from”后面的部分是一个连续的时间窗口，用以表示连续的场景事件分析；

（3）edgeevent场景类规则

对不同类的攻击事件（日志）的场景分析，不局限于一类日志，在界面提供epl字段的点选接口及语句输入接口，用户通过在字段数据树形图中字段的点选，及epl语句的输入实现半自动化的场景规则创建。

需指出，上述的三类场景规则是并行但不并存的，没有先后主次关系，即某一场景只可能是上述三类场景中的某一类。这使得场景分析对连续事件生成告警更具多样性，而不局限于某一种单一的告警生成。告警场景依据事件窗口范围依据事件到达的先后，即时间顺序，确定以一段时间内数据为事件窗口或以某定量大小的最近数据为事件窗口；

（b3），建立场景交互分析与规则交互分析的关联：在后台将用户输入或选择的场景及规则信息进行关联、存储到对应的场景与规则关系数据表中，实现场景交互分析与规则交互分析的关联，由于场景分析及产生告警的规则具有固定模式，即：都必须先选择要分析的字段，再将选择的字段集合插入到分析事件窗口中，且场景分析均是最后一步产生告警。因此，在后台进行场景与规则关联信息分析时，均会考虑这些固定模式，对用户创建的场景规则语句的顺序进行排列，并使用标记字段“islaststep”确定最后执行的规则语句

步骤（c），建立规则库，实现场景规则数据的结构化存储，包括若干相关数据库表，每一个数据库表是规则库中用于交互的一个组件，每个组件负责一个规则建立，具体包括日志对应字段数据库表、场景数据库表、规则数据库表、场景规则关联数据库表四个数据库表，在结构化数据库插入经过分析后的场景与规则的过程为：先创建场景信息，再创建规则及场景规则关联数据，数据表与前台界面的交互关系是：

（1）场景及规则，告警预览界面的上半部分将展示自定义的场景及规则，两者通过后台数据库表之间的约束关联；

（2）规则启用，告警预览界面的场景规则被分为“启用”、“暂停”、“修改”、“删除”四个功能按钮，场景则被分为“启用”、“待定”两类状态，由用户依据创建的场景规则的实用性决定场景规则的启用状态：是启用、修改后再决定、永久删除或暂时搁置；

（3）告警数据，告警预览界面的下半部分将展示场景规则启用后生成的告警事件，每一条告警事件伴随有生成该事件的对应场景规则；

步骤（d），大数据安全分析，实现实时大数据及场景规则的数据关联分析，如图5所示，包括以下步骤，

（d1），创建的场景及规则启用

安全分析人员查看针对不同场景的自定义场景规则，确认后选择启用，如不满意，进行修改后启用或删除；

（d2），规则启用后告警生成快照

在启用创建的规则后，规则在引擎中预设的生效间隔时长后生效，可默认为一天，再次期间可修改，对实时日志数据进行分析，生成告警，存储在数据库的告警表中，告警预览界面实时读取数据库中最新的告警事件，并进行展示，其中，告警表中除了反映告警事件的内容外，还会反映生成该条告警的自定义场景及规则；

（d3），反馈及评估

安全分析人员在通过查看生成的告警快照后，根据告警及关联场景规则推断制定的规则是否适用于当前的业务分析，适用的场景规则沿用，不适用的修改或删除场景对应规则，实现实时大数据及场景规则的数据关联分析的反馈闭环。

综上所述，本发明的大数据安全分析的可视化交互式方法，在传统攻击场景建模基础上，使用了可视化的规则配置界面，并在规则生效后可预览告警，提高了场景建模的可视性及交互性，实现了可视化交互的攻击场景建模，便于大数据安全分析，充分利用开源的流式处理框架、事件处理模型以及可视化交互运行反馈模型，通过对场景规则的可视化配置，以及规则作用于数据后的反馈，使数据分析的流程形成完整闭环，人机形成良好交互，最终形成场景建模的良好可视化交互流程，具有良好的应用前景。

以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。