本发明涉及信息安全技术领域，更具体地说，涉及一种事件判别策略创建方法及装置。
背景技术：
随着计算机和网络技术的快速发展，信息系统应用不断拓展，处于网络环境中的资产面临多种安全风险。为了实现资产安全风险的防控，开发日志分析管理系统是十分必要的。
日志分析管理系统中的核心部分是事件判别策略库，系统根据库中事件判别策略的内容对日志代码进行分析，对于分析得到的事件信息进行报警。而现阶段，事件判别策略主要是由信息安全领域的高级分析员凭借自身经验完成编写，这就会产生准确度无法保证的问题。
技术实现要素：
有鉴于此，本发明提供一种事件判别策略创建方法及装置，以解决事件判别策略由高级分析员凭经验编写所产生的准确度无法保证的问题。技术方案如下：
一种事件判别策略创建方法，包括：
获取预先设置的日志代码和初始事件判别策略，并将所述初始事件判别策略作为当前事件判别策略；
从预设创建动作集合中选取所述当前事件判别策略所对应的目标执行动作；
根据马尔可夫模型、预设机器学习算法和所述目标执行动作，计算所述当前事件判别策略在所述日志代码下的累积事件报警信息数目；
在满足预设策略创建条件的情况下，按照所述目标执行动作对所述当前事件判别策略进行调整，将调整后的所述当前事件判别策略作为当前事件判别策略，并返回执行所述从预设创建动作集合中选取所述当前事件判别策略所对应的目标执行动作，这一步骤；
在不满足预设策略创建条件的情况下，从所述累积事件报警信息数目中选取最大累积事件报警信息数目，并创建所述最大累积事件报警信息数目所对应的当前事件判别策略。
优选的，所述从预设创建动作集合中选取所述当前事件判别策略所对应的目标执行动作，包括：
判断所述当前事件判别策略是否为所述初始事件判别策略；
若是，按照预设选取规则从预设创建动作集合中选取目标执行动作；
若否，根据贪心算法计算预设创建动作集合中各执行动作的执行概率；
选取执行概率最大的执行动作作为目标执行动作。
优选的，所述根据马尔可夫模型、预设机器学习算法和所述目标执行动作，计算所述当前事件判别策略在所述日志代码下的累积事件报警信息数目，包括：
根据马尔可夫模型和预设机器学习算法，定义用于表征累积事件报警信息数目期望的期望累积回馈函数；
获取上一累积事件报警信息数目、用于表征延时回馈与立即回馈比值的预设回馈参数以及所述当前事件判别策略在所述目标执行动作下的执行动作转移概率；
将所述上一累积事件报警信息数目、所述预设回馈参数和所述执行动作转移概率代入所述期望累积回馈函数中，计算所述当前事件判别策略在所述日志代码下的期望累积回馈值；
将所述期望累积回馈值确定为累积事件报警信息数目。
优选的，所述创建所述最大累积事件报警信息数目所对应的当前事件判别策略，包括：
在所选取的最大累积事件报警信息数目为多个的情况下，获取所述最大累计事件报警信息数目所对应目标执行动作的数量；
选取目标执行动作数量最小的最大累积事件报警信息数目作为最终累积事件报警信息数目；
创建所述最终累积事件报警信息数目所对应的当前事件判别策略。
优选的，还包括：
将所创建的当前事件判别策略添加至事件判别策略库中。
一种事件判别策略创建装置，包括：获取模块、选取模块、计算模块、调整模块和选取创建模块；
所述获取模块，用于获取预先设置的日志代码和初始事件判别策略，并将所述初始事件判别策略作为当前事件判别策略；
所述选取模块，用于从预设创建动作集合中选取所述当前事件判别策略所对应的目标执行动作；
所述计算模块，用于根据马尔可夫模型、预设机器学习算法和所述目标执行动作，计算所述当前事件判别策略在所述日志代码下的累积事件报警信息数目；
所述调整模块，用于在满足预设策略创建条件的情况下，按照所述目标执行动作对所述当前事件判别策略进行调整，将调整后的所述当前事件判别策略作为当前事件判别策略，并触发所述选取模块；
所述选取创建模块，用于在不满足预设策略创建条件的情况下，从所述累积事件报警信息数目中选取最大累积事件报警信息数目，并创建所述最大累积事件报警信息数目所对应的当前事件判别策略。
优选的，所述选取模块，具体用于：
判断所述当前事件判别策略是否为所述初始事件判别策略；若是，按照预设选取规则从预设创建动作集合中选取目标执行动作；若否，根据贪心算法计算预设创建动作集合中各执行动作的执行概率；选取执行概率最大的执行动作作为目标执行动作。
优选的，所述计算模块，具体用于：
根据马尔可夫模型和预设机器学习算法，定义用于表征累积事件报警信息数目期望的期望累积回馈函数；获取上一累积事件报警信息数目、用于表征延时回馈与立即回馈比值的预设回馈参数以及所述当前事件判别策略在所述目标执行动作下的执行动作转移概率；将所述上一累积事件报警信息数目、所述预设回馈参数和所述执行动作转移概率代入所述期望累积回馈函数中，计算所述当前事件判别策略在所述日志代码下的期望累积回馈值；将所述期望累积回馈值确定为累积事件报警信息数目。
优选的，用于创建所述最大累积事件报警信息数目所对应的当前事件判别策略的所述选取创建模块，具体用于：
在所选取的最大累积事件报警信息数目为多个的情况下，获取所述最大累计事件报警信息数目所对应目标执行动作的数量；选取目标执行动作数量最小的最大累积事件报警信息数目作为最终累积事件报警信息数目；创建所述最终累积事件报警信息数目所对应的当前事件判别策略。
优选的，还包括：添加模块；
所述添加模块，用于将所创建的当前事件判别策略添加至事件判别策略库中。
相较于现有技术，本发明实现的有益效果为：
以上本发明提供的一种事件判别策略创建方法及装置，该方法利用马尔可夫模型、预设机器学习算法和所选取的目标执行动作来计算当前事件判别策略的累计事件报警信息数目，并在满足预设策略创建条件的情况下，利用目标执行动作不断优化当前事件判别策略。由于在马尔可夫模型中累积回馈越大，事件判别策略也就越精确，选取最大累积事件报警信息数目所对应的当前事件判别策略，也就相应获取到了最优的事件判别策略。基于本发明公开的方法，实现事件判别策略的不断优化，保证所创建的事件判别策略最优，大大提高了策略创建的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的事件判别策略创建方法的方法流程图；
图2为本发明实施例提供的事件判别策略创建方法的部分方法流程图；
图3为本发明实施例提供的事件判别策略创建方法的另一部分方法流程图；
图4为本发明实施例提供的事件判别策略创建装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
网络环境中的资产：对系统具有价值的资源，这里指的是可以承载实际业务的实体资源，比如操作系统、数据库、中间件、安全设备和网络设备。
日志代码：这里是指资产运行的日志数据，它是记录系统中硬件、软件和系统问题的信息，可用于监视系统中所发生的事件。具体可以包含有时间、应用、服务器动作、文件位置、访问状态、源IP地址、目的IP地址、源端口、目的端口中一个或多个属性的代码。
事件判别策略：日志分析管理系统中动态地维护着一个事件判别策略库，库中的事件判别策略对资产运行中各种事件根据一定的特征进行分类，并且能对采集的日志代码进行分析，判断日志代码所属的事件。
事件报警信息：日志代码经过事件判别策略的分析，判断出日志代码所属的事件，日志分析系统能针对这些事件进行报警，产生事件报警信息。
马尔可夫模型：一种统计模型，它对于一个系统，由一个状态转至另一个状态的转换过程中，存在着转移概率，并且这种转移概率可以依据其紧接的前一个状态推算出来，与该系统的原始状态和此次转移前的马尔可夫过程无关。
机器学习：专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。
强化学习：是智能系统从环境到行为映射的学习，以奖励信号函数值最大为目的。在强化学习中，由环境提供的强化信号是对产生动作好坏的唯一评价。
本发明实施例提供一种事件判别策略创建方法，该方法的方法流程图如图1所示，包括如下步骤：
S10，获取预先设置的日志代码和初始事件判别策略，并将初始事件判别策略作为当前事件判别策略；
本实施例中，所获取的日志代码作为后续策略优化的样本，由于日志代码的内容是固定不变的，因此该段日志代码所涵盖的事件报警信息数目，也就是理论事件报警信息数目是一定的。如果日志分析管理系统运行某事件判别策略所获得的针对该日志代码的事件报警信息数目，也就是实际事件报警信息数目越大、越接近理论事件报警信息数目，则表示该事件判别策略越优。
S20，从预设创建动作集合中选取当前事件判别策略所对应的目标执行动作；
本实施例中，预设创建动作集合中包含有针对不同创建情况的执行动作，其中，执行动作具体指对事件判别策略的修改动作，即产生字符串的动作。对于目标执行动作的选取，可随机选择，也可按照一定规则选择，本实施例不做具体限定。
具体实现过程中，步骤S20“从预设创建动作集合中选取当前事件判别策略所对应的目标执行动作”的过程，可以具体采用以下步骤，方法流程图如图2所示：
S201，判断当前事件判别策略是否为初始事件判别策略；若是，则执行步骤S202；若否，则执行步骤S203；
S202，按照预设选取规则从预设创建动作集合中选取目标执行动作；
本实施例中，预设选取规则可为随机选取，也可选取指定执行动作。
S203，根据贪心算法计算预设创建动作集合中各执行动作的执行概率；
贪心算法是一种改进了的分级处理方法，在对问题求解时，总是做出在当前看来是最好的选择，也就是说，不从整体最优上加以考虑，所做出的是在某种意义上的局部最优解。利用贪心算法计算各执行动作的执行概率时，与上一次所选取的目标执行动作有关。
S204，选取执行概率最大的执行动作作为目标执行动作。
S30，根据马尔可夫模型、预设机器学习算法和目标执行动作，计算当前事件判别策略在日志代码下的累积事件报警信息数目；
本实施例中，由于在进行事件判别策略的创建属于一种动态行为，无法事先得知下一步执行的情况，而且在选择决策创建时，当前获得的事件报警信息数目与上一次或者下一次的事件报警信息数目均无关，仅取决于日志代码以及当前事件判别策略。因此，本实施例中利用马尔可夫模型来计算累积事件报警信息数目。
具体实现过程中，步骤S30“从预设创建动作集合中选取当前事件判别策略所对应的目标执行动作根据马尔可夫模型、预设机器学习算法和目标执行动作，计算当前事件判别策略在日志代码下的累积事件报警信息数目”的过程，可以具体采用以下步骤，方法流程图如图3所示：
S301，根据马尔可夫模型和预设机器学习算法，定义用于表征累积事件报警信息数目期望的期望累积回馈函数；
在执行步骤S301的过程中，首先结合马尔可夫模型将事件判别策略的创建过程定义为一个五元组(s,a,r,δ,π)，s表示输入的日志代码，a表示目标执行动作，r表示日志代码经过当前事件判别策略过滤后所产生的实际事件报警信息数目，δ表示理论事件报警信息数目与实际事件报警信息数目的差量，π表示当前事件判别策略。
其次，为了得到最精确的事件判别策略π，就需要产生最大的累积事件报警信息数目。由此，累积事件报警信息数目Vπ(s)可以采用如下公式(1)表示：
其中，γ是一个在[0,1)区间上的常量，代表了延迟回馈和立即回馈的相对比值。当γ＝0时，说明在公式中只考虑了立即回馈的情况。当γ趋近于1时，则表明未来的延迟回馈相对于立即回馈有着更大的重要程度。
事件判别策略的创建决策过程中，假设最优事件判别策略记为π*，可以采用如下公式(2)表示：
为了获得最优事件判别策略π*，这时就需要获取最大的累积事件报警信息数目Vπ(s)，因此我们应该更加关注的是成对出现的日志代码s和目标执行动作a，即是说在日志代码s下应该做出何种目标执行动作a。
本实施例中，预设机器学习算法为Q-学习机器学习算法，Q-学习机器学习算法是目前使用最为普遍的一种强化学习算法之一。定义Q(S,at)为在日志代码s下、执行动作at的价值，定义Q*(S,at)是日志代码S下时执行动作at，且在其后按照最优事件判别策略π*的期望累积回馈，其与累积事件报警信息数目Vπ(s)的关系可用如下公式(3)表示：
对于每一个有可能发生的目标执行动作at+1，可以通过概率p(at+1|at,s)转移到at+1，并且自此可以按照最优事件判别策略π*进行动作，所得到的期望累积回馈即为V*(s)。因此，可以按照如下公式(4)表示Q*(S,at)：
S302，获取上一累积事件报警信息数目、用于表征延时回馈与立即回馈比值的预设回馈参数以及当前事件判别策略在目标执行动作下的执行动作转移概率；
S303，将上一累积事件报警信息数目、预设回馈参数和执行动作转移概率代入期望累积回馈函数中，计算当前事件判别策略在日志代码下的期望累积回馈值；
S304，将期望累积回馈值确定为累积事件报警信息数目。
S40，在满足预设策略创建条件的情况下，按照目标执行动作对当前事件判别策略进行调整，将调整后的当前事件判别策略作为当前事件判别策略，并返回执行步骤S20；
本实施例中，预设策略创建条件可为预设时段或者预设循环次数等，本实施例不做具体限定。
S50，在不满足预设策略创建条件的情况下，从累积事件报警信息数目中选取最大累积事件报警信息数目，并创建最大累积事件报警信息数目所对应的当前事件判别策略；
在执行步骤S50的过程中，若所选取的最大累积事件报警信息数目为一个，则直接创建该最大累积事件报警信息数目所对应的当前事件判别策略。反之，若为多个，则选取目标执行动作数量最小的最大累积事件报警信息数目作为最终累积事件报警信息数目，并创建最终累积事件报警信息数目所对应的当前事件判别策略。
在其他一些实施例中，为保证日志分析管理系统的及时运行，在图1示出的事件判别策略创建方法基础上，还包括如下步骤：
将所创建的当前事件判别策略添加至事件判别策略库中。
以上步骤S201～步骤S203仅仅是本申请实施例步骤S20“从预设创建动作集合中选取当前事件判别策略所对应的目标执行动作”的过程的一种优选的实现方式，有关此过程的具体实现方式可根据自己的需求任意设置，在此不做限定。
以上步骤S301～步骤S304仅仅是本申请实施例步骤S30“根据马尔可夫模型、预设机器学习算法和目标执行动作，计算当前事件判别策略在日志代码下的累积事件报警信息数目”的过程的一种优选的实现方式，有关此过程的具体实现方式可根据自己的需求任意设置，在此不做限定。
本发明实施例提供的事件判别策略创建方法，利用马尔可夫模型、预设机器学习算法和所选取的目标执行动作来计算当前事件判别策略的累计事件报警信息数目，并在满足预设策略创建条件的情况下，利用目标执行动作不断优化当前事件判别策略。由于在马尔可夫模型中累积回馈越大，事件判别策略也就越精确，选取最大累积事件报警信息数目所对应的当前事件判别策略，也就相应获取到了最优的事件判别策略。基于本发明公开的方法，实现事件判别策略的不断优化，保证所创建的事件判别策略最优，大大提高了策略创建的准确度。
基于上述实施例提供的事件判别策略创建方法，本发明实施例则对应提供执行上述事件判别策略创建方法的装置，其结构示意图如图4所示，包括：获取模块10、选取模块20、计算模块30、调整模块40和选取创建模块50；
获取模块10，用于获取预先设置的日志代码和初始事件判别策略，并将初始事件判别策略作为当前事件判别策略；
选取模块20，用于从预设创建动作集合中选取当前事件判别策略所对应的目标执行动作；
计算模块30，用于根据马尔可夫模型、预设机器学习算法和目标执行动作，计算当前事件判别策略在日志代码下的累积事件报警信息数目；
调整模块40，用于在满足预设策略创建条件的情况下，按照目标执行动作对当前事件判别策略进行调整，将调整后的当前事件判别策略作为当前事件判别策略，并触发选取模块20；
选取创建模块50，用于在不满足预设策略创建条件的情况下，从累积事件报警信息数目中选取最大累积事件报警信息数目，并创建最大累积事件报警信息数目所对应的当前事件判别策略。
在其他一些实施例中，选取模块20，具体用于：
判断当前事件判别策略是否为初始事件判别策略；若是，按照预设选取规则从预设创建动作集合中选取目标执行动作；若否，根据贪心算法计算预设创建动作集合中各执行动作的执行概率；选取执行概率最大的执行动作作为目标执行动作。
在其他一些实施例中，计算模块30，具体用于：
根据马尔可夫模型和预设机器学习算法，定义用于表征累积事件报警信息数目期望的期望累积回馈函数；获取上一累积事件报警信息数目、用于表征延时回馈与立即回馈比值的预设回馈参数以及当前事件判别策略在目标执行动作下的执行动作转移概率；将上一累积事件报警信息数目、预设回馈参数和执行动作转移概率代入期望累积回馈函数中，计算当前事件判别策略在日志代码下的期望累积回馈值；将期望累积回馈值确定为累积事件报警信息数目。
在其他一些实施例中，用于创建最大累积事件报警信息数目所对应的当前事件判别策略的选取创建模块50，具体用于：
在所选取的最大累积事件报警信息数目为多个的情况下，获取最大累计事件报警信息数目所对应目标执行动作的数量；选取目标执行动作数量最小的最大累积事件报警信息数目作为最终累积事件报警信息数目；创建最终累积事件报警信息数目所对应的当前事件判别策略。
在其他一些实施例中，在图4示出的事件判别策略创建装置的基础上，还包括如下模块：
添加模块，用于将所创建的当前事件判别策略添加至事件判别策略库中。
本发明实施例提供的事件判别策略创建装置，可以实现事件判别策略的不断优化，保证所创建的事件判别策略最优，大大提高了策略创建的准确度。
以上对本发明所提供的一种事件判别策略创建方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。