本发明涉及互联网技术领域，尤其涉及一种应急预案评测方法及装置。
背景技术：
随着互联网的发展，网民对网络服务的质量要求越来越高。有数据显示，视频开播时间超过2s，有6％的用户会离开，如果超过10s，有超过一半的用户会停止观看；如果网页加载超过12s，99％的用户会离开；故障10小时会有20％～30％的客户流失。这些都说明目前互联网已经进入故障0容忍的时代；基于此对于互联网行业来说，如何实现合理的故障应急预案，降低故障的处理时间，并对应急预案进行长期、系统的管理和跟进，是一个非常重要的工作。
应急预案的评估指标预设值合理性，很难保障。相同系统的应急预案、相同类型系统的应急预案以及整个产品线的应急预案很难综合评估和管理起来，不同系统、系统类型、产品线的应急预案孵化成果和经验无法共用和传承。
技术实现要素：
为了解决上述技术问题，本发明提供了一种应急预案评测方法及装置。
本发明提供了一种应急预案评测方法，包括：针对不同的应急预案执行至少一次以下内容：执行应急预案演习，获得并记录每次演习中各评估指标的实际值；评估指标包括时限性评估指标、监控项、故障通知人员、应急预案标识；计算应急预案的时限性评估指标的期望值，根据期望值和评估指标的预设值评估时限性评估指标的合理性；对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性；将评估结果组成评估报告。
进一步地，上述方法还具有以下特点：
应急预案包括：目标应急预案、与目标应急预案位于同一网络系统中的应急预案，与目标应急预案位于同一网络系统类型中的应急预案、与目标应急预案位于同一产品线中的应急预案。
进一步地，上述方法还具有以下特点：
时限性评估指标包括以下至少一个：故障告警时限、故障发现时限、故障通知时限、故障定性时限、故障快速处理时限、故障处理时限。
进一步地，上述方法还具有以下特点：
计算目标应急预案的时限性评估指标的期望值并根据期望值和评估指标的预设值评估时限性评估指标的合理性包括：
针对时限性评估指标，获取目标应急预案的实际数值，将时限值最小的数据作为最佳期望值，获取实际数值中n个最小的数据的平均值作为合理期望值；
预设值大于最佳期望值和合理期望值且与两者的差值均大于预设值的预设比例，则判定预设值偏大，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值小于最佳期望值和合理期望值且与两者的差值均小于预设值的预设比例，则判定预设值偏小，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值与最佳期望值和合理期望的差异均小于预设值的预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为预设值；
预设值小于合理期望值且两者差值小于第一预设比例，大于最佳期望值且两者差值小于第二预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为最佳期望值。
进一步地，上述方法还具有以下特点：
根据期望值和评估指标的预设值评估时限性评估指标的合理性包括以下方式中的一种：
一，对应急预案中各个应急预案分别评估时限性评估指标的合理性；
二，对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性；
三，对应急预案中各个应急预案分别评估时限性评估指标的合理性；对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性。
进一步地，上述方法还具有以下特点：
对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性包括：
根据实际值与预设值的一致性和唯一性判断监控项的合理性；
根据故障通知人员的实际值和预设值的一致性和岗位唯一性判断故障通知人员的合理性；
根据应急预案标识的实际值和预设值的一致性判断应急预案标识的合理性。
本发明还提供了一种应急预案评测装置，包括：
执行模块，用于执行应急预案演习，获得并记录每次演习中各评估指标的实际值；评估指标包括时限性评估指标、监控项、故障通知人员、应急预案标识；
第一评估模块，用于计算应急预案的时限性评估指标的期望值，根据期望值和评估指标的预设值评估时限性评估指标的合理性；
第二评估模块，用于对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性；
报告模块，用于将评估结果组成评估报告。
进一步地，上述装置还具有以下特点：
应急预案包括：目标应急预案、与目标应急预案位于同一网络系统中的应急预案，与目标应急预案位于同一网络系统类型中的应急预案、与目标应急预案位于同一产品线中的应急预案。
进一步地，上述装置还具有以下特点：
时限性评估指标包括以下至少一个：故障告警时限、故障发现时限、故障通知时限、故障定性时限、故障快速处理时限、故障处理时限。
进一步地，上述装置还具有以下特点：
第一评估模块，用于使用以下方法计算目标应急预案的时限性评估指标的期望值并根据期望值和评估指标的预设值评估时限性评估指标的合理性：
针对时限性评估指标，获取目标应急预案的实际数值，将时限值最小的数据作为最佳期望值，获取实际数值中n个最小的数据的平均值作为合理期望值；
预设值大于最佳期望值和合理期望值且与两者的差值均大于预设值的预设比例，则判定预设值偏大，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值小于最佳期望值和合理期望值且与两者的差值均小于预设值的预设比例，则判定预设值偏小，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值与最佳期望值和合理期望的差异均小于预设值的预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为预设值；
预设值小于合理期望值且两者差值小于第一预设比例，大于最佳期望值且两者差值小于第二预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为最佳期望值。
进一步地，上述装置还具有以下特点：
第一评估模块，用于使用以下方式中的一种根据期望值和评估指标的预设值评估时限性评估指标的合理性：
一，对应急预案中各个应急预案分别评估时限性评估指标的合理性；
二，对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性；
三，对应急预案中各个应急预案分别评估时限性评估指标的合理性；对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性。
进一步地，上述装置还具有以下特点：
第二评估模块，用于使用以下方法对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性：
根据实际值与预设值的一致性和唯一性判断监控项的合理性；
根据故障通知人员的实际值和预设值的一致性和岗位唯一性判断故障通知人员的合理性；
根据应急预案标识的实际值和预设值的一致性判断应急预案标识的合理性。
本发明提供了一种基于大数据分析的、长期、系统的应急预案评测方法，实现应急预案的自动化评估，降低应急预案的评估的成本，降低人力分析成本，提高效率、提高应急预案的可靠性及持续优化能力。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是实施例中应急预案评测方法的流程图；
图2是实施例中应急预案评测装置的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
图1是实施例中应急预案评测方法的流程图，此方法包括：
步骤1，针对不同的应急预案执行至少一次以下内容：
步骤101，执行应急预案演习，获得并记录每次演习中各评估指标的实际值；评估指标包括时限性评估指标、监控项、故障通知人员、应急预案标识；
步骤102，计算应急预案的时限性评估指标的期望值，根据期望值和评估指标的预设值评估时限性评估指标的合理性；
步骤103，对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性；
步骤2，将评估结果组成评估报告。
其中，
步骤1中从本地应急预案版本列表里，读取每个应急预案最新版本号，选取各评估指标中与应急预案最新版本号相同的所有实际数值，作为各评估指标的实际值。
应急预案包括：目标应急预案、与目标应急预案位于同一网络系统中的应急预案，与目标应急预案位于同一网络系统类型中的应急预案、与目标应急预案位于同一产品线中的应急预案。
网络系统是指dns系统、web系统、配置管理系统、日志系统等等不同的网络系统。同一系统中会存在多种预案，例如配置管理系统有服务器故障应急预案、数据丢失预案等等。
网络系统类型是指指多个网络系统是同一个类型。例如配置管理系统和portal的类型是业务支撑类型；日志系统和存储系统的类型是大数据类型；dns和web系统的类型是核心系统类型，一般同类型系统的架构实现和故障处理要求关联性较强。
本方法中的对多个应急预设的演习和评估的顺序可以是以下顺序：目标应急预案、与目标应急预案位于同一网络系统中的应急预案，与目标应急预案位于同一网络系统类型中的应急预案、与目标应急预案位于同一产品线中的应急预案。
时限性评估指标包括以下至少一个：故障告警时限、故障发现时限、故障通知时限、故障定性时限、故障快速处理时限、故障处理时限。
其中，
故障告警时限：单位为时间单位(例如分钟)，定义为演习操作触发故障到监控系统告警时限。
故障发现时限，单位为时间单位(例如分钟)，定义为演习操作触发故障到值班人员提交监控信息获取指令的时间段。
故障通知时限，单位为时间单位(例如分钟)，定义为故障发现到故障通知人员列表全部确认收到故障信息的时间。
故障定性时限，单位为时间单位(例如分钟)，定义为故障发现到明确故障采用应急预案的时间。
故障快速处理时限，单位为时间单位(例如分钟)，定义为故障定性到业务服务恢复的时间。
故障处理时限，单位为时间单位(例如分钟)，定义为故障业务恢复到系统恢复到故障前状态的时间。
故障发生监控项，内容为监控项名称，定义为故障发生会触发的监控告警。
故障通知人员列表，内容为通知人员名单，定义：故障发现后需要通知的处理、关注人员。
应急预案，内容为流程文档名称，定义：应急处理的流程文档。
例如：
时间：xxxx年xx月xx日xx：xx
应急预案：ddos攻击应急预案v1.1
故障告警实现：5分钟
故障发现时限：10分钟
故障通知时限：5分钟
故障定性时限：5分钟
故障快速处理时限：15分钟
故障处理时限：30分钟
故障发现监控项：监控项1、监控项2
故障通知人员列表：运维a、研发b、销售c
应急预案调用：应急预案1、ddos攻击应急预案。
步骤102中，计算目标应急预案的时限性评估指标的期望值并根据期望值和评估指标的预设值评估时限性评估指标的合理性包括：
针对时限性评估指标，获取应急预案的实际数值，将时限值最小的数据作为最佳期望值，获取实际数值中n个最小的数据的平均值作为合理期望值；n是可设置的正整数。
预设值大于最佳期望值和合理期望值且与两者的差值均大于预设值的预设比例，则判定预设值偏大，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值小于最佳期望值和合理期望值且与两者的差值均小于预设值的预设比例，则判定预设值偏小，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值与最佳期望值和合理期望的差异均小于预设值的预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为预设值；
预设值小于合理期望值且两者差值小于第一预设比例，大于最佳期望值且两者差值小于第二预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为最佳期望值。
例如：
假设预设值为5
步骤102中根据期望值和评估指标的预设值评估时限性评估指标的合理性包括以下方式中的一种：
一，对应急预案中各个应急预案分别评估时限性评估指标的合理性；
二，对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性；
三，对应急预案中各个应急预案分别评估时限性评估指标的合理性；对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性。
步骤103中，对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性。包括以下内容：
一，根据实际值与预设值的一致性和唯一判断监控项的合理性，具体包括：对比应急预案故障发生监控项的实际数值与预设值，如果不一致则判定“故障发生监控项预设值异常”；如果一致，对比不同应急预案的故障发生监控项的实际数值，判断是否存在不同的应急预案出现相同的监控项实际数值，如果存在则判定“故障发生监控项设置异常”；如果不存在则判定“故障发生监控项设置正常”。
二，根据故障通知人员的实际值和预设值的一致性和岗位唯一性判断故障通知人员的合理性。具体包括：
获取应急预案预设值和实际数值通知人员列表，分析统计不同岗位的人员是否存在相同人员，如果存在判定“岗位人员唯一性异常”；如果不存在，则判定“岗位人员唯一性正常”。
获取应急预案通知人员列表的实际数值，确认在故障处理的时间段内，是否有相同人员被两个应急预案的实际数值调用，如果存在，则判定“人员复用异常”，如果不存在则认定“人员复用正常”。具体的，故障处理时间段内为：“数据时间+故障发现+故障定性+故障快速处理+故障处理”的时间段内，获取相同时间段内是否有多组数据，如果没有则判定为人员复用正常，如果有则执行下一步。如果存在多组数据，则判定两组数据的通知人员列表中人员是否有重复，如果没有重复，则判定为人员复用正常，如果有重复则判定为人员复用异常。
三，根据应急预案标识的实际值和预设值的一致性判断应急预案标识的合理性。具体的，评估应急预案定性设置合理性，如果应急预案调用的实际数值与预设值一致且数目为1，判定为正常；如果应急预案调用的实际数值为1个但与预设数值不一致，判定为评测异常；其他情况判定为异常。
本发明的应急预案评测方法，可以实现应急预案的自动化评估，降低应急预案的评估的成本，提高90％的评估效率。
本发明提供了一种应急预案评测装置，包括：
执行模块，用于执行应急预案演习，获得并记录每次演习中各评估指标的实际值；评估指标包括时限性评估指标、监控项、故障通知人员、应急预案标识；
第一评估模块，用于计算应急预案的时限性评估指标的期望值，根据期望值和评估指标的预设值评估时限性评估指标的合理性；
第二评估模块，用于对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性；
报告模块，用于将评估结果组成评估报告。
其中，
应急预案包括：目标应急预案、与目标应急预案位于同一网络系统中的应急预案，与目标应急预案位于同一网络系统类型中的应急预案、与目标应急预案位于同一产品线中的应急预案。时限性评估指标包括以下至少一个：故障告警时限、故障发现时限、故障通知时限、故障定性时限、故障快速处理时限、故障处理时限。
第一评估模块，用于使用以下方法计算目标应急预案的时限性评估指标的期望值并根据期望值和评估指标的预设值评估时限性评估指标的合理性：
针对时限性评估指标，获取目标应急预案的实际数值，将时限值最小的数据作为最佳期望值，获取实际数值中n个最小的数据的平均值作为合理期望值；
预设值大于最佳期望值和合理期望值且与两者的差值均大于预设值的预设比例，则判定预设值偏大，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值小于最佳期望值和合理期望值且与两者的差值均小于预设值的预设比例，则判定预设值偏小，设置时限性评估指标的合理值为合理期望值，最佳值为最佳期望值；
预设值与最佳期望值和合理期望的差异均小于预设值的预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为预设值；
预设值小于合理期望值且两者差值小于第一预设比例，大于最佳期望值且两者差值小于第二预设比例，则判定预设值合理，设置时限性评估指标的合理值为预设值，最佳预设值为最佳期望值。
第一评估模块，还用于使用以下方式中的一种根据期望值和评估指标的预设值评估时限性评估指标的合理性：
一，对应急预案中各个应急预案分别评估时限性评估指标的合理性；
二，对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性；
三，对应急预案中各个应急预案分别评估时限性评估指标的合理性；对应急预案中各个应急预案分别评估时限性评估指标的合理性，根据评估结合获得综合性的时限性评估指标的合理性。
第二评估模块，用于使用以下方法对于监控项、故障通知人员、应急预案标识，根据实际值与相应预设值判断合理性：
根据实际值与预设值的一致性和唯一性判断监控项的合理性；
根据故障通知人员的实际值和预设值的一致性和岗位唯一性判断故障通知人员的合理性；
根据应急预案标识的实际值和预设值的一致性判断应急预案标识的合理性。
本发明提供了一种基于大数据分析的、长期、系统的应急预案评测方法，实现应急预案的自动化评估，降低应急预案的评估的成本，降低人力分析成本，提高效率、提高应急预案的可靠性及持续优化能力。
上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括要素的物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。