一种基于大数据的信息系统效能评估方法

本发明涉及信息技术领域，尤其涉及一种基于大数据的信息系统效能评估方法。

背景技术：

信息系统是由武器平台、作战人员和硬软件构成的复杂巨系统,是军事领域信息系统的泛称,主要为军队的作战、训练、战备等军事工作提供信息的感知、传递、处理、利用、对抗等信息功能和服务,被广泛运用于军队不同层级的部门和业务管理中。信息系统使保障指挥员能实施快速、准确、高效和稳定的作战指挥的关键，使指挥自动化系统的核心和纽带。对信息系统进行综合效能评估需要考虑系统的功能组成、使命任务。

具体而言，信息系统一般由以下分系统构成：1)情报综合分系统：负责情报收集，包括战略、战役、战术三个等级的情报数据；同时负责情报的分析鉴别、综合分类、情报显示、存储与提取；2)作战控制分系统：用于监督、检查部属的指令执行情况，并指导部属展开工作；3)辅助决策分系统：根据任务对情报信息进行加工处理，并基于专家系统以及人工智能给出态势评估以及行动建议；4)数据库及情报分发系统：用于信息存储与情报信息的分发，主要采用分布式数据库、数据总线技术，以及云存储、云计算、虚拟化技术来实现。

而信息系统评估分析是指利用定性和定量分析相结合的方法，分析、计算、评估信息系统在特定作战环境下，执行特定作战任务时所能达到预期目标的程度以及对整个作战体系的贡献程度。可以区分为两个层面：一是对信息系统自身效能发挥情况的评估，也就是信息系统效能评估分析；二是信息系统对整个作战体系效能发挥的贡献程度，也就是信息系统体系贡献度评估分析。其中，信息系统效能评估需要考虑多方面的指标及影响因素，综合运用多种评估方法进行评估计算。效能评估的主要目标是完成系统在特定的任务背景和环境背景下各项能力的发挥水平。

在面临如此复杂的巨系统的情况下，如何验证评估其效能显然是一项非常复杂的工作，而现有技术中还没有一种能够适用于这种复杂巨系统的效能评估方法。

技术实现要素：

本发明的目的在于提供一种基于大数据的信息系统效能评估方法。

为实现上述发明目的，本发明提供一种基于大数据的信息系统效能评估方法，包括以下步骤：

s1.采集信息系统的系统数据，其中，所述系统数据包括：系统构造数据、系统业务数据、系统运维数据、相关经验数据；

s2.基于大数据平台对所述系统数据进行预处理；

s3.选取用于评估所述系统数据的评估方案，并基于所述大数据平台对所述评估方案和预处理后的所述系统数据进行关联；

s4.基于所述大数据平台执行所述评估方案，对关联的所述系统数据进行实时评估，并输出评估结果；

s5.获得所述评估结果并汇总生成评估报告。

根据本发明的一个方面，步骤s1中，采集信息系统的系统数据的步骤中，所述大数据平台通过与所述信息系统的文件系统、关系数据库、非关系数据库和数据流分别进行适配，以获得所述系统数据。

根据本发明的一个方面，步骤s2中，基于大数据平台对所述系统数据进行预处理的步骤中，包括：

s21.所述大数据平台对采集的所述系统数据进行加载并转换；

s22.对转换后的所述系统数据进行过滤；

s23.对过滤后的所述系统数据进行属性计算；

s24.将经过属性计算的所述系统数据分发至所述大数据平台的hdfs文件系统、hbase数据库、graphbase图数据库、mpp数据库以及传统关系数据库分别进行存储。

根据本发明的一个方面，步骤s3中，选取用于评估所述系统数据的评估方案的步骤中，基于评估方案库选取所述评估方案；

所述评估方案库通过以下步骤获得：

s31.构建包含多个指标体系的指标体系库；

s32.构建包含多个算法模型的算法模型库；

s33.选取所述指标体系库中的所述指标体系，以及选取所述算法模型库中的所述算法模型，基于所述指标体系和所述算法模型编辑指标计算流程并生成所述评估方案。

s34.重复步骤s33，生成多个所述评估方案并构建所述评估方案库。

根据本发明的一个方面，步骤s31中，构建包含多个指标体系的指标体系库的步骤中包括：

s311.采用德尔菲法选取出用于评估所述系统数据的候选指标；

s312.对所述候选指标进行相干性分析、主成分分析以及因子分析，并获取相应的指标分析结果；

s313.按照预设条件对所述指标分析结果进行筛选，获取满足所述预设条件的所述指标分析结果并基于所述指标分析结果获取相应的所述候选指标构建指标集合；

s314.对所述候选指标设定指标层级并建立所述候选指标件的依赖关系；

s315.基于所述指标层级和所述依赖关系将所述指标集合中的所述候选指标划分为效能指标和性能指标；

s316.由所述效能指标和所述性能指标构建所述指标体系，在构建指标体系的过程中，自顶下逐层分解，在确保指标体系的完整性、指标的可测性、指标之间的独立性的原则下，逐步完善指标体系的构建；

s317重复步骤s316获得多种所述指标体系以构建所述指标体系库。

根据本发明的一个方面，步骤s32中，构建包含多个算法模型的算法模型库的步骤中，基于所述大数据平台构建所述算法模型库；

所述算法模型包括：均值模型、方差模型、偏度计算模型、峰度计算模型、相关系数模型、皮尔逊相关系数模型、协方差模型、主成分分析模型、层次分析法模型、模糊综合法模型、灰色白化权函数模型、topsis模型、数据包络法模型、adc效能分析模型、系统有效性分析模型和用户扩展模型；

所述用户扩展模型采用编程语言生成，且其通过所述大数据平台的用户扩展模型接口进行参数传递；

所述参数包括数据集和图像；其中，所述数据集包括：行数、列数、列名和内容数据；

通过所述用户扩展模型接口进行参数传递的步骤中，所述用户扩展模型接口对所述参数进行转换；

所述用户扩展模型包括：自定义模型和机器学习模型；

若所述用户扩展模型为机器学习模型，则采用二元分类法、多元分类法、回归法中的至少一种生成。

根据本发明的一个方面，步骤s33中，基于所述指标体系和所述算法模型编辑指标计算流程并生成所述评估方案的步骤中，针对所述指标体系中包含的每个指标匹配所述算法模型，并分别构建一个由输入所述指标、输出所述指标，引入所述系统数据和各类所述算法模型的计算流程；

集合所有指标的所述计算流程，以及所述指标体系生成所述评估方案。

根据本发明的一个方面，步骤s4中，基于所述大数据平台执行所述评估方案，对关联的所述系统数据进行实时评估，并输出评估结果的步骤中，按照所述评估方案中的所述指标体系和所述计算流程自底向上逐层计算，获得所有指标关于每一个所述系统数据的所述评估结果；其中，所述大数据平台采用分布式执行的方式对所述系统数据进行实时评估。

根据本发明的一个方面，还包括：

s6.获取所述评估结果并对所述评估结果进行指标相关性分析、指标独立性分析、指标敏感性分析和指标全寿命周期分析。

根据本发明的一个方面，步骤s6中，采用所述大数据平台中基于hadoop的mahout库、基于spark的mlib库、基于flink的flinkml库对所述评估结果进行指标相关性分析、指标独立性分析、指标敏感性分析和指标全寿命周期分析。

根据本发明的一种方案，本方案在信息系统效能评估中，通过结合指标体系、评估计算流程的综合效能评估方案，使得本方案的效能评估过程更为全面精细，输出的评估结果更为准确有效。

根据本发明的一种方案，本方案在信息系统评估数据处理过程中，综合集成大数据技术，极大的提升数据统计分析与分析挖掘的运行效率，进而能够对于复杂的巨系统仍具有高效的评估能力。适用于复杂系统效能评估平台的构建。

根据本发明的一种方案，本方案能够通过灵活增加或改变相应的指标和算法模型即可对于不同的复杂巨系统具有良好的匹配性能，保证了本方案适用性广的特点。

根据本发明的一种方案，将大数据平台与待评估系统的文件系统、数据库等适配连接，保证了再后续评估过程中平台获取数据的实时性和准确性，进而对保证本方案的运行效率有益。

附图说明

图1是示意性表示根据本发明的一种实施方式的信息系统效能评估方法的步骤框图；

图2是示意性表示根据本发明的一种实施方式的信息系统效能评估方法的流程图。

具体实施方式

下面结合附图和具体实施方式对本发明作详细地描述，实施方式不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施方式。

如图1所示，根据本发明的一种实施方式，本发明的一种基于大数据的信息系统效能评估方法，包括以下步骤：

s1.采集信息系统的系统数据，其中，系统数据包括：系统构造数据、系统业务数据、系统运维数据、相关经验数据；

s2.基于大数据平台对系统数据进行预处理；

s3.选取用于评估系统数据的评估方案，并基于大数据平台对评估方案和预处理后的系统数据进行关联；

s4.基于大数据平台执行评估方案，对关联的系统数据进行实时评估，并输出评估结果；

s5.获得评估结果并汇总生成评估报告。

如图2所示，根据本发明的一种实施方式，步骤s1中，采集信息系统的系统数据是用于对后续评估过程所使用的评估样本数据的采集，这些系统数据包括各类主客观数据、信息系统能够使用的多种来源的数据。在本实施方式中，这些被采集的评估样本数据(即系统数据)可被具体分为：系统数据包括：系统构造数据、系统业务数据、系统运维数据、相关经验数据。

在本实施方式中，步骤s1中，采集信息系统的系统数据的步骤中，大数据平台通过与信息系统的文件系统、关系数据库、非关系数据库和数据流分别进行适配，以获得系统数据。

根据本发明，将大数据平台与待评估系统的文件系统、数据库等适配连接，保证了再后续评估过程中平台获取数据的实时性和准确性，进而对保证本方案的运行效率有益。

如图2所示，根据本发明的一种实施方式，步骤s2中，基于大数据平台对系统数据进行预处理的步骤中，包括：

s21.大数据平台对采集的系统数据进行加载并转换；

s22.对转换后的系统数据进行过滤；

s23.对过滤后的系统数据进行属性计算；

s24.将经过属性计算的系统数据分发至大数据平台的hdfs文件系统、hbase数据库、graphbase图数据库、mpp数据库以及传统关系数据库分别进行存储。

在本实施方式中，通过大数据平台的etl工具sqoop，以及结合flume工具、kafka工具等技术实现系统数据的采集、加载、转换、过滤、属性计算，以及将采集到的数据可根据需求分发存储于hdfs文件系统、hbase数据库、graphbase图数据库、mpp数据库以及传统关系数据库。

根据本发明，通过采用大数据平台的不同数据处理工具对待评估系统数据的采集和处理，保证了数据在传输和处理过程的准确，保证了本发明的运行效率和评估精度。

如图2所示，根据本发明的一种实施方式，基于步骤s3创建评估任务，该评估任务是在已建立的评估方案的基础上针对若干明确的评估对象进行的一次具体评估活动。评估对象可以是具体装备的综合效能，也可以是不同作战方案的执行效果。评估任务使用的数据来自数据预处理模块从各数据源获得的数据。具体的，步骤s3中，选取用于评估系统数据的评估方案的步骤中，基于评估方案库选取评估方案；

评估方案库通过以下步骤获得：

s31.构建包含多个指标体系的指标体系库；

s32.构建包含多个算法模型的算法模型库；

s33.选取指标体系库中的指标体系，以及选取算法模型库中的算法模型，基于指标体系和算法模型编辑指标计算流程并生成评估方案。

s34.重复步骤s33，生成多个评估方案并构建评估方案库。

根据本发明，通过构建指标体系库、算法模型库等可以集合不同指标体系和算法模型，进而有效提高本方案的维护性和可扩展性，对于其适用于更多方面的评估作业有利。另外，通过构建不同的评估方案，可以针对不同的评估作业需求选择相应的评估方案，极大的提高了整个评估过程的效率。

如图1所示，根据本发明的一种实施方式，步骤s31中，构建包含多个指标体系的指标体系库的步骤中包括：在该步骤中包括：

s311.采用德尔菲法(delph法)，选取出用于评估系统数据的候选指标；

s312.对候选指标进行相干性分析、主成分分析以及因子分析，并获取相应的指标分析结果；

s313.按照预设条件对指标分析结果进行筛选，获取满足预设条件的指标分析结果并基于指标分析结果获取相应的候选指标构建指标集合；

s314.对候选指标设定指标层级并建立候选指标件的依赖关系；

s315.基于指标层级和依赖关系将指标集合中的候选指标划分为效能指标(moe)和性能指标(mop)；

s316.由效能指标(moe)和性能指标(mop)构建指标体系，在构建指标体系的过程中，自顶下逐层分解，在确保指标体系的完整性、指标的可测性、指标之间的独立性的原则下，逐步完善指标体系的构建；

s317重复步骤s316获得多种指标体系以构建指标体系库。

如图2所示，根据本发明的一种实施方式，步骤s32中，构建包含多个算法模型的算法模型库的步骤中，基于大数据平台构建算法模型库；在本实施方式中，算法模型包括：均值模型、方差模型、偏度计算模型、峰度计算模型、相关系数模型、皮尔逊相关系数模型、协方差模型、主成分分析模型、层次分析法模型(ahp模型)、模糊综合法模型、灰色白化权函数模型、topsis模型(优劣解距离法模型)、数据包络法模型、adc效能分析模型、系统有效性分析模型(sea模型)；在本实施方式中，这些算法模型可集成在大数据平台中，当使用时可以直接从大数据平台中选取。

在本实施方式中，算法模型还包括用户扩展模型。在本实施方式中，用户扩展模型可采用编程语言生成(如python、java、r、c++等语言进行设计生成)，且其通过大数据平台的用户扩展模型接口进行参数传递；在本实施方式中，用户扩展模型采用各种编程语言开发时可以采用不同编程语言各自内部的数据结构进行算法逻辑开发，例如python中可以采用numpy库，r中采用内部的矩阵运算，java可采用ujmp,ejml等，c++可采用armadillo等。

在完成对用户扩展模型内部算法逻辑的开发后，针对各用户扩展模型的参数传递作进一步设置。在本实施方式，在大数据平台设置一用于参数交互的计算引擎，该计算引擎针对不同的编程语言开发有不同的用户扩展模型接口，以供用户扩展模型的适配和数据的调用。在本实施方式中，用户扩展模型所处理的参数主要包括数据集和图像；其中，数据集包括：行数、列数、列名和内容数据(内容数据相当于一个矩阵)。

在本实施方式中，通过用户扩展模型接口进行参数传递的步骤中，用户扩展模型接口需要对参数进行转换；在本实施方式中，用户扩展模型通过这些用户扩展模型接口进行数据交互时其工作流程如下：

各用户扩展模型通过用户扩展模型接口接收参数的过程中，用户扩展模型接口将大数据平台中的参数通过统一内部标准格式(json)的方式进行数据交换，然后通过用户扩展模型接口将统一内部格式的参数传递至用户扩展模型，在用户扩展模型中将接收到的统一内部标准格式的参数转换为适用于该用户扩展模型所能识别的数据格式。

各用户扩展模型通过用户扩展模型接口发送针对参数的评估结果的过程中，用户扩展模型根据其内部设置的计算逻辑对输入的参数计算获得矩阵、图像等的评估结果，其中，图像保存在通用缓存，矩阵结果则发送至用户扩展模型接口并通过用户扩展模型接口转化为统一内部标准格式(json)后发回大数据平台的计算总线(即执行评估方案过程的计算流程)，根据算子参数链接传递给下一个算法模型进行评估分析。

在本实施方式中，用户扩展模型包括：自定义模型和机器学习模型；在本实施方式方式中，自定义模型中的计算逻辑已经被明确，其在设计完成后即可执行相应的数据处理和评估作业(例如，脚本算子、公式算子)。而机器学习模型的计算逻辑在设计过程中还需要通过训练以获得其明确的计算逻辑(如，动态库)，进而，若用户扩展模型为机器学习模型，则采用二元分类法、多元分类法、回归法中的至少一种生成。在本实施方式中，二元分类法包括：线性支持向量机、逻辑回归、决策树、随机森林、梯度提升决策树、朴素贝叶斯决策；多元分类法包括：逻辑回归、决策树、随机森林、朴素贝叶斯决策；回归法包括：线性最小二乘法、最小化的绝对收缩和选择算子、岭回归、决策树、随机森林、梯度提升决策树、保序回归等。

根据本发明，通过构建用户扩展模型，以使得本申请方案的可扩展性和灵活性被进一步提高，对保证本方案在评估过程中的全面性和灵活性有利。

根据本发明，通过构建计算引擎，以实现用户扩展模型接口与用户扩展模型的适配，可以使得本方案能够更加灵活的适用于不同类型的用户扩展模型，对保证本方案的可扩展性和适用性有利。

如图2所示，根据本发明的一种实施方式，步骤s33中，基于指标体系和算法模型编辑指标计算流程的步骤中，针对指标体系中包含的每个指标匹配算法模型，分别构建单一评估方案，即针对每个指标构建一个由输入指标、输出指标，引入系统数据和各类算法模型的计算流程。在本实施方式中，通过获得指标体系中所有指标的计算流程后结合指标体系以生成相应的评估方案，进而，该评估方案即为对同一类型的评估对象进行评估的依据。

如图2所示，根据本发明的一种实施方式，步骤s4中，基于大数据平台执行评估方案，对关联的系统数据进行实时评估，并输出评估结果的步骤中，按照评估方案中的指标体系和计算流程自底向上逐层计算，获得所有指标关于每一个系统数据的评估结果；其中，大数据平台采用分布式执行的方式对系统数据进行实时评估。在本实施方式中，在对系统数据进行实时评估的过程中可借助大数据平台的分析算能力，例如，使用hadoop、spark、storm、flink等多种在线/离线数据处理工具进行统计计算，使分析评估算法可以借助大数据平台高效运行。针对信息系统结构的业务的相关图分析，可以基于graphx进行，以实现分析评估算法可以借助大数据平台高效运行。

如图2所示，根据本发明的一种实施方式，步骤s5中，获得评估结果并汇总生成评估报告的步骤中，在评估任务正确执行后，对评估结果进行不同种类的可视化处理，以实现用户能够通过多种可视化手段查看各系统数据各指标的评估结果。

在本实施方式中，通过汇总评估结果、评估方案和评估方案中的指标体系，并以文字、图表中的至少一种表现形式生成该评估报告。

如图1所示，根据本发明的一种实施方式，还包括：

s6.获取评估结果并对评估结果进行指标相关性分析、指标独立性分析、指标敏感性分析和指标全寿命周期分析。在本实施方式中，采用大数据平台中基于hadoop的mahout库、基于spark的mlib库、基于flink的flinkml库进行扩展开发，并结合大数据平台的运算性能提升对评估结果进行指标相关性分析、指标独立性分析、指标敏感性分析和指标全寿命周期分析的分析挖掘效率。

上述内容仅为本发明的具体方案的例子，对于其中未详尽描述的设备和结构，应当理解为采取本领域已有的通用设备及通用方法来予以实施。

以上所述仅为本发明的一个方案而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。