一种组合模型成熟度评估方法和装置与流程

[0001]
本发明属于建模仿真技术领域，尤其涉及一种组合模型成熟度评估方法和装置。


背景技术：

[0002]
仿真技术作为人们认识世界的一种重要手段，已经被广泛经验于航空航天、医疗、交通、智能制造、社会系统等诸多领域。仿真系统及其仿真模型是仿真应用的具体体现形式，仿真系统及模型的可信度或者质量是否达到要求，直接关系到应用的成败。因此，对仿真系统或者模型的评估问题已成为研究系统仿真领域的热点问题。尤其，对于体系sos(system of systems，系统中的系统)这样的复杂系统仿真而言，往往需要通过模型组合或者组合仿真的形式来完成一个复杂的仿真任务。评估单一的系统或者单一的模型已经不能满足我们的需求，同时，对于给定若干单个模型的相关指标来评估模型组合后的整体模型质量，目前还没有相关的成熟的理论基础来证明其有效性。尤其是对组合模型的可信度的评估，由于模型可信度会随着需求的改变而发生变化，因此，对不同需求下的组合模型可信度的评估面临困难。
[0003]
模型成熟度是指随着模型的使用时间和使用次数的增加，衡量模型满足预期效果及应用目标程度的量度，即模型相对于实际对象的发展状态。模型成熟过程是一个随着实践不断向前推进的循环演化过程。这个过程包含了模型从建模到仿真应用，以及对模型的全过程管理；其中每个过程都应有反馈以保证模型进行迭代优化，即为模型逐步走向成熟的过程。这样，单个的模型成熟度的不会随着需求的改变而变化，从而可以用来计算模型组合后的整体模型成熟度。其次，对子模型进行模型组合并完成仿真任务需求时，不仅要满足子模型之间的语法、语义等功能性需求，也需要考虑子模型之间的关联性、合作关系等约束来满足其非功能需求。单纯从某一个指标(如，模型成熟度)根据数学公式去计算进而评估其组合后的效果，并不能满足其他qos(quality of service，服务质量)指标的要求，也不符合实际的用户需求，最重要的是计算得到的结果也没有参照性。


技术实现要素：

[0004]
本发明为解决上述问题，提出了一种组合模型成熟度评估方案，该方案通过用户对于组合模型的不同的qos评估需求，利用可配置的智能优化算法，求解多目标优化问题，从而找出满足要求的模型组合的最优解。然后使用该最优解计算出组合模型的综合成熟度值，并对不同多目标函数下的不同组合模型成熟度的结果进行分类评估，最后将结果存入到数据库中。
[0005]
为了解决上述技术问题，本发明公开了一种组合模型成熟度评估方法，其中，所述方法包括：构建组合模型的成熟度目标函数；对候选子模型进行组合优选，确定组合模型；基于所述组合模型对所述成熟度目标函数进行评估，其中，评估结果用于表征所述组合模型成熟度。
[0006]
优选的，所述构建组合模型的成熟度目标函数的步骤，包括：根据各仿真需求的子
任务对应的子模型之间的关联合作关系，构建组合模型成熟度目标函数。
[0007]
优选的，所述根据各仿真需求的子任务对应的子模型之间的关联合作关系，构建组合模型成熟度目标函数的步骤，包括：设置参数，其中，所述参数包括：子任务个数、种群大小以及算法迭代次数；加载各仿真需求的子任务对应的子模型的成熟度值和各所述子模型之间的合作关系表；依据所述合作关系表中数据生成各所述子模型之间的合作关系对称矩阵；根据所述对称矩阵，计算各所述子模型的权重向量；依据各所述子模型的权重向量，构建组合模型成熟度目标函数。
[0008]
优选的，所述对候选子模型进行组合优选，确定组合模型的步骤，包括：按照待优化的不同指标的目标函数及相关约束，配置不同的智能优化算法；采用对应算法对多目标问题进行快速优化，以选出满足多目标函数及约束的模型组合的最优解；依据所述模型组合最优解，确定组合模型。
[0009]
优选的，基于所述组合模型对所述成熟度目标函数进行评估的步骤，包括：确定在所述组合模型路径下的整体模型成熟度值；依据所述成熟度值，评估所述组合模型的所述目标函数是否有效。
[0010]
本发明实施例又公开了一种组合模型成熟度评估装置，其中，所述装置包括：构建模块，用于构建组合模型的成熟度目标函数；确定模块，用于对候选子模型进行组合优选，确定组合模型；评估模块，用于基于所述组合模型对所述成熟度目标函数进行评估，其中，评估结果用于表征所述组合模型成熟度。
[0011]
优选的，所述构建模块具体用于：根据各仿真需求的子任务对应的子模型之间的关联合作关系，构建组合模型成熟度目标函数。
[0012]
优选的，所述构建模块包括：第一子模块，用于设置参数，其中，所述参数包括：子任务个数、种群大小以及算法迭代次数；第二子模块，用于加载各仿真需求的子任务对应的子模型的成熟度值和各所述子模型之间的合作关系表；第三子模块，用于依据所述合作关系表中数据生成各所述子模型之间的合作关系对称矩阵；第四子模块，用于根据所述对称矩阵，计算各所述子模型的权重向量；第五子模块，用于依据各所述子模型的权重向量，构建组合模型成熟度目标函数。
[0013]
优选的，所述确定模块包括：第六子模块，用于按照待优化的不同指标的目标函数及相关约束，配置不同的智能优化算法；第七子模块，用于采用对应算法对多目标问题进行快速优化，以选出满足多目标函数及约束的模型组合的最优解；第八子模块，用于依据所述模型组合最优解，确定组合模型。
[0014]
优选的，所述评估模块包括：第九子模块，用于确定在所述组合模型路径下的整体模型成熟度值；第十子模块，用于依据所述成熟度值，评估所述组合模型的所述目标函数是否有效。
[0015]
本申请实施例提供的组合模型成熟度的评估方法和装置，一方面，为组合模型的整体成熟度的计算方法提供了评估方式，为组合模型逐步走向成熟提供建议；再一方面，该装置配置简单，容易快速实现并求出满足多目标要求的最优解，进而获取关于模型成熟度的不同目标函数的评估结果。
附图说明
[0016]
图1示出本发明实施例的一种组合模型成熟度评估方法的步骤流程图；
[0017]
图2示出本发明实施例的又一种组合模型成熟度评估方法流程图；
[0018]
图3示出本发明实施例的计算组合模型成熟度的算法流程图；
[0019]
图4示出本发明一种基于可配置智能优化算法的组合优选流程图；
[0020]
图5为本发明实施例的一种组合模型成熟度评估装置的主要功能模块图。
具体实施方式
[0021]
下面根据具体的实施例，结合附图针对本发明进行详细说明。应当理解，此处所述的具体实施例仅用于解释本发明，并不用于限定本发明。
[0022]
图1为本发明实施例提供的组合模型成熟度评估方法的步骤流程图。
[0023]
本发明实施例的组合模型成熟度评估方法包括以下步骤：
[0024]
步骤101：构建组合模型的成熟度目标函数。
[0025]
目标函数可以为一个或者多个，成熟度目标函数可由本领域技术人员根据实际需求灵活设置。
[0026]
构建组合模型的成熟度目标函数时，可根据各仿真需求的子任务对应的子模型之间的关联合作关系，构建组合模型成熟度目标函数。
[0027]
基于关联合作关系构建组合模型成熟度目标函数的计算方法如下：通过智能优化算法来求解包括模型成熟度在内的多目标函数约束下的模型组合最优解，然后用最优解求出基于合作关系的组合模型成熟度的值；在整个过程中，一共需要四类表，分别是候选子模型的成熟度值表、子模型之间的合作关系表、配置信息表和评估结果信息表。该计算方法只针对顺序型模型组合拓扑结构，且模型的合作关系限于相邻的子模型之间。合作关系表中使用“合作指数(cooperation index,coi)”这一参数来表现模型之间的关联性大小，取值为[0,1]，合作指数越大的两个子模型，它们的权重占比相对于其他子模型在整个组合中的占比越大。
[0028]
可选地，根据各仿真需求的子任务对应的子模型之间的关联合作关系，构建组合模型成熟度目标函数的步骤包括以下子步骤，即基于关联合作关系构建组合模型成熟度目标函数的计算方法包括以下步骤：
[0029]
子步骤一：设置参数，其中，参数包括：子任务个数n、种群大小npop以及算法迭代次数；
[0030]
子步骤二：加载各仿真需求的子任务对应的子模型的成熟度值m(x
i
)和各子模型之间的合作关系表；
[0031]
子步骤三：依据合作关系表中数据生成各子模型之间的合作关系对称矩阵mc
i
；
[0032]
子步骤四：根据对称矩阵，计算各子模型的权重向量w
i
；
[0033]
子步骤五：依据各子模型的权重向量，构建组合模型成熟度目标函数。
[0034]
根据公式f
1
(x)＝w
i
·
m(x
i
)计算组合模型成熟度的目标函数值。
[0035]
步骤102：对候选子模型进行组合优选，确定组合模型。
[0036]
一种可选地对候选子模型进行组合优选，确定组合模型的方式包括以下子步骤：
[0037]
子步骤一：按照待优化的不同指标的目标函数及相关约束，配置不同的智能优化
算法；
[0038]
子步骤二：采用对应算法对多目标问题进行快速优化，以选出满足多目标函数及约束的模型组合的最优解；
[0039]
子步骤三：依据所述模型组合最优解，确定组合模型。
[0040]
本步骤为在步骤101的基础上实现对候选子模型的组合进行优化与选择，具体实现方式如下：
[0041]
评估人员根据实际仿真需求选择除了模型成熟度以外的其他指标，比如可信度、模型运行资源消耗度、模型运行时间等，构建其他优化目标的目标函数；根据多目标优化问题的目标数(2个、3个、5个及以上)及约束的不同，选择适当的多目标智能优化算法moeas(比如，mopso、nsga-ii、moea/d、nsga-iii、hype等)；设置相关参数，加载相关多目标值的数据，迭代运行智能优化算法，并把优化算法的配置信息与模型组合的优化结果分别记录在配置信息表中，以供评估人员调用和查看。
[0042]
步骤103：基于组合模型对成熟度目标函数进行评估。
[0043]
其中，评估结果用于表征所述组合模型成熟度
[0044]
基于组合模型对成熟度目标函数进行评估时，确定在组合模型路径下的整体模型成熟度值；依据成熟度值，评估组合模型的目标函数是否有效。
[0045]
步骤103在步骤102的基础上实现对组合模型成熟度的评估，具体实现方式为：系统读取数据库中关于某一个智能优化算法配置下，对不同qos指标进行多目标优化后得到的模型组合最优解数据及配置信息；根据最优解的组合求基于合作关系的组合模型成熟度值，并按照对应配置信息存入评估结果信息表，查看评估结果信息表并排序、比较。
[0046]
本申请实施例提供的组合模型成熟度的评估方法，一方面，为组合模型的整体成熟度的计算方法提供了评估方式，为组合模型逐步走向成熟提供建议；再一方面，该方法配置简单，容易快速实现并求出满足多目标要求的最优解，进而获取关于模型成熟度的不同目标函数的评估结果。
[0047]
图2为本发明实施例提供的组合模型成熟度评估方法流程图。
[0048]
如图2所示本发明实施例提供的组合模型成熟度评估方法，主要包括三个部分：构建组合模型成熟度的目标函数，模型组合优选，组合模型成熟度评估。
[0049]
(1)构建组合模型成熟度的目标函数
[0050]
一般而言，模型组合的拓扑形式决定了模型组合后如何计算其整体的组合模型成熟度的值，而在本发明中，仅以顺序型组合拓扑形式作为实际实施示例。通常情况下，我们以线性加权平均值的方式来表示组合后的模型整体成熟度的目标函数值，即公式1：
[0051][0052]
其中，n为子任务个数，为每个子任务i对应的候选子模型j的成熟度值，nor(
·
)函数表示进行归一化处理函数。而实际情况往往是比较复杂的，每个子模型在整个任务中所占的权重各有不同，并不会像公式1一样每个子模型的权重为1/n。因此，我们从子模型之间的关联合作关系的角度出发，考虑子模型之间的合作指数coi这一数值，从中挖掘子模型的权重关系。则组合后的模型成熟度目标函数为公式2：
[0053][0054]
每一个子模型的权重值为均值权重(average weight)与关联权重(correlation weights)之和。
[0055][0056][0057][0058]
假设一个仿真任务有5个子任务来执行模型组合，相邻子模型之间的合作指数分别为0.5,0.2,0.7,0.4，则合作关系对称矩阵mc
i
，如下所示
[0059][0060]
则每个子模型的权重相对值为1.5,1.7,1.9,2.1,1.4，进而根据公式3和5求出该组合解中各子模型的权重w
i
。
[0061]
在确定了组合模型成熟度的目标函数计算方法后，需要将成熟度这一指标参与到整个模型组合的多目标优化过程中，具体实施如图3所示。首先，要设置相关参数，包括：子任务数n，种群大小npop,算法迭代次数等；其次，加载数据到程序中，数据包括子模型的成熟度值和子模型之间的合作指数，这两组数据来自外部文件数据，迭代运行一次后将这些数据按照子模型的id存入数据库表1和表2中。其中表1中子模型成熟度数据表中也可以存储其他基于qos的模型指标数据(如可信度、资源消耗度等)。接着，初始化种群，本发明实施实例的种群大小设置为100，即npop＝100，每迭代运行一次优化算法，计算100个模型组合解的综合成熟度值，并将这些值存入临时内存中，参与多目标函数的综合优化过程。
[0062]
表1子模型成熟度数据表
[0063]
编号数据段名类型长度说明1model_idvarchar20id2model_maturityfloat10子模型成熟度值3model_attributevarchar20子模型分类序号4model_detailvarchar50模型功能描述
[0064]
表2子模型合作关系数据表
[0065]
编号数据段名类型长度说明
1model_idvarchar20id2coifloat10合作指数值3model_objvarchar20子模型合作对象id4cooperate_detailvarchar50子模型合作细节描述
[0066]
(2)对候选子模型进行组合优选
[0067]
在模型组合阶段，我们考虑的qos属性指标可以表示为qos＝{mt,mm,mc,me,
…
},本发明中，除了选择模型成熟度这个指标外，其他指标如模型执行时间(mt)，模型资源消耗度(me)和模型可信度(mc)等都可以作为候选指标，根据不同用户的不同需求来进行优化选择。其中，正向指标为模型成熟度、模型可信度等，负向指标为模型服务执行时间、模型资源消耗度等，对于正向指标，指标越大越好，负向指标，指标越小越好，我们需要把所有指标转化为值越大、性能越好的正指标，这样方便进行统一计算。由于qos的评估指标的多样性，每个指标的单位不一样，也需要把它们统一到同一个区间单位，需要将这些属性指标进行归一化运算，本发明我们采用的是临界值法用来对数据进行归一化。最终的目标函数如下：
[0068][0069]
其中st
i
代表第i个任务的优化目标函数。
[0070][0071]
其中，st
+
∈{mm,mc},st-∈{mt,me},nor()为归一化函数
[0072]
约束条件：
[0073][0074][0075][0076]
mm
min
<mm
ij
≤1,0<mc
ij
≤1,0<mt
ij
<mt
imax
[0077][0078]
如图4所示，确定完其他qos指标及其对应的目标函数后，需要进行参数配置和算法选择，需要配置的参数跟(1)中类似，但是额外的配置需要根据不同的智能优化算法而有所不同。其中，算法的选择也根据目标个数及约束情况而定，如果优化目标很多且约束复杂繁琐，则优先选用nsga-iii或者hype算法；如果目标就只有2个且约束较少，经典的nsga-ii算法已经够用且执行效率较快；如果目标超多，则选择基于分解的方式的算法moea/d。算法可配置目的是为了提高整个评估过程的运行效率，同时也能提高准确性。最后，通过迭代运行，优化不同的多目标和约束，得到相应的最优解，并将相关数据存储到数据库表3中。
[0079]
表3配置信息表
[0080][0081]
(3)组合模型成熟度评估
[0082]
首先，从数据库表3中获取最优组合解的数据，根据子模型的id找到相应的子模型成熟度值和合作指数的值，按照不同的组合模型成熟度的目标函数进行计算，并对计算结果进行分类和比较排序。然后，将相关数据存储到数据库表4中。这样，就能比较评估出在不同的多目标函数及约束的情况下，哪一种成熟度指标的目标函数计算方法效果更好或者更准确。
[0083]
表4评估结果信息表
[0084]
编号数据段名类型长度说明1operate_idvarchar20某一次组合优化运行的id2mm_valuefloat10综合成熟度值3operate_cvarchar20分类序号
[0085]
本申请实施例提供的组合模型成熟度评估方法，一方面，能够满足不同用户或者评估人员从不同的指标角度对组合模型进行综合质量评估，避免从单一指标去评估组合模型的整体质量，较为贴近用户的真实需求；又一方面，为组合模型的整体成熟度的计算方法提供了评估方式，为组合模型逐步走向成熟提供建议；再一方面，该方法配置简单，容易快速实现并求出满足多目标要求的最优解，进而获取关于模型成熟度的不同目标函数的评估结果。
[0086]
图5为本发明实施例提供的组合模型成熟度评估装置。
[0087]
本发明实施例的组合模型成熟度评估装置包括：
[0088]
构建模块501，用于构建组合模型的成熟度目标函数；
[0089]
确定模块502，用于对候选子模型进行组合优选，确定组合模型；
[0090]
评估模块503，用于基于所述组合模型对所述成熟度目标函数进行评估，其中，评估结果用于表征所述组合模型成熟度。
[0091]
可选地，所述构建模块具体用于：
[0092]
根据各仿真需求的子任务对应的子模型之间的关联合作关系，构建组合模型成熟度目标函数。
[0093]
可选地，所述构建模块包括：
[0094]
第一子模块，用于设置参数，其中，所述参数包括：子任务个数、种群大小以及算法迭代次数；
[0095]
第二子模块，用于加载各仿真需求的子任务对应的子模型的成熟度值和各所述子模型之间的合作关系表；
[0096]
第三子模块，用于依据所述合作关系表中数据生成各所述子模型之间的合作关系对称矩阵；
[0097]
第四子模块，用于根据所述对称矩阵，计算各所述子模型的权重向量；
[0098]
第五子模块，用于依据各所述子模型的权重向量，构建组合模型成熟度目标函数。
[0099]
可选地，所述确定模块包括：
[0100]
第六子模块，用于按照待优化的不同指标的目标函数及相关约束，配置不同的智能优化算法；
[0101]
第七子模块，用于采用对应算法对多目标问题进行快速优化，以选出满足多目标函数及约束的最优模型组合的最优解；
[0102]
第八子模块，用于依据所述模型组合最优解，确定组合模型。
[0103]
可选地，所述评估模块包括：
[0104]
第九子模块，用于确定在所述组合模型路径下的整体模型成熟度值；
[0105]
第十子模块，用于依据所述成熟度值，评估所述组合模型的所述目标函数是否有效。
[0106]
本发明实施例提供的组合模型成熟度评估装置，一方面，为组合模型的整体成熟度的计算方法提供了评估方式，为组合模型逐步走向成熟提供建议；再一方面，该装置配置简单，容易快速实现并求出满足多目标要求的最优解，进而获取关于模型成熟度的不同目标函数的评估结果。
[0107]
对于装置实施例而言，由于其与方法实施例相对应，所以描述的比较简单，相关之处参见方法实施例部分的说明即可。
[0108]
需要说明的是，以上说明仅是本发明的优选实施方式，应当理解，对于本领域技术人员来说，在不脱离本发明技术构思的前提下还可以做出若干改变和改进，这些都包括在本发明的保护范围内。
[0109]
本说明中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0110]
以上所述，仅为本发明最佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
[0111]
本发明说明书中未作详细描述的内容属于本领域技术人员的公知技术。