一种仿真试验评估系统及评估方法与流程

本发明涉及仿真试验领域。更具体地，涉及一种仿真试验评估系统及评估方法。

背景技术：

hla/rti为复杂的分布式仿真系统的协同运行提供了解决途径。近年来，随着复杂产品的组成规模和复杂度的提升，在其研制过程中需要构建的仿真系统的规模与复杂度也相应的不断提高。为了在设计研制过程中对复杂产品的技术方案和功能设计等进行全面的验证与分析，需要利用其仿真系统进行大量的仿真试验，并根据复杂产品的多种功能、性能和效能的要求，从多个方面针对大规模的仿真数据进行大量的评估。仿真系统的评估过程包含了采集试验数据、确定评估对象、建立评估准则、执行评估过程、输出评估结果等多个环节，涉及仿真试验批次、仿真数据记录、评估任务批次、评估指标体系、评估算法参数、评估结果处理等多种信息，是一个需进行多次配置的过程。现有的仿真系统评估工作主要针对以下方面：分布式仿真系统的数据采集；对不同特点的仿真数据进行处理、分析和评估；集成仿真数据采集与分析功能的通用化框架。上述方法提供了评估过程中单个环节或多个环节的实施方法，但是当面临繁重的评估任务时，仍需要在执行中对评估过程涉及的大量信息进行重复配置操作，容易出现配置错误而影响评估结果，并降低评估工作效率。

因此，需要提供一种面向整个评估过程的，能够有效集成各类评估所需信息的可配置、可重用的仿真试验评估系统及评估方法。

技术实现要素：

本发明的目的在于提供一种仿真试验评估系统及评估方法，解决现有的仿真系统的评估过程中存在的大量信息进行重复配置操作，容易出现配置错误而影响评估结果，并降低评估工作效率的问题。

为达到上述目的，本发明采用下述技术方案：

一种仿真试验评估系统，该系统包括：

数据采集模块，定制仿真数据采集列表，生成采集列表文件，动态采集所定制的仿真数据，保存仿真数据文件；

评估模型构建模块，对评估过程中涉及的信息进行配置，并将所述评估过程中涉及的信息保存为评估模型文件；

评估过程执行模块，加载评估模型文件，构建并控制评估系统的执行过程，在执行中解析评估模型中配置信息，获得评估结果。

优选地，所述仿真数据采集列表中记录了需要采集的仿真数据的描述信息和采集列表文件的描述信息，所述需要采集的仿真数据的描述信息包括要采集的仿真数据所属的类的名称、类路径、是否订购，以及需要采集的仿真数据所代表的类的属性或参数的名称、数据类型及是否订购，所述采集列表文件的描述信息包括所采集的仿真联邦的名称、仿真联邦fom文件的路径。

优选地，所述仿真数据文件包括xml格式的仿真数据文件和txt格式的仿真数据文件，

所述xml格式的仿真数据文件的描述内容包括仿真任务名称、仿真任务批次号、仿真联邦名称、仿真联邦fom文件的路径、仿真系统运行的起止时间、采集列表文件的路径；所采集的类实例名称、实例句柄、实例对应的类的名称、类句柄、进行采集的属性或参数的数量；所采集的属性或参数的名称、句柄、数据类型、保存该属性或参数数据的txt格式的仿真数据文件的路径；

所述txt格式的仿真数据文件的记录内容包括所采集的属性或参数的数据值，以及与该值对应的仿真时间戳，所述txt格式的仿真数据文件的记录结构为将时间戳和对应的数据值作为一组数据。

优选地，所述评估过程中涉及的信息包括评估模型文件、评估任务数据、评估对象数据、评估指标体系、评估算法和评估结果处理方式。

一种仿真试验评估方法，该方法包括如下步骤：

s1、定制仿真数据采集列表，生成采集列表文件，动态采集所定制的仿真数据，保存仿真数据文件；

s2、对评估过程中涉及的信息进行配置，并将所述评估过程中涉及的信息保存为评估模型文件；

s3、加载评估模型文件，构建并控制评估系统的执行过程，在执行中解析评估模型中配置信息，获得评估结果。

优选地，步骤s1中所述仿真数据采集列表中记录了需要采集的仿真数据 的描述信息和采集列表文件的描述信息，所述需要采集的仿真数据的描述信息包括要采集的仿真数据所属的类的名称、类路径、是否订购，以及需要采集的仿真数据所代表的类的属性或参数的名称、数据类型及是否订购，所述采集列表文件的描述信息包括所采集的仿真联邦的名称、仿真联邦fom文件的路径。

优选地，步骤s1中所述动态采集所定制的仿真数据，保存仿真数据文件的具体过程为：

根据采集列表中配置的采集信息，在仿真运行过程中通过rti接收订购的仿真数据、记录仿真数据并保存生成的仿真数据文件，

所述仿真数据文件包括xml格式的仿真数据文件和txt格式的仿真数据文件，

所述xml格式的仿真数据文件的描述内容包括仿真任务名称、仿真任务批次号、仿真联邦名称、仿真联邦fom文件的路径、仿真系统运行的起止时间、采集列表文件的路径；所采集的类实例名称、实例句柄、实例对应的类的名称、类句柄、进行采集的属性或参数的数量；所采集的属性或参数的名称、句柄、数据类型、保存该属性或参数数据的txt格式的仿真数据文件的路径；

所述txt格式的仿真数据文件的记录内容包括所采集的属性或参数的数据值，以及与该值对应的仿真时间戳，所述txt格式的仿真数据文件的记录结构为将时间戳和对应的数据值作为一组数据。

优选地，步骤s2进一步包括如下子步骤：

s2.1、对评估模型文件进行配置，包括对评估模型文件名称、仿真联邦名称、仿真联邦fom文件路径、采集列表文件名称和采集列表文件路径进行配置；

s2.2、对评估任务数据进行配置，包括对评估任务名称、评估任务批次号、评估任务执行时间和评估模式进行配置，所述评估模式包括在线评估和离线评估；

s2.3、对评估对象数据进行配置，包括对评估所针对的仿真数据文件集合进行配置，所述仿真数据文件集合包括xml格式的仿真数据文件名称及路径、txt格式的仿真数据文件名称及数据类型；

s2.4、对评估指标体系进行配置，包括利用已有的评估指标描述文件或新建评估指标文件对评估指标体系进行配置；

s2.5、对评估算法进行配置，包括对评估过程中所用到的数据预处理算法和评估算法进行配置；

s2.6、对评估结果处理方式进行配置；

s2.7、将所述评估模型文件、评估任务数据、评估对象数据、评估指标体系、评估算法和评估结果处理方式保存在评估模型文件中。

优选地，步骤s2.4中，

利用已有的评估指标描述文件对评估指标体系进行配置的具体过程为：

配置评估指标描述文件名称、评估指标描述文件所在路径，对评估指标体系进行配置；

新建评估指标文件对评估指标体系进行配置的具体过程为：

基于图形化的界面，通过添加评估指标的根结点和叶节点，建立层次化的树状的评估指标体系，对每个评估指标节点，设置指标名称、手动分配或根据指标间相对重要性分配指标的权值、指定该指标所评估的仿真数据，建立评估指标体系，保存生成评估指标文件，对评估指标体系进行配置。

优选地，步骤s3的具体过程为：读取所述评估模型文件，解析所述评估模型文件中对所述评估过程中涉及的信息的配置信息，形成评估系统，对评估系统进行启动、停止等控制操作，当启动评估系统后，从仿真数据文件中读取评估对象数据、加载评估指标体系和算法模型，进行数据处理和评估运算，获得评估结果。

本发明的有益效果如下：

本发明所述技术方案通过建立采集列表实现仿真数据采集过程的快速配置；通过建立评估模型的描述方法，对评估过程中涉及的评估任务、评估对象数据、评估指标体系、评估算法、评估结果导出方式五项评估要素的信息进行描述；通过解析评估模型文件中的评估要素配置信息，自动化完成评估数据读取到评估结果输出的执行过程。由于采用可重用、可配置的评估模型文件，在面对新的评估任务时，仅需根据评估要求对相应的评估要素进行重新配置，避免了对所有要素的重复配置操作，加快了评估工作的速度，提高评估工作的执行效率。本发明所述技术方案适用于复杂产品的仿真试验验证、分析与评估过程，尤其是涉及多批次、大数据量的评估任务时，能够减少因配置错误而影响评估结果的准确性，使评估人员能够专注于改进仿真试验方法及分析评估算法，预计此项技术成果有良好的产业化应用前景。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出仿真试验评估系统的示意图。

图2示出仿真试验评估方法的流程图。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

实施例1

如图1所示，本实施例提供的仿真试验评估系统包括：数据采集模块、评估模型构建模块和评估过程执行模块；

数据采集模块，定制仿真数据采集列表，生成采集列表文件，动态采集所定制的仿真数据，保存仿真数据文件；

评估模型构建模块，对评估过程中涉及的信息进行配置，并将这些信息保存为评估模型文件，评估过程中涉及的信息包括评估模型文件、评估任务数据、评估对象数据、评估指标体系、评估算法、评估结果处理等信息；

评估过程执行模块，加载评估模型文件，构建并控制评估系统的执行过程，在执行中解析评估模型中配置信息，获得评估结果。

其中

数据采集模块定制的仿真数据采集列表中记录了需要采集的仿真数据的描述信息和采集列表文件的描述信息。需要采集的仿真数据的描述信息包括：数据所属的类的名称、类路径、是否订购，以及数据所代表的类的属性或参数的名称、数据类型及是否订购。采集列表文件的描述信息包括：所采集的仿真联邦的名称、仿真联邦fom文件的路径。

数据采集模块动态采集所定制的仿真数据，保存仿真数据文件的具体过程为：数据采集模块根据采集列表中配置的采集信息，在仿真运行过程中通过rti接收订购的仿真数据、记录仿真数据并保存生成仿真数据文件。仿真数据文件为统一的数据描述格式，采用xml格式的仿真数据文件和txt格式的仿真数据文件结合的方式来实现仿真数据的快速存储。xml格式的仿真 数据文件描述仿真试验任务信息及仿真联邦中类与其属性或参数之间的结构层次关系，其描述内容包括：仿真任务名称、仿真任务批次号、仿真联邦名称、仿真联邦fom文件的路径、仿真系统运行的起止时间、采集列表文件的路径；所采集的类实例名称、实例句柄、实例对应的类的名称、类句柄、进行采集的属性或参数的数量；所采集的属性或参数的名称、句柄、数据类型、保存该属性或参数数据的txt格式的仿真数据文件的路径。txt格式的仿真数据文件的记录内容包括所采集的属性或参数的数据值，以及与该值对应的仿真时间戳，其结构为将时间戳和对应的数据值作为一组数据，两组数据之间用空格连接，时间戳和数据值之间也由空格连接。

评估模型构建模块，对评估过程中的涉及的信息，即各项要素进行配置，评估过程中的涉及的信息包括：评估模型文件、评估任务数据、评估对象数据、评估指标体系、评估算法、评估结果处理方式(评估结果导出)。

对评估模型文件进行配置包括对评估模型文件名称、仿真联邦名称、仿真联邦fom文件路径、采集列表文件名称和采集列表文件路径进行配置；

对评估任务数据进行配置包括对评估任务名称、评估任务批次号、评估任务执行时间和评估模式进行配置，其中评估模式包括在线评估和离线评估两种模式；

对评估对象数据进行配置包括对评估所针对的仿真数据文件集合进行配置，仿真数据文件集合包括xml格式的仿真数据文件名称及路径、txt格式的仿真数据文件名称及数据类型；

对评估指标体系进行配置包括利用已有的评估指标描述文件或新建评估指标文件。其中，对于已有的评估指标描述文件，需配置评估指标描述文件名称、评估指标描述文件所在路径。对于需新建的评估指标文件，对评估指标体系进行配置包括：基于图形化的界面，通过添加评估指标的根结点和叶节点，建立层次化的树状的评估指标体系，对每个评估指标节点，设置指标名称、手动分配或根据指标间相对重要性分配指标的权值、指定该指标所评估的仿真数据，建立评估指标体系后，保存生成评估指标文件，作为已有文件实现重用。

对评估算法进行配置包括对评估过程中所用到的数据预处理算法和评估算法进行配置，基于交互界面，通过指定算法的.dll文件路径将算法添加到列表中，如果存在多个算法则应调整算法的执行顺序，之后在评估模型中依照执行顺序对算法进行配置，需要配置的信息包括算法名称、需外部配置的参 数名称和参数值。

对评估结果处理方式进行配置包括设置是否生成word形式的评估报告、评估报告名称、保存路径，设置是否保存评估结果的二维图形、图形文件名称、保存路径。

在对评估的各项要素进行配置后，评估模型构建模块将上述信息保存在评估模型文件中，评估模型文件可以在不同的评估任务中进行重用，此时只需要针对不同的评估要求修改相关评估要素的配置信息，从而避免了对所有的评估要素进行重复配置。

评估过程执行模块加载评估模型文件，构建并控制评估系统的执行过程，在执行中解析评估模型中配置信息，获得评估结果的具体过程为：读取评估模型文件，解析评估模型文件中对各项评估要素的配置信息，形成评估系统，对评估系统进行启动、停止等控制操作，当启动评估系统后，自动地从仿真数据文件中读取评估对象数据、加载评估指标体系和算法模型，进行数据处理和评估运算，在二维图形中显示评估结果，并按设定的导出配置保存评估结果。

实施例2

如图2所示，本实施例提供的仿真试验评估方法包括如下步骤：

s1、定制仿真数据采集列表，生成采集列表文件，动态采集所定制的仿真数据，保存仿真数据文件；

s2、对评估过程中涉及的信息进行配置，并将这些信息保存为评估模型文件，评估过程中涉及的信息包括评估模型文件、评估任务数据、评估对象数据、评估指标体系、评估算法、评估结果处理等信息；

s3、加载评估模型文件，构建并控制评估系统的执行过程，在执行中解析评估模型中配置信息，获得评估结果。

其中

步骤s1中定制的仿真数据采集列表中记录了需要采集的仿真数据的描述信息和采集列表文件的描述信息。需要采集的仿真数据的描述信息包括：数据所属的类的名称、类路径、是否订购，以及数据所代表的类的属性或参数的名称、数据类型及是否订购。采集列表文件的描述信息包括：所采集的仿真联邦的名称、仿真联邦fom文件的路径。

步骤s1中动态采集所定制的仿真数据，保存仿真数据文件的具体过程为： 数据采集模块根据采集列表中配置的采集信息，在仿真运行过程中通过rti接收订购的仿真数据、记录仿真数据并保存生成仿真数据文件。仿真数据文件为统一的数据描述格式，采用xml格式的仿真数据文件和txt格式的仿真数据文件结合的方式来实现仿真数据的快速存储。xml格式的仿真数据文件描述仿真试验任务信息及仿真联邦中类与其属性或参数之间的结构层次关系，其描述内容包括：仿真任务名称、仿真任务批次号、仿真联邦名称、仿真联邦fom文件的路径、仿真系统运行的起止时间、采集列表文件的路径；所采集的类实例名称、实例句柄、实例对应的类的名称、类句柄、进行采集的属性或参数的数量；所采集的属性或参数的名称、句柄、数据类型、保存该属性或参数数据的txt格式的仿真数据文件的路径。txt格式的仿真数据文件记录所采集的属性或参数的数据值，以及与该值对应的仿真时间戳，其结构为将时间戳和对应的数据值作为一组数据，两组数据之间用空格连接，时间戳和数据值之间也由空格连接。

步骤s2进一步包括如下子步骤：

s2.1、对评估模型文件进行配置，包括对评估模型文件名称、仿真联邦名称、仿真联邦fom文件路径、采集列表文件名称和采集列表文件路径进行配置；

s2.2、对评估任务数据进行配置，包括对评估任务名称、评估任务批次号、评估任务执行时间和评估模式进行配置，其中评估模式包括在线评估和离线评估两种模式；

s2.3、对评估对象数据进行配置，包括对评估所针对的仿真数据文件集合进行配置，仿真数据文件集合包括xml格式的仿真数据文件名称及路径、txt格式的仿真数据文件名称及数据类型；

s2.4、对评估指标体系进行配置，包括利用已有的评估指标描述文件或新建评估指标文件。其中，对于已有的评估指标描述文件，需配置评估指标描述文件名称、评估指标描述文件所在路径。对于需新建的评估指标文件，对评估指标体系进行配置包括：基于图形化的界面，通过添加评估指标的根结点和叶节点，建立层次化的树状的评估指标体系，对每个评估指标节点，设置指标名称、手动分配或根据指标间相对重要性分配指标的权值、指定该指标所评估的仿真数据，建立评估指标体系后，保存生成评估指标文件，作为已有文件实现重用。

s2.5、对评估算法进行配置，包括对评估过程中所用到的数据预处理算法 和评估算法进行配置，基于交互界面，通过指定算法的.dll文件路径将算法添加到列表中，如果存在多个算法则应调整算法的执行顺序，之后在评估模型中依照执行顺序对算法进行配置，需要配置的信息包括算法名称、需外部配置的参数名称和参数值。

s2.6、对评估结果处理方式进行配置包括设置是否生成word形式的评估报告、评估报告名称、保存路径，设置是否保存评估结果的二维图形、图形文件名称、保存路径。

s2.7、在对评估的各项要素进行配置后，评估模型构建模块将上述信息保存在评估模型文件中，评估模型文件可以在不同的评估任务中进行重用，此时只需要针对不同的评估要求修改相关评估要素的配置信息，从而避免了对所有的评估要素进行重复配置。

步骤s3的具体过程为：读取评估模型文件，解析评估模型文件中对各项评估要素的配置信息，形成评估系统，对评估系统进行启动、停止等控制操作，当启动评估系统后，自动地从仿真数据文件中读取评估对象数据、加载评估指标体系和算法模型，进行数据处理和评估运算，在二维图形中显示评估结果，并按设定的导出配置保存评估结果。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。