用于执行系统评估的计算机实现的方法与流程

本公开涉及一种用于执行系统评估的计算机实现的方法、一种用于执行系统评估的计算机程序元件、一种计算机存储介质和一种包括该计算机存储介质的计算机系统。

背景技术：

1、在工程中，计算分析是出于预测技术系统的性能或特性的目的而进行，这通常取决于许多方面，诸如技术系统的每个子系统的精确配置、模拟期间或之后记录的不同测量、求解器要求的精度、初始和环境条件以及系统的精确负载情况。这可以反映在模拟的设置或配置中。

2、实际上，计算分析需要建立技术系统的数字模型，用合适的参数填充，使其符合预期的初始和边界条件，选择合适的求解器系统，决定硬件和评估结果。这意味着，模拟的每一步骤都需要输入或配置数据和决策。传统上，这种信息(即配置数据)从它产生的任何地方收集，并且被插入到模拟的环境中，然后进行模拟。如果要求进行后续分析，则需要更改对应的实体，并重复模拟。

3、存在模拟系统，其允许子系统的更加模块化的方法，其中可以在不改变整个数据集的情况下更改配置的一部分。这些系统是为特定的模拟领域定制的，并且通常将配置分成或多或少匹配不同物理领域的部分。在大型组织的大型项目中工作时，保持数据出于控制中并使其可供负责评估各种属性的所有参与者访问是非常重要的。

技术实现思路

1、因此，可能需要提供一种用于准备和执行系统评估的改进方法，该方法可优化对广泛的各种数据的利用。

2、本公开独立权利要求的主题至少部分解决或缓解了该问题，其中从属权利要求中并入了进一步的示例。应当注意的是，以下描述的本公开的各方面适用于用于执行系统评估的计算机实现的方法、用于执行系统评估的计算机程序元件、计算机存储介质和包括这种计算机存储介质的计算机系统。

3、根据本公开，提出了一种用于执行系统评估的计算机实现的方法。该计算机实现的方法包括在数据库中收集先前系统评估的多个元配置信息集，其中该元配置信息集包括多个规范数据对象和应用插件信息，在执行系统评估期间基于多个规范数据对象和应用插件信息的目的将它们与至少一个上下文属性相关联，关于至少一个上下文属性使用至少一个标签来标记规范数据对象和应用插件信息中的至少一个，基于至少一个标签过滤多个元配置信息集以找到系统评估所需的元配置信息集，以及基于通过过滤找到的元配置信息集来执行系统评估。

4、根据本公开的计算机实现的方法可以提供简化但可靠的数据主干。具体地，在系统评估中，经由应用插件信息、规范数据对象的模块化信息结构以及基于它们的目的而引用的元数据，通过组合标准化的应用协议，可以提供强大的数据主干。此外，该方法可以实现用于在系统评估的准备、执行期间和/或之后生成的数据的协作交换的标准化处理。换句话说，这样的元数据集也能够经由包括每个部分的改变历史的数据库来定义技术系统和决策之间的关系。

5、为了理解或预测技术对象或技术系统，可以执行计算分析。例如，系统评估可以用于预测和/或分析车辆的碰撞事件、车辆的驾驶性能等。这种评估或模拟可以基于描述待分析系统及其环境的信息。例如，该信息可以包括几何参数、非几何参数和/或系统命令。

6、每个元配置信息集可以适用于提供用于执行系统评估的信息，该信息关于待利用的评估应用工具、待设置的评估环境、在系统评估中待应用的系统和参数规范、分析和报告的要求等。元配置信息集可以通过掩码的方式包括这样的信息，该掩码可以被标准化并充当系统评估的全局模板。因此，用户能够独立于要模拟的对象或系统、要利用的评估工具、测试环境和/或测试参数，容易地启动系统评估。

7、元配置信息集可自动地或手动地生成。元配置信息集可以形成构建和执行系统评估的基础。元配置信息集可以引用或指示提供执行系统评估所需的全部技术信息的特定工作指令。技术信息可以定义规范，诸如分析的特定方面，包括包括在多个规范数据对象中的环境、系统配置、传感器技术、测试序列、用例、后处理、报告、实验设置等。

8、应用插件信息可以是进程调度的一部分。进程调度器可以应用多学科设计优化过程。应用插件信息可以被配置成在规范数据对象和由评估应用工具生成的数据集之间的接口连接。应用插件信息可以被配置成利用简单的开放格式。

9、可以在数据库中存储或收集先前系统评估中应用的各种元配置信息集。数据库可以位于存储介质中，该存储介质可以直接或通过网络连接到执行系统评估的计算设备。数据库可以包括单个数据库或连接到共享存储数据的若干数据库。

10、根据本公开的方法可以定义数据处理过程，该过程可以由产生数据的同一实体开放和应用。存储数据可以与数据生成过程分开设置，使得任何数据生成器能够拉/推结果，即在同一位置生成数据。

11、可以根据与其系统评估目的相关的多个方面中的至少一个方面，识别规范数据对象和每个应用插件信息的一个或多个上下文属性。换句话说，上下文属性可以指示在执行系统评估期间规范数据对象和每个应用插件信息的角色。一个规范数据对象和/或一个应用插件信息可以与一个或多个上下文属性相关联或链接到一个或多个上下文属性。

12、此类相关联的规范数据对象和应用插件信息可以通过至少一个定义或描述相应上下文属性的标签进行标记。每个标签可以指示每个上下文属性。换句话说，标签可以描述规范数据对象或应用插件信息的意义。每个标签可以归因于特定的规范数据对象或特定的应用插件信息，而不管它们的版本。标签可以在任何时候被添加到规范数据对象或应用插件信息，并且相同的标签可以用于若干规范数据对象或应用插件信息。

13、利用标签，对共享任何标签或方面的规范数据对象和/或应用插件信息进行聚类是可能的，例如对与相同调查领域、相同工具、相似技术解决方案或属性、程序信息等相关联的规范数据对象或应用插件信息进行分类。此外，使用该标签，找到类似的测试设置作为新系统评估的起点是可能的。

14、用于预期系统评估的元配置信息集可以通过借助参考预期系统评估的相同或相似目的的标签过滤多个元配置信息集来找到。通过使用某一标签过滤存储在数据库中的规范数据对象和/或应用插件信息，可以找到执行系统评估所需的所有信息，而不管模拟领域或其他方面。当使用标签时，可以通过文件名而不是确切的版本来识别数据集。

15、可以使用专用用户接口来进行对多个元配置信息集的浏览和过滤，其中用户可以进行数据库查询并查看结果。随后，可以基于通过过滤收集或发现的元配置信息集来执行系统评估。

16、在一示例中，该方法还包括审查通过过滤和修改过滤后的元配置信息集的规范数据对象或应用插件信息中的至少一个而收集的过滤后的元配置信息集，以创建新元配置信息集。在过滤了规范数据对象或应用插件信息之后，如果所有被过滤的信息都可能是执行预定系统评估所需要的和/或包含必要的信息，则可以遵循审查步骤。

17、如果不是，可以调整至少一个单独的规范数据对象和/或至少一个应用插件信息，以满足预期系统评估的要求。因此，新元配置信息集可以包括一个或多个规范数据对象和/或根据预期系统评估的要求修改的应用插件信息。

18、审查和/或修改过滤后的元配置信息集的步骤可以由用户执行，或根据系统评估的预定义要求自动地执行。

19、在一示例中，该方法还可以包括基于新元配置信息集执行系统评估。

20、在一示例中，该方法还包括在数据库中存储新元配置信息集，并关于至少一个上下文属性使用至少一个标签标记新元配置信息集的规范数据对象和应用插件信息。在确认新元配置信息集之后，例如通过使用自动化配置和执行引擎来构建评估环境并执行系统评估，用户可以将元配置信息集发布到数据库。

21、新元配置信息集的规范数据对象和/或新的应用插件信息中的每个也可以基于其在执行系统评估期间的目的与至少一个上下文属性相关联，并关于至少一个上下文属性通过至少一个标签进行分类。此外，新元配置信息集的整个规范数据对象集和/或应用插件信息可以用描述系统评估的新目的的至少一个新标签来标记。

22、在一示例中，所述应用插件信息包括进程调度器信息，该进程调度器信息包括至少一个应用协议接口和/或至少一个分析方法。进程调度器信息可以包括例如用于执行步骤(诸如配置、构建、运行、分析系统评估)的模块，包括单独的步骤的工具特定子类、扩展每个工具集成的功能的模块、用于处理正在进行的模拟的状态的会话处理器子包、实现环境的示例、实用功能、处理格式转换、数学转换、需求的包文件、构建和测试代码、文档等。

23、通常，为了构建评估环境和/或执行系统评估，评估应用工具，换句话说，模拟工具，诸如matlab、ansys、simpy等可以适用。然而，每个评估应用工具可能需要其自己的数据格式。这种依赖于应用的格式通常难以在不同的评估应用工具之间共享。因此，数据文件可能经常必须针对评估应用工具进行单独地调整，这可能导致生成需要大数据存储容量的重复信息。

24、应用协议接口可以被配置为在为执行系统评估而收集的规范数据对象和评估应用工具的数据集之间接口连接。应用协议接口可以从通用代码部分实例化，该通用代码部分可以由专用代码部分扩展。

25、通用代码部分可以为工具不可知部分，并针对通用规范解释进行配置。通用代码部分可以由包括通用代码的模块化代码框架来定义，该通用代码负责关于用户、平台和系统的所有通用设置。通用代码部分可以被配置成向专用代码部分提供标准化指令，而专用代码部分可被配置成修改链接到规范层次结构的多个规范数据对象的格式，以供要被利用的评估应用工具使用。

26、鉴于专用的代码部分可以适用于每个评估应用工具的要求以照顾特定于工具的设置。具体地，特定于应用的代码部分可以被配置成针对要被利用的评估应用工具来修改规范数据对象的格式。换句话说，专用代码部分可以包括关于要被利用的评估应用工具修改规范数据对象的格式的代码。

27、因此，规范数据对象可以由通用代码部分解释，其格式可以转换为与待利用的评估应用工具兼容的格式。因此，应用插件信息可以允许规范数据对象和各种评估应用工具之间的统一接口。结果，规范数据对象可能不需要包括用于每个单独应用工具的格式，并且通用地应用于任何评估应用工具。

28、此外，应用插件信息可以配置为根据由应用协议接口(尤其是由通用部分)标准化的规范数据对象，定义至少一个分析方法。因此，分析可以以可追溯和质量保证的方式重新创建。标准化过程可以包含用于分析的所有相关数据，将信息分组到逻辑块中，实现元配置信息集的版本控制等。

29、在一示例中，该方法还包括基于至少一个标签通过执行数据库查询过滤元配置信息集。可以通过执行数据库查询来过滤存储在数据库中的多个元配置信息集。由于多个元配置信息集的规范数据对象和应用插件信息可以用一个或多个标签来标记，所以可以通过请求符合预期系统评估目的的(多个)标签来促进数据库查询。数据库查询中应用的(多个)标签可以被输入到进程调度器和/或应用插件信息中。

30、在一示例中，方法还包括用至少一个标记来标记包括规范数据对象和应用插件信息的特定元配置信息集。特定元配置信息集是不可改变的。标签可以包括精确的属性或内容，包括指定的一组规范数据对象的版本或应用插件信息。因此，标签不能在多组规范数据对象或应用插件信息中共享和/或重新使用。换句话说，标签对于特定元配置信息集可以是唯一的。使用独特的标签，找到类似的测试设置作为新系统评估的起点是可能的。此外，唯一标签可能是使自动化过程能够检索唯一文件集的先决条件。

31、在一示例中，标签包括评估设置、架构、项目、产品id、产品属性、应用工具和后处理中的至少一个属性。换句话说，标签可以反映系统评估中相关联的规范数据对象或应用插件信息的目的。通过应用这样的标签，可以以直观的方式对元配置信息集进行分类，这可以改进过滤系统评估所需的元配置信息集。

32、在一示例中，标记可以包括唯一的里程碑记号，其允许检索描述用于特定目的的评估设置的规范数据对象或应用插件信息的精确集合。里程碑记号可以指定开发项目中达到的某一步骤，因此它将包含项目标识符和达到的步骤、阶段或级别。同一数据文件上的标签可能携带有相同的项目id。

33、在一示例中，多个元配置信息集可以作为单独的数据文件、数据记录和/或帖子存储在数据库中。具体地，多个规范数据对象和/或多个应用插件信息可以以特定的结构存储在数据库中。数据库可以存储规范数据对象的每个单独的文件和/或多个应用插件信息。数据库还可以以引用保存在表格中的数据组的数据记录的形式存储多个规范数据和/或多个应用插件信息。数据库还可以以对某个数据源路径进行寻址的帖子的形式来存储规范数据对象和/或多个应用插件信息。

34、在一示例中，方法还包括以包括多个信息层的规范层次结构的形式提供多个规范数据对象，用于基于要在物理测试环境中应用的规范来调制所述多个规范数据对象。规范层次结构可以是规范组织结构，其可以允许规范数据对象的调制集的建立。规范层次结构可以引用和/或加载多个规范数据对象。

35、规范层次结构可包括若干信息层，以促进规范数据对象向评估应用工具的传送。在多个信息层中，只有规范分层结构的顶层信息层可以与应用插件信息和/或评估应用工具通信，以提供规范数据对象。然而，顶部信息层可以仅指示设置和/或执行评估环境所需的规范数据对象，而不存储任何规范数据集。换句话说，顶部信息层可以充当应用插件信息和规范数据对象的数据集之间的接口。

36、常规模拟工具通常利用整体数据集来配置和执行模拟，其通常存储为包含全部信息的单个数据文件。因此，不同的分析可能需要另一组数据，其可能只是在少许修改的部分不同。新数据集的未修改部分携带重复信息，而在所使用的上下文之间彼此不参考。除了占用更多的空间之外，重复信息可能无法从整体数据集中分开提取，因此很难保持最新。一段时间后，这会导致整体数据集的大量变化。

37、规范层次结构可包括，例如，至少三个信息层。第一信息层可以被配置成引用要在预期的系统评估中应用的一个或多个规范数据对象，其中规范数据对象可以基于要在物理测试环境中应用的规范来分类。第一信息层可以充当经由应用插件信息将规范数据对象传送到评估应用工具的接口。

38、第二信息层可以链接至第一信息层，用于加载第一信息层中引用的规范数据对象。此外，第三信息层可以链接到第二信息层，用于加载在第二信息层中加载的规范数据对象的至少一个、优选地若干数据集。因此，可以实现数据库中的有效数据管理。

39、在一示例中，该方法还包括仅从元规范信息集中接收用于执行系统评估的输入。用于执行系统评估的评估应用工具可以只访问元规范信息集。具体地，评估应用工具可以仅连接到规范分层结构的第一即顶部信息层，其引用经由应用插件信息构建评估环境所必需的一个或多个规范数据对象，这可以根据要利用的评估应用工具来修改所引用的规范数据对象的格式。

40、换句话说，元规范信息集可以为应用工具的唯一输入，并作为“单一真实来源”。因此，应用工具可能不需要访问全部整体数据集来配置和执行模拟，这可以提高过程效率和可靠性。

41、在一示例中，该方法还可以包括与若干用户共享多个元规范信息集。借助于提供给存储在数据库中的多个元规范信息集的标签和/或标记，例如在协作项目中的若干用户能够彼此共享计算机辅助工程(cae)过程。具体地，若干用户能够建立相似或相同的评估设置，共享工具安装版本、包括储存库的模型数据、如何运行模拟和/或预处理和后处理的描述等。

42、cae过程可以由创建数据的组织或实体拥有，该组织或实体将完全控制所得的数据收集。任何私有过程都可以很容易地标准化。标准化的过程可以包含用于分析的所有相关数据，将信息分组到逻辑块中，实现分段版本控制。cae用户和利益相关者可以对过程和数据进行公开检查，提供完全透明的评估。

43、规范数据对象的分段和/或调制可以增加对系统评估的理解，提供承担部分责任的可能性，即，每个领域。例如，不同的用户可以关注测试装备规范与后处理和关键性能指标(kpi)评估，这将反映在数据库历史中(应用版本控制系统)。这意味着分析的归属可以以可追踪和透明的方式共享。特定的规范可以在许多不同的分析中重复使用，在不同的工作指令中定义。

44、在一示例中，该方法还包括对每个元规范信息集进行版本控制。术语“版本控制”可以理解为存储在数据库中的数据的变化可以被控制和跟踪。每个新生成的版本可以用数字或字母代码保存在档案中。例如，如果在单独的数据集中进行了第一次改变，改变的数据集可以用“版本2”来标识。

45、因此，元配置信息集的初始或当前数据集的任何改变可以启动创建该数据集的新版本，这又可以导致规范数据对象的版本控制。通过更新和创建每个规范层次结构的(多个)新版本，通常由其文件名反映的信息的演变可以容易地由历史本身和规范层次结构来跟踪。因此，可以提高数据集和/或规范数据对象中的变化的可追溯性。

46、元配置信息集的更新可以关于目的或仅作为用于相同目的的一个或多个规范数据对象的更新版本通过对规范数据对象的重新组合进行。当更新影响多个评估环境的任何数据对象时，通过产生受影响并且可能必须被更新的工作指令和/或元配置信息集的记录可能是有用的。因此，可以重新执行分析。

47、在一示例中，方法还包括基于通过过滤找到的元配置信息集和新元规范信息集中的至少一个创建输入接口。输入接口可以是应用插件信息的一部分，并且可以包括提供给评估应用工具的输入数据集的数据格式的指令。

48、因此，包括多个元配置信息集的输入数据集，特别是来自多个用户的多个规范数据对象，可以包括通用数据格式，其可以促进数据分析，诸如跨不同系统评估工具的系统参数研究。参数研究的结果可以作为即将到来的系统评估的初始和边界条件。

49、在一示例中，方法还包括基于每个元规范信息集为系统评估创建输入接口，用于对包括参数值的输入数据的参数改变。输入接口可以被配置成允许调整或修改包括参数值的输入数据。

50、在一示例中，方法还包括将输入数据存储在数据库中，并关于至少一个上下文属性使用至少一个标签对输入数据进行标记。

51、在一个示例中，方法还包括收集系统评估的至少一个输出，并基于该输出分析系统评估。方法还可以包括读取系统评估的至少一个输出。进程调度器信息还可以包括用于自动地收集由系统评估生成的输出的代码。

52、元配置信息集的至少一个规范数据对象还可以包括用于后处理的脚本，即，分析和/或报告系统评估的输出。应用插件信息，即进程调度器可以解释这种规范数据对象，并运行相应的步骤用于分析和/或报告。

53、通过从标准化的元配置信息集或规范数据对象中唯一地定义分析，可以以可追踪和质量保证的方式重新创建分析。具体地，通过从数据库中检索不同的测试设置，可以容易地在数据集之间执行比较，以理解评估中的差异。

54、在报告中，结果可以表示为表格、图形和/或文本。结果可以将输出与相应的输入(例如元配置信息集)进行比较和/或绘制。

55、在一示例中，输出可以包括预定义的输出格式，其为独立于应用工具的格式。方法还可以包括经由应用插件信息修改至少一个输出以包括预定义的输出格式，其中输出可以包括相应评估应用工具的特定数据格式。

56、因此，可以通过应用插件信息修改输出的格式，输出可以包括预定义的格式。因此，即使多个系统评估是由来自不同工程观点的不同评估应用工具执行的，它们的输出可以包括统一的格式，这可以导致来自不同工程领域的计算结果的有效组合。

57、该输出可以是，例如，关键性能指标(kpi)，其指的是可用于测量和/或确定系统内重要目标或关键成功因素的进展或实现程度的关键指标。

58、在一示例中，方法还包括将输出存储在数据库中，并关于至少一个上下文属性使用至少一个标签对输出进行标记。系统评估的输出可以存储在数据库中。每个输出可以与一个或多个上下文属性相关联或链接到一个或多个上下文属性。因此，每个输出可以用定义或描述相应上下文属性的至少一个标签来标记。

59、具体地，系统评估的结果可通过输入数据对象，即元配置信息集与相应的结果或输出相结合的方式进行存储，这使得输出完全可追溯。因此，可以促进大数据的数据管理。

60、根据本公开，呈现了一种用于执行系统评估的计算机程序元件。当由处理元件执行时，计算机程序元件适于执行如上所述的方法步骤。

61、根据本公开，呈现了一个或多个计算机存储介质。计算机存储介质编码有指令，当由计算机执行时，指令使得计算机执行如上所述的相应方法的操作。

62、存储介质可以包括计算设备的内部，诸如计算机的ssd，或可移动设备(诸如外部hdd或通用串行总线(usb)闪存驱动器)。还有其他类型的存储介质，包括磁带、光盘(cd)和非易失性存储卡(nvm)。

63、根据本公开，呈现了一种计算机系统。该系统包括如上所述的一个或多个计算机存储介质和用于执行指令的计算机。

64、应注意的是，上述示例可以相互组合，与其所涉及的方面无关。因此，该方法可以与结构特征相结合，同样，该系统可以与上述关于该方法的特征相结合。

65、根据下文所述的实施例，本公开的这些和其他示例将变得显而易见。