一种利用大模型构建机器人智能测评指标的方法及系统与流程

本发明涉及机器人智能测评领域，具体涉及一种利用大模型构建机器人智能测评指标的方法及系统。

背景技术：

1、在机器人智能测评领域，测评指标体系是指在测试评估过程中使用的一组指标集合，用于量化和评估机器人智能性。测评指标的设计是有效评估智能性的关键点，传统的指标体系设计方法通常依赖于人工的经验和专业知识来定义指标和关联关系，例如中国专利公开号cn115407750a公开的一种人机协同智能系统决策能力的测评方法及系统。但是依赖经验定义的指标往往基于有限的数据源和知识，很难全面而准确地反映复杂的业务和环境。当前没有关于机器人智能性水平的定义，缺少测评机器人智能性水平的指标和方法。

技术实现思路

1、本发明所要解决的技术问题在于如何提供一种全面而准确的测评机器人智能性水平的指标体系。

2、本发明通过以下技术手段解决上述技术问题的：一种利用大模型构建机器人智能测评指标的方法，包括以下步骤：

3、步骤一、构建机器人智能性测评的多级指标结构；

4、步骤二、从公开论文、行业标准、测试报告中提取所有关于机器人智能性测评的指标；

5、步骤三、将不同知识源中的相关信息整合在一起，并将获取的各个指标对应到机器人智能性测评的多级指标结构的不同层级中，构建智能性测评指标图谱；

6、步骤四、针对不同类型的机器人和任务场景，利用智能推荐算法从知识图谱中检索和匹配相关的测评指标，对机器人的智能性进行测评。

7、进一步地，所述步骤一包括：

8、将机器人的感知、推理、决策和执行的特性作为智能性测评的一级指标；将目标检测精度指标、环境感知精度指标作为二级指标来评估机器人的感知特性；将机器人的定位精度指标、导航精度指标作为二级指标来评估机器人的推理特性；将路径规划性能指标、避障精确性指标作为二级指标来评估机器人的决策特性；将运动的平稳性指标、可靠性指标作为二级指标来评估机器人的执行特性；将机器人在执行任务场景中可测量的物理量作为三级指标，并且与二级指标相对应。

9、进一步地，所述步骤二包括：

10、输入与机器人智能性评估相关的关键词或短语，从全量的公开论文、行业标准、测试报告中搜索获取所有关于机器人智能性测评的指标，抽取具体的指标名称、定义和测量方法。

11、更进一步地，所述步骤二中选择开源或商业大语言模型搜索并提取相关文献中的指标信息，所述模型的提示词包括：

12、a、智能测评指标提取类提示词：

13、a1、从文本中识别出机器人智能性测评的指标信息，包含指标名称、指标定义、指标单位；

14、a2、提取文本中具有机器人智能性测评的指标信息，包含指标名称、指标定义、指标单位；

15、b、智能测评指标分类类提示词：

16、b1、按照属性或类别对机器人智能测评指标进行分类；

17、b2、对机器人智能测评指标进行组织和分类；

18、c、智能测评指标关联类提示词：

19、c1、通过上下文语义的定义，将不同的机器人智能测评指标进行关联；

20、c2、将文本中不同的机器人智能测评指标进行关联和连接；

21、d、智能测评指标间关系抽取类提示词：

22、d1、从测评文本中提取出机器人智能测评指标之间的关系；

23、d2、识别并抽取机器人智能测评指标之间的关联和相互作用关系。

24、进一步地，所述步骤三包括：

25、运用词法分析、句法分析和语义分析技术对获取的机器人智能性测评的指标进行处理，提取文本中的关键信息和语义关系，然后利用相似度计算方法来比较从不同知识源中提取的指标信息与构建的测评指标数据集之间的相似度，相似度超过预设值表明指标信息在数据集中存在，从而判断该指标不被融合，相似度低于预设值表明指标信息在数据集中不存在，从而判断该指标信息需要融合进数据集，将融合后的数据集存储到开源的neo4j图数据库中，构建智能性测评指标图谱。

26、本发明还提供一种利用大模型构建机器人智能测评指标的系统，包括：

27、多级结构构建模块，用于构建机器人智能性测评的多级指标结构；

28、指标提取模块，用于从公开论文、行业标准、测试报告中提取所有关于机器人智能性测评的指标；

29、图谱构建模块，用于将不同知识源中的相关信息整合在一起，并将获取的各个指标对应到机器人智能性测评的多级指标结构的不同层级中，构建智能性测评指标图谱；

30、智能性测评模块，用于针对不同类型的机器人和任务场景，利用智能推荐算法从知识图谱中检索和匹配相关的测评指标，对机器人的智能性进行测评。

31、进一步地，所述多级结构构建模块还用于：

32、将机器人的感知、推理、决策和执行的特性作为智能性测评的一级指标；将目标检测精度指标、环境感知精度指标作为二级指标来评估机器人的感知特性；将机器人的定位精度指标、导航精度指标作为二级指标来评估机器人的推理特性；将路径规划性能指标、避障精确性指标作为二级指标来评估机器人的决策特性；将运动的平稳性指标、可靠性指标作为二级指标来评估机器人的执行特性；在机器人任务场景中可测量的物理量作为三级指标，并且与二级指标相对应。

33、进一步地，所述指标提取模块还用于：

34、输入与机器人智能性评估相关的关键词或短语，从全量的公开论文、行业标准、测试报告中搜索获取所有关于机器人智能性测评的指标，抽取具体的指标名称、定义和测量方法。

35、更进一步地，所述指标提取模块中选择开源或商业大语言模型搜索并提取相关文献中的指标信息，所述模型的提示词包括：

36、a、智能测评指标提取类提示词：

37、a1、从文本中识别出机器人智能性测评的指标信息，包含指标名称、指标定义、指标单位；

38、a2、提取文本中具有机器人智能性测评的指标信息，包含指标名称、指标定义、指标单位；

39、b、智能测评指标分类类提示词：

40、b1、按照属性或类别对机器人智能测评指标进行分类；

41、b2、对机器人智能测评指标进行组织和分类；

42、c、智能测评指标关联类提示词：

43、c1、通过上下文语义的定义，将不同的机器人智能测评指标进行关联；

44、c2、将文本中不同的机器人智能测评指标进行关联和连接；

45、d、智能测评指标间关系抽取类提示词：

46、d1、从测评文本中提取出机器人智能测评指标之间的关系；

47、d2、识别并抽取机器人智能测评指标之间的关联和相互作用关系。

48、进一步地，所述图谱构建模块还用于：

49、运用词法分析、句法分析和语义分析技术对获取的机器人智能性测评的指标进行处理，提取文本中的关键信息和语义关系，然后利用相似度计算方法来比较从不同知识源中提取的指标信息与构建的测评指标数据集之间的相似度，相似度超过预设值表明指标信息在数据集中存在，从而判断该指标不被融合，相似度低于预设值表明指标信息在数据集中不存在，从而判断该指标信息需要融合进数据集，将融合后的数据集存储到开源的neo4j图数据库中，构建智能性测评指标图谱。

50、本发明的优点在于：

51、(1)本发明构建机器人智能性测评的多级指标结构，从公开论文、行业标准、测试报告中提取所有关于机器人智能性测评的指标；最后利用知识图谱的融合和存储方法，构建智能性测评指标图谱，对海量数据挖掘和提取，提供了测评机器人智能性水平的指标体系，能够使得机器人的智能性评估更具有说服力，能够提供更可靠和全面的评估结果。

52、(2)本发明通过基于类人智能和ooda(决策循环)模型的基础，结合大模型自然语言理解和提取能力、知识图谱等方法，创造了一种以三级指标为结构的方法，来测评机器人智能性水平，能够针对不同智能性测评场景做到个性化推荐。