机器人成熟度评估模型的创建方法、装置和计算机设备与流程

本申请涉及机器人评估技术领域，特别是涉及一种机器人成熟度评估模型的创建方法、装置和计算机设备。

背景技术：

随着电网的发展，调控一体化的持续推进，调度员需要进行的分析、判断和操作数量持续增长。

目前，调度业务已逐步向分析性调度转型，调度领域的技术支持系统功能不断完善，众多辅助决策工具也得到了普遍推广，面对此需求，出现了一批智能调度系统或智能调度机器人系统，但是很难对这些智能调度系统或智能调度机器人的能力水平进行评估。

技术实现要素：

基于此，有必要针对上述技术问题，提供一种机器人成熟度评估模型的创建方法、装置、计算机设备和存储介质。

一种机器人成熟度评估模型的创建方法，该方法包括：

根据预设的测试维度，向电力调度机器人发送对应的操作指令；

接收该电力调度机器人根据该操作指令执行的操作结果；

对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

在其中一个实施例中，该测试维度包括数据获取，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的该电力调度机器人的工作日志；和/或

接收该电力调度机器人发送的该电力调度机器人从数据库中获取的数据；和/或

接收该电力调度机器人发送的该电力调度机器人拍摄的照片。

在其中一个实施例中，该测试维度包括状态判断，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的现场设备的设备状态，该设备状态为该电力调度机器人根据该现场设备的工作情况判断得到的状态。

在其中一个实施例中，该测试维度包括调度决策，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的调度决策，该调度决策为该电力调度机器人根据输入的请求指令或根据现场设备的工作情况作出的决策。

在其中一个实施例中，该测试维度包括自动化操作，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的执行动作，该执行动作为该电力调度机器人自主执行的动作。

在其中一个实施例中，该对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级的步骤包括：

确定与每种测试维度相匹配的成熟度等级；

将匹配的最低等级作为该电力调度机器人的成熟度等级。

机器人成熟度评估模型的创建装置，该装置包括：

指令发送模块，用于根据预设的测试维度，向电力调度机器人发送对应的操作指令；

接收模块，用于接收该电力调度机器人根据该操作指令执行的操作结果；

分析模块，用于对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

在其中一个实施例中，该分析模块包括：

等级确定单元，用于确定与每种测试维度相匹配的成熟度等级；

成熟度确定单元，用于将匹配的最低等级作为该电力调度机器人的成熟度等级。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

根据预设的测试维度，向电力调度机器人发送对应的操作指令；

接收该电力调度机器人根据该操作指令执行的操作结果；

对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

根据预设的测试维度，向电力调度机器人发送对应的操作指令；

接收该电力调度机器人根据该操作指令执行的操作结果；

对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

上述机器人成熟度评估模型的创建方法、装置、计算机设备和存储介质，通过对电力调度机器人实现不同维度的指令输入、结果测试，并根据电力调度机器人的执行结果进行分析，确定与该操作结果相匹配的成熟度等级，进而确定电力调度机器人的成熟度等级，根据本申请确定出来的机器人成熟度评估模型可以为机器人的成熟度评估提供依据和标准，使得在有新的电力调度机器人需要进行成熟度评估时，依据本申请提供的模型可以为机器人的成熟度提供评估标准，得以快速、准确的为机器人进行评估。

附图说明

图1为一个实施例中机器人成熟度评估模型的创建方法的应用环境图；

图2为一个实施例中机器人成熟度评估模型的创建方法的流程示意图；

图3为一个实施例中五个测试维度的框图；

图4为一个实施例中四个等级的摘选示意图；

图5为一个实施例中机器人成熟度评估模型的创建装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的机器人成熟度评估模型的创建方法，可以应用于如图1所示的应用环境中。其中，电力调度机器人102通过网络与计算机设备104通过网络进行通信。计算机设备104可以用独立的计算机设备或者是多个计算机设备组成的计算机设备集群来实现，作为可选地，该计算机设备104包含一显示屏。

在一个实施例中，如图2所示，提供了一种机器人成熟度评估模型的创建方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：

步骤201，根据预设的测试维度，向电力调度机器人发送对应的操作指令。

在其中一个实施例中，该测试维度包括但不限于数据获取、状态判断、调度决策、自动化操作和置信度判断。作为优选地，可以针对每种维度进行测试，向电力调度机器人发送与某一维度相对应的操作指令。

步骤202，接收该电力调度机器人根据该操作指令执行的操作结果。

在其中一个实施例中，该测试维度包括数据获取，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的该电力调度机器人的工作日志；和/或

接收该电力调度机器人发送的该电力调度机器人从数据库中获取的数据；和/或

接收该电力调度机器人发送的该电力调度机器人拍摄的照片。

本实施例中的数据获取的维度等级从低到高依此分为基于静态数据、可对接动态数据、可对接多源动态数据、基于多源数据并进行数据综合过滤。

在其中一个实施例中，该测试维度包括状态判断，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的现场设备的设备状态，该设备状态为该电力调度机器人根据该现场设备的工作情况判断得到的状态。

本实施例的状态判断的维度等级从低到高依此分为基于离线数据的判断、基于实时在线数据、基于多源数据、一致性校核。

在其中一个实施例中，该测试维度包括调度决策，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的调度决策，该调度决策为该电力调度机器人根据输入的请求指令或根据现场设备的工作情况作出的决策。

本实施例的调度决策的维度等级从低到高依此分为提供信息查询、辅助调度员决策、提供定制化决策、提供交互式决策。

在其中一个实施例中，该测试维度包括自动化操作，该接收该电力调度机器人根据该操作指令执行的操作结果的步骤包括：

接收该电力调度机器人发送的执行动作，该执行动作为该电力调度机器人自主执行的动作。

本实施例的自动化操作的维度等级从低到高依此为不可自主完成操作、可完成常规简单操作、可进行复杂操作、可进行全部操作达到正职调度员能力水平。

步骤203，对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

上述机器人成熟度评估模型的创建方法通过对电力调度机器人实现不同维度的指令输入、结果测试，并根据电力调度机器人的执行结果进行分析，确定与该操作结果相匹配的成熟度等级，进而确定电力调度机器人的成熟度等级，根据本申请确定出来的机器人成熟度评估模型可以为机器人的成熟度评估提供依据和标准，使得在有新的电力调度机器人需要进行成熟度评估时，依据本申请提供的模型可以为机器人的成熟度提供评估标准，得以快速、准确的为机器人进行评估。

在其中的一个实施例中，上述对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级的步骤包括：

确定与每种测试维度相匹配的成熟度等级；

将匹配的最低等级作为该电力调度机器人的成熟度等级。

因电力调度是极为严禁的工作，任何短板都可能会造成比较严重的不足，故以结果中评定等级最低的维度为准，确定调度机器人成熟度等级。图4为一个实施例中四个等级的摘选示意图，如图4所示，如某调度机器人在数据获取维度为3级、状态判断维度为3级、调度决策维度为2级、自动化操作维度为4级、置信度维度为3级。结果中评定等级最低的维度为调度决策维度，等级为2级，由此判定调度机器人成熟度为2级。置信度这一维度的成熟度等级最低，则将电力调度机器人的成熟度等级定位2级。

图3为一个实施例中五个测试维度的框图，根据本申请的一个实施例如图3所示，五个维度具体包括：

1、数据获取

1)基于静态数据

目前电网公司很多数据依托于数据采集与监控系统对电网的运行进行状态的感知，终端单元数据采集间隔较大，一般间隔在1s或数秒。如果电力调度机器人采用此类数据，分析的数据源为被动接收，可视为基于静态数据分析。

2)基于动态数据

随着智能电网的不断推进，广域测量系统得到了快速的发展和应用，其以同步相量测量技术为基础，通过相量测量单元格以及现代通信技术，对地域广阔的电力系统运行状态进行动态监测和分析。此类数据精度高、密度高、数据刷新快，基于此类数据的电力调度机器人视为达到可对接动态数据水平。

3)基于多源动态数据

对接多个系统的实时数据及静态数据，打通数据采集与监控系统与广域测量系统的数据孤岛。通过集成各种数据采集渠道，建立统一、开放的广域数据综合平台，实现多数据源融合。可对接此类平台或提供数据综合平台的调度机器人，视为达到该水平。

4)基于多源数据并进行数据综合过滤

在等级3基于多源动态数据的基础上，进行数据综合分析，过滤不良数据，剔除冗余数据及不相关数据，并进行数据融合综合分析。基于此类数据或提供数据综合分析平台的调度机器人视为达到专业水平。

2、状态判断

1)基于离线样本数据

通过对典型离线数据样本分析，训练调度机器人的状态判断能力，使用另外同类型的典型离线数据样本验证调度机器人的状态判断能力。调度机器人在训练和测试时，状态判断能力一致则达到该水平。

2)基于实时在线数据

调度机器人通过使用典型离线数据样本分析训练、泛化离线数据样本分析训练、实时在线数据监督训练及泛化训练。使用泛化数据进行真实状态判断，若状态判断准确率和训练时表现一致，则达到该能力水平。

3)基于多源数据

采用类似状态判断2级的训练方法，训练数据支持多源多维数据，根据不同数据源的综合训练结果，对最终结果也可以有效归纳总结，给出综合状态判断结果。具备该能力的调度机器人在状态判断维度达到3级。

4)一致性校核

除具备状态判断3级的维度水平外，可对状态判断结果进行回溯验证，进行准确性和合理性校验。具备该能力的调度机器人在状态判断维度视为达到最高级专业级。

3、调度决策

1)提供信息查询

按调度员指令提供调度相关查询信息，具备该能力的调度机器人视为具备调度决策维度初级水平。

2)辅助调度员决策

根据调度员操作或指令，自动展示该操作或指令涉及的信息，具备主动相应信息交互能力的调度机器人视为在调度决策维度达到2级辅助决策水平。

3)提供定制化决策

根据检修单或故障单进行分析，以知识本体库为基准，提供最合适的定制化调度决策。

4)提供交互式决策

可根据检修单和故障单进行分析，提供定制化决策。可以根据调度人员的指令，对生成的调度决策(操作票)进行整体或某一条指令及其关联指令进行调整修改。可以不依托检修单和故障单，根据调度员需求，生成调度决策(操作票)。

4、自动化操作

1)不可自主完成操作

可生成简单操作建议，不具备自主操作能力，可按调度员指令进行操作。

2)可完成常规简单操作

可生成复杂操作建议，可自主完成常规简单操作，如倒闸操作。对于复杂操作，可按调度员指令进行程序化操作。

3)可进行复杂操作

可生成复杂操作指令，并可按程序化操作自主完成操作。

4)可进行全部操作达到正职调度员能力水平

可根据检修单和故障单的操作票指令，自主完成相关操作，不需要调度员干预。可对调度员的操作过程进行监督复核，发现可疑操作和违规操作可给出建议操作。

5、置信度

1)低于班员准确率

调度机器人多次执行结果准确率为班员操作正确率的60％以下。

2)达到班员准确率

调度机器人多次执行结果准确率为班员操作正确率的90％以上。

3)达到副职准确率

调度机器人多次执行结果准确率为副职调度员操作正确率的90％以上。

4)达到正职准确率

调度机器人多次执行结果准确率为正职调度员操作正确率的90％以上。

本实施例的置信度等级从低到高依此为低于班员准确率、达到班员准确率、达到副职准确率、达到正职准确率。

本实施例的维度划分从数据获取、状态判断、调度决策、自动化操作、置信度等方向划分为五个维度，涵盖从数据收集方式、数据处理应用、决策、操作等能力，并对所做决策的置信度进行评估，形成整个全方位闭环分析。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种机器人成熟度评估模型的创建装置的结构框图，该机器人成熟度评估模型的创建装置10包括：指令发送模块11、接收模块12和分析模块13，其中：

指令发送模块11，用于根据预设的测试维度，向电力调度机器人发送对应的操作指令；

接收模块12，用于接收该电力调度机器人根据该操作指令执行的操作结果；

分析模块13，用于对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

在其中的一个实施例，该测试维度包括数据获取，该接收模块12具体用于：

接收该电力调度机器人发送的该电力调度机器人的工作日志；和/或

接收该电力调度机器人发送的该电力调度机器人从数据库中获取的数据；和/或

接收该电力调度机器人发送的该电力调度机器人拍摄的照片。

在其中一个实施例中，该测试维度包括状态判断，该接收模块12具体用于：

接收该电力调度机器人发送的现场设备的设备状态，该设备状态为该电力调度机器人根据该现场设备的工作情况判断得到的状态。

在其中一个实施例中，该测试维度包括调度决策，该接收模块12具体用于：

接收该电力调度机器人发送的调度决策，该调度决策为该电力调度机器人根据输入的请求指令或根据现场设备的工作情况作出的决策。

在其中一个实施例中，该测试维度包括自动化操作，该接收模块12具体用于：

接收该电力调度机器人发送的执行动作，该执行动作为该电力调度机器人自主执行的动作。

在其中一个实施中，该分析模块包括：

等级确定单元，用于确定与每种测试维度相匹配的成熟度等级；

成熟度确定单元，用于将匹配的最低等级作为该电力调度机器人的成熟度等级。

关于机器人成熟度评估模型的创建装置的具体限定可以参见上文中对于机器人成熟度评估模型的创建方法的限定，在此不再赘述。上述机器人成熟度评估模型的创建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是电力调度机器人，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的电力调度机器人通过网络连接通信。该计算机程序被处理器执行时以实现一种机器人成熟度评估模型的创建方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

根据预设的测试维度，向电力调度机器人发送对应的操作指令；

接收该电力调度机器人根据该操作指令执行的操作结果；

对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

在一个实施例中，该测试维度包括数据获取，处理器执行计算机程序时还实现以下步骤：

接收该电力调度机器人发送的该电力调度机器人的工作日志；和/或

接收该电力调度机器人发送的该电力调度机器人从数据库中获取的数据；和/或

接收该电力调度机器人发送的该电力调度机器人拍摄的照片。

在一个实施例中，该测试维度包括状态判断，处理器执行计算机程序时还实现以下步骤：

接收该电力调度机器人发送的现场设备的设备状态，该设备状态为该电力调度机器人根据该现场设备的工作情况判断得到的状态。

在一个实施例中，该测试维度包括调度决策，处理器执行计算机程序时还实现以下步骤：

接收该电力调度机器人发送的调度决策，该调度决策为该电力调度机器人根据输入的请求指令或根据现场设备的工作情况作出的决策。

在一个实施例中，该测试维度包括自动化操作，处理器执行计算机程序时还实现以下步骤：

接收该电力调度机器人发送的执行动作，该执行动作为该电力调度机器人自主执行的动作。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

确定与每种测试维度相匹配的成熟度等级；

将匹配的最低等级作为该电力调度机器人的成熟度等级。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

根据预设的测试维度，向电力调度机器人发送对应的操作指令；

接收该电力调度机器人根据该操作指令执行的操作结果；

对接收的该操作结果进行分析，确定与该操作结果相匹配的成熟度等级。

在一个实施例中，该测试维度包括数据获取，计算机程序被处理器执行时还实现以下步骤：

接收该电力调度机器人发送的该电力调度机器人的工作日志；和/或

接收该电力调度机器人发送的该电力调度机器人从数据库中获取的数据；和/或

接收该电力调度机器人发送的该电力调度机器人拍摄的照片。

在一个实施例中，该测试维度包括状态判断，计算机程序被处理器执行时还实现以下步骤：

接收该电力调度机器人发送的现场设备的设备状态，该设备状态为该电力调度机器人根据该现场设备的工作情况判断得到的状态。

在一个实施例中，该测试维度包括调度决策，计算机程序被处理器执行时还实现以下步骤：

接收该电力调度机器人发送的调度决策，该调度决策为该电力调度机器人根据输入的请求指令或根据现场设备的工作情况作出的决策。

在一个实施例中，该测试维度包括自动化操作，计算机程序被处理器执行时还实现以下步骤：

接收该电力调度机器人发送的执行动作，该执行动作为该电力调度机器人自主执行的动作。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

确定与每种测试维度相匹配的成熟度等级；

将匹配的最低等级作为该电力调度机器人的成熟度等级。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。