本发明实施例涉及遥操作系统评估领域，尤其涉及一种遥操作系统的测评方法及设备。
背景技术：
遥操作是传统遥测遥控技术在信息时代与控制技术、网络技术、仿真技术充分结合基础上的新发展，是面向机器人无人化、远程化、智能化应用中不可或缺的效能化关键技术，特别是随着人类空间活动的不断发展和复杂空间应用需求的日益扩大。。
遥操作发展到现今得到了丰富和发展，操作模式众多，应用领域更加广泛，各式各样的遥操作系统层出不穷，各个遥操作系统的各项能力参差不齐，各个遥操作系统可能在多项能力具备优势，但不可避免的也会其他能力方面存在局限性，任何能力局限都是限制一个遥操作系统向更强发展的因素。
然而，根据任务的不同，遥操作系统应具备的能力及对系统进行评估的内容也不尽一致，评估遥操作系统各项能力及综合能力是遥操作技术领域一个亟需解决的问题。
技术实现要素：
本发明实施例提供了一种遥操作系统的测评方法及设备，以解决评估遥操作系统各项能力及综合能力的问题。
第一方面，本发明实施例提供了一种遥操作系统的测评方法，所述方法包括：
获取至少一个遥操作任务的控制数据，其中，所述遥操作任务包括：通过遥操作系统控制外部设备的操作；根据所述控制数据确定与所述至少一个遥操作任务对应的测试数据；根据所述测试数据确定所述遥操作系统的测试结果；显示所述测试结果以及依据所述测试结果输出的评估结果。
在一个可能的实施方式中，所述方法，还包括：对所述遥操作系统进行特征分类；
其中，所述特征至少包括以下之一：遥共享特征、遥操作特征、遥现场特征或遥系统特征。
在一个可能的实施方式中，所述方法，还包括：根据所述遥操作系统控制外部设备的操作建立与所述操作对应的遥操作任务步骤库。
在一个可能的实施方式中，所述根据所述控制数据确定与所述至少一个遥操作任务对应的测试数据，包括：对单次遥操作任务对应的控制数据进行测试，获得所述单次遥操作任务对应的测试数据；根据所述单次遥操作任务对应测试数据确定至少一个遥操作任务对应的测试数据。
在一个可能的实施方式中，所述评估结果至少包括以下之一：对所述遥操作任务的覆盖能力进行测试；对所述遥操作任务的覆盖能力进行测试；对所述遥操作系统的安全保护能力进行测试；对所述遥操作系统自主能力和智能性进行测试；对所述遥操作系统实时处理能力进行测试；对所述遥操作系统通讯能力进行测试；对所述遥操作系统人机功效、机电、电气性进行测试；对所述遥操作系统时延影响消减能力进行测试；所述遥操作系统备份、分析、复现、时间同步能力进行测试；以及，所述共享操作的同步性或共享操作的差异容忍性进行测试。
在一个可能的实施方式中，所述评估结果通过以下方式中的一种进行显示：
文档、表格或图片。
在一个可能的实施方式中，在所述根据所述实验数据确定与所述至少一个遥操作任务对应的评估数据之前，还包括：
对所述控制数据进行校对。
在一个可能的实施方式中，在所述根据所述实验数据确定与所述至少一个遥操作任务对应的评估数据之后，还包括：
对所述控制数据进行校对。
第二方面，本发明实施例提供一种遥操作系统的测评设备，包括：
获取模块，用于获取至少一个遥操作任务的控制数据，其中，所述遥操作任务包括：通过遥操作系统控制外部设备的操作；
第一确定模块，用于根据所述控制数据确定与所述至少一个遥操作任务对应的测试数据；
第二确定模块，用于根据所述测试数据确定所述遥操作系统的测试结果；
显示模块，用于显示所述测试结果以及依据所述测试结果输出的评估结果。
在一个可能的实施方式中，所述设备，还包括：
分类模块，用于对所述遥操作系统进行特征分类；
其中，所述特征至少包括以下之一：
遥共享特征、遥操作特征、遥现场特征或遥系统特征。
在一个可能的实施方式中，所述设备，还包括：
建立模块，用于根据遥操作系统控制外部设备的操作建立与所述操作对应的遥操作任务步骤库。
在一个可能的实施方式中，所述获取模块，用于对单次遥操作任务对应的控制数据进行测试，获得所述单次遥操作任务对应的测试数据；根据所述单次遥操作任务对应测试数据确定至少一个遥操作任务对应的测试数据。
在一个可能的实施方式中，所述评估结果至少包括以下之一：
对所述遥操作任务的覆盖能力进行测试；对所述遥操作任务的覆盖能力进行测试；对所述遥操作系统的安全保护能力进行测试；对所述遥操作系统自主能力和智能性进行测试；对所述遥操作系统实时处理能力进行测试；对所述遥操作系统通讯能力进行测试；对所述遥操作系统人机功效、机电、电气性进行测试；对所述遥操作系统时延影响消减能力进行测试；所述遥操作系统备份、分析、复现、时间同步能力进行测试；以及，所述共享操作的同步性或共享操作的差异容忍性进行测试。
在一个可能的实施方式中，所述评估结果通过以下方式中的一种进行显示：
文档、表格或图片。
在一个可能的实施方式中，所述设备还包括：
校对模块，用于对所述测试数据进行校对。
在一个可能的实施方式中，所述校对模块，还用于对所述测试数据进行校对。
本发明实施例提供的遥操作系统的评估方法及设备，通过获取至少一个遥操作任务的控制数据，根据所述控制数据确定与所述至少一个遥操作任务对应的测试数据；根据所述测试数据确定所述遥操作系统的测试结果；显示所述测试结果以及依据所述测试结果输出的评估结果，可以准确地评估遥操作系统各项能力的优劣，还可以给遥操作系统提供指导。
附图说明
图1为本发明实施例提供的一种遥操作系统的测评方法的流程示意图；
图2为本发明实施例提供的遥操作任务的覆盖能力的示意图；
图3为本发明实施例提供的遥操作系统的安全保护能力的示意图；
图4为本发明实施例提供的遥操作系统自主能力和智能性的示意图；
图5为本发明实施例提供的遥操作系统实时处理能力的示意图；
图6为本发明实施例提供的遥操作系统通讯能力的示意图；
图7为本发明实施例提供的遥操作系统人机功效、机电、电气性的示意图；
图8为本发明实施例提供的遥操作系统时延影响消减能力的示意图；
图9为本发明实施例提供的遥操作系统备份、分析、复现、时间同步能力的示意图；
图10为本发明实施例提供的共享操作的同步性的示意图；
图11为本发明实施例提供的差异容忍性的示意图；
图12为本发明实施例提供的一种遥操作系统的测评设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
图1为本发明实施例提供的一种遥操作系统的测评方法的流程示意图，参照图1该方法具体包括如下步骤：
s101、获取至少一个遥操作任务的控制数据。
发明实施例中涉及到的遥操作系统，通常用于远程控制外部设备，外部设备可以包括，但不限于：机器人、无人机等设备，例如，基于遥操作系统采用遥操作的方式对机器人进行控制。
需要说明的是，在执行s101之前，需要对遥操作系统进行特征分类，如按照遥共享特征、遥操作特征、遥现场特征和遥系统特征等四个特征对遥操作系统进行特征分类，特征分类的目的在于通过上述四个特征对遥操作系统进行测评。
可选地，作为本发明的一实施例，还可以根据遥操作系统控制外部设备的操作建立与所述操作对应的遥操作任务步骤库，该遥操作任务步骤库即存储多种通过遥操作系统控制外部设备的操作，如遥操作任务a可以控制机器人执行a操作，遥操作任务b可以控制机器人执行b操作，其中，所述遥操作任务包括：通过遥操作系统控制外部设备的操作。
在对遥操作系统进行特征分类和完成遥操作任务步骤库的建立后，可对遥操作系统的各个方面进行评估，先选定遥操作任务步骤库中的一个遥操作任务对外部设备进行控制，接收外部设备反馈的实验数据。
需要说明的是，为保证评估的准确性，还可以在设定时间段内，遥操作任务步骤库中的至少一个遥操作任务，进而获取至少一个遥操作任务的实验数据。
可选地，作为本发明的一实施例，在获取实验数据时，可能存在人为或机器错误，因此，还可以对所述实验数据进行校对，该校对可以是误差分析，或设定阈值进行校验等，以保证评估的有效性。
s102、根据所述控制数据确定与至少一个遥操作任务对应的测试数据。
在本实施例中，可先对单次遥操作任务对应的实验数据进行评估，获得评估数据，根据所述单次遥操作任务对应测试数据确定至少一个遥操作任务对应的测试数据具体获得评估数据的步骤可以通过如下方式获取：
s1021、通过控制数据对遥操作任务的覆盖能力进行测试。
参照图2、操作模式对遥操作任务的覆盖能力具体包括：遥操作系统的共享遥操作能力、操作模式涵盖、操作模式启动、操作模式终止、操作模式的切换等；该步骤主要评估指标是：遥操作系统具备的操作模式是否涵盖了遥操作任务所需要的操作模式，在面对未确定的遥操作任务时，该项能力的主要体现是：遥操作系统具备了哪几种操作模式；操作模式可否按遥操作任务要求进行启动、停止以及相互切换；更进一步体现在对操作模式进行启动、停止和切换时所需要花费的时间
s1022、通过控制数据对遥操作系统的安全保护能力进行测试。
参照图3、遥操作系统的安全保护能力主要体现于其状态检测/监测能力、误操作阻止能力、误码校验和容错能力、预防模拟能力、快速恢复能力、紧急干预能力、和硬件保护能力等。
其中，状态检测/监测能力评估中的漏检率可通过如下公式计算获得：
得出各种异常模式下的异常状态检测结果参量的平均值，考虑到不同异常条件下的异常状态检测能力的差异，采用保守型评估方式，则遥操作系统的异常状态检测能力评估结果为：
误码校验、容错能力评估中的误指令发送率及可容忍的遥测数据异常率指令发送率可通过如下公式计算获得：
s1023、通过控制数据对遥操作系统自主能力和智能性进行测试。
参照图4、遥操作系统的自主能力和智能性主要体现于以下五项自主：指令生成自主、规划自主、遥测数据处理自主和时延影响消减自主。可通过上述五项自主对遥操作系统的自主性和智能性能力评估。
s1024、通过控制数据对遥操作系统实时处理能力进行测试。
参照图5、遥操作系统的实时处理能力主要体现于以下七项实时：共享操作的调度实时、遥测数据处理实时、规划指令发送实时、安全保护实时、备份实时、时延影响消减实时和遥现场模拟环境实时。
共享操作的调度实时能力评估可通过如下公式计算获得：
操作环境数据刷新率＝t0至t1时间段内的操作环境数据刷新数量/t1-t0
操作权限数据刷新率＝t0至t1时间段内的操作权限数据刷新数量/t1-t0
操作空间数据刷新率＝t0至t1时间段内的操作空间数据刷新数量/t1-t0
遥测数据处理实时能力评估可通过如下公式计算获得：
遥测数据刷新频率＝t0至t1时间段内的遥测数据刷新数量/t1-t0
遥测图像刷新频率＝t0至t1时间段内的遥测图像刷新数量/t1-t0
安全保护实时能力评估可通过如下公式计算获得：
备份实时能力评估：
s1025、通过控制数据对遥操作系统通讯能力进行测试。
参照图6、遥操作系统通讯能力包括遥操作系统与外部系统的通讯和遥操作系统内部单元的通讯，其能力的直接体现表征有：内/外部通讯信道带宽、内/外部通讯极限码速率、误码率、丢包率等。
其中，码速率、误码率、丢包率可通过如下公式计算获得：
s1026、通过控制数据对遥操作系统人机功效、机电、电气性能件测试。
参照图7、可对图7所示几个遥操作系统人机功效、机电、电气性能进行测试。
s1027、通过控制数据对遥操作系统时延影响消减能力进行测试。
参照图8、可通过如下公式计算获得：
s1028、通过控制数据对遥操作系统备份、分析、复现、时间同步能力进行测试。
参照图9、可对图9所示几个遥操作系统备份、分析、复现、时间同步能力进行评估。
s1029、通过控制数据对共享操作的同步性进行测试。
参照图10、其中，
单人多机操响应同步性为：
单人多机操作响应时间差＝对象i(i＝2,3,...)响应时刻-对象1响应时刻
多人多机操作响应同步性为：
多人多机操作响应时间差＝对象i(i＝2,3,...)响应时刻-对象1响应时刻
共享端时间同步性为：
共享端时间同步差＝(操作端i(i＝2,3,...)收到数据时刻-操作端1发出数据时刻)-对应时延
对象端时间同步性为：
对象端时间同步差＝(对象i(i＝2,3,...)收到数据时刻-操作端1发出数据时刻)-对应时延
中间服务节点时间同步性为：
中间服务节点时间同步差＝(中间服务节点收到数据时刻-操作端1发出数据时刻)-对应时延
多人单机操作预报同步性：分别考虑开始时间差与结束时间差为：
预报时间差＝(操作端i(i＝2,3,...)预仿真开始时刻-操作端1预仿真开始时刻)-对应时延
预报时间差＝(操作端i(i＝2,3,...)预仿真结束时刻-操作端1预仿真结束时刻)-对应时延
多人多机操作预报同步性：同样分别考虑开始时间差与结束时间差为：
预报时间差＝(操作端i(i＝2,3,...)预仿真开始时刻-操作端1预仿真开始时刻)-对应时延
预报时间差＝(操作端i(i＝2,3,...)预仿真结束时刻-操作端1预仿真结束时刻)-对应时延
单人多机操响应同步性为：
单人多机操作响应时间差＝对象i(i＝2,3,...)响应时刻-对象1响应时刻
多人多机操作响应同步性为：
多人多机操作响应时间差＝对象i(i＝2,3,...)响应时刻-对象1响应时刻
s10210、通过控制数据对共享操作的差异容忍性进行测试。
参照图11、可对图11所示几个遥操作系共享操作的差异容忍性进行评估。
根据上述s1021-s10210可以对遥操作系统的十个能力进行评估，进而获得单次遥操作任务对应的实验数据的评估数据。
可选地，作为本发明的一实施例，在获取评估数据后，还可以对所述评估数据进行校对，以保证评估数据的有效性。
上述介绍了如何获得单次遥操作任务对应的实验数据的评估数据，还可以通过遥操作任务步骤库中选定多个操作任务获得至少一个遥操作任务对应的评估数据。
在获得所有评估数据后，可通过表格的形式对评估数据进行显示，如下表所示：
表1
表2
表3
表4
s103、根据所述测试数据确定所述遥操作系统的测试结果。
可选地，所述评估结果至少包括以下之一：
操作模式对遥操作任务的覆盖能力、遥操作系统的安全保护能力、遥操作系统自主能力和智能性、遥操作系统实时处理能力、遥操作系统人机功效、机电、电气性、遥操作系统时延影响消减能力、遥操作系统备份、分析、复现、时间同步能力、共享操作的同步性或共享操作的差异容忍性。
根据所述评估数据确定所述遥操作系统的评估结果具体可通过如下子步骤获得：
s1031、操作流程测试统计。
具体地，统计所有任务步骤在所有遥操作实验中的记录数，使用频率、不满足条件的次数、不满足概率。同时，统计不满足条件的步骤数为i(i＝0,1,2,3,4)时对应的遥操作实验次数及对应的实验平均步骤数、单次实验步骤数分布(步长取5)，其中统计计算方法为：
任务步骤记录数＝所有遥操作实验出现该任务步骤的总次数
任务步骤不满足条件的次数＝所有遥操作实验出现该任务步骤且不满足条件的总次数
s1032、任务执行能力测试统计。
具体地，统计所有评估项的6个内容，包括：满足该项的实验次数、满足该项的概率、满足该项的实验平均步骤数、不满足该项的实验次数、不满足该项的概率、不满足该项的实验平均步骤数。同时，关联统计所有评估项与实验的“数据量”、“关节角度绝对误差范围”、“平均时延”、“最大时延”4个指标之间的关系。其中统计计算方法为：
满足该项的实验次数＝所有遥操作实验满足该项的总实验次数
不满足该项的实验次数＝遥操作实验总次数-满足该项的实验次数
s1033、数据充分性及备份能力测试统计。
其中，统计所有评估项的6个内容，与步骤s1032任务执行能力评估统计6个内容一致，统计计算方法相同，在此不作赘述。
s1034、数据实时处理及时间同步能力测试统计。统计共计6项，包括：时间长度分布统计、数据量分布统计、关节角度绝对误差范围分布统计、关节角度相对误差范围分布统计、平均时延分布统计、最大时延分布统计、时延范围分布统计。其中统计计算公式如下：
时间长度＝遥操作实验的指令值起始时间–指令值终止时间
时间长度分布步长＝500s
数据量＝max{指令值条数，预测值条数，现场实测值条数，延迟接收值条数}
数据量分布步长＝10000
关节角度绝对误差＝|关节角度现场实测值-关节角度预测值|
时延＝延迟接收值的时间–对应的现场实测值的时间
最大时延＝max{所有时延}；最小时延＝min{所有时延}
时延分布步长＝平均时延分布步长＝最大时延分布步长＝2s
s1035、总体测试。
具体地，从以下10个能力指标进行，包括“特定任务的操作流程”、“操作模式”、“操作支持手段”、“系统自主性”、“操作时间充分性”、“遥测数据充分性”、“时延消减数据充分性”、“时间同步能力“实时处理能力”。其中每个指标都有两项统计，为“完全满足条件的统计率”、“部分满足条件的统计率”，以下给出针对不同能力的两项统计的统计方法。
1)“特定任务的操作流程”：基于所有已录入实验内容，对所有的任务-步骤(系统已有步骤及用户新录入步骤)进行统计分析，某步骤出现在所有实验中，即认为该步骤完全满足条件；某步骤只出现在部分实验中，即认为该步骤部分满足条件，则：
2)“操作模式”、“操作支持手段”、“系统自主性”、“操作时间充分性”、“遥测数据充分性”、“时延消减数据充分性”：每次实验都满足某评估项，即认为该评估项完全满足条件；部分实验满足某评估项，即认为该评估项部分满足条件，则：
3)“时间同步能力”：以数据密度(指令值数据密度和预测值数据密度)来衡量系统的时间同步能力，规定某次实验的两项数据密度值都大于10hz，即认为该次实验完全满足时间同步能力；某次实验只有一项数据密度值大于10hz，即认为该次实验部分满足时间同步能力，则：
4)“实时处理能力”：以关节角度误差范围来衡量系统的实时处理能力，规定所有实验的误差范围都小于0.015°，即认为完全满足条件的统计率为100％，部分满足条件统计率为0；只有部分实验的误差范围小于0.015°，即认为完全满足条件的统计率为0，部分满足条件统计率为100％。
执行完上述4步后，确定所述遥操作系统的评估结果，该评估结果可以以统计报告的形式生成，如文档、表格或图片等形式，如word文档或excel表格等。
需要说明的是，上述步骤s101-s103可执行对可量化的指标量的评估，对于不可量化的指标的评估，可先采用判断的形式进行评估(如判断单次或某次的遥操作任务的实验数据)，在s103中执行统计评估时，再采用量化的方式对不可量化的指标量通过统计的方式进行量化评估，具体内容可参照上述表格，在此，不作赘述。
s104、显示所述测试结果以及依据所述测试结果输出评估结果。
可选地，所述评估结果通过以下方式中的一种进行显示：文档、表格或图片。
需要说明的是，在显示测试结果的同时，还可以输出评估结果，评估结果可以通过word文档或excel表格的形式输出。
本发明实施例提供的遥操作系统的评估方法，通过获取至少一个遥操作任务的实验数据，根据所述实验数据确定与所述至少一个遥操作任务对应的评估数据；根据所述评估数据确定所述遥操作系统的评估结果；显示所述评估结果，可以准确地评估遥操作系统各项能力的优劣，还可以给遥操作系统提供指导。
上述主要从遥操作系统的角度对本发明实施例的方案进行了介绍。可以理解的是，遥操作系统等为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
本发明实施例可以根据上述方法示例对遥操作系统等进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本发明实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用集成的单元的情况下，图12为本发明实施例提供的一种遥操作系统的测评设备的结构示意图，该设备具体包括：
获取模块1201，用于获取至少一个遥操作任务的控制数据，其中，所述遥操作任务包括：通过遥操作系统控制外部设备的操作；
第一确定模块1202，用于根据所述控制数据确定与所述至少一个遥操作任务对应的测试数据；
第二确定模块1203，用于根据所述测试数据确定所述遥操作系统的测试结果；
显示模块1204，用于显示所述测试结果以及依据所述测试结果输出的评估结果。
可选地，所述设备，还包括：分类模块1205，用于对遥操作系统进行特征分类；
其中，所述特征至少包括以下之一：遥共享特征、遥操作特征、遥现场特征或遥系统特征。
可选地，所述设备，还包括：建立模块1206，用于根据遥操作系统控制外部设备的操作建立与所述操作对应的遥操作任务步骤库。
可选地，所述获取模块1201，用于对单次遥操作任务对应的控制数据进行测试，获得所述单次遥操作任务对应的测试数据；根据所述单次遥操作任务对应测试数据确定至少一个遥操作任务对应的测试数据。
可选地，所述评估结果至少包括以下之一：对所述遥操作任务的覆盖能力进行测试；对所述遥操作任务的覆盖能力进行测试；对所述遥操作系统的安全保护能力进行测试；对所述遥操作系统自主能力和智能性进行测试；对所述遥操作系统实时处理能力进行测试；对所述遥操作系统通讯能力进行测试；对所述遥操作系统人机功效、机电、电气性进行测试；对所述遥操作系统时延影响消减能力进行测试；所述遥操作系统备份、分析、复现、时间同步能力进行测试；以及，所述共享操作的同步性或共享操作的差异容忍性进行测试。
可选地，所述评估结果通过以下方式中的一种进行显示：文档、表格或图片。
可选地，所述设备还包括：校对模块1207，用于对所述测试数据进行校对。
可选地，所述校对模块1207，还用于对所述测试数据进行校对。
本发明实施例提供的遥操作系统的评估设备，可作为如图1所示遥操作系统的评估方法的执行主体，执行图1所示方法的各个步骤，进而实现图1所示方法的技术效果，为简洁描述，可参照上述对图1的相关描述，在此不作赘述。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。