专利名称：用于通过人工操作员对机器进行远程控制的遥操作方法和人机界面的制作方法
技术领域：
本发明涉及一种用于使用远程控制单元由人工操作员来对机器进行远程控制的遥操作(teleoperation)方法，特别是用于对无人机(UAV)进行远程控制的遥操作方法。此外，本发明涉及一种用于在前面提到的遥操作方法中使用的人机界面(HRI)。
背景技术：
在现代战争中，在侦查任务甚至是战斗任务中使用所谓的无人机(UAV)。通常而言，这些UAV是由操作员远程控制的，操作员经由无线电通信链路与UAV连接。然而，在这种远程控制场景中，操作员的环境感知(situational awareness)较差可能导致错误的反应，并且在最坏的情况中，会导致无人机的完全损失。因此，用于对UAV进行远程控制的传统遥操作方法是不尽如人意的，这是因为这些传统方法经常导致操作员的错误反应和相当数量的完全无人机损失。
发明内容
因此，本发明的一个目标是改善前面提到的用于对UAV进行远程控制的传统遥操作方法。本发明的进一步目标是提供用于在新颖的遥操作方法中使用的人机界面(HRI)。这些目标是通过根据独立权利要求的新颖的遥操作方法和相应的人机界面来实现的。发明人已经认识到前面提到的远程控制的UAV的损失主要是由操作员的环境感知较差所导致的。因此，本发明通过向操作员提供前庭(vestibular)反馈来改善操作员的环境感知。优选地，前庭反馈是通过向操作员施加与远程控制机器的运动相对应的运动来向操作员提供的，使得操作员感受到犹如该操作员在远程控制机器(例如，UAV)上那样的大体上相同的前庭感觉。但是，在本发明的上下文中所使用的术语“前庭反馈”不限于其中操作员完成大体上与远程控制机器相同的运动的这些实施例。提供给操作员的前庭反馈仅包括少于三个自由度的操作员运动是非常有可能的。举例而言，有可能操作员经历与俯仰角和翻转角相关的运动，而偏航角是固定的。进一步，有可能前庭反馈仅重现远程控制机器的空间方位，而提供给操作员的前庭反馈不重现远程控制机器的加速度。但是，优选地，前庭反馈重现与远程控制机器的真实运动尽可能地相似的操作员运动。优选地，新颖的遥操作方法包括确定表示远程控制机器的真实运动的前庭数据的步骤。随后，基于远程控制机器的前庭数据来确定前庭反馈。接着，向操作员施加与远程控制机器的运动相对应的运动，其中，操作员的运动提供前庭反馈，并且操作员的运动是根据远程控制机器的前庭数据来产生的。针对确定用于产生前庭反馈所需要的前庭数据，有若干不同的选择。
在本发明的一个实施例中，表示远程控制机器的真实运动的前庭数据是由远程控制机器的机载传感器来测量的。举例而言，UAV上可能载有陀螺仪和加速计，其中，这些传感器以远程控制机器的姿态(例如，俯仰角、翻转角、偏航角和线性坐标)、UAV的速度和加速度的形式来测量前庭数据。随后，由机载传感器测量的前庭数据经由通信链路(例如，无线电通信链路)从远程控制机器发送到远程控制单元。在本发明的另一个实施例中，表示远程控制机器的真实运动的前庭数据是由固定的运动跟踪系统来远程测量的，使得不需要将前庭数据经由无线链路从远程控制机器发送到远程控制单元。适当的运动跟踪系统在商业上是可用的，例如，来自威康运动系统(Vicon Motion System)公司的运动跟踪系统，使得不需要对运动跟踪系统作进一步的解释。进一步的，前庭数据可以由前面所提到的替代物的混合来计算。举例而言，可以通过机载传感器来测量原始数据。随后，原始数据被发送到远程控制单元，在远程控制单元处，原始数据被用于例如更新远程控制机器的动态模型。在本发明的另一个实施例中，完全不测量表示远程控制机器的真实运动的前庭数据，前庭数据是根据从远程控制单元发送到远程控制机器的运动命令来得到的。换句话说， 可以在考虑远程控制机器的行为的动态模型的情况下基于运动命令信号来计算前庭数据。在本发明的一个优选的实施例中，前庭反馈是通过承载操作员的自动设备 (robot)提供给操作员的。优选地，自动设备是多轴串行操纵器，后者包括通过接合部连接的若干个连杆(link)。这种多轴自动设备在商业上是可用的，例如，来自德国公司KUKA Roboter股份有限公司的品牌Robocoaster 。但是，也可以使用来自不同厂商的其他类型自动设备来实现本发明。或者，自动设备可以是并行操纵器，特别是所谓W^ewart平台。在优选的实施例中，本申请额外地向操作员提供其他类型的反馈(例如，视觉反馈、声反馈和/或触觉反馈)，以进一步增强操作员的环境感知。对于向操作员提供视觉反馈，有不同的选择。在本发明的一个实施例中，虚拟场景是基于远程控制机器的前庭数据来计算的。随后，将虚拟场景显示给操作员。在本发明的另一个实施例中，远程控制机器(例如，UAV)包括用于从远程控制机器的视角来拍摄照片的机载相机。随后，这些图像经由通信链路发送到远程控制单元，在远程控制单元处，将这些图像显示给操作员。前面已经提到，优选地，远程控制机器和远程控制单元之间有通信链路。这个通信链路优选的是无线链路(例如，无线电通信链路、红外远程控制链路或超声远程控制链路)。但是，远程控制机器和远程控制单元之间的通信链路也可以是有线通信链路。举例而言，远程控制机器和远程控制单元可以通过光学纤维或电力电缆来互连。此外，已经提到，优选地，前庭数据包括远程控制机器的姿态，特别是远程控制机器的俯仰角、翻转角、偏航角和/或线性坐标。进一步，前庭数据可以包括远程控制机器的速度，特别是远程控制机器的俯仰角、翻转角和/或偏航角的时间变化。此外，前庭数据包括远程控制机器的加速度(特别是远程控制机器的俯仰角、翻转角和/或偏航角的加速度) 是可能的。换句话说，前庭数据优选地包括远程控制机器的所有运动数据，这些数据对于重现几乎相同的操作员运动而言是必要的。在本发明的一个优选的实施例中，远程控制机器是无人机(UAV)，这已经在上文中提到。但是，远程控制机器是无人地面车辆(UGV)，特别是无人地面战斗车辆(UGCV)也是可能的。本发明的进一步应用包括对远程操作的水下运载工具或无人宇宙飞船进行远程控制。此外，本发明在医学技术领域中对所谓的纳米机器人进行导航以使其通过动物体而言可能是有用的。在本发明的优选实施例中，在基于经过滤的前庭数据来确定前庭反馈之前，对前庭数据进行过滤，其中，前庭数据的过滤确保了提供给操作员的前庭反馈符合安全限制和/ 或机械限制。举例而言，如果远程控制的UAV与另一个飞行物或地面碰撞，则不期望在前庭反馈中重现该UAV的坠毁，这是因为前庭反馈设备(例如，自动设备)和操作员将会由于坠毁的重现而机械性地过度紧张。进一步需要注意的是，本发明不限于前面所提到的新颖的遥操作方法。本发明还包括用于在前面提到的遥操作方法中使用的相应的人机界面(HRI)。这个新颖的人机界面的特征在于其向操作员提供前庭反馈以增强操作员的环境感知，其中，前庭反馈表示远程控制机器的真实运动。在本发明的优选实施例中，人机界面包括用于从远程控制物接收前庭数据的接收机，其中，前庭数据是由上面所提到的机载传感器来确定的。进一步，优选地，人机界面包括用于基于经由通信链路从远程控制机器接收的前庭数据来确定适当的前庭反馈的控制器。此外，根据本发明的人机界面优选地包括用于向操作员提供前庭反馈的前庭反馈设备。优选地，前庭反馈设备是自动设备(例如，串行操纵器或并行操纵器)。前面提到的用作前庭反馈设备的自动设备承载操作员，使得自动设备可以重现远程控制机器的真实运动。优选地，自动设备还承载视觉反馈设备(特别是显示屏或投影系统)以向操作员提供视觉反馈，其中，视觉反馈的产生已经在上文中进行了描述。为了进一步增强操作员的环境感知，优选地，自动设备还承载向操作员提供声反馈的声反馈设备以及向操作员提供触觉反馈的触觉反馈设备。操作员可以坐在自动设备承载的座位上，其中， 操作员可以操作用于产生运动命令的控制杆或类似的控制设备，这些运动命令被发送到远程控制机器以用于控制远程控制机器的真实运动。前面提到的系统可以用于训练运载工具(特别是飞机或宇宙飞船)的驾驶员。但是，本发明不限于说明书中所公开的应用。参考附图进行考虑，根据以下详细描述，本发明以及其特定的特征和优点将变得更为清楚。
图1是示出了包括通过无线通信链路互连的远程控制机器和远程控制单元的遥操作系统的示图，其中，远程控制单元向操作员提供前庭反馈，由此增强操作员的环境感知。图2是与图1类似的遥操作系统的替代实施例，其中，提供前庭反馈所需要的前庭数据是由固定的运动跟踪系统来测量的。图3示出了承载操作员的多轴串行自动设备的透视图，使得自动设备向操作员提供前庭反馈。
具体实施方式
图1示出了用于通过远程控制单元2来对无人机(UAV) 1进行远程控制的人机界面(HRI)的原理图，其中，无人机1和远程控制单元2是通过无线电通信链路3互连的。远程控制单元2包括输入设备4 (例如，控制杆、踏板)。操作员5 (参见图3)操作输入设备4，由此产生限定无人机1的所期望运动的运动命令。经由远程控制单元2的收发机7和天线8、无线电通信链路3和无人机1中的天线 9将运动命令发送到无人机1中的接收机6。接收机6将运动命令转发到飞行控制器10，飞行控制器10相应地控制若干个执行机构11，其中，执行机构11根据从远程控制单元2接收的运动命令来调整例如无人机1的方向舵。此外，无人机1包括若干个用于测量飞行数据(例如，姿态、空速)的若干个机载传感器12。这些飞行数据被提供到飞行控制器10，飞行控制器10在控制执行机构11时考虑这些飞行数据。此外，无人机1包括用于测量无人机1的前庭数据(例如，无人机1的俯仰角、翻转角、偏航角)的机载前庭传感器13。由机载前庭传感器13测量的前庭数据还被提供给飞行控制器10，飞行控制器10在控制执行机构11时考虑该前庭数据。此外，由传感器12测量的飞行数据和由前庭传感器13测量的前庭数据被提供给收发机14，收发机14将这些飞行数据(包含前庭数据)经由无线电通信链路3发送到远程控制单元2中的接收机15。前庭数据经由过滤器17被提供到控制器16，其中，过滤器17确保前庭数据不会导致违反安全限制和机械限制的前庭反馈。其他飞行数据被直接提供给控制器16。控制器16控制如图3所示的多轴串行自动设备18，其中，自动设备18承载操作员 5，使得自动设备18可以向操作员5提供前庭反馈。因此，控制器16以这样的方式来控制自动设备18 向操作员5施加与无人机1的真实运动(如由前庭传感器13测量的前庭数据所表示的)大体上相同的运动。因此，在无人机1的远程控制期间，自动设备18提供给操作员5的前庭反馈显著地改善了操作员5的环境感知。此外，控制器16以传统方式控制力反馈设备19和声反馈设备220，以在无人机1 的远程控制期间进一步增强操作员5的环境感知。此外，远程控制单元2包括视觉反馈设备21，视觉反馈设备21也由控制器16控制并且由自动设备18承载。在无人机1的远程控制期间，视觉反馈设备1向操作员5提供视觉反馈。在本发明的一个实施例中，由视觉反馈设备21提供的视觉反馈是由无人机1中的机载相机产生的图像流。在本发明的另一实施例中，由视觉反馈设备21提供给操作员5的视觉反馈是由控制器16基于由无人机1中的机载前庭传感器13测量的前庭数据来计算的虚拟场景。图2示出了与根据图1的实施例类似的替代实施例，使得参考上文的描述，其中， 对于相应的部件和细节，使用相同的附图标记。这个实施例的一个典型特征是表示无人机1的真实运动的前庭数据不是由机载前庭传感器13测量的，而是由与远程控制单元2相关联的运动跟踪系统22测量的。最后，图3示出了向操作员5提供前庭反馈的多轴自动设备18的原理图。
自动设备18包括固定的自动设备底座23和通过接合部连接的若干个自动设备连杆M、25和沈，其中，远端连杆沈承载自动设备腕部27，自动设备腕部27上安装了平台观。平台观承载具有操作员5的座位四，其中，操作员5可以操作控制杆形式的输入设备 4。此外，视频屏幕形式的视觉反馈设备21被布置在操作员5的视场中，使得操作员5观看视觉反馈设备21提供的视觉反馈。虽然，参考部件、特征等的特定布置来对本发明进行了描述，但是这些描述并非旨在穷尽所有可能的特征安排，并且对本领域的技术人员而言，很多其他的修改以及变形是
可以确定的。
附图标记列表
1无人机
2远程控制单元
3无线电通信链路
4输入设备
5操作员
6接收机
7收发机
8天线
9天线
10飞行控制器
11执行机构
12传感器
13前庭传感器
14收发机
15接收机
16控制器
17过滤器
18自动设备
19力反馈设备
20声反馈设备
21视觉反馈设备
22运动跟踪系统
23自动设备底座
24连杆
25连杆
26连杆
27自动设备腕部
28平台
29座位
权利要求
1.一种用于使用远程控制单元⑵由人工操作员(5)来对机器⑴进行远程控制的遥操作方法，特别是用于对无人机进行远程控制的遥操作方法，其特征在于向所述操作员(5)提供前庭反馈以增强所述操作员(5)的环境感知，其中，所述前庭反馈表示所述远程控制机器(1)的真实运动。
2.根据权利要求1所述的遥操作方法，包括以下步骤a)确定表示所述远程控制机器(1)的所述运动的前庭数据，b)基于所述远程控制机器(1)的所述前庭数据来确定所述前庭反馈，c)向所述操作员( 施加与所述远程控制机器(1)的所述运动相对应的运动，其中，所述操作员( 的所述运动提供所述前庭反馈并且是根据所述远程控制机器(1)的所述前庭数据来产生的。
3.根据权利要求2所述的遥操作方法，进一步包括以下步骤以用于确定所述前庭数据a)由所述远程控制机器(1)的机载传感器(1 测量所述前庭数据，以及b)将所测量的前庭数据从所述远程控制机器(1)发送到所述远程控制单元O)，以向所述操作员(5)提供所述相应的前庭反馈。
4.根据权利要求3所述的遥操作方法，其中，所述机载传感器(1 是从由以下所组成的组中选择的a)陀螺仪，b)加速计。
5.根据权利要求2所述的遥操作方法，进一步包括以下步骤以确定所述前庭数据由运动跟踪系统0 远程测量所述远程控制机器(1)的所述前庭数据，使得不需要将所述前庭数据从所述远程控制机器(1)发送到所述远程控制单元(2)。
6.根据上述任意权利要求所述的遥操作方法，其中，所述前庭反馈是由承载所述操作员(5)的自动设备(18)提供给所述操作员(5)的。
7.根据权利要求6所述的遥操作方法，其中，所述自动设备(18)是a)多轴串行操纵器，其包括通过接合部连接的若干个连杆，或者b)并行操纵器，特别是Mewart平台。
8.根据上述任一权利要求所述的遥操作方法，包括以下步骤向所述操作员(5)提供视觉反馈，其中，所述视觉反馈表示所述远程控制机器(1)的所述运动。
9.根据权利要求8所述的遥操作方法，包括以下步骤以用于向所述操作员(5)提供视觉反馈a)基于所述前庭数据来计算虚拟场景，以及b)向所述操作员( 显示所述虚拟场景。
10.根据权利要求8所述的遥操作方法，包括以下步骤以用于向所述操作员(5)提供所述视觉反馈a)利用机载相机从所述远程控制机器(1)的视角产生图像，b)将所述图像从所述远程控制机器(1)发送到所述控制单元，c)将所述图像显示给所述操作员(5)。
11.根据上述任一权利要求所述的遥操作方法，其中，所述前庭数据包括以下数据a)所述远程控制机器(1)的姿态，特别是所述远程控制机器(1)的俯仰角、翻转角和/ 或偏航角，b)所述远程控制机器(1)的速度，特别是所述远程控制机器(1)的所述俯仰角、所述翻转角和/或所述偏航角的时间变化，c)所述远程控制机器(1)的加速度，特别是所述远程控制机器(1)的所述俯仰角、所述翻转角、所述偏航角和/或所述线性坐标的加速度。
12.根据上述任一权利要求所述的遥操作方法，其中，所述远程控制机器(1)是从由以下所组成的组中选择的a)无人机，b)无人地面车辆，特别是无人地面战斗车辆，c)水下运载工具，d)适于移动经过动物体的纳米机器人，e)宇宙飞船。
13.根据上述任一权利要求所述的遥操作方法，进一步包括以下步骤a)对所述前庭数据进行过滤；b)基于经过滤的前庭数据来确定所述前庭反馈，其中，所述前庭数据的所述过滤确保所述前庭反馈符合承载所述操作员(5)的自动设备(18)的安全限制和/或机械限制。
14.根据上述任一权利要求所述的遥操作方法，其中，将多重传感反馈提供给所述操作员(5)，除了所述前庭反馈之外，所述多重传感反馈包括以下类型的反馈a)视觉反馈，其中，所述视觉反馈优选地表示所述远程控制机器(1)的视角，b)声反馈，和/或c)触觉反馈和/或力反馈。
15.一种用于使用远程控制单元(2)由人工操作员(5)来对远程控制机器⑴进行远程控制的人机界面，特别是用于对无人机进行远程控制的人机界面，其特征在于所述人机界面向所述操作员(5)提供前庭反馈以增强所述操作员(5)的环境感知，其中，所述前庭反馈表示所述远程控制机器(1)的运动。
16.根据权利要求15所述的人机界面，包括a)用于从所述远程控制机器(1)接收前庭数据的接收机(15)，其中，所述前庭数据是由机载传感器(1 来确定的，b)用于基于从所述远程控制机器(1)接收的所述前庭数据来确定所述前庭反馈的控制器(16)，c)用于向所述操作员(5)提供所述前庭反馈的前庭反馈设备(18)。
17.根据权利要求15或16所述的人机界面，包括用于向所述操作员(5)提供所述前庭反馈的自动设备(18)，其中，所述自动设备(18)承载所述操作员(5)。
18.根据权利要求17所述的人机界面，其中所述自动设备(18)是a)串行操纵器，其包括通过接合部连接的若干个连杆，或者b)并行操纵器，特别是Mewart平台。
19.根据权利要求17或18所述的人机界面，其中，所述自动设备(18)承载以下组件中的至少一个a)视觉反馈设备(21)，特别是显示屏或投影系统，其用于向所述操作员(5)提供视觉反馈，b)声反馈设备(20)，其用于向所述操作员(5)提供声反馈，c)触觉反馈设备(19)和/或力反馈设备，其用于向所述操作员(5)提供触觉反馈，d)用于所述操作员(5)的座位，e)输入设备G)，特别是控制杆，其用于对所述远程控制机器(1)的所述运动进行控制。
20.根据权利要求15-19中任一项所述的人机界面，包括所述远程控制机器(1)和所述远程控制单元( 之间的无线链路(3)，所述无线链路( 用于将所述前庭数据从所述远程控制机器(1)发送到所述远程控制单元( 并且用于将运动命令从所述远程控制单元(2) 发送到所述远程控制机器(1)。
21.根据权利要求15-20中任一项所述的人机界面，其中，所述远程控制机器(1)是从由以下所组成的组中选择的a)无人机，b)无人地面车辆，特别是无人地面战斗车辆，c)水下运载工具，d)适于移动经过动物体的纳米机器人，e)宇宙飞船。
22.为了以下目的之一而使用根据权利要求14-20中任一项所述的人机界面a)训练运载工具的驾驶员，特别是飞机或宇宙飞船的驾驶员，b)无人运载工具的远程控制，特别是无人机、无人地面车辆或无人水下运载工具的远程控制，c)无人机群的远程控制，d)对纳米机器人进行导航以使其通过动物体，特别是通过血管。
全文摘要
本发明涉及用于使用远程控制单元由人工操作员(5)来对机器进行远程控制的遥操作方法和人机界面，特别是对无人驾驶飞机进行远程控制的遥操作方法和人机界面，其中，将前庭反馈提供给操作员(5)以增强操作员(5)的环境感知，其中，前庭反馈表示远程控制机器的真实运动。
文档编号G09B9/02GK102356417SQ200980158119
公开日2012年2月15日 申请日期2009年3月17日 优先权日2009年3月17日
发明者H·H·比尔特霍夫, P·R·焦尔达诺 申请人:马克思-普朗克科学促进协会