基于虚拟现实的机器人远程示教系统的制作方法

本发明涉及机器人控制技术领域，具体涉及一种基于虚拟现实的机器人远程示教系统。

背景技术：

随着机器人技术的不断发展，机器人已经在人类社会的工业生产领域当中扮演着举足轻重的角色。但现如今，机器人还未具有像人一样的智能自主工作于诸如海底探测、矿物开采、有毒物质处理等环境复杂的场所。因此针对于环境复杂的应用领域，对机器人进行远程示教控制显得尤为重要。相比于操作人员身临机器人作业现场完成对机器人的示教操作，远程对机器人示教控制，由于不能及时获得机器人在作业现场的状态信息，及作业现场的环境信息，急剧增加了示教操作任务的难度。因此，如何便捷地实现机器人的远程示教操作，使机器人以高适应性工作于环境复杂的应用场所已成为急需解决的问题。

技术实现要素：

为了解决现有技术中的上述问题，即为了解决如何高效的实现对机器人进行远程示教的目标，以及提高机器人工作中对复杂环境的适应能力，本发明提供了一种基于虚拟现实的机器人远程示教系统。

本发明提供的一种基于虚拟现实的机器人远程示教系统的技术方案是：

所述基于虚拟现实的机器人远程示教系统包括云端服务器、近端设备和远端设备；

所述近端设备包括第一图像采集模块、示教控制手柄和头戴式显示器；所述第一图像采集模块，用于采集所述示教控制手柄和头戴式显示器的图像信息，并将所采集的图像信息发送至云端服务器；所述示教控制手柄，用于产生机器人执行预设任务的示教动作；所述头戴式显示器，用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像；

所述远端设备包括第二图像采集模块和机器人；所述第二图像采集模块，用于采集所述机器人及其作业现场的图像信息，并将所采集的图像信息发送至云端服务器；所述机器人，用于依据云端服务器下发的所述近端设备中示教控制手柄的位姿数据执行预设任务。

进一步地，本发明提供的一个优选技术方案为：

所述云端服务器包括：

位姿解算模块，配置为依据近端设备中第一图像采集模块所采集的图像信息，获取示教控制手柄的位姿数据和头戴式显示器的姿态角数据；

数据处理模块，配置为对位姿解算模块所获取的位姿数据和姿态角数据进行滤波处理，并将滤波后的位姿数据发送至机器人；

三维重建模块，配置为依据远端设备中第二图像采集模块所采集的图像信息，构建机器人及其作业现场的三维空间场景图像。

进一步地，本发明提供的一个优选技术方案为：

所述云端服务器还包括示教操作方式切换模块；

所述示教操作方式切换模块，配置为依据预设任务的难易程度切换对机器人进行示教控制的示教操作方式；当预设任务为简单任务时采用普通示教操作方式对机器人进行示教控制，当预设任务为复杂任务时采用学习示教操作方式对机器人进行示教控制；

其中：

所述普通示教操作方式为控制所述示教控制手柄进行一次空间运动，并将所形成的示教轨迹作为机器人执行预设任务的运动轨迹；

所述学习示教操作方式为控制所述示教控制手柄进行多次空间运动，依据所形成的多个示教轨迹并采用深度强化学习算法，确定执行预设任务的最优动作。

进一步地，本发明提供的一个优选技术方案为：

所述云端服务器还包括模拟仿真模块；所述模拟仿真模块，配置为执行学习示教操作，所述学习示教操作包含下述过程：

设定深度强化学习算法的动作、状态和奖赏参数；

构建深度卷积神经网络；

采用模拟仿真模块对深度卷积神经网络进行学习训练，并在学习训练一定时间间隔后，通过所述模拟仿真模块对所述学习训练后的神经网络进行验证，获取执行示教任务的成功率，当所述成功率大于或等于阈值时结束学习训练过程；

依据所采集的机器人作业现场的图像信息和所述学习训练后的深度卷积神经网络，确定执行预设任务的最优动作；

其中：

所述动作为控制机器人从当前空间位置移动到以该当前空间位置为中心的单位长度立方体空间的顶点或侧面中心处的运动指令，且所有动作构成动作集；所述状态为远端设备中第二图像采集模块所采集的包含机器人在内的作业现场的图像信息；所述奖赏参数为各状态对应的奖赏值；

所述的模拟仿真模块包括仿真模拟器；所述仿真模拟器，配置为学习示教操作，学习示教前，在仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件；学习示教过程中采用仿真模拟器代替真实机器人及其作业现场对深度卷积神经网络进行学习训练。

进一步地，本发明提供的一个优选技术方案为：

所述模拟仿真模块，还配置为在确定执行预设任务的最优动作之前执行下述操作：

依据安装于机器人手臂末端的彩色深度相机，判断机器人的运动轨迹上是否存在障碍物：

当机器人的运动轨迹上存在障碍物时，依据所述障碍物的空间位置，将可使机器人从当前位置移动到障碍物的动作从动作集中删除，再从剩余动作集中选取执行预设任务的最优动作。

进一步地，本发明提供的一个优选技术方案为：

所述动作集包括多个动作，且各动作所对应的机器人移动后的空间位置呈对称分布；

所述奖赏参数包括第一参数、第二参数和第三参数；所述第一参数为学习示教过程中出现的各状态对应的奖赏值，该奖赏值为m，m>0；所述第二参数为学习示教过程中机器人的目标位置所对应状态的奖赏值，该奖赏值为n，n>m；所述第三参数为学习示教过程中未出现状态对应的奖赏值，该奖赏值为k，k＜0。

进一步地，本发明提供的一个优选技术方案为：

所述系统的头戴式显示器，还用于显示所述模拟仿真模块中仿真模拟器场景及机器人的工作状态信息；

所述示教控制手柄与头戴式显示器通信连接；

所述示教控制手柄，还用于切换所述头戴式显示器所显示的图像。

进一步地，本发明提供的一个优选技术方案为：

所述云端服务器的三维重建模块还包括视角切换单元；

所述视角切换单元，配置为依据头戴式显示器的姿态角数据，实时调节三维空间场景图像的观察视角；所述调节后的观察视角如下式所示：

dview＝(uv0+uh-uh0,vv0+vh-vh0,wv0+wh-wh0)

其中，(uv0,vv0,wv0)为在空间笛卡尔坐标系下头戴式显示器转动前三维空间场景图像观察视角，(uh0,vh0,wh0)为在空间笛卡尔坐标系下头戴式显示器转动前的姿态角，(uh,vh,wh)为在空间笛卡尔坐标系下头戴式显示器转动后的姿态角。

进一步地，本发明提供的一个优选技术方案为：

所述第一图像采集模块包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布；

所述第二图像采集模块包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布。

进一步地，本发明提供的一个优选技术方案为：

所述系统包括一个或多个示教控制手柄。

与现有技术相比，上述技术方案至少具备以下有益效果：

本发明提供的一种基于虚拟现实的机器人远程示教系统，通过构建机器人及其现场作业环境的三维空间场景图像，并对机器人的动作进行仿真，从而可以实现在虚拟环境下对机器人进行远程示教控制。具体地，近端设备可以采集示教操作人员的示教控制手柄和头戴式显示器的图像，远端设备可以采集机器人及其作业现场的图像，云端服务器依据近端设备采集图像可以得到示教控制手柄和头戴式显示器的位姿数据，依据远端设备采集图像可以构建机器人及其作业现场的三维空间场景图像，并将其传递到头戴式显示器，使得示教操作人员可以依据该三维空间场景图像对机器人进行逼真度较高的远程示教。同时，将机器人的示教操作分为普通示教操作与学习示教操作两种方案，其中普通示教操作通过单次示教操作便可完成，适用于机器人工作任务简单、工作环境变动不大的情况，学习示教操作需通过多次示教操作，适用于机器人工作于环境复杂多变的场所，提高了机器人对复杂环境的适应能力。

附图说明

图1是本发明实施例中一种基于虚拟现实的机器人远程示教系统的结构示意图；

图2是本发明实施例中另一种基于虚拟现实的机器人远程示教系统的结构示意图；

图3是本发明实施例中云端服务器示意图；

图4是本发明实施例中示教学习动作集示意图；

其中，10：近端设备；11：第一图像采集模块；111：彩色深度相机；12：示教控制手柄；121：左手示教控制手柄；122：右手示教控制手柄；13：头戴式显示器；20：远端设备；21：第二图像采集模块；211：彩色深度相机；22：机器人；30：云端服务器；31：位姿解算模块；32：数据处理模块；33：模拟仿真模块；34：三维重建模块；35：示教操作方式切换模块。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

目前，机器人远程示教方法受机器人及其现场作业环境存在的未知因素的限制，不能高效地对机器人进行远程示教。基于此，本发明提供了一种基于虚拟现实的机器人远程示教系统，该系统通过构建机器人及其现场作业环境的三维空间场景图像，从而可以实现在虚拟环境下对机器人进行远程示教控制。同时，该系统还可以对机器人进行学习示教操作，使得机器人处于环境复杂多变的作业场所时也可以准确地完成示教动作，提高了机器人对环境的适应能力。

下面结合附图，对本发明实施例提供的基于虚拟现实的机器人远程示教系统进行说明。

图1示例性示出了本实施例中一种基于虚拟现实的机器人远程示教系统的结构，如图所示，本实施例中基于虚拟现实的机器人远程示教系统可以包括近端设备10、远端设备20和云端服务器30。

具体地，本实施例中近端设备10可以包括第一图像采集模块11、示教控制手柄12和头戴式显示器13。其中，第一图像采集模块11可以用于采集示教控制手柄12和头戴式显示器13的图像信息，并将采集到的图像信息发送至云端服务器30。示教控制手柄12可以用于产生机器人执行预设任务的示教动作。头戴式显示器13可以用于显示云端服务器依据远端设备发送的图像信息构建的机器人及其作业现场的三维空间场景图像。

其中：

本实施例中第一图像采集模块可以包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布。该彩色深度相机可以采集示教控制手柄12和头戴式显示器13的图像信息。

本实施例中基于虚拟现实的机器人远程示教系统可以包括一个或多个示教控制手柄12，示教控制手柄12通过在空间运动产生机器人执行预设任务的示教轨迹，机器人同步跟踪该示教轨迹，实现远程示教。例如，示教控制的是单臂机器人，可选择某一示教控制手柄完成示教操作，若示教控制多臂机器人或多台单臂机器人协同完成某一项工作任务时，则可同时采用多个示教控制手柄，分别对应不同机器人手臂协同完成相应的示教控制任务。

本实施例中可以通过头戴式显示器13观察机器人及其作业现场的三维空间场景图像，并通过示教控制手柄12产生机器人执行预设任务的示教轨迹，实现对机器人进行远程示教控制。

进一步地，本实施例中远端设备20可以包括第二图像采集模块21和机器人22。其中，第二图像采集模块21可以包括至少三个彩色深度相机，且各彩色深度相机在空间位置呈对称分布，该第二图像采集模块21可以用于采集机器人22及其作业现场的图像信息，并将采集到的图像信息发送至云端服务器30，云端服务器30可以依据第二图像采集模块21发送的图像信息构建机器人22及其作业现场的三维空间场景图像。机器人22可以用于依据云端服务器30下发的近端设备10中示教控制手柄12的位姿数据，执行预设任务。

其中：

本实施例中示教控制手柄的位姿数据包括在预设坐标系下示教控制手柄12的位置数据和姿态角数据。例如，示教控制手柄的位姿数据包括在笛卡尔坐标系下的位置数据和姿态角数据。

本实施例中机器人可以包括控制器和末端执行器。其中，控制器可以配置为依据云端服务器下发的示教控制手柄的位姿数据变化量，控制末端执行器动作。

例如：机器人末端执行器的初始位姿数据为(xr0,yr0,zr0；ur0,vr0,wr0)，示教控制手柄的初始位姿数据为(xc0,yc0,zc0；uc0,vc0,wc0)，当前时刻示教控制手柄的位姿数据为(xc,yc,zc；uc,vc,wc)，可以得到示教控制手柄的位姿数据变化量为(δxc,δyc,δzc；δuc,δvc,δwc)，控制器依据该位姿数据变化量控制末端执行器运动，运动后的位姿数据为(xr0+δxc，yr0+δyc，zr0+δzc；ur0+δuc，vr0+δvc，wr0+δwc)。

上述实施方案中各参数含义为：

(xr0,yr0,zr0)和(ur0,vr0,wr0)分别为空间笛卡尔坐标系下三个方向机器人末端执行器的初始位置和初始姿态角。(xc0,yc0,zc0)和(uc0,vc0,wc0)分别为空间笛卡尔坐标系下三个方向示教控制手柄的初始位置和初始姿态角。(xc,yc,zc)和(uc,vc,wc)分别为空间笛卡尔坐标系下三个方向示教控制手柄的当前时刻位置和当前时刻姿态角。(δxc,δyc,δzc)和(δuc,δvc,δwc)分别为空间笛卡尔坐标系下三个方向示教控制手柄的位置变化量和姿态角变化量。其中，δxc＝xc-xc0,δyc＝yc-yc0,δzc＝zc-zc0,δuc＝uc-uc0,δvc＝vc-vc0,δwc＝wc-wc0。(xr0+δxc,yr0+δyc,zr0+δzc)和(ur0+δuc,vr0+δvc,wr0+δwc)分别为空间笛卡尔坐标系下三个方向机器人末端执行器的位置和姿态角。

进一步地，本实施例中云端服务器可以包括下述结构，具体为：

图3示例性示出了本实施例中云端服务器结构，如图所示，本实施例中云端服务器30可以包括位姿解算模块31、数据处理模块32、三维重建模块34、模拟仿真模块33和示教操作方式切换模块35。

其中：

本实施例中位姿解算模块31可以配置为依据近端设备10中第一图像采集模块11所采集的图像信息，获取示教控制手柄12的位姿数据和头戴式显示器13的姿态角数据。

本实施例中数据处理模块32可以配置为对位姿解算模块31所获取的位姿数据进行滤波处理，并将滤波后的位姿数据发送至机器人22。本实施例中通过数据处理模块32对位姿数据进行滤波处理，可以降低噪声数据的干扰。同时，机器人22的控制器在接收到数据处理模块32发送的位姿数据后，可以控制机器人22的末端执行器按照所接收的位姿数据跟随示教控制手柄12的示教轨迹动作。

本实施例中三维重建模块34可以配置为依据远端设备20中第二图像采集模块21所采集的图像信息，构建机器人22及其作业现场的三维空间场景图像。进一步地，本实施例中三维重建模块可以包括视角切换单元，该视角切换单元可以配置为依据头戴式显示器的姿态角数据，实时调节三维空间场景图像的观察视角。本实施例中调节后的观察视角如下式(1)所示：

dview＝(uv0+uh-uh0,vv0+vh-vh0,wv0+wh-wh0)(1)

公式(1)中各参数含义为：

(uv0,vv0,wv0)为在空间笛卡尔坐标系下头戴式显示器转动前三维空间场景图像观察视角，(uh0,vh0,wh0)为在空间笛卡尔坐标系下头戴式显示器转动前的姿态角，(uh,vh,wh)为在空间笛卡尔坐标系下头戴式显示器转动后的姿态角。

本实施例中示教操作方式切换模块35可以配置为依据预设任务的难易程度切换对机器人进行示教控制的示教操作方式。具体地，当预设任务为简单任务时采用普通示教操作方式对机器人进行示教控制，当预设任务为复杂任务时采用学习示教操作方式对机器人进行示教控制。

本实施例中普通示教操作方式为控制示教控制手柄12进行一次空间运动，并将所形成的示教轨迹作为机器人22执行预设任务的运动轨迹。学习示教操作方式为控制示教控制手柄12进行多次空间运动，依据所形成的多个示教轨迹并采用深度强化学习算法，确定执行预设任务的最优动作。

本实施例中模拟仿真模块，该模拟仿真模块可以配置为执行学习示教操作。进一步地，为了保证机器人在环境复杂的作业现场可以高效准确的完成示教操作任务，本实施例中学习示教操作包含以下步骤：

步骤1：设定深度强化学习算法的动作、状态及奖赏参数。

本实施例中动作为控制机器人从当前空间位置移动到以该当前空间位置为中心的单位长度立方体空间的顶点或侧面中心处的运动指令，且所有动作构成动作集。状态为远端设备中第二图像采集模块所采集的包含机器人在内的作业现场的图像信息，该图像信息包括彩色图片和深度图片，不同时刻的状态对应于不同时刻彩色深度相机所采集的图片。奖赏参数为各状态对应的奖赏值。在本实施例的一个优选实施方案中：动作集中各动作对应机器人从当前位置移动后所到达的空间位置呈对称分布。奖赏参数可以包括第一参数、第二参数和第三参数。其中，第一参数为学习示教过程中所出现各状态对应的奖赏值，该奖赏值为m，m>0；第二参数为学习示教过程中机器人的目标空间位置对应状态的奖赏值，该奖赏值为n，n>m；第三参数为学习示教过程中机器人未出现状态对应的奖赏值，该奖赏值为k，k<0。

步骤2：构建深度卷积神经网络，神经网络的输入为数目至少为连续2组的彩色图片与深度图片，输出为与动作集中每种动作对应的状态动作值。

步骤3：学习训练，采用云端服务器中模拟仿真模块对深度卷积神经网络进行学习训练，并在学习训练一定时间间隔后，通过模拟仿真模块对学习训练后的神经网络进行验证，获取执行示教任务的成功率，当成功率大于或等于阈值时结束学习训练过程。

在本实施例的一个优选实施方案中，模拟仿真模块还可以包括仿真模拟器。该仿真模拟器可以配置为学习示教操作，具体地：学习示教前，在仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件；学习示教过程中采用仿真模拟器代替真实机器人及其作业现场对深度卷积神经网络进行学习训练。

步骤4：示教学习再现，将实时采集的机器人作业现场的图像信息输入到训练后的深度卷积神经网络，得到当前状态下执行预设任务的最优动作。

在本实施例的一个优选实施方案中，可以按照下述步骤对机器人进行学习示教控制：

步骤s101：依据深度强化学习算法设定对机器人进行学习示教操作的各项参数，包括动作集a、状态s和奖赏参数r。在本实施例的一个优选实施方案中，动作集a所包含动作的类型数量为14，设定示教过程中出现的各状态对应的奖赏参数r＝0.1，示教轨迹的目标位置所对应状态的奖赏参数为r＝10，示教过程中未出现状态对应奖赏参数为r＝-0.1。

图4示例性示出了本实施例中示教学习动作集，如图所示，本实施例中a1～a14分别表示将机器人从空间当前位置移动到以该位置为中心的单位长度为0.001m的立方体8个顶点和6个侧面中心处的动作。

步骤s102：构建深度卷积神经网络。

本实施例中可以采用常规的深度卷积神经网络构建方法进行深度卷积神经网络构建。具体地，深度卷积神经网络可以包括多个卷积层和多个全连接层。深度卷积神经网络的输入数据为连续的数目至少为2组的彩色图像与深度图像，输出为动作集a中不同动作对应的状态动作值。

本实施例提供的一个优选实施方案中深度卷积神经网络包括三个卷积层和两个全连接层，彩色深度相机所采集的图像像素尺寸为640×480。下面对深度卷积神经网络中输入层、卷积层、全连接层和输出层分别进行说明，具体为：

本实施例中输入层包括为连续的三张像素尺寸为640×480的灰度图像。第一卷积层：对输入层采用像素尺寸大小为8×8的3×32个卷积核，以滑动步长为5做卷积运算，加权求和后并经非线性函数relu变换，可以得到第一隐藏层，即第一卷积层。第二卷积层：对第一隐藏层采用像素尺寸大小为5×5的32×64个卷积核，以滑动步长为2做卷积运算，加权求和后并经非线性函数relu变换，可以得到第二隐藏层，即第二卷积层。第三卷积层：对第二隐藏层采用像素尺寸大小为2×2的64×32个卷积核，以滑动步长为1做卷积，加权求和后经非线性函数relu变换，可以得到第三隐藏层，即第三卷积层。第一全连接层的神经元与第三卷积层的神经元以全连接形式连接。第二全连接层也为输出层，该层的神经元的数量与动作a的类型数量相同，且该层的神经元与第一全连接层的神经元以全连接形式连接，每个神经元输出为不同动作a对应的状态动作值，并将最大状态动作值所对应的动作a作为当前时刻机器人应执行的最优动作。

步骤s103：在云端服务器模拟仿真模块中的仿真模拟器中依次添加与真实机器人及其作业现场环境布置等同的虚拟机器人，虚拟彩色深度相机，及虚拟物件。将仿真模拟器中虚拟彩色深度相机实时采集的连续的3组仿真模拟器深度图像与彩色图像输入到神经网络，并结合示教动作信息所提供的奖赏值，对神经网络进行训练。同时，在学习训练一定时间间隔后，通过模拟仿真模块对学习训练后的神经网络进行验证，获得执行示教任务的成功率，当成功率大于或等于阈值时结束学习训练过程。

步骤s104：示教学习再现。将实时采集的与仿真模拟器中仿真画面方位等同的真实机器人及其作业现场的图像信息输入到训练后的深度卷积神经网络，得到当前状态下机器人执行预设任务的最优动作。

进一步地，在步骤s104中确定执行预设任务的最优动作之前还可以执行下述操作：依据安装于机器人手臂末端的彩色深度相机，判断机器人的运动轨迹上是否存在障碍物，当机器人的运动轨迹上存在障碍物时，依据障碍物的空间位置，将可使机器人从当前位置移动到障碍物的动作从动作集中删除，再从剩余动作集中选取执行预设任务的最优动作。

本实施例提供的一个优选实施方案中，近端设备的头戴式显示器还可以显示模拟仿真模块中仿真模拟器场景及机器人的工作状态信息。其中，机器人的工作状态信息可以包括机器人末端执行器的空间位置、机器人各关节的角度值、机器人各关节的电机电流、电机电压、电机温度等信息。

本实施例中示教控制手柄与头戴式显示器通信连接，可以用于切换头戴式显示器所显示的图像。例如，示教控制手柄可以控制头戴式显示器显示机器人及其作业现场的三维空间场景图像、或显示模拟仿真模块中仿真模拟器场景、或显示机器人的工作状态信息。同时，本实施例中示教控制手柄上还可以设置启停按钮，该启停按钮可以用于启动示教控制手柄以对机器人进行示教控制、或停止示教控制手柄以结束对机器人进行示教控制。

进一步地，本实施例中可以按照下述步骤操作基于虚拟现实的机器人远程示教系统，具体为：

步骤s201：启动机器人远程示教系统，该系统中第一图像采集模块和第二图像采集模块采集相应的图像信息，并将图像信息发送至云端服务器。云端服务器中三维重建模块依据第二图像采集模块所采集的图像信息构建机器人及其作业现场的三维空间场景图像，位姿解算模块为依据第一图像采集模块所采集的图像信息获取示教控制手柄的位姿数据和头戴式显示器的姿态角数据，数据处理模块对位姿解算模块所获取的位姿数据和姿态角数据进行滤波处理，并将滤波后的手柄位姿数据发送至机器人的控制器。

步骤s202：示教操作人员通过头戴式显示器观察机器人及其作业现场的三维空间场景图像，并启动示教控制手柄开始进行示教控制。此时，云端服务器可以分析示教控制手柄的位姿数据，并将位姿数据变化量发送到机器人的控制器，以控制末端执行器执行示教动作。

本实施例中可以依据机器人需要执行的任务的难易程度，判断是否对机器人进行学习示教操作。当不需要进行学习示教操作时，示教操作人员通过示教控制手柄完成一次示教操作，云端服务器即可控制机器人准确地完成示教动作。当需要进行学习示教操作时，示教操作人员通过机器人远程示教系统对机器人进行学习示教操作。

步骤s203：示教操作人员完成示教操作后，停止示教控制手柄以结束对机器人进行示教控制。

步骤s204：机器人对示教过程进行再现，以完成相应地作业任务。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本发明的保护范围之内。

进一步地，本实施例提供一种基于虚拟现实的机器人远程示教系统的优选实施方案，下面结合附图对该系统进行说明

图2示例性示出了本实施例中基于虚拟现实的机器人远程示教系统结构，如图所示，本实施例中基于虚拟现实的机器人远程示教系统包括近端设备、远端设备和云端服务器30。其中，近端设备包括第一图像采集模块、头戴式显示器、左手示教控制手柄121和右手示教控制手柄122，第一图像采集模块包括三个彩色深度相机111。远端设备包括第二图像采集模块和机器人22，第二图像采集模块包括五个彩色深度相机211。

本实施例中近端设备、远端设备和云端服务器与前述基于虚拟现实的机器人远程示教系统实施例所述的近端设备、远端设备和云端服务器的结构、功能相同，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的机器人远程示教的具体工作过程及有关说明，可以参考前述机器人远程示教实施例中的对应过程，在此不再赘述。

本领域技术人员可以理解，上述器人远程示教系统还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于cpld/fpga、dsp、arm处理器、mips处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未在图1和2中示出。

应该理解，图1和2中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。