机器人的遥操作方法、机器人及存储介质与流程

1.本技术涉及机器人遥操作技术领域，尤其涉及一种机器人的遥操作方法、机器人及存储介质。


背景技术：

2.机器人遥操作广泛应用于远程医疗、远程服务、远程抓取、空间探测等领域中，相对于机器人控制，遥操作系统构建了真实可靠的人机交互场景，能够让操作者以自然可控的方式实时操控异地机器人以完成各种任务。然而，当工作空间环境比较复杂而多变时，现有的机器人遥操作技术对机器人控制的精确性、稳定性和安全性仍有待提高。


技术实现要素：

3.本技术实施例的第一方面提供一种机器人的遥操作方法，包括步骤：获取目标物体的图像，并根据所述图像生成所述目标物体的点云；基于所述点云对应的几何特征建立虚拟夹具；所述虚拟夹具包括禁止区域虚拟夹具和/或引导虚拟夹具；确定所述虚拟夹具的参考点和所述机器人的控制点，根据所述参考点和所述控制点的距离确定所述虚拟夹具作用于所述控制点的虚拟力；和基于所述虚拟力确定施加给所述控制点的控制力。
4.在一些实施例中，所述根据所述参考点和所述控制点的距离确定所述虚拟夹具作用于所述控制点的虚拟力包括：当所述距离大于或等于预设值时，所述虚拟力为零；当所述距离小于预设值时，所述参考点与所述控制点的距离越小，所述虚拟力越大。
5.在一些实施例中，所述方法还包括：以参考点为球心确定球形势场，所述球形势场的半径设置为大于或等于相邻球形势场的球心的间距的一半；其中，当所述控制点位于所述球形势场的边缘之外时，所述虚拟力为零。
6.在一些实施例中，所述参考点选自表征所述目标物体中的物体表面的点云点。
7.在一些实施例中，所述方法还包括：基于所述几何特征构建所述参考点，所述参考点的分布对应所述控制点的期望运动路径或期望避障路径。
8.在一些实施例中，所述几何特征包括柱体中轴线、工作台表面、工件边缘或球体中心。
9.在一些实施例中，所述方法还包括：当所述虚拟夹具为禁止区域虚拟夹具，设置所述虚拟力为排斥力，且设置排斥力的方向为背离所述参考点；或者，当所述虚拟夹具为引导虚拟夹具，设置所述虚拟力为吸引力，且设置吸引力的方向为指向所述参考点。
10.在一些实施例中，所述方法还包括：当所述虚拟夹具为引导虚拟夹具，预设以所述参考点为中心的力真空范围；当所述距离小于预设值且所述控制点位于所述力真空范围之外时，所述参考点与所述控制点的距离越小，所述虚拟力越大；当所述控制点位于所述力真空范围之内时，所述虚拟力为零。
11.在一些实施例中，所述获取目标物体的图像包括：利用视觉设备按照预设采样频率实时采集所述目标物体的图像数据和/或深度数据；其中，所述视觉设备安装在所述机器
人的末端执行器或相对所述目标物体的固定装置。
12.在一些实施例中，所述方法还包括：当所述虚拟夹具包括多个参考点，设置所述虚拟力为所述多个参考点对所述控制点产生的虚拟合力。
13.在一些实施例中，所述方法还包括：当所述机器人包括多个控制点，设置所述虚拟力为所述参考点对各控制点产生的虚拟合力。
14.在一些实施例中，在所述根据所述参考点和所述控制点的距离确定所述虚拟夹具作用于所述控制点的虚拟力之前，所述方法还包括：确定包括所有控制点且随所述机器人移动的预设范围；当所述预设范围进入任意参考点的虚拟力作用范围时，基于所述任意参考点作用于所述预设范围内的控制点的虚拟力确定施加给所述控制点的控制力；当任意参考点的虚拟力作用范围位于所述预设范围外时，不计算所述任意参考点作用于所述预设范围内的控制点的虚拟力。
15.在一些实施例中，所述预设范围为球体范围，所述方法还包括：根据所述机器人移动的速度调节所述球体范围的半径，所述机器人移动的速度越快，所述球体范围的半径越大。
16.在一些实施例中，所述球体范围的半径为所述球体范围的运动速度与调节所述球体范围的半径的循环间隔的乘积。
17.在一些实施例中，所述方法还包括：提供主机器人和从机器人；基于所述从机器人的环境中的目标物体建立所述虚拟夹具；基于所述虚拟力调节所述从机器人的驱动装置的力输出；和，基于所述虚拟力向所述主机器人提供触觉反馈。
18.本技术实施例的第二方面提供一种机器人，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意方法的步骤。
19.本技术实施例的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法的步骤。
20.本技术的一个或多个实施例的细节在下面的附图和描述中提出。本技术的其它特征、目的和优点将从说明书、附图以及权利要求书变得明显。
附图说明
21.为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，下面描述中的附图仅仅是本技术的一些实施例，不构成对本技术披露内容和保护范围的限制。
22.图1是本技术的部分实施例提供的机器人的遥操作方法的流程示意图；
23.图2是本技术的一个实施例的虚拟夹具的示意图；
24.图3是本技术的另一个实施例的虚拟夹具的示意图；
25.图4是本技术的一个实施例的两个参考点形成的融合势场的示意图；
26.图5是本技术的另一个实施例的多个参考点形成的墙状势场的示意图；
27.图6是本技术的部分实施例的选取参考点以计算虚拟力的应用场景图；
28.图7是本技术的部分实施例提供的机器人的遥操作方法的流程示意图；
29.图8是本技术的部分实施例提供的机器人的结构示意图；
30.图9是本技术的部分实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
31.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本技术内涵的情况下做类似改进，因此本技术不受下面公开的具体实施例的限制。
32.本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
33.为了方便描述，本说明书将对以下描述将会出现的术语进行如下解释：
34.虚拟夹具(virtual fixture)：又称为虚拟引导或虚拟约束，是一种由机器人控制器实现的算法，用于模拟机器人实际工作环境内的物理夹具。对于禁止区域虚拟夹具来说，当机器人的末端执行器试图跨越该虚拟夹具时，将由虚拟夹具产生反作用力并传递给机器人控制器，其产生的效果就像机器人的末端执行器碰到真正的障碍物，且该反作用力能够限制末端执行器进入该虚拟夹具。对于引导虚拟夹具来说，当机器人的末端执行器试图偏离特定轨迹时，将由虚拟夹具产生反作用力并传递给机器人控制器，其产生的效果就像机器人的末端执行器由于惯性等原因偏离轨迹，且该反作用力能够约束并引导机器人沿着特定轨迹继续运动。这里，虚拟夹具可以是任何形状，通常基于实际环境进行设计，以便较好地适应实际应用。
35.点云(point cloud)：三维平面的数据点的集合，每个数据点包括x、y、z轴的三维坐标信息。当各数据点汇聚一起时，能够用于创建三维地图或模型。例如，如果编译的点云数据取自邻域，则创建的点云能够显示建筑物、树木和电力线的位置，以及其相对于地面的高度。采集的点云数据和点云的密集程度，能够反映环境的细节和特定类型的地形和结构。点云的数据点还可以包括颜色信息或反射强度信息等。
36.机器人遥操作技术可包括若干种实现方式：
37.第一、无力(触觉)反馈的机器人遥操作，该技术对应的机器人遥操作系统包括主设备和从设备，从设备通常可以是机械臂，主设备可以是另一个机械臂或专用设备。在该技术中，从设备会跟随主设备的位置和速度，但从设备不会向主设备提供来自从设备的力反馈。
38.第二、具有力(触觉)反馈的机器人遥操作，该技术在上述技术的基础上还附加从设备的力/扭矩感应能力，并且能够将从设备上感测到的力/扭矩作为反馈信息传输到主设备。该反馈信息能够通过主设备侧的致动系统进行呈现，使操作者能够感受到这种力反馈。
39.第三、基于虚拟夹具的机器人遥操作，该技术在上述技术的基础上还包括预设具有固定形状的虚拟夹具，以辅助操作者执行远程操作任务。
40.发明人发现，上述第一和第二遥操作技术主要依赖于操作者在全手动控制下执行任务，而机器人侧的操作任务已经可以由机器人在无人干预的情况下自主且高效完成，因此该机器人遥操作技术的整体任务效率并没有得到优化。其次，当在网络连接不良或外界干扰情况下进行遥操作时，网络延迟和外界干扰会导致主设备侧的操作者的人为意图与从设备的实际执行情况不匹配，从而对机器人控制的安全性造成影响。例如，在从设备操作易
碎工件或从设备的工作空间非常受限时，可能会造成从设备运行时的安全性、以及整个系统的可靠性难以得到保证。另外，虽然操作者具有智能优势，但缺乏机器人的高精度性，因此，全手动遥操作可能无法满足某些任务的高精度和高质量的要求。
41.上述第三机器人遥操作技术基于虚拟夹具实现人机交互，虽然能够克服上述全手动遥操作中的一些限制，但要求提前建立虚拟夹具的位置，且无法实现实时更新，因此通常应用于无需更新虚拟夹具的少数应用场景，例如重复操作任务。另外，由于虚拟夹具的形状是预先配置的，因而无法应用和实时适应那些需要虚拟夹具的形状能够根据环境的当前状态而改变的任务，例如与处理软表面相关的任务，因此不利于提高安全性和操作性能。
42.换言之，上述技术方案中的虚拟夹具是典型地依赖于任务的，是在已知工作环境下由人为预设的，无法根据环境的变化实时反映更新的环境状态，也难以及时适应变化的或非结构化的环境。
43.有鉴于此，本技术实施例提供一种机器人的遥操作方法，其能够通过实时获取目标物体的图像，并根据图像生成目标物体的点云，以及基于该点云对应的几何特征实时建立虚拟夹具，使得机器人的遥操作能够及时适应变化的或非结构化的环境，克服了现有的预设虚拟夹具只能应用于已构建的固定工作环境的技术缺陷。此外，本技术实施例实时建立的虚拟夹具能够处理和适应几何形状不规则或不断变化的环境，从而克服了现有的虚拟夹具只能构建为固定形状的技术局限。
44.图1为本技术的部分实施例提供的一种机器人的遥操作方法的流程示意图，该方法包括如下步骤：
45.步骤s101：获取目标物体的图像，并根据图像生成目标物体的点云。
46.在一些实施例中，可以利用视觉设备按照预设采样频率实时采集目标物体的图像数据和/或深度数据，以根据图像数据和/或深度数据生成目标物体的点云。生成目标物体的点云的方式可使用现有的图像识别技术中的相关方法，在此不做赘述。
47.视觉设备可以安装在机器人的末端执行器上，以跟随末端执行器的移动实时采集目标物体的图像。视觉设备也可以是相对目标物体的固定装置，用于实时采集目标物体的图像。
48.视觉设备可以为三维相机或深度相机，用于采集目标物体的图像数据和深度数据。视觉设备也可以为三维激光扫描仪，通过对目标物体进行点云数据采集以用于生成目标物体的点云。视觉设备执行三维图像采集的过程可以称之为扫描，且可以应用于环境中的任何类型的物体和表面。视觉设备可以按照特定轨迹和特定频率对目标物体进行扫描，以得到点云数据。接着，该点云数据可以通过专用的软件工具进行分析和处理，已生成目标物体的点云。在运行过程中，视觉设备会实时采集目标物体的图像，以反映目标物体的更新形状和/或位置状态，整个采集图像-处理数据-生成点云的过程以一定的循环周期连续运行。
49.步骤s102：基于点云对应的几何特征建立机器人的虚拟夹具；虚拟夹具包括禁止区域虚拟夹具和/或引导虚拟夹具。禁止区域虚拟夹具是指限制机器人运动的禁止区域，引导虚拟夹具是指引导机器人沿着特定轨迹运动的活动区域。
50.对于特定环境和物体的离散点云，环境中的物体和表面的点云具有特定的几何形状，因此可以基于点云或点云数据，通过例如点云分割技术执行点云的特征值提取，以确定
点云对应的几何形状，例如圆形、平面、圆柱体、边缘、正方形等。接着，可以基于几何形状和实际场景获取虚拟夹具的几何特征，例如，柱体中轴线、工作台表面、工件边缘、球体中心等，以基于几何特征建立机器人的虚拟夹具。参见图2，在一个实施例中，可以基于目标物体的点云201确定对应的几何形状为平面，然后基于该几何形状和实际场景确定虚拟夹具的几何特征为工作台表面202，以用于建立相应的虚拟夹具。参见图3，在另一个实施例中，可以基于目标物体的点云确定对应的几何形状为圆形，然后基于该几何形状和实际场景确定虚拟夹具的几何特征为孔洞301，以用于建立相应的虚拟夹具。
51.虚拟夹具的类型可以包括禁止区域虚拟夹具和引导虚拟夹具。该虚拟夹具的类型可以由操作者基于点云对应的几何特征和实际应用进行指定，也可以基于机器视觉模型或深度学习模型进行标定，本技术不限于此。例如，机器人的操作者可以事先确定在操作过程中期望使用禁止区域虚拟夹具还是引导虚拟夹具，并将确认指令输入机器人的控制系统中，机器人接收指令后可在建立虚拟夹具的过程中将虚拟夹具定义为操作者指定的类型。
52.根据机器人遥操作的实际应用情况，在一个例子中，可以仅包括建立禁止区域虚拟夹具，例如机器人在工作环境中执行避障任务。在一个例子中，可以仅包括建立引导虚拟夹具，例如引导机器人沿空间轨迹线或空间轨迹面移动至目标位置。在一个例子中，可以包括同时建立禁止区域虚拟夹具和引导虚拟夹具，例如引导机器人沿空间轨迹线或空间轨迹面移动至目标位置，且在移动过程中还执行避障任务。虚拟夹具的类型和数目可以根据实际应用和需求进行设置，本技术不限于此。
53.步骤103：确定虚拟夹具的参考点和机器人的控制点，根据参考点和控制点的距离确定虚拟夹具作用于控制点的虚拟力。
54.机器人的控制点可以选自机器人的执行器末端和/或机械臂的表面位置点。
55.在一些实施例中，虚拟夹具的参考点可以选自表征目标物体的物体表面的点云点。在一个例子中，参见图2，当机器人的操作任务是控制执行器末端从起始位置a沿目标物体的表面的虚线轨迹前往目标位置b，则选取表征目标物体中的物体表面的虚线轨迹对应的点云点作为引导虚拟夹具的参考点。在另一个例子中，当机器人的操作任务是控制执行器末端避开工作环境内的障碍物，则选取表征障碍物的物体表面的点云点作为禁止区域虚拟夹具的参考点。
56.在一些实施例中，可以基于几何特征构建参考点，参考点的分布对应控制点的期望运动路径或期望避障路径。在一个例子中，参见图3，当机器人的操作任务是控制执行器末端夹持工件从起始位置c穿过孔洞301前往目标位置d(例如插入操作)，则基于表征该孔洞的点云对应的几何特征，即基于孔洞的中轴线构建引导虚拟夹具的参考点302，参考点的分布对应孔洞的中轴线，以控制执行器末端操作工件沿孔洞的中轴线从起始位置c前往目标位置d。在另一个例子中，当机器人的操作任务是控制执行器末端在工件范围内工作且不能超出工件的边缘，则基于表征该工件的点云对应的几何特征，即工件边缘构建禁止区域虚拟夹具的参考点，以控制执行器末端不超出工件边缘，避免损害或影响工件范围之外的其他物体或者操作人员。
57.当选取参考点和控制点后，可以根据参考点和控制点的距离确定虚拟夹具作用于控制点的虚拟力。其中虚拟力是指根据人为设定的规则，虚拟夹具“作用”于机器人的力，由于虚拟夹具实际并不存在，其不会对机器人产生实际的接触力，因此，虚拟力是以附加在机
器人的控制力上的方式实现。当参考点和控制点的距离大于或等于预设值时，可以将虚拟力设置为零；当参考点和控制点的距离小于预设值时，随着参考点和控制点的距离越小，则虚拟力越大。虚拟力的大小可以根据实际应用情况进行调节。也可以理解为，可以预先设定预设值，首先比较参考点和控制点的距离与预设值，若上述距离大于等于预设值，则不进行虚拟力的计算；若上述距离小于预设值，则根据设定的方式计算虚拟力的大小。例如，在一些实施例中，虚拟力可以根据以下方式确定：
[0058][0059]
当
[0060]
当
[0061]
其中，为控制点到第i个参考点的距离向量，c为人为设定的常数(代表单个参考点对控制点的虚拟力的最大值)，k为根据经验和试验结果设定的系数，d
ref
为参考点产生虚拟力的范围，为第i个参考点对控制点的虚拟力向量，n为影响到该控制点的所有参考点的数量，为所有参考点对控制点的虚拟力的合力向量。
[0062]
在一些实施例中，可以以参考点为球心确定球形势场，球形势场的半径设置为大于或等于相邻球形势场的球心的间距的一半。当控制点位于球形势场的边缘处或边缘之外时，虚拟力为零。这里，假设球形势场的半径为r，则c＝k*r。由于参考点选自表征物体表面的点云点，且视觉设备通常一定频率执行扫描操作，因此可以认为相邻点云点的间距基本固定。参见图4，以两个相邻的第一参考点401和第二参考点402为例，其各自建立的第一球形势场411和第二球形势场412相互融合，从而形成一个更大的且部分重叠的势场。参见图5，以多个参考点501为例，其各自建立的球形势场融合成一个连续的墙状势场511。例如，当虚拟夹具为禁止区域虚拟夹具时，该墙状势场511用于操作机器人以阻止控制点穿过墙状势场511而进入墙状势场511以内的禁止区域。当虚拟夹具为引导虚拟夹具时，该墙状势场用于操作机器人以阻止控制点穿过墙状势场511而将控制点约束在墙状势场511以内的引导区域。
[0063]
在另一种方式中，为使参考点对控制点的虚拟力在空间范围内连续，可以根据以下方式分别确定禁止区域虚拟夹具和引导虚拟夹具对控制点产生的虚拟力的大小：
[0064]
1、禁止区域虚拟夹具
[0065][0066][0067]
其中，k
fr
为人为设定的常数(代表单个参考点对控制点的虚拟力的最大值)；γ为人为设定的系数，其大小影响参考点的虚拟力的作用范围以及在该范围内虚拟力变化的快
慢；和分别为控制点和参考点的位置；为第i个参考点对控制点产生的排斥虚拟力向量；为所有参考点对控制点的排斥虚拟力的合力向量。
[0068]
通过此种方式计算虚拟力，可以使虚拟力的变化在空间范围内连续，不会产生跳变，保证机器人控制的稳定性。
[0069]
2、引导虚拟夹具
[0070][0071][0072]
其中，为第i个参考点对控制点产生的吸引虚拟力向量；为所有参考点对控制点的吸引虚拟力的合力向量；其他参数与前述禁止区域虚拟夹具类似。
[0073]
需要说明的是，在引导虚拟夹具的虚拟力确定时，参数rs被引入，该参数代表以参考点为中心的一个人为设定的很小的力真空范围。若不设置此参数rs，控制点距离参考点越近受到的虚拟吸引力越大，而在控制点非常接近参考点时本来不再需要继续向参考点引导的控制点仍然受到最大的虚拟吸引力，对系统可能带来较大的冲击。因此，通过引入参数rs，在控制点进入rs对应的力真空范围之后，参考点不再对控制点产生虚拟吸引力，即参考点可在该范围内自由的运动。控制点根据引导虚拟夹具到达期望的位置后，其不再受到引导虚拟夹具的虚拟引导力；而若控制点由于某种原因又脱离出力真空范围，则其又重新受到虚拟夹具的虚拟引导力。通过这样的方式，既保证了参考点可以被引导至引导虚拟夹具的范围，又可使系统平稳不造成冲击。
[0074]
在前述禁止虚拟夹具和引导虚拟夹具的虚拟力的计算方式中，可以看出其虚拟力在空间范围内(力真空范围除外)是连续的，区别于另一种计算方式中使用d
ref
判断虚拟力是否为0的方式。但是在机器人控制过程中，还可以考虑选取部分参考点用于计算其虚拟力。参见图6，可以控制点601为中心确定预评估范围re，比较点云中的各参考点602是否落入预评估范围re内(即比较各参考点与控制点之间的距离是否小于re)，仅落入预评估范围内的参考点才按照上述的方式进行虚拟力的计算，从而可以节约计算资源。
[0075]
在一些实施例中，可按以下方式确定预评估范围re：
[0076]
re＝r0+‖ve‖
·kv
[0077]
其中，r0为人为设定的预评估范围的最小值；ve为控制点的当前运动速度，kv是根据经验和试验结果设置的系数。在这种方式下，控制点的当前运动速度越快，预评估范围越大，可以使更多的参考点落入预评估范围内参与虚拟力的计算，从而避免了在机器人快速移动的情况下未能及时将适当的参考点引入计算的情况；另外，控制点的当前运动速度越小，预评估范围约小，可以在机器人慢速移动的情况下只引入较少的参考点参与计算，从而节约了计算资源。
[0078]
步骤s104：基于虚拟力确定施加给控制点的控制力。
[0079]
在一些实施例中，当虚拟力为零时，虚拟夹具无需提供额外的力反馈，机器人可以输出既定驱动力，以控制机器人的控制点以既定控制力沿期望运动路径或期望避障路径运动。当虚拟力不为零时，虚拟夹具提供额外的力反馈，机器人基于该力反馈和既定控制力的合力输出驱动力，以克服该虚拟力并驱使控制点沿期望运动路径或期望避障路径运动。
[0080]
以虚拟夹具为禁止区域虚拟夹具为例，当参考点和控制点的距离过近时，禁止区域虚拟夹具会产生排斥力，照此，通过向控制点施加相应的控制力，从而控制机器人执行避障以使控制点离开该区域。以虚拟夹具为引导虚拟夹具为例，当控制点在参考点的附近漂移运动时，引导虚拟夹具会根据偏移距离产生相应吸引力，照此，通过向控制点施加相应的控制力，以使控制点约束在该区域内并尽可能沿期望轨迹线运动。
[0081]
当虚拟夹具为禁止区域虚拟夹具时，可以设置虚拟力为排斥力，且排斥力的方向可以设置为背离参考点。当虚拟夹具为引导虚拟夹具时，可以设置虚拟力为吸引力，且吸引力的方向可以设置为指向参考点。基于此，可以通过人机界面上呈现的虚拟力的力方向，以向操作者提供直观的视觉反馈，使得操作者可以控制机器人以使控制点沿期望避障路径或期望运动路径运动。
[0082]
在一些实施例中，虚拟夹具可以包括多个参考点，此时，虚拟力可以设置为该多个参考点对控制点产生的虚拟合力。在一个例子中，当机器人的控制点的运动轨迹中存在具有一定体积的障碍物时，基于该障碍物的表面的点云建立的虚拟夹具会包括多个参考点，因此需要实时计算该多个参考点对控制点产生的虚拟力的合力(即虚拟合力)，并基于该虚拟合力确定施加给该控制点的控制力，以驱动控制点实现脱轨避障，待避开障碍物后再向目标位置逼近。
[0083]
在一些实施例中，机器人可以包括多个控制点，此时，虚拟力可以设置为所述参考点对各控制点产生的虚拟合力。在一个例子中，机器人的末端执行器为不规则形状，此时，可以设定机器人具有多个控制点；当机器人的末端执行器的运动轨迹中存在质点障碍物时，基于该障碍物的表面的点云建立的虚拟夹具会包括一个参考点，因此需要实时计算该参考点对各控制点产生的虚拟力的合力(即虚拟合力)，并基于该虚拟合力确定施加给各控制点的控制力，以驱动控制点实现脱轨避障，待避开障碍物后再向目标位置逼近。
[0084]
在一些实施例中，在确定所述虚拟夹具作用于所述控制点的虚拟力之前，考虑到控制点在工作环境内沿既定轨迹运动，确定包括所有控制点且随所述机器人移动的预设范围；确定虚拟力作用范围进入预设范围的参考点，基于所述参考点作用于预设范围内的任意控制点的虚拟力确定施加给任意控制点的控制力。换言之，当所述预设范围进入任意参考点的虚拟力作用范围时，基于所述任意参考点作用于所述预设范围内的控制点的虚拟力确定施加给所述控制点的控制力；当任意参考点的虚拟力作用范围位于所述预设范围外时，不计算所述任意参考点作用于所述预设范围内的控制点的虚拟力。这里，预设范围可以为矩形范围、椭球体范围或球体范围等。该预设范围可以包括一个或多个控制点。例如，球体范围内可包括3个控制点，且该球体范围随控制点的行进而运动。在控制点的行进轨迹中存在具有一定体积的障碍物，基于该障碍物的表面的点云建立的虚拟夹具包括100个参考点。当球体范围运动时，在某一时刻进入其中10个参考点的虚拟力作用范围，此时基于该10个参考点计算作用于球体范围内的3个控制点的虚拟合力；另外，该时刻尚有90个参考点的虚拟力作用范围位于球体范围外，则可以不计算这90个参考点作用于球体范围内的3个控
制点的虚拟合力。也就是说，只有特定范围内的参考点才被激活以用于计算虚拟力，而该特定范围之外的参考点在计算过程中不考虑，因为它们距离控制点太远，无法与控制点交互，从而减少需要同时计算的虚拟力数量。
[0085]
球体范围可以根据实际应用进行设定。在一些实施例中，可以根据所述机器人移动的速度调节所述球体范围的半径，所述机器人移动的速度越快，所述球体范围的半径越大。在一些实施例中，所述球体范围的半径为所述球体范围的运动速度与调节所述球体范围的半径的循环间隔的乘积，从而确保在下一个计算程序循环到达之前，工作环境内的控制点沿既定路线运动到参考点没有被激活的位置。基于此，本技术可以显著减少需要同时计算的虚拟力数量，从而减轻计算负担，提高计算频率，提供更好的操作性能和安全性。
[0086]
上述各实施例的方法可以应用于机器人的控制器，以操作机器人的末端执行器在复杂和多变的工作环境中安全和高效地执行任务。
[0087]
上述各实施例的方法也可以应用于提供触觉反馈的遥操作机器人，当该遥操作机器人执行远距离操作时，主机器人可以将操作者的控制指令发出，经过通信环节传递给从机器人，然后由从机器人作用于环境。从机器人和工作环境的相关信息可以反馈到操作者，使操作者有身临其境的感觉，从而有效完成操作任务。在一些实施例中，该机器人的遥操作方法还包括如下步骤：
[0088]
步骤s201：提供主机器人和从机器人。
[0089]
步骤s202：基于所述从机器人的环境中的目标物体建立所述虚拟夹具。
[0090]
步骤s203：基于所述虚拟力调节所述从机器人的驱动装置的力输出。
[0091]
步骤s204：基于所述虚拟力向所述主机器人提供触觉反馈。
[0092]
在一个示例性机器人遥操作过程中，该机器人的操作任务是操作者通过主机器人的手控器对从机器人的机械臂进行运动控制，使机械臂从起始位置a运动至目标位置b。当从机器人的行进轨迹中存在障碍物时，基于该障碍物的点云的几何特征建立禁止区域虚拟夹具并确定参考点。当机械臂的控制点进入参考点的虚拟力作用范围内时，该禁止区域虚拟夹具产生作用于控制点的虚拟力。一方面，基于该虚拟力，从机器人的控制器能够确定施加给控制点的控制力，以通过调节从机器人的驱动装置的力输出及时调整控制点的行进轨迹。也就是说，由于从机器人与工作环境进行交互，因此从机器人能够基于虚拟力实现及时调整实际工作环境中的控制点的控制力，避免从机器人的运动受到通信延迟的影响，提高从机器人运动的安全性。另一方面，当禁止区域虚拟夹具产生作用于控制点的虚拟力时，会基于该虚拟力向主机器人提供触觉反馈，提升操作者临场体验感的性能，以及辅助操作者控制机械臂在工作环境中进行动态避障或者路径引导，提高主机器人的操作性能。
[0093]
本技术的部分实施例还提供一种机器人，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行所述计算机程序时实现上述任意实施例的方法。存储器和处理器可以通过总线或者其他方式连接。例如，该处理器可以执行如下步骤：
[0094]
步骤s101：获取目标物体的图像，并根据所述图像生成所述目标物体的点云；
[0095]
步骤s102：基于所述点云对应的几何特征建立虚拟夹具；所述虚拟夹具包括禁止区域虚拟夹具和/或引导虚拟夹具；
[0096]
步骤s103：确定所述虚拟夹具的参考点和所述机器人的控制点，根据所述参考点和所述控制点的距离确定所述虚拟夹具作用于所述控制点的虚拟力；和
[0097]
步骤s104：基于所述虚拟力确定施加给所述控制点的控制力。
[0098]
本技术的部分实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例的方法。例如，该计算机程序可以实现如下步骤：
[0099]
步骤s101：获取目标物体的图像，并根据所述图像生成所述目标物体的点云；
[0100]
步骤s102：基于所述点云对应的几何特征建立虚拟夹具；所述虚拟夹具包括禁止区域虚拟夹具和/或引导虚拟夹具；
[0101]
步骤s103：确定所述虚拟夹具的参考点和所述机器人的控制点，根据所述参考点和所述控制点的距离确定所述虚拟夹具作用于所述控制点的虚拟力；和
[0102]
步骤s104：基于所述虚拟力确定施加给所述控制点的控制力。本技术的部分实施例提供的机器人和计算机可读存储介质的其他实施细节可参照前述机器人的遥操作方法的实施例的相关描述，在此不做赘述。
[0103]
综上，本技术实施例所提供的机器人的遥操作方法、机器人和计算机可读存储介质能够通过实时获取目标物体的图像，并根据图像生成目标物体的点云，以及基于该点云对应的几何特征实时建立机器人的虚拟夹具，从而实现及时适应变化的或非结构化的环境，克服了现有的预设虚拟夹具只能应用于已构建的固定工作环境的技术缺陷。此外，本技术实施例实时建立的虚拟夹具能够处理和适应几何形状不规则或不断变化的环境，从而克服了现有的虚拟夹具只能构建为固定形状的技术局限。
[0104]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0105]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。