一种机器人人机交互运行路径标记方法及装置与流程

1.本技术请求保护路径规划技术，尤其涉及一种机器人人机交互运行路径标记方法及一种机器人曲面运行路径标记方法。本技术还涉及一种机器人人机交互运行路径标记装置及一种机器人曲面运行路径标记装置。


背景技术：

2.工业机器人是指关节性机器人，其根据任务作业需求，需要进行运动轨迹的规划，以实现任务执行的完成。现有技术中，工业机器人作业的轨迹生成主要有四种方式，包括人工示教、离线仿真编程、拖动示教、视觉免示教四种方法。
3.人工示教方法采用示教器操作机器人在精准定位的工件上进行逐点示教，记录所有点位数据形成作业路径，该方法适用于精度要求较低，路径轨迹较为简单的作业，无法适用于搞定度，高复杂性的轨迹生成。
4.离线仿真软件编程方法一般采用各机器人厂家自研的机器人仿真软件进行离线编程，其编程方法为在软件中导入工件及其作业线体的三维数模，并还原机器人与工件空间位置，在仿真软件上进行路径的编程操作，该方法前期准备工作较为复杂繁琐，限制条件较多，前期准备工作量较大，仅是在编程上节省了部分时间。
5.拖动示教方法仅适用于部分支持拖动示教的机器人，同时其该方法也无法适用于精度要求较高的作业。
6.视觉免示教方法为目前新兴的一种机器人路径规划方法，其原理为利用3d视觉传感器对工件进行图像采集得到工件表面三维点云，通过图像处理获取图像角点、轮廓等图像特征，经过对图像特征的一系列三维点云处理与分析形成机器人作业路径，最后通过机器人与相机的标定得到机器人与相机的空间转换关系，将图像上生成的路径转换为机器人最终作业路径。该方法速度快，灵活性强，但受制于三维点云处理算法的处理能力，对于外观形状不规则或较为复杂的工件最终生成的轨迹可能存在偏差，此时需要一种人机交互方法在采集到的三维点云上进行机器人路径的规划或纠偏。


技术实现要素：

7.为了解决上述技术方案中的一个或者多个技术问题，本技术提供一种机器人人机交互运行路径标记方法及一种机器人曲面运行路径标记方法。本技术还涉及一种机器人人机交互运行路径标记装置及一种机器人曲面运行路径标记装置。
8.本技术提供一种机器人人机交互运行路径标记方法，包括：
9.获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面；
10.在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线；
11.获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点；
12.将多个所述标记点连接生成所述机器人运行路径。
13.可选的，所述目标位置确定步骤如下：
14.将鼠标移动到所述点云的显示窗口中所述目标位置，获取所述鼠标在桌面的坐标，获取所述显示窗口在桌面的坐标；
15.将所述鼠标在桌面的坐标减去所述显示窗口在桌面的坐标，获得所述目标位置。
16.可选的，还包括：
17.根据所述点云图的获取装置坐标与机器人坐标关系，进行空间关系变换；
18.根据所述空间关系变化，将所述运行路径转换为机器人的作业路径。
19.可选的，所述最近点到最远点的向量为所述标记点的法向量。
20.本技术还提供一种机器人曲面运行路径标记方法，包括：
21.获取工件的三维点云图，根据所述点云图设置路径规划的点云图截断面；
22.在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线；
23.获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点；
24.分别标记机器人在曲面运行路径的起始标记点和终止标记点，并生成标记点连线；
25.将所述标记点连线分割为多个间隔，获取每个间隔上距离所述标记点连接线的最近点；
26.连接所述最近点，生成曲面运行路径。
27.本技术还提供一种机器人人机交互运行路径标记装置，包括：
28.截面模块，用于获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面；
29.选择模块，用于在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线；
30.标记模块，用于获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点；
31.路径模块，用于将多个所述标记点连接生成所述机器人运行路径。
32.可选的，所述选择模块包括：
33.坐标单元，用于根据鼠标移动到所述点云的显示窗口中所述目标位置，获取所述鼠标在桌面的坐标，获取所述显示窗口在桌面的坐标；
34.计算单元，用于将所述鼠标在桌面的坐标减去所述显示窗口在桌面的坐标，获得所述目标位置。
35.可选的，还包括：变换模块；
36.所述变换模块用于根据所述点云图的获取装置坐标与机器人坐标关系，进行空间关系变换；根据所述空间关系变化，将所述运行路径转换为机器人的作业路径。
37.可选的，所述最近点到最远点的向量为所述标记点的法向量。
38.本技术还提供一种机器人曲面运行路径标记装置，包括：
39.截面模块，用于获取工件的三维点云图，在所述三维点云图中设置路径规划的点
云图截断面；
40.选择模块，用于在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线；
41.获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点；
42.标记模块，用于分别标记机器人在曲面运行路径的起始标记点和终止标记点，并生成标记点连线；
43.间隔模块，用于将所述标记点连线分割为多个间隔，获取每个间隔上距离所述标记点连接线的最近点；
44.路径模块，用于连接所述最近点，生成曲面运行路径。
45.本技术相较于现有技术的优点是：
46.本技术一种机器人人机交互运行路径标记方法，包括：获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面；在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线；获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点；将多个所述标记点连接生成所述机器人运行路径。本技术通过实现自动确定标记点，生成路径，实现可视化路径点选，通过人机交互进行路径规划，提高路径规划精度的同时简化规划步骤。
附图说明
47.图1是本技术中机器人运行路径标记流程图。
48.图2是本技术中距离鼠标最近点的选择示意图。
49.图3是本技术中工件平面邻近点示意图。
50.图4是本技术中机器人曲面运行路径标记流程图。
51.图5是本技术中机器人运行路径标记装置示意图。
52.图6是本技术中机器人曲面运行路径标记流程图。
具体实施方式
53.以下内容均是为了详细说明本技术要保护的技术方案所提供的具体实施过程的示例，但是本技术还可以采用不同于此的描述的其他方式实施，本领域技术人员可以在本技术构思的指引下，采用不同的技术手段实现本技术，因此本技术不受下面具体实施例的限制。
54.本技术一种机器人人机交互运行路径标记方法，包括：获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面；在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线；获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点；将多个所述标记点连接生成所述机器人运行路径。本技术通过实现自动确定标记点，生成路径，实现可视化路径点选，通过人机交互进行路径规划，提供路径规划精度的同时简化规划步骤。
55.图1是本技术中机器人运行路径标记流程图。
56.请参照图1所示，s101获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面。
57.所示三维点云图是通过3d相机摄取的工件的点云数据，优选的，所述点云数据还可以通过激光扫描获得。在获取到所述点云数据后，该点云数据发送到显示器中，进行三维显示。
58.图2是本技术中距离鼠标最近点的选择示意图。
59.如图2所示，所述三维点云图组成三维视图在窗口中显示，当鼠标选择到一个位置时，识别所述鼠标最接近的三维点云图中的点，然后根据所述点进行三维点云图的截面操作，其中，所述截面上显示有已经确定的距离鼠标最近的点，需要清楚的是，所示距离鼠标最近的点是与所述鼠标端点重合的。
60.完成所述位置选择后，需要进行距离鼠标最近的点的标记，该标记可以采用坐标的方式表示，例如：将鼠标移动到所述点云的显示窗口中所述目标位置，获取所述鼠标在桌面的坐标，获取所述显示窗口在桌面的坐标；将所述鼠标在桌面的坐标减去所述显示窗口在桌面的坐标，获得所述鼠标位置标记，进而获取所述距离鼠标最近点的坐标。
61.具体的，当确定了距离鼠标最近的点后，按照所述点所在坐标系的三个轴线组成的三个基本面的其中一面，平行于该面进行截面操作，优选的，所述截面是可以选择的，即可以根据需求选择该截面平行的基础面。另一种优选的实施方式是，所述基本面设置为窗口的当前视面，所述截面平行于所述基本面。
62.请参照图1所示，s102在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线。
63.所述最远点和最近点的选取是根据所述截断面实现的。本技术中，在所述三维点云图中，进行所述截断面的平行移动，确定平行于所述截断面的两个包围面，分别处于所述截断面的两侧，其中，每个包围面都是可移动的，且与所述三维点云图的表面点相交。
64.在进行最远点和最近点的选择时，首先设置一条经过所述已经确定了的，距离鼠标最近点的直线，该直线同时连接到两个所述包围面与所述点云图的相交，移动两个所述包围面获得最长线段后，在所述线段最长时，该线段连接的两个包围面与所述三维点云图相交处的点作为所述最近点和最远点，其中距离桌面窗口最近的点作为最近点，距离所述桌面窗口最远的点作为最远点。在上述描述中，所述最远点和最近点可以理解为，所述最远点和最近点与所述距离鼠标最近的点在当前视角上是重合的，其中所述最近点到最远点的向量为所述标记点的法向量。
65.确定完成所述最近点和最远点后，连接所述最近点、距离鼠标最近的点、所述最远点，形成一条直线，作为位置基线。
66.请参照图1所示，s103获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点。
67.本技术中，所述三维点云图的表示的工件的加工面是平面的，此时，将当前视面上的每个点都垂直的连接点所述位置基线上，计算每个点到所述位置基线上的垂线长度，将所述长度最短的点作为邻近点，该邻近点对应的在所述位置基线上的垂足设为标记点，如图3所示。
68.请参照图1所示，s104将多个所述标记点连接生成所述机器人运行路径。
69.上述已经确定了一个标记点，接下来重复上述步骤，确定多个标记点并连接，形成机器人的运行路径。根据所述点云图获取装置的坐标与机器人坐标的关系，进行空间关系变换；根据所述空间关系变化，将所述运行路径转换为机器人的作业路径，形成最终的作业路径。
70.本技术还提供一种机器人曲面运行路径标记方法，用于设置在曲面工件上进行机器人移动的路径。
71.图4是本技术中机器人曲面运行路径标记流程图。
72.请参照图4所示，s301获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面。
73.所示三维点云图是通过3d相机摄取的工件的点云数据，优选的，所述点云数据还可以通过激光扫描获得。在获取到所述点云数据后，该点云数据发送到显示器中，进行三维显示。
74.所述三维点云图组成三维视图在窗口中显示，当鼠标选择到一个位置是，识别所述鼠标最接近的三维点云图中的点，然后根据所述点进行三维点云图的截面操作，其中，所述截面上显示有已经确定的距离鼠标最近的点，需要清楚的是，所示距离鼠标最近的点是与所述鼠标端点重合的。
75.完成所述位置选择后，需要进行距离鼠标最近的点的标记，该标记可以采用坐标的方式表示，例如：将鼠标移动到所述点云的显示窗口中所述目标位置，获取所述鼠标在桌面的坐标，获取所述显示窗口在桌面的坐标；
76.将所述鼠标在桌面的坐标减去所述显示窗口在桌面的坐标，获得所述目标位置标记。
77.具体的，当确定了距离鼠标最近的点后，按照所述点所在坐标系的三个轴线组成的三个基本面的其中一面，平行于该面进行截面操作，优选的，所述截面是可以选择的，即可以根据需求选择该截面平行的基础面。另一种优选的实施方式是，所述基本面设置为窗口的当前视面，所述截面平行于所述基本面。
78.请参照图4所示，s302在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线。
79.所述最远点和最近点的选取是根据所述截断面实现的。本技术中，在所述三维点云图中，进行所述截断面的平行移动，确定平行于所述截断面的两个包围面，分别处于所述截断面的两侧，其中，每个包围面都是可移动的，且与所述三维点云图的表面点相交。
80.在进行最远点和最近点的选择时，首先设置一条经过所述已经确定的，距离鼠标最近的点的线，该线同时连接到两个所述包围面与所述点云图的相交，移动两个所述包围面获得最长线段后，在所述线段最长时，该线段连接的两个包围面与所述三维点云图相交处的点作为所述最近点和最远点，其中距离桌面窗口最近的点作为最近点，距离所述桌面窗口最远的点作为最远点。在上述描述中，所述最远点和最近点可以理解为，所述最远点和最近点与所述距离鼠标最近的点三点在当前视角上是重合的，其中所述最近点到最远点的向量为所述标记点的法向量。
81.确定完成所述最近点和最远点后，连接所述最近点、距离鼠标最近的点、所述最远
点，形成一条直线，作为位置基线。
82.请参照图4所示，s303获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点。
83.本技术中，所述三维点云图的表示的工件的加工面是平面的，此时，将当前视面上的每个点都垂直的连接点所述位置基线上，计算每个点到所述位置基线上的垂线长度，将所述长度最短的点作为邻近点，该邻近点对应的在所述位置基线上的垂足设为标记点。
84.请参照图4所示，s304分别标记机器人在曲面运行路径的起始标记点和终止标记点，并生成标记点连线。
85.所述起始点标记点和终止标记点之间是曲面构造，机器人在贴面移动时需要进行沿曲面的移动，因此首先在机器人在待加工工件上的开始点和终止点处进行标记点标记，连接所述标记点形成标记点连线。其中，所述开始标记点和终止标记点分别是机器人在工件表面移动时的起始点和目标点。
86.请参照图4所示，s305将所述标记点连线分割为多个间隔，获取每个间隔上距离所述标记点连接线的最近点。
87.所述标记点连线是一条直线，此时，根据预设的间隔距离，在所述标记点连线上分割为多个间隔。完成间隔的分割后，选择该间隔内的所有点，做垂直所述标记点连线的垂线段，将所述垂线段最短的点作为最近点。
88.s306连接所述最近点，生成曲面运行路径，完成曲面路径的规划。
89.本技术还提供一种机器人人机交互运行路径标记装置，包括截面模块401、选择模块402、标记模块403、路径模块404。
90.图5是本技术中机器人运行路径标记装置示意图。
91.请参照图5所示，截面模块401，用于获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面。
92.所示三维点云图是通过3d相机摄取的工件的点云数据，优选的，所述点云数据还可以通过激光扫描获得。在获取到所述点云数据后，该点云数据发送到显示器中，进行三维显示。
93.如图2所示，所述三维点云图组成三维视图在窗口中显示，当鼠标选择到一个位置是，识别所述鼠标最接近的三维点云图中的点，然后根据所述点进行三维点云图的截面操作，其中，所述截面上显示有已经确定的距离鼠标最近的点，需要清楚的是，所示距离鼠标最近的点是与所述鼠标端点重合的。
94.完成所述位置选择后，需要进行距离鼠标最近的点的标记，该标记可以采用坐标的方式表示，例如：将鼠标移动到所述点云的显示窗口中所述目标位置，获取所述鼠标在桌面的坐标，获取所述显示窗口在桌面的坐标；
95.将所述鼠标在桌面的坐标减去所述显示窗口在桌面的坐标，获得所述目标位置标记。
96.具体的，当确定了距离鼠标最近的点后，按照所述点所在坐标系的三个轴线组成的三个基本面的其中一面，平行于该面进行截面操作，优选的，所述截面是可以选择的，即可以根据需求选择该截面平行的基础面。另一种优选的实施方式是，所述基本面设置为窗口的当前视面，所述截面平行于所述基本面。
97.请参照图5所示，选择模块402，用于在所述截断面中选择机器人目标位置，基于所述目标位置确定穿过所述目标位置的直线的最远点和最近点，生成位置基线。
98.所述最远点和最近点的选取是根据所述截断面实现的。本技术中，在所述三维点云图中，进行所述截断面的平行移动，确定平行于所述截断面的两个包围面，分别处于所述截断面的两侧，其中，每个包围面都是可移动的，且与所述三维点云图的表面点相交。
99.在进行最远点和最近点的选择时，首先设置一条经过所述已经确定的，距离鼠标最近的点的线，该线同时连接到两个所述包围面与所述点云图的相交，移动两个所述包围面获得最长线段后，在所述线段最长时，该线段连接的两个包围面与所述三维点云图相交处的点作为所述最近点和最远点，其中距离桌面窗口最近的点作为最近点，距离所述桌面窗口最远的点作为最远点。在上述描述中，所述最远点和最近点可以理解为，所述最远点和最近点与所述距离鼠标最近的点三点在当前视角上是重合的，其中所述最近点到最远点的向量为所述标记点的法向量。
100.确定完成所述最近点和最远点后，连接所述最近点、距离鼠标最近的点、所述最远点，形成一条直线，作为位置基线。
101.请参照图5所示，标记模块403，用于获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点。
102.本技术中，所述三维点云图的表示的工件的加工面是平面的，此时，将当前视面上的每个点都垂直的连接点所述位置基线上，计算每个点到所述位置基线上的垂线长度，将所述长度最短的点作为邻近点，该邻近点对应的在所述位置基线上的垂足设为标记点，如图3所示。
103.请参照图5所示，路径模块404，用于将多个所述标记点连接生成所述机器人运行路径。
104.上述已经确定了一个标记点，接下来重复上述步骤，确定多个标记点，形成机器人的运行路径，根据所述点云图的获取装置坐标与机器人坐标关系，进行空间关系变换；根据所述空间关系变化，将所述运行路径转换为机器人的作业路径并进行连接，形成最终的作业路径。
105.本技术还提供一种机器人曲面运行路径标记装置，用于设置在曲面工件上进行机器人移动的路径，包括：截面模块501、选择模块502、标记模块503、、路径模块504、间隔模块505、规划模块506。
106.图6是本技术中机器人曲面运行路径标记流程图。
107.请参照图6所示，截面模块501，用于获取工件的三维点云图，在所述三维点云图中设置路径规划的点云图截断面。
108.所示三维点云图是通过3d相机摄取的工件的点云数据，优选的，所述点云数据还可以通过激光扫描获得。在获取到所述点云数据后，该点云数据发送到显示器中，进行三维显示。
109.所述三维点云图组成三维视图在窗口中显示，当鼠标选择到一个位置是，识别所述鼠标最接近的三维点云图中的点，然后根据所述点进行三维点云图的截面操作，其中，所述截面上显示有已经确定的距离鼠标最近的点，需要清楚的是，所示距离鼠标最近的点是
与所述鼠标端点重合的。
110.完成所述位置选择后，需要进行距离鼠标最近的点的标记，该标记可以采用坐标的方式表示，例如：将鼠标移动到所述点云的显示窗口中所述目标位置，获取所述鼠标在桌面的坐标，获取所述显示窗口在桌面的坐标；
111.将所述鼠标在桌面的坐标减去所述显示窗口在桌面的坐标，获得所述目标位置标记。
112.具体的，当确定了距离鼠标最近的点后，按照所述点所在坐标系的三个轴线组成的三个基本面的其中一面，平行于该面进行截面操作，优选的，所述截面是可以选择的，即可以根据需求选择该截面平行的基础面。另一种优选的实施方式是，所述基本面设置为窗口的当前视面，所述截面平行于所述基本面。
113.请参照图6所示，选择模块502，用于在所述截断面中选择机器人目标位置，基于所述目标位置选取穿过所述目标位置的最远点和最近点，生成位置基线。
114.所述最远点和最近点的选取是根据所述截断面实现的。本技术中，在所述三维点云图中，进行所述截断面的平行移动，确定平行于所述截断面的两个包围面，分别处于所述截断面的两侧，其中，每个包围面都是可移动的，且与所述三维点云图的表面点相交。
115.在进行最远点和最近点的选择时，首先设置一条经过所述已经确定的，距离鼠标最近的点的线，该线同时连接到两个所述包围面与所述点云图的相交，移动两个所述包围面获得最长线段后，在所述线段最长时，该线段连接的两个包围面与所述三维点云图相交处的点作为所述最近点和最远点，其中距离桌面窗口最近的点作为最近点，距离所述桌面窗口最远的点作为最远点。在上述描述中，所述最远点和最近点可以理解为，所述最远点和最近点与所述距离鼠标最近的点三点在当前视角上是重合的，其中所述最近点到最远点的向量为所述标记点的法向量。
116.确定完成所述最近点和最远点后，连接所述最近点、距离鼠标最近的点、所述最远点，形成一条直线，作为位置基线。
117.请参照图6所示，标记模块503、获取当前视面上的每个点到所述位置基线的距离，选择所述距离最小的点作为近邻点，将所述近邻点垂直连接到所述位置基线的垂点作为标记点。
118.本技术中，所述三维点云图的表示的工件的加工面是平面的，此时，将当前视面上的每个点都垂直的连接点所述位置基线上，计算每个点到所述位置基线上的垂线长度，将所述长度最短的点作为邻近点，该邻近点对应的在所述位置基线上的垂足设为标记点。
119.请参照图6所示，路径模块504，用于分别标记机器人在曲面运行路径的起始标记点和终止标记点，并生成标记点连线。
120.所述起始点标记点和终止标记点之间是曲面构造，机器人在贴面移动时需要进行沿曲面的移动，因此首先在机器人在待加工工件上的开始点和终止点处进行标记点标记，连接所述标记点形成标记点连线。其中，所述开始标记点和终止标记点分别是机器人在工件表面移动时的起始点和目标点。
121.请参照图6所示，间隔模块505，用于将所述标记点连线分割为多个间隔，获取每个间隔上距离所述标记点连接线的最近点。
122.所述标记点连线是一条直线，此时，根据预设的间隔距离，在所述标记点连线上分
割为多个间隔。完成间隔的分割后，选择该间隔内的所有点，做对所述标记点连线的垂线段，将所述垂线段最短的点作为最近点。
123.请参照图6所示，规划模块506，用于连接所述最近点，生成曲面运行路径，完成曲面路径的规划。