一种基于立体视觉的机器人手持示教装置的制作方法

本发明属于机器人示教和视觉技术领域，特别涉及一种基于立体视觉的机器人手持示教装置。

背景技术：

随着机器人技术的不断发展，工业机器人已经在人类社会的工业生产领域当中扮演着举足轻重的地位，基于工业机器人的自动化生产线已经在机械加工、喷涂、装配、焊接、搬运等领域广泛应用。目前，大部分工业机器人在实际运动前需要经过示教，常采用的方式是示教器示教，这种传统的示教方法需要先控制机器人末端运动到指定位置，再控制机器人进行姿态变化，过程非常耗时耗力。如遇到工件表面结构较复杂，还需要不断反复地变换机器人位置和姿态才能到达末端所需位姿，极大地降低了机器人的工作效率和使用易用性。

近年来，机器人视觉技术为解决机器人示教问题带来新的可能。目前比较成熟的视觉技术有基于飞行时间(tof)、结构化光、双目视觉和光场的技术。这些技术都能通过一定的算法得到被测对象的深度信息，将深度信息反馈给机器人系统，便可解决机器人示教中的深度问题。

目前关于工业机器人视觉示教，例如中国专利号：cn201610595202.4，名称：一种基于立体视觉技术对机器人进行示教的方法，该发明公开了一种基于立体视觉技术对机器人进行示教的方法，该方法具体为：在工具(如焊枪、喷头)上放置标识物，使用立体视觉摄像头识别工具，并连续记录每一帧的深度图，再将工具放置于机器人末端，标定机器人末端工具坐标系到焊枪标识物坐标系的位姿变换矩阵，然后进行示教复现。该方法示教时无需拖拽机器手臂，轻便而且节省空间，系统搭建较为简便。然而，该方法具有一定的局限性。该方法使用的是真实焊枪或者其他工具，标识物需要考虑如何固接于不同的工具，不具有通用性。此外，该方法每次示教完将工具安装到机器人末端后，都需要重新标定摄像头坐标系下工具位姿矩阵到机器人坐标系下手臂末端位姿矩阵的变换关系，这对于需要多次示教不同规划路径的工况环境是十分耗时耗力的，机器人使用易用性有所限制。

技术实现要素：

针对上述存在的问题，本发明设计了一种基于立体视觉的机器人手持示教装置，该手持示教装置克服传统机器人示教费时费力、操作程序复杂等问题，简化位姿变换关系，从而实现机器人快速示教，形成加工轨迹，提高示教效率和机器人的使用易用性。

为实现上述目标，本发明的主要技术方案如下：

一种基于立体视觉的机器人手持示教装置，其特征在于，至少包括信息发送单元1、手持握柄2、状态指示3、基板4、特征识别单元5、位姿测量杆件6、信号触发装置7和模式选择按钮8。信息发送单元1安装在手持握柄2内部，基板4固定在手持握柄2上，状态指示3安装在手持握柄2上，特征识别单元5固接在基板4上，位姿测量杆件6固定在手持握柄2的前端，信号触发装置7固定在手持握柄2上，模式选择按钮8固定在手持握柄2上。

信息发送单元1采用有线传输或无线传输或有线和无线传输方式与立体视觉系统进行信息交互。

模式选择按钮8至少包括直线拟合和圆弧拟合两种轨迹拟合模式可供用户选择；所述状态指示3能够显示直线拟合和圆弧拟合两种轨迹拟合模式选择状态；用户通过主动操作模式选择按钮8,结合状态指示3的反馈信息联合确定示教点的轨迹拟合模式。

特征识别单元5所在坐标系与位姿测量杆件6所在坐标系的位姿变换矩阵由其对应的平移向量和旋转矩阵组成，特征识别单元坐标系5-1到位姿测量杆件6末端坐标系的平移向量由一次标定得出，旋转矩阵由特征识别单元5与位姿测量杆件6的形位关系得出。

位姿测量杆件6可根据不同的示教环境要求替换不同外形的杆件，每次替换后重新标定特征识别单元5所在坐标系与位姿测量杆件6末端坐标系之间的位姿变换矩阵；所述示教环境至少包括空间上的点、线、平面和曲面等。

特征识别单元5至少包含三个有可被立体视觉识别的不共线的特征信息，通过特征识别算法获取三个特征信息在立体视觉坐标系下的位置信息，构建特征平面，确定唯一位姿，构建特征识别单元5所在坐标系在立体视觉坐标系下的位姿变换矩阵。

在示教过程中，通过模式选择按钮8和状态指示3联合确定示教点的轨迹拟合模式，操作手持示教装置，使位姿测量杆件6的末端点移动到规划路径上的设定点，在保持位姿测量杆件6末端点的位置不变的情况下，调整位姿测量杆件6至设定的姿态。按下信号触发装置7，信息发送单元1发送信号给立体视觉系统，控制立体视觉系统完整清晰地采集特征识别单元5的图像信息后将该图像信息发送给计算机，计算机通过数据处理获得立体视觉坐标系与特征识别单元5所在坐标系之间的位姿变换矩阵t3。经过机器人手眼标定一次性获取器人末端夹持工具坐标系与立体视觉坐标系机之间的位姿变换矩阵t2，结合特征识别单元5所在坐标系与位姿测量杆件6末端坐标系的位姿变换矩阵t4以及从机器人控制模块获取的机器人基坐标系与机器人末端夹持工具坐标系之间的位姿变换矩阵t1，进一步计算获取机器人基坐标系与位姿测量杆件6末端坐标系之间的位姿变换矩阵t5＝t1·t2·t3·t4，最终转换为位姿测量杆件6末端点在机器人基坐标系下的位姿信息，即所示教的规划路径上设定点在机器人基坐标系下的位姿信息pp，根据位姿信息pp，机器人可以复现示教点的位姿状态。

本发明的有益效果是：

1、本发明所述的一种基于立体视觉的机器人手持示教装置，充分利用人手部的灵活性，操作人员能够迅速、直观地将手持示教装置移动到达规划路径上设定点的位置和姿态，相比传统的示教器示教，工作效率大幅度提升。

2、本发明所述的一种基于立体视觉的机器人手持示教装置，构成简单，其位姿测量杆件提供实时位姿反馈，有助于操作人员在复杂示教工况下实时预估和调整机器人末端夹持工具的运动位置和姿态，确保规划轨迹能够在复杂环境下平稳安全运行。

附图说明

图1为一种基于立体视觉的机器人手持示教装置示意图。

图2为一种基于立体视觉的机器人手持示教装置特征识别单元示意图。

图3为一种基于立体视觉的机器人手持示教装置特征识别单元坐标系示意图。

图4为一种基于立体视觉的机器人手持示教装置的坐标系转换示意图。

附图中：1-信息发送单元；2-手持握柄；3-状态指示；4-基板；5-特征识别单元；6-位姿测量杆件；7-信号触发装置；8-模式选择按钮；5-1为特征识别单元坐标系；6-1为位姿测量杆件末端坐标系。

具体实施方式

以下结合附图进一步说明本发明。

实施例：如附图1所示，一种基于立体视觉的机器人手持示教装置，包括信息发送单元1、手持握柄2、状态指示3、基板4、特征识别单元5、位姿测量杆件6、信号触发装置7和模式选择按钮8；如附图1所示的实施例中，所述信息发送单元1安装在手持握柄2内部，所述信号触发装置7通过固定孔固定在手持握柄2下表面；所述基板3固定在手持握柄2上表面；所述特征识别单元4固接在基板3上；所述位姿测量杆件6通过固定孔固定在手持握柄2的前端；所述模式选择按钮7固定在手持握柄2上表面。

如图2所示的特征识别单元是四行五列的方格棋盘，根据棋盘角点检测算法中邻近四边形的排序关系，可将棋盘内所有内角点按顺序依次检测出。其原理是将棋盘内每个黑色四边形作为一个单元，它分别有如下情形：邻近的四边形，无邻近四边形的为干扰四边形，两个邻近四边形为边界处四边形，四个邻近四边形为内部四边形。每个四边形的序号可按邻近关系排序，然后按对角两个四边形相对的两个点，取其连线的中间点作为角点。选择奇偶不同的行列数，目的是能够确定唯一的首角点，即图3中棋盘右下角边界处第一个黑色方格和其相邻的黑色方格所连接的内角点o1。

如图3所示，选择棋盘上的另外两个内角点与首角点o1构建x轴、y轴，为方便表达，本例中使用的是左下角和右上角的两个内角点，分别与首角点o1构建x轴、y轴，根据右手定则确定z轴方向，构建特征识别单元坐标系5-1。设三个内角点在立体视觉坐标系下的位置信息依次为(x1、y1、z1)、(x2、y2、z3)、(x3、y3、z3)，其他内角点也可作为额外点带入计算用于获取更加均匀平滑的结果。根据三个内角点的位置信息，构建立体视觉坐标系下的空间向量如式(1)所示：

取向量的单位向量，如式(2)所示：

同时，立体视觉坐标系上单位向量，如式(3)所示：

由旋转矩阵的定义，可建立特征识别单元坐标系5-1相对于立体视觉坐标系的旋转矩阵r3，如式(4)所示：

选择点1的坐标值(x1、y1、z1)作为特征识别单元坐标系5-1的原点，也是该坐标系的平移向量，构建出立体视觉坐标系与特征识别单元坐标系5-1的位姿变换矩阵t3，如式(5)所示：

在进行示教前，需要通过一次标定构建手持示教装置上特征识别单元坐标系5-1到位姿测量杆件末端坐标系6-1的位姿变换矩阵t4。将至少带有三个特征点的标定物(图中未标出)放在立体视觉系统有效视场范围内，立体视觉系统获取特征点在立体视觉坐标系下的位置信息，记作(xn1,yn1,zn1),(xn2,yn2,zn2),...,(xni,yni,zni)，i为特征点个数，i≥3。然后操作手持示教装置分别示教这些特征点，立体视觉系统完整清晰地采集每次示教时特征识别单元5的图像信息，计算机通过数据处理计算每次示教时立体视觉坐标系到特征识别单元坐标系5-1的位姿变换矩阵t3。

为方便说明，设tg为立体视觉坐标系到位姿测量杆件末端坐标系6-1的平移向量，即位姿测量杆件6的末端点在立体视觉坐标系下的位置信息，如式(6)所示：

其中，[xyz]^t为特征识别单元坐标系5-1到位姿测量杆件末端坐标系6-1的平移向量，为待求量，记作tt。

进一步进行矩阵运算，可以得到如式(7)所示的关系：

其中，i代表用于标定的特征点数量，且i≥3，[xniynizni]^t为立体视觉坐标系下的对应特征点的位置信息。

将i个特征点的位置信息(xn1,yn1,zn1),(xn2,yn2,zn2),...,(xni,yni,zni)带入式(7)，求得式(8)所示的关系：

对形如a·x＝b的矩阵格式且矩阵a不为方阵，可通过最小二乘法求得矩阵即为式(9)所示的关系：

从而求得特征识别单元坐标系5-1原点到位姿测量杆件末端坐标系6-1原点的平移向量tt，再由特征识别单5与位姿测量杆件6的形位关系确定旋转矩阵rt，最终构建出特征识别单坐标系5-1与位姿测量杆件坐标系6-1之间的位姿变换矩阵，记作t4。

将待加工物件放置在立体视觉系统的有效视场范围内，通过模式选择按钮8和状态显示3的显示状态联合确定示教点的轨迹拟合模式，操作手持示教装置到达规划路径上的设定点的位姿，立体视觉系统完整清晰地采集特征识别单元5的图像信息，计算机通过数据处理计算获取立体视觉坐标系与特征识别单元坐标系5-1的位姿变换矩阵t3。根据图4所示的坐标系转换关系，此时，根据位姿变换矩阵的封闭运动链，机器人基坐标系到位姿测量杆件末端坐标系6-1的位姿变换关系(记作t5)与机器人基坐标系到机器人末端夹持工具坐标系的位姿变化矩阵(记作t1，由机器人控制模块获取)、机器人末端夹持工具坐标系与立体视觉坐标系的位姿变换矩阵(记作t2，由机器人手眼标定获取)、立体视觉坐标系与特征识别单元坐标系5-1的位姿变换矩阵t3、手持示教装置上特征识别单元坐标系5-1与位姿测量杆件末端坐标系6-1的位姿变换矩阵t4之间的关系如式(10)所示：

t5＝t1·t2·t3·t4(10)

根据机器人基坐标系与位姿测量杆件末端坐标系6-1的位姿变换关系t5，可转换为所示教的一个设定点在机器人基坐标系下的位姿信息pp，计算机将其保存，等待所有设定点示教完成后，将所有设定在基坐标系下的位姿信息pp传输给机器人控制模块，控制机器人复现所有设定点的位姿状态，形成规划轨迹。

以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。除上述实施例外，本发明还可以有其它实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。