一种标靶装置、基于双目视觉测量的位姿检测系统及方法

本发明涉及视觉测量领域，尤其涉及一种标靶装置、基于双目视觉测量的位姿检测系统及方法。

背景技术：

随着高端制造业的发展，对机器人的加工精度要求越来越高。例如，在使用机器人加工相应的产品时，需要在机器人的末端夹设焊枪、刀具等加工工具，工具中心点的位姿标定精度直接影响着机器人的加工精度。其中,位姿是指机器人末端工具在指定坐标系中的位置和姿态。

通常机器人更换新的工具或者经过长时间的作业后，工具的中心点会出现一定的偏差，导致机器人的加工精度降低，所以需要测定机器人末端工具的中心点，以便进行偏差补偿。目前，对于机器人末端位姿的测量，常用的方法包括人工观察法、激光跟踪法以及视觉传感器测量法，比如，人工观察法中，以多姿态靠近固定监测点，实现末端位姿的测定，但是依赖手工移动及肉眼观察，其精度及稳定性均较低。激光跟踪法中，需要使用激光跟踪仪，激光跟踪仪具有精度高，测量范围大，测量方式简单等优点，但是市面上的激光跟踪仪具有设备昂贵、搬运困难、维修成本过高等缺陷，不适合进行生产加工阶段的高效生产模式。视觉传感器测量法中，受限于机器人结构，在实际测量过程中，确定传感器位姿的准确性低，测量难度大，并且在相同环境下，需要分别测量传感器和机器人的坐标，利用矩阵变换进行坐标标定，标定过程复杂，效率较低，并且实际测量过程中需要2个以上的传感器，而传感器在时间上难以保持同步，因此实用性差以及准确性低。

技术实现要素：

本申请实施例通过提供一种标靶装置、基于双目视觉测量的位姿检测系统及方法，解决了现有技术中机器人位姿检测的各种缺陷，通过双目视觉测量技术实现提高效率，降低成本、便于搬运等有益效果。

第一方面，本申请实施例提供了一种标靶装置，包括：靶体和多个靶球；

所述靶体为两个端面、一个或多个侧面的立体结构；

所述靶体的端面、侧面分别设有靶球安装孔，通过所述靶球安装孔安装各所述靶球；

所述靶体侧面的所有所述靶球由近至远顺时针依次靠近所述靶体的其中一个端面，并且所述靶体侧面除距离端面最近和最远的靶球间距外，相邻所述靶球之间的间距相等。

进一步地，所述靶体的另一个端面设有多个法兰安装孔，用于连接机械臂或机器人末端。

进一步地，所述法兰安装孔均匀分布在同一同心圆与端面中线的交点处，围绕同端面的所述靶球安装孔。

进一步地，所述靶球包括杆体和球体，所述杆体和球体一体连接。

进一步地，所述靶球采用哑光靶球。

进一步地，所述靶球的圆度为0.5um。

进一步地，所述靶体为长方体结构，所述靶球安装孔分别设于所述靶球端面的中心位置以及靶球侧面垂直于端面的中心线上。

第二方面，本申请实施例提供了一种基于双目视觉测量的位姿检测系统，包括终端设备、双目相机、以及如第一方面所述的标靶装置；

所述标靶装置包括靶球和靶体；所述靶球分别设有不同编号，根据编号将所述靶球分别安装于所述靶体端面、侧面的对应位置；

所述靶体可拆卸式安装于机械臂或机器人末端；

所述双目相机的镜头正对所述靶体侧面，用于拍摄多个正对镜头的侧面靶球的标定图像，以获取所述双目相机镜头下的位姿检测区域；

所述终端设备与所述双目相机电连接，用于接收多个所述标定图像后，输出位姿检测区域上连接所述靶体的机械臂或机器人的实时位姿。

第二方面，本申请实施例提供了一种利用第二方面所述的基于双目视觉测量的位姿检测系统的检测方法，所述方法包括步骤：

s1：对双目相机进行内外参标定；

s2：接收所述双目相机拍摄的多个标定图像；

多个所述标定图像包括所述靶体不同侧面的所述靶球正对所述双目相机镜头时的姿态图像；

s3：对各所述标定图像进行图像预处理；

所述图像预处理包括利用高斯滤波器对所述标定图像进行降噪处理，并对降噪后的标定图像进行二值化处理，分离出包含靶球的目标区域和不包含靶球的背景区域；

s4：利用霍夫圆检测法找出所有所述目标区域中的所有圆形，并找出每个圆形的圆心，作为特征点保存；

s5：利用靶球标号识别算法得到每个特征点所属靶球，在双目相机中构建标靶坐标系；

s6：将所述靶体远离侧面靶球的一端面上的所述靶球拆除后，再将所述靶体安装于机器人末端的法兰部上，驱动机器人活动，计算获取标靶坐标系下机器人的实时位姿。

进一步地，所述步骤s5中，构建标靶坐标系的方法包括：

s51：提取多个包含靶球的目标区域，将所述目标区域内靶体两端面的靶球所在特征点，分别设为第一端部特征点、第二端部特征点；靶体侧面的靶球所在特征点，按顺序依次设为第一侧部特征点、第二侧部特征点、第三侧部特征点、第四侧部特征点；

s52：将其中一个所述目标区域作为参考区域，所述第一端部特征点作为第一参考点，所述第二端部特征点作为第二参考点；

s53：将其他目标区域的第一端部特征点移动到参考区域的第一参考点处，并旋转其他目标区域，使其他目标区域中的所述第二端部特征点与参考区域中的第二参考点的方向相同；

s53：按照第一侧部特征点、第二侧部特征点、第三侧部特征点、第四侧部特征点的顺序，将每个所述目标区域依次旋转，获取第二端部特征点集、第一侧部特征点集、第二侧部特征点集、第三侧部特征点集、第四侧部特征点集；

s54：基于opencv中的orb算法，获取步骤s53中各个特征点集的质心，以便将所有特征点集统一成一个特征区域；

s55：在特征区域中，以第一端部特征点为坐标轴原点，第一端部特征点到第二端部特征点所在向量为z轴，第一侧部特征点到第二侧部特征点与z轴垂直的分量轴为x轴，通过右手定则构建标靶坐标系。

本申请实施例中提供的多个技术方案，至少具有如下技术效果：

(1)本发明的标靶装置基于视觉测量技术，可以但不局限于应用到工业机器人的精密加工领域、医疗器械的运动医学领域，从而基于计算机视觉技术的进步，测量精度的提高，使用范围也越来越广阔。

(2)本发明由于采用的标靶装置由靶体和多个靶球构成，且靶体以及靶球间的位置距离固定，因此计算位姿时，效率高、成本低，并且易于搬运。

(3)本发明由于将标靶装置应用到了基于双目视觉测量的位姿检测系统，从而方便工业机器人在加工生产中的实际运用。

(4)本发明在基于双目视觉测量的位姿检测系统中操作简单，更易集成到加工环境、工作范围大等优点。

(5)本发明的检测方法中，在图像预处理后，直接利用霍夫圆检测法找到特征点，并利用特征点构件标靶坐标系后，从双目相机的双目坐标系转到标靶坐标系，加快运算速度，提高位姿检测精度。

附图说明

图1为本申请实施例一中标靶装置的一种结构示意图；

图2为本申请实施例一中标靶装置的一种侧视结构图；

图3为本申请实施例一中标靶装置的另一种侧视结构图；

图4为本申请实施例一中标靶装置的另一种结构俯视图；

图5为本申请实施例一中标靶装置的另一种结构示意图；

图6为本申请实施例一中靶体结构示意图；

图7为本申请实施例一中靶体侧面正视图；

图8为本申请实施例一中靶体侧面剖视图；

图9为本申请实施例一中靶体俯视图；

图10为本申请实施例一中靶球结构示意图；

图11为本申请实施例二中的一种基于双目视觉测量的位姿检测系统结构示意图；

图12为本申请实施例三中的一种基于双目视觉测量的位姿检测方法流程图。

附图标号：标靶装置100，双目相机200，机器人300，终端设备400，靶体7，法兰安装孔8，靶球安装孔9，球体10，杆体11，外螺纹12，靶球编号1、2、3、4、5、6。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

实施例一

参考附图1-5所示，本申请实施例提供了一种标靶装置，包括：靶体7和多个靶球。

本实施例中，参考图6-9所示，靶体7为两个端面、一个或多个侧面的立体结构；进一步地，靶体7可以为圆柱体、长方体或其他多个侧面的多面体结构。优选地，靶体7采用长方体结构，包括两个端面和四个侧面。

本实施例中，靶体7的端面、侧面分别设有靶球安装孔9，通过所述靶球安装孔9安装各所述靶球。在一种实施例中，靶体7为长方体结构，所述靶球安装孔9分别设于所述靶球端面的中心位置以及靶球侧面垂直于端面的中心线上，即靶体7端面的中心位置设置所述靶球安装孔9，靶体7侧面为长方形时，各侧面垂直于端面的中心线上设置靶球安装孔9。进一步地，靶体7为长方体靶体，包括2个端面和4个侧面，端面对角线的交点处设置靶球安装孔9，侧面垂直于端面的中心线上设置所述靶球安装孔9。进一步地，靶体7侧面的靶球安装孔9呈螺旋式分布，使得除端部的靶球安装孔9外，其他相邻靶球安装孔9之间的间距相等。

本实施例中，靶体7侧面的所有所述靶球由近至远顺时针依次靠近所述靶体7的其中一个端面，并且靶体7侧面除距离端面最近和最远的靶球间距外，相邻所述靶球之间的间距相等。进一步地，靶体7为长方体靶体，包括6个工作面，具体为相对设置的2个正方形工作面，依次相邻环绕设置的4个长方形工作面。靶球上带有编号，依次包括1、2、3、4、5、6。本实施例中，编号1和编号4的靶球安装于正方形工作面的中心位置处；编号2、编号6、编号5、编号3的靶球沿顺时针方向安装于靠近编号1靶球的各个长方体工作面的中心线上。进一步地，编号2-6、编号6-5以及编号5-3的靶球间距相等，并且编号2、编号6、编号5、编号3的靶球由近至远靠近编号1的靶球。

本实施例中，靶体7的另一个端面设有多个法兰安装孔8，用于连接机械臂或机器人末端。即通过所述法兰安装孔8连接机械臂或机器人末端。法兰安装孔8均匀分布在同一同心圆与端面中线的交点处，围绕同端面的所述靶球安装孔9。进一步地，靶体7端面为正方形，端面的靶球安装孔9设置于正方形的对角线相交处。法兰安装孔8位于同一同心圆上，与同一端面的靶球安装孔9距离相等。

本实施例中，参考图10所示，靶球包括杆体11和球体10，所述杆体11和球体10一体连接。在一种实施例中，靶球安装孔9为螺纹孔，进而靶球杆体11上设有外螺纹12，通过螺纹连接将靶球可拆卸式安装于靶体7的靶球安装孔9内。

本实施例中，所述靶球采用哑光靶球。所述靶球采用超硬陶瓷材料制作而成。进一步地，本实施例中靶球球体10的圆度为0.5um，便于应用在加工精度要求较高的生产制造上。本实施例中的靶球采用超硬陶瓷材料，特殊模具制造，经超精密加工制作而成。

实施例二

参考附图11所示，本申请实施例提供了一种基于双目视觉测量的位姿检测系统，包括终端设备400、双目相机200、以及实施例一中的标靶装置100。

标靶装置100包括靶球和靶体7；所述靶球分别设有不同编号，根据编号将靶球分别安装于所述靶体7端面、侧面的对应位置；所述靶体7可拆卸式安装于机械臂或机器人300末端。

进一步如图1所示，靶体7的两端面中心位置以及侧面垂直于端面的中心线上预设有靶球安装孔9，靶体7安装靶球后，即可知靶球之间的位置关系，那么在固定其中一个靶球位置时，即可知道其他靶球的位置。

本实施例中，双目相机200的镜头正对所述靶体7侧面，用于拍摄多个正对侧面靶球的标定图像，以获取所述双目相机200镜头下的位姿检测区域。进一步地，靶体7为长方体结构，那么侧面包括4个长方形，正对拍摄时，双目相机200按照预设编号的靶球所在侧面进行正面拍摄，即可拍摄到具有正面靶球的标定图像。通过多个方向的标定图像以及已知的靶球之间的位置关系，即可获取双目相机200镜头下标靶装置100所在的位姿检测区域。

本实施例中，所述终端设备400与所述双目相机200电连接，用于接收多个所述标定图像后，输出位姿检测区域上，连接所述靶体7的机械臂或机器人300的实时位姿。本实施例中的终端设备400可以是但不局限于计算机设备、手机终端。

实施例三

参考附图12所示，本申请实施例提供了一种利用基于双目视觉测量的位姿检测系统的检测方法，该方法包括步骤：

步骤s1：对双目相机进行内外参标定。

本实施例中基于双目视觉测量技术，因此在具体实施方式中使用到双目相机，双目相机在三维重建、自动驾驶、目标检测等领域发挥着显著作用。

本步骤中的双目相机标定可以但不局限于基于几何测量的标定和自标定两种标定方法，进一步解释，双目相机标定是计算机视觉领域的一项关键技术，主要目的是获取双目相机的内参数、外参数以及镜头畸变参数等。其中，内参数包括相机的焦距、主点、切变系数等；外参数包括两相机之间的相对位移和相对旋转；镜头畸变包括径向畸变和切向畸变。双目相机标定可应用于三维建模、虚拟现实、增强现实等领域。

基于几何测量的标定一般会使用一个特定的已知尺寸的标记物来提供图像点与三维空间对应点的映射关系，从而计算出标定参数。在实际应用中，主要有tsai法使用三维标定板，以及张正友方法使用平面标定板。自标定则不需要特定的标记物。自标定细分为两类：基于场景约束的自标定和基于几何约束的自标定。基于场景约束的自标定往往借助于场景里的特定模式，如平行线，来提供正交的消隐点和消隐线，再根据多视角几何算法求解标定参数。基于几何约束的自标定则依靠多视图彼此间的内在几何限制，如绝对二次曲线约束，来完成标定任务。

步骤s2：接收所述双目相机拍摄的多个标定图像。

多个所述标定图像包括所述靶体不同侧面的所述靶球正对所述双目相机镜头时的姿态图像。各所述标定图像中包括不同编号的所述靶球正对所述双目相机时的姿态。进一步地，基于实施例一和实施例二中的举例说明，接收编号2、编号6、编号7、编号3的靶球所在面正对双目相机时的姿态，进行标定后，即为控制双目相机拍摄得到标靶的标定图像。

步骤s3：对各所述标定图像进行图像预处理。

所述图像预处理包括利用高斯滤波器对所述标定图像进行降噪处理，并对降噪后的标定图像进行二值化处理，分离出包含靶球的目标区域和不包含靶球的背景区域。

步骤s4：利用霍夫圆检测法找出所有所述目标区域中的所有圆形，并找出每个圆形的圆心，作为特征点保存。

步骤s5：利用靶球标号识别算法得到每个特征点所属靶球，在双目相机中构建标靶坐标系。

进一步地，对双目相机中左右相机拍摄的图像，靶球编号相同的特征点进行匹配，依次获取每个特征点在双目相机坐标系中的位置。进一步通过靶球标号识别算法得到每个特征点所属靶球的方法包括：基于步骤s4中找出的所有特征点，对于任意一个目标区域，找到距离所有靶球都远的靶球记为第一端部靶球；找到距离第一端部靶球最远的靶球记为第二端部靶球；输入正对双目相机侧面靶球第一侧部靶球，距离第二端部靶球和第一端部靶球连线中点最近的为编号n靶球，计算剩下靶球到第二端部靶球的距离，并依据距离依次标号。

举例说明，标靶装置100包括长方体靶体和若干带有编号的靶球，靶球编号依次包括编号1、编号2、编号3、编号4、编号5、编号6。编号1靶球和编号4靶球的安装于正方形端面的中心位置处，编号2靶球、编号6靶球、编号5靶球、编号3靶球由近至远靠近编号1靶球。当然，对于各个靶球的编号，操作用户已知，但终端设备未知，本步骤的目的就是通过计算让终端设备实现对各个靶球进行标号，并且标号结果与靶球编号一一对应。具体分析如下：基于步骤s4中已找到的特征点，此时特征点所属靶球编号未知，那么先通过距离信息找到编号4靶球，编号4靶球与其他所有编号的靶球距离都较远，因此确定编号4靶球，根据编号4靶球，找到并确定与编号4靶球距离最远的编号1靶球，进一步输入当前正对双目相机镜头的靶球编号，附图2所示，输入并确定编号2靶球，再通过编号1靶球和编号4靶球之间的连线，找到与连线中点距离最近的编号3靶球，通过计算剩下的两个靶球到编号4靶球的距离信息，依据距离信息依次标号。当然，本步骤中可以根据不同侧面靶球多次计算，对于编号3靶球作为正对靶球时，依据顺时针装配设置，直接获取其他剩下的三个靶球编号。

进一步地，步骤s5中，构建标靶坐标系的方法包括：

步骤s51：提取多个包含靶球的目标区域，将所述目标区域内靶体两端面的靶球所在特征点，分别设为第一端部特征点、第二端部特征点；靶体侧面的靶球所在特征点，按顺序依次设为第一侧部特征点、第二侧部特征点、第三侧部特征点、第四侧部特征点。

步骤s52：将其中一个所述目标区域作为参考区域，所述第一端部特征点作为第一参考点，所述第二端部特征点作为第二参考点。

步骤s53：将其他目标区域的第一端部特征点移动到参考区域的第一参考点处，并旋转其他目标区域，使其他目标区域中的所述第二端部特征点与参考区域中的第二参考点的方向相同。

步骤s53：按照第一侧部特征点、第二侧部特征点、第三侧部特征点、第四侧部特征点的顺序，将每个所述目标区域依次旋转，获取第二端部特征点集、第一侧部特征点集、第二侧部特征点集、第三侧部特征点集、第四侧部特征点集。

步骤s54：基于opencv中的orb算法，获取步骤s53中各个特征点集的质心，以便将所有特征点集统一成一个特征区域。

步骤s55：在特征区域中，以第一端部特征点为坐标轴原点，第一端部特征点到第二端部特征点所在向量为z轴，第一侧部特征点到第二侧部特征点与z轴垂直的分量轴为x轴，通过右手定则构建标靶坐标系。

步骤s6：将所述靶体远离侧面靶球的一端面上的所述靶球拆除后，再将所述靶体安装于机器人末端的法兰部上，驱动机器人活动，计算获取标靶坐标系下机器人的实时位姿。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。