基于单目相机的焊点深度测量方法、系统及介质与流程

本发明涉及工业视觉检测领域，具体地，涉及一种基于单目相机的焊点深度测量方法、系统及介质，尤其是一种适用于白车身焊点机器视觉检测方法。

背景技术：

汽车行业中的白车身点焊由于其焊接牢固，成本低而被广泛采用。点焊的检测关系到消费者的人身安全，其重要性不言而喻。超大批量生产的汽车，对点焊检测的需求大，传统的依靠人眼检测具有主观性、人易疲劳且受经验依赖性大，还有对人员的管理和开销问题。于是工业相机用于焊点检测被自然而然地成为人们努力突破的方向。焊点的7大缺陷类型中，压痕过深和压痕过浅就占据了两个席位。可见焊点的深度对于判定焊点是否合格有重要作用。要得到深度信息，目前采用的主要方法有三种：结构光；双目视觉；激光三角法。其中激光设备的成本较高，并不适合大规模使用。结构光三维扫描仪，必须有结构光源发射头，还要至少2个相机来拍摄，所以其尺寸难以做小。双目视觉三维扫描仪，顾名思义，必然要有两个相机的位置。而白车身上有众多复杂弧面，尤其是凹弧，对于结构光和双目视觉这样体型较大的硬件设备会产生死角。即使通过精巧的拍摄距离和角度设置看待了死角，而这个设置过程也会花费大量工时。而采用小巧灵活的单目工业相机，一般只能拍到二维的图像，不能得到图像的深度。常用的做法是通过二维图像来推断出三维，比如shapefromshading。但这种方法准确性不够，一般用来做定性分析，而不能做定量测量。而且它对光照和物理本身的表面特性敏感，容易产生较大误差。

专利文献cn106447766b公开了一种采用单目相机获取深度信息的方法，但它是通过激光照射在目标点上来关联两帧图像。在处理方法的准确度上仍然有待提高的空间。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于单目相机的焊点深度测量方法、系统及介质。

根据本发明提供的一种基于单目相机的焊点深度测量方法，包括：全局坐标系建立步骤：在地面设定位置建立全局坐标系，获取全局坐标系建立结果信息；单目相机内外参数标定步骤：根据全局坐标系建立结果信息，在确定位置放置棋盘格，根据每个控制点的坐标与该控制点在单目相机像平面中的成像点像素坐标之间的线性变换关系，标定出单目相机的内外参数，获取单目相机内外参数标定结果信息；序列图像采集步骤：根据机械手运动轨迹设定信息，机械手带动单目相机做设定轨迹的运动，单目相机在运动过程中采集序列图像，获取序列图像采集信息；焊点参数信息获取步骤：根据序列图像采集信息，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息；焊点深度获取步骤：根据序列图像采集信息、焊点中心位置信息以及焊点圆弧信息，抽取含有同一焊点的两幅图像，根据视觉差获取焊点深度信息；所述焊点深度信息能够指导点焊工艺的焊接过程。

优选地，包括：路径规划步骤：调整单目相机的焦距，规划机械手的路径，使得单目相机的镜头对准焊点，设定并保持单目相机到焊点的距离；所述路径规划步骤在单目相机内外参数标定步骤之前被执行。

优选地，焊点参数信息获取步骤包括：hough变换步骤：根据序列图像采集信息，对每帧图像采用hough变换，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息。

优选地，焊点深度获取步骤包括：参数求差步骤：根据焊点中心位置信息、焊点圆弧信息，获取焊点圆心深度信息、焊点圆弧所在平面深度信息；根据焊点圆心深度信息、焊点圆弧所在平面深度信息，计算焊点圆心的深度和焊点圆弧所在平面的深度的差值，获取焊点深度信息；所述焊点圆弧所在平面是取焊点圆弧上三个确定的点所组成的平面。

优选地，所述取焊点圆弧上三个确定的点分别为焊点与左右两个焊点中心的连线在本焊点圆弧上的交点，以及垂直于与左边焊点连线的直线与上半圆弧的交点。

根据本发明提供的一种基于单目相机的焊点深度测量系统，包括：全局坐标系建立模块：在地面设定位置建立全局坐标系，获取全局坐标系建立结果信息；单目相机内外参数标定模块：根据全局坐标系建立结果信息，在确定位置放置棋盘格，根据每个控制点的坐标与该控制点在单目相机像平面中的成像点像素坐标之间的线性变换关系，标定出单目相机的内外参数，获取单目相机内外参数标定结果信息；序列图像采集模块：根据机械手运动轨迹设定信息，机械手带动单目相机做设定轨迹的运动，单目相机在运动过程中采集序列图像，获取序列图像采集信息；焊点参数信息获取模块：根据序列图像采集信息，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息；焊点深度获取模块：根据序列图像采集信息、焊点中心位置信息以及焊点圆弧信息，抽取含有同一焊点的两幅图像，根据视觉差获取焊点深度信息；所述焊点深度信息能够指导点焊工艺的焊接过程。

优选地，包括：路径规划模块：调整单目相机的焦距，规划机械手的路径，使得单目相机的镜头对准焊点，设定并保持单目相机到焊点的距离；所述路径规划模块在单目相机内外参数标定模块之前被执行。

优选地，焊点参数信息获取模块包括：hough变换模块：根据序列图像采集信息，对每帧图像采用hough变换，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息。

优选地，焊点深度获取模块包括：参数求差模块：根据焊点中心位置信息、焊点圆弧信息，获取焊点圆心深度信息、焊点圆弧所在平面深度信息；根据焊点圆心深度信息、焊点圆弧所在平面深度信息，计算焊点圆心的深度和焊点圆弧所在平面的深度的差值，获取焊点深度信息；所述焊点圆弧所在平面是取焊点圆弧上三个确定的点所组成的平面。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现基于单目相机的焊点深度测量方法的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明仅用一个单目相机(工业相机)采集图像，机器人抓着单目相机把车身上所有焊点都扫一遍，就能知道各个焊点的深度信息；

2、本发明采用hough变换来关联，为物理硬件上省去了一项开销，而且像素级的处理方法，更加准确。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的方法流程示意图。

图2为本发明的系统框架示意图。

图3为本发明实施例中找对应点方法示意图。

图中：

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1、图2、图3所示，根据本发明提供的一种基于单目相机的焊点深度测量方法，包括：全局坐标系建立步骤：在地面设定位置建立全局坐标系，获取全局坐标系建立结果信息；单目相机内外参数标定步骤：根据全局坐标系建立结果信息，在确定位置放置棋盘格，根据每个控制点的坐标与该控制点在单目相机像平面中的成像点像素坐标之间的线性变换关系，标定出单目相机的内外参数，获取单目相机内外参数标定结果信息；序列图像采集步骤：根据机械手运动轨迹设定信息，机械手带动单目相机做设定轨迹的运动，单目相机在运动过程中采集序列图像，获取序列图像采集信息；焊点参数信息获取步骤：根据序列图像采集信息，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息；焊点深度获取步骤：根据序列图像采集信息、焊点中心位置信息以及焊点圆弧信息，抽取含有同一焊点的两幅图像，根据视觉差获取焊点深度信息；所述焊点深度信息能够指导点焊工艺的焊接过程。

优选地，包括：路径规划步骤：调整单目相机的焦距，规划机械手的路径，使得单目相机的镜头对准焊点，设定并保持单目相机到焊点的距离；所述路径规划步骤在单目相机内外参数标定步骤之前被执行。

优选地，焊点参数信息获取步骤包括：hough变换步骤：根据序列图像采集信息，对每帧图像采用hough变换，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息。

优选地，焊点深度获取步骤包括：参数求差步骤：根据焊点中心位置信息、焊点圆弧信息，获取焊点圆心深度信息、焊点圆弧所在平面深度信息；根据焊点圆心深度信息、焊点圆弧所在平面深度信息，计算焊点圆心的深度和焊点圆弧所在平面的深度的差值，获取焊点深度信息；所述焊点圆弧所在平面是取焊点圆弧上三个确定的点所组成的平面。

优选地，所述取焊点圆弧上三个确定的点分别为焊点与左右两个焊点中心的连线在本焊点圆弧上的交点，以及垂直于与左边焊点连线的直线与上半圆弧的交点。

具体地，在一个实施例中，一种基于单目相机的焊点深度测量方法如下：单目相机装在机械手的末端以获得确定的时间下确定的位置和方向。机械手带动相机运动时，相机以一定的帧率拍照，因此所得到的序列照片的序列号可以得到确定的拍照时的相机的方向和位置。在测试开始前，调整相机的焦距，并在设定机械手的轨迹时，按照所调整的焦距来确定相机平面到焊点的距离，并尽量使得相机光轴垂直于被拍焊点。

再建立以地面为参考系的世界坐标系。打印一张a4纸的棋盘格，粘贴在坚硬的板子上。板子以固定的位置和方向放置，比如垂直于世界坐标系的z轴，到原点的距离确定为100mm，棋盘格的经线平行于x轴，纬线平行为y轴。棋盘格不动，机械手带动相机在不同位置(每个位置都是坐标已知的)给棋盘格拍照。用张正友标定法，得到单目相机的内外参数。开始测试，相机拍出的序列图像中，找出同时含有同一个所感兴趣的焊点的两个位置的拍照。

针对焊点的位置得到两幅图像的视差图。根据视差图得到焊点中心的深度。根据视差图得到焊点圆弧所在平面的深度，方法为选定三个固定的点，在两个图像中分别得到。这三个点为：如图3所示，第二焊点2为待测量的焊点，第一焊点1为其左边焊点，第三焊点3为其右边焊点。第一焊点1与第二焊点2的中心的连线会与第二焊点2的圆弧有一个交点a。第三焊点3与第二焊点2的中心的连线会与第二焊点2的圆弧有一个交点b。在所选择的两幅原始图像中都可以找到这两个点，成为a1和a2，b1和b2。经过第二焊点2的中心可以找到一条直线垂直于第一焊点1和2的连心线。这条直线与第二焊点2的圆弧上半圆只有一个交点c。在所选择的两幅原始图像中都可以找到这两个点，成为c1和c2。可以根据两幅图像的视差，分别得到a、b和c三点的深度。从而得到它们在世界坐标系的坐标。三点确定一个平面。第二焊点2的中心的深度，也可推出中心在世界坐标系的坐标。在世界坐标系中，一点到一个平面的位置都确定，则它们的距离是可以算出来的。这就是焊点的深度。

本领域技术人员可以将本发明提供的基于单目相机的焊点深度测量方法，理解为本发明提供的基于单目相机的焊点深度测量系统的一个实施例。即，所述基于单目相机的焊点深度测量系统可以通过执行所述基于单目相机的焊点深度测量方法的步骤流程实现。

根据本发明提供的一种基于单目相机的焊点深度测量系统，包括：全局坐标系建立模块：在地面设定位置建立全局坐标系，获取全局坐标系建立结果信息；单目相机内外参数标定模块：根据全局坐标系建立结果信息，在确定位置放置棋盘格，根据每个控制点的坐标与该控制点在单目相机像平面中的成像点像素坐标之间的线性变换关系，标定出单目相机的内外参数，获取单目相机内外参数标定结果信息；序列图像采集模块：根据机械手运动轨迹设定信息，机械手带动单目相机做设定轨迹的运动，单目相机在运动过程中采集序列图像，获取序列图像采集信息；焊点参数信息获取模块：根据序列图像采集信息，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息；焊点深度获取模块：根据序列图像采集信息、焊点中心位置信息以及焊点圆弧信息，抽取含有同一焊点的两幅图像，根据视觉差获取焊点深度信息；所述焊点深度信息能够指导点焊工艺的焊接过程。

优选地，包括：路径规划模块：调整单目相机的焦距，规划机械手的路径，使得单目相机的镜头对准焊点，设定并保持单目相机到焊点的距离；所述路径规划模块在单目相机内外参数标定模块之前被执行。

优选地，焊点参数信息获取模块包括：hough变换模块：根据序列图像采集信息，对每帧图像采用hough变换，得到图像中所有焊点的中心位置和焊点的圆弧，获取焊点中心位置信息、焊点圆弧信息。

优选地，焊点深度获取模块包括：参数求差模块：根据焊点中心位置信息、焊点圆弧信息，获取焊点圆心深度信息、焊点圆弧所在平面深度信息；根据焊点圆心深度信息、焊点圆弧所在平面深度信息，计算焊点圆心的深度和焊点圆弧所在平面的深度的差值，获取焊点深度信息；所述焊点圆弧所在平面是取焊点圆弧上三个确定的点所组成的平面。

根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现基于单目相机的焊点深度测量方法的步骤。

本发明通过建立地面的世界坐标系，并用确定位置的棋盘格标定单目相机的内外参数；本发明通过机械手的运动和相机拍照的节拍相关联，从而根据单目相机的序列号，就能知道此时相机的位置信息；本发明通过对每个图像用hough变换找出所有的焊点，并保存焊点的圆心位置和圆弧直径；本发明通过挑选含有拍到同一完整焊点的两帧图像，结合它们的位置信息和参数标定，得到焊点部位的视差图；本发明中，焊点圆弧所在的平面用三个固定的点所在平面来决定；本发明中，焊点中心的深度和焊点圆弧所在的平面的距离就是焊点的深度。

本发明仅用一个单目相机(工业相机)采集图像，机器人抓着单目相机把车身上所有焊点都扫一遍，就能知道各个焊点的深度信息；本发明采用hough变换来关联，为物理硬件上省去了一项开销，而且像素级的处理方法，更加准确。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。