基于双目立体视觉的工件检测与三维测量系统及检测方法与流程

本发明为基于双目立体视觉的工件检测与三维测量系统及检测方法，属于图像处理与机器视觉领域，涉及halcon软件，具体涉及工厂生产工件的实时在线检测。

背景技术：

在目前的工业生产中，在线检测、测量大批工件时，人工视觉检测、测量常出现效率低下且精度不高、容易损伤工件表面等问题。对于普通的机械测量工具而言，虽不易出现人工测量问题，但都是固定程式控制测量，对工件的位置要求特别高，否则无法测量，未达到尺寸测量的完全智能化。而非接触式双目立体视觉测量系统不仅具有测量精度高、生产效率高、实时性强等优点，更为重要的是，由于双目摄像机的存在，实现了工件三维尺寸测量的智能化，受到了广大生产企业的青睐，已成为国内外解决先进制造业中测量问题的研究热点。因此研究实用工件的非接触式快速检测方法意义重大。

技术实现要素：

本发明提供的基于双目立体视觉的工件检测与三维测量系统包括图像采集模块、摄像机标定模块、图像预处理模块、立体校正模块、三维信息恢复模块以及检测与测量模块；具体检测方法步骤为：

a、图像采集；b、摄像机标定；c、图像预处理；d、立体校正；e、三维信息恢复；f、检测和测量；g、剔除不合格产品。

所述的图像采集模块的功能为：在低角度led环形光的垂直照射下，工件在传送带上运动到指定位置时，光电传感器会触发ccd相机、摄像头工作，摄像头将被测场景中的目标成像到ccd靶面上，将其变成电信号。摄像机标定模块的功能为：建立摄像机图像像素坐标与场景点三维坐标之间的关系，根据摄像机模型，由标定板己知特征点的图像坐标和世界坐标求解摄像机的内外参数。图像预处理模块的功能为：图像采集卡先将采集的电信号转化为数字图像信息，在计算机内实现存储、处理。图像处理软件采用德国mvtec公司开发的具有标准的机器视觉算法包、拥有应用广泛的机器视觉集成开发环境的halcon软件，其应用范围几乎没有限制，并且程序的移植性好、抗干扰能力强。立体校正模块的功能为：采用相交光轴结构的视觉测量系统，将工件图像立体校正为标准的外极线几何结构。三维信息恢复模块的功能为：通过特征点提取和立体匹配获取特征点视差值，从而恢复空间点的三维坐标信息。检测和测量模块的功能为：通过模型匹配检测剔除不合格产品，然后测量得到工件的一些参数，并对工件的规格进行分类。

前面所述系统中，优选方案为，所述步骤b的具体步骤如下所示：

b1、采集多幅标定板图像，通过阈值分割找到标定板的内部区域；

b2、通过亚像素边缘提取方法得到标定板各个圆点的边缘，通过最小二乘圆拟合获取圆点的圆心坐标，确定圆心坐标与它们在图像中投影之间的对应关系以及标定板与摄像机之间大致的位置关系，即摄像机的外参初始值；

b3、通过修改并调用halcon库函数来确定两个摄像机的内参数、外参数以及两个摄像机之间的相对位置关系；最后，通过多次测量取平均值来确定相关参数信息。

前面所述系统中，优选方案为，所述步骤c、d具体步骤如下：

c1、把采集的彩色图像对通过加权平均法转化为灰度图像；

c2、通过中值滤波对图像对进行图像平滑，达到去除噪声的同时保留边缘锐度和图像细节的目的；

d、将图像对校正为标准极线几何结构，使两图像对应像素点只存在水平方向的平移而不存在任何旋转。

前面所述系统中，优选方案为，所述步骤e具体步骤如下：

e1、对平滑处理后的图像进行自动全局阈值分割；

e2、对分割后的图像形态学处理提取出图像中工件部分，用基于canny的亚像素边缘检测算子提取亚像素边缘，并通过骨骼化方法进行边缘细化，减少边缘毛刺，提高检测的精确度；

e3、采用基于图像边缘轮廓特征点提取算法，将轮廓边缘分割成曲线和直线多个部分，分别对其进行亚像素边缘拟合，进一步提高边缘信息的精确度；通过ramer算法对拟合后的边缘轮廓进行递归细分提取特征点，并通过两两拟合直线的交点获取工件的边缘顶点，提高后期关键尺寸测量的准确性；

e4、采用极线约束与基于灰度的模板匹配相结合的方法进行立体匹配，这个约束把一个点在另一副图像上的搜索从二维降到了一维，通过标定可获取图像视差的最大最小值，将搜索范围限制在极线上的一个很小区间内，这样可以大大缩小对应点的搜索空间；找到匹配点搜索范围后，采用基于灰度的模板匹配来寻找匹配点，由于两个摄像机视角不同，光照也会产生一定的差异，所以采用ncc相似度量，消除光照影响；

e5、通过获取的左右图像上的坐标和摄像机的内外参数，利用三角形测量原理计算出特征点的空间三维坐标，获取空间点的三维点云。

前面所述系统中，优选方案为，所述步骤f具体步骤如下：

f1、基于以上基础通过密集型重构算法，获取图像每个点的三维空间坐标，创建模型，将获取的工件的三维模型与标准模型进行校对，通过匹配比率判断工件是否合格，剔除不合格产品；

f2、对合格工件进行测量，获取边缘特征点的空间三维点云，并对空间点云进行平滑、拟合，测量工件关键尺寸。

前面所述系统中，优选方案为，剔除装置和计算机相连，当检查到不合格产品时，计算机会触发一个信号给剔除装置，进而使不合格产品剔除。

与现有技术相比，本发明的优点在于：

1、本发明采用基于canny的亚像素边缘检测函数。图像测量中，精确的边缘定位是影响测量结果精确度的关键因素，使用亚像素边缘检测算子可以得到高精度的测量结果。该算法先利用canny算子进行边缘点的粗定位，在像素级上确定边缘点的坐标和梯度方向，然后再用基于双线性插值的亚像素边缘检测算法获得亚像素精度的边缘，并通过骨骼化方法进行边缘细化，减少边缘毛刺，最后通过亚像素边缘拟合，进一步提高边缘信息的精确度。

2、本发明采用基于图像边缘轮廓特征点提取算法。通过ramer算法对拟合后的边缘轮廓进行递归细分，直到得到的全部线段到各自对应的轮廓段的最大距离小于某一指定阈值为止，提取线段与轮廓的交点作为特征点。并将轮廓边缘分割成曲线和直线多个部分，提取两两拟合直线的交点通过判断确定其为工件的边缘顶点并作为特征点，提高关键尺寸测量的准确性。

3、本发明采用基于atukey权重函数的最小二乘法拟合。在拟合时，最小二乘法对于远离边缘的离群值没有很好的鲁棒性，到真实边缘很远的点在计算过程中会占有很大的权重，计算后得到不准确的边缘轮廓。本发明提出引入atukey权重函数来减小离群值的影响。权重值的迭代思想是第一次权重为1，然后用梯度下降法寻找到一个解向量，以此求下一次迭代的权重值。

4、本发明采用极线约束与基于灰度的模板匹配相结合的方法进行立体匹配，这个约束极大的降低了待验证的可能匹配点对的数量，把一个点在另一副图像上的搜索从二维降到了一维，通过标定可获取图像视差的最大最小值，则搜索范围可以限制在极线上的一个很小区间内，这样可以大大缩小对应点的搜索空间，既可以提高特征点的搜索速度，也可以减少误匹配的数量。找到匹配点搜索范围后，然后采用基于灰度的模板匹配来寻找匹配点，由于两个摄像机视角不同，光照也会产生一定的差异，所以采用ncc相似度量，消除光照影响。

附图说明

图1是图像处理系统结构图；其中1为相机，2为传送带，3为光电触发器，4为pc机，5为剔除设备，6为被测物体，7为环形光源；

图2是图像处理流程图。

具体实施方式

下面结合实施例和实验例详细说明本发明的技术方案，但保护范围不限于此。

实施例一种基于双目立体视觉的工件检测方法以及实现这种方法的图像处理系统，从而实现工件的实时在线检测。

图像处理系统结构图包含图像采集模块、摄像机标定模块、图像预处理模块、立体校正模块、三维信息恢复模块以及检测与测量模块。

图1为本发明的系统结构图，其包括：

led环形光，在传送带的正上方，为ccd相机提供光源；

工件被放置到传送带上，通过ccd相机；

光电触发器，该光电触发器与光源系统、ccd相机相连，用于触发ccd相机、摄像头工作；

图像处理单元为安装在计算机内部的halcon软件，用于将采集的图像进行滤波、自动阈值分割、亚像素边缘提取与拟合、特征点提取、极线约束与基于灰度的模板匹配相结合的方法进行立体匹配等处理，进而获得工件的三维空间点云通过拟合测量关键尺寸，实现工件的检测与三维测量；

图2为本发明的图像处理流程图，该方案包括如下步骤：

a、ccd相机采集工件的图像；

b、摄像机标定；

c、对采集的图像进行图像预处理及极线校正，具体步骤如下所示：

c1、把采集的彩色图像对通过加权平均法转化为灰度图像；

c2、通过中值滤波对图像对进行图像平滑并校正为标准极线几何结构；

d、对处理图像进行极线立体校正；

e、三维信息恢复，具体步骤如下所示：

e1、对平滑处理后的图像进行自动全局阈值分割；

e2、对分割后的图像形态学处理提取出图像中工件部分；用基于canny的亚像素边缘检测算子提取亚像素边缘，并通过骨骼化方法进行边缘细化，减少边缘毛刺，提高检测的精确度；

e3、采用基于图像边缘轮廓特征点提取算法；将轮廓边缘分割成曲线和直线多个部分，分别对其进行亚像素边缘拟合，进一步提高边缘信息的精确度；通过ramer算法对拟合后的边缘轮廓进行递归细分提取特征点，并通过两两拟合直线的交点获取工件的边缘顶点，提高后期关键尺寸测量的准确性；

e4、采用极线约束与基于灰度的模板匹配相结合的方法进行立体匹配，这个约束把一个点在另一副图像上的搜索从二维降到了一维，通过标定可获取图像视差的最大最小值，将搜索范围限制在极线上的一个很小区间内，这样可以大大缩小对应点的搜索空间；找到匹配点搜索范围后，采用基于灰度的模板匹配来寻找匹配点，由于两个摄像机视角不同，光照也会产生一定的差异，所以采用ncc相似度量，消除光照影响；

e5、若要确定空间中某点的三维坐标，只需要知道该点在左右图像上的坐标和摄像机的内外参数；而这些条件在完成摄像机系统标定和立体匹配成功后即可获得；然后利用三角形测量原理即可获得特征点的空间三维坐标，获取空间点的三维点云；

f、检测与测量，具体步骤如下所示：

f1、基于以上基础通过密集型重构算法，获取图像每个点的三维空间坐标，创建模型，将获取的工件的三维模型与标准模型进行校对，通过匹配比率判断工件是否合格，剔除不合格产品；

f2、对合格工件进行测量，获取边缘特征点的空间三维点云，并对空间点云平滑、拟合，测量工件关键尺寸；

g、剔除装置和计算机相连，当检查到不合格产品时，计算机会触发一个信号给剔除装置，进而使不合格产品剔除。

应当指出的是，具体实施方式只是本发明比较有代表性的例子，显然本发明的技术方案不限于上述实施例，还可以有很多变形。本领域的普通技术人员，以本发明所明确公开的或根据文件的书面描述毫无异议的得到的，均应认为是本专利所要保护的范围。