本发明涉及视觉检测和卷积神经网络，特别涉及三维涂胶宽度和高度的检测方法。
背景技术：
制造业的发展水平反映着一个国家的经济水平与科技水平，机器人技术与视觉检测技术作为智能制造的典型代表，其开发与研究越来越受到政府、企业以及各研究机构的重视。由于工业机器人具有高效、持久、速度快、准确性高等优势。同时随着胶粘技术的提升以及涂胶材料的改进，胶体的机械强度、密封性、隔热、防锈以及其重量轻的优势越来越突出，涂胶机器人的应用领域不断扩展，已经成为汽车生产、航空航天、轨道交通、国防科技、医疗设备制造等各个领域的材料连接、密封的重要技术手段。随着越来越多的高科技精密设备对机器人涂胶的使用，涂胶检测问题逐渐进入人们的视线。
涂胶检测的准确度和精度以及检测的时间是涂胶检测的关键点，目前传统的基于机器视觉的涂胶检测只能检测涂胶位置是否正确，以及有无涂胶，无法对涂胶处进行定量分析并且对于形状复杂的工件无法进行涂胶质量的整体形状评估。限制三维涂胶检测的技术要点主要集中在测量精度与测量速度两个方面，如何能够在保证测量精度的同时尽可能的提升检测速度是当前研究工业机器人三维涂胶的关键。
综上所述，目前迫切需要提出一种测量精度和测量速度性能均较强地三维涂胶检测方法。
技术实现要素：
有鉴于此，本发明的主要目的在于实现三维涂胶的有效检测，且测量精度和测量速度性能均较强。
为达到上述目的，本发明提供了一种基于线结构光与多任务级联卷积神经网络的三维涂胶检测方法，该方法包括：
第一步骤，系统标定，图像采集；
第二步骤，关键点和胶区的粗略定位；
第三步骤，关键点纠正；
第四步骤，关键点迭代优化；
第五步骤，三维恢复；
第六步骤，计算涂胶的宽度和高度；
所述第二步骤进一步包括：
利用三层级联卷积神经网络对结构光光带中的胶体区域，以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位，其中该三层卷积神经网络分别为p-net，r-net，o-net。
所述第三步骤进一步包括：
关键点纠正，纠正关键点的粗定位坐标，假设纠正后的关键点坐标是k(x，y)，建立多目标优化模型的目标函数。
公式min
所述第四步骤进一步包括：
关键点迭代优化，保存本图像通过关键点纠正求得的纠正坐标，用于计算另一幅图像中的dk-l，从而使另一幅图像中的关键点的纠正坐标精度更高，在左右图像中反复如此迭代，计算关键点的纠正的坐标，当其中一幅图中关键点的纠正坐标与其另一图像中的关键点的纠正坐标距离小于系统重投影误差时停止迭代。用此方法能够得到精确地关键点坐标。
所述第五步骤进一步包括：
三维恢复，空间任意点p在两个摄像机c1与c2上的图像点p1与p2已经从两个图像中分别检测出来。即已知p1与p2为空间同一点p的对应点。摄像机c1与c2的投影矩阵分别为m1与m2，于是有：
由于空间点p是o1p1与o2p2的交点，它必然同时满足上述方程组，因此可求出p点的坐标(x，y，z)。因为已经假设p1与p2点是空间同一点p的对应点，因此直线o1p1与o2p2一定相交，可以用最小二乘法求出p的三维点坐标(x，y，z)，即五个关键点的三维坐标。
所述第六步骤进一步包括：
计算涂胶的宽度和高度。运用a，b，c，d，e点分别代表涂胶的顶点，左端点，右端点，左下端点和右下端点。mbd和mce分别表示b，d连线的中点和c，e连线的中点。a点与由d点连接到e点的线之间的距离是胶水的高度。mbd点与mce点之间的距离是胶水的宽度。
附图说明
图1示出了按照本发明的三维涂胶检测的流程图。
图2示出了按照本发明的三维涂胶检测系统结构图。
图3示出了按照本发明的三维涂胶检测中的胶体关键点图。
图4示出了按照本发明的三维涂胶检测中的胶体高度和宽度示意图。
具体实施方式
为使贵审查员能进一步了解本发明的结构、特征及其他目的，现结合所附较佳实施例详细说明如下，所说明的较佳实施例仅用于说明本发明的技术方案，并非限定本发明。
图1给出了按照本发明的三维涂胶检测方法的流程图。如图1所示，按照本发明的三维涂胶检测方法包括：
第一步骤s1，系统标定，图像采集；
第二步骤s2，关键点和胶区的粗略定位；
第三步骤s3，关键点纠正；
第四步骤s4，关键点迭代优化；
第五步骤s5，三维恢复；
第六步骤s6，计算涂胶的宽度和高度；
所述第一步骤s1进一步包括：
系统标定，主要包含相机标定与相机与机器人手眼标定。相机标定主要包括两个相机各自内参的标定以及两相机之间的相对位置的标定(即右摄像头相对于左摄像头的平移向量t和旋转矩阵r)。文中采用的是张氏平面标定法，该方法需要摄像机从不同的角度拍摄平面模板的多幅图像，通过平面模板上的每个特征点与其图像上点之间的对应关系，考虑径向畸变并用最大似然准则对计算结果进行非线性优化，利用内参数矩阵和单应性矩阵求出对应的外部参数。
图像采集，系统结构图如图2所示，线结构光与双目相机通过相应的连接件被固定在机器人末端(tcp)，测量时结构光垂直照射在待检测涂胶上，双目相机从侧方向进行图像采集。
所述第二步骤s2进一步包括：
利用三层级联卷积神经网络对结构光光带中的胶体区域，以及胶体顶点、左端点、右端点、底部左端点、底部右端点五个关键点进行粗定位，其中该三层卷积神经网络分别为p-net，r-net，o-net。每层网络的介绍如下。
p-net网络，卷积和池化的步幅分别为1和2。该网络可以用来获得候选窗口和粘合区域的边界框的回归系数向量。详细地说，边界框被回归，候选窗口被校准，并且重叠的候选窗口被非最大抑制(nms)合并。
r-net网络，该层是对p-net的结果再进一步细划，得到更精细的候选区域，同样是通过边界框回归和nms来去掉那些false-positive区域。
o-net网络，该层比r-net又多了一层卷积，所以处理的结果会更加精细。作用和r-net层作用一样。但是该层对检测区域进行了更多的监督，同时还会输出5个地标(landmark)。o-net虽然速度较慢，但是由于经过前两个网络，已经得到了高概率的边框，所以输入o-net的图像较少，然后o-net输出精确的边框和关键点信息。
所述第三步骤s3进一步包括：
关键点纠正，纠正关键点的粗定位坐标，假设纠正后的关键点坐标是k(x，y)，建立多目标优化模型的目标函数。
公式min
所述第四步骤s4进一步包括：
关键点迭代优化，保存本图像通过关键点纠正求得的纠正坐标，用于计算另一幅图像中的dk-l，从而使另一幅图像中的关键点的纠正坐标精度更高，在左右图像中反复如此迭代，计算关键点的纠正的坐标，当其中一幅图中关键点的纠正坐标与其另一图像中的关键点的纠正坐标距离小于系统重投影误差时停止迭代。用此方法能够得到精确地关键点坐标。
所述第五步骤s5进一步包括：
三维恢复，空间任意点p在两个摄像机c1与c2上的图像点p1与p2已经从两个图像中分别检测出来。即已知p1与p2为空间同一点p的对应点。摄像机c1与c2的投影矩阵分别为m1与m2，于是有：
由于空间点p是o1p1与o2p2的交点，它必然同时满足上述方程组，因此可求出p点的坐标(x，y，z)。因为已经假设p1与p2点是空间同一点p的对应点，因此直线o1p1与o2p2一定相交，可以用最小二乘法求出p的三维点坐标(x，y，z)。
所述第六步骤s6进一步包括：
计算涂胶的宽度和高度，计算方法如图4所示。a，b，c，d，e点分别代表顶点，左端点，右端点，左下端点和右下端点。mbd和mce分别表示b，d连线的中点和c，e连线的中点。a点与由d点连接到e点的线之间的距离是胶水的高度。mbd点与mce点之间的距离是胶水的宽度。
与现有的三维涂胶检测技术相比，本发明的三维涂胶检测方法可以检测出涂胶区域的宽度和高度，且测量精度和测量速度性能均较强。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，应当理解，本发明并不限于这里所描述的实现方案，这些实现方案描述的目的在于帮助本领域中的技术人员实践本发明。任何本领域中的技术人员很容易在不脱离本发明精神和范围的情况下进行进一步的改进和完善，因此本发明只受到本发明权利要求的内容和范围的限制，其意图涵盖所有包括在由所附权利要求所限定的本发明精神和范围内的备选方案和等同方案。