一种基于偏振图像和机器学习的高光物件测量方法与流程

本发明属于视觉测量技术领域，具体涉及一种基于偏振图像和神经网络学习对具有高反射表面的待测物体进行三维测量的方法。

背景技术：

视觉测量技术在工业生产和日常生活中具有广泛应用，其通过对相机采集的图像进行处理来获取待测物见的三维信息。因此，图像质量对视觉测量系统具有重要的意义，而对于具有高反射特性表面的物件，其表面的镜面反射会产生图像的高光区域，覆盖被测物件的外部纹理和颜色特征，最终或降低图像质量；常用的高光抑制方法主要是基于双色反射模型，通过改进算法以处理少量图像甚至单个图像，从而分离高光区域中的漫反射成份和镜面反射成份，最终达到去除高光的效果。但由于硬件限制和较少的图像信息，可能会导致物件真实信息的一些误差，如颜色失真、纹理失真甚至结构失真；因此，通过硬件和优化算法抑制物件图像的高光区域，同时降低其颜色、纹理和结构信息的失真度，具有重要现实意义。

技术实现要素：

本发明的目的在于克服传统高光抑制方法容易造成物件颜色信息失真、纹理信息失真和结构信息失真等问题，提供一种基于偏振图像和机器学习的高光物件测量方法，抑制物件图像的高光区域，同时降低其颜色、纹理和结构信息的失真度。

本发明提出的基于偏振图像和机器学习的高光物件测量方法，涉及构建视觉测量系统，并通过调节视觉测量系统中线偏振片和神经网络学习，实现高光物件测量。

所述的视觉测量系统，包括cmos相机、线偏振片、偏振片电动旋转架及其控制器；cmos相机采用张正友标定法标定获得内外参数；其中，线偏振片置于所述cmos相机与待测物件中间，其中心与cmos相机的光轴重合，线偏振片固定在电动旋转架内，由计算机通过连接电动旋转架控制器控制线偏振片角度，并控制cmos相机分别进行图像拍摄。

本发明方法的具体步骤为：

(1)搭建上述双目视觉测量系统，通过计算机控制电动旋转架，从而控制线偏振片的旋转角度；在不同旋转角度下，通过计算机控制左右cmos相机分别进行图像拍摄，得到多幅不同偏振角度下的图像，形成偏振图像序列；

(2)对拍摄的偏振图像进行白平衡处理：将图像依次从rgb转换为hsv通道，采用均值漂移算法对其v通道图像进行平滑；再通过公式(1)寻找重心

其中xi表示图像中每个像素，表示二维图像矩阵a中的像素坐标[a(x)，a(y)]，表示图像的r、g、b3个通道值[r，g，b]，上述5种数据共同构成一个5维空间，在此空间内像素点xi通过公式(1)计算并移动至坐标重心表示颜色重心，ha是图像矩阵a的核平滑尺度，hrgb为rgb通道核平滑尺度，g是高斯核函数；

(3)通过估计外部光源与平滑后图像v通道值之间的关系，得到图像的高光阈值，根据阈值提取每幅偏振图像中的高光像素：当图像v通道值超过阈值时，则判别为高光像素并提取；

(4)根据高光像素的数量及其v通道值，对提取的高光像素集从强到弱进行排序，强高光图像的高光像素数量和高光像素v通道值高于弱高光图像的高光像素数量和高光像素v通道值；最强高光图像的高光像素数量最多且高光像素值最大，最弱高光图像的高光像素数量最少且高光像素值最小；

(5)采用bp神经网络进行学习训练，首先初始化bp神经网络，即将神经网络的初始参数设置为高斯分布；对步骤(3)提取的高光像素进行采样，并将其v通道值进行归一化，构成矩阵m，基于矩阵m分别构造输入矩阵和对应输出矩阵，矩阵列数m等于最弱高光图像中的高光像素的个数，矩阵行数n等于除最弱高光图像以外的偏振图像数量，将除最弱高光图像以外的偏振图像的高光像素按照步骤(3)顺序构造输入矩阵，再将除最强高光图像以外的偏振图像高光像素按照步骤(3)的顺序构造bp神经网络的输出矩阵，bp神经网络的输出矩阵的维数与输入矩阵保持一致；若步骤(3)提取的高光像素值hi，j(i＝1，2，3，…，n；j＝1，2，3，…，m)低于高光阈值，则采用其对应图像中对应像素v通道值进行填充；

(6)将步骤(5)构造的输入和输出矩阵导入至bp神经网络，进行训练；再将最弱高光图像的高光像素v通道值输入至训练完成的神经网络中，将输出值反归一化，得到高光抑制后的高光像素v通道值，再将所得的高光像素v通道值替换最弱高光图像中对应像素点v通道值，同时可调整s通道值以增强物件表面的颜色信息，最后将将图像从hsv转换为rgb通道，再对rgb图像进行平滑；

(7)将步骤(6)所得的图像转换为灰度图进行双目视觉立体匹配，得到高光抑制之后的视差图，根据相机的内外标定参数，得到物件三维信息。

本发明能够对具有高反射特性表面的待测物件进行较为准确的视觉测量，通过抑制由外界光源引发的高光现象，提高视觉测量过程中立体匹配的准确率，最终获得更精确的测量结果。实验证明，本发明有效抑制了物件图像的高光，提高了视觉测量中的立体匹配精度，获得了更可靠的深度信息和更精确测量结果。

附图说明

图1是不同偏振角度下cmos相机采集的物件图像。

图2是用于高光抑制的bp神经网络算法流程图。

图3是高光抑制前后的视差图对比。

具体实施方式

(1)首先搭建一套双目视觉的被动测量系统，待测物件表面具有高反射率，其图像存在高光现象。待测物件放置在cmos相机前约350mm处，线偏振片置于电动偏振片旋转架内放置在cmos相机与待测物件中间，采用张正友标定法对cmos相机进行标定以求取相机的内外参数，用于矫正相机所拍摄的图像，相机的视场角为57.3°*43.8°(1/2')，基于标定参数矫正后的图像中，其空间分辨率约为0.21毫米/像素。如图2所示，基于上述实验装置，通过相机和线偏振片拍摄多幅不同偏振角度的图像，在高光区域中，不同偏振角度下(α，β，γ，θ)，图像具有明显变化，其中θ角度下，图像高光最弱，但是仍存在一些高光区域，导致物件特征被覆盖，从而在之后的图像立体匹配中，左右图像中在该区域中具有较大差异，影响特征匹配的精度，最终产生不准确的视差图和深度图。

(2)基于自动阈值白平衡算法，对步骤(1)采集的图像进行白平衡处理，对其中高光像素进行定位和提取，以减少不相关像素的干扰，再将处理后图像的颜色空间从rgb转换到hsv通道，提取其中直接反映光照信息v通道。为了减少图像中的噪声点，减少其对高光抑制和立体匹配的影响，引入均值漂移算法对其v通道图像进行平滑。设xi表示图像中每个像素，m表示图像中像素点的数量，则rgb图像中的每个像素点包含5种数据，分别为二维图像矩阵a中像素坐标x^a＝[a(x)，a(y)]，和rgb通道中3个通道值(x^rgb＝[r，g，b]。像素点xi在上述5种数据组成的空间中计算并移动至坐标重心以在图像矩阵a中坐标(a(x)，a(y))为中心点方形区域内的像素点，可表示为：

其中，ha是图像矩阵a的核平滑尺度，定义g为gaussian分布核函数，在公式(1)范围内，像素点xi根据颜色重心计算并移动至坐标重心坐标重心求解公式如下：

其中，hrgb为rgb通道核平滑尺度，hrgb与ha都是mean-shift算法中的敏感参数。

(3)经过步骤(2)对图像进行平滑后，通过估计外部光源与v通道图像灰度值之间的关系，可以得到图像的高光阈值，当图像v通道值超过阈值时，则为高光像素。

(4)根据高光像素的数量及其v通道值对提取的高光像素集从强到弱进行排序，强高光图像的高光像素数量和高光像素v通道值高于弱高光图像的高光像素数量和高光像素v通道值。

(5)如图3所示，引入反向传播(bp)神经网络以改进图像预处理模块，在采集的最弱高光偏振图像上进一步抑制图像高光。将神经网络的初始权重设置为高斯分布，并将步骤(3)提取的高光像素集作为神经网络的训练样本。将步骤(3)提取的高光像素采样后，其v通道值经归一化构成图3中的训练矩阵m，基于矩阵m分别构造输入矩阵和对应输出矩阵，将最弱高光图像中的高光像素的个数来确定输入矩阵的列数m，将除最弱高光图像以外的偏振图像数量作为输入矩阵的行数n，将除最弱高光图像以外的偏振图像的高光像素按照步骤(3)所述的顺序构造bp神经网络的输入矩阵，h1，1～hn，m表示输入矩阵中的高光像素v通道值(归一化)；再将除最强高光图像以外的偏振图像高光像素按照步骤(4)所述的顺序构造bp神经网络的输出矩阵，bp神经网络的输出矩阵的维数与输入矩阵保持一致，hopt，1～hopt，m表示输出矩阵中最后一行即最弱高光图像中高光像素v通道值(归一化)；不同偏振角对应不同尺寸的高光区域；若基于步骤(3)提取的像素值hi，j(i＝1，2，3，…，n；j＝1，2，3，…，m)低于高光阈值，会导致输入矩阵或输出矩阵存在空值，此时采用其对应图像中对应像素v通道值进行填充。

(6)将矩阵m最后一行作为神经网络的输入，得到对应的输出值，将输出值反归一化，得到v通道值hbp，将hbp替换最弱高光图像对应坐标的v通道值，同时调整s通道，以增强物件表面的颜色信息，再将图像从hsv转换为rgb通道，所得图像为最终高光抑制图像，随后再对rgb图像进行平滑，以进行立体匹配。

(7)将步骤6)所得图像转化为灰度图像，用于立体匹配，以总绝对差作为匹配准则，在立体图像对中搜索对应点，得到视差图，再根据步骤(1)中的相机标定参数计算得到深度图和物件三维信息。

图3为高光抑制前后的视差图对比，从实验结果看出，基于本发明所得高光抑制图像进行立体匹配，不仅填补了立体匹配算法中常见的匹配空洞(a/a'、c/c')，完善了待测物件的边缘信息(b/b')，并且增加了待测物件视差图的密度(d/d')，基于步骤(7)的深度图，分别测量图2中的a,b,c三个长度，与三坐标测量机测量结果对比，本发明的测量误差分别为0.30％、-0.28％、1.62％，与未进行高光抑制的双目系统的2.53％、3.87％、-11.29％相比，针对存在高反射特性的待测物件，本发明可以获得更可靠的深度图和更精确的测量结果。

本发明是通过实施例来描述的，但并不对本发明构成限制，参照本发明的描述，所公开的实施例的其他变化，如对于本领域的专业人士是容易想到的，这样的变化应该属于本发明权利要求限定的范围之内。