一种基于3D成像技术的LCM组件外形缺陷检测方法与流程

本发明涉及LCM组件外形缺陷检测领域，具体涉及一种基于3D成像技术的LCM组件外形缺陷检测领域。

背景技术：

现在的LCM(LCD Module，液晶显示器模块)组件生产过程中，LCM组件外形上的缺陷可以通过LCM组件中覆盖外围电路的Cover(覆盖)区域与屏幕区域外形上的高度关系来分辨，现有技术中对LCM组件中Cover区域与屏幕区域外形上高度关系的检测都是基于目测法，即双目识别方法，检测人员通过双眼，对LCM组件的Cover区域、屏幕区域高度进行观察，并做出两者高度差的判断。检测人员一般是18-24岁之间的视力较好的年轻人，利用目测法检测，带有很强的个人主观能动性，且检测人员工作时间太久，会造成眼疲劳，使检测结果的不精确。此外，生产线上需要大批的检测人员，成本很高，效率和精确度却比较低下。

技术实现要素：

本发明所要解决的技术问题是提供一种基于3D成像技术的LCM外形缺陷检测方法，目的在于提高LCM组件外形缺陷检测的效率和精确度，可以节约人工检测的成本。

本发明解决上述技术问题的技术方案如下：

一种基于3D成像技术的LCM组件外形缺陷检测方法，包括以下步骤：

S1，使用3D激光传感器获取LCM组件的原始高度图像，此图像中包括表示环境背景的背景区域、表示LCM组件中覆盖外围电路部分的Cover区域和表示LCM组件中屏幕部分的屏幕区域；

S2，根据3D激光传感器与LCM组件的位置关系将原始高度图像转换成表示LCM组件真实高度值的第一高度图像，利用背景区域与Cover区域和屏幕区域的高度值的范围差别过滤掉背景区域，得到仅含Cover区域和屏幕区域的第二高度图像；

S3，根据第二高度图像中Cover区域和屏幕区域的高度值来判断LCM组件外形是否存在缺陷。

本发明的有益效果是：使用3D激光传感器和数字图像技术检测LCM组件的外形缺陷，具有精确度高和检测效率高的特点，同时能节约人力成本。

在上述技术方案的基础上，本发明还可以做如下改进：

进一步，S3还包括以下步骤：

S31，根据第二高度图像中的部分像素点的高度值拟合得到一个所有像素点高度值位于同一平面的基准图像；

S32，将第二高度图像中各像素点的高度值与基准图像中对应的像素点的高度值相减求差，根据求差后的高度值数据获得第一高度差图；

S33，在第一高度差图中，根据屏幕区域中选定的高度值设定阈值，选出Cover区域中高度值被此阈值限定的范围，根据此范围的面积来判断LCM组件的外形是否存在缺陷。

采用上述进一步方案的有益效果是：对LCM组件使用3D传感器获取高度值图像时，放置LCM组件的台面可能存在倾斜或高低不平等情况，这样会使对LCM组件中Cover区域与屏幕区域本身的真实高度值的比较产生影响。从第二高度图像中选择部分区域的高度值拟合得到基准图像，该图像中所有高度值位于同一平面，将第二高度图像中各像素点的高度值与基准图像中对应的像素点的高度值相减求差，能消除放置LCM组件的台面倾斜或高低不平等情况造成的影响，使LCM组件的外形缺陷检测结果更精确。

进一步，S31中的第二高度图像中的部分像素点的选择过程具体包括：

通过在第二高度图像中获取Cover区域的范围，将此范围平移一个设定的位移到屏幕区域中选中一块与此范围面积大小相同的区域，此被选中的区域中的所有像素点即为第二高度图像中的部分像素点。

采用上述进一步方案的有益效果是：屏幕区域比Cover区域大，放置LCM组件的台面的不平整对屏幕区域的影响较大，通过选择屏幕区域中与Cover区域面积相等的一块区域的像素点来作为拟合平面所需的数据点，能较好的模拟放置LCM组件的台面不平整对整个LCM组件产生的影响，以便后续消除此影响。

进一步，获取Cover区域的范围的过程具体包括：

以第一次检测LCM组件外形缺陷时获取的第二高度图像的位置和范围为标记，以后每次检测其它LCM组件时将获得的对应的第二高度图像矫正到此标记的位置，根据矫正位置后的第二高度图像中屏幕区域的位置和面积设置一个固定的范围，利用开运算选出屏幕区域，将矫正位置后的第二高度图像与该被选出的屏幕区域求差集，获得Cover区域的范围。

采用上述进一步方案的有益效果是：在流水线检测LCM组件的时候，很多LCM组件待检测，通过矫正第二高度图像的位置和固定屏幕区域的范围，能加快分离选取Cover区域的速度，选取结果也更准确。

进一步，所述获得Cover区域的范围的过程还包括：

通过设定圆形噪点的半径值，对得到的差集进行消除圆形噪点的开运算，得到Cover区域的范围。

采用上述进一步方案的有益效果是：可以消除差集区域周围噪点的影响，使得到的Cover区域的范围更精确。

进一步，S32中根据求差后的高度值数据获得第一高度差图的过程具体包括：

对求差后的高度值数据进行中值滤波，消除高度值数据中的孤立数据噪声，获得第一高度差图。

采用上述进一步方案的有益效果是：中值滤波能消除高度值数据中数值过大或者过小的点，过滤掉图像采集和处理过程中的孤立数据噪声，让获得的第一高度差图的高度值数据更接近真实情况，使检测结果更准确。

进一步，S33中的判断LCM组件的外形是否存在缺陷的过程具体包括：求得第一高度差图中屏幕区域的高度差值的最低值，根据此最低值设定阈值，求得第一高度差图中被此阈值限定的区域，将此区域的位置与Cover区域的位置求得所有的交集区域，根据所有的交集区域的面积大小判断LCM组件的外形是否存在缺陷。

采用上述进一步方案的有益效果是：根据屏幕区域的最低值设置阈值，将超出阈值的区域选择出来即选择出高于屏幕区域最低值一定范围的区域，这样能有效控制检测精度；将选择出来的区域与Cover区域求交集后，根据交集区域的面积来判断LCM组件的外形缺陷，能排除孤立数据噪声等检测过程中的环境干扰和异常情况。

进一步，根据交集区域的面积大小判断LCM组件的外形是否存在缺陷的过程具体包括：

将所有的交集区域中位置关系较近的交集区域平滑连接后，形成新的各交集区域，根据新的各交集区域的面积大小判断LCM组件的外形是否存在缺陷。

采用上述进一步方案的有益效果是：将相邻的交集区域平滑连接，能排除数据采集和处理的过程中造成的数据点不连续问题，使检测结果更准确。

进一步，根据新的各交集区域的面积大小判断LCM组件的外形是否存在缺陷的过程具体包括：

设定一个特定面积值，选择出新的各交集区域中区域面积被此特定面积值限定的区域，若这样的区域存在，则LCM组件的外形是存在缺陷，否则，LCM组件的外形不存在缺陷。

采用上述进一步方案的有益效果是：根据实际检测情况的需要设定特定面积值，然后选择出超过和/或等于此面积值的区域，可以排除图像采集和处理过程中的异常情况，使检测的结果更接近真实情况。

进一步，S2中利用背景区域与Cover区域和屏幕区域的高度值的范围差别过滤掉背景区域的过程具体为：使用阈值分割方法，通过设定一个不包含背景区域的高度值的阈值范围，分割后选择出Cover区域和屏幕区域。

采用上述进一步方案的有益效果是：阈值分割方法能准确的根据图像特征分割区域，简单高效。

附图说明

图1为本发明的基于3D成像技术的LCM组件外形缺陷检测方法的流程图。

图2为本发明实施例中所述的LCM组件的原始高度图像中各区域的位置分布示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例

如图1和图2所示，一种基于3D成像技术的LCM组件外形缺陷检测方法，包括以下步骤：

S1，使用3D激光传感器获取LCM组件的原始高度图像，此图像中包括表示环境背景的背景区域、表示LCM组件中覆盖外围电路部分的Cover区域和表示LCM组件中屏幕部分的屏幕区域；

S2，根据3D激光传感器与LCM组件的位置关系将原始高度图像转换成表示LCM组件真实高度值的第一高度图像，利用背景区域与Cover区域和屏幕区域的高度值的范围差别过滤掉背景区域，得到仅含Cover区域和屏幕区域的第二高度图像；

S3，根据第二高度图像中Cover区域和屏幕区域的高度值来判断LCM组件外形是否存在缺陷。

本发明使用3D激光传感器和数字图像技术检测LCM组件的外形缺陷，具有精确度高和检测效率高的特点，同时能节约人力成本。

具体的，本实施例利用分体式3D传感器设备及配套的测量软件，对LCM组件的外形进行扫描，获得表示LCM组件外形高度的原始高度图像，此原始高度图像中包含的待处理区域如图2所示。LCM组件包括LCD(液晶)显示模组、液晶模块，是指将液晶显示器件、连接件、控制与驱动等外围电路、PCB(印刷电路板)电路板、背光源和结构件等装配在一起的组件。其中，缺陷检测过程是基于HALCON(一种机器视觉软件)编程实现的。

Cover区域内部覆盖有PCB板等元器件，并贴有黑色的覆盖物以防止内部元器件受损，本实施例中，称此覆盖物为Cover，贴Cover的部分称为Cover区域。

通过取得有效区域来获取激光线，调节曝光值使激光线宽度适中和连续，通过校准、高度值限定、平台运动速度的调整等基本操作获取3D传感器的高度数据，3D传感器配套软件根据传感器的高度方向分辨率与偏移量，将原始高度图像转换为第一高度图像，。第一高度图像中，使用不同的颜色深度表示不同的高度值。

由于通过3D传感器获取的图像，高度是基于工作台的，通过如下转换公式，得到原始高度图像的真实高度值。具体转换公式如下所示：

f'＝f*Multi+Add (1)

其中，函数f为3D传感器获取的原始高度图像的高度数据，函数f'为转换后的第一高度图像的高度数据。

将3D传感器获取的原始高度图像的高度数据记为函数f,3D传感器在高度方向的分辨率记为Multi,3D传感器在高度方向的偏移量记为Add，根据公式(1)对3D传感器获取的原始高度图像的高度数据进行转换，转换后即获得第一高度图像。

进一步，S3还包括以下步骤：

S31，根据第二高度图像中的部分像素点的高度值拟合得到一个所有像素点高度值位于同一平面的基准图像；

S32，将第二高度图像中各像素点的高度值与基准图像中对应的像素点的高度值相减求差，根据求差后的高度值数据获得第一高度差图；

S33，在第一高度差图中，根据屏幕区域中选定的高度值设定阈值，选出Cove r区域中高度值被此阈值限定的范围，根据此范围的面积来判断LCM组件的外形是否存在缺陷。

具体的，拟合该基准图像的过程是通过一个一阶曲面计算灰度值和近似值，该计算是通过将灰度值和曲面之间距离最小化完成的。用下列公式描述一阶曲面：

I(r,c)＝a1(r-r₀)+a2(c-c₀)+a3

(r₀,c₀)是输入区域交集的中心点坐标，通过halcon中的拟合平面的函数进行处理，计算参数a1、a2和a3的值，其中a1为垂直方向的一阶系数，a2为水平方向的一阶系数，a3为零阶系数。该拟合平面函数的具体特征参数包括输入参数和输出参数，输入参数包括：

(1)区域，指的是被检测的范围，即待拟合的曲面的范围，本实施例中的范围为第二高度图像所占的范围；

(2)图像，指用来拟合的图像高度值数据，本实施例中的图像为第二高度图像中的部分区域；

(3)算法,本实施例中使用的算法为regression(回归)算法，表示标准最小平方直线拟合；还可以选用Huber算法(一种带权重的最小平方直线拟合算法)和Tukey算法(一种带权重的最小平方直线拟合算法)，这两种算法将图像中的边缘数据的影响减小后进行拟合；

(4)迭代次数，表示迭代的次数，本实施例中选用0，最大的迭代次数默认值是5；

(5)标准差缩放因子：表示衰减极值的控制因数，需为实数，其值越小，检测的极值越多，检测的极值是可以重复出现的，本实施例中选用0，默认值为2.0，其他值可取1.0,1.5,2.0,2.5,3.0；

输出参数包括：a1、a2、a3，均为近似一阶曲面的参数，其中a1为垂直方向的一阶系数，a2为水平方向的一阶系数，a3为零阶系数。。

拟合完成之后使用halcon中的获取拟合平面的函数，该函数的特征参数包括输入参数和输出参数，输入参数包括：

(1)像素类型，本实施例中像素类型为图像的高度值；

(2)近似曲面参数：a1，a2，a3，其中a1为垂直方向的一阶系数，a2为水平方向的一阶系数，a3为零阶系数；

(3)区域顶点的行坐标和列坐标；

(4)待生成图像的宽度，待生成图像的高度。

输出参数：拟合后获得的图像，本实施例中即为基准图像。

再将拟合得到的基准图像与第二高度图像的各像素点的高度数值求差，得到高度差图，称为第一高度差图；

实际过程中对LCM组件使用3D传感器获取高度值图像时，放置LCM组件的台面可能存在倾斜或高低不平等情况，这样会使对LCM组件中Cover区域与屏幕区域本身的真实高度值的比较产生影响。

该改进中，从第二高度图像中选择部分区域的高度值拟合得到基准图像，该图像中所有高度值位于同一平面，将第二高度图像中各像素点的高度值与基准图像中对应的像素点的高度值相减求差，能消除放置LCM组件的台面倾斜或高低不平等情况造成的影响，使LCM组件的外形缺陷检测结果更精确。

进一步，所述S31中所述的第二高度图像中的部分像素点的选择过程具体包括：

通过在所述第二高度图像中获取Cover区域的范围，将此范围平移一个设定的位移到屏幕区域中选中一块与此范围面积大小相同的区域，此被选中的区域中的所有像素点即为所述的第二高度图像中的部分像素点。

进一步，所述获取Cover区域的范围的过程具体包括：

以第一次检测LCM组件外形缺陷时获取的第二高度图像的位置和范围为标记，以后每次检测其它LCM组件时将获得的对应的第二高度图像矫正到此标记的位置，根据矫正位置后的第二高度图像中屏幕区域的位置和面积设置一个固定的范围，利用开运算选出屏幕区域，将矫正位置后的第二高度图像与该被选出的屏幕区域求差集，获得Cover区域的范围。

具体的，以上两个改进的步骤如下：

以第一次检测时选择出的第二高度图像的位置作为后续图像定位的标记区域，该次检测完成之后，下一次检测获得的待测试图像均需矫正到该标记区域。利用仿射变换，对待测试图像的位置进行矫正。仿射变换通过从一个点和角度计算一个刚体仿射变换，然后利用该变换将待测试图像的位置坐标移动到标记区域，进行图像矫正，具体变换换过程如下：

利用齐次向量，转换公式为：

其中，row2,column2为标记区域的行、列值(位置坐标)；row1,column1为待测试图像对应的的行、列值，trans2D为转换矩阵，先用两图像的坐标值数据求出此转换矩阵后，根据上述公式进行整个待测试图像的位置矫正，将第二高度图像的位置进行矫正。

图像矫正是将第二高度图的位置做一个调整，第一次检测图像的时候不需要做矫正，以后检测图像都需要把待测试图像的位置矫正过来，为后续的屏幕区域的获得做准备，后续的屏幕区域的获取坐标都是根据第一次检测图片时设定的，以后历次检测时都根据此坐标选择屏幕区域，所以以后的待检测图像都要进行位置矫正。

屏幕区域和Cover区域的获得过程如下：

基于开运算，通过设定区域的宽度、高度值，打开一个矩形结构的区域，选择出屏幕区域。此开运算的功能是打开一个矩形结构的区域，包括输入图像区域、输出区域两个区域，宽度、高度两个参数。被选择出的矩形区域(此处指的是屏幕区域)大小是由宽度、高度值两个参数值决定的。根据需要，选择合适的宽度与高度值，获取屏幕区域。

将第二高度图像与屏幕区域求差集，得到Cover区域的范围。

差集是通过计算两个区域的范围的不同实现的，公式为：

(Regions in Region)-(Regions in Sub)，公式左边为输入区域，右边为被减区域，输入区域的范围减去被减区域的范围得到结果区域的范围，即所得差集。

将此Cover区域的范围的坐标平移一定数值，选取屏幕区域上与Cover区域的范围面积大小相同的区域；以得到的屏幕区域的各像素点的高度值为根据，拟合得到S31中的基准图像。

实际过程中，在流水线检测LCM组件的时候，很多LCM组件待检测，通过矫正第二高度图像的位置和固定屏幕区域的范围，能加快分离选取Cover区域的速度，选取结果也更准确。

由于屏幕区域比Cover区域大，放置LCM组件的台面的不平整对屏幕区域的影响较大，该改进通过选择屏幕区域中与Cover区域面积相等的一块区域的像素点来作为拟合平面所需的数据点，能较好的模拟放置LCM组件的台面不平整对整个LCM组件产生的影响，以便后续消除此影响。

进一步，所述获得Cover区域的范围的过程还包括：

通过设定圆形噪点的半径值，对得到的差集进行消除圆形噪点的开运算，得到Cover区域的范围。

具体的，为了得到精确的Cover区域的范围，消除周围噪点的影响，对得到的差集进行消除圆形噪点的开运算，通过设定圆形噪点区域的半径值，消除此半径值内(小于等于此半径值)的圆形结构噪点的影响，得到精确的Cover区域的范围。

该改进消除了差集区域范围周围噪点的影响，使得到的Cover区域的范围更精确。

进一步，所述S32中所述根据求差后的高度值数据获得第一高度差图的过程具体包括：

对求差后的高度值数据进行中值滤波，消除高度值数据中的孤立数据噪声，获得所述第一高度差图。

具体的，中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，其基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。方法是用某种结构的二维滑动模板，将板内像素按照像素值的大小进行排序，生成单调上升(或下降)的为二维数据序列。二维中值滤波输出为：

g(x,y)＝med{f(x-m,y-n),(m,n∈Q)}

其中，f(x,y),g(x,y)分别为原图像和处理后图像。Q为二维模板，通常为3*3，5*5区域，也可以是不同的形状，如线状，圆形，十字形，圆环形等。

该改进中，中值滤波能消除高度值数据中数值过大或者过小的点，过滤掉图像采集和处理过程中的孤立数据噪声，让获得的第一高度差图的高度值数据更接近真实情况，使检测结果更准确。

进一步，所述S33中所述的判断LCM组件的外形是否存在缺陷的过程具体包括：求得第一高度差图中屏幕区域的高度差值的最低值，根据此最低值设定阈值，求得第一高度差图中被此阈值限定的区域，将此区域的位置与Cover区域的位置求得所有的交集区域，根据所有的交集区域的面积大小判断LCM组件的外形是否存在缺陷。

具体的，根据检测精度(例如精度为0.1mm),取屏幕区域高度最小值加0.1mm作为阈值，求第一高度差图中高度值大于阈值的区域，并阈值分割出滤波图像上比阈值高的区域，取该区域与Cover区域的交集，交集是通过计算区域1与区域2(区域1、2均在总区域中)的交叉实现的，该交叉区域内部的所有点既属于区域1同时也属于区域2；交集可能为一整块，也可能是一些像素点，根据这些交集区域的面积判断LCM组件的外形是否存在缺陷。

该改进中，根据屏幕区域的最低值设置阈值，将超出阈值的区域选择出来即选择出高于屏幕区域最低值一定范围的区域，这样能有效控制检测精度；将选择出来的区域与Cover区域求交集后，根据交集区域的面积来判断LCM组件的外形缺陷，能排除孤立数据噪声等检测过程中的环境干扰和异常情况。

进一步，所述根据交集区域的面积大小判断LCM组件的外形是否存在缺陷的过程具体包括：

将所述所有的交集区域中位置关系较近的交集区域平滑连接后，形成新的各交集区域，根据新的各交集区域的面积大小判断LCM组件的外形是否存在缺陷。

具体的，通过平滑运算将距离小于一定范围的各点及周围的坐标平滑连接起来，形成片状区域，当被检测的LCM组件外形有缺陷时，这些片状区域可能有一个，也可能有离散的多个，这些片状区域的大小和形状都不确定，将这些片状区域即为有缺陷的Cover区域。连接是通过合并一个区域内的元素实现的，其包括输入区域与输出区域两个参数，输出区域即为连接之后的新的各交集区域。

该改进中，将相邻的交集区域平滑连接，能排除数据采集和处理的过程中造成的数据点不连续问题，使检测结果更准确。

进一步，所述根据新的各交集区域的面积大小判断LCM组件的外形是否存在缺陷的过程具体包括：

设定一个特定面积值，选择出所述新的各交集区域中区域面积被此特定面积值限定的区域，若这样的区域存在，则LCM组件的外形是存在缺陷，否则，LCM组件的外形不存在缺陷。

具体的，设定一个特定的面积值，此特定面积值的大小根据实际需要检测精确程度来灵活设定，选择出Cover区域上面积大于等于此特定面积值的区域，若这样的区域存在，说明该LCM组件中Cover的区域高度高于屏幕区域高度，此屏幕判为缺陷屏。若这样的区域不存在，说明该LCM组件中Cover的区域高度不高于屏幕区域高度，此屏幕判为正常屏。

该改进中，根据实际检测情况的需要设定特定面积值，然后选择出超过和等于此面积值的区域，可以排除图像采集和处理过程中的异常情况，使检测的结果更接近真实情况。

进一步，所述S2中利用背景区域与Cover区域和屏幕区域的高度值的范围差别过滤掉背景区域的过程具体为：使用阈值分割方法，通过设定一个不包含背景区域的高度值的阈值范围，分割后选择出Cover区域和屏幕区域。

具体的，第一高度图像中，屏幕区域和Cover区域中各像素点的真实高度值可被包含在同一取值范围中，与背景区域中各像素点的真实高度值范围差别明显，因此可用利用阈值分割方法，进行阈值分割，使得屏幕区域和Cover区域与背景区域分隔开来，去掉背景区域，选择出所需的真实高度图像区域(包括屏幕区域和Cover区域)，此区域图像即为第二高度图像。

例如，如果第一高度图像中，屏幕区域和Cover区域中各像素的真实高度值的变化范围为14.0001-19.9999mm，则将14mm作为阈值下限，20mm作为阈值上限，利用阈值分割方法，选择出屏幕区域和Cover区域的图像组成的第二高度图像。

阈值分割的原理是获得像素灰度值(即代表高度值)介于MinGray(最小灰度)和MaxGray(最大灰度值)之间的区域，用g表示输入图像，如下式所示：

MinGray＜＝g＜＝MaxGray

通过上述处理，在MinGray和MaxGray范围之内的区域将被选择出来。

阈值分割方法能准确的根据图像特征分割区域，简单高效。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。