一种显示屏画面质量检测方法

1.本发明涉及视觉检测技术领域，尤其涉及一种显示屏画面质量检测方法。


背景技术：

2.近年来，随着信息化的不断发展，发光二极管(led)、液晶显示屏(lcd)、有机电激光显示屏(oled)等显示终端作为信息显示和传播媒介，已经在人们的生产生活中扮演着不可或缺的角色。为更好适应现代制造业生产，提高产品竞争力，对产品生产过程中的质量问题进行自动检测测和分析尤其重要，传统的人工检测的方式对工人的要求较高，工人容易产生视觉疲劳且对缺陷的判别较为主观，很难对相应的缺陷进行量化，随着工业视觉技术的发展，传统人工进行质量检测及验证的工作也逐渐被新兴的光学自动检测(aoi)方式所替代。
3.车载显示屏这种中尺寸显示屏的画面质量检测，需要将显示屏点亮进行检测，屏幕强光使得人工无法长时间裸眼观察检测，无法进行高精度的检测。


技术实现要素：

4.本发明实施例所要解决的技术问题在于，提供一种显示屏画面质量检测方法。可显示屏生产过程中出现的黑点、白点、边缘漏光、灰度不均及mura等缺陷进行检测。
5.为了解决上述技术问题，本发明实施例提供了一种显示屏画面质量检测方法，包括以下步骤：
6.s1：使用与被检测显示屏同水平面的光源组，灰尘检测相机进行图像采集并得到灰尘图，进行灰尘检测；
7.s2：进行红画面、蓝画面、绿画面质量检测，使用彩色相机对显示屏进行采集得到检测图像，按不同颜色通道计算指定检测区域的平均灰度值，根据所述平均灰度值判断是否出现色差；
8.s3：对感兴趣区域使用经过改进的yolo v4模型进行白画面检测；
9.s4：对所述感兴趣区域的黑画面进行反图像处理，并使用所述改进的yolo v4模型进行黑画面检测；
10.s5：通过动态阈值方式找出所述黑画面的漏光区域；
11.s6：按所述感兴趣区域的四边绘制四个白框区域，计算各个区域中的白框的面积与标准值进行判比；
12.s7：使显示屏显示灰阶检测画面，将所述检测画面依次划分为三个区域，计算所述三个区域相互间的灰度差值与标准值进行判比；
13.s8：使显示屏按划分的区域显示不同色彩，计算采集到的彩色画面的不同区域的灰度平均值，分别对设定的阈值进行判比；
14.s9：使显示屏显示预设图片，对指定区域对比其镜像区域判断两者的灰度差的差异度进行辨别图像方向是否正常。
15.其中，所述步骤s1中进行灰尘检测的步骤包括：
16.s11：建立m
×
m大小的掩板对图像进行均值滤波；
17.s12：用原图像与均值滤波后图像进行像素灰度值对比，得到灰度差值
△
g；
18.s13：设定阈值t
p
,当像素灰度值
△
g》t
p
时，将该像素灰度值赋值为255；
19.s14：计算各个灰度值为255的连通区域的像素面积大小，其面积a，在设定范围(a
min
,a
max
)之间的，认为该区域为灰尘区域。
20.其中所述步骤s1还包括根据目标灰尘大小设置对应的掩板大小，并使用对应的灰尘掩板面积大小进行灰尘筛选。
21.其中，所述经过改进的yolo v4模型为通过对数据集重新选取9个聚类中心，通过k-means算法对数据集中的缺陷样本标注信息进行分析，再对的52*52，26*26，13*13这个三个尺度特征图上的先验框进行更新。
22.其中，还包括使用fpn-tiny网络对yolo v4中的加强特征提取网络panet,spp进行替换的步骤。
23.其中，所述步骤s1中使用与被检测显示屏同水平面的光源组是使用在四个侧面水平设置的光源作为光源组。
24.其中，所述步骤s5具体步骤包括：
25.s51：建立m
×
m大小的掩板对图像进行均值滤波；
26.s52：用原图像与均值滤波后图像进行像素灰度值对比，得到灰度差值
△
g；
27.s53：设定阈值t
l
,当像素灰度值
△
g》t
l
时，将该像素灰度值赋值为255；
28.s54：计算各个灰度值为255的连通区域的像素面积大小，其面积a在范围(a
min
,a
max
)之间的，认为该区域为漏光区域。
29.本发明还包括在检测过程前扫描显示屏二维码记录产品检测信息的步骤。
30.实施本发明实施例，具有如下有益效果：本发明解决了当前车载显示屏画面质量人工检测速度慢、精度低、易二次污染等问题，使用多种方式对产品进行成像，检测显示屏画面色差、黑点、白点、漏光、灰度不均、画面异常等问题进行准确检测，并可对产品缺陷的产生影响原因进行追溯，从而减少损耗、节约生产成本、提高检测效率。
附图说明
31.图1是本发明采用的光学检测方案示意图；
32.图2是本发明的检测方法流程示意图；
33.图3是灰尘图采集及预处理流程图；
34.图4是除尘流程示意图；
35.图5是改进yolo v4框架图；
36.图6是黑画面漏光缺陷检测流程图；
37.图7是黑底白框画面检测流程图；
38.图8是灰阶检测画面的示意图；
39.图9是灰阶检测流程示意图；
40.图10是彩阶检测流程图；
41.图11是图像指定区域镜像匹配检测的图示。
具体实施方式
42.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
43.本发明实施例的一种显示屏画面质量检测方法，在实施上使用扫码装置，在产品开始检测前需先对产品扫码，每个产品具有唯一id，以二维码或条形码的形式附于产品，对于显示屏、触控屏这类精密电子产品，产品通常要求具有可溯源性，其产品信息必须接入工业互联网平台。因此，每次检测都会先强制扫码，以便于记录与追溯产品信息，如无进行扫码或重复产品扫码，检测系统将显示提示信息，并禁止检测启动。
44.如图1所示，本发明依据于图像采集装置、光源组、计算机实现，图像采集装置包含6台高像素工业面阵相机和配套高清镜头，其中使用1个65m像素黑白相机作为主相机，位于检测工位的正中心上方，正面拍照，检测正面能看到的所有缺陷；1个12m像素彩色相机，位于检测工位的靠中心位置高角度拍照，辅助色彩检测；另外4个12m像素黑白相机，置于产品四边，分别对准待测品四个边，倾斜45
°
拍照，辅助检测部分需要某种角度下才能看到的缺陷。光源组包含3条白色条形光源，分别安装于检测工位上除产品fpc端以外的三侧，且条光光源长度各匹配对应的产品边长，1条长条光对应长边，2较短条光光源对应短边对称安装。三条光0度摆放，发光面朝向产品，以作为除尘光源使用。光源使用专用数字控制器，，与传统的手动调节的模拟控制器不同，使用以太网通讯方式，由工控机发送特定指令控制3条除尘光源点亮、熄灭或调节亮度，有利于配合自动化检测流程。
45.如图2所示，本发明主要包括步骤有灰尘检测、除尘步骤、显示红画面、蓝画面、绿画面、白画面、黑画面、黑底白框画面、灰阶画面、彩阶画面、特定图片的画面质量检测。
46.1、如图3，升降除尘光源位置使光源与dm产品表面处于同一水平面，此时3条条形除尘光源均朝向为产品作低角度打光，dm产品保持未点亮状态，打开除尘光源组，各个相机分别进行图像采集，得到灰尘图。当光源作低角度打光时(即暗场照明，常应用于对表面突起部分的照明或表面纹理变化的照明)，产品表面无异物的状态下，因对低角度光源没有被反射至相机镜头，显示屏表面在图像中呈黑色，而当有表面落尘或异物时，光线被折射至相机镜头，落尘异物在图像中呈白色。
47.①
建立m
×
m大小的掩板对图像进行均值滤波；
48.②
用原图像与均值滤波后图像进行像素灰度值对比，得到灰度差值
△
g；
49.③
设定阈值t
p
,当像素灰度值
△
g》t
p
时，将该像素灰度值赋值为255。
50.④
计算各个灰度值为255的连通区域的像素面积大小，其面积a,在范围(a
min
,a
max
)之间的，认为该区域为灰尘区域。
51.2、得到的灰尘区域将保存下来作为除尘图，此处“除尘”所指的是在后续的其他检测项中，特别是对mura缺陷的检测结果做“除尘”处理。在正常点亮产品采集的图像中，产品表面的灰尘与产品屏幕的mura缺陷成像特征相似，难以区分。因此只有先单独找出表面的灰尘区域，做除尘图，才能排除灰尘对显示屏画面质量检测的干扰。“除尘”方法见图4，先对齐除尘图像与检测图像，定位所检缺陷区域坐标，在除尘图像中查找该坐标，若该坐标位置上有灰尘区域且灰尘区域面积大于所检出缺陷面积的三分之二，将该缺陷视为灰尘，不计入最终检出缺陷区域。
52.上述的灰尘区域，需要综合不同尺寸大小的灰尘检测结果。
53.考虑到光学成像方案使用除尘光源组从不同方向做低角度打光的特点，对于尺寸不同的落尘异物其亮度特征必然有一定差别，小灰尘反射光少因此信号相较弱，在灰尘图像中灰尘的亮度与灰尘大小是成正比的。在高像素高精度的机器视觉检测条件下，尺寸为0.01mm级别与0.1mm级别的灰尘成像效果差别明显，如要找出所有灰尘区域，就需要采用不同的参数，来找出不同尺寸(亮度)的灰尘。
54.当掩板大小m设置较小时，会忽略尺寸大于m
×
m的灰尘，每次查找只能找出小于掩板大小的灰尘。然而m值也不能设置过大，当m值远大于灰尘尺寸时，滤波前后灰度变化小，很难捕捉到小灰尘。因此需要使用不同的参数m、t
p
、a
min
、a
max
，分别找出不明显的微小灰尘与较明显的大灰尘。
55.举例说明，如小灰尘像素大小为8
×
8，大灰尘像素大小为20
×
20，可设查找小灰尘掩板大小m1为15
×
15，大灰尘掩板大小m2为25
×
25。而灰度差阈值t
p
的数值也有不同，按前面所述的大小灰尘，可设小灰尘灰度阈值t
p1
的数值为4，大灰尘灰度阈值t
p2
为8。而灰尘筛选面积大小按实际检测灰尘情况设置，在使用小灰尘掩板时面积范围a
max
必须小于数值m
12
，a
min
建议设为0；使用大灰尘掩板时面积范围a
max
按实际需要设置，避免数值过大把产品icon也视为灰尘点，而a
min
值需大于m
12
。
56.3、除尘图准备完成后可正式开始画面质量检测，通过串口通讯方式与dm产品专用pg盒通讯、切换产品显示画面，并对依次显示的画面分别进行对应项目的检测。
57.4、红画面、蓝画面、绿画面的检测项均为彩色色差检测，该检测项需要使用彩色相机采集的图片作为检测图像，然后对采集的彩色图像转为单一通道灰度图像(红画面取r通道、蓝画面取b通道、绿画面取g通道)，再进行均值滤波，计算指定的检测区域的平均灰度值g
mean
，每个颜色画面各设定一个灰度阈值tr/tb/tg，当g
mean
＜tr/tb/tg时，认为其画面出现色差。
58.5、白画面检测，主要检测项为mura缺陷，mura缺陷通常呈现块状的高度不均匀现象，而且形状不规则，对比度较低，识别特征不明显。人工对mura缺陷进行检测容易受到主观因素的影响，难以进行量化评估，因此评判标准会参差不齐。而采用机器视觉的方式，一方面可以为mura缺陷的真伪及类别判断提供依据，另一方面也可以为屏幕的缺陷严重程序提供量化的评价指标。
59.检测白画面时需先识别出显示屏视窗区作为感兴趣区域(roi),由于显示白画面时，油墨区与视窗区的灰度值差异明显，此处使用简单的阈值分割即可获取车载屏视窗区区域roi。
60.本发明采用深度学习的方式对的显示屏的mura缺陷进行检测，以yolo v4模型为基础，其主要由cspdarknet53网络、spp和panet组成，cspdarknet53为主干特征提取网络，spp为特征金字塔网络，用于将图像的大小进行统一，panet为特征增强网络，主要采用上采样和下采样对不同的特征层进行特征融合。由于mura缺陷普遍尺寸较小，且包含的特征信息量较少，在原生模型的基础上，专门在小目标及高速率上做了相应的优化处理。
61.yolo v4模型的损失值(l)包含边界框损失值(l
ciou
)、置信度损失值(l
conf
)和类别损失值(l
class
)组成，其表达式为：
62.l＝l
ciou
+l
conf
+l
class
ꢀꢀꢀ
(1)
63.其中
[0064][0065][0066][0067][0068][0069][0070]
式中i
ou
为预测框与真实框交集交并比，a为预测框与真实框交集交并比，v为长宽相似比，d为预测框与真实框中心点的欧氏距离；c为预测框与真实框所组成的最小闭包区域对角线距离，w
gt
、h
gt
为真实框的宽和高；w、h为预测框与真实框交集交并比，s为网格数量，pc为第i个网格的第j个先验框负责目标时的交叉熵，b为每个网格中先验框的数量，k为权重，为交叉熵，为第i个网格的第j个先验框负责该目标，n为第i个网格的第j个先验框预测的类，为第i个网格的第j个先验框实际的类，p为当前先验框内有目标的概率。
[0071]
原本模型中待检测的目标由于目标各类较多，且相机拍摄距离不同，而本发明采用的是高分辨率相机，目的是为了更好地突显较小的mura缺陷，镜头到检测目标的距离是固定的，且相应的anchor boxes是在coco数据集上统计出来的大小，部分anchor的尺寸过大，因此原本的模型对本数据集检测效果较差。为解决这一问题，本发明通过聚类的方式对先验框进行调整，增强模型检测的适应性。针对本数据集重新选取了9个聚类中心，通过k-means算法对数据集中的缺陷样本标注信息进行分析，在此基础上对的52*52，26*26，13*13这个三个尺度特征图上的先验框进行更新。
[0072]
针对yolo v4中的加强特征提取网络panet,spp的卷积结构复杂，从而导致网络参数数量增加，模型训练时间长，容易出现梯度消失的问题。本发明采用fpn-tiny网络对其进行替换，如图5所示，fpn-tiny网络利用多尺度的方式可以有效提高对小目标的检测效果，同时由于fpn-tiny获得了更加鲁棒的高层特征，使模型的训练过程更加高效，从而提升模型的准确率。
[0073]
6、黑画面检测，主要检测项为漏光、白点mura缺陷，黑画面检测需要先进行预处理，找出显示屏视窗区。在一次检测过程中，产品位置不变，不同画面采集图像中的视窗区位置也就不变，考虑到显示屏切换至黑画面时，区分油墨区与视窗区难度大，于是直接应用上述白画面检测到的视窗区roi区域作为黑画面检测中的视窗区roi区域。
[0074]
如图6，黑画面检测白点mura缺陷类似于白画面检测mura缺陷，可将黑画面检测图像进行反图像处理(每个像素点的灰度值g
p
＝255-g
p
)，将黑画面找白点问题变成与白画面
检测时同样的白画面找黑点mura问题，使用第5点所述方法检测出缺陷。
[0075]
7、黑画面漏光缺陷，其特点在于常出现在显示屏的边缘，且边缘与角落的漏光亮度特征不同，因此本方法对黑画面进行分区检测处理，对视窗区边缘和角落区域使用不同的参数m、t
l
、a
min
、a
max
进行检测，通过动态阈值方式找出漏光区域，具体方法类似于灰尘图检测方法：
[0076]
①
建立m
×
m大小的掩板对图像进行均值滤波；
[0077]
②
用原图像与均值滤波后图像进行像素灰度值对比，得到灰度差值
△
g；
[0078]
③
设定阈值t
l
,当像素灰度值
△
g》t
l
时，将该像素灰度值赋值为255。
[0079]
④
计算各个灰度值为255的连通区域的像素面积大小，其面积a,在范围(a
min
,a
max
)之间的，认为该区域为漏光区域。
[0080]
上述检测流程中，需要注意的是检测边缘的m、t
p
、a
min
、a
max
参数数值均比检测角落处的要小，避免过判。
[0081]
8、黑底白框检测边框完整度，即测试车载显示屏边缘处的显示质量，本发明方法通过计算白框区域的像素面积判断白框完整度，将第15点提及的白画面检测到的视窗区roi区域作为黑底白框画面检测中的视窗区roi区域，按roi区域矩形的四边绘制4个白框roi区域，通过简单的阈值分割算法(像素灰度值g》220的判为白色像素)找出白框区域，计算各个roi区域中白框区域的面积，记录正常品黑底白框区域面积为标准值，检测时将检测值a与标准值as比较，当面积差值|a-as|小于指定值
△as
时,判断为黑底白框正常，否则为黑底白框不良。具体流程如图7所示。
[0082]
9、灰阶检测，灰阶检测画面如图8所示，画面被划分为多个区域,每个区域间灰度值差值为固定值，从亮到暗排列，显示屏中间灰度值变化明显。本方法将画面分成两端和中间三部分区域，计算区域内的灰度平均值以及两端区域与中间区域的灰度值差值，将区域灰度平均值gm、灰度值差值g
12
、g
23
跟标准值比较，按区域平均灰度值判定产品亮度类型，按区域灰度值差值判定产品灰度品质等级，综合产品亮度类型和灰度品质等级分析产品是否为灰阶良品。流程图见图9。
[0083]
10、彩阶检测，灰彩阶检测画面按竖条或横条显示不同色彩，画面被划分为多个区域，每个区域间呈不同色彩。本方法先将采集到的彩色画面转换成单通道灰度图像，再按彩阶区域计算各区域灰度平均值，先记录各区域标准灰度值，检测时与标准灰度值比较，每个颜色画面各设定一个阈值
△
tc，当差值
△
gc＜
△
tc时，认为彩阶不良。流程图见图10。
[0084]
11、特定图片(画面方向辨别图)如图11所示，辨别图像方向一般是采用模板匹配的方式，根据匹配到模板的角度判断图片的角度方向，然而画面图像复杂、模板匹配运算时间长，且显示屏画面方向异常仅有水平镜像垂直镜像的情况，因此本方法使用了更加简单快捷的方法——通过计算某些指定区域的灰度平均值判断画面方向。以图11为例，实线框选的是检测区域，该区域为白色，若图像发生镜像翻转，区域对应的位置就变为虚线框位置，灰度值有明显差异。同样的，因此，简单选取一个特征区域计算灰度值即可辨别图像方向是否正常。
[0085]
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。