缺陷检测方法、装置、缺陷检测系统、设备及介质与流程

文档序号:31469209发布日期:2022-09-09 22:36阅读:61来源:国知局
缺陷检测方法、装置、缺陷检测系统、设备及介质与流程

1.本公开涉及检测技术领域,特别是涉及一种缺陷检测方法、装置、缺陷检测系统、设备及介质。


背景技术:

2.目前,器件的缺陷检测已应用到各种器件制造领域中,缺陷检测主要用于检测器件的待检测区域的缺陷,待检测区域为表面时,需要检测器件的表面是否有裂纹等,通过缺陷检测的器件才能完成出厂交付或进入下一工艺流程。例如,在显示屏的缺陷检测领域,随着显示屏幕向高分辨率、高画质的方向发展,显示屏幕由于设计结构越来越复杂,引起缺陷的几率也大大增加,因此对显示屏的缺陷检测要求也越来越高。
3.相关技术中,在对器件进行缺陷检测时,一般是对器件进行大量的高分辨率的图像采集,然后基于大量的高分辨率图像进行缺陷检测,此种方式数据量太大,增加了缺陷检测算法的处理时间,检测效率较低。


技术实现要素:

4.本公开提供了一种缺陷检测方法,所述缺陷检测方法包括:
5.对待检器件进行第一图像采集,得到初检图像;
6.基于所述初检图像,对所述待检器件进行第一缺陷检测;
7.若未通过所述第一缺陷检测,则对所述待检器件进行第二图像采集,得到精检图像;其中,所述精检图像的分辨率高于所述初检图像的分辨率;
8.基于所述精检图像,对所述待检器件进行第二缺陷检测。
9.在一种可选的示例中,对所述待检器件进行第二图像采集,得到精检图像,包括:
10.分别在高曝光和低曝光下对所述待检器件进行第一图像采集,得到高曝光下的高曝光图像和低曝光下的低曝光图像;
11.对所述高曝光图像和所述低曝光图像进行融合,得到所述精检图像。
12.在一种可选的示例中,对所述高曝光图像和所述低曝光图像进行融合,得到所述精检图像,包括:
13.对所述高曝光图像进行降噪处理,得到所述高曝光图像的第一处理后图像;
14.对所述低曝光图像进行自适应处理,得到所述低曝光图像的第二处理后图像;所述自适应处理用于调整所述低曝光图像的对比度;
15.将所述第一处理后图像和所述第二处理后图像进行融合,得到所述精检图像。
16.在一种可选的示例中,对所述低曝光图像进行自适应处理,得到所述低曝光图像的第二处理后图像,包括:
17.对所述低曝光图像中每个像素点分别在各颜色通道的像素值进行归一化处理;
18.基于像素值归一化处理后的低曝光图像中每个颜色通道的像素值的平均值,确定每个颜色通道对应的补偿值;
19.基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的像素值进行补偿,得到所述第二处理后图像。
20.在一种可选的示例中,基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的像素值进行补偿,得到所述第二处理后图像,包括:
21.基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的归一化后像素值进行补偿,得到该颜色通道中各个像素点的补偿后值;
22.对各个像素点的补偿后值进行反归一化处理,得到所述第二处理后图像。
23.在一种可选的示例中,所述初检图像有多张,不同的初检图像对应所述待检器件的不同区域,基于所述初检图像,对所述待检器件进行第一缺陷检测,包括:
24.基于多张所述初检图像,对所述待检器件进行第一缺陷检测;
25.获得多张所述初检图像各自对应的初检结果;
26.若未通过所述第一缺陷检测,对所述待检器件进行第二图像采集,包括:
27.若存在表征所述待检器件具有缺陷的初检结果,对所述待检器件进行第二图像采集。
28.在一种可选的示例中,所述方法还包括:
29.基于多张所述初检图像各自对应的区域,对多张所述初检图像各自对应的初检结果进行拼接;
30.基于拼接后的初检结果,确定是否通过所述第一缺陷检测。
31.在一种可选的示例中,所述待检器件为显示屏,多张所述初检图像包括长边图像和短边图像,对待检器件进行第一图像采集,得到初检图像,包括:
32.沿着所述待检器件的长边的方向,对所述长边的不同区段进行所述第一图像采集,得到多张所述长边图像;
33.沿着所述待检器件的短边的方向,对所述短边的不同区段进行所述第一图像采集,得到多张所述短边图像。
34.在一种可选的示例中,若未通过所述第一缺陷检测,对所述待检器件进行第二图像采集,包括:
35.若未通过所述第一缺陷检测,则基于所述第一缺陷检测的结果,确定所述待检器件的缺陷区域;
36.对所述待检器件的缺陷区域进行所述第二图像采集,得到所述精检图像。
37.在一种可选的示例中,所述方法还包括:
38.若通过所述第一缺陷检测,则将所述待检器件标记为合格器件;
39.若未通过所述第一缺陷检测而通过所述第二缺陷检测,则将所述待检器件标记为合格器件。
40.在一种可选的示例中,基于所述初检图像,对所述待检器件进行第一缺陷检测,包括:
41.将所述初检图像输入至第一缺陷检测模型,以对所述待检器件进行第一缺陷检测;
42.基于所述精检图像,对所述待检器件进行第二缺陷检测,包括:
43.将所述精检图像输入至第二缺陷检测模型,以对所述待检器件进行第二缺陷检
测。
44.在一种可选的示例中,所述第一图像采集为低于目标采集精度的图像采集;所述第二图像采集为等于或高于所述目标采集精度的图像采集。
45.本公开还提供一种缺陷检测装置,所述装置包括:
46.第一采集模块,用于对待检器件进行第一图像采集,得到初检图像;
47.第一检测模块,用于基于所述初检图像,对所述待检器件进行第一缺陷检测;
48.第二采集模块,用于若未通过所述第一缺陷检测,对所述待检器件进行第二图像采集,得到精检图像;所述精检图像的分辨率高于所述初检图像的分辨率;
49.第二检测模块,用于基于所述精检图像,对所述待检器件进行第二缺陷检测。
50.本公开还提供一种缺陷检测系统,包括图像采集模组、缺陷检测模组,其中:
51.所述图像采集模组用于对待检器件进行第一图像采集,得到初检图像,以及用于对所述待检器件进行第二图像采集,得到精检图像;其中,所述精检图像的分辨率高于所述初检图像的分辨率;
52.所述缺陷检测模组用于基于所述初检图像,对所述待检器件进行第一缺陷检测,以及用于基于所述精检图像,对所述待检器件进行第二缺陷检测。
53.在一种可选的示例中,所述图像采集模组包括第一采集组件、第二采集组件、分流模组,以及与所述分流模组连通的合格通道和精检通道;
54.所述第一采集组件,具体用于对待检器件进行所述第一图像采集;
55.所述分流模组,用于将通过所述第一缺陷检测的待检器件划拨至所述合格通道,以及用于将未通过所述第一缺陷检测的待检器件划拨至所述精检通道;
56.所述第二采集组件,具体用于对被划拨至所述精检通道的待检器件进行所述第二图像采集。
57.本公开还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现所述的缺陷检测方法。
58.本公开还提供一种非瞬态计算机可读存储介质,其存储的计算机程序使得处理器执行所述的缺陷检测方法。
59.上述说明仅是本公开技术方案的概述,为了能够更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为了让本公开的上述和其它目的、特征和优点能够更明显易懂,以下特举本公开的具体实施方式。
附图说明
60.为了更清楚地说明本公开实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。需要注意的是,附图中各图形的尺寸和形状不反映真实比例,目的只是示意说明本发明内容。附图中相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
61.图1示意性地示出了一种缺陷检测方法的步骤流程图;
62.图2示意性地示出了对显示屏进行第一图像采集的步骤流程示意图;
63.图3示意性地示出了对高曝光图像和低曝光图像进行融合,得到精检图像的步骤流程图;
64.图4示意性地示出了高曝光图像进行降噪前后的效果示意图;
65.图5示意性地示出了低曝光图像进行自适应处理前后的效果示意图;
66.图6示意性地示出了对低曝光图像进行自适应处理的步骤流程图;
67.图7示意性地示出了本公开提供的一种缺陷检测装置的结构框图;
68.图8示意性地示出了本公开提供的一种缺陷检测系统的示意图。
具体实施方式
69.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
70.相关技术中,在对器件进行缺陷检测时,一般是对器件进行大量的高分辨率的图像采集,然后基于大量的高分辨率图像进行缺陷检测。例如,在显示屏幕的缺陷检测中,通常选用高分辨率相机对显示屏幕的检测区域拍照,然后通过检测算法进行处理,但使用高分辨率相机所拍摄的图像的数据量太大(图像的数据量较大,图像的数量也较多),增加了算法处理时间,尤其在对整个显示屏幕进行检测时,会使整个检测时间大幅增加,降低了检测效率,无法满足生产节拍的要求;同时也对执行缺陷检测的终端设备提出了较高的性能要求。
71.有鉴于此,本公开提供了一种缺陷检测方法,主要构思在于:对于每个待检器件,先对该待检器件进行低分辨率的图像采集,然后利用低分辨率的图像对待检器件进行初步的缺陷检测(对应本技术的第一缺陷检测),若初步的缺陷检测显示待检器件没有缺陷,则初检通过,待检器件作为合格器件,若初步的缺陷检测显示待检器件具有缺陷,则进入精捡环节,对待检器件进行高分辨率的图像采集,然后利用高分辨率的图像对待检器件进行缺陷检测(对应本技术的第二缺陷检测),检测通过后,再将待检器件确定为合格器件。
72.基于此技术构思,结合初检和精检两种方法,由于初检所用的是低分辨率的图像,数据量大大减小,由此,缺陷检测算法的计算时间较短,从而可以在保证缺陷检测精度的情况下,缩短检测时间,提高缺陷检测效率。
73.参照图1所示,示出了本技术实施例中的一种缺陷检测方法的步骤流程图,如图1所示,具体包括以下步骤:
74.步骤s101:对待检器件进行第一图像采集,得到初检图像。
75.本技术中,待检器件可以是指需要对待检测区域的缺陷进行检测的器件,待检测区域可以是待检器件的表面,如各种类型的显示屏、玻璃板的表面等,其中,对待检器件进行第一图像采集可以是指:对待检器件的待检测区域进行图像采集,如采用相机对待检器件的表面拍照,从而得到初检图像。需要说明的是,在第一图像采集中,可以调低图像采集的分辨率,如利用分辨率较低的相机进行拍照,从而得到低分辨率的初检图像。
76.其中,第一图像采集所用的分辨率可以依据缺陷的检出要求进行确定,需要说明的是,一般以能大概率检出缺陷的标准设定第一图像采集的分辨率。
77.示例地,在显示屏的缺陷检测领域,屏幕裂纹的检出要求是1μm,则第一图像采集的分辨率可以按照1.5μm或2μm的检出要求确定。
78.其中,低分辨率的初检图像的尺寸较小,每英寸图像内的像素点数量较少,由此,初检图像的数据量较小,在基于该初检图像进行后续的第一缺陷检测时,在保证基准的检测准确度上,可以减少检测时长,整体上提高检测效率。
79.实际中,可以依据待检器件的待检测区域的大小,对待检器件进行一次或多次图像采集,从而得到一张或多张初检图像。示例地,待检器件是显示屏,在显示屏尺寸很小的情况下,如电话手表的显示屏,则可以利用分辨率较低的相机进行一次拍照,从而得到一张初检图像,若显示屏尺寸很大的情况下,如手机或电脑的显示屏,则可以利用分辨率较低的相机进行多次拍照,每次拍照可以针对不同的区域,从而得到多张初检图像。
80.当然,在一种可选的示例中,在调低采集分辨率的同时,可以调大相机的拍摄视野,从而对同一待检器件而言,可以尽量减少的初检图像的数量,从而从整体上可以降低后续进行的第一缺陷检测的数据量。
81.步骤s102:基于所述初检图像,对所述待检器件进行第一缺陷检测。
82.本公开中,第一缺陷检测可以是指:基于初检图像,检测待检器件的表面是否具有缺陷,由于初检图像的分辨率较低,因此第一缺陷检测又可以称为缺陷初检测,即初步判断待检器件的表面是否存在缺陷。
83.在一种可选的示例中,可以将初检图像使用深度学习算法进行特征提取,之后根据提取的特征对初检图像进行分类,如划分为缺陷类别和无缺陷类别。
84.在一种可选的示例中,第一缺陷检测可以检测的缺陷,包括但不限于以下一种或多种:器件表面的裂纹、豁口、不平整,当然,在显示屏的缺陷检测领域,缺陷还可以包括边缘切割不整齐的缺陷。
85.步骤s103:若未通过所述表面第一缺陷检测,则对所述待检器件进行第二图像采集,得到精检图像。
86.其中,所述精检图像的分辨率高于所述初检图像的分辨率。
87.本实施例中,在基于初检图像检测到待检器件不存在缺陷时,则通过第一缺陷检测,在基于初检图像检测到待检器件存在缺陷时,则不通过第一缺陷检测。在不通过第一缺陷检测时,可以对待检器件重新进行第二图像采集,在第二图像采集中,图像采集的分辨率高于第一图像采集的分辨率,从而得到高分辨率的精捡图像。
88.具体地,对待检器件进行第二图像采集时,可以调高图像采集的分辨率,如利用分辨率较高的相机对待检器件的检测区域拍照,从而得到精检图像。其中,高分辨率的精捡图像的尺寸较大,每英寸图像内的像素点数量较多,由此,通过精检图像可以对具有缺陷的待检器件进行更加精细的缺陷核查。
89.步骤s104:基于所述精检图像,对所述待检器件进行第二缺陷检测。
90.本实施例中,可以基于精捡图像,再次核查待检器件的表面是否存在缺陷,该次缺陷检测称为第二缺陷检测。
91.其中,第二缺陷检测可以检测的缺陷的种类,可以与第一缺陷检测所针对的缺陷的种类相同;当然,在一种可选的示例中,第二缺陷检测可以检测的缺陷的种类,也可以多于第一缺陷检测所针对的缺陷的种类,如第一缺陷检测可以检测的缺陷是裂纹,则由于精
捡图像的分辨率较高,因此第二缺陷检测所检测的缺陷可以包括裂纹和微小孔隙。
92.采用本公开实施例的技术方案,第一缺陷检测所用的是低分辨率的初检图像,数据量大大减小;在待检器件未通过第一缺陷检测时,再采集高分辨率的精检图像,以对第一缺陷检测的结果再次进行核查,以保证缺陷检测的准确度。由此,一方面,通过第一缺陷检测缩短计算时间,通过第二缺陷检测可以保证检测准确度,从而可以在保证缺陷检测精度的情况下,提高缺陷检测效率,满足器件制造和生产的节拍要求。另一方面,由于待检器件先经由第一缺陷检测,未通过第一缺陷检测时,才进入第二缺陷检测,由此,在应用到对大量待检器件的缺陷检测的场景中时,可以减少利用高分辨率的精检图像进行缺陷检测的次数,从而降低了对执行缺陷检测的终端设备的性能要求。
93.实际中,若通过第一缺陷检测,可以将所述待检器件标记为合格器件;若待检器件未通过第一缺陷检测,继续进行第二缺陷检测,若通过第二缺陷检测,将所述待检器件标记为合格器件。实际中,可以将未通过第一缺陷检测也未通过第二缺陷检测的待检器件标记为不合格器件。
94.具体实施时,在对大量的待检器件进行缺陷检测中,可以进行流水线式的缺陷检测,如先对待检器件进行第一缺陷检测,将通过第一缺陷检测的待检器件输送至下一流程,将未通过第一缺陷检测的待检器件进行第二图像采集,进入第二缺陷检测,由此,可以实现对大批量的待检器件的快速检测。
95.在一种可选的实施例中,对初检和精捡的流程进行分别说明如下:
96.(1)初检的流程(第一缺陷检测的流程)
97.在一种可选的示例中,可以通过缺陷检测模型执行缺陷检测。具体地,可以预先用大量的有缺陷的样本图像和无缺陷的训练图像,对目标神经网络进行训练,从而得到对应的缺陷检测模型。在具体实施时,在进行第一缺陷检测时,可以将初检图像输入至第一缺陷检测模型,以确定待检器件是否存在相应缺陷。
98.其中,第一缺陷检测模型用于检测的缺陷的种类如上述实施例所述,如包括但不限于以下一种或多种:器件的表面的裂纹、豁口、不平整;则训练得到第一缺陷模型所用的样本图像可以包括上述各种类型的缺陷的样本图像。
99.在一种可选的示例中,可以对初检图像进行预处理,并将预处理后的初检图像输入至第一缺陷检测模型,得到初检图像对应的初检结果。其中,预处理可以包括对图像的切割、增强、降噪、滤波处理。其中,图像的切割可以是指利用open cv方法对初检图像上不属于待检区域的图像区域进行切割,以尽量只保留待检区域的图像,从而进一步减小图像的数据量,提高检测效率。
100.采用第一缺陷检测模型进行第一缺陷检测时,由于第一缺陷检测模型是基于大量的样本图像进行训练得到的,由此可以提高缺陷检测的泛化性能,并且随着第一缺陷检测模型上线应用,又可以为第一缺陷检测模型提供更加丰富的训练样本,以不断优化更新第一缺陷检测模型,从而提高第一缺陷检测模型的检测准确度。
101.当然,若经过第一缺陷检测模型的检测,得到待检器件具有缺陷的结果,可以对待检器件进行第二图像采集,得到精检图像。
102.在一种可选的示例中,在初检的流程中,对待检器件进行第一图像采集时,可以对待检器件的不同区域进行图像采集,从而得到多张初检图像,不同的初检图像对应待检器
件的不同区域,这样在进行第一图像采集时,可以尽可能地对待检器件进行全面检测,即多张初检图像拼接后,能得到待检器件的完整图像。
103.此种情况下,可以对每张初检图像进行第一缺陷检测,以检测待检器件的不同区域是否存在缺陷,从而基于每张初检图像对应的初检结果,确定待检器件的全部区域是否存在缺陷,进而决定是否让待检器件通过第一缺陷检测。
104.其中,在存在初检结果为具有缺陷的初检结果时,不通过第一缺陷检测,待检器件需要进入精捡环节,若不存在具有缺陷的初检结果,通过第一缺陷检测,待检器件合格,不需要进入精捡环节。
105.在又一种可选示例中,由于每张初检图像对应待检器件的一个区域,因此,可以对多张所述初检图像各自对应的初检结果进行拼接后,得到对应与待检器件的完整的缺陷检测结果,从而基于完整的缺陷检测结果,确定待检器件是否通过第一缺陷检测。
106.具体实施时,可以基于多张所述初检图像各自对应的区域,对多张初检图像进行拼接;在拼接得到的图像中标注多张所述初检图像各自对应的初检结果,得到拼接后的检测结果;基于所述拼接后的初检结果,确定待检器件是否通过所述第一缺陷检测。
107.此种示例中,可以将拍摄的并经过预处理后的初检图像按照各自对应的区域进行拼接,从而得到可以完整反映待检器件的待测区域的图像,在该图像中标注初检图像各自对应的初检结果,即在该图像中对应的区域标注该区域的初检结果,从而得到可以完整反映待检器件的第一缺陷检测的检测结果,由于该检测结果是拼接后得到的,因此可以称拼接后的初检结果;
108.实际中,可以输出待检器件的拼接后的初检结果,由于可以通过拼接后的初检结果确定待检器件的待检区域,以及每个分区的初检结果,从而可以通过拼接后的初检结果,确定待检器件是否通过第一缺陷检测,以及可以确定待检器件存在缺陷的缺陷区域。
109.在又一种可选示例中,由于可以利用第一缺陷检测模型进行第一缺陷检测,因此,可以将多张初检图像经过预处理后,输入到第一缺陷检测模型,得到每张初检图像对应的检测结果。由于不同的初检图像对应待检器件不同的区域,因此,第一缺陷检测模型所输出的检测结果可以包括是否有缺陷的结果,以及每张初检图像对应的区域。从而可以基于第一缺陷检测模型输出的检测结果,确定待检器件出现缺陷的区域。
110.在一种可选的示例中,待检器件可以为显示屏,对显示屏进行缺陷检测的目的是:确定显示屏的屏幕是否有缺陷,进一步地,可以确定显示屏的边缘是否有缺陷,如边缘是否有裂纹,相应地,多张初检图像可以包括显示屏的长边图像和短边图像,长边图像可以是对显示屏的长边进行图像采集得到的图像,短边图像可以是对显示屏的短边进行图像采集得到的图像。
111.参照图2所示,示出了对显示屏进行第一图像采集的步骤流程示意图,如图2所示,包括以下步骤:
112.步骤s201:沿着所述待检器件的长边的方向,对所述长边的不同区段进行所述第一图像采集,得到多张所述长边图像。
113.步骤s202:沿着所述待检器件的短边的方向,对所述短边的不同区段进行所述第一图像采集,得到多张所述短边图像。
114.本实施例中,在对待检器件进行第一图像采集的过程中,可以沿着待检器件的长
边的方向进行图像采集,得到多张长边图像;以及沿着待检器件的短边的方向进行图像采集,得到多张短边图像。其中,不同的长边图像对应长边的不同区段;不同的短边图像对应短边的不同区段。
115.在一种具体的实施方式中,对具有两条长边的显示屏,可以同时对两个长边进行第一图像采集,即在每条长边上架设一台相机进行图像采集;当然,也可以对每条长边依次进行,即利用一台相机进行图像采集,此种情况下,可以保持相机固定,通过移动显示屏的方式完成对两条长边的图像采集。当然,对于短边的图像采集,可以参考对长边的图像采集。
116.采用此种实施方式时,可以在显示屏的缺陷检测领域,对显示屏的边缘的缺陷进行细致的检测。
117.(2)精检的流程(第二缺陷检测的流程)
118.在一种可选的示例中,如上述初检的流程所述,可以通过缺陷检测模型执行缺陷检测。这样,在第二缺陷检测时,可以将精检图像输入至第二缺陷检测模型,以确定待检器件是否存在相应缺陷。
119.其中,第二缺陷检测模型用于检测的缺陷的种类如上述实施例所述,如包括但不限于以下一种或多种:器件的表面的裂纹、豁口、不平整、孔隙。当然,第一缺陷检测模型和第二缺陷检测模型可以是同一模型;或者,可以是不同的模型,此种情况下,由于精检图像的分辨率较高,因此,第二缺陷检测模型的样本图像也可以是分辨率较高的样本图像。
120.在一种可选的示例中,在第一缺陷检测模型不同于第二缺陷检测模型的情况下,第一缺陷检测模型可以检测的缺陷的种类,也可以不同于第二缺陷检测模型可以检测的缺陷的种类。
121.在一种可选的示例中,由于在第一缺陷检测过程中,基于多张初检图像对待检器件的不同位置进行了检测,由此,可以在得到每张初检图像对应的初检结果时,可以确定待检器件的不同位置是否存在缺陷。
122.由此,可以通过第一缺陷检测的结果,确定待检器件的缺陷区域;进而,在精检的图像采集中,可以对待检器件的缺陷区域进行第二图像采集,得到精检图像。
123.示例地,在得到每张初检图像对应的检测结果时,便得到了待检器件的每个待检区域是否存在缺陷的结果,由此,可以获取表征存在缺陷的初检结果所对应的目标初检图像,进而根据目标初检图像确定待检器件存在缺陷的缺陷区域,实际中,该目标初检图像对应的区域即为存在缺陷的缺陷区域。
124.具体地,可以对待检器件的缺陷区域进行多次第二图像采集,得到多张精检图像,每次图像采集时,对准缺陷区域的不同位置,如上所述,在第二图像采集中,使用的是高分辨率的相机,实际中,可以减小高分辨率的相机的拍摄视野,由于拍摄视野变小,因此,对缺陷区域的图像采集可以是:每次针对缺陷区域的部分区域进行高分辨率的图像采集,这样,在多次采集后,可以得到多张精检图像,每张精检图像都是高分辨率的图像。
125.之后,基于多张精检图像进行第二缺陷检测,具体实施时,可以将多张精检图像输入至第二缺陷检测模型,得到多张精检图像各自对应的检测结果,若检测结果均为不具有缺陷的结果,则通过第二缺陷检测;反之,则不通过第二缺陷检测。
126.采用此种实施方式时,由于在不通过第一缺陷检测时,利用第一缺陷检测的检测
结果确定了有缺陷的缺陷区域,这样,在精检过程中,直接对缺陷区域进行图像采集,得到精检图像,从而避免对待检器件的整个待检区域进行图像采集,从而减小了采集工作量和采集的图像数量,提高了缺陷检测效率。
127.当然,以上仅是一种可选的示例,在实际中,在未通过第一缺陷检测时,也可以对待检器件的全表面进行第二图像采集,从而重新对待检器件的全部待检测区域进行缺陷检测。
128.在一种可选的示例中,对于包含多种材料的器件而言,不同材料对光的反射情况不同,因此,为提高精检图像的图像质量,可以分别对待检器件进行高曝光和低曝光,并采集高曝光下的高曝光图像和低曝光下的低曝光图像;接着,对高曝光图像和低曝光图像进行融合,得到精检图像。
129.对高曝光图像和低曝光图像进行融合可以理解为:使高曝光的图像和低曝光的图像进行相互补偿,以平滑不同材料在不同程度曝光下的光反射强度,提升整体图像均匀性。
130.由于对待检器件可以进行多次图像采集,得到多张精检图像,因此,对同一位置,可以先在高曝光下采集高曝光图像,接着切换为低曝光采集低曝光图像,在融合时,可以将同一位置的高曝光图像和低曝光图像进行融合。
131.当然,对同一位置,也可以先在低曝光光下采集高曝光图像,接着切换为高曝光采集低曝光图像。
132.参照图3所示,示出了对高曝光图像和低曝光图像进行融合,得到精检图像的步骤流程图,如图3所示,具体包括以下步骤:
133.步骤s301:对所述高曝光图像进行降噪处理,得到所述高曝光图像的第一处理后图像。
134.步骤s302:对所述低曝光图像进行自适应处理,得到所述低曝光图像的第二处理后图像。
135.其中,所述自适应处理用于调整所述低曝光图像的对比度。
136.步骤s303:将所述第一处理后图像和所述第二处理后图像进行融合,得到精检图像。
137.本实施例中,对高曝光图像的降噪处理可以是指高斯降噪处理以去除高曝光下高曝光图像的噪声,例如以3*3尺寸对图像进行高斯处理,从而平滑图像,降低噪点影响。参照图4所示,示出了对高曝光图像进行降噪前后的效果示意图,如图4所示,左侧为降噪处理前的图像,右侧为降噪处理后的图像,可见去除了噪点。
138.对低曝光图像进行自适应处理可以是指:调整所述低曝光图像的对比度,由于低曝光图像是低曝光下采集的图像,因此,适应处理可以进一步理解为是增强低曝光图像的对比度,从而使得低曝光图像的特征更为明显。参照图5所示,示出了对低曝光图像进行降噪前后的示意图,如图5所示,自适应处理后,图像的对比度得到了增强。
139.其中,在将第一处理后图像和第二处理后图像进行融合时,可以将一处理后图像和第二处理后图像中属于同一位置的像素点的像素值,按照对应的加权系数,进行加权求和,从而得到同一位置的像素点的新像素值,求得各个像素点的新像素值后,即得到了精检图像。其中,加权系数可以按照需求进行设置,在此不做限定。
140.示例地,对一个位置的像素点i,其新的像素值x

=x1*r+x2*(1-r);其中,r为加权
系数,取值可以为(0.3~0.7);x1为像素点i在第一处理后图像中的像素值,x2为像素点i在第二处理后图像中的像素值。
141.由此,经过高曝光和低曝光的图像的融合,可以避免在一种打光方式下拍摄的图像亮度不均一的情况,极大的改善了图像画质,提升了检测精度和缺陷检出率。
142.可选地,在对低曝光图像进行自适应处理,得到低曝光图像的第二处理后图像时,可以参照图6所示,示出了对低曝光图像进行自适应处理的步骤流程图,如图6所示,具体包括以下步骤:
143.步骤s601:对所述低曝光图像中每个像素点分别在各颜色通道的像素值进行归一化处理。
144.本实施例中,颜色通道可以是指rgb通道,即包括r通道、g通道和b通道;一般而言,对于一张图像的每个像素点而言,其在每个颜色通道都有一个对应的像素值。因此,可以将低曝光图像中三个颜色通道中各个像素点的像素值分别进行归一化处理,使得每个颜色通道中各个像素点的像素值在0~1之间。
145.在一种可选的示例中,可以确定每个颜色通道中的最小像素值和最大像素值,之后,对该颜色通道的一个像素点而言,将该像素点在该颜色通道的像素值减去最小像素值后,再除以此颜色通道中最大像素值与最小像素值的差,从而完成每个像素点在各个颜色通道的像素值的归一化处理。
146.示例地,在r通道的最大像素值是232,最小像素值是23,对于像素点i,该像素点i的归一化后像素值xi=(x-x
min
)/(x
max-x
min
);其中,x为像素点i在该颜色通道的真实像素值,x
min
为该颜色通道的最小像素值,x
max
为该颜色通道的最大像素值。
147.步骤s602:基于所述低曝光图像中每个颜色通道中各个像素点的归一化后像素值的平均值,确定每个颜色通道对应的补偿值。
148.步骤s603:基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的像素值进行补偿,得到所述第二处理后图像。
149.本实施例中,可以对各颜色通道归一化后的像素值进行补偿,然后对补偿后的像素值进行反归一化处理,从而得到每个颜色通道中各个像素点的最终像素值,进而得到第二处理后图像。
150.具体实施时,可以基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的归一化后像素值进行补偿,得到该颜色通道中各个像素点的补偿后值;对各个像素点的补偿后值进行反归一化处理,得到所述第二处理后图像。
151.其中,反归一化处理和补偿的过程可以参照下述示例的描述。
152.在一种可选的示例中,可以先确定出每个颜色通道对应的补偿值,具体地,可以首先确定步骤s601计算得到的各颜色通道中各个像素点的归一化后像素值的平均值,继而得到每个颜色通道对应的平均值,然后根据每个颜色通道对应的平均值计算出该颜色通道对应的伽马值,该伽马值即为补偿值;之后,对每个颜色通道的每个像素点而言,可以基于该颜色通道对应的伽马值对该像素点的归一化后像素值进行补偿。例如,以伽马值的倒数为指数对该像素点的归一化后像素值进行补偿,得到补偿后的归一化像素值。
153.其中,每个颜色通道对应的补偿值可以通过以下公式确定:
154.在该公式中,y为颜色通道对应的平均值,γ为补偿值。
155.示例地,r通道的平均值为0.8,然后得到补偿值为2,则像素点i的补偿后的归一化像素值为xi的0.5次方。
156.在得到每个颜色通道的每个像素点得到补偿后的归一化像素值时,可以将归一化像素值进行反归一化处理,反归一化处理用于将颜色通道的每个像素点的像素值重新分布到0~255之间,具体过程可以为:对每个颜色通道的每个像素点而言,可以将该像素点的归一化像素值乘以归一化前此颜色通道中最大像素值与最小像素值的差,再加上归一化前此颜色通道中的最小像素值,进而得到该像素点在该颜色通道的最终像素值。
157.采用此实施方式时,可以采用灰度加权平均法对低曝光图像的对比度进行自适应的增强,从而改善了低曝光图像的画质,提高了精检图像的质量。
158.在又一种可选的示例中,第一图像采集低于目标采集精度的图像采集;第二图像采集为在高于获得或等于目标采集精度进行的图像采集。
159.其中,目标采集精度表征缺陷检测可以检测的缺陷的细微程度,如目标精度很高,表征可以对极细微的缺陷进行检测,如目标精度很低,表征可以对粗粒度的缺陷进行检测,而对细微的缺陷的检出率较低。一般而言,目标精度可以用于指示进行图像采集的分辨率,该目标采集精度可以依据检出精度进行确定,如检出精度为1μm,则目标精度是1μm,则在第一图像采集中,可以按照低于目标采集精度的精度进行图像采集,如可以按照检出精度为1.5μm~2μm的标准进行图像采集;而在第二图像采集中,目标采集精度要得到提高,则可以为1μm,或者是高于1μm的精度,如0.5μm。
160.当然,图像采集还可以在目标采集视场下进行,目标采集视场可以是指图像采集时,相机对准的区域的大小,一般而言,在第一图像采集中,目标采集视场较大,而在第二图像采集中目标采集视场较小,以得到更细微区域的图像。
161.下面,以待检器件为显示屏、对显示屏的四边进行检测为例,对本技术实施例的缺陷检测方法进行示例性说明:
162.第一步:相机保持固定位置,移动放置显示屏的平台,采用低分辨率面扫相机对显示屏的两个长边进行同时的图像采集,得到多张长边图像;采用同样的方式对显示屏的两个短边进行同时的图像采集,得到多张短边图像;
163.第二步:将采集的每张图像使用open cv方法对图像进行切割、增强,、降噪、滤波、归一化处理后,将处理好的图像输入第一缺陷检测模型进行缺陷检测,得到每张图像的判定结果,判定结果包括ok或ng,若是ok,则表征该张图像对应的区域没有缺陷,是ng,则表征该张图像对应的区域有缺陷;
164.第三步:将结果判定(短边和长边都为ok)为ok的显示屏进行正常流转到下一个工序,判定为ng(短边或长边为ok)的显示屏流转到精检平台;
165.第四步:采用高分辨率面扫相机对判定为ng的显示屏进行重新检测,具体而言,使用低曝光度和高曝光度分别拍摄图像,对高曝光得到的图像利用高斯滤波法进行降噪处理,对低曝光度得到的图像进行自适应增强处理,然后对两张图像融和后,将融合后的图像再输入第二缺陷检测模型,进行深度学习推理,最后得到判定结果。
166.第五步:将结果判定为ok的显示屏流转到下一个工序,判定为ng的显示屏流转到
不合格器件收集平台。
167.基于相同的发明构思,本公开还提供一种缺陷检测装置,参照图7所示,示出了本技术的缺陷检测装置的结构框图,所述装置包括:
168.第一采集模块701,用于对待检器件进行第一图像采集,得到初检图像;
169.第一检测模块702,用于基于所述初检图像,对所述待检器件进行第一缺陷检测;
170.第二采集模块703,用于若未通过所述第一缺陷检测,对所述待检器件进行第二图像采集,得到精检图像;所述精检图像的分辨率高于所述初检图像的分辨率;
171.第二检测模块704,用于基于所述精检图像,对所述待检器件进行第二缺陷检测。
172.可选地,所述第二采集模块,包括:
173.图像采集单元,用于分别对所述待检器件进行高曝光和低曝光,采集高曝光下的高曝光图像和低曝光下的低曝光图像;
174.图像融合单元,用于对所述高曝光图像和所述低曝光图像进行融合,得到所述精检图像。
175.可选地,所述图像融合单元,包括:
176.降噪子单元,用于对所述高曝光图像进行降噪处理,得到所述高曝光图像的第一处理后图像;
177.自适应处理子单元,用于对所述低曝光图像进行自适应处理,得到所述低曝光图像的第二处理后图像;所述自适应处理用于调整所述低曝光图像的对比度;
178.融合子单元,用于将所述第一处理后图像和所述第二处理后图像进行融合,得到多张精检图像。
179.可选地,所述自适应处理子单元,具体用于执行以下步骤:
180.对所述低曝光图像中每个像素点分别在各颜色通道的像素值进行归一化处理;
181.基于像素值归一化处理后的低曝光图像中每个颜色通道的像素值的平均值,确定每个颜色通道对应的补偿值;
182.基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的像素值进行补偿,得到所述第二处理后图像。
183.可选地,基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的像素值进行补偿,得到所述第二处理后图像的过程包括:
184.基于每个颜色通道对应的补偿值,对该颜色通道中各个像素点的归一化后像素值进行补偿,得到该颜色通道中各个像素点的补偿后值;
185.对各个像素点的补偿后值进行反归一化处理,得到所述第二处理后图像可选地,所述装置还包括:
186.拼接模块,用于基于多张所述初检图像各自对应的区域,对多张所述初检图像进行拼接;
187.标注模块,用于在拼接得到的图像中标注多张所述初检图像各自对应的初检结果,得到拼接后的检测结果;
188.确定模块,用于基于所述拼接后的初检结果,确定所述待检器件是否通过所述第一缺陷检测。
189.可选地,所述初检图像有多张,不同的初检图像对应所述待检器件的不同区域,第
一检测模块,具体用于基于多张所述初检图像,对所述待检器件进行第一缺陷检测;并获得多张所述初检图像各自对应的初检结果;
190.第一检测模块,具体用于在存在表征所述待检器件具有缺陷的初检结果的情况下,对所述待检器件进行第二图像采集。
191.可选地,所述待检器件为显示屏,多张所述初检图像包括长边图像和短边图像,第一采集模块,包括:
192.长边图像采集单元,用于沿着所述待检器件的长边的方向,对所述长边的不同区段进行所述第一图像采集,得到多张所述长边图像;
193.短边图像采集单元,用于沿着所述待检器件的短边的方向,对所述短边的不同区段进行所述第一图像采集,得到多张所述短边图像。
194.可选地,所述装置还包括:
195.缺陷区域确定模块,用于若未通过所述第一缺陷检测,基于所述第一缺陷检测的结果,确定所述待检器件的缺陷区域;
196.第二采集模块,具体用于对所述待检器件的缺陷区域进行所述第二图像采集,得到所述精检图像。
197.可选地,所述装置还包括标记模块,用于在通过所述第一缺陷检测时,将所述待检器件标记为合格器件;在通过所述第二缺陷检测时,将所述待检器件标记为合格器件。
198.可选地,所述第一检测模块,具体用于将所述初检图像输入至第一缺陷检测模型,以对所述待检器件进行第一缺陷检测;
199.所述第二检测模块,具体用于将所述精检图像输入至第二缺陷检测模型,以对所述待检器件进行第二缺陷检测。
200.可选地,所述第一图像采集为在目标采集精度和目标采集视场下进行的图像采集;所述第二图像采集为在高于所述目标采集精度和小于所述目标采集视场下进行的图像采集。
201.基于相同的发明构思,本公开还提供一种缺陷检测系统,参照图8所示,示出了一种缺陷检测系统的示意图,包括图像采集模组(图中未示出,其包括第一采集组件和第二采集组件)、缺陷检测模组,其中:所述图像采集模组,用于对待检器件进行第一图像采集,得到初检图像,以及用于对所述待检器件进行第二图像采集,得到精检图像;所述精检图像的分辨率高于所述初检图像的分辨率;
202.所述缺陷检测模组,用于基于所述初检图像,对所述待检器件进行第一缺陷检测,以及用于基于所述精检图像,对所述待检器件进行第二缺陷检测。
203.如图8所示,在一种可选的示例中,所述图像采集模组包括第一采集组件、第二采集组件、分流模组,以及与所述分流模组连通的合格通道和精检通道;当然,还可以包括不合格通道。实际中,合格通道、精检通道和不合格通道可以是指具有皮带传输的流道,当然不仅限于皮带传输。
204.其中,所述第一采集组件,具体用于对待检器件进行第一图像采集;
205.其中,所述分流模组,用于将通过所述第一缺陷检测的待检器件划拨至所述合格通道,以及用于将未通过所述第一缺陷检测的待检器件划拨至所述精检通道;
206.其中,所述第二采集组件,具体用于对被划拨至所述精检通道的待检器件进行第
二图像采集。
207.在一种示例中,第二采集组件可以位于精检通道,分流模组可以与精检通道和合格通道连通,并用于将通过第二缺陷检测的待检器件分流至合格通道而未通过第一缺陷检测和第二缺陷检测的待检器件分流至不合格通道,以实现对待检器件的缺陷检测分流。
208.对于缺陷检测装置和缺陷检测系统实施例而言,由于其与缺陷检测方法实施例基本相似,所以描述的比较简单,相关之处参见缺陷检测方法实施例的部分说明即可。
209.本公开还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行时实现所述的缺陷检测方法。
210.本公开还提供一种非瞬态计算机可读存储介质,其存储的计算机程序使得处理器执行所述的缺陷检测方法。
211.本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
212.最后,还需要说明的是,除非另外定义,在本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。
213.以上对本公开所提供的一种缺陷检测方法、烧录装置、烧录系统及显示装置进行了详细介绍,本文中应用了具体个例对本公开的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本公开的方法及其核心思想;同时,对于本领域的一般技术人员,依据本公开的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本公开的限制。
214.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
215.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
216.本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着,结合实施例描述的特定特征、结构或者特性包括在本公开的至少一个实施例中。此外,请注意,这里“在一个实施例中”的词语例子不一定全指同一个实施例。
217.在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本公开的实施例可以在没有这些具体细节的情况下被实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
218.在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。
单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
219.最后应说明的是:以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1