一种坏元识别方法及相关装置与流程

1.本技术涉及图像识别技术领域，特别涉及一种坏元识别方法、坏元识别装置、计算设备以及计算机可读存储介质。


背景技术：

2.在高阵列规模器件制备工艺较为复杂，普遍存在坏元。损坏的像元会直接影响该像素点的性能，进而影响整个器件的成像质量。因此，需要准确地进行坏元识别，及时发现损坏的像元。
3.相关技术中，一般采用模板匹配法通过高分辨率相机采集样品图像，然后与标准模板图案进行对比识别出缺陷位置，广泛应用于一些复杂图案的缺陷检验中。但是，高阵列规模器件的像元个数往往达百万级别，直接应用模板对像元逐一匹配，增加坏元识别的延时，降低坏元识别的效率。
4.因此，如何提高对于高阵列规模器件进行坏元识别的效率是本领域技术人员关注的重点问题。


技术实现要素：

5.本技术的目的是提供一种坏元识别方法、坏元识别装置、计算设备以及计算机可读存储介质，已降低坏元识别的计算量，提高识别效率。
6.为解决上述技术问题，本技术提供一种坏元识别方法，包括：
7.通过高分辨率图像采集设备对待测样品进行图像采集，得到待测样品图像；
8.采用haar小波变换对所述待测样品图像进行分解，得到低频分量；
9.采用多级模板对所述低频分量进行坏元识别，得到识别结果。
10.可选的，采用haar小波变换对所述待测样品图像进行分解，得到低频分量，包括：
11.采用haar小波变换对所述待测样品图像从水平方向和垂直方向分别进行分解，得到所述低频分量。
12.可选的，采用haar小波变换对所述待测样品图像进行分解，得到低频分量，包括：
13.采用haar小波变换对所述待测样品图像从水平方向和垂直方向分别进行多级分解，得到所述低频分量。
14.可选的，采用多级模板对所述低频分量进行坏元识别，得到识别结果，包括：
15.对所述低频分量进行图像方向校正，得到待识别图像；
16.采用所述多级模板与所述待识别图像中每个像元进行相关系数计算，得到所述像元对应的相关系数；
17.判断每个所述像元的相关系数是否大于预设系数；
18.若是，则对下一个像元执行判断操作；
19.若否，则将所述像元标记为坏元，并作为所述识别结果。
20.可选的，采用多级模板对所述低频分量进行坏元识别，得到识别结果，包括：
21.对所述低频分量进行图像方向校正，得到待识别图像；
22.将所述待识别图像中每个像元均分为对应的多个子区域；
23.将所述多级模板与所述像元的多个子区域依次进行相关系数计算，得到每个所述子区域对应的相关系数；
24.当所述像元的任一子区域的相关系数小于阈值时，将所述像元标记为坏元，并作为所述识别结果。
25.可选的，通过高分辨率图像采集设备对待测样品进行图像采集，得到待测样品图像，包括：
26.通过高分辨率图像采集设备对所述待测样品进行图像采集，得到原始图像；
27.对所述原始图像进行灰度处理，得到所述待测样品图像。
28.本技术还提供一种坏元识别装置，包括：
29.图像采集模块，用于通过高分辨率图像采集设备对待测样品进行图像采集，得到待测样品图像；
30.小波变换模块，用于采用haar小波变换对所述待测样品图像进行分解，得到低频分量；
31.坏元识别模块，用于采用多级模板对所述低频分量进行坏元识别，得到识别结果。
32.可选的，所述小波变换模块，具体用于采用haar小波变换对所述待测样品图像从水平方向和垂直方向分别进行分解，得到所述低频分量。
33.本技术还提供一种计算设备，包括：
34.存储器，用于存储计算机程序；
35.处理器，用于执行所述计算机程序时实现如上所述的坏元识别方法的步骤。
36.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的坏元识别方法的步骤。
37.本技术所提供的一种坏元识别方法，包括：通过高分辨率图像采集设备对待测样品进行图像采集，得到待测样品图像；采用haar小波变换对所述待测样品图像进行分解，得到低频分量；采用多级模板对所述低频分量进行坏元识别，得到识别结果。
38.通过对采集到的待测样品图像进行分解的得到低频分量，最后再采用多级模板对所述低频分量进行坏元识别得到识别结果，由于低频分量中保留了原图像的基本特征，可以进行坏元识别，同时降低了进行识别的计算量，提高了坏元识别的效率。
39.本技术还提供一种坏元识别装置、计算设备以及计算机可读存储介质，具有以上有益效果，在此不做赘述。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
41.图1为本技术实施例所提供的一种坏元识别方法的流程图；
42.图2为本技术实施例所提供的一种二维图像小波变换的示意图；
43.图3为本技术实施例所提供的一种待测样品图像的示意图；
44.图4为本技术实施例所提供的一种小波变换结果的示意图；
45.图5为本技术实施例所提供的一种多级模板匹配的示意图；
46.图6为本技术实施例所提供的一种坏元识别装置的结构示意图。
具体实施方式
47.本技术的核心是提供一种坏元识别方法、坏元识别装置、计算设备以及计算机可读存储介质，已降低坏元识别的计算量，提高识别效率。
48.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
49.相关技术中，一般采用模板匹配法通过高分辨率相机采集样品图像，然后与标准模板图案进行对比识别出缺陷位置，广泛应用于一些复杂图案的缺陷检验中。但是，高阵列规模器件的像元个数往往达百万级别，直接应用模板对像元逐一匹配，增加坏元识别的延时，降低坏元识别的效率。
50.因此，本技术提供一种坏元识别方法，通过对采集到的待测样品图像进行分解的得到低频分量，最后再采用多级模板对所述低频分量进行坏元识别得到识别结果，由于低频分量中保留了原图像的基本特征，可以进行坏元识别，同时降低了进行识别的计算量，提高了坏元识别的效率。
51.以下通过一个实施例，对本技术提供的一种坏元识别方法进行说明。
52.请参考图1，图1为本技术实施例所提供的一种坏元识别方法的流程图。
53.本实施例中，该方法可以包括：
54.s101，通过高分辨率图像采集设备对待测样品进行图像采集，得到待测样品图像；
55.可见，本步骤旨在进行图像采集，得到待测样品图像。其中，待测样品即为需要进行坏元识别的样品。
56.进一步的，本步骤可以包括：
57.步骤1，通过高分辨率图像采集设备对待测样品进行图像采集，得到原始图像；
58.步骤2，对原始图像进行灰度处理，得到待测样品图像。
59.本可选方案旨在说明如何获取待测样品图像。本可选方案中，通过高分辨率图像采集设备对待测样品进行图像采集，得到原始图像，对原始图像进行灰度处理，得到待测样品图像。可见，通过本可选方案可以将图像处理为灰度图像进行处理，减少色彩对处理过程的影响。
60.s102，采用haar小波变换对待测样品图像进行分解，得到低频分量；
61.在s101的基础上，本步骤旨在采用haar小波变换对待测样品图像进行分解，得到低频分量。
62.其中，小波变换继承和发展了短时傅立叶变换局部化的思想，同时又克服了窗口大小不随频率变化等缺点，能够提供一个随频率改变的“时间
‑
频率”窗口，是进行信号时频分析和处理的理想工具。它的主要特点是通过变换能够充分突出问题某些方面的特征，能
对时间(空间)频率的局部化分析，通过伸缩平移运算对信号函数逐步进行多尺度细化，最终达到高频处时间细分，低频处频率细分，能自动适应时频信号分析的要求，从而可聚焦到信号的任意细节。haar小波变换是通过haar尺度函数定义的小波变换。
63.当采用haar小波变换对待测样品图像进行分解时，可以得到高频分量和低频分量。其中，高频分量为图像的细节特征，低频分量为图像的基本特征。因此，可以将采用低频分量实现对像元进行识别，进而判断出坏元。
64.进一步的，本步骤可以包括：
65.采用haar小波变换对待测样品图像从水平方向和垂直方向分别进行分解，得到低频分量。
66.本可选方案旨在说明如何获取低频分量。本可选方案中，采用haar小波变换对待测样品图像从水平方向和垂直方向分别进行分解，得到低频分量。很显然，本实施例中主要是对二维的待测样品图像进行分解。因此，需要通过水平方向和垂直方向分别进行分解。
67.也就是，从水平和垂直两个方向进行低通和高通滤波，其中，水平方向和垂直方向不分先后。
68.进一步的，本步骤可以包括：
69.采用haar小波变换对待测样品图像从水平方向和垂直方向分别进行多级分解，得到低频分量。
70.本可选方案旨在说明如何获取低频分量。本可选方案中，采用haar小波变换对待测样品图像从水平方向和垂直方向分别进行多级分解，得到低频分量。也就是，在进行两个方向的分解的基础上，进行多次分解，进一步的降低低频分量的数据量，提高计算的效率。
71.s103，采用多级模板对低频分量进行坏元识别，得到识别结果。
72.在s102的基础上，本步骤旨在采用多级模板对低频分量进行坏元识别，得到识别结果。可见，本可选方案中主要是由于从图像中获取到低频分量，而不是对完整的图像进行坏元识别，降低了进行坏元识别的数据量，提高了识别的效率。
73.其中，本实施例中主要是采用模板匹配的方式对低频分量进行坏元识别。也就是，将低频分量与标准模板图案进行对比识别出缺陷位置。
74.其中，对比识别可以采用相关系数的方式进行计算。
75.进一步的，为了降低进行坏元识别的计算量，提高处理的效率。本实施例中，可以将每一个像元分区为多个子区域，对每个子区域进行对比。当存在一个子区域的对比的相关性小于阈值时，即可确定该像元为坏元。
76.进一步的，本步骤可以包括：
77.步骤1，对低频分量进行图像方向校正，得到待识别图像；
78.步骤2，采用多级模板与待识别图像中每个像元进行相关系数计算，得到像元对应的相关系数；
79.步骤3，判断每个像元的相关系数是否大于预设系数；
80.步骤4，若是，则对下一个像元执行判断操作；
81.步骤5，若否，则将像元标记为坏元，并作为识别结果。
82.可见，本可选方案中主要是对如何进行坏元识别得到识别结果进行说明。本可选方案中，对低频分量进行图像方向校正，得到待识别图像，采用多级模板与待识别图像中每
个像元进行相关系数计算，得到像元对应的相关系数，判断每个像元的相关系数是否大于预设系数，若是，则对下一个像元执行判断操作，若否，则将像元标记为坏元，并作为识别结果。
83.很显然，本可选方案中主要是以像元为基本单位对低频分量进行对应的相关系数计算，以便确定出所有像元中的坏元。
84.进一步的，本步骤可以包括：
85.步骤1，对低频分量进行图像方向校正，得到待识别图像；
86.步骤2，将待识别图像中每个像元均分为对应的多个子区域；
87.步骤3，将多级模板与像元的多个子区域依次进行相关系数计算，得到每个子区域对应的相关系数；
88.步骤4，当像元的任一子区域的相关系数小于阈值时，将像元标记为坏元，并作为识别结果。
89.可见，本可选方案中主要是对如何进行坏元识别得到识别结果进行说明。本可选方案中，对低频分量进行图像方向校正，得到待识别图像，将待识别图像中每个像元均分为对应的多个子区域，将多级模板与像元的多个子区域依次进行相关系数计算，得到每个子区域对应的相关系数，当像元的任一子区域的相关系数小于阈值时，将像元标记为坏元，并作为识别结果。
90.可见，本可选方案中在以像元为判断单位的基础上，将每个像元均分为多个小区域，依次计算每个小区域的相关系数，以便降低进行计算的计算量，进一步的提高坏元识别的效率。
91.综上，本实施例通过对采集到的待测样品图像进行分解的得到低频分量，最后再采用多级模板对低频分量进行坏元识别得到识别结果，由于低频分量中保留了原图像的基本特征，可以进行坏元识别，同时降低了进行识别的计算量，提高了坏元识别的效率。
92.以下通过一个具体的实施例，对本技术提供的一种坏元识别方法做进一步说明。
93.本实施例中，首先使用高分辨率相机对待测样品图像进行采集，并确保每一个像元内部有足够多的像素用于后续像元匹配计算。为了降低模板匹配的计算量，首先使用haar小波变换对样品灰度图像进行分解。经过小波变换后的图像会产生低频分量和高频分量，低频信息储存了原图像的基本特征，需要保存下来用于坏元识别。
94.其中，haar低通滤波器为[1,1]/sqrt(2)，haar高通滤波器为[
‑
1,1]/sqrt(2)。以一维数据为例进行说明。设原始数组为a[0,1,2,3]，利用b[0,1,2,3]保存一级haar变换后的结果。将a[0,1,2,3]与低通滤波器卷积并向下采样2倍，得：
[0095]
b[0]＝(a[0]+a[1])/sqrt(2)，
[0096]
b[1]＝(a[2]+a[3])/sqrt(2)。
[0097]
将a[4]与高通滤波器卷积并向下采样2倍，得：
[0098]
b[2]＝(a[0]
‑
a[1])/sqrt(2)，
[0099]
b[3]＝(a[2]
‑
a[3])/sqrt(2)。
[0100]
其中，b[0]和b[1]体现的是原始图像的基本特征，b[2]和b[3]体现的是原始图像的细节信息。
[0101]
若要进行二级haar变换，则需对b[0]和b[1]再次进行计算，得：
[0102]
c[0]＝(b[0]+b[1])/sqrt(2)，
[0103]
c[1]＝(b[0]
‑
b[1])/sqrt(2)。
[0104]
其中，c[0]体现的是原始图像的基本特征，b[2]、b[3]和c[1]体现的是原始图像的细节信息。因此，经过一级haar小波变换，分辨率为4的原数据a[0,1,2,3]被压缩为分辨率为2的低频数据b[0,1]。经过二级haar变换，分辨率为4的原数据被压缩为分辨率为1的低频数据c[0]，实现了计算量的压缩。
[0105]
请参考图2，图2为本技术实施例所提供的一种二维图像小波变换的示意图。
[0106]
图像的二维haar小波变换不再从一个方向进行，需要从水平和垂直两个方向进行低通和高通滤波，水平和垂直不分先后。一级haar小波变换的分解过程为：首先对图像的每一行进行一维haar小波变换，得到原始图像在水平方向的低频分量l和高频分量h。然后对变换所得的数据的每一列进行一维haar小波变换，获得原始图像在水平和垂直方向上的低频分量ll1，水平方向的低频和垂直方向的高频分量lh1(原始图像在垂直方向上的细节)，水平方向的高频和垂直方向上的低频分量hl1(原始图像在水平方向上的细节)，以及水平和垂直方向上的高频分量hh1(原始图像在对角线方向上的细节)。将ll1再次进行一轮上述操作可以得到二级haar小波变换的结果ll2、lh2、hl2、hh2，如图1所示。三级、四级计算依此类推。因此，可以通过haar小波变换降低原始图像的数据量以提高模板匹配计算速度，同时保证样品像元阵列特征不丢失，不影响坏元识别精度。
[0107]
请参考图3，图3为本技术实施例所提供的一种待测样品图像的示意图。
[0108]
请参考图4，图4为本技术实施例所提供的一种小波变换结果的示意图。
[0109]
其中，图像分辨率为2592
×
1944，大小为2.78mb。使用haar小波变换对其进行一级分解，结果如图4所示。为了显示清楚细节，图4分别对每个分量进行了灰度归一化。其中，左上角为原始图像的低频信息ll1，可以看出基本保留了原始图像的全部像元特征，但图像分辨率下降到1296
×
972，是原来的四分之一，大小下降到715kb，有助于降低后续模板匹配的计算量。由于像元细节信息主要存在于水平和垂直分量中，因此在对角线方向基本不存在细节特征。
[0110]
最后，本实施例使用多级模板匹配的方法对一级haar小波变换得到的ll1图像进行坏元识别。因为模板匹配方法无法识别出目标的旋转或者大小的变化，因此在匹配前需要先将ll1图像进行水平和垂直方向的校正。假设模板图像为t，大小为m
×
n(本实施例中为正方形像元，且m＝n＝周期)，ll1图像大小为m
×
n。用s
ij
表示以ll1中以(i，j)为左上角顶点的待测像元，则1≤i≤m
‑
m，1≤j≤n
‑
n。因为像元阵列是周期性的，所以很容易确定s
ij
位置。利用如下的相关系数公式依次计算每一个像元s
ij
与模板t的相关系数r(i，j)。认为当r(i，j)低于设定阈值时，判定该像元不符合设计要求，为坏元。
[0111]
其中，相关系数公式为
[0112][0113]
很显然的，如果将每个像元内部所有像素都进行一遍相关技术的计算，计算量依然很大。因此，本实施例还可以采用多级模板匹配方法，将像元均分为四个区域。
[0114]
请参考图5，图5为本技术实施例所提供的一种多级模板匹配的示意图。
[0115]
首先计算左上角1/4区域的相关系数r1，其余3/4默认为完美匹配，则：
[0116][0117]
其中，
[0118][0119][0120][0121][0122]
当r1低于设定阈值时，则直接判定整个像元为坏元。当r1高于阈值时，则计算r2，且无需再次计算rs1，依此类推。对于图5中的坏元情况，按照上述流程会计算到第二步。
[0123][0124]
以此类推，可以计算r3和r4。
[0125][0126][0127]
在一些可选的方案中，本实施也可以使用其它相关系数计算公式来进行匹配计算。在一些可选的实施例中，本实施例也可以对原始图像进行多级haar小波变换，但需要保证低频信息保留了原始图像的像元特征和坏元特征。在一些更为复杂的像元图案的模板匹配中，本发明也可以将图案分为更多的子区域，不仅限于4个子区域。
[0128]
可见，本实施例通过对采集到的待测样品图像进行分解的得到低频分量，最后再采用多级模板对低频分量进行坏元识别得到识别结果，由于低频分量中保留了原图像的基本特征，可以进行坏元识别，同时降低了进行识别的计算量，提高了坏元识别的效率。
[0129]
下面对本技术实施例提供的坏元识别装置进行介绍，下文描述的坏元识别装置与上文描述的坏元识别方法可相互对应参照。
[0130]
请参考图6，图6为本技术实施例所提供的一种坏元识别装置的结构示意图。
[0131]
本实施例中，该装置可以包括：
[0132]
图像采集模块100，用于通过高分辨率图像采集设备对待测样品进行图像采集，得到待测样品图像；
[0133]
小波变换模块200，用于采用haar小波变换对待测样品图像进行分解，得到低频分量；
[0134]
坏元识别模块300，用于采用多级模板对低频分量进行坏元识别，得到识别结果。
[0135]
可选的，该小波变换模块200，具体用于采用haar小波变换对待测样品图像从水平方向和垂直方向分别进行分解，得到低频分量。
[0136]
本技术实施例还提供一种计算设备，包括：
[0137]
存储器，用于存储计算机程序；
[0138]
处理器，用于执行所述计算机程序时实现如以上实施例所述的坏元识别方法的步骤。
[0139]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的坏元识别方法的步骤。
[0140]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0141]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0142]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0143]
以上对本技术所提供的一种坏元识别方法、坏元识别装置、计算设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。