图像对齐方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像技术领域，特别是涉及一种图像对齐方法、装置、计算机设备和存储介质。


背景技术：

2.随着图像技术的快速发展，缺陷检测技术也相应得到发展。在对待检测对象进行缺陷检测时，通常是先将待检测对象对应的实物图和设计图进行对齐，再对实物图和设计图进行特征比对，确定缺陷的位置和缺陷的种类。因此，实物图和设计图对齐的精度决定了后续缺陷检测结果的准确度。
3.传统的图像对齐方法是通过模板匹配算法遍历图像中每一个可能的位置，找到图像特征点，基于图像特征点匹配使待检测对象的设计图和实物图对齐。
4.然而，当待检测对象具有非常复杂的细节和干扰因素，使用模板匹配算法进行图像对齐时，待检测对象对应的实物图和设计图的对齐精度不高。


技术实现要素：

5.针对上述技术问题，本技术提供一种能够提高图像对齐精度的图像对齐方法、装置、计算机设备和计算机可读存储介质。
6.第一方面，本技术提供了一种图像对齐方法。所述方法包括：根据待检测对象对应的实物图和设计图中指定点之间的映射关系，确定所述实物图和设计图之间的第一变换矩阵；根据所述第一变换矩阵对所述设计图进行初步对齐调整，得到初步调整后的设计图；对所述实物图中的目标区域进行图像分割，得到第一目标区域分割图；对所述设计图中的所述目标区域进行图像分割，得到第二目标区域分割图；确定所述第一目标区域分割图和所述第二目标区域分割图之间的第二变换矩阵；根据所述第二变换矩阵对所述初步调整后的设计图进行进阶对齐调整。
7.在其中一个实施例中，所述根据待检测对象对应的实物图和设计图中指定点之间的映射关系，确定所述实物图和设计图之间的第一变换矩阵，包括：获取所述实物图中和设计图中的多组指定点；根据各组指定点之间的映射转换关系，生成所述第一变换矩阵。在其中一个实施例中，所述目标区域为指定颜色的区域；所述对所述实物图中的目标区域进行图像分割，得到第一目标区域分割图，包括：根据实物图中的目标区域的第一颜色阈值范围，对所述实物图进行图像分割，得到第一目标区域分割图；所述对所述设计图中的所述目标区域进行图像分割，得到第二目标区域分割图，包括:
根据设计图中的所述目标区域的第二颜色阈值范围，对所述设计图中的所述目标区域进行图像分割，得到第二目标区域分割图。
8.在其中一个实施例中，在所述根据实物图中的目标区域的第一颜色阈值范围，对所述实物图进行图像分割之前，所述方法还包括：从目标区域中选取用于确定第一颜色阈值范围的子区域；根据所述子区域中各像素点在各个颜色通道下的颜色通道值，确定各个颜色通道下的颜色通道值范围，以得到所述第一颜色阈值范围。
9.在其中一个实施例中，所述确定所述第一目标区域分割图和所述第二目标区域分割图之间的第二变换矩阵，包括：对所述第一目标区域分割图和所述第二目标区域分割图进行特征点提取，得到多组匹配特征点；根据所述多组匹配特征点对计算所述第二变换矩阵。
10.在其中一个实施例中，所述对所述第一目标区域分割图和所述第二目标区域分割图进行特征点提取，得到多组匹配特征点包括：将所述第一目标区域分割图和所述第二目标区域分割图中的其中一个作为源分割图，另一个作为目标分割图；对所述第一目标区域分割图和所述第二目标区域分割图进行平移矫正后，对所述源分割图进行子块划分，对划分的每个子块的轮廓取外接矩形，并基于所述外接矩形在所述目标分割图中取相应的感兴趣区域；确定所述外接矩形中子块的轮廓与在所述感兴趣区域中关键轮廓之间的重合度；若所述重合度满足预设重合条件，则将所述子块的轮廓和所述关键轮廓的质心作为一组匹配特征点。
11.在其中一个实施例中，所述根据所述第二变换矩阵对所述初步调整后的设计图进行进阶对齐调整包括：根据所述第二变换矩阵对所述第一目标区域分割图进行进阶对齐调整，得到进阶对齐调整后的第一目标区域分割图；对所述进阶对齐调整后的第一目标区域分割图和所述第二目标区域分割图分别进行分块，得到多个第一分割图块和多个第二分割图块；根据所述多个第一分割图块和多个第二分割图块之间的对应关系，确定第三变换矩阵；根据所述第三变换矩阵对所述初步调整后的设计图中的多个设计图块进行仿射变换，得到目标设计图。
12.第二方面，本技术还提供了一种图像对齐装置。所述装置包括：确定模块，用于根据待检测对象对应的实物图和设计图中指定点之间的映射关系，确定所述实物图和设计图之间的第一变换矩阵；初步对齐调整模块，用于根据所述第一变换矩阵对所述设计图进行初步对齐调整，得到初步调整后的设计图；图像分割模块，用于对所述实物图中的目标区域进行图像分割，得到第一目标区域分割图；
图像分割模块，用于对所述设计图中的所述目标区域进行图像分割，得到第二目标区域分割图；确定模块，用于确定所述第一目标区域分割图和所述第二目标区域分割图之间的第二变换矩阵；进阶对齐调整模块，用于根据所述第二变换矩阵对所述初步调整后的设计图进行进阶对齐调整。
13.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
14.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
15.上述图像对齐方法、装置、计算机设备和存储介质，根据待检测对象对应的实物图和设计图中指定点之间的映射关系，确定所述实物图和设计图之间的第一变换矩阵；根据所述第一变换矩阵对所述设计图进行初步对齐调整，得到初步调整后的设计图；对所述实物图中的目标区域进行图像分割，得到第一目标区域分割图；对所述设计图中的所述目标区域进行图像分割，得到第二目标区域分割图；确定所述第一目标区域分割图和所述第二目标区域分割图之间的第二变换矩阵；根据所述第二变换矩阵对所述初步调整后的设计图进行进阶对齐调整。先对设计图进行初步定位对齐，再对设计图进行进阶调整对齐，通过多次对齐调整提高了待检测对象对应的设计图和实物图对齐的精度，使待检测对象的缺陷检测结果更加准确。
附图说明
16.图1为一个实施例中图像对齐方法的流程示意图；图2为一个实施例中提取多组匹配特征点的流程示意图；图3为另一个实施例中进阶对齐调整方法的流程示意图；图4为另一个实施例中图像对齐方法的流程示意图；图5为一个实施例中图像对齐装置的结构框图；图6为一个实施例中计算机设备的内部结构图。
具体实施方式
17.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
19.为了便于理解，以下将对本发明所应用的场景进行详细的描述。产品的生产过程中由于工艺流程管控问题，容易产生各种各样的产品缺陷。例如，印刷电路板会有毛刺、缺口、短路和断路等缺陷。包装品会有表面的脏污、褶皱和破损等缺陷。为保证产品的质量，在
产品出厂前对产品进行缺陷检测很有必要。通常对产品进行缺陷检测，是通过比对产品的实物图和设计图同一位置的像素是否一样，但因为实物图和设计图的大小和空间布局不一样，因此在进行像素比对之前必须将实物图和设计图进行对齐。对齐的精度决定了比对结果的正确度。对齐精度越高，比对结果正确度越高，即缺陷检测结果越准确。
20.在一个实施例中，如图1所示，提供了一种图像对齐方法，以该方法应用于计算机设备为例进行举例说明。具体包括以下步骤：步骤101、根据待检测对象对应的实物图和设计图中指定点之间的映射关系，确定实物图和设计图之间的第一变换矩阵。
21.其中，待检测对象是需要被检测的对象。具体地，待检测对象跟缺陷检测的应用场景有关，例如，当对印刷电路板进行缺陷检测时，待检测对象就是印刷电路板。又例如，当对印刷品进行缺陷检测时，待检测对象就是印刷品。本实施例在此不做限定。
22.其中，实物图是对待检测对象进行实际拍摄得到的图像。设计图是待检测对象的设计图像。
23.在一些实施例中，实物图是通过高分辨率的图像采集设备得到的，因此实物图具有高分辨率。可以理解，分辨率越高，图像包含的像素越多，对实物图进行全图特征提取时，花费的时间越长。
24.其中，第一变换矩阵是一种仿射变换矩阵，可用于实现图像从一种二维坐标到另一种二维坐标之间的线性变换，也可用于表征两幅图像的坐标变换关系。
25.具体地，知道两幅图像之间的第一变换矩阵，就能将其中一幅图像变形为与另外一幅图像同样的空间布局。
26.在一个实施例中，对应二维图像而言，第一变换矩阵的求解需要至少三组非共线的点的映射关系。其中一组对应点可以列一个线性方程，三组对应点可以列出三个线性方程得到线性方程组，采用最小二乘法对线性方程组进行求解得到第一变换矩阵。
27.步骤102、根据第一变换矩阵对设计图进行初步对齐调整，得到初步调整后的设计图。
28.其中，初步对齐调整是指对设计图进行第一次对齐调整。具体地，初步对齐调整是将设计图中的像素点与第一变换矩阵相乘，把设计图的所有像素通过第一变换矩阵映射到实物图中，得到初步调整后的设计图，使得待检测对象对应的设计图和实物图中对应于空间同一位置的点一一对应起来。
29.步骤103、对实物图中的目标区域进行图像分割，得到第一目标区域分割图。
30.其中，目标区域用于表征待检测对象中的特征区域。
31.在一些实施例中，当待检测对象为印刷电路板时，目标区域跟印刷电路板的表面处理工艺有关。随着表面处理工艺的不同，目标区域有所不同。
32.在一些实施例中，当待检测对象为带图案的印刷品时，目标区域为图案区域。
33.其中，第一目标区域分割图是实物图的目标区域图。
34.具体地，对实物图中的目标区域进行图像分割是将实物图的目标区域与实物图的其他背景区域区分开来。使用阈值或者边缘检测等分割方法可以提取出实物图的目标区域，即第一目标区域分割图。
35.步骤104、对设计图中的目标区域进行图像分割，得到第二目标区域分割图。
36.其中，第二目标区域分割图是设计图的目标区域图。
37.具体地，对设计图中的目标区域进行图像分割是将设计图的目标区域与设计图的其他背景区域区分开来。使用阈值或者边缘检测等分割方法可以提取出设计图的目标区域，即第二目标区域分割图。
38.步骤105、确定第一目标区域分割图和第二目标区域分割图之间的第二变换矩阵。
39.其中，第二变换矩阵是一种仿射变换矩阵，用于实现二维图像从一种二维坐标到另一种二维坐标之间的线性变换，也可用于表征两幅二维图像的坐标变换关系。
40.具体地，知道两幅图像之间的第二变换矩阵，就能将其中一幅图像变形为与另外一幅图像同样的空间布局。
41.在一个实施例中，提取两幅图像各自的特征点，对两幅图像的特征点集进行匹配，得到最优匹配的多组特征点，再利用多组特征点求解得到两幅图像之间的坐标变换关系，即第二变换矩阵。
42.步骤106、根据第二变换矩阵对初步调整后的设计图进行进阶对齐调整。
43.其中，进阶对齐调整是指对初步调整后的设计图进行进一步调整。具体地，进阶对齐调整是将初步调整后的设计图中的像素点与第二变换矩阵相乘，得到进阶调整后的设计图，也就是将设计图与实物图进一步调整对齐。
44.需要说明的是，进阶对齐调整不限于是对设计图进行第二次调整，也可以是第三次调整或者是第n次调整，进阶对齐调整仅仅是为了跟初步对齐调整做区分。进阶对齐调整的次数跟应用场景有关，应用场景越复杂，待检测对象的图像特征越丰富，进阶对齐调整次数越多，得到的对齐精度越高。
45.在一些实施例中，当进阶对齐调整是第三次调整时，可以是分别将第一目标区域分割图和第二目标分割图进行分块，得到第一目标区域分割图子块和第二目标分割图子块，基于对应的第一目标区域分割图子块和第二目标分割图子块确定第三变换矩阵，基于第三变换矩阵对设计图进行进阶调整对齐。
46.在一些实施例中，当进阶对齐调整是第三次调整时，还可以是计算第三变换矩阵和第二变换矩阵的平均值，得到平均变换矩阵，基于平均变换矩阵对设计图进行进阶调整对齐。
47.上述图像对齐方法，先对设计图进行初步定位对齐，再分别对设计图和实物图进行指定的目标区域的分割，基于实物图和设计图的分割图像确定第二变换矩阵，以对设计图进行进阶调整对齐。通过多次对齐调整提高了待检测对象对应的设计图和实物图对齐的精度，使待检测对象的缺陷检测结果更加准确。并且针对高分辨率的实物图和设计图，通过提取实物图和设计图的目标区域的特征点，并根据特征点确定实物图和设计图之间的变换矩阵，基于变换矩阵对设计图进行对齐调整。相比模板匹配算法对设计图和实物图进行整图特征提取，得到所有特征点，再根据所有特征点对设计图进行对齐调整，本技术的图像对齐方法不仅对齐速度快，而且对齐精度高，从而节省了对齐时间，提升了对齐效率。
48.在一个实施例中，根据待检测对象对应的实物图和设计图中指定点之间的映射关系，确定实物图和设计图之间的第一变换矩阵，包括：获取实物图中和设计图中的多组指定点；根据各组指定点之间的映射转换关系，生成第一变换矩阵。
49.其中，指定点是实物图和设计图中相同位置的对应点。
50.具体地，指定点需要选择至少三个，且指定点之间不能共线。分别在设计图和实物图中选择多组指定点，基于采用最小二乘法求解得到第一变换矩阵。
51.在一个实施例中，通过实物图和设计图上选定的左上角指定点、右上角指定点和右下角定位点求解得到实物图和设计图之间的第一变换矩阵。
52.需要说明的是，指定点的选取只要满足不共线和数量不小于3即可，本实施例在此不作限定。
53.上述实施例中，通过任意选择实物图和设计图上的指定点得到第一变换矩阵，方便简单。
54.在一个实施例中，目标区域为指定颜色的区域；对实物图中的目标区域进行图像分割，得到第一目标区域分割图，包括：根据实物图中的目标区域的第一颜色阈值范围，对实物图进行图像分割，得到第一目标区域分割图；对设计图中的目标区域进行图像分割，得到第二目标区域分割图，包括:根据设计图中的目标区域的第二颜色阈值范围，对设计图中的目标区域进行图像分割，得到第二目标区域分割图。
55.在一个实施例中，待检测对象是印刷电路板，目标区域也为指定颜色的区域，指定颜色的区域的颜色跟印刷电路板的表面处理工艺有关。具体地，当表面处理工艺为镀金或沉金时，目标区域是金色区域。当表面处理工艺为喷锡时，目标区域是银色区域。当表面处理工艺为有机助焊膜时，目标区域是浅红色区域。本实施例在此不做限定。
56.其中，颜色阈值范围是指目标区域的颜色对应的三原色通道值的范围。
57.具体地，实物图中的目标区域的颜色对应的三原色通道值的范围是第一颜色阈值范围，设计图中的目标区域的颜色对应的三原色通道值的范围是第二颜色阈值范围。需要说明的是，第一颜色阈值范围和第二颜色阈值范围可以是指定的，也可以是通过对实物图和设计图进行计算得到的。
58.可以理解的是，根据颜色阈值范围对待处理图像进行阈值分割，可获得二值图像，从二值图像中选取目标区域图像和背景区域图像。
59.上述实施例中，针对待检测对象的实物图和设计图中指定颜色的区域的颜色阈值范围做图像分割，直观且高效。
60.在一个实施例中，在根据实物图中的目标区域的第一颜色阈值范围，对实物图进行图像分割之前，该方法还包括：从目标区域中选取用于确定第一颜色阈值范围的子区域；根据子区域中各像素点在各个颜色通道下的颜色通道值，确定各个颜色通道下的颜色通道值范围，以得到第一颜色阈值范围。
61.其中，子区域是目标区域的一部分，包括目标区域的颜色特征，也就是说，子区域图像是目标区域图像的一部分。
62.具体地，确定子区域中各像素点的三原色通道值得到三原色通道值集，再确定三原色通道值集中，各原色通道值的最大值和最小值，根据最大值和最小值确定第一颜色阈值范围。具体的计算公式如下：其中，n为框选区域像素个数，r、g、b分别为像素的r、g、b通道值。
63.其中，r
min
是子区域中所有像素点的红原色通道值的最小值。
64.其中，r
max
是子区域中所有像素点的红原色通道值的最大值。
65.其中，g
min
是子区域中所有像素点的绿原色通道值的最小值。
66.其中，g
max
是子区域中所有像素点的绿原色通道值的最大值。
67.其中，b
min
是子区域中所有像素点的蓝原色通道值的最小值。
68.其中，b
max
是子区域中所有像素点的蓝原色通道值的最大值。
69.在一个实施例中，在计算得到第一颜色阈值范围后，对实物图进行阈值分割。具体地，将三原色通道值在第一颜色阈值范围内的像素点的值变成255，即白色；将三原色通道值不在第一颜色阈值范围内的像素点的值变成0，即黑色。
70.上述实施例中，通过计算三原色通道值确定第一颜色阈值范围，方便简单。
71.在一个实施例中，确定第一目标区域分割图和第二目标区域分割图之间的第二变换矩阵，包括：对第一目标区域分割图和第二目标区域分割图进行特征点提取，得到多组匹配特征点；根据多组匹配特征点对计算第二变换矩阵。
72.其中，特征点是能够反映图像本质特征的点。
73.具体地，通过比对第一目标区域分割图和第二目标区域分割图中的各子块的轮廓的重合度就可确定特征点。
74.上述实施例中，通过多组特征点计算得到的第二变化矩阵，更准确地反映设计图和实物图之间的坐标变换关系。
75.在一个实施例中，如图2所示，提供了一种提取多组匹配特征点的流程示意图。具体包括以下步骤：步骤201、将第一目标区域分割图和第二目标区域分割图中的其中一个作为源分割图，另一个作为目标分割图。
76.步骤202、对第一目标区域分割图和第二目标区域分割图进行平移矫正后，对源分割图进行子块划分，对划分的每个子块的轮廓取外接矩形，并基于外接矩形在目标分割图中取相应的感兴趣区域。
77.其中，平移矫正是指将目标分割图进行平移，使目标分割图和源分割图中对应的像素点的位置相同。
78.具体地，通过模板匹配算法匹配出目标分割图和源分割图之间的映射关系，基于映射关系将目标分割图进行平移矫正，使目标分割图和源分割图的空间位置关系一样。
79.其中，对源分割图进行子块划分进行子块划分是指将源分割图划分成多个子块。具体地，子块划分的数量跟源分割图的大小呈正相关。
80.其中，每个子块的轮廓是每个子块中图像的边缘轮廓。具体地，利用轮廓提取算法对每个子块进行轮廓提取得到边缘轮廓。
81.在一些实施例中，对源分割图中的每个子块的轮廓取外接矩形，确定各外接矩形的坐标后，基于外接矩形的坐标在目标分割图中找到同样的矩形区域，也就是提取相应的感兴趣区域。
82.步骤203、确定外接矩形中子块的轮廓与在感兴趣区域中关键轮廓之间的重合度；其中，关键轮廓是感兴趣区域中的图像的边缘轮廓。具体地，利用轮廓提取算法对感兴趣区域中的图像进行轮廓提取得到关键轮廓。
83.在一些实施例中，可以理解，当目标分割图和源分割图的空间位置关系有差异时，感兴趣区域中的关键轮廓数量可能是一个，也可能是多个。
84.在一些实施例中，当关键轮廓数量为多个时，计算多个关键轮廓的面积，取面积最大的关键轮廓计算重合度。
85.其中，重合度是用于表征两图像重合的程度。具体地，计算源分割图中轮廓的面积与匹配到的目标分割图中的轮廓的面积的比例来表征重合度。
86.步骤204、若重合度满足预设重合条件，则将子块的轮廓和关键轮廓的质心作为一组匹配特征点。
87.其中，预设重合条件是表征两图像重合的条件。具体地，预设重合条件设置为重合阈值，当重合度大于重合阈值时，表明子块的轮廓和关键轮廓为一组对应的轮廓，相应地提取子块的轮廓和关键轮廓的质心作为一组匹配特征点。
88.其中，质心是边缘轮廓的质心，边缘轮廓的质心是构成边缘轮廓的所有像素点坐标的加权平均。具体地，计算子块的轮廓的所有像素点坐标的加权平均值就得到子块的轮廓的质心。计算关键轮廓的所有像素点坐标的加权平均值就得到关键轮廓的质心。上述实施例中，通过提取子块的轮廓和关键轮廓的质心作为匹配特征点，使得生成的第二变换矩阵更加准确地反映设计图和实物图之间的映射关系。
89.在一个实施例中，如图3所示，提供了一种进阶对齐调整方法的示意图。具体包括以下步骤：步骤301、根据第二变换矩阵对第一目标区域分割图进行进阶对齐调整，得到进阶对齐调整后的第一目标区域分割图。
90.步骤302、对进阶对齐调整后的第一目标区域分割图和第二目标区域分割图分别进行分块，得到多个第一分割图块和多个第二分割图块。
91.其中，第一分割图块是对第一目标区域分割图进行分块得到的多个子图，第二分割图块是对第二目标区域分割图进行分块得到的多个子图。
92.可以理解，当一张整图包括的图像特征太丰富时，对整图进行处理需要花费的时间较长，将一张整图分成多个子图并行处理可以提高处理效率。示例性地，分别将第一目标区域分割图和第二目标区域分割图分成多个子块并行处理，可以节省处理时间，提高效率。
93.步骤303、根据多个第一分割图块和多个第二分割图块之间的对应关系，确定第三变换矩阵。
94.其中，第三变换矩阵是一种仿射变换矩阵，用于实现二维图像从一种二维坐标到另一种二维坐标之间的线性变换，也可用于表征两幅二维图像的坐标变换关系。
95.具体地，通过对应的第一分割图块和第二分割图块确定第三变换矩阵。可以理解，通过多个对应的第一分割图块和多个第二分割图块会得到多个第三变换矩阵。
96.步骤304、根据第三变换矩阵对初步调整后的设计图中的多个设计图块进行仿射变换，得到目标设计图。
97.其中，多个设计图块是指把初步调整后的设计图进行分块后得到的多个子图。
98.需要说明的是，对第一目标区域分割图、第二目标区域分割图和初步调整后的设计图进行分块的分块方法是相同的，也就是说得到的第一分割图块、第二分割图块和设计图块的空间位置布局和大小是一样的。
99.在一个实施例中，对应的第一分割图块和第二分割图块之间有对应的第三变换矩阵，通过第三变化矩阵对对应的设计图块做仿射变换，得到目标设计图。
100.可以理解，通过多个第三变换矩阵对多个设计图块做仿射变换，得到多个目标设计图块，多个目标设计图块共同组成了目标设计图。
101.上述实施例中，通过确定第一分割图块和第二分割图块之间的第三变换矩阵，对初步调整后的设计图中的多个设计图块作调整，达到了从整体到局部进行定位的效果，使得设计图和实物图的对齐精度更高。
102.在一个实施例中，如图4所示，提供了一种图像对齐方法的示意图。具体包括以下步骤：步骤401、获取待检测对象对应的实物图中和设计图中的多组指定点。
103.步骤402、根据各组指定点之间的映射转换关系，生成第一变换矩阵。
104.步骤403、根据第一变换矩阵对设计图进行初步对齐调整，得到初步调整后的设计图。
105.步骤404、从实物图的目标区域中选取用于确定第一颜色阈值范围的子区域。
106.步骤405、根据子区域中各像素点在各个颜色通道下的颜色通道值，确定各个颜色通道下的颜色通道值范围，以得到第一颜色阈值范围。
107.步骤406、根据实物图中的目标区域的第一颜色阈值范围，对实物图进行图像分割，得到第一目标区域分割图；根据设计图中的目标区域的第二颜色阈值范围，对设计图中的目标区域进行图像分割，得到第二目标区域分割图。
108.步骤407、对第一目标区域分割图和第二目标区域分割图进行平移矫正后，将第一目标区域分割图和第二目标区域分割图中的其中一个作为源分割图，另一个作为目标分割图。
109.步骤408、对源分割图进行子块划分，对划分的每个子块的轮廓取外接矩形，并基于外接矩形在目标分割图中取相应的感兴趣区域。
110.步骤409、确定外接矩形中子块的轮廓与在感兴趣区域中关键轮廓之间的重合度。
111.步骤410、若重合度满足预设重合条件，则将子块的轮廓和关键轮廓的质心作为一组匹配特征点。
112.步骤411、根据多组匹配特征点对计算第二变换矩阵。
113.步骤412、根据第二变换矩阵对第一目标区域分割图进行进阶对齐调整，得到进阶对齐调整后的第一目标区域分割图。
114.步骤413、对进阶对齐调整后的第一目标区域分割图和第二目标区域分割图分别进行分块，得到多个第一分割图块和多个第二分割图块。
115.步骤414、根据多个第一分割图块和多个第二分割图块之间的对应关系，确定第三变换矩阵。
116.步骤415、根据第三变换矩阵对初步调整后的设计图中的多个设计图块进行仿射变换，得到目标设计图。
117.上述图像对齐方法，先对整个设计图进行初步定位对齐，再将设计图分成多个设计图块进行局部对齐调整，通过由整体到局部多次对齐调整的方式，提高了待检测对象对应的设计图和实物图对齐的精度，使待检测对象缺陷检测结果更加准确。
118.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
119.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像对齐方法的图像对齐装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像对齐装置实施例中的具体限定可以参见上文中对于图像对齐方法的限定，在此不再赘述。
120.在一个实施例中，如图5所示，提供了一种图像对齐装置，包括：初步对齐调整模块501、图像分割模块502和进阶对齐调整模块503，其中：初步对齐调整模块501，用于根据待检测对象对应的实物图和设计图中指定点之间的映射关系，确定所述实物图和设计图之间的第一变换矩阵；根据所述第一变换矩阵对所述设计图进行初步对齐调整，得到初步调整后的设计图；图像分割模块502，用于对所述实物图中的目标区域进行图像分割，得到第一目标区域分割图；对所述设计图中的所述目标区域进行图像分割，得到第二目标区域分割图；进阶对齐调整模块503，用于确定所述第一目标区域分割图和所述第二目标区域分割图之间的第二变换矩阵；根据所述第二变换矩阵对所述初步调整后的设计图进行进阶对齐调整。
121.在一个实施例中，初步对齐调整模块501用于获取所述实物图中和设计图中的多组指定点；根据各组指定点之间的映射转换关系，生成所述第一变换矩阵。在一个实施例中，图像分割模块502用于根据实物图中的目标区域的第一颜色阈值范围，对所述实物图进行图像分割，得到第一目标区域分割图；根据设计图中的所述目标区域的第二颜色阈值范围，对所述设计图中的所述目标区域进行图像分割，得到第二目标区域分割图。
122.在一个实施例中，图像分割模块502具体用于从目标区域中选取用于确定第一颜色阈值范围的子区域；根据所述子区域中各像素点在各个颜色通道下的颜色通道值，确定各个颜色通道下的颜色通道值范围，以得到所述第一颜色阈值范围。
123.在一个实施例中，进阶对齐调整模块503用于对所述第一目标区域分割图和所述第二目标区域分割图进行特征点提取，得到多组匹配特征点；根据所述多组匹配特征点对计算所述第二变换矩阵。
124.在一个实施例中，进阶对齐调整模块503具体用于将所述第一目标区域分割图和所述第二目标区域分割图中的其中一个作为源分割图，另一个作为目标分割图；对所述第一目标区域分割图和所述第二目标区域分割图进行平移矫正后，对所述源分割图进行子块划分，对划分的每个子块的轮廓取外接矩形，并基于所述外接矩形在所述目标分割图中取相应的感兴趣区域；确定所述外接矩形中子块的轮廓与在所述感兴趣区域中关键轮廓之间的重合度；若所述重合度满足预设重合条件，则将所述子块的轮廓和所述关键轮廓的质心
作为一组匹配特征点。
125.在一个实施例中，进阶对齐调整模块503还用于根据所述第二变换矩阵对所述第一目标区域分割图进行进阶对齐调整，得到进阶对齐调整后的第一目标区域分割图；对所述进阶对齐调整后的第一目标区域分割图和所述第二目标区域分割图分别进行分块，得到多个第一分割图块和多个第二分割图块；根据所述多个第一分割图块和多个第二分割图块之间的对应关系，确定第三变换矩阵；根据所述第三变换矩阵对所述初步调整后的设计图中的多个设计图块进行仿射变换，得到目标设计图。
126.上述图像对齐装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
127.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像对齐数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像对齐方法。
128.本领域技术人员可以理解，图6中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
129.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述方法实施例中的步骤。
130.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
131.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形
处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
132.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
133.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。