图像配准方法、装置、电子设备及存储介质与流程

[0001]
本发明实施例涉及图像处理技术领域，尤其涉及一种图像配准方法、装置、电子设备及存储介质。


背景技术：

[0002]
图像匹配是将不同时间、不同视角和/或不同传感器拍摄的同一场景的两个或多个图像叠加的过程，实现参考图像和感测图像的几何对齐。在所有的图像分析任务中，图像匹配是一个关键的步骤，在图像融合、变化检测和多通道图像恢复等各种数据源的组合中获得最终的信息。通常，图像匹配可应用在遥感(多光谱分类、环境监测、变化检测、图像拼接、天气预报、创建超分辨率图像、将信息集成到地理信息系统)，医学(结合计算机断层扫描和核磁共振数据来获得关于病人的更完整的信息，监测肿瘤生长、治疗验证、病人的数据与解剖图谱的比较)，制图(地图更新)和计算机视觉(靶点定位，自动质量控制)等方面。
[0003]
现有图像匹配技术主要分为三类：基于特征的匹配方法、基于图像理解的匹配方法和基于灰度的匹配方法。其中，基于特征的匹配方法虽然可将对整幅图像的分析转化为对图像特征(特征点、线等)的分析，但该方法对特征的选取的要求较高，即特征必须是待测目标与原图共有的且分布均匀，实时性较差。基于图像理解的匹配方法是依靠ai等手段对待测目标赋予一种解释，但在实现时为了降低算法复杂度进行一些简化，使得描述关系不完整，匹配精度低。


技术实现要素：

[0004]
本发明提供一种图像配准方法、装置、电子设备及存储介质，以实现对待测旋转目标的实时配准，提高图像配准的速度与精度，同时还可适用于对任意旋转的目标图像的高精度配准。
[0005]
第一方面，本发明实施例提供了一种图像配准方法，包括：
[0006]
获取模板图像和目标图像，分别对所述模板图像和所述目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合；
[0007]
对所述模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像；
[0008]
基于所述金字塔结构，逐层将同层数的至少一个待配准图像与所述目标图像集合中的对应图像进行相关性配准，得到所述目标图像中与所述模板图像相匹配的目标配准区域。
[0009]
第二方面，本发明实施例还提供了一种图像配准装置，该装置包括：
[0010]
分层模块，用于获取模板图像和目标图像，分别对所述模板图像和所述目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合；
[0011]
旋转模块，用于对所述模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像；
[0012]
配准模块，用于基于所述金字塔结构，逐层将同层数的至少一个待配准图像与所述目标图像集合中的对应图像进行相关性配准，得到所述目标图像中与所述模板图像相匹配的目标配准区域。
[0013]
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
[0014]
一个或多个处理器；
[0015]
存储装置，用于存储一个或多个程序，
[0016]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例提供的图像配准方法。
[0017]
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的图像配准方法。
[0018]
上述发明中的实施例具有如下优点或有益效果：
[0019]
通过获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合，从而得到多尺度的模板图像；对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像，从而得到多尺度多角度的模板图像；并基于金字塔结构，逐层将同层数的至少一个待配准图像与目标图像集合中的对应图像进行相关性配准，得到目标图像中与模板图像相匹配的目标配准区域，实现了在多尺度图像信息下的逐层配准，从而提高了图像配准的速度与精度，同时，通过对模板图像集合中各图像进行旋转，并将旋转后的各角度的图像与目标图像集合中对应图像进行配准，适用于对任意旋转的目标图像的高精度配准。
附图说明
[0020]
为了更加清楚地说明本发明示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本发明所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
[0021]
图1为本发明实施例一所提供的一种图像配准方法的流程示意图；
[0022]
图2a为本发明实施例二所提供的一种图像配准方法的流程示意图；
[0023]
图2b为本发明实施例二所提供的目标配准区域的示意图；
[0024]
图3为本发明实施例三所提供的一种图像配准方法的流程示意图；
[0025]
图4为本发明实施例四所提供的一种图像配准装置的结构示意图；
[0026]
图5为本发明实施例五所提供的电子设备的结构示意图。
具体实施方式
[0027]
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0028]
实施例一
[0029]
图1为本发明实施例一提供的图像配准方法的流程示意图，本实施例可适用于需
要在目标图像中搜索出模板图像的对应区域，即在模板图像与目标图像的对应区域进行几何对齐的情形，该方法可以由图像配准装置来执行，该装置可以由硬件和/或软件来实现，该方法具体包括如下步骤：
[0030]
s110、获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合。
[0031]
其中，模板图像和目标图像是针对同一对象在不同条件下所获取的图像，如经过不同的采集设备、采集时间、拍摄距离或拍摄视角等条件下拍摄的多个图像，模板图像可以映射到目标图像上，以使模板图像与目标图像在空间同一位置的点一一对应，其中，目标图像为模板图像的待搜索图像。下采样用于降低图像的分辨率，如图像的尺寸为m
×
n，对其进行2倍下采样，即得到(m/2)
×
(n/2)尺寸的图像，示例性的，可以删除图像的偶数行偶数列的像素点实现对图像的下采样；也可以是基于2
×
2的图像窗口将各2
×
2的图像区域内的所有像素点转换为一个像素点，该转化后像素点的像素值可以是窗口内所有像素点的像素均值。分别对模板图像和目标图像进行迭代的下采样分层处理，得到多个下采样图像，即模板图像的图像集合和目标图像的图像集合，且各图像集合图像的分辨率依次下降，即符合金字塔结构。其中，金字塔的底层图像为原始图像，即未进行下采样的原图像，其它层图像均是基于底层图像依次进行下采样得到的。
[0032]
示例性的，原始模板图像的尺寸为64
×
64，基于原始模板图像进行第一次下采样，生成的图像尺寸为32
×
32，基于第一次下采样后的图像再次进行下采样，生成的图像尺寸为16
×
16，重复此步骤，逐层下采样得到一个分辨率逐渐降低的金字塔结构的模板图像集合，如l
t1
,l
t2
,
…
l
tn
，其中，l
t1
为未下采样的模板图像，即金字塔的底层图像，l
tn
为模板图像集合中分辨率最低的图像，即金字塔顶层图像，n为金字塔的层数。同理，目标图像也可以生成n层的金字塔结构的目标图像集合，如l
s1
,l
s2
,
…
l
sn
。
[0033]
可选的，在分别对模板图像和目标图像进行下采样分层处理之前，对模板图像和目标图像进行降噪处理，相应的，分别对降噪后的模板图像和目标图像进行下采样分层处理。
[0034]
其中，降噪处理可以采用高斯滤波器、均值滤波器、自适应维纳滤波器、中值滤波器或小波去噪来实现。具体的，采用高斯滤波器对模板图像和目标图像进行降噪处理，满足如下公式：i
′
＝i*g(x)*g(y)，其中，i为模板图像或目标图像，i
′
为降噪后的模板图像或目标图像，g(x)表示x方向上的高斯滤波器，g(y)为y方向上的高斯滤波器，*表示卷积。其中，g(x)、g(y)满足如下公式：其中，(x,y)为图像中像素点的行列坐标，σ为图像的标准差。
[0035]
可选的，分别对模板图像和目标图像进行下采样分层处理，包括：对模板图像迭代进行下采样处理，当任一下采样处理后得到的图像满足预设分层条件时，停止下采样处理，并确定分层层数；基于分层层数对目标图像进行迭代下采样处理。
[0036]
其中，模板图像的分层层数用于指定目标图像的分层层数，以使目标图像的金字塔结构与模板图像的金字塔结构的层数保持一致。由于每个模板图像所包含的信息不同，对应的分层数的大小直接影响到匹配的精度和加速效果，若指定模板图像的分层数，多分一层可能造成后续配准结果的误差，少分一层又可能会使配准速度降低几倍。因此，本实施
例中通过在分层过程中对下采样得到的图像进行实时判断，在满足预设分层条件时停止分层处理，实现了对模板图像进行自适应分层处理，从而提高了配准的精度与速度。
[0037]
示例性的，预设分层条件为：任一下采样处理后的图像与前一层图像之间的汉明距离大于预设阈值。
[0038]
其中，下采样处理后的图像与前一层图像处于金字塔的相邻层，将前一层图像进行下采样可以得到本层图像，具体的，前一层图像可以为经过下采样处理后的图像，如金字塔的中间层或顶层图像；也可以为未经过下采样的模板图像，即金字塔的底层图像。汉明距离可以是两个相同长度的字对应位不同的数量，汉明距离用于基于图像像素信息分析两图像的信息相关性，汉明距离越大，表明下采样处理后的图像与前一层图像之间的像素差距越大，两图像之间的信息相关性越小，下采样处理后的图像中的有用信息较少，继续下采样的价值较小。
[0039]
具体的，在计算两个图像之间的汉明距离之前，先计算两个图像对应的区域编码，图像的区域编码由图像的每个像素与图像均值像素进行逻辑与操作获得，区域编码的位数与图像的像素个数相同。两个图像的区域编码的位数必须一致，才可以得到两个图像之间的汉明距离，因此，在对图像计算区域编码之前，对图像进行缩放处理，以将图像的尺寸固定为统一尺寸，如8
×
8。通过在任一下采样处理后的图像与前一层图像之间的汉明距离大于预设阈值时停止下采样处理，实现了在下采样处理后的图像的有用信息较少时及时停止分层，在下采样处理后的图像的有用信息较多时继续分层，从而实现了基于图像信息的自适应分层，避免了由于过度分层导致的配准准确度降低，和由于分层过少导致的配准速度较慢，从而提高配准的精度与速度。
[0040]
可选的，在对模板图像进行每一次迭代下采样处理之前，判断下采样处理前的图像尺寸是否不小于预设尺寸，若任一下采样处理前的图像尺寸小于预设尺寸，则停止下采样处理，并确定分层层数。示例性的，对模板图像迭代进行下采样处理得到金字塔结构的模板图像集合的步骤如下，其中，当前图像可以是模板图像，也可以是模板图像在下采样过程中生成的任一图像，当前图像所在层数为k，k＝1,2,3，
……
，n：
[0041]
1)将当前图像缩放为8
×
8尺寸；2)将当前图像转化为灰度图，计算灰度图像8
×
8区域的均值像素；3)将8
×
8像素区域每个像素与均值像素进行逻辑与操作，得到一个64位二进制数组，作为当前图像的区域编码l
tk
_code；4)判断当前图像的图像尺寸是否不小于预设尺寸，如8
×
8，若是，则对当前图像进行下采样，得到当前图像的上一层图像，重复步骤1-3当前图像的上一层图像的区域编码l
tk+1
_code；5)计算当前图像的区域编码l
tk
_code与上一层图像的区域编码l
tk+1
_code之间的汉明距离，判断汉明距离是否小于预设阈值(例如可以是10)，若是，则重复步骤4，若否，则停止分层处理，得到金字塔结构的模板图像集合，并记录当前图像的上一层图像的层数，即k+1，作为金字塔结构的模板图像集合的层数。
[0042]
在本实施例中，通过在对模板图像进行每一次迭代下采样处理之前，判断下采样处理前的图像尺寸是否不小于预设尺寸，若任一下采样处理前的图像尺寸大于等于预设尺寸，则进行下采样处理，并判断下采样处理后得到的图像是否满足预设分层条件时，在满足时停止下采样处理，并确定分层层数；基于分层层数对目标图像进行迭代下采样处理，实现了对模板图像的自适应金字塔分层，从而将模板图像分为适当层，提高了图像配准的速度与精度。
[0043]
s120、对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像。
[0044]
其中，待配准图像指金字塔结构的模板图像集合的各层图像进行相应旋转后的图像，根据旋转角度的不同，每层图像均可以生成多个旋转图像。示例性的，旋转处理的策略包括尺度不变旋转、尺度可变旋转和内接圆旋转，其中，尺度不变旋转策略指图像在绕点旋转过程中，将被边框遮挡的像素点丢弃，以使图像保持原有尺寸；尺度可变旋转策略指图像在绕点旋转过程中，缩小图像的尺寸，以使图像的所有像素点都可以在图像边框内显示；内接圆旋转策略指在图像内寻找最大内接圆，仅对最大内接圆内部的像素点进行旋转，最大内接圆外部的像素点保持原状态。
[0045]
通过对模板图像对应的图像集合中各图像进行旋转处理，得到了多尺度多角度的模板图像，实现了在图像多尺度多角度下的配准，提高了配准角度的准确性，并适用于旋转目标图像的配准。
[0046]
可选的，对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像，包括：基于金字塔结构，基于各层中待配准图像的期望数量，确定旋转步长；基于旋转步长对模板图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像。
[0047]
其中，期望数量用于指定金字塔结构中各层图像所生成的旋转图像的数量，如金字塔结构中顶层图像的期望数量为360，则旋转步长为1
°
，金字塔结构中顶层图像可以生成0
°
～359
°
的360张旋转图像；对于金字塔结构除顶层外其他层，期望数量与层数的关系可以由如下公式表达：countl
tk
＝ωa
k-1
+τ，其中，k＝1,2
…
n，countl
tk
表示第k层图像模板库中模板的构建数量，ω为增益系数，优选取1.2，a为表示金字塔结构的底数，优选取2，τ为修正量，优选取2，旋转步长为
[0048]
可选的，在对模板图像对应的图像集合中各图像进行旋转处理之后，还包括：对旋转后的各个图像进行插值处理。其中，各层图像在进行旋转处理后，图像的边缘会存在锯齿状的尖锐部分，需要对旋转后的图像进行插值处理来增大像素密度，对旋转后的图像进行平滑。可选的，在对模板图像对应的图像集合中各图像进行插值处理之后，对插值后的各个图像进行填充处理。其中，各层图像进行旋转处理时，会引入内容空白区域，填充处理用于对内容空白区域进行填充，如镜像边界填充方法，以边缘像素为基准轴，基于轴对称分布图像像素填充内容空白区域；或复制边界填充方法，将边缘像素复制并依次填充到相邻的内容空白区域。相应的，将填充处理后的图像作为各金字塔分层对应的至少一个待配准图像。通过对旋转后的图像作插值处理与填充处理，提高旋转图像的图像质量，从而提高图像配准的速度与精度。
[0049]
s130、基于金字塔结构，逐层将同层数的至少一个待配准图像与目标图像集合中的对应图像进行相关性配准，得到目标图像中与模板图像相匹配的目标配准区域。
[0050]
其中，目标图像集合中的各层图像具备对应的层数标识，各个待配准图像具备对应的层数标识与旋转角度标识，根据层数标识，从目标图像集合取出位于该层对应的目标图像，并将此目标图像与相同层数的各个待配准图像进行相关性配准，确定出该层与目标图像最相关的待配准图像。具体的，从顶层开始，将至少一个顶层待配准图像与目标图像集
合中的顶层图像进行相关性配准，从而确定出相关性最高的待配准图像，根据该相关性最高的待配准图像对应的旋转角度，确定下一层中待配准图像的角度范围，以确定下一层中该角度范围内的待配准图像，与目标集合中下一层中的图像进行相关性配准，得到该层的相关性最高的待配准图像，并以此类推，直到完成金字塔结构中底层的图像配准。
[0051]
通过逐层由上向下映射角度范围，即每一层进行相关性配准的待配准图像都是基于上一层相关性配准后得到的旋转角度所确定的，每一层确定的旋转角度可以作为下一层进行相关性配准的图像选取依据，逐层筛选模板图像的旋转角度，直到确定底层的旋转角度，即模板图像相对于目标图像的精确旋转角度；通过底层的相关性配准过程中产生的最大相关性坐标，确定出模板图像与目标图像的最大相关像素点所在位置，从而得到模板图像在目标图像中对应区域的位置信息，最后基于最终旋转角度与对应区域的位置信息，得到目标图像中与模板图像相匹配的目标配准区域，以实现在目标图像任意旋转情况下的精确配准。
[0052]
本实施例的技术方案，通过获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合，从而得到多尺度的模板图像；对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像，从而得到多尺度多角度的模板图像；并基于金字塔结构，逐层将同层数的至少一个待配准图像与目标图像集合中的对应图像进行相关性配准，得到目标图像中与模板图像相匹配的目标配准区域，实现了在多尺度图像信息下的逐层配准，从而提高了图像配准的速度与精度，同时，通过对模板图像集合中各图像进行旋转，并将旋转后的各角度的图像与目标图像集合中对应图像进行配准，适用于对任意旋转的目标图像的高精度配准。
[0053]
实施例二
[0054]
图2a为本发明实施例二提供的图像配准方法的流程示意图，本实施例在上述各实施例的基础上，对“基于所述金字塔结构，逐层将同层数的至少一个待配准图像与所述目标图像集合中的对应图像进行相关性配准，得到所述目标图像中与所述模板图像相匹配的目标配准区域”进行了进一步优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
[0055]
参见图2a，本实施例提供的图像配准方法具体包括以下步骤：
[0056]
s210、获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合。
[0057]
s220、对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像。
[0058]
s230、基于金字塔结构，由金字塔结构的顶层向底层依次执行，获取当前层数的配准角度范围，基于配准角度范围在当前层数的待配准图像确定用于进行匹配的至少一个目标配准图像。
[0059]
其中，目标配准图像指与当前层数的待配准图像中进行相关性配准的图像。当前层数可以是金字塔结构中的任意层，若当前层数是金字塔结构中的顶层，则配准角度范围为预先设置的全范围角度配准，即将顶层的全部旋转图像均作为目标配准图像，与目标图像集中的顶层图像一一进行配准；若当前层数不是金字塔结构的顶层，即底层或中间层，则
配准角度范围由上一层获取的配准角度与预设偏移范围所确定，具体的，配准角度范围＝上一层配准角度
±
(预设偏移范围/2)，示例性的，若当前层为第3层，第2层获取的配准角度为30
°
，预设范围为20
°
，则第3层的配准角度范围为20
°
～40
°
，将在第3层的待配准图像中选取20
°
～40
°
区间内的待配准图像作为目标配准图像。
[0060]
s240、分别确定至少一个目标配准图像与目标图像集合中的对应图像的相关系数，确定相关系数最大的目标配准图像对应的配准角度以及配准坐标，并判断当前层数是否为金字塔结构的底层，若是，则执行s250；若否，则基于配准角度确定下一层的配准角度范围，并执行s230。
[0061]
其中，相关系数用于表示目标配准图像与目标图像集合中的对应图像的相关程度，目标图像集合中的对应图像的每一个像素点均可以计算出与目标配准图像一个相关系数，如目标图像集合中的对应图像为l
sk
，l
sk
中像素点的个数为m
×
n，目标配准图像的个数为4，则可以计算出4
×
m
×
n个相关系数。对各个相关系数进行排序，根据最大相关系数对应的目标配准图像的角度标识，确定出配准角度，并根据最大相关系数对应的像素点坐标，确定出配准坐标。若当前层数为底层，则将底层确定出的配准角度与配准坐标作为最终配准角度与配准坐标；若当前层数不是底层，则将当前层确定出的配准角度与配准坐标发送至下一层，以使下一层根据配准角度生成对应的配准角度范围，并根据配准坐标确定对应的配准区域。
[0062]
具体的，相关系数的计算满足如下公式：
[0063][0064]
其中，(i,j)为像素点的坐标，corre(
·
)表示相关系数，s和为目标配准图像在目标图像集合中的对应图像中的覆盖区域的像素值与像素均值，t和为目标配准图像的像素值与像素均值，m和n分别为目标图像集合中的对应图像的行数和列数，m和n为目标配准图像在目标图像集合中的对应图像中的覆盖区域的行数和列数。
[0065]
可选的，在分别确定至少一个目标配准图像与目标图像集合中的对应图像的相关系数之前，还包括：接收上一层确定的配准坐标，基于配准坐标和位置映射规则，确定目标配准图像中的配准区域；相应的，确定至少一个目标配准图像与目标图像集合中的对应图像的相关系数，包括：确定至少一个目标配准图像中的配准区域与目标图像集合中的对应图像的相关系数。
[0066]
其中，配准区域用于限定相关系数的计算区域，即只确定目标图像集合中的对应图像的配准区域与目标配准图像的相关系数。位置映射规则如下公式：
[0067][0068][0069]
其中，row
start
和col
start
分别表示配准区域的行的起点与终点位置，row
end
和col
end
分别为配准区域的列的起点和终点位置，l
step
为映射区域步长，优选取10，row
step
与col
step
分别为行步长与列步长，row
loc
与col
loc
分别为上一层确定的配准坐标的横、纵坐标。通过确
定出目标配准图像的配准区域，基于该配准区域与目标图像集合中的对应图像进行相关系数的计算，减少了配准过程的计算量，提高了配准速度。
[0070]
s250、基于底层配准得到的配准坐标和配准角度确定与模板图像相匹配的目标配准区域。
[0071]
其中，目标配准区域指在目标图像中搜索到的与模板图像相匹配的区域。金字塔结构的底层对应的图像配准得到的配准坐标和配准角度为最终配准坐标和最终配准角度，基于该最终配准坐标和最终配准角度，可以唯一确定出目标图像中目标配准区域，如图2b所示，左边图像为模板图像，右边图像为目标图像，右边图像中的实线框内的区域为经过配准后得到的在目标图像中的目标配准区域。
[0072]
可选的，基于底层配准得到的配准坐标和配准角度确定与模板图像相匹配的目标配准区域，包括：基于配准坐标以及模板图像的尺寸确定模板图像在目标图像中的顶点坐标；根据配准角度对顶点坐标进行转换处理，得到在目标图像中目标配准区域坐标，以确定目标配准区域。
[0073]
在本实施例，模板图像的形状可以是矩形、三角形或者任一多边形，对此不作限定，以矩形为例，模板图像在目标图像中的顶点坐标为左上角、左下角、右上角和右下角像素点的坐标，根据底层配准得到的配准角度，可以采用如下公式，得到目标配准区域的四个顶点坐标：
[0074]
x
′
i
＝x
i
+cosθ
·
(x
i+1-x
i
)-sinθ
·
(y
i+1-y
i
)，
[0075]
y
′
i
＝y
i
+cosθ
·
(x
i+1-x
i
)-sinθ
·
(y
i+1-y
i
)，
[0076]
其中，i＝1，2，(x
i
,y
i
)表示左上角、左下角、右上角和右下角像素点的坐标，x
′
i
和y
′
i
分别为转换后的目标配准区域的顶点的横、纵坐标值，θ为底层配准得到的配准角度。以底层配准得到的配准坐标为中心，(x
′
i
,y
′
i
)为四角点坐标按逆时针或顺时针顺序绘制直线，即可框出目标配准区域并显示，如图2b所示。
[0077]
对本实施例的技术方案进行测试，随机选择“lena.bmp”、“cap.bmp”(选自halcon测试库)和“couple.bmp”作为目标图像进行配准测试，其结果如表1所示。可以看出，本实施例的技术方案的配准结果准确，耗时少，能够解决待测旋转目标的配准问题、角度估计问题和算法耗时较长的问题，较经典ncc匹配算法的计算速度可提升一个数量级。若旋转步长为0.1，则配准结果更加精确，如表2所示，表2中的配准结果精度在
±
0.2
°
。
[0078]
表1
[0079]
[0080][0081]
表2
[0082][0083]
本实施例的技术方案，通过基于金字塔结构，由金字塔结构的顶层向底层依次执行，获取当前层数的配准角度范围，基于配准角度范围在当前层数的待配准图像确定用于进行匹配的至少一个目标配准图像，分别确定至少一个目标配准图像与目标图像集合中的对应图像的相关系数，确定相关系数最大的目标配准图像对应的配准角度以及配准坐标，基于底层配准得到的配准坐标和配准角度确定与模板图像相匹配的目标配准区域，实现了将除底层外的每一层配准得到的角度与坐标传递至下一层，以作为下一层进行配准的图像和区域的选取依据，直到确定底层的配准角度与配准坐标，从而实现了在多尺度多角度的图像信息下的逐层配准，提高了图像配准的速度与精度。
[0084]
实施例三
[0085]
图3为本发明实施例三提供的图像配准方法的流程示意图，本实施例在上述实施例的基础上，提供了一种优选实施例。如图3所示，该方法具体包括如下步骤：
[0086]
s301、获取模板图像和目标图像。
[0087]
s302、基于分离式高斯滤波对模板图像和目标图像进行降噪处理。
[0088]
s303、基于自适应金字塔分层策略，对模板图像进行分层处理，得到模板图像对应的金字塔以及金字塔的层数。
[0089]
s304、根据模板图像对应的金字塔的层数对目标图像进行分层处理，得到目标图像对应的金字塔，对目标图像对应的金字塔中的各层图像进行层数标记。
[0090]
s305、根据旋转角度区间值与构建步长，对模板图像对应的金字塔中各层图像进行旋转与填充处理，得到模板图像对应的旋转金字塔。
[0091]
s306、对模板图像对应的旋转金字塔中的各个旋转图像进行层数与角度的标记。
[0092]
s307、根据模板图像对应的旋转金字塔的层数标记与目标图像对应的金字塔中的层数标记，提取模板图像对应的旋转金字塔的至少一个顶层旋转图像与目标图像对应的金字塔中的顶层图像，遍历计算相关系数，并将相关系数进行排序。
[0093]
s308、取排序列表中最大相关系数对应的旋转图像的对应角度与位置坐标，作为
顶层映射中心。
[0094]
其中，旋转图像中每个像素点均可以计算出一个相关系数，得到最大相关系数的像素点的位置坐标，取最大相关系数对应的旋转图像，基于旋转图像的角度标记得到最大相关系数对应的旋转图像的对应角度。顶层映射中心用于逐层向下映射计算相关系数的旋转图像的角度范围和位置区域。
[0095]
s309、根据角度映射策略和位置坐标映射策略，将顶层映射中心逐层向下映射得到最终角度和位置坐标。
[0096]
其中，根据角度映射策略与顶层映射中心，选取顶层的下一层旋转图像的角度范围，根据位置坐标映射策略与顶层映射中心，选取顶层的下一层旋转图像的位置区域，计算在该角度范围和位置区域下的旋转图像与下一层目标图像的相关系数，得到下一层对应角度与位置坐标，重复此步骤，直到得到底层的对应角度和位置坐标。
[0097]
s310、基于角度和位置坐标，根据四角变换标记法得到最终匹配区域，并在目标图像中框出最终匹配区域。
[0098]
其中，基于位置坐标得到模板图像矩形四角点在目标图像中的四顶点位置坐标，基于角度和四顶点位置坐标得到变换后四顶点坐标，以四顶点坐标按逆时针或顺时针顺序绘制直线，框出最终匹配区域并进行显示。
[0099]
本实施例的技术方案，提取模板图像对应的旋转金字塔的至少一个顶层旋转图像与目标图像对应的金字塔中的顶层图像，遍历计算相关系数，并将相关系数进行排序，取排序列表中最大相关系数对应的旋转图像的对应角度与位置坐标，作为顶层映射中心，根据角度映射策略和位置坐标映射策略，将顶层映射中心逐层向下映射得到最终角度和位置坐标，基于角度和位置坐标，根据四角变换标记法得到最终匹配区域，并在目标图像中框出最终匹配区域，实现了图像的多尺度与多角度的配准，从而提高了图像配准的速度与精度，同时，也适用于对旋转目标的实时配准，并提高了配准角度的准确性。
[0100]
实施例四
[0101]
图4为本发明实施例四提供的一种图像配准装置的结构示意图，本实施例可适用于需要在目标图像中搜索出模板图像的对应区域，即在模板图像与目标图像的对应区域进行几何对齐的情形，该装置具体包括：分层模块410、旋转模块420和配准模块430。
[0102]
分层模块410，用于获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合；
[0103]
旋转模块420，用于对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像；
[0104]
配准模块430，用于基于金字塔结构，逐层将同层数的至少一个待配准图像与目标图像集合中的对应图像进行相关性配准，得到目标图像中与模板图像相匹配的目标配准区域。
[0105]
在本实施例中，通过分层模块获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合，从而得到多尺度的模板图像；基于旋转模块对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像，从而得到多尺度多角度的模板图像；并通过配准模块基于金字塔结构，逐层将同层数的至少一个待配准图像与目标图像
集合中的对应图像进行相关性配准，得到目标图像中与模板图像相匹配的目标配准区域，实现了图像的多尺度配准，从而提高了图像配准的速度与精度，同时，实现了图像的多角度配准，适用于对旋转目标的实时配准，并提高了配准角度的准确性。
[0106]
可选的，分层模块410具体用于对模板图像迭代进行下采样处理，当任一下采样处理后得到的图像满足预设分层条件时，停止下采样处理，并确定分层层数；基于分层层数对目标图像进行迭代下采样处理。
[0107]
可选的，预设分层条件为：任一下采样处理后的图像与前一层图像之间的汉明距离大于预设阈值。
[0108]
可选的，前一层图像可以为经过下采样处理后的图像。
[0109]
可选的，旋转模块420具体用于基于金字塔结构，基于各层中待配准图像的期望数量，确定旋转步长；基于旋转步长对模板图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像。
[0110]
可选的，配准模块430包括：
[0111]
标配准图像确定单元，用于获取当前层数的配准角度范围，基于配准角度范围在当前层数的待配准图像确定用于进行匹配的至少一个目标配准图像；
[0112]
配准角度范围确定单元，用于分别确定至少一个目标配准图像与目标图像集合中的对应图像的相关系数，确定相关系数最大的目标配准图像对应的配准角度以及配准坐标，并基于配准角度确定下一层的配准角度范围；
[0113]
目标配准区域确定单元，用于基于底层配准得到的配准坐标和配准角度确定与模板图像相匹配的目标配准区域。
[0114]
可选的，配准模块430还包括：
[0115]
配准区域确定单元，用于接收上一层确定的配准坐标，基于配准坐标和位置映射规则，确定目标配准图像中的配准区域；
[0116]
相应的，配准角度范围确定单元具体用于：确定至少一个目标配准图像中的配准区域与目标图像集合中的对应图像的相关系数。
[0117]
可选的，目标配准区域确定单元具体用于：基于配准坐标以及模板图像的尺寸确定模板图像在目标图像中的顶点坐标；根据配准角度对顶点坐标进行转换处理，得到在目标图像中目标配准区域坐标，以确定目标配准区域。
[0118]
本发明实施例所提供的图像配准装置可执行本发明任意实施例所提供的图像配准方法，具备执行方法相应的功能模块和有益效果。
[0119]
值得注意的是，上述系统所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明实施例的保护范围。
[0120]
实施例五
[0121]
图5为本发明实施例五提供的一种电子设备的结构示意图。图5示出了适于用来实现本发明实施例实施方式的示例性电子设备50的框图。图5显示的电子设备50仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0122]
如图5所示，电子设备50以通用计算设备的形式表现。电子设备50的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包
括系统存储器502和处理单元501)的总线503。
[0123]
总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0124]
电子设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备50访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0125]
系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)504和/或高速缓存存储器505。电子设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0126]
具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例中的功能和/或方法。
[0127]
电子设备50也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该电子设备50交互的设备通信，和/或与使得该电子设备50能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口511进行。并且，电子设备50还可以通过网络适配器512与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器512通过总线503与电子设备50的其它模块通信。应当明白，尽管图5中未示出，可以结合电子设备50使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0128]
处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种图像配准方法步骤，该方法包括：
[0129]
获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合；
[0130]
对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像；
[0131]
基于金字塔结构，逐层将同层数的至少一个待配准图像与目标图像集合中的对应图像进行相关性配准，得到目标图像中与模板图像相匹配的目标配准区域。
[0132]
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的图像配准方法的技术方案。
[0133]
实施例六
[0134]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的图像配准方法步骤，该方法包括：
[0135]
获取模板图像和目标图像，分别对模板图像和目标图像进行下采样分层处理，得到具有相同层数的金字塔结构的模板图像集合和目标图像集合；
[0136]
对模板图像对应的图像集合中各图像进行旋转处理，得到各金字塔分层对应的至少一个待配准图像；
[0137]
基于金字塔结构，逐层将同层数的至少一个待配准图像与目标图像集合中的对应图像进行相关性配准，得到目标图像中与模板图像相匹配的目标配准区域。
[0138]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0139]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0140]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0141]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0142]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。