图像配准方法及装置的制造方法
【专利摘要】本发明提供一种图像配准方法及装置。本发明的图像配准处理方法，包括：根据第一配准方法计算待配准图像相对于原图像的初次配准结果；根据所述初次配准结果、预设的配准需求参数和第二配准方法计算所述待配准图像相对于所述原图像的最终配准结果。采用本发明的技术方案，可以弥补现有技术中仅对待配准图像进行一次配准处理，例如仅对待配准图像相对于原图像进行一次基于互功率谱的图像配准处理，使得配准处理的精确度较低的缺陷，可以在配准处理中，使用不同的配准方法对待配准图像进行处理，提高配准的精度和效率，便于后续根据配准的结果，对图像进行有效地拼接。
【专利说明】
图像配准方法及装置
技术领域
[0001] 本发明涉及图像处理技术领域，尤其涉及一种图像配准方法及装置。
【背景技术】
[0002] 现有技术中，图像配准（Image registration)就是将不同时间、不同传感器(如成 像设备）、或者不同条件下（如天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行 匹配以及叠加的过程，图像配准已经被广泛地应用于计算机视觉、图像处理、遥感数据分 析、图像融合、图像的超分辨率重建和医学图像处理等领域。
[0003] 现有技术的图像配准方法包括有基于区域的图像配准方法和基于特征的图像配 准方法。其中基于区域的图像配准方法中最常用的是基于互功率谱的图像配准方法。该基 于互功率谱的图像配准方法可以对两幅待配准的图像间的平移、旋转、缩放进行检测，实现 对图像的快速配准。基于互功率谱配准方法的理论基础是傅里叶变换，在傅里叶变换领域 有了快速傅里叶变换(Fast Fourier Transformation;FFT)算法的前提下，该基于互功率 谱配准方法具有算法简单，速度快等优势，在图像配准、模式识别、特征匹配等有着广泛应 用。
[0004] 但是，在实现本发明的过程中，发明人发现现有技术的图像配准处理中，仅对待配 准图像进行一次配准处理，例如仅对待配准图像相对于原图像进行一次基于互功率谱的图 像配准处理，使得配准处理的精确度较低。
【发明内容】
[0005] 本发明提供一种图像配准方法及装置，以克服现有技术中仅对待配准图像进行一 次配准处理，使得配准处理的精确度较低的缺陷，以提高图像配准的精度。
[0006] 本发明提供一种图像配准方法，所述方法包括：
[0007] 根据第一配准方法计算待配准图像相对于原图像的初次配准结果；
[0008] 根据所述初次配准结果、预设的配准需求参数和第二配准方法计算所述待配准图 像相对于所述原图像的最终配准结果。
[0009] 本发明还提供一种图像配准装置，所述装置包括：
[0010] 初次配准计算模块，用于根据第一配准方法计算待配准图像相对于原图像的初次 配准结果；
[0011]二次配准计算模块，用于根据所述初次配准结果、预设的配准需求参数和第二配 准方法计算所述待配准图像相对于所述原图像的最终配准结果。
[0012]本发明的图像配准方法及装置，通过根据第一配准方法计算待配准图像相对于原 图像的初次配准结果;根据所述初次配准结果、预设的配准需求参数和第二配准方法计算 所述待配准图像相对于所述原图像的最终配准结果，所述第二配准方法不同于所述第一配 准方法。采用本发明的技术方案，可以弥补现有技术中仅对待配准图像进行一次配准处理， 例如仅对待配准图像相对于原图像进行一次基于互功率谱的图像配准处理，使得配准处理 的精确度较低的缺陷，可以在配准处理中，使用不同的配准方法对待配准图像进行处理，提 高配准的精度和效率，便于后续根据配准的结果，对图像进行有效地拼接。
【附图说明】
[0013] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以 根据这些附图获得其他的附图。
[0014] 图1为本发明的图像配准方法实施例一的流程图。
[0015] 图2为本发明的图像配准方法实施例二的流程图。
[0016] 图3为本发明图像配准装置实施例一的结构示意图。
[0017] 图4为本发明图像配准装置实施例二的结构示意图。
【具体实施方式】
[0018] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019] 图1为本发明的图像配准方法实施例一的流程图。如图1所示，本实施例的图像配 准方法，具体可以包括如下步骤：
[0020] 100、根据第一配准方法计算待配准图像相对于原图像的初次配准结果；
[0021] 在实际应用中，对图像拼接之前，要对图像进行配准处理，以提高拼接的准确性， 保证拼接的图像的连贯性。在对图像进行配准的时候，可以采用配准方法计算待配准的图 像相对于原图像的初次配准结果。实际应用中，本实施例中所采用的第一配准方法可以为 基于区域的图像配准方法，也可以为基于特征的图像配准方法。例如，当采用基于区域的图 像配准方法时，具体可以采用基于互功率谱的图像配准方法等等。本实施例中，采用第一配 准方法计算待配准图像相对于原图像的初次配准结果，可以得到一个初次配准的粗值。
[0022] 101、根据初次配准结果、预设的配准需求参数和第二配准方法计算待配准图像相 对于原图像的最终配准结果。
[0023] 本实施例中的第二配准方法可以与第一配准方法不同。例如第二配准方法可以采 用基于最大互信息的图像配准方法。采用第二配准方法计算待配准图像相对于原图像的最 终配准结果是一个较为理想的精确值。
[0024] 另外，本实施例的预设的配准需求参数可以是配准速度以及配准精度等等配准需 求参数。本实施例中，根据初次配准结果、预设的配准需求参数和第二配准方法进一步地对 待配准图像相对于原图像进行二次配准处理，这样，可以计算出待配准图像相对于原图像 的最终配准结果，该最终配准结果相对于初次配准结果，能够更加精准。
[0025] 本实施例的图像配准方法，通过根据第一配准方法计算待配准图像相对于原图像 的初次配准结果;根据初次配准结果、预设的配准需求参数和第二配准方法计算待配准图 像相对于原图像的最终配准结果。采用本实施例的技术方案，可以弥补现有技术中仅对待 配准图像进行一次配准处理，例如仅对待配准图像相对于原图像进行一次基于互功率谱的 图像配准处理，使得配准处理的精确度较低的缺陷，可以在配准处理中，使用不同的配准方 法对待配准图像进行处理，提高配准的精度和效率，便于后续根据配准的结果，对图像进行 有效地拼接。
[0026]图2为本发明的图像配准方法实施例二的流程图。如图2所示，本实施例的图像配 准方法在上述图1所示实施例的技术方案的基础上，进一步更加详细地介绍本发明的技术 方案。如图2所示，本实施例的图像配准方法，具体可以包括如下步骤：
[0027] 200、根据互功率谱配准方法计算待配准图像相对于原图像的初次配准结果；
[0028] 本实施例中，以第一配准方法采用互功率谱配准方法为例描述本发明的技术方 案。实际应用中，第一配准方法也可以采用基于特征的配准方法来实现，实现原理类似，在 此不再举例赘述。
[0029] 本实施例中的初次配准结果可以包括待配准图像相对于原图像的第一图像缩放 尺度si、第一旋转角al、第一横向平移量dxl和第一纵向平移量dyl。
[0030] 例如，本实施例中，可以设f(x，y)为二维图像的原图像，其傅里叶变换为F(u，v)， 待配准图像g(x，y)相对原图像f(x，y)发生(xQ，y〇)的位移，g(x，y)可以表示为：
[0031] g(x,y)=f(x-x〇,y-y〇)
[0032] 待配准图像g(x，y)的傅里叶变换为：
[0038]其中，F1!：}表示傅里叶逆变换。
[0039] 脉冲函数S(X-XQ，y-yQ)在偏移位置(XQ，y Q)处有明显的尖锐峰值，其它位置的值接 近于零，据此即能获取，待配准图像g(x，y)和原图像f(x，y)两图像间的偏移量，具体地该偏 移量可以包括第一横向平移量dxl和第一纵向平移量dy 1。
[0040] 201、根据初次配准结果、配准速度和精度，确定配准的搜索范围和搜索步长；
[0041] 本实施例的预设的配准需求参数可以包括配准速度和精度，具体的配准的速度和 精度根据实际需求来设置的。在本实施例中，搜索步长设置的越小，配准的精度要求越高， 配准的速度相对慢一些;搜索步长设置的越大，配准的精度要求越低，配准的速度相对快一 些。所以可以根据配准的速度和精度要求，确定配准的搜索方位和搜索步长，这样保证二次 配准在更精确的范围内进行配准，从而可以提高配准的精准度。
[0042] 202、根据搜素范围和搜索步长，利用最大互信息配准方法计算待配准图像相对于 原图像的最终配准结果；
[0043]本实施例中以第二配准方法采用最大互信息配准方法为例来描述本发明的技术 方案。且本实施例中以第二配准方法不同于第一配准方法为例。以水平方向的平移量为例， 本实施例的搜索范围可以为[办1-/^，办1+八1]，搜索步长可以为〇.1像素。实际应用中，可 以根据实际需求来选取A X的数值以及搜索步长的大小。本实施例的最终配准结果包括待 配准图像相对于原图像的第二图像缩放尺度sl、第二旋转角a2、第二横向平移量dx2和第二 纵向平移量dy2。
[0044]例如在搜索范围[dxl-Ax，dxl+Ax]内，步长为0.1像素的基础上，按照最大互信 息配准方法，进行二次配准计算，获取更高精度的最终配准结果。如同样以水平方向的平移 量为例，最终的配准结果中第二横向平移量可以表示为dxl+Δ X'。
[0045]本实施例的上述步骤201和步骤202为图1所示实施例的步骤101的一种具体实现 方式。
[0046]下面详细介绍采用最大互信息配准方法计算待配准图像相对于原图像的最终配 准结果的实现原理。
[0047]首先米用I (A) = _logp(A)表不事件A发生时所提供的彳目息，其中p(A)是事件A发生 的概率。一个随机现象可能有N个结果，其发生的概率分别SPl，p2，…，PN，则事件的平均信 息量Η为：
[0049] 该事件的平均信息量又称为熵Η。
[0050] 在配准过程中最常用的信息测度是Shannon-Wiener熵，其定义如下：
[0052] 即熵Η是由概率分别为pUl)，p(X2)，…，P(Xn)的一系列事件X1，X2，···，Xn所提供的 平均信息量。
[0053] 熵是一个统计量，它衡量了一个变量的随机性。一个变量的随机性越大，其熵就越 大。所以当所有的事件等概率发生时，熵达到最大值;而当一个事件发生的概率为1，其它概 率均为0时，熵达到最小值0。
[0054] 假设存在两个事件X和y，X = i且y = j的概率记为p(i，j)。则联合事件的熵即联合 熵可以表示为
[0059]互信息(MI)是信息论的一个基本概念。它表明了一个任意变量包含另一个任意变 量的信息多少。互信息MI(A，B)的定义为
[0061 ]其中，pA(a)，pB(b)分别为事件A和事件B的边缘概率，pAB(a，b)是它们的联合概率。 当事件A和事件B独立时，pAB(a，b) =pA(a) · pB(b)，互信息MI(A，B)等于0。这表示:如果事件 A，事件B独立，那么事件B就不能提供有关事件A的信息。因此可以用熵来定义互信息：
[0062] MI(A，B)=H(A)+H(B)-H(A，B)
[0063] 其中，H(A)和H(B)分别是事件A和事件B各自的熵，H(A，B)是它们的联合熵，
[0066]最大互信息配准的过程就是通过优化搜索算法搜索最优化配准参数使得互信息 MI (A，B)最大，这时最佳配准变换参数为
[0069] 1(a)表示两幅图像F和R在某种变换Τα下的互信息，由它们的联合概率分布pFR,a(f， r)和各自的边缘概率分布pF,a(f)、pR,a(r)统计得到，具体公式如下：
[0073] 基于最大互信息法的配准过程如下：
[0074] (1)坐标点的空间变换。
[0075] -般情况下，选择刚体变换作为配准的几何变换，刚体变换的公式为：
[0076] X' = s · Rx · Ry · Rz · X+t(tx，ty，tz)
[0077] 其中，以图像中心为原点建立直角坐标系〇Xyz，X'和X为变换前后图像的空间坐标 点，S为图像缩放尺度，R x，Ry，Rz分别表示围绕X，y，z轴的旋转矩阵，tx，ty，tz分别为三个方向 的平移量。
[0078] (2)灰度值的插值。
[0079] 对于变换后的新坐标点，根据图像原坐标点的灰度值采用插值的方法，获取新坐 标点的灰度值，使得两幅图像具有相同的空间分辨率。
[0080] (3)对图像的灰度信息进行统计。
[0081] 理论上采用整幅图像的所有像素共同组成特征空间，但是当图像的尺寸较大时， 也可以采用重采样的方法对原图像的数据点有规律的进行重采样获取新的图像，利用新图 像的所有像素组成特征空间。
[0082] (4)互信息的计算。
[0083]利用变换后的图像和参考图像，计算互信息，并利用合适的优化算法，不断的改变 变换参数，使得互信息值最大，从而对两幅图像进行配准。
[0084]基于上述原理，可以实现根据搜素范围和搜索步长，利用最大互信息配准方法计 算待配准图像相对于原图像的最终配准结果。
[0085]本实施例的图像配准方法，针对互功率谱配准方法和最大互信息两种配准方法的 各自优缺点，将其有机结合，即首先通过互功率谱的方法对图像进行初次配准，获取两幅图 像间的缩放尺度、旋转角度和平移量;然后以此为中值，根据实际中配准速度和精度的要求 确定搜索的范围和步长，进而利用最大互信息的方法确定更高精度的缩放尺度、旋转角度 和平移量。
[0086]本实施例的图像配准方法，通过采用上述方案，发挥了互功率谱配准方法速度快 的优势，利用它首先获得缩放尺度、旋转角度和平移量的初值，然后以此为基础确定搜索范 围，并根据实际的精度要求确定搜索步长，再利用最大互信息的方法实现更精确配准。这样 可有效缩小搜索范围，在获取高精度配准结果的同时减少最大互信息法的搜索时间，实现 快速和高精度配准的目标。因此采用本实施例的技术方案，可以弥补现有技术中仅对待配 准图像进行一次配准处理，例如仅对待配准图像相对于原图像进行一次基于互功率谱的图 像配准处理，使得配准处理的精确度较低的缺陷，可以在配准处理中，使用不同的配准方法 对待配准图像进行处理，提高配准的精度和效率，便于后续根据配准的结果，对图像进行有 效地拼接。
[0087]本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通 过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程 序在执行时，执行包括上述各方法实施例的步骤;而前述的存储介质包括:R〇M、RAM、磁碟或 者光盘等各种可以存储程序代码的介质。
[0088] 图3为本发明图像配准装置实施例一的结构示意图。如图3所示，本实施例的图像 配准装置，具体可以包括:初次配准计算模块10和二次配准计算模块11。
[0089] 其中初次配准计算模块10用于根据第一配准方法计算待配准图像相对于原图像 的初次配准结果;二次配准计算模块11与初次配准计算模块10连接，二次配准计算模块11 用于根据初次配准计算模块10计算的初次配准结果、预设的配准需求参数和第二配准方法 计算待配准图像相对于原图像的最终配准结果。
[0090] 本实施例的图像配准装置，通过采用上述模块实现图像配准与上述图1所示方法 实施例的实现机制相同，详细可以参考上述图1所示实施例的记载，在此不再赘述。
[0091] 本实施例的图像配准装置，通过采用上述模块实现根据第一配准方法计算待配准 图像相对于原图像的初次配准结果;根据初次配准结果、预设的配准需求参数和第二配准 方法计算待配准图像相对于原图像的最终配准结果。采用本实施例的技术方案，可以弥补 现有技术中仅对待配准图像进行一次配准处理，例如仅对待配准图像相对于原图像进行一 次基于互功率谱的图像配准处理，使得配准处理的精确度较低的缺陷，可以在配准处理中， 使用不同的配准方法对待配准图像进行处理，提高配准的精度和效率，便于后续根据配准 的结果，对图像进行有效地拼接。
[0092] 图4为本发明图像配准装置实施例二的结构示意图。如图4所示，本实施例的图像 配准装置在上述图3所示实施例的技术方案的基础上，进一步包括如下技术方案。
[0093] 例如本实施例的图像配准装置中初次配准计算模块10根据第一配准方法计算待 配准图像相对于原图像的初次配准结果的过程中，所使用的第一配准方法可以采用互功率 谱配准方法或者也可以采用基于特征的配准方法。
[0094] 其中可选地，初次配准结果可以包括待配准图像相对于原图像的第一图像缩放尺 度、第一旋转角、第一横向平移量和第一纵向平移量。
[0095] 如图4所示，本实施例的图像配准方法中的二次配准计算模块11，具体可以包括： 确定单元111和计算单元112。其中确定单元111与初次配准计算模块10连接，确定单元111 用于根据初次配准计算模块10计算的初次配准结果和预设的配准需求参数，确定配准的搜 索范围和搜索步长;计算单元112与确定单元111连接，计算单元112用于根据确定单元111 确定的搜素范围和搜索步长，利用第二配准方法计算待配准图像相对于原图像的最终配准 结果。
[0096] 进一步地，计算单元112根据确定单元111确定的搜素范围和搜索步长，利用第二 配准方法计算待配准图像相对于原图像的最终配准结果的计算过程中，所使用的第二配准 方法可以采用最大互信息配准方法。
[0097] 进一步可选地最终配准结果可以包括待配准图像相对于原图像的第二图像缩放 尺度、第二旋转角、第二横向平移量和第二纵向平移量。
[0098] 本实施例的图像配准装置，通过采用上述模块实现图像配准与上述图2所示方法 实施例的实现机制相同，详细可以参考上述图2所示实施例的记载，在此不再赘述。
[0099]本实施例的图像配准装置，通过采用上述模块实现互功率谱配准方法速度快的优 势，利用它首先获得缩放尺度、旋转角度和平移量的初值，然后以此为基础确定搜索范围， 并根据实际的精度要求确定搜索步长，再利用最大互信息的方法实现更精确配准。这样可 有效缩小搜索范围，在获取高精度配准结果的同时减少最大互信息法的搜索时间，实现快 速和高精度配准的目标。因此采用本实施例的技术方案，可以弥补现有技术中仅对待配准 图像进行一次配准处理，例如仅对待配准图像相对于原图像进行一次基于互功率谱的图像 配准处理，使得配准处理的精确度较低的缺陷，可以在配准处理中，使用不同的配准方法对 待配准图像进行处理，提高配准的精度和效率，便于后续根据配准的结果，对图像进行有效 地拼接。
[0100]以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是 或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即 可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其 中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性 的劳动的情况下，即可以理解并实施。
[0101]最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽 管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依 然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进 行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术 方案的范围。
【主权项】
1. 一种图像配准方法，其特征在于，所述方法包括： 根据第一配准方法计算待配准图像相对于原图像的初次配准结果； 根据所述初次配准结果、预设的配准需求参数和第二配准方法计算所述待配准图像相 对于所述原图像的最终配准结果。2. 根据权利要求1所述的方法，其特征在于，所述第一配准方法采用互功率谱配准方法 或者采用基于特征的配准方法。3. 根据权利要求2所述的方法，其特征在于，根据所述初次配准结果、预设的配准需求 参数和第二配准方法计算所述待配准图像相对于所述原图像的最终配准结果，具体包括： 根据所述初次配准结果和所述预设的配准需求参数，确定配准的搜索范围和搜索步 长； 根据所述搜素范围和所述搜索步长，利用所述第二配准方法计算所述待配准图像相对 于所述原图像的最终配准结果。4. 根据权利要求3所述的方法，其特征在于，所述第二配准方法采用最大互信息配准方 法。5. 根据权利要求1-4任一所述的方法，其特征在于，所述初次配准结果包括所述待配准 图像相对于所述原图像的第一图像缩放尺度、第一旋转角、第一横向平移量和第一纵向平 移量； 所述最终配准结果包括所述待配准图像相对于所述原图像的第二图像缩放尺度、第二 旋转角、第二横向平移量和第二纵向平移量。6. -种图像配准装置，其特征在于，所述装置包括： 初次配准计算模块，用于根据第一配准方法计算待配准图像相对于原图像的初次配准 结果； 二次配准计算模块，用于根据所述初次配准结果、预设的配准需求参数和第二配准方 法计算所述待配准图像相对于所述原图像的最终配准结果。7. 根据权利要求6所述的装置，其特征在于，所述第一配准方法采用互功率谱配准方法 或者采用基于特征的配准方法。8. 根据权利要求7所述的装置，其特征在于，所述二次配准计算模块，包括： 确定单元，用于根据所述初次配准结果和所述预设的配准需求参数，确定配准的搜索 范围和搜索步长； 计算单元，用于根据所述搜素范围和所述搜索步长，利用所述第二配准方法计算所述 待配准图像相对于所述原图像的最终配准结果。9. 根据权利要求8所述的装置，其特征在于，所述第二配准方法采用最大互信息配准方 法。10. 据权利要求6-9任一所述的装置，其特征在于，所述初次配准结果包括所述待配准 图像相对于所述原图像的第一图像缩放尺度、第一旋转角、第一横向平移量和第一纵向平 移量； 所述最终配准结果包括所述待配准图像相对于所述原图像的第二图像缩放尺度、第二 旋转角、第二横向平移量和第二纵向平移量。
【文档编号】G06T7/00GK105869141SQ201510936616
【公开日】2016年8月17日
【申请日】2015年12月15日
【发明人】张修宝
【申请人】乐视致新电子科技（天津）有限公司