对齐图像的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理领域，并且更具体地，涉及一种对齐图像的方法和装置。
【背景技术】
[0002] 图像对齐技术是图像处理领域的基础技术。随着数字图像的快速发展，出现了一 系列基于图像对齐技术的应用。这些应用包括全景图的生成，高动态图的生成，两张图像 的信息融合等，例如，用红外图像修复彩色图像、用带噪声的图像去除另一张彩色图的模糊 等。
[0003] 随着各种图像采集设备的蓬勃发展，多模态多光谱图像的对齐成为了一个新的问 题，这些多模态多光谱图像包括近红外图像、彩图图像、深度图像、核磁共振图像以及超声 图像等。采集设备的不同以及采集场景的动态性会导致采集到的图像存在很大差异。图1 示出了 4组常见的多模态多光谱图像，从左到右：第1组为不同曝光度的图像，第2组为彩 色和深度图像，第3组为彩色和近红外图像，第4组为开闪光灯和不开闪光灯的图像。从图 1中可以看出，多模态多光谱图像间主要存在以下的差别：
[0004] ?图像间颜色反差大；
[0005] ?图像间梯度大小和方向的反差大。
[0006]传统的基于SIFT(尺度不变特征变换，Scale-invariantFeatureTransform)特 征点的对齐技术在图像对齐领域具有广泛的应用。具体而言，该技术通过找SIFT特征点对 需要对齐的图像进行匹配。以两张图像为例，基于SIFT特征点的图像对齐方法首先提取两 张图像的SIFT特征点向量，通过向量的欧式距离来寻找最近邻，从而得到两张图像间的对 应关系。但是，SIFT特征点与图像的梯度大小方向有很大关系，也就是说，基于SIFT特征点 的图像对齐技术很大程度上依赖图像结构相似区域在梯度大小方向的一致性。但是，从图 1可以看出，多模态多光谱图像在结构相似区域的梯度方向，是存在较大反差的，因此，基于 SIFT特征点的图像对齐技术不适用于多模态多光谱图像的对齐。
【发明内容】
[0007] 本发明实施例提供了一种对齐图像的方法和装置，能够提高图像对齐的准确性。
[0008] 第一方面，提供一种对齐图像的方法，包括：获取待对齐的两个图像的图像信息， 其中，第一图像的图像信息包括所述第一图像中像素点在选取的坐标系中的坐标，所述第 一图像中像素点的像素值，以及所述第一图像中像素点的像素值梯度，第二图像的图像信 息包括：所述第二图像中像素点的像素值，以及所述第二图像中像素点的像素值梯度，其 中，所述两个图像均位于所述坐标系中；根据所述两个图像的图像信息，通过互相关度量模 型，确定第一坐标偏移量，所述第一坐标偏移量用于指示所述两个图像间待对齐的像素点 在所述坐标系中的位置偏差；根据所述第一图像中像素点在所述坐标系中的坐标和所述第 一坐标偏移量，对齐所述两个图像。
[0009] 结合第一方面，在第一方面的一种实现方式中，在根据所述两个图像的图像信息， 通过互相关度量模型，确定第一坐标偏移量之前，所述方法还包括：获取第三图像的图像信 息，所述第三图像的图像信息包括：所述第三图像中像素点的像素值，以及所述第三图像中 像素点的像素值梯度，其中，所述第三图像位于所述坐标系中，且所述第一图像和所述第三 图像为待对齐的初始图像；根据所述初始图像的图像信息，通过所述互相关度量模型，确定 坐标变换矩阵，所述坐标变换矩阵用于指示所述初始图像间待对齐的像素点在所述坐标系 中的空间位置关系；根据所述坐标变换矩阵，确定第二坐标偏移量，所述第二坐标偏移量用 于指示所述初始图像间的待对齐的像素点在所述坐标系中的位置偏差；根据所述第二坐标 偏移量和所述第三图像中像素点的像素值，得到所述第二图像。
[0010] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式 中，所述根据所述初始图像的图像信息，通过所述互相关度量模型，确定坐标变换矩 阵，包括：通过计算
的最小值，确定所述坐标变换矩阵，其中，
%
，Η表示所述坐标变换矩阵，且Η 满足[up，vp，1]T =[Vyp，1]Τ(Η-Ι)，I表示单位矩阵，ρ表示所述第一图像中像素点在所述 坐标系中的坐标，χρ表示Ρ的横坐标，yp表示Ρ的纵坐标，wp表示所述第二坐标偏移量，up 表示wp的横坐标，Vp表示Wp的纵坐标，lliP表示所述第一图像的以p为中心的图像块内，各 像素点的像素值组成的一维列向量，表示所述图像块内，各像素点的像素值梯度组成 的一维列向量，Γ1ιΡ表示所述图像块内，各像素点的像素均值组成的一维列向量， 示所述图像块内，各像素点的像素值梯度的均值组成的一维列向量，Ι3ιΡ表示所述第三图像 的以P+Wp为中心的图像块内，各像素点的像素值组成的一维列向量，夂表示所述以p+Wp 为中心的图像块内，各像素点的像素值梯度组成的一维列向量，Γ3ιΡ表示所述以P+Wp为 中心的图像块内，各像素点的像素均值组成的一维列向量，Wi,,表示所述以P+wp为中心的 图像块内，各像素点的像素值梯度的均值组成的一维列向量，β和T为常数，β用于控制 函数Ρ (X)的形状，τ*E2(p，wp)中(卜项的权重。
[0011] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述根据所述坐标变换矩阵，确定第二坐标偏移量，包括：根据公式[up，vp，1]T = [xp，yp，1] T(H_I)，确定所述第二坐标偏移量。
[0012] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述根据所述第二坐标偏移量和所述第三图像中像素点的像素值，得到所述第二图像，包括： 根据公式I2(p) =I3(p+wp)，得到所述第二图像，其中，I2(p)表示所述第二图像在ρ的像素 值，I3(P+wp)表示所述第三图像在p+wp的像素值。
[0013] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式中，所 述根据所述两个图像的图像信息，通过互相关度量模型，确定第一坐标偏移量，包括：根据 公式
1角定所述第一坐标偏移 量，其中，
.，.
P = (Xp，yp)，W p = (U p，V P)
P表不 所述第一图像的像素点在所述坐标系中的坐标，χρ表示P的横坐标，yp表示P的纵坐标，W'p 表示所述第一坐标偏移量，u'p表示w'p的横坐标，ν'p表示w'p的纵坐标，Ι1ιΡ表示所述第一 图像的以P为中心的图像块内，各像素点的像素值组成的一维列向量，,表示所述图像 块内，各像素点的像素值梯度组成的一维列向量，Γ1ιΡ表示所述图像块内，各像素点的像 素均值组成的一维列向量，表示所述图像块内，各像素点的像素值梯度的均值组成的 一维列向量，Ι2ιΡ表示所述第二图像的以P+W'p为中心的图像块内，各像素点的像素值组成 的一维列向量，表示所述以P+W'p为中心的图像块内，各像素点的像素值梯度组成的 一维列向量，I' 2ιΡ表示所述以P+W'p为中心的图像块内，各像素点的像素均值组成的一维列 向量，表示所述以P+W'p为中心的图像块内，各像素点的像素值梯度的均值组成的一 维列向量，λρβ、λ2和τ为常数，λi和λ2为E3(W'p)中第二项和第三项的权重，β用 于控制函数Ρ(X)的形状，τSE2(p，w'p)中项的权重，Ν(ρ)表示所述第 一图像中像素点Ρ的相邻像素点组成的集合，q表示所述集合中的任意像素点，wq表示q与q在所述第二图像中的待对齐像素点之间的坐标偏移量，ε为常数。
[0014] 结合第一方面或其上述实现方式的任一种，在第一方面的另一种实现方式 中，所述互相关度量模型为：卜 !.ν,, >|h· |Φ.、
>ρ=
>Ρ表示所述第一图像的像素点在所 述坐标系中的坐标，χρ表示Ρ的横坐标，yp表示Ρ的纵坐标，wp表示所述第一坐标偏移量，up表示wp的横坐标，vp表示wp的纵坐标，Ι1ιΡ表示所述第一图像的以ρ为中心的图像块内， 各像素点的像素值组成的一维列向量，所述图像块内，各像素点的像素值梯度组成的 一维列向量，Γ1ιΡ表示所述图像块内，各像素点的像素均值组成的一维列向量，表示 所述图像块内，各像素点的像素值梯度的均值组成的一维列向量，Ι2ιΡ表示所述第二图像的 以P+Wp为中心的图像块内，各像素点的像素值组成的一维列向量，表示所述以P+Wp为 中心的图像块内，各像素点的像素值梯度组成的一维列向量，Γ2,p表示所述以P+Wp为中心 的图像块内，各像素点的像素均值组成的一维列向量，表示所述以P+Wp为中心的图像 块内，各像素点的像素值梯度的均值组成的一维列向量，β为权重，用于控制函数P (X)的 形状。
[0015] 第二方面，提供一种对齐图像的装置，包括：第一获取单元，用于获取待对齐的两 个图像的图像信息，其中，第一图像的图像信息包括所述第一图像中像素点在选取的坐标 系中的坐标，所述第一图像中像素点的像素值，以及所述第一图像中像素点的像素值梯度， 第二图像的图像信息包括：所述第二图像中像素点的像素值，以及所述第二图像中像素点 的像素值梯度，其中，所述两个图像均位于所述坐标系中；第一确定单元，用于根据所述两 个图像的图像信息，通过互相关度量模型，确定第一坐标偏移量，所述第一坐标偏移量用于 指示所述两个图像间待对齐的像素点在所述坐标系中的位置偏差；对齐单元，用于根据所 述第一图像中像素点在所述坐标系中的坐标和所述第一坐标偏移量，对齐所述两个图像。
[0016] 结合第二方面，在第二方面的一种实现方式中，所述装置还包括：第二获取单元， 用于获取第三图像的图像信息，所述第三图像的图像信息包括：所述第三图像中像素点的 像素值，以及所述第三图像中像素点的像素值梯度，其中，所述第三图像位于所述坐标系 中，且所述第一图像和所述第三图像为待对齐的初始图像；第二确定单元，用于根据所述初 始图像的图像信息，通过所述互相关度量模型，确定坐标变换矩阵，所述坐标变换矩阵用于 指示所述初始图像间待对齐的像素点在所述坐标系中的空间位置关系；第三确定单元，用 于根据所述坐标变换矩阵，确定第二坐标偏移量，所述第二坐标偏移量用于指示所述初始 图像间的待对齐的像素点在所述坐标系中的位置偏差；第四确定单元，用于根据所述第二 坐标偏移量和所述第三图像中像素点的像素值，得到所述第二图像。
[0017] 结合第二方面或其上述实现方式的任一种，在第二方面的另一种实现方式中，所 述第二确定单元具体用于通过计算
）:的最小值，确定所述坐标变换矩 阵，其中，
?
Η表示所述坐标变换矩阵，且Η 满足[up，vp，1]T= [xp，yp，1]Τ(Η-Ι)，I表示单位矩阵，ρ表示所述第一图像中像素点在所述 坐标系中的坐标，χρ表示Ρ的横坐标，yp表示Ρ的纵坐标，wp表示所述第二坐标偏移量，up 表示wp的横坐标，Vp表示Wp的纵坐标，lliP表示所述第一图像的以p为中心的图像块内，各 像素点的像素值组成的一维列向量，表示所述图像块内，各像素点的像素值梯度组成 的一维列向量，Γ1ιΡ表示所述图像块内，各像素点的像素均值组成的一维列向量，、表 示所述图像块内，各像素点的像素值梯度的均值组成的一维列向量，I3,p表示所述第三图像 的以P+Wp为中心的图像块内，各像素点的像素值组成的一维列向量，表示所述以P+Wp 为中心的图像块内，各像素点的像素