一种亚像素级影像配准方法及系统与流程
本发明涉及遥感图像处理技术领域，尤其涉及一种亚像素级影像配准方法及系统。
背景技术：
图像超分辨率重建是一种在现有红外探测器基础上提升空间分辨率的有效方法，它通过对多幅具有互补信息的低分辨率观测图像进行处理，可重构一幅或多幅高分辨率的图像。其中精确快速的配准这些低分辨率图像对于超分辨率图像重建至关重要，因此图像配准是一项基本而又关键的图像预处理技术，广泛应用在需要从多个数据源提取信息的多个领域。
在过去的几十年中，来自于许多不同领域的学者从不同角度、不同应用背景出发对图像配准问题做了很多研究，对图像配准的方法给出了详细的总结和分类，但这些方法大多是像素级精度的。而对于如遥感(多模图像融合、目标检测、超分辨率图像生成)、高精度3d重建、视觉定位、医学图像等应用中的许多关键问题，依赖于更高精度的配准，即亚像素级的图像配准。而现有技术在进行影像之间亚像素配准时，往往将影像视为一个整体，认为原始和目标影像在影像不同区域符合同一变换情况，即在两幅影像配准过程中只构建单一的变换模型进行坐标转换，从而进行影像配准。但其构建的单一变换模型不能精确表达影像不同区域不一致的变换情形。那么对于影像不同区域变换情形不一致的情况，仅采用单一变换模型进行图像配准会造成配准精度低、影像模糊等问题。考虑到高分辨率影像中微小的几何差异可能造成融合影像模糊、拼接影像中出现连续地物不对接等问题，有必要发明一种新方法，在精确表达影像不同区域变换情形不一致的同时，实现高效率的影像亚像素级精配准。
技术实现要素：
本发明的目的是提供一种亚像素级影像配准方法及系统，通过对影像分块构建变换模型表达影像不同区域不一致的变换情况，并采用由粗到精的亚像素配准方法，高效率实现影像的高精度亚像素配准。
为实现上述目的，本发明提供了如下方案：
一种亚像素级影像配准方法，所述方法包括：
获取具有互补信息的第一影像和第二影像之间的匹配特征点对，所述第一影像和所述第二影像尺寸相同；
将所述第一影像均匀划分为多个第一影像块，将所述第二影像均匀划分为多个第二影像块，所述第一影像块与所述第二影像块数量相同；
根据所述第一影像内的匹配特征点和所述第一影像块的中心像素点坐标之间的距离确定各个所述匹配特征点的最终权重；
根据所述最终权重构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型；
根据所述匹配特征点和所述最终权重计算多个所述块变换模型对应的多个第一变换系数；
将所述第一影像块按照设定的重叠度划分为第一影像子块，将所述第二影像块按照相同的所述重叠度划分为第二影像子块，所述第一影像子块与所述第二影像子块数量相同，相邻的各所述第一影像子块之间具有设定的重叠度大小的重叠区域，相邻的各所述第二影像子块之间也具有相同重叠度大小的重叠区域；
根据所述第一影像子块与所述第一影像块之间的重叠范围选择相应的所述第一变换系数，以所述第一变换系数为初值计算第一变换系数改正值；
根据所述第一变换系数和所述第一变换系数改正值计算第二变换系数；
根据所述第二变换系数进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个变换后的第二影像子块，所述多个变换后的第二影像子块组成首次变换后的第二影像；
采用双线性插值算法实现所述首次变换后的第二影像的重采样，得到所述第二影像首次配准后的第一配准影像；
计算所述第一配准影像与所述第一影像之间的相似性测度值；
当所述相似性测度值达到最大值时，获取使所述相似性测度值达到最大值的所述第二变换系数为最优变换系数；
根据所述第一影像子块的中心像素和所述重叠区域的像素计算偏移量分配权重；
根据所述偏移量分配权重修正所述重叠区域的各像素的坐标偏移量；
根据所述最优变换系数和所述坐标偏移量计算最终变换系数；
根据所述最终变换系数进行所述重叠区域的坐标转换，根据所述最优变换系数进行相邻的所述第一影像子块之间的非重叠区域的坐标转换，得到第二次变换后的第二影像；
采用双线性插值算法实现所述第二次变换后的第二影像的重采样，得到所述第二影像第二次配准后的最终配准影像。
可选的，所述根据所述第一影像内的匹配特征点和所述第一影像块的中心像素点坐标之间的距离确定各个所述匹配特征点的最终权重，具体包括：
对每一个所述第一影像块，根据所述第一影像内的匹配特征点和所述第一影像块的中心像素点坐标之间的距离计算各个所述匹配特征点的权重，所述权重的计算式为：
其中，(x*,y*)表示所述第一影像块的中心像素点的坐标，(xi,yi)表示所述匹配特征点的坐标，n表示特征点对数量；
获取所述匹配特征点的权重补偿系数；
获取所述权重补偿系数和所述权重中较大的值作为第i个所述匹配特征点的最终权重，所述最终权重表示为：wi＝max[w,α]，其中w表示所述权重，α表示所述权重补偿系数。
可选的，所述根据所述最终权重构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型，具体包括：
根据所述最终权重构建所述第一影像和所述第二影像之间的变换模型，所述变换模型表示为：
其中，(x',y')表示所述第二影像中第(i,j)块所述第二影像块中的所述匹配特征点坐标，(x,y)表示所述第一影像中对应的第(i,j)块所述第一影像块中的所述匹配特征点坐标，fijx表示第(i,j)块所述第二影像块和第(i,j)块所述第一影像块之间水平方向的变换模型，fijy表示第(i,j)块所述第二影像块和第(i,j)块所述第一影像块之间竖直方向的变换模型；
选择透视变换模型作为所述水平方向和所述竖直方向的变换模型，拟合所述第一影像和所述第二影像之间的几何位置关系，分块构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型，由所述水平方向的变换模型和所述竖直方向的变换模型共同组成的所述块变换模型表示为：
其中，(x',y')表示第(i,j)块所述第二影像块中的所述匹配特征点坐标，(x,y)表示对应的第(i,j)块所述第一影像块中的所述匹配特征点坐标。
可选的，所述根据所述匹配特征点和所述最终权重计算多个所述块变换模型对应的多个第一变换系数，具体包括：
根据所述匹配特征点和所述最终权重计算各所述第一影像块和各所述第二影像块之间各所述块变换模型的各第一变换系数，所述第一变换系数的求解公式为：
其中，s.t.||h||＝1，
对所述影像块中的每一对所述匹配特征点对构建所述第一变换系数的求解公式，通过最小二乘法解算得到多个所述块变换模型对应的多个所述第一变换系数。
可选的，所述将所述第一影像块按照设定的重叠度划分为第一影像子块，具体包括：
设定相邻的两块所述第一影像块之间横向和纵向重叠区域的像素数目，分别在水平和竖直方向按照所述重叠像素数目扩展，得到划分后的所述第一影像子块。
可选的，所述判断所述相似性测度值是否达到最大值，还包括：
当所述判断结果表示所述相似性测度值未达到最大值且计算次数n小于设定的迭代次数m时，将第n-1次计算得到的所述第二变换系数作为第n次计算所述第一变换系数改正值的初值，经过第n次计算得到第n次的第二变换系数；
根据所述第n次的第二变换系数进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个第n次变换后的第二影像子块，所述多个第n次变换后的第二影像子块组成第n次变换后的第二影像；
采用双线性插值算法实现所述第n次变换后的第二影像的重采样，得到所述第二影像第n次配准后的第n配准影像；
计算所述第n配准影像与所述第一影像之间的相似性测度值，直到所述计算次数n等于所述迭代次数m或者所述相似性测度值达到最大值；
其中，所述计算次数n小于等于所述设定的迭代次数m。
可选的，所述根据所述第一影像子块的中心像素和所述重叠区域的像素计算偏移量分配权重，具体包括：
采用反距离加权函数计算偏移量分配权重，所述偏移量分配权重表示为：
其中
本发明还提供一种亚像素级影像配准系统，所述系统包括：
获取模块，用于获取具有互补信息的第一影像和第二影像之间的匹配特征点对，所述第一影像和所述第二影像尺寸相同；
均分模块，用于将所述第一影像均匀划分为多个第一影像块，将所述第二影像均匀划分为多个第二影像块，所述第一影像块与所述第二影像块数量相同；
最终权重获取模块，用于根据所述第一影像内的匹配特征点和所述第一影像块的中心像素点坐标之间的距离确定各个所述匹配特征点的最终权重；
块变换模型建立模块，用于根据所述最终权重构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型；
第一变换系数计算模块，用于根据所述匹配特征点和所述最终权重计算多个所述块变换模型对应的多个第一变换系数；
重叠度划分模块，用于将所述第一影像块按照设定的重叠度划分为第一影像子块，将所述第二影像块按照相同的所述重叠度划分为第二影像子块，所述第一影像子块与所述第二影像子块数量相同，相邻的各所述第一影像子块之间具有设定的重叠度大小的重叠区域，相邻的各所述第二影像子块之间也具有相同重叠度大小的重叠区域；
第一变换系数改正值计算模块，用于根据所述第一影像子块与所述第一影像块之间的重叠范围选择相应的所述第一变换系数，以所述第一变换系数为初值计算第一变换系数改正值；
第二变换系数计算模块，用于根据所述第一变换系数和所述第一变换系数改正值计算第二变换系数；
第二影像首次变换模块，用于根据所述第二变换系数进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个变换后的第二影像子块，所述多个变换后的第二影像子块组成首次变换后的第二影像；
第一配准影像获取模块，用于采用双线性插值算法实现所述首次变换后的第二影像的重采样，得到所述第二影像首次配准后的第一配准影像；
相似性测度值计算模块，用于计算所述第一配准影像与所述第一影像之间的相似性测度值；
最优变换系数获取模块，用于当所述相似性测度值达到最大值时，获取使所述相似性测度值达到最大值的所述第二变换系数为最优变换系数；
偏移量分配权重计算模块，用于根据所述第一影像子块的中心像素和所述重叠区域的像素计算偏移量分配权重；
坐标偏移量修正模块，用于根据所述偏移量分配权重修正所述重叠区域的各像素的坐标偏移量；
最终变换系数计算模块，用于根据所述最优变换系数和所述坐标偏移量计算最终变换系数；
第二影像二次变换模块，用于根据所述最终变换系数进行所述重叠区域的坐标转换，根据所述最优变换系数进行相邻的所述第一影像子块之间的非重叠区域的坐标转换，得到第二次变换后的第二影像；
最终配准影像获取模块，用于采用双线性插值算法实现所述第二次变换后的第二影像的重采样，得到所述第二影像第二次配准后的最终配准影像。
可选的，所述最终权重获取模块具体包括：
权重计算单元，用于对每一个所述第一影像块，根据所述第一影像内的匹配特征点和所述第一影像块的中心像素点之间的距离计算各个所述匹配特征点的权重，所述权重的计算式为：
其中，(x*,y*)表示所述第一影像块的中心像素坐标，(xi,yi)表示所述匹配特征点的坐标，n表示特征点对数量；
权重补偿系数获取模块，用于获取所述匹配特征点的权重补偿系数；
最终权重获取单元，用于获取所述权重补偿系数和所述权重中较大的值作为第i个所述匹配特征点的最终权重，所述最终权重表示为：wi＝max[w,α]，其中w表示所述权重，α表示所述权重补偿系数。
可选的，所述偏移量分配权重计算模块包括：
偏移量分配权重计算单元，用于采用反距离加权函数计算偏移量分配权重，所述偏移量分配权重表示为：
其中
根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明采用分阶段由粗到精的配准策略，在粗配准阶段，提取影像特征，针对影像不同区域不一致的变换情况，对第一影像和第二影像均匀分块，根据权重大小分配给影像特征不同的重要性，据此拟合变换模型，高效率完成粗配准。在精配准阶段，对各影像块进行有重叠的规则划分，以粗配准阶段解算的系数为初值，修正变换模型，根据相似性测度值大小得到各影像块最优变换模型，通过加权微调重叠区像素偏移量，实现相邻块均匀过渡，消除可能存在的微小位移对配准精度影响，高精度完成影像的精配准。本发明采用由粗到精的亚像素配准方法，在精确表达影像不同区域变换情形不一致的同时，高效率实现了影像的高精度亚像素配准。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明亚像素级影像配准方法实施例的流程示意图；
图2为本发明亚像素级影像配准方法实施例中影像分块和权重计算示意图；
图3为本发明亚像素级影像配准系统实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种亚像素级影像配准方法及系统，该方法和系统通过对影像分块构建变换模型表达影像不同区域不一致的变换情况，并采用由粗到精的亚像素配准方法，高效率实现影像的高精度亚像素配准。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明亚像素级影像配准方法实施例的流程示意图，如图1所示，本发明提供的方法具体包括以下步骤：
步骤101：获取具有互补信息的第一影像和第二影像之间的匹配特征点对，所述第一影像和所述第二影像尺寸相同。
图像超分辨率重建通过对多幅具有互补信息的低分辨率观测图像进行处理，可重构一幅或多幅高分辨率的图像，其中精确快速的配准这些低分辨率图像对于超分辨率图像重建至关重要。因此本发明所述的亚像素级影像配准方法首先获取具有互补信息的第一影像和第二影像，并将影像处理成相同的尺寸，再从影像中提取特征。
影像中可提取的特征包括点、线和面特征，其中点特征提取算子，比如harris算子、sift算子、surf算子等在发展应用过程中不断被改进完善，提取出来的特征相对精准且具有强鲁棒性。因此，本发明所述方法的这一实施例选择使用sift特征检测算子分别提取所述第一影像和所述第二影像的点特征，并通过计算点特征矢量的欧氏距离得到初始匹配特征点对。为了剔除初始匹配特征点对中的误匹配点对，选用随机抽样一致性算法(ransac)筛选初始匹配特征点对，筛选得到所述第一影像和所述第二影像之间正确的的所述匹配特征点对。
所述匹配特征点对包括所述第一影像内的匹配特征点和对应的所述第二影像内的匹配特征点。
现有技术在进行影像之间亚像素配准时，往往将影像视为一个整体，认为原始和目标影像在影像不同区域符合同一变换情况，即在两幅影像配准过程中只构建单一的变换模型进行坐标转换，从而进行影像配准。但其构建的单一变换模型不能精确表达影像不同区域不一致的变换情形。那么对于影像不同区域变换情形不一致的情况，仅采用单一变换模型进行图像配准会造成配准精度低、影像模糊等问题。因此本发明所述方法针对影像不同区域变换系数可能不一致的变换情况，采用特征加权的方式分块估计变换模型。
步骤102：将所述第一影像均匀划分为多个第一影像块，将所述第二影像均匀划分为多个第二影像块，所述第一影像块与所述第二影像块数量相同。
步骤101中将所述第一影像和所述第二影像处理成相同的尺寸，步骤102中将所述第一影像和所述第二影像均匀划分为数量相同的所述第一影像块与所述第二影像块。比如将所述第一影像和所述第二影像均处理成9000*9000尺寸的影像，两张影像中具有相同的人、物、地点等互补信息，按照图2所示，将影像均匀划分为3*3块，每个影像块大小为3000*3000。如此划分后得到的3*3块所述第一影像块与3*3块所述第二影像块具有一一对应的位置关系。
步骤103：根据所述第一影像内的匹配特征点和所述第一影像块的中心像素点坐标之间的距离确定各个所述匹配特征点的最终权重。
步骤101中得到的所述匹配特征点对包括所述第一影像内的匹配特征点和对应的所述第二影像内的匹配特征点。那么考虑地物的空间相关性，选择反距离加权函数，对所述第一影像均匀划分得到的每一个所述第一影像块，根据所述第一影像内的匹配特征点和所述第一影像块的中心像素点之间的距离计算第一影像内各个所述匹配特征点的权重，所述权重的计算式为：
其中，(x*,y*)表示所述第一影像块的中心像素点的坐标，(xi,yi)表示所述匹配特征点的坐标，n表示特征点对数量。
为避免距离所述第一影像块中心像素较远的所述匹配特征点影响模型解算的稳定性，这里引入匹配特征点的权重补偿系数α，α为经验值，其取值范围为[0,1]。
获取所述权重补偿系数和所述权重中较大的值作为第i个所述匹配特征点的最终权重，所述最终权重表示为：wi＝max[w,α]，其中w表示所述权重，α表示所述权重补偿系数。
图2为本发明亚像素级影像配准方法实施例中影像分块和权重计算的示意图。根据所述第一影像内的匹配特征点(xi,yi)和所述第一影像块中心像素点(x*,y*)之间的距离计算出的部分所述匹配特征点的最终权重如图2中的w1、w2、w3、w4、wi所示。
步骤104：根据所述最终权重构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型。
根据所述最终权重构建所述第一影像和所述第二影像之间的变换模型，所述变换模型表示为：
其中，(x',y')表示所述第二影像中第(i,j)块所述第二影像块中的所述匹配特征点坐标，(x,y)表示所述第一影像中对应的第(i,j)块所述第一影像块中的所述匹配特征点坐标，fijx表示第(i,j)块所述第二影像块和第(i,j)块所述第一影像块之间水平方向的变换模型，fijy表示第(i,j)块所述第二影像块和第(i,j)块所述第一影像块之间竖直方向的变换模型。
常用的变换模型有相似变换、仿射变换、透视(投影)变换、多项式变换等。本实施例选择透视(投影)变换模型拟合所述第一和第二影像间的几何位置关系，即选择透视变换模型作为所述水平方向和所述竖直方向的变换模型，拟合所述第一影像和所述第二影像之间的几何位置关系，分块构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型。
由所述水平方向的变换模型和所述竖直方向的变换模型共同组成的所述块变换模型表示为：
其中，(x',y')表示第(i,j)块所述第二影像块中的所述匹配特征点坐标，(x,y)表示对应的第(i,j)块所述第一影像块中的所述匹配特征点坐标。其中
步骤105：根据所述匹配特征点和所述最终权重计算多个所述块变换模型对应的多个第一变换系数。
根据第一影像内的所述匹配特征点和所述最终权重计算各所述第一影像块和各所述第二影像块之间各所述块变换模型的各第一变换系数，所述第一变换系数的求解公式为：
其中，s.t.||h||＝1，
对所述影像块中的每一对所述匹配特征点对构建所述第一变换系数的求解公式，通过最小二乘法解算得到多个所述块变换模型对应的多个所述第一变换系数。
需要指出的是，使用透视变换模型拟合影像块之间的变换关系，解算出透视变换模型待求系数自然就构建出了变换模型，因此步骤104和步骤105没有特定的先后顺序。
本发明所述的亚像素级影像配准方法采用分阶段由粗到精的配准策略。在上述粗配准阶段，通过提取影像特征，针对影像不同区域不一致的变换情况对第一影像和第二影像进行均匀分块，根据权重大小分配给影像特征不等重要性，据此拟合变换模型，完成影像的粗配准。
步骤106：将所述第一影像块按照设定的重叠度划分为第一影像子块，将所述第二影像块按照相同的所述重叠度划分为第二影像子块，所述第一影像子块与所述第二影像子块数量相同，相邻的各所述第一影像子块之间具有设定的重叠度大小的重叠区域，相邻的各所述第二影像子块之间也具有相同重叠度大小的重叠区域。
在前述粗配准阶段步骤102对影像进行了均匀分块的基础上，继续对所述影像块按照一定的重叠度进行分块。
有重叠的划分影像，有下面两种划分方式：
方式一：设定相邻的两块影像块之间横向和纵向重叠区域的像素数目，分别在水平和竖直方向按照所述重叠像素数目扩展，得到划分后的影像子块。
方式二：设定相邻的两块影像块之间横向和纵向重叠区域的重叠百分比，在水平和竖直方向分别按照所述重叠百分比扩大所述第一影像块范围，得到划分后的影像子块。
需要指出的是，本实施例在叙述对所述第一影像块和所述第二影像块均可进行的操作时，为了表述方便，将所述第一影像块和所述第二影像块统称为所述影像块，同样的，所述影像子块可以指代所述第一影像子块或所述第二影像子块或二者的结合。
本发明所述亚像素级影像配准方法可采用上述任意一种划分方式。
本实施例中采用方式一对所述第一影像块和所述第二影像块进行有重叠度的划分，具体为：
设定相邻的两块所述第一影像块之间横向和纵向重叠区域的像素数目，分别在水平和竖直方向按照所述重叠像素数目扩展，得到划分后的所述第一影像子块。
设定相邻的两块所述第二影像块之间横向和纵向重叠区域的像素数目，分别在水平和竖直方向按照所述重叠像素数目扩展，得到划分后的所述第二影像子块。
需要注意的是，上述按照所述重叠像素数目扩展影像块范围或按照所述重叠百分比扩大影像块范围均为在影像尺寸范围内进行扩展或扩大，即，在对影像进行重叠度划分时，如果影像边缘处的影像块经扩展或扩大后的范围会超出影像原本设定的尺寸，那么该边缘处的影像块便不再进行扩展或扩大。
以前述均匀划分为3*3块的9000*9000尺寸的影像为例进行有重叠度的划分。经前述步骤102均匀划分后得到的3*3块影像块中，每块影像块的尺寸为3000*3000。如图2所示，以9000*9000尺寸的影像为基准建立坐标系，使得影像四个顶点的坐标分别为(0,0)、(9000,0)、(0,9000)、(9000,9000)。在数字图像处理中，我们一般采用影像的图像坐标。所述图像坐标不同于一般的笛卡尔直角坐标系，所述图像坐标中箭头所指方向均为数字增大方向。定义四个顶点的坐标分别为(0,0)、(3000,0)、(0,3000)、(3000,3000)的影像块为第(1,1)块影像块，四个顶点的坐标分别为(3000,0)、(6000,0)、(3000,3000)、(6000,3000)的影像块为第(1,2)块影像块，四个顶点的坐标分别为(6000,0)、(9000,0)、(6000,3000)、(9000,3000)的影像块为第(1,3)块影像块，四个顶点的坐标分别为(0,3000)、(3000,3000)、(0,6000)、(3000,6000)的影像块为第(2,1)块影像块......以此类推，定义四个顶点的坐标分别为(6000,6000)、(9000,6000)、(6000,9000)、(9000,9000)的影像块为第(3,3)块影像块。设定相邻的两块影像块之间横向和纵向重叠区域的像素数目为1000个像素，分别在水平和竖直方向按照所述重叠像素数目扩展，那么第(1,1)块影像块就扩展成了4000*4000尺寸大小的第(1,1)块影像子块，即，第(1,1)块影像子块四个顶点的坐标分别为(0,0)、(4000,0)、(0,4000)、(4000,4000)。同样的，第(1,2)块影像块也扩展成了4000*4000大小的第(1,2)块影像子块，第(1,2)块影像子块四个顶点的坐标分别为(3000,0)、(7000,0)、(3000,4000)、(7000,4000)。这样，相邻的第(1,1)块影像子块和第(1,2)块影像子块之间就具有一块尺寸为1000*4000的重叠区域，该重叠区域四个顶点的坐标分别为(3000,0)、(4000,0)、(3000,4000)、(4000,4000)。同理，四个顶点的坐标分别为(0,3000)、(4000,3000)、(0,7000)、(4000,7000)的第(2,1)块影像子块与相邻的第(1,1)块影像子块之间也具有尺寸为1000*4000的重叠区域。第(1,1)、(1,2)、(2,1)、(2,2)块影像子块之间具有1000*1000的重叠区域。
由于第(1,3)块影像块位于影像边缘处，如果将第(1,3)块影像块在水平和竖直方向按照所述1000的重叠像素数目扩展，扩展后的范围会超出影像9000*9000的尺寸范围，因此第(1,3)块影像块不再进行扩展。同理，第(2,3)、(3,1)、(3,2)、(3,3)块影像块都不进行扩展。因此第(2,3)、(3,1)、(3,2)、(3,3)块影像子块分别与第(2,3)、(3,1)、(3,2)、(3,3)块影像块的范围相同。
如此便得到按照相同的重叠度划分后的多个第一影像子块和多个第二影像子块，所述第一影像子块与所述第二影像子块数量相同，相邻的各所述第一影像子块之间具有设定的重叠度大小的重叠区域，相邻的各所述第二影像子块之间也具有相同大小的重叠区域，并且各个所述第一影像子块和各个所述第二影像子块的位置一一对应。
步骤107：根据所述第一影像子块与所述第一影像块之间的重叠范围选择相应的所述第一变换系数，以所述第一变换系数为初值计算第一变换系数改正值。
基于灰度的影像配准方法直接利用影像的灰度信息，迭代过程中根据相似性测度准则判断目标影像和原始影像是否达到配准。这种方法对影像间变换模型系数的初始值依赖性较强。因此，将上述粗配准阶段步骤105解算得到的各影像块块变换模型的多个第一变换系数作为基于灰度的分块精配准阶段的初值。即，根据所述第一影像子块与所述第一影像块之间的重叠范围选择相应的所述第一变换系数，以所述第一变换系数为初值计算各个所述块变换模型对应的第一变换系数改正值δh。
其中，根据所述第一影像子块与所述第一影像块之间的重叠范围选择相应的所述第一变换系数具体为：
选择与当前所述第一影像子块重叠范围最大的所述第一影像块对应的所述第一变换系数作为计算当前所述第一影像子块对应的第一变换系数改正值的初值。例如第(1,1)块第一影像子块与第(1,1)块第一影像块重叠范围最大，因此选择第(1,1)块第一影像块与第(1,1)块第二影像块之间块变换模型的第一变换系数作为计算第(1,1)块所述第一影像子块对应的第一变换系数改正值的初值。
步骤108：根据所述第一变换系数和所述第一变换系数改正值计算第二变换系数。
根据所述第一变换系数和所述第一变换系数改正值计算第二变换系数，所述第二变换系数的计算公式表示为：
其中
步骤109：根据所述第二变换系数进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个变换后的第二影像子块，所述多个变换后的第二影像子块组成首次变换后的第二影像。
步骤104构建了每个所述第一影像块与对应的所述第二影像块之间的块变换模型，所述第一影像子块与对应的所述第二影像子块之间也采用同样的变换模型，所述变换模型表示为：
其中，(x',y')表示所述第二影像中第(i,j)块所述第二影像子块中的所述匹配特征点坐标，(x,y)表示所述第一影像中对应的第(i,j)块所述第一影像子块中的所述匹配特征点坐标，fijx表示第(i,j)块所述第二影像子块和第(i,j)块所述第一影像子块之间水平方向的变换模型，fijy表示第(i,j)块所述第二影像子块和第(i,j)块所述第一影像子块之间竖直方向的变换模型。
同样选择透视变换模型作为所述水平方向和所述竖直方向的变换模型，拟合所述第一影像和所述第二影像之间的几何位置关系，分块构建每个所述第一影像子块与对应的所述第二影像子块之间的块变换模型，由所述水平方向的变换模型和所述竖直方向的变换模型共同组成的所述块变换模型表示为：
其中，(x',y')表示第(i,j)块所述第二影像子块中的所述匹配特征点坐标，(x,y)表示对应的第(i,j)块所述第一影像子块中的所述匹配特征点坐标。
将所述第一变换系数h～更新后得到的所述第二变换系数h～'代入上述块变换模型，进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个变换后的第二影像子块，所述多个变换后的第二影像子块组成首次变换后的第二影像。
步骤110：采用双线性插值算法实现所述首次变换后的第二影像的重采样，得到所述第二影像首次配准后的第一配准影像。
步骤109对各所述第一影像子块和各所述第二影像子块进行坐标转换后得到的各像素点坐标不一定全为整数，因此需要通过影像重采样获取非整数像素点灰度值。
常用的重采样方法有最邻近内插法(nearestneighborinterpolation)、双线性内插法(bilinearinterpolation)和三次卷积法内插(cubicconvolutioninterpolation)。本实施例采用双线性插值算法实现变换后影像的重采样。
双线性插值算法用公式表示为：
f(x+u,y+v)＝(1-u)(1-v)f(x,y)+(1-u)vf(x,y+1)+u(1-v)f(x+1,y)+uvf(x+1,y+1)(6)
其中，f(x+u,y+v)表示待求像素点非整数坐标的灰度值，x、y表示非整数坐标的整数部分，u、v表示非整数坐标的小数部分，其取值范围为[0,1]，f(x,y)、f(x,y+1)、f(x+1,y)、f(x+1,y+1)分别表示待求像素周围4个邻像素的灰度值。
本实施例采用双线性插值算法实现所述首次变换后的第二影像的重采样，得到所述第二影像首次配准后的第一配准影像
步骤111：计算所述第一配准影像与所述第一影像之间的相似性测度值。
影像间相似性测度包括平方差法(ssd)、相关系数(cc)、互信息(mi)、区域互信息(rmi)等方法，其中基于信息论的mi、rmi等相似性测度是基于灰度影像配准方法中普遍使用的评判标准，本实施例选择使用互信息(mi)作为判断依据，所述第一配准影像与所述第一影像之间的相似性测度值可表示如下：
mi(t,s)＝h(t)+h(s)-h(t,s)(7)
其中，t、s分别表示所述第一影像和所述第二影像，h表示熵，h(t,s)表示所述第一影像和所述第二影像的联合熵。
步骤112：当所述相似性测度值达到最大值时，获取使所述相似性测度值达到最大值的所述第二变换系数为最优变换系数。
步骤112具体包括：
当所述相似性测度值未达到最大值且计算次数n(n≤m)小于设定的迭代次数m时，将第n-1次计算得到的所述第二变换系数作为第n次计算所述第一变换系数改正值的初值，经过第n次计算得到第n次的第二变换系数。
根据所述第n次的第二变换系数进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个第n次变换后的第二影像子块，所述多个第n次变换后的第二影像子块组成第n次变换后的第二影像。
采用双线性插值算法实现所述第n次变换后的第二影像的重采样，得到所述第二影像第n次配准后的第n配准影像。
计算所述第n配准影像与所述第一影像之间的相似性测度值，直到所述计算次数n等于所述迭代次数m或者所述相似性测度值达到最大值时，获取使所述相似性测度值达到最大值的所述第二变换系数为最优变换系数。
根据所述最优变换系数进行相邻的所述第一影像子块之间的非重叠区域的坐标转换。而对于相邻影像块的所述重叠区域，还需要根据权重修正各像素在水平和竖直方向的坐标偏移量，根据修正后的变换模型系数转换重叠区各像素坐标。
步骤113：根据所述第一影像子块的中心像素和所述重叠区域的像素计算偏移量分配权重。
本实施例采用反距离加权函数计算偏移量分配权重，所述偏移量分配权重表示为：
其中
步骤114：根据所述偏移量分配权重修正所述重叠区域的各像素的坐标偏移量。
继续以前述按照设定的重叠度划分的9000*9000尺寸的影像为例，假设m像素位于第(1,1)、(1,2)、(2,1)、(2,2)四块所述影像子块的重叠区域，则m像素的坐标偏移量为：
其中，δxm,δym分别表示修正后所述重叠区域第m个像素在x和y方向的偏移量，w11_m，w12_m，w21_m，w22_m分别表示包含像素m的相邻4个所述影像子块作用于像素m的所述偏移量分配权重，δx11,δx12,δx21,δx22分别表示包含像素m的相邻4个影像块在x方向的偏移量，δy11,δy12,δy21,δy22分别表示包含像素m的相邻4个影像块在y方向的偏移量。
步骤115：根据所述最优变换系数和所述坐标偏移量计算最终变换系数。
在所述最优变换系数的基础上加上各像素在水平和竖直方向的坐标偏移量，得到所述最终变换系数。
步骤116：根据所述最终变换系数进行所述重叠区域的坐标转换，根据所述最优变换系数进行相邻的所述第一影像子块之间的非重叠区域的坐标转换，得到第二次变换后的第二影像。
将步骤112中得到所述最优变换系数代入前述块变换模型，进行各所述影像子块之间的非重叠区域的坐标转换，将步骤115中得到所述最优变换系数代入前述块变换模型，进行各所述影像子块之间重叠区域的坐标转换，得到所述重叠区域和所述非重叠区域共同组成的第二次变换后的第二影像。
步骤117：采用双线性插值算法实现所述第二次变换后的第二影像的重采样，得到所述第二影像第二次配准后的最终配准影像。
在上述精配准阶段，本发明实施例对各影像块进行有重叠的规则划分，以粗配准阶段解算的系数为初值，修正变换模型，根据相似性测度值大小得到各影像块最优变换模型，通过加权微调重叠区像素偏移量，实现相邻块均匀过渡，消除可能存在的微小位移对配准精度影响，高精度完成影像的精配准。
至此，本发明采用由粗到精的亚像素配准方法在精确表达影像不同区域变换情形不一致的同时，高效率实现了影像的高精度亚像素配准。
为达到上述目的，本发明还提供了一种亚像素级影像配准系统。图3为本发明亚像素级影像配准系统实施例的结构示意图，如图3所示，所述系统包括：
获取模块201，用于获取具有互补信息的第一影像和第二影像之间的匹配特征点对，所述第一影像和所述第二影像尺寸相同。
均分模块202，用于将所述第一影像均匀划分为多个第一影像块，将所述第二影像均匀划分为多个第二影像块，所述第一影像块与所述第二影像块数量相同。
最终权重获取模块203，用于根据所述第一影像内的匹配特征点和所述第一影像块中心像素坐标之间的距离确定各个所述匹配特征点的最终权重。
块变换模型建立模块204，用于根据所述最终权重构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型。
第一变换系数计算模块205，用于根据所述匹配特征点和所述最终权重计算多个所述块变换模型对应的多个第一变换系数。
重叠度划分模块206，用于将所述第一影像块按照设定的重叠度划分为第一影像子块，将所述第二影像块按照相同的所述重叠度划分为第二影像子块，所述第一影像子块与所述第二影像子块数量相同，相邻的各所述第一影像子块之间具有设定的重叠度大小的重叠区域，相邻的各所述第二影像子块之间也具有相同大小的重叠区域。
第一变换系数改正值计算模块207，用于根据所述第一影像子块与所述第一影像块之间的重叠范围选择相应的所述第一变换系数，以所述第一变换系数为初值计算第一变换系数改正值。
第二变换系数计算模块208，用于根据所述第一变换系数和所述第一变换系数改正值计算第二变换系数。
第二影像首次变换模块209，用于根据所述第二变换系数进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个变换后的第二影像子块，所述多个变换后的第二影像子块组成首次变换后的第二影像。
第一配准影像获取模块210，用于采用双线性插值算法实现所述首次变换后的第二影像的重采样，得到所述第二影像首次配准后的第一配准影像。
相似性测度值计算模块211，用于计算所述第一配准影像与所述第一影像之间的相似性测度值。
最优变换系数获取模块212，用于当所述相似性测度值达到最大值时，获取使所述相似性测度值达到最大值的所述第二变换系数为最优变换系数。
偏移量分配权重计算模块213，用于根据所述第一影像子块的中心像素和所述重叠区域的像素计算偏移量分配权重。
坐标偏移量修正模块214，用于根据所述偏移量分配权重修正所述重叠区域的各像素的坐标偏移量。
最终变换系数计算模块215，用于根据所述最优变换系数和所述坐标偏移量计算最终变换系数。
第二影像二次变换模块216，用于根据所述最终变换系数进行所述重叠区域的坐标转换，根据所述最优变换系数进行相邻的所述第一影像子块之间的非重叠区域的坐标转换，得到第二次变换后的第二影像。
最终配准影像获取模块217，用于采用双线性插值算法实现所述第二次变换后的第二影像的重采样，得到所述第二影像第二次配准后的最终配准影像。
其中，所述最终权重获取模块203具体包括：
权重计算单元，用于对每一个所述第一影像块，根据所述第一影像内的匹配特征点和所述第一影像块中心像素坐标之间的距离计算各个所述匹配特征点的权重，所述权重的计算式为：
其中，(x*,y*)表示所述第一影像块中心像素点的坐标，(xi,yi)表示所述匹配特征点的坐标，n表示特征点对数量。
权重补偿系数获取单元，用于获取所述匹配特征点的权重补偿系数；
最终权重获取单元，用于获取所述权重补偿系数和所述权重中较大的值作为第i个所述匹配特征点的最终权重，所述最终权重表示为：wi＝max[w,α]，其中w表示所述权重，α表示所述权重补偿系数。
其中，块变换模型建立模块204具体包括：
影像变换模型建立单元，用于根据所述最终权重构建所述第一影像和所述第二影像之间的变换模型，所述变换模型表示为：
其中，(x',y')表示所述第二影像中第(i,j)块所述第二影像块中的所述匹配特征点坐标，(x,y)表示所述第一影像中对应的第(i,j)块所述第一影像块中的所述匹配特征点坐标，fijx表示第(i,j)块所述第二影像块和第(i,j)块所述第一影像块之间水平方向的变换模型，fijy表示第(i,j)块所述第二影像块和第(i,j)块所述第一影像块之间竖直方向的变换模型。
块变换模型建立单元，用于选择透视变换模型作为所述水平方向和所述竖直方向的变换模型，拟合所述第一影像和所述第二影像之间的几何位置关系，分块构建每个所述第一影像块与对应的所述第二影像块之间的块变换模型，由所述水平方向的变换模型和所述竖直方向的变换模型共同组成的所述块变换模型表示为：
其中，(x',y')表示第(i,j)块所述第二影像块中的所述匹配特征点坐标，(x,y)表示对应的第(i,j)块所述第一影像块中的所述匹配特征点坐标。
其中，所述第一变换系数计算模块205具体包括：
第一变换系数计算单元，用于根据所述匹配特征点和所述最终权重计算各所述第一影像块和各所述第二影像块之间各所述块变换模型的各第一变换系数，所述第一变换系数的求解公式为：
其中，s.t.||h||＝1，
所述第一变换系数计算单元还用于对所述影像块中的每一对所述匹配特征点对构建所述第一变换系数的求解公式，通过最小二乘法解算得到多个所述块变换模型对应的多个所述第一变换系数。
其中，所述重叠度划分模块206具体包括：
重叠度划分单元，用于设定相邻的两块所述第一影像块之间横向和纵向重叠区域的像素数目，分别在水平和竖直方向按照所述重叠像素数目扩展，得到划分后的所述第一影像子块。
其中，所述最优变换系数获取模块212还包括：
第二变换系数迭代计算单元，用于当所述相似性测度值未达到最大值且计算次数n(n≤m)小于设定的迭代次数m时，将第n-1次计算得到的所述第二变换系数作为第n次计算所述第一变换系数改正值的初值，经过第n次计算得到第n次的第二变换系数。
多次坐标转换单元，用于根据所述第n次的第二变换系数进行各所述第一影像子块和各所述第二影像子块之间的坐标转换，得到多个第n次变换后的第二影像子块，所述多个第n次变换后的第二影像子块组成第n次变换后的第二影像。
多次配准单元，用于采用双线性插值算法实现所述第n次变换后的第二影像的重采样，得到所述第二影像第n次配准后的第n配准影像。
多次相似性测度计算单元，用于计算所述第n配准影像与所述第一影像之间的相似性测度值，直到所述计算次数n等于所述迭代次数m或者所述相似性测度值达到最大值。
最优变换系数获取单元，用于当所述计算次数n等于所述迭代次数m，或者所述相似性测度值达到最大值时，获取使所述相似性测度值达到最大值的所述第二变换系数为最优变换系数。
其中，所述偏移量分配权重计算模块213包括：
偏移量分配权重计算单元，用于采用反距离加权函数计算偏移量分配权重，所述偏移量分配权重表示为：
其中
本发明所述的亚像素级影像配准方法及系统，采用分阶段由粗到精的配准策略，在粗配准阶段，提取影像特征，针对影像不同区域不一致的变换情况，对第一影像和第二影像均匀分块，根据权重大小分配给影像特征不等重要性，据此拟合变换模型，高效率完成粗配准。在精配准阶段，对各影像块进行有重叠的规则划分，以粗配准阶段解算的系数为初值，修正变换模型，根据相似性测度值大小得到各影像块最优变换模型，通过加权微调重叠区像素偏移量，实现相邻块均匀过渡，消除可能存在的微小位移对配准精度影响，高精度完成影像的精配准。综上，本发明所述的亚像素级影像配准方法及系统在精确表达影像不同区域变换情形不一致的同时高效率实现了影像的高精度亚像素配准。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
- 还没有人留言评论。精彩留言会获得点赞！