像平面不同极轴方向图像序列进行超分辨率重建的方法
【技术领域】
[0001] 本发明涉及图像配准和超分辨率重建领域，特别是像平面不同极轴方向的图像序 列进行超分辨率重建的方法。
【背景技术】
[0002] 在随着通信技术、高清电视等的发展，人们对图像的分辨率要求越来越高。而在航 拍等远距离成像过程中，由于成像系统传感器尺寸、光照等各方面的限制，得到的图像分辨 率较低，图像质量较差，不能满足人们的需要。
[0003] 增加图像分辨率最直接的方法就是提高采集设备传感器密度，但这会显著的增加 成本。在计算机视觉技术日益普及的今天，采集设备传感器的极点是固定的，因而可以采用 旋转采集设备等方法，拍摄一组图像序列，使得该图像序列的极轴间互有夹角，利用软件方 法进行超分辨率重建，提高图像分辨率，为图像的后续使用提供便利。
【发明内容】
[0004] 发明目的：本发明所要解决的技术问题是针对航拍等远距离成像不能满足高分辨 率要求，提供像平面不同极轴方向图像序列进行超分辨率重建的方法，从而使得图像分辨 率得到提高。
[0005] 为了解决上述技术问题，本发明公开了像平面不同极轴方向图像序列进行超分辨 率重建的方法，包括以下步骤：
[0006] 步骤一，拍摄一组焦距相同极轴方向不同的低分辨率图像序列，从中任意选择一 副图像作为参考图像，对图像序列进行预处理；
[0007] 步骤二，利用尺度不变特征变换算法计算参考图像与其余图像的匹配点对；
[0008] 步骤三，使用随机抽样一致性算法消除错误匹配点对，并计算参考图像与其余未 选定图像之间的映射关系；
[0009] 步骤四，使用最大后验概率方法进行超分辨率重建。
[0010] 本发明中，优选地，所述步骤一中的图像可以通过采集设备在与像平面平行的平 面内绕着光轴旋转获得，从图像序列中任取一幅作为参考图像：
[0011] 步骤（11)，对图像序列进行降噪等预处理。
[0012] 本发明中，优选地，所述步骤二包括以下步骤：
[0013] 步骤（21)，图像金字塔是一系列以金字塔形状排列的分辨率逐渐降低的图像集 合。计算图像金字塔中相邻尺度图像的差分，得到高斯差分尺度空间。每一幅高斯差分图 像的一个像素点，将其与它所在图像以及它所在图像上下层邻近的像素点比较，判断其是 否为候选特征点。
[0014] 步骤（22)，通过拟合三维二次函数以精确确定特征点的位置和尺度，同时去除低 对比度的特征点和不稳定的边缘响应点；
[0015] 步骤（23)，为每个特征点计算一个方向，利用特征点邻域像素的梯度方向分布特 性为每个特征点指定方向参数，使算子具备旋转不变性；
[0016] 步骤（24)，将坐标轴旋转为特征点方向，对特征点周围图像区域分块，计算块内梯 度直方图，生成具有独特性的向量；
[0017] 步骤（25)，计算参考图像和其余图像序列中各特征点的特征向量间的欧式距离， 根据欧式距离判定两幅图像中的特征点是否匹配。
[0018] 本发明中，优选地，所述步骤三包括以下步骤：
[0019] 步骤（31)，随机抽取部分匹配点对，估计参数模型，使用随机抽样一致性算法，消 除错误的匹配点对；
[0020] 步骤（32)，利用最小二乘法计算参考图像与其余图像之间的映射关系；
[0021] 本发明中，优选地，所述步骤四包括以下步骤：
[0022] 步骤（41)，确定观测模型，假定像平面不同极轴方向图像序列的像素是由对应的 一组高分辨率图像像素加权得到的；
[0023] 步骤（42)，以参考图像的插值结果作为初值，结合梯度法求解MP算子目标函数， 进行迭代计算获得高分辨图像。
[0024] 本发明的原理是根据采集的像平面不同极轴方向的图像序列，首先任意选择一副 图像作为参考图像，对图像序列进行预处理。其次，检测尺度空间极值点、确定特征点的位 置和尺度、为每个特征点分配方向、用一个特征向量描述特征点。然后根据参考图像和其余 图像之间特征点的特征向量之间的欧式距离判断是否匹配。使用随机抽样一致性算法，除 去误匹配的点，并计算参考图像与其余图像的映射关系。最后，使用最大后验概率方法进行 超分辨率重建。
[0025] 有益效果：本发明通过软件方法进行图像处理，在对像平面不同极轴方向图像序 列进行采集后，即可快速准确重建出分辨率较高的目标图像。本发明在航拍等远距离成像 中有广泛的应用前景。
【附图说明】
[0026] 下面结合附图和【具体实施方式】对本发明做更进一步的具体说明，本发明的上述和 /或其他方面的优点将会变得更加清楚。
[0027] 图1是本发明产生的DOG空间示意图。
[0028] 图2是本发明尺度空间下极值点所需要比较的点的示意图。
[0029] 图3是本发明邻域梯度方向图。
[0030] 图4是本发明特征点特征向量示意图。
[0031] 图5是本发明方法简化流程图。
【具体实施方式】：
[0032] 本发明，核心思路是利用尺度不变特征变换计算参考图像和其余图像的匹配点 对，使用随机抽样一致性算法消除错误匹配点对，并计算参考图像与其余未选定图像之间 的映射关系，最后使用最大后验概率方法进行超分辨率重建。
[0033] 如图5所示，本发明公开了像平面不同极轴方向图像序列进行超分辨率重建的方 法，包括以下步骤：
[0034] 步骤一，通过改变采集设备在与像平面平行的平面内旋转获得极轴方向不同的图 像序列，并从中任意选择一副图像作为参考图像。在进行分辨率重建之前，对所有图像进行 去噪等预处理。
[0035] 步骤二，利用尺度不变特征变换算法计算参考图像与其余图像的匹配点对：尺度 空间极值检测，进行特征点定位，为每个特征点分配方向、用一个特征向量描述特征点，根 据参考图像和其余图像之间特征点的特征向量之间的欧式距离判断是否匹配；
[0036] 所述步骤二包括以下步骤：步骤21，一副二维图像的尺度空间定义为：
[0037] L(x，y，〇 ) = G(x，y，〇 )*1 (X，y)， (I)
[0038] 其中，
【主权项】
1.像平面不同极轴方向图像序列进行超分辨率重建的方法，其特征在于，包括以下步 骤： 步骤一，拍摄像平面相同但极轴方向不同的图像序列，从中选出一幅作为参考图像，对 图像序列进彳丁预处理； 步骤二，利用尺度不变特征变换算法计算参考图像与其余图像的匹配点对； 步骤三，使用随机抽样一致性算法消除错误匹配点对，并利用最小二乘法计算参考图 像与其余未选定图像之间的映射关系； 步骤四，使用最大后验概率方法进行超分辨率重建； 所述步骤一包括以下步骤： 步骤（11)，拍摄像平面相同但极轴方向不同的图像序列，任选一副图像作为参考图 像； 步骤（12)，对图像序列进行降噪等图像预处理； 所述步骤二包括以下步骤： 步骤（21)，尺度空间极值检测：搜索所有尺度上的图像位置。通过高斯微分函数检测 潜在的尺度、旋转不变的特征点； 步骤（22)，特征点定位：在每个候选的位置上，通过一个拟合精细的模型来确定位置 和尺度，依据稳定程度选择特征点； 步骤（23)，方向确定：基于图像局部的梯度方向，为每个特征点分配方向； 步骤（24)，特征点描述：对特征点周围图像区域分块，计算块内梯度直方图，生成具有 独特性的向量； 步骤（25)特征点匹配：计算参考图像和其余图像序列中个特征点的特征向量间的欧 式距离，根据欧式距离判定两幅图像之间的特征点是否匹配； 所述步骤三包括以下步骤： 步骤（31)，随机抽取部分匹配点对，估计参数模型，使用随机抽样一致性算法，消除错 误的匹配点对； 步骤（32)，利用最小二乘法计算参考图像与其余图像之间的映射关系； 所述步骤四包括以下步骤： 步骤（41)，确定观测模型，假定像平面不同极轴方向图像序列的像素是由一组对应的 高分辨率图像像素加权得到的； 步骤（42)，以参考图像的插值结果作为初值，结合梯度法求解MP算子目标函数，确定 最优步长，进行迭代计算，获得高分辨图像。
【专利摘要】本发明公开了像平面不同极轴方向图像序列进行超分辨率重建的方法，包括以下步骤：步骤一，拍摄一组焦距相同极轴方向不同的低分辨率图像序列，从中选定一副图像作为参考图像，并对图像序列进行预处理；步骤二，利用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)算法获得参考图像与其余图像之间的匹配点对；步骤三，使用随机抽样一致性算法消除错误匹配点，并利用最小二乘法计算参考图像与其余未选定图像之间的映射关系；步骤四，使用最大后验概率方法(Maximum a Posteriori，MAP)进行超分辨率重建。本发明利用亚像素精度图像配准法，对低分辨率的像平面不同极轴方向图像序列进行重建，能够提高目标图像的分辨率，具有一定的创新性。
【IPC分类】G06T3-40
【公开号】CN104700359
【申请号】CN201510129940
【发明人】袁杰, 储哲琦, 陈劲松, 沈庆宏, 都思丹
【申请人】南京大学
【公开日】2015年6月10日
【申请日】2015年3月20日