基于surf匹配和边缘检测的凸集投影图像重构方法
【专利摘要】本发明公开了一种基于SURF匹配和边缘检测的凸集投影(POCS)图像重构方法。针对传统的POCS超分辨率图像重构算法出现的边缘模糊及匹配时的局限性问题，首先利用二阶梯度检测出像素周围0°、45°、90°、135°四个边缘。在构造参考帧时采用基于梯度的插值算法，沿边缘方向进行线性插值，沿非边缘方向进行基于一阶梯度的权重插值。在运动估计时，采用SURF匹配算法，提高匹配的鲁棒性和实时性。在修正参考帧时，分别定义中心在四个边缘方向的点扩散函数(PSF)。利用完全参考图像质量评价和无参考图像质量评价分别对仿真实验和实物实验进行评价。本发明明显的改善了重构后图像的质量并且提高了匹配的鲁棒性和实时性。
【专利说明】基于SURF匹配和边缘检测的凸集投影图像重构方法
【技术领域】
[0001] 本发明涉及了一种基于SURF匹配和边缘检测的凸集投影图像重构方法，它是一 种在利用现有成像设备前提下可通过软件算法获取令人满意的高分辨率图像的方法，在 航拍照片、医学图像处理、卫星遥感成像等领域具有广泛的应用，属于图像处理增强技术领 域。
【背景技术】
[0002] 现今数码相机日益普及，衡量其性能的一个重要指标就是分辨率，获取高分辨率 的图像具有非常重要的价值。高分辨率的X-光片，CT图像，MRI图像能让医生准确的定位 病变位置，提高诊断的准确性；高分辨率的卫星云图能提高气象预报的准确度；高分辨率 的资源卫星照片，能提供准确的植被和沙漠等的分布情况，为政府决策提供支持。一般而 言，成像系统获取图像的过程，也是图像降质的过程。图像的获取过程包括：运动部分包含 景物和成像系统之间的运动，以及在多次成像时帧与帧之间的运动；模糊部分包含光学镜 头的非线性作用所产生的失真，以及感光单元的积分作用所产生的模糊；实际景物具有丰 富的细节，即其空域频率较高，而感光阵列因制造工艺的原因，其空域采样频率有限，因而 产生降采样现象；在整个成像的过程中都伴随着噪声的影响。因此，在获取图像的过程中由 于受到外界环境及成像系统的限制，形成了变形、模糊、有噪的低分辨率图像，难以满足实 际需要，于是超分辨率重构技术应运而生。
[0003] 超分辨率图像重构是指对多幅存在全局或局部运动、信息互补重叠的低分辨率 图像进行处理，以获得高分辨率图像的过程。目前超分辨率图像重构算法可以大致分为 两个方向：一是空间域方法；二是频率域方法。频率域方法研究开展的比较早，1984年， Tsai和Huang最早提出频率域方法，但是由于它自身的局限性，目前应用的比较多的是空 间域的方法。空间域方法主要包括非均匀空域样本内插法、迭代反投影方法、凸集投影方法 P0CS(projectionontoconvexset)、最大后验概率估计法MAP(maximumaposteriori)、 混合MAP/P0CS方法以及自适应滤波方法等。POCS算法简单有效，对先验知识的利用最直 接，是目前解决超分辨率图像重构的一种通行算法。
[0004] POCS算法是由低分辨率观测序列以及由凸约束集约束加入的一些先验知识来对 场景进行估计，寻找真实高分辨率图像的最优估计，从而得到高分辨率图像。POCS超分辨率 图像重构过程分为构造参考帧，运动估计和修正参考帧。POCS算法对初始高分辨率图像估 计值的选取严重依赖，直接影响后续重构结果。传统插值算法得到的初始估计值没有考虑 边缘模糊的影响。在初始值确定以后，代入传统POCS算法进行修正，会产生一定的边缘振 荡效应，直观表现就是图像出现阴影部分。运动估计是进行图像重构的一个重要步骤，通 过图像匹配进行运动估计，获取几何映射矩阵的具体数值。映射矩阵的准确获取直接影响 图像重构的结果。
【发明内容】
[0005] 本发明针对用传统POCS算法重构高分辨率图像时出现的边缘模糊及匹配时的局 限性问题提出了改进。总流程图如图1所示，包括：
[0006] 1、利用梯度插值法构造参考帧
[0007] 首先通过计算中心像素的二阶梯度值来确定当前邻域内是否存在边缘，然后根据 边缘方向采用基于一阶梯度的权重插值方法。
[0008]以低分辨率图像中一点ref(i，j)为例，其八邻域内的四个方向0°，45°，90°， 135°通过二阶梯度表示，其计算公式分别为：
[0009] (I1 =abs((ref(i,j-1)+ref(i,j+1)) /2~ref(i,j))
[0010] d2 =abs((ref(i~l,j+1)+ref(i+1,j-1) /2)-ref(i,j))
[0011] d3 =abs((ref(i~l,j)+ref(i+1,j)) /2~ref(i,j))
[0012] d4 =abs((ref(i~l,j~l)+ref(i+1,j+1)) /2~ref(i,j))
[0013] 计算整幅图像像素邻域内四个方向的二阶梯度值，然后找出每个像素二阶梯度最 大值Cli(I<i< 4)与最小值Clj(I<j< 4)的差值，对整幅图像像素得到的差值求和取平 均作为阈值S。当像素点二阶梯度最大值与最小值的差值小于阈值S时，表示该邻域内没 有边缘，否则二阶梯度最小值表示的方向代表边缘方向。
[0014] 图像通过计算确定边缘之后，沿边缘方向进行线性插值，非边缘方向首先计算一 阶梯度检测边缘的强弱，进而估计权重因子进行带权线性插值。ref为原低分辨率图像中的 一点，upref为对应的高分图像中的点。
[0015]
【权利要求】
1. POCS算法是由低分辨率观测序列以及由凸约束集约束加入的一些先验知识来对场 景进行估计，寻找真实高分辨率图像的最优估计，从而得到高分辨率图像。基于SURF匹配 和边缘检测的凸集投影图像重构方法，其特征在于具体实施步骤如下： A构造参考帧：选取低分辨率观测帧序列中的一帧经基于梯度插值得到高分辨率图像 的初始估计作为参考巾贞； B运动估计：以参考帧为基准，与观测帧序列中其他所有的低分辨率图像分别进行SURF图像配准，获取位置变化矢量； C修正参考帧：利用仿射变换关系将观测帧序列中每个像素映射到当前估计的高分辨 率图像中的相应位置，确定不同边缘处的点扩散函数h(X，y)，并获取h(X，y)作用范围内的 像素灰度值。利用凸约束集对当前高分辨率图像估计中的像素灰度值进行修正。
2. 根据权利要求书1所述的基于SURF匹配和边缘检测的凸集投影图像重构方法，其特 征在于所述方法步骤A中的构造参考帧是利用梯度插值法得到的，具体实施步骤如下： (1) 首先通过计算中心像素的二阶梯度来确定当前邻域内是否存在边缘 以低分辨率图像中一点ref(i，j)为例，其八邻域内的四个方向0°，45°，90°，135° 通过二阶梯度表示，其计算公式分别为： (I1 =abs((ref(i,j-l)+ref(i,j+1))/2-ref(i,j))d2 =abs((ref(i-1,j+1)+ref(i+1,j-1))/2~ref(i,j)) d3 =abs((ref(i-1,j)+ref(i+1,j))/2-ref(i,j)) d4 =abs((ref(i-1,j-1)+ref(i+1,j+1))/2~ref(i,j)) 计算整幅图像像素邻域内四个方向的二阶梯度值，然后找出每个像素二阶梯度最大值φ(1彡i彡4)与最小值+ (I彡j彡4)的差值，对整幅图像像素得到的差值求和取平均作 为阈值S。当像素点二阶梯度最大值与最小值的差值小于阈值δ时，表示该邻域内没有边 缘，否则二阶梯度最小值表示的方向代表边缘方向。 (2) 根据边缘分布进行插值 图像通过计算确定边缘之后，沿边缘方向进行线性插值，非边缘方向首先计算一阶梯 度检测边缘的强弱，进而估计权重因子进行带权线性插值。ref为原始低分辨率图像中的一 点，upref为对应的插值后的高分辨率图像中的点的表示。
ref(i,j)映射到upref(2i-l，2j-l)，然后对该点的右upref(2i-l，2j)、下upref(2i, 2j-Ι)、右下upref(2i, 2j)进行插值。在水平方向上利用水平梯度信息gh，垂直 方向上利用垂直梯度信息gv，对角线方向利用相邻四个点的信息。 gh =abs(ref(i,j)-ref(i,j+1)) gv =abs(ref(i,j)-ref(i+1,j)) upref(2i-l, 2j) =min(ref(i,j),ref(i,j+1)) +gh*k upref(2i, 2j-1) =min(ref(i,j),ref(i+1,j)) +gv*k upref(2i, 2j) =(min(ref(i,j),ref(i+1,j)) +gv*k+min(ref(i,j+1),ref(i+1,j+1)) +gv+1*k) /2 k为带权调整因子，对于灰度变化剧烈的边缘采取特殊处理，使插入的新值尽量靠近灰 度值大的地方（0. 5 <k< 1)，减小对边缘处灰度变化率的影响，保持图像中的边缘特征。
3. 根据权利要求书1所述的基于SURF匹配和边缘检测的凸集投影图像重构方法，其特 征在于所述方法步骤B中的运动估计是通过SURF匹配实现的。具体实施步骤如下： (1)特征兴趣点的检测；（2)特征兴趣点的描述；（3)特征兴趣点的匹配；(4)特征兴趣 点的剔除。
4. 根据权利要求书1所述的基于SURF匹配和边缘检测的凸集投影图像重构方法，其特 征在于所述方法步骤C中的修正参考帧是方向自适应对应不同的PSF来修正实现的，具体 实施步骤如下： (1) 首先仍然利用二阶梯度对当前估计的高分辨率图像进行边缘检测； (2) 针对获取的4个方向选取如下公式所示的不同PSF来修正。
(3) 利用凸约束集中的数据一致性和灰度值有限性对当前高分辨率图像估计中的像素 灰度值进行约束修正。
【文档编号】G06T5/00GK104318518SQ201410499663
【公开日】2015年1月28日 申请日期:2014年9月26日 优先权日:2014年9月26日
【发明者】王睿, 梁玉 申请人:北京航空航天大学