一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
【专利摘要】本发明涉及一种基于多区域尺度放缩补偿的非局部超分辨率重建方法，根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算法，同时采用一种新的可以补偿尺度差异的方式，最终提升基于多帧融合的超分辨率重建方法的性能。本发明充分考虑了由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相似信息不能很好地匹配的问题。
【专利说明】一种基于多区域尺度放缩补偿的非局部超分辨率重建方法
【技术领域】
[0001] 本发明属于图像超分辨率重建领域，具体涉及一种基于不同区域的多尺度变化的 放缩尺度补偿的非局部平均超分辨率重建方法。可以灵活应用于高端多媒体系统的视频信 号格式转换、视频监控感兴趣区域放大以及卫星、遥感等领域。
【背景技术】
[0002] 图像的超分辨率重建就是克服成像设备或技术的限制，从单帧低分辨率图像或低 分辨率图像序列重建一个高分辨率图像。基于重建的超分辨率旨在从多个低分辨率图像重 建一个高分辨率图像。观察到这些低分辨率图像是模糊且有噪声的，因此超分辨率重建不 仅仅需要提高图片的分辨率，还需要恢复图片的质量。
[0003] 基于多帧的超分辨率重建的关键是把一系列的低分辨率图像融合成一幅高分辨 率图像。其有效性基于多个相邻帧的低分辨率图像中包含相互补充的信息的假设。利用这 些信息，我们可以生成一副较高分辨率的图像。多帧融合技术的关键在于从邻域内得到的 互补信息的精确度与质量。传统的多帧融合算法往往追求更精确的运动估计以提高获取信 息的位置精确度。但存在一些不可避免区域的无法进行精确估计(如因遮挡而使得部分区 域在某一帧中不存在)，这将会大大损害复原图像的质量。
[0004] 许多研究人员专注于提高运动估计，以得到更准确的位置的冗余信息。正确的运 动估计直接保证了精度，但因为场景的复杂性，也有不可避免的运动估计错误。Potter提 出了一个NLMSR方法（M.Potter,M.Elad,H.Takeda,andP.Milanfar,"Generalizingthe nonlocal-meanstosuper-resolutionreconstruction,，'IEEETransactionsonImage Processing,vol. 19,no. 1，pp. 36 - 51，January2009.)，这种算法估计邻域内图像块的相似 性反映可能的运动估计的结果，最终的运动估计结果则通过许多可能的运动结果加权平均 得到从而避免严重的错误。之后基于这种方法也有了很多的相关的延伸跟拓展，但是并没 有考虑到由于镜头缩放、物体运动后图像整体或其中的一部分的尺度发生了变化而导致相 似信息不能很好地匹配的问题。
[0005] 针对上述问题和相关方法的缺陷，我们提出了一个基于多区域尺度放缩补偿的非 局部超分辨率重建方法。
【发明内容】
[0006] 基于上述分析，本发明的目的在于提出一种基于多区域尺度放缩补偿的非局部超 分辨率重建方法，根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算 法，同时采用一种新的可以补偿尺度差异的方式，最终提升基于多帧融合的超分辨率重建 方法的性能。
[0007] 为实现以上目的，本发明采用的技术方案包括以下步骤：
[0008] -种基于多区域尺度放缩补偿的非局部超分辨率重建方法，其步骤包括 ：
[0009] 1)对输入序列中的每一帧采用空域差值法，把原始低分辨率图像上插到设定分辨 率的高分辨率图像，得到高分辨率图像；
[0010] 2)对输入序列中的每一帧对应的高分辨率图像根据SIFT算法在参考帧和待修复 帧提取得到特征点以及对应的相邻帧的特征点，得到特征对应对；
[0011] 3)采用加权卢卡斯金算法对所述特征对应对进行计算得到局部参数模型；
[0012] 4)根据所述局部参数模型的边缘信息为每个局部参数模型提取支持区域，得到每 张图像的支持区域划分图；
[0013] 5)对于输入序列的任意帧中根据所述支持区域划分图划分的不同区域，根据SIFT 算法计算得到待修复帧和参考帧中每个域中相邻帧的对应区域的尺度差异；
[0014] 6)对于输入序列中的所述参考帧图像以及对应高分辨率图像的每一个像素块，根 据所述尺度差异将参考帧的块调整至待修复帧的块的尺度；
[0015] 7)计算所述参考帧图像中的每个像素点所对应的块与相邻帧或同帧周围参考块 的相似度；根据该相似度把每一个块的中心像素值加权平均，得到所述参考块的中心像素 值，所述中心像素值即为该帧的对应像素点的像素值；根据该帧所有像素点的像素值得到 该帧对应的高分辨率图像。
[0016] 更进一步，还包括：对每一帧图像重复所述步骤4) -6)，得到连续帧的像素值，根 据每帧图像的像素值得到整个视频串的高分辨率图像。
[0017] 更进一步，所述空域差值法采用如下的任意一种：双线性插值或者双三次线性插 值或者最临近像素插值。
[0018] 更进一步，用颜色进行区分所述每张图像的的支持区域划分图，其中相同颜色代 表所述区域内所有像素点共享相同仿射参数，不相同颜色则表示在该两个区域内的像素点 的放射参数不同。
[0019] 更进一步，所述边缘信息采用Canny探测器检测。
[0020] 更进一步，根据边缘信息和置信图为每一对特征点提取所述支持区域。
[0021 ] 更进一步，使用一个球形而不是单个像素来执行置信图中的运动区域搜索同时对 于提取的运动区域以一个结构元素对象为参数先腐蚀后膨胀，在不破坏运动边界的条件下 填补运动领域的洞得到最终的划分图。
[0022] 更进一步，将所述每一帧按照X，Y两个方向分别上插到原先的设定大小的放大倍 数。
[0023] 更进一步，对所述特征对应对使用非局部方法生产掩膜，根据窗口内的每个像素 与中心像素的相似性得到权重。
[0024] 更进一步，采用加权的仿射模型描述所述局部参数模型中的局部光流得到局部仿 射参数。
[0025] 本发明的有益效果：
[0026] 本发明根据运动估计的图像区域划分算法和计算图像不同区域的尺度差异的算 法，同时采用一种新的可以补偿尺度差异的方式，最终提升基于多帧融合的超分辨率重建 方法的性能。本发明考虑到了由于镜头缩放、物体运动后图像整体或其中的一部分的尺 度发生了变化而导致相似信息的情况，计算尺度差异时采用Scale-InvariantFeature Transform(SIFT)算子来提取特征点并加以利用来提取尺度信息。在度量块相似度时，根据 尺度信息先对块进行下采上插的插值调整，从而进一步提升了相似度计算的准确性。
【专利附图】
【附图说明】
[0027] 图1为本发明的基于多区域尺度放缩补偿的非局部超分辨率重建方法流程示意 图。
【具体实施方式】
[0028] 下面以视频序列中某一帧进行2倍放大的超分辨率重建问题为例，对本发明的详 细方法流程作进一步地描述：
[0029] 在本发明的【具体实施方式】中，可以按照如下方案实现本发明：
[0030] (1)对于输入序列中的每一帧，用空域插值方法，把原始的低分辨率图像上插到需 要的高分辨率图像；
[0031] (2)对于每一帧高分辨率图像检测特征点及其对应的相邻帧的高分辨率图像的特 征点，对每一对特征点利用加权卢卡斯金算法计算出局部参数模型；
[0032] (3)基于参数模型的边缘信息为每个局部参数模型提取支持区域，得到每张图像 的支持区域图并用颜色进行区分，其中相同颜色代表该区域内所有像素点共享相同的仿射 参数，不相同颜色表示在这两个区域内的像素点的放射参数不同；
[0033] (4)对于输入序列中的某一帧的不同区域，通过加权平均的算法，计算其与相邻帧 的对应区域的尺度差异；
[0034] (5)对于输入序列中该帧图像的每个像素块，将来自于相邻帧一定相邻区域的块 调整至待复原帧块的尺度；
[0035] (6)然后，计算该帧图像中的每个像素点所对应的块与相临帧或同帧周围参考块 的相似度；根据相似度，把每一个块的中心像素值加权平均，得到参考块的中心像素值；得 到的参考块的中心像素值就是超分辨率之后得到的这个点的像素值。
[0036] (7)对于每一帧图像的重复（4)到（6)步骤，从而最终实现了基于多帧融合的超分 辨率重建方案。
[0037] 以下结合结合附图对本发明的技术方案进行详细的说明，如图1所示是本发明的 基于多区域尺度放缩补偿的非局部超分辨率重建方法流程示意图。
[0038] 步骤（1)对于输入的视频序列，采用双线性插值或者双三次线性插值或者最临近 像素插值，把每一帧的X，Y两个方向分别上插到原先的两倍大小。
[0039] 步骤（2)使用SIFT在参考帧和待修复帧对应的高分辨率图像提取特征点，然后根 据SIFT匹配这些点，参考帧是其他相邻提供信息的帧。
[0040]步骤⑶使用非局部方法（EPotter,EElad,RTakeda,andP.Milanfar，"Generalizing thenonlocal-meanstosuper-resolutionreconstruction,，'IEEETransactionson ImageProcessing,vol. 19,no. 1，pp. 36 - 51，January2009.)生产掩膜，对于窗口内的每个 像素（i，j)，它的权重weight(i，j，k，l)由其与中心像素（k，l)的相似性来衡量。
【权利要求】
1. 一种基于多区域尺度放缩补偿的非局部超分辨率重建方法，其步骤包括： 1) 对输入序列中的每一帧采用空域差值法，把原始低分辨率图像上插到设定分辨率的 高分辨率图像，得到高分辨率图像； 2) 对输入序列中的每一帧对应的高分辨率图像根据SIFT算法在参考帧和待修复帧提 取得到特征点以及对应的相邻帧的特征点，得到特征对应对； 3) 采用加权卢卡斯金算法对所述特征对应对进行计算得到局部参数模型； 4) 根据所述局部参数模型的边缘信息为每个局部参数模型提取支持区域，得到每张图 像的支持区域划分图； 5) 对于输入序列的任意帧中根据所述支持区域划分图划分的不同区域，根据SIFT算 法计算得到待修复帧和参考帧中每个区域和相邻帧的对应区域的尺度差异； 6) 对于输入序列中的所述参考帧图像以及对应高分辨率图像的每一个像素块，根据所 述尺度差异将参考帧的块调整至待修复帧的块的尺度； 7) 计算所述参考帧图像中的每个像素点所对应的块与相邻帧或同帧周围参考块的相 似度；根据该相似度把每一个块的中心像素值加权平均，得到所述参考块的中心像素值，所 述中心像素值即为该帧的对应像素点的像素值；根据该帧所有像素点的像素值得到该帧对 应的高分辨率图像。
2. 如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征 在于，还包括：对每一帧图像重复所述步骤4)-6)，得到连续帧的像素值，根据每帧图像的 像素值得到整个视频串的高分辨率图像。
3. 如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征 在于，所述空域差值法采用如下的任意一种：双线性插值或者双三次线性插值或者最临近 像素插值。
4. 如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特 征在于，用颜色进行区分所述每张图像的支持区域划分图，其中相同颜色代表所述区域内 所有像素点共享相同仿射参数，不相同颜色则表示在该两个区域内的像素点的放射参数不 同。
5. 如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征 在于，所述边缘信息采用Canny探测器检测。
6. 如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征 在于，根据边缘信息和置信图为每一对特征点提取所述支持区域。
7. 如权利要求6所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征 在于，使用一个球形而不是单个像素来执行置信图中的运动区域搜索，同时对于提取的运 动区域以一个结构元素对象为参数先腐蚀后膨胀，在不破坏运动边界的条件下填补运动领 域的洞得到最终的划分图。
8. 如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征 在于，将所述每一帧按照X，Y两个方向分别上插到原先的设定大小的放大倍数。
9. 如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特征 在于，对所述特征对应对使用非局部方法生产掩膜，根据窗口内的每个像素与中心像素的 相似性得到权重。
10.如权利要求1所述的基于多区域尺度放缩补偿的非局部超分辨率重建方法，其特 征在于，采用加权的仿射模型描述所述局部参数模型中的局部光流得到局部仿射参数。
【文档编号】G06T5/50GK104376544SQ201310356709
【公开日】2015年2月25日 申请日期:2013年8月15日 优先权日:2013年8月15日
【发明者】杨撒博雅, 郭琦琨, 白蔚, 刘家瑛 申请人:北京大学