专利名称：一种基于非局部性的超分辨率重建方法和设备的制作方法
技术领域：
本发明涉及数字图像增强技术领域，特别涉及一种基于非局部性的超分辨率重建方法和设备。
背景技术：
基于多帧的超分辨率重建的目标是把一系列的低分辨率图像融合成一幅高分辨率图像。由于存在亚像素的偏移，低分辨图像间包含了一些互补的信息，如果知道了它们之间的偏移，可以把这些低分辨率图像融合起来并去除锯齿，从而生成更高分辨率的图像。在传统的多帧融合算法中，必须要知道各个低分辨率图像间的偏移。因此，精确的运动估计在传统的多帧融合中起着决定性的作用，如果运动估计错误会导致严重的失真。为规避运动估计，出现了一种不需要运动估计的超分辨率方法。该算法通过度量块之间的相似度，加权计算出中心像素的值。但该算法仅考虑了平动，而在自然视频中往往包含着复杂的运动，甚至在一帧内，某些纹理也会存在旋转，从而减少了非局部算法能够找到的相似块数量。在非局部超分辨率重建或是非局部去噪算法的基础上，有两类改进被提出:自适应参数选择和基于不变性的相似度度量。自适应的参数选择通过讨论块的大小以及搜索窗口的大小与非局部方法性能间的关系，自适应地选择这些参数。但是该算法的移动窗口策略是基于像素的并且很容易陷入局部最优解，从而降低了重建后图像的清晰度。综上所述，目前进行基于非局部性的超分辨率重建后的图像的清晰度比较低。
发明内容
本发明实施例提供的一种基于非局部性的超分辨率重建方法和设备，用以解决现有技术中存在的进行基于非局部性的超分辨率重建后的图像的清晰度比较低的问题。本发明实施例提供的一种基于非局部性的超分辨率重建方法，包括:将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；针对每帧图像中的每个宏块做如下操作:确定当前宏块在其他每一帧图像中的搜索窗口的位置；以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块； 针对每帧图像中的每个像素块做如下操作:根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。较佳地，确定当前宏块在其他每一帧图像中的搜索窗口的位置包括:
分别确定当前宏块到其他每一帧图像的运动向量；
针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。较佳地，确定搜索窗口中的每个像素块与当前像素块的相似度值包括:分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。较佳地，确定当前像素块优化后的中心像素值包括:针对一个像素块，分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。本发明实施例提供的一种基于非局部性的超分辨率重建设备，包括:第一处理模块，用于将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；位置确定模块，用于针对每帧图像中的每个宏块做如下操作:确定当前宏块在其他每一帧图像中的搜索窗口的位置；第二处理模块，用于以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；相似度确定模块，用于针对每帧图像中的每个像素块做如下操作:根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；像素值确定模块，用于根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。较佳地，所述位置确定模块分别确定当前宏块到其他每一帧图像的运动向量；针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。较佳地，所述相似度确定模块分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。较佳地，针对一个像素块，所述像素值确定模块分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。由于根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值，并根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值，从而提高了进行基于非局部性的超分辨率重建后的图像的清晰度；进一步消除了非局部超分辨率算法的块效应。
图1为本发明实施例基于非局部性的超分辨率重建方法的流程示意图；图2为本发明实施例基于非局部性的超分辨率重建设备的结构示意图。
具体实施例方式本发明实施例确定当前宏块在其他每一帧图像中的搜索窗口的位置；以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。由于根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值，并根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值，从而提高了进行基于非局部性的超分辨率重建后的图像的清晰度。下面结合说明书附图对本发明实施例作进一步详细描述。如图1所示，本发明实施例基于非局部性的超分辨率重建方法包括下列步骤:步骤101、将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块；步骤102、针对每帧图像中的每个宏块做如下操作:确定当前宏块在其他每一帧图像中的搜索窗口的位置；步骤103、以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块；步骤104、针对每帧图像中的每个像素块做如下操作:根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；步骤105、根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。较佳地，步骤101中，首先采用空域插值方法，把所有需要进行重建的每一帧低分辨率图像上插到需要的高分辨率。比如需要进行重建的低分辨率图像是640X320，需要的高分辨率是800 X 600，则采用空域插值方法，将640 X 320的图像上插成800 X 600。将每帧图像划分成多个大小相等的宏块，比如划分成16 X 16个宏块。具体划分成多少个宏块可以根据需要或经验进行设定。然后需要确定每一个宏块在其他每一帧图像中的搜索窗口的位置。在实施中，每个宏块的处理方式都相同，下面针对一个宏块进行举例说明，为了与其他宏块进行区分，将正在进行处理的宏块称为当前宏块。较佳地，步骤102中，采用基于宏块的搜索，重定位当前宏块在其它图像中的搜索窗口位置。具体的，分别确定当前宏块到其他每一帧图像的运动向量；针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。在实施中，可以根据公式一或公式二，确定当前宏块到其他每一帧图像的运动向量。
权利要求
1.一种基于非局部性的超分辨率重建方法，其特征在于，该方法包括: 将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块； 针对每帧图像中的每个宏块做如下操作:确定当前宏块在其他每一帧图像中的搜索窗口的位置； 以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块； 针对每帧图像中的每个像素块做如下操作:根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值； 根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。
2.如权利要求1所述的方法，其特征在于，确定当前宏块在其他每一帧图像中的搜索窗口的位置包括: 分别确定当前宏块到其他每一帧图像的运动向量； 针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。
3.如权利要求2所述的方法，其特征在于，根据下列公式确定当前宏块到其他每一帧图像的运动向量:
4.如权利要求3所述的方法，其特征在于，根据下列步骤确定Ai: 确定当前宏块在第i_l帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到Ai ； 根据下列步骤确定Aj: 确定当前宏块在第j+Ι帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到Aj。
5.如权利要求4所述的方法，其特征在于，确定当前宏块在第1-Ι帧图像上所对应的宏块的初始预测向量包括: 若第1-Ι帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量； 若第1-Ι帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量；若第1-Ι帧图像不是当前宏块所在的图像，将前一帧图像上的宏块的运动向量作为宏块的初始预测向量； 确定当前宏块在第j+Ι帧图像上所对应的宏块的初始预测向量包括: 若第j+Ι帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量； 若第j+Ι帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量； 若第j+Ι帧图像不是当前宏块所在的图像，将后一帧图像上的运动向量作为宏块的初始预测向量。
6.如权利要求1所述的方法，其特征在于，确定搜索窗口中的每个像素块与当前像素块的相似度值包括: 分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子; 根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值； 根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。
7.如权利要求6所述的方法，其特征在于，根据下列公式确定归一化的相似度总值:
8.如权利要求7所述的方法，其特征在于，所述局部结构描述子对应的权值是根据下列公式确定的:
9.如权利要求1 8任一所述的方法，其特征在于，确定当前像素块优化后的中心像素值包括: 针对一个像素块，分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。
10.一种基于非局部性的超分辨率重建设备，其特征在于，该设备包括: 第一处理模块，用于将需要进行重建的每一帧图像进行插值处理，将每帧图像划分成多个大小相同的宏块； 位置确定模块，用于针对每帧图像中的每个宏块做如下操作:确定当前宏块在其他每一帧图像中的搜索窗口的位置； 第二处理模块，用于以每帧图像上的每个像素点为圆心，设定的距离为半径，确定每个像素点对应的像素块； 相似度确定模块，用于针对每帧图像中的每个像素块做如下操作:根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值； 像素值确定模块，用于根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。
11.如权利 要求10所述的设备，其特征在于，所述位置确定模块具体用于: 分别确定当前宏块到其他每一帧图像的运动向量； 针对一帧图像，将确定的当前宏块到该帧图像的运动向量作为当前宏块在该帧图像中的搜索窗口的运动向量，并重定位搜索窗口的位置。
12.如权利要求11所述的设备，其特征在于，所述位置确定模块根据下列公式确定当前宏块到其他每一帧图像的运动向量:
13.如权利要求12所述的设备，其特征在于，所述位置确定模块具体用于: 确定当前宏块在第i_l帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到Ai ； 确定当前宏块在第j+Ι帧图像上所对应的宏块的初始预测向量，根据确定的初始预测向量，进行自适应十字模式搜索得到Aj。
14.如权利要求13所述的设备，其特征在于，所述位置确定模块具体用于: 若第1-Ι帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量； 若第1-Ι帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量； 若第1-1帧图像不是当前宏块所在的图像，将前一帧图像上的宏块的运动向量作为宏块的初始预测向量； 若第j+Ι帧图像是当前宏块所在的图像，且当前宏块位于图像最左侧，则宏块的初始预测向量是零向量； 若第j+Ι帧图像是当前宏块所在的图像，且当前宏块不位于图像最左侧，则将左边邻近的宏块的运动向量作为宏块的初始预测向量； 若第j+Ι帧图像不是当前宏块所在的图像，将后一帧图像上的运动向量作为宏块的初始预测向量。
15.如权利要求10所述的设备，其特征在于，所述相似度确定模块具体用于: 分别确定搜索窗口中每个像素块和当前像素块的局部结构描述子以及局部亮度描述子；根据确定的局部结构描述子以及局部亮度描述子，确定归一化的相似度总值；根据确定的局部结构描述子、局部亮度描述子以及归一化的相似度总值，分别确定搜索窗口中的每个像素块与当前像素块的相似度值。
16.如权利要求10 15任一所述的设备，其特征在于，所述像素值确定模块具体用于: 针对一个像素块，分别将每个像素块与当前像素块的相似度值作为权值，将每个像素块优化前的中心像素值加权后取平均，得到当前像素块优化后的中心像素值。
全文摘要
本发明涉及数字图像增强技术领域，特别涉及一种基于非局部性的超分辨率重建方法和设备，用以解决现有技术中存在的进行基于非局部性的超分辨率重建后的图像的清晰度比较低的问题。本发明实施例的方法包括确定当前宏块在其他每一帧图像中的搜索窗口的位置；根据当前像素块对应的像素点所在的宏块在每一帧图像中的搜索窗口的位置，确定当前像素块在每一帧图像的搜索窗口，以及分别确定搜索窗口中的每个像素块与当前像素块的相似度值；根据每个像素块的相似度值，分别确定每个像素块优化后的中心像素值。采用本发明实施例能够提高进行基于非局部性的超分辨率重建后的图像的清晰度。
文档编号H04N7/01GK103167218SQ20111041831
公开日2013年6月19日 申请日期2011年12月14日 优先权日2011年12月14日
发明者刘家瑛, 卓越, 任杰, 郭宗明 申请人:北京大学, 北大方正集团有限公司, 北京北大方正电子有限公司