图像超分辨率放大的方法和装置制造方法
【专利摘要】本发明提供一种图像超分辨率放大的方法和装置。所述方法包括：根据倍率，分别获得原始图像的放大图像、低频图像和高频图像；将放大图像划分为多个预定大小的像素块；针对所述每个像素块执行以下操作：在低频图像的预定大小的局部区域内，按预定步长搜索与放大图像中的像素块最相似的像素块，将高频图像中的与在低频图像中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像中的像素块；输出放大图像中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像中的像素块最相似的像素块的步骤包括：使用加权块匹配准则来搜索与放大图像中的像素块最相似的像素块，其中，加权函数为具有中心下降特性的分布函数。
【专利说明】图像超分辨率放大的方法和装置
【技术领域】
[0001]本发明总体来说涉及图像处理领域，更具体地，涉及一种图像超分辨率放大的方法和装置。
【背景技术】
[0002]由于网络带宽和服务器存储空间的限制，通常会先对图像进行压缩。压缩后的图像极大地降低了处理图像时所需的带宽和存储空间，但是降级处理后的图像会有较为明显的质量损失(例如，模糊、方块和振铃)，而这会在用户观看图像时降低用户的感知体验。
[0003]近年来，由于高分辨率显示器越来越多地应用在个人计算机、电视以及移动计算装置上，所以需要对将要显示的图像进行相应的超分辨率放大。图像的超分辨率算法是指通过一系列的处理将低分辨率图像转变为高分辨率图像的图像处理过程。图像超分辨率算法在卫星成像、医学图像处理、虚拟现实和显微成像等方面有广泛的应用。
[0004]在现有技术中，根据处理图像的帧数将图像超分辨率算法分为多帧图像超分辨率算法和单帧图像超分辨率算法。多帧图像超分辨率算法对输入图像序列要求较高并且需要精准配对。此外，由于在使用多帧图像超分辨率算法时，需要对大量图像进行处理，所以比较耗时，无法满足实时性的要求。而单帧图像超分辨率算法只需要一帧图像，并且所需的高频信息可通过外部图像库或图像本身获得。但是通过外部图像库获得高频信息的单帧图像超分辨率算法需要经过训练来获得高频信息，这会增加算法的复杂度。根据图像超分辨率实现的具体方法可将图像超分辨率算法分为基于重建的算法和基于学习的算法。其中，基于重建的算法包括MAP、POCS, IBP、NLM等，基于学习的算法包括稀疏表示，流行嵌入，基于样例，块重复冗余等。
[0005]常见的图像超分辨率算法包括图像插值处理，图像插值处理是指通过对邻近像素点做加权平均来求得未知像素点的处理，其中，权值通常与像素点间的距离有关。常见的插值处理有最邻近插值、双线性插值和双立方插值等处理。但是图像插值处理视觉效果较差，存在较严重的锯齿和模糊现象，特别是在放大倍率较大时(放大倍数大于等于3)。而一些自适应插值技术如NEDI (New edge directed interpolation),其插值系数根据待插值像素点局部区域的特性做自适应调整，能够在一定程度上改善边缘插值效果，取得令人愉悦的效果，但这类方法只可对连续边缘的图像能够获得不错的效果，而对细小杂乱边缘的处理，显得人工痕迹过于明显，显得极不自然，局限性较大。
[0006]常见的图像超分辨率算法还可包括MAP算法、IBP算法和稀疏表示算法。其中，MAP算法和IBP算法均适用于单帧图像超分辨率算法，但效果均十分有限，相较于图像插值处理也没有突出的效果。而稀疏表示算法是基于学习的算法，效果较为明显，但依赖于外部高分辨率图像库，重建质量受外部库的影响，且重建过程需要进行特征提取、训练及匹配，十分耗时，难以实际应用。
[0007]因此，需要一种能够不借助于外部图像库来执行有效、自然的单帧图像超分辨率放大的方法和装置。
【发明内容】
[0008]提供本发明的目的在于至少解决了上述问题和/或缺点，并至少提供下述优点。
[0009]本发明的一方面提供了一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行局部自相似重建中使用基于加权的块匹配准则，从而重建的放大图像不会过于平滑，看起来更加自然。
[0010]本发明的另一方面提供了一种图像超分辨率放大的方法和装置，所述方法和装置通过在对图像进行放大之前对图像进行快速去噪处理，从而提高放大图像的质量。
[0011]本发明的另一方面提供了 一种图像超分辨率放大的方法和装置，所述方法和装置对局部自相似重建之后的放大图像进行快速IBP迭代修正，从而效果更好的放大图像。
[0012]根据本发明的一方面，提供一种图像超分辨率放大的方法，所述方法包括:(I)根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H ； (2)将放大图像U划分为多个预定大小的像素块；(3)针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；(4)输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，搜索与放大图像U中的像素块最相似的像素块的步骤包括:使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。
[0013]所述方法可包括:用于加权的函数为高斯核函数。
[0014]所述方法可包括:块匹配准则为绝对差和(SAD)准则。
[0015]可选地，分别获得原始图像I的放大图像U、低频图像L和高频图像H的步骤包括:通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。
[0016]所述方法可包括:通过使用双线性插值方法来进行上采样和下采样。
[0017]所述方法可包括:倍率SC为目标放大倍率。
[0018]所述方法可还包括:通过重复执行步骤(1)-(4)来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率SC由用户确定，每次重复执行中使用的倍率SC相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的放大图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。
[0019]所述方法可包括:每次重复执行中使用的倍率sc相同或不同并可满足l〈sc〈l.5。
[0020]所述方法可还包括:当每次重复执行中使用的倍率SC相乘的乘积大于目标放大倍率时，在最后一次重复执行输出放大图像之后，将最后一次重复执行输出的放大图像缩小至具有目标放大倍率的图像，作为最终放大图像。
[0021]所述方法可还包括:在步骤(I)之前，对原始图像I进行去噪处理，其中，对去噪处理后的原始图像I进行步骤(1)-(4)。
[0022]所述方法可包括:通过使用快速双边滤波方法来对原始图像I进行去噪处理。
[0023]所述方法还包括:对最终放大图像进行IBP迭代修正以获得修正的放大图像。[0024]根据本发明的另一方面，提供一种图像超分辨率放大的装置，所述装置可包括:图像转换模块，被配置为根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H ;划分模块，被配置为将放大图像U划分为多个预定大小的像素块；块处理模块，被配置为针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块；将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块；输出模块，被配置为输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像，其中，块处理模块使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权函数为具有中心下降特性的分布函数。
[0025]可选地，加权函数为高斯核函数。
[0026]可选地，块匹配准则为绝对差和(SAD)准则。
[0027]图像转换模块可通过按倍率SC对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。
[0028]图像转换模块可通过使用双线性插值方法来进行上采样和下采样。
[0029]可选地，倍率SC为目标放大倍率。
[0030]所述装置可还包括:控制模块，被配置为控制图像转换模块、划分模块、块处理模块、输出模块来重复执行操作来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率SC由用户确定，每次重复执行中使用的倍率SC相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。
[0031]可选地，每次重复执行中使用的倍率sc相同或不同，且满足l〈sc〈1.5。
[0032]所述装置可还包括:缩放模块，被配置为在将每次重复执行中使用的倍率SC相乘的乘积大于目标放大倍率的情况下，在最后一次重复执行输出图像之后，将最后一次重复执行输出的图像缩小至具有目标放大倍率的图像，作为最终放大图像。
[0033]所述装置可还包括:预处理模块，被配置为对原始图像I进行去噪处理，并将去噪处理后的图像输入到图像转换模块。
[0034]可选地，预处理模块通过使用快速双边滤波方法来对原始图像I进行去噪处理。
[0035]所述装置可还包括:修正模块，被配置为对最终放大图像进行IBP迭代修正以获得修正的放大图像。
[0036]根据本发明的图像超分辨率放大的方法和装置对单帧图像进行处理，对输入图像序列没有要求且不需要精准配对，从而扩大了使用范围，可被广泛应用于需要图像超分辨率放大的装置和方法中。
[0037]根据本发明的图像超分辨率放大的方法和装置所需的信息均从图像本身获得，不需要通过外部图像库，从而降低了算法的复杂度，并增加了算法的可移植性。
[0038]根据本发明的图像超分辨率放大的方法和装置不需要对大量图像进行处理，并且在进行图像超分辨率放大的过程中对算法进行优化，使得处理图像的速度变快，满足实时性的需求。[0039]根据本发明的图像超分辨率放大的方法和装置在放大倍数大于3的情况下，能够克服比较严重的锯齿和模糊的现象，并增强细节，使得图像比较自然。此外，所述方法和装置对具有细小杂乱边缘的图像的处理效果也较为明显。
【专利附图】
【附图说明】
[0040]从以下结合附图的实施例的描述中，本发明的上述和其它目的、特点和优点将会变得更加清楚，其中:
[0041]图1是示出根据本发明的示例性实施例的图像超分辨率放大的方法的流程图；
[0042]图2是示出根据本发明的示例性实施例的图像超分辨率放大的方法中的自相似重建处理的示意图；
[0043]图3是示出根据本发明的另一示例性实施例的图像超分辨率放大的方法的流程图；
[0044]图4是示出根据本发明的实施例的图像超分辨率放大的装置的框图。
【具体实施方式】
[0045]现在将详细参照实施例，其示例在附图中被示出，其中，相同的标号始终表示相同的元件(诸如，部件、组件和结构)。以下通过参照附图描述实施例。
[0046]提供在此限定的事物(诸如，详细结构及其元件)以协助全面理解本描述。因此，清楚的是:可在没有那些限定的事物的情况下来执行示例性实施例。此外，省略公知功能或结构以提供示例性实施例的清楚且简明的描述。此外，在附图中的各种元件的尺寸可被任意地增加或减少以协助全面理解。
[0047]图1是示出根据本发明的示例性实施例的图像超分辨率放大的方法的流程图。经过大量实验研究，自然图像存在自相似的特性。由于自相似的特性在局部区域中被证明是十分有效的，所以可对同一图像进行自相似查找。本发明正是利用了图像的自相似特性，使用根据本发明的局部自适应重建方法进行图像超分辨率放大。
[0048]参照图1，在步骤S101，可根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H。这里，倍率sc可以是原始图像I将要放大的目标放大倍率。
[0049]根据本发明的示例性实施例，通过按倍率SC对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。其中，可通过采用双线性插值来进行上采样和下采样。但本发明的上采样和下采样的方法不限于此，本领域的技术人员可理解还可使用其它任何可行方法(例如bicubic插值等)来进行上采样和下采样。
[0050]在步骤S102，可将放大图像U划分为多个预定大小的像素块。根据本发明的示例性实施例，所述预定大小的像素块可以是5X5像素块，但本领域的技术人员容易理解本发明的预定大小的像素块不限于上述尺寸，用户可根据需要选择像素块的大小。
[0051]在步骤S103，针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块。
[0052]根据本发明的示例性实施例，所述预定大小的局部区域可以是10X10的像素区域，但本领域的技术人员容易理解本发明的预定大小的局部区域不限于上述尺寸，用户可根据需要选择局部区域的大小，但是所述预定大小的局部区域应大于或等于预定大小的像素块。
[0053]根据本发明的示例性实施例，所述预定步长可以是I个像素距离(即逐像素点进行搜索)，但本领域的技术人员容易理解本发明的预定步长不限于上述像素距离，用户可根据需要选择预定步长以进行搜索。
[0054]根据本发明的示例性实施例，在搜索与放大图像U中的像素块最相似的像素块时，可使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数(即权值由中心至边缘呈下降趋势的分布函数)。这里，块匹配准则可以是绝对差和(SAD)准则，但本领域的技术人员容易理解本发明的块匹配准则不限于SAD准则，还可使用任何可用的块匹配准则。其中，SAD的公式如下:
[0055]
【权利要求】
1.一种图像超分辨率放大的方法，包括: (1)根据倍率SC，分别获得原始图像I的放大图像U、低频图像L和高频图像H; (2)将放大图像U划分为多个预定大小的像素块； (3)针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块； (4)输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像， 其中，搜索与放大图像U中的像素块最相似的像素块的步骤包括:使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。
2.如权利要求1所述的方法，其中，用于加权的函数为高斯核函数。
3.如权利要求2所述的方法，其中，块匹配准则为绝对差和(SAD)准则。
4.如权利要求1所述的方法，其中，分别获得原始图像I的放大图像U、低频图像L和高频图像H的步 骤包括:通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。
5.如权利要求4所述的方法，其中，通过使用双线性插值方法来进行上采样和下采样。
6.如权利要求1所述的方法，其中，倍率sc为目标放大倍率。
7.如权利要求1所述的方法，还包括:通过重复执行步骤(1)-(4)来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率SC由用户确定，每次重复执行中使用的倍率SC相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。
8.如权利要求7所述的方法，其中，每次重复执行中使用的倍率sc相同或不同，并满足l〈sc〈l.5ο
9.如权利要求7所述的方法，还包括:当将每次重复执行中使用的倍率sc相乘的乘积大于目标放大倍率时，在最后一次重复执行输出图像之后，将最后一次重复执行输出的图像缩小至具有目标放大倍率的图像，作为最终放大图像。
10.如权利要求1所述的方法，还包括:在步骤(1)之前，对原始图像I进行去噪处理，其中，对去噪处理后的原始图像I进行步骤(1)-(4)。
11.如权利要求10所述的方法，其中，通过使用快速双边滤波方法来对原始图像I进行去噪处理。
12.如权利要求1-11中的任意一项中所述的方法,还包括:对最终放大图像进行IBP迭代修正以获得修正的放大图像。
13.一种图像超分辨率放大的装置，所述装置包括: 图像转换模块，被配置为根据倍率sc，分别获得原始图像I的放大图像U、低频图像L和高频图像H; 划分模块，被配置为将放大图像U划分为多个预定大小的像素块；块处理模块，被配置为针对所述多个预定大小的像素块中的每一个像素块执行以下操作:在低频图像L中的预定大小的局部区域内，按预定步长搜索与放大图像U中的像素块最相似的像素块，将高频图像H中的与在低频图像L中搜索到的最相似的像素块的位置相同的像素块叠加到放大图像U中的像素块； 输出模块，被配置为输出放大图像U中的所有像素块被叠加完成之后的图像，作为最终放大图像， 其中，块处理模块使用基于加权的块匹配准则来搜索与放大图像U中的像素块最相似的像素块，其中，用于加权的函数为具有中心下降特性的分布函数。
14.如权利要求13所述的装置，其中，用于加权的函数为高斯核函数。
15.如权利要求14所述的装置，其中，块匹配准则为绝对差和(SAD)准则。
16.如权利要求13所述的装置，其中，图像转换模块通过按倍率sc对原始图像I进行上采样，获得放大图像U，通过按倍率Ι/sc对原始图像I进行下采样，获得缩小图像D，通过按倍率sc对缩小图像D进行上采样，获得与原始图像I相同大小的低频图像L，通过将原始图像I与低频图像L相减，获得高频图像H。
17.如权利要求16所述的装置，其中，图像转换模块通过使用双线性插值方法来进行上采样和下采样。
18.如权利要求13所述的 装置，其中，倍率sc为目标放大倍率。
19.如权利要求13所述的装置，还包括:控制模块，被配置为控制图像转换模块、划分模块、块处理模块、输出模块来重复执行操作来对原始图像I进行放大，其中，重复执行的次数和每次重复执行中使用的倍率SC由用户确定，每次重复执行中使用的倍率SC相乘的乘积等于或大于目标放大倍率，将每次重复执行获得的图像作为下一次重复执行的原始图像I，并且将最后一次重复执行输出的图像作为最终放大图像。
20.如权利要求19所述的装置，其中，每次重复执行中使用的倍率sc相同或不同，并满足 l〈sc〈l.5。
21.如权利要求19所述的装置，还包括:缩放模块，被配置为在将每次重复执行中使用的倍率SC相乘的乘积大于目标放大倍率的情况下，在最后一次重复执行输出图像之后，将最后一次重复执行输出的图像缩小至具有目标放大倍率的图像，作为最终放大图像。
22.如权利要求13所述的装置，还包括:预处理模块，被配置为对原始图像I进行去噪处理，并将去噪处理后的图像输入到图像转换模块。
23.如权利要求22所述的装置，其中，预处理模块通过使用快速双边滤波方法来对原始图像I进行去噪处理。
24.如权利要求13-23中的任意一项中所述的装置，还包括:修正模块，被配置为对最终放大图像进行IBP迭代修正以获得修正的放大图像。
【文档编号】G06T3/40GK103985085SQ201410226072
【公开日】2014年8月13日 申请日期:2014年5月26日 优先权日:2014年5月26日
【发明者】侯天峰, 申世闻, 朱春波 申请人:三星电子（中国）研发中心, 三星电子株式会社