图像处理方法和装置制造方法
【专利摘要】本发明实施例提供一种图像处理方法和装置，其中，该图像处理方法，包括：对低分辨率图像进行图像放大处理，得到初始高分辨率图像；从所述初始高分辨率图像中选取与第一像素点对应的中心相似块；从所述低分辨率图像中选取与所述第一像素点对应的搜索块，并确定所述搜索块中的各相似块，所述中心相似块与所述搜索块的块大小相同；根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的像素值。采用本发明实施例的技术方案，能有效降低计算的复杂度和占用的存储器资源。
【专利说明】图像处理方法和装置
【技术领域】
[0001 ] 本发明实施例涉及图像处理技术，尤其涉及一种图像处理方法和装置。
【背景技术】
[0002]在现代社会，人们对于高质量、高清晰的图像信息要求越来越高。例如，在家庭数字媒体应用中，1080p以及4KX2K电视的越来越普及，然而现在的大多数电视节目源以及DVD格式视频都是标清格式的视频，这就需要超分辨率技术将标清格式视频转换到高清或者超高清格式视频；另外，在网络视频应用中，由于受带宽的影响，许多网上的视频的质量都比较差，要将其在大屏幕的移动终端、PC或者Digital TV上显示时，就可以利用超分辨率技术。另外，图像超分辨率在医学成像，遥感卫星等领域也都有着重要的应用。
[0003]在现有技术中，超分辨率技术一般需要将低分辨率的图像先转换成初始高分辨率图像，再基于该初始高分辨率图像进行图像处理，转换成真正的高分辨率图像。但是，由于初始高分辨率图像的分辨率已经较大，像素点较多，因此，在对初始高分辨率图像进行图像处理的过程中，系统的计算复杂度较高，在硬件实现时占用的存储器资源比较多。
【发明内容】
[0004]本发明实施例提供一种图像处理方法和装置，以降低计算的复杂度和占用的存储器资源。
[0005]第一个方面，本发明实施例提供一种图像处理方法，包括:
[0006]对低分辨率图像进行图像放大处理，得到初始高分辨率图像；
[0007]从所述初始高分辨率图像中选取与第一像素点对应的中心相似块；
[0008]从所述低分辨率图像中选取与所述第一像素点对应的搜索块，并确定所述搜索块中的各相似块，所述中心相似块与所述搜索块的块大小相同；
[0009]根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的像素值。
[0010]在第一种可能的实现方式中，所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前，还包括:
[0011]对所述低分辨率图像进行图像纹理分析，得到图像纹理分析结果；
[0012]所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块，包括:
[0013]根据所述图像纹理分析结果，从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
[0014]结合第一方面或是第一个方面的第一种可能的实现方式，在第二种可能的实现方式中，所述从所述初始高分辨率图像中选取与第一像素点对应的中心相似块，可以包括:
[0015]从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块，并对所述初始中心相似块进行像素融合，得到中心相似块。
[0016]结合第一个方面的第二种可能的实现方式，在第三种可能的实现方式中，所述对所述初始中心相似块进行像素融合，得到所述中心相似块，包括:
[0017]采用像素点降低处理算法，对所述初始中心相似块进行像素融合，得到所述中心相似块。
[0018]结合第一个方面或是第一个方面的第一种、第二种和第三种可能的实现方式,在第四种可能的实现方式中，所述根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的像素值，可以包括:
[0019]计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性；
[0020]根据获取的相似性，确定与所述搜索块中的各相似块对应的权重值；
[0021]采用确定的权重值，对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均，得到超分辨率像素值；
[0022]采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
[0023]结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，所述计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性，包括:
[0024]计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离，所述欧式距离的值作为所述相似性的度量。
[0025]第二个方面，本发明实施例提供一种图像处理装置，包括:
[0026]图像放大处理模块，用于对低分辨率图像进行图像放大处理，得到初始高分辨率图像；
[0027]第一获取模块，用于从所述初始高分辨率图像中选取与第一像素点对应的中心相似块；
[0028]第二获取模块，用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块，并确定所述搜索块中的各相似块，所述中心相似块与所述搜索块的块大小相同；
[0029]像素值确定模块，用于根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的像素值。
[0030]在第一种可能的实现方式中，本发明实施例提供一种图像处理装置，还包括:
[0031]图像纹理分析模块，用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前，对所述低分辨率图像进行图像纹理分析，得到图像纹理分析结果；
[0032]所述第二获取模块，具体用于根据所述图像纹理分析结果，从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
[0033]结合第二方面或是第二个方面的第一种可能的实现方式，在第二种可能的实现方式中，所述第一获取模块，具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块，并对所述初始中心相似块进行像素融合，得到中心相似块。
[0034]结合第二个方面的第二种可能的实现方式，在第三种可能的实现方式中，所述第一获取模块，具体用于采用像素点降低处理算法，对所述初始中心相似块进行像素融合，得到所述中心相似块。
[0035]结合第二个方面或是第二个方面的第一种、第二种和第三种可能的实现方式，在第四种可能的实现方式中，所述像素值确定模块，包括:[0036]计算单元，用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性；
[0037]权重确定单元，用于根据获取的相似性，确定与所述搜索块中的各相似块对应的权重值；
[0038]加权平均单元，用于采用确定的权重值，对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均，得到超分辨率像素值；
[0039]像素替代单元，用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
[0040]结合第二方面的第四种可能的实现方式，在第五种可能的实现方式中，所述计算单元，具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离，所述欧式距离的值作为所述相似性的度量。
[0041]本发明实施例，在选取搜索块时，并非如现有技术从初始高分辨率图像中选取搜索块，而是从低分辨率图像中选取搜索块，从而使得选择的搜索块的像素点较少，计算复杂度较低，还可降低处理过程中的存储资源的占用率；并且还可以从初始高分辨率图像中选取与搜索块中各相似块的像素点相同的中心相似块，进而根据该中心相似块和搜索块中的各相似块，确定当前处理像素点的高分辨率的像素值。
【专利附图】
【附图说明】
[0042]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0043]图1为本发明图像处理方法实施例一的流程图；
[0044]图2为本发明图像处理方法实施例二的流程图；
[0045]图3为图2所示方法实施例二中像素融合的一种处理方式；
[0046]图4为本发明图像处理装置实施例一的结构示意图；
[0047]图5为本发明图像处理装置实施例二的结构示意图。
【具体实施方式】
[0048]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0049]图1为本发明图像处理方法实施例一的流程图，如图1所示，本实施例的方法可以包括:
[0050]S101、对低分辨率图像进行图像放大处理，得到初始高分辨率图像；
[0051]在将低分辨率图像转换为高分辨率图像时，图像处理装置可以获取待处理的低分辨率图像，并对该低分辨率图像进行图像放大处理，得到初始高分辨率图像，该初始高分辨率图像并非最终得到的高分辨率图像，而是中间过程。[0052]在具体实现时，图像放大处理的方法例如可以是整数倍插值或其他图像缩放算法，将低分辨率图像放大处理得到初始高分辨率图像，本实施例并不对图像放大处理的具体算法进行限定。
[0053]S102、从所述初始高分辨率图像中选取与第一像素点对应的中心相似块；
[0054]S103、从所述低分辨率图像中选取与所述第一像素点对应的搜索块，并确定所述搜索块中的各相似块，所述中心相似块与所述搜索块的块大小相同；
[0055]具体来说，在现有技术中，中心相似块以及搜索块均是从初始高分辨率图像中选取的。但是，搜索块的大小决定了后续图像处理过程的计算量大小。由于高分辨率图像中的相似块较多，搜索块就会越大，在图像处理时所占用的存储资源就较多，计算复杂度也会显著增大。
[0056]为此，本实施例中，中心相似块还是从初始高分辨率图像中选取，而搜索块可以从低分辨率图像中选取。
[0057]从初始高分辨率图像中选取与第一像素点对应的中心相似块，具体可以以第一像素为中心选取中心相似块。
[0058]由于低分辨率图像中的相似块较少，搜索块的范围就会较小，所以本实施例从低分辨率图像中选取与第一像素点对应的搜索块，进一步确定搜索块中的相似块。具体可以以第一像素点为中心选取搜索块，再以搜索块中的各个像素点为中心选取各相似块，其中，搜索块的大小可以为15个像素点，相似块大小可以为3X3，相似块的个数与搜索块中的像素点个数相对应。
[0059]其中，所述中心相似块与所述搜索块的块大小相同，具体来说，在S102中从初始高分辨率图像中选取中心相似块时，中心相似块的大小选取应与S103中搜索块内的相似块的大小选取相同，均为3X3。
[0060]另外，在本实施例中S102和S103的执行顺序并不限于此，可以先执行S102再执行S103，也可以先执行S103再执行S102，还可以S102，S103同时执行。
[0061]S104、根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的
像素值。
[0062]在具体实现时，S104可以具体采用如下过程实现:
[0063]计算获取中心相似块与搜索块中的各相似块之间的相似性；
[0064]根据获取的相似性，确定与所述搜索块中的各相似块对应的权重值；
[0065]采用确定的权重值，对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均，得到超分辨率像素值；
[0066]采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
[0067]对于初始高分辨率图像中的所有像素点，均可以使用以上SlOl?S104的方法得到对应的超分辨率值并进行代替后，即可得到最终的高分辨率图像。
[0068]本发明实施例一提供的图像处理方法，在选取搜索块时，并非如现有技术从初始高分辨率图像中选取搜索块，而是从低分辨率图像中选取搜索块，从而使得选择的搜索块的像素点较少，计算复杂度较低，还可降低处理过程中的存储资源的占用率；并且还可以对从初始高分辨率图像中选取与搜索块中各相似块的像素点相同的中心相似块，进而根据该中心相似块和搜索块中的各相似块，确定当前处理像素点的高分辨率的像素值。
[0069]下面采用一个具体的实施例对图1所示技术方案进行详细说明。
[0070]图2为本发明图像处理方法实施例二的流程图，如图2所示，本实施例的方法可以包括:
[0071]S201、对低分辨率图像进行图像放大处理，得到初始高分辨率图像；
[0072]在将低分辨率图像转换为高分辨率图像时，图像处理装置可以获取待处理的低分辨率图像，并对该低分辨率图像进行图像放大处理，得到初始高分辨率图像，该初始高分辨率图像并非最终得到的高分辨率图像，而是中间过程。
[0073]在具体实现时，图像放大处理的方法例如可以是整数倍插值或其他图像缩放算法，将低分辨率图像放大处理得到初始高分辨率图像，本实施例并不对图像放大处理的具体算法进行限定。
[0074]S202、从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块，并对所述初始中心相似块进行像素融合，得到中心相似块。
[0075]具体来说，在初始高分辨率图像中选取中心相似块的大小时，如果选择的相似块比较小，例如选择3X3的相似块时，较相似的像素点就越多，图像看起来越锐利清晰，但是在斜边处锯齿很难消除；如果选择比较大的相似块，例如5X5的相似块时，图像会变得模糊，但是边缘的锯齿现象会控制的比较好。
[0076]为此，针对当前处理的第一像素点，本实施例在初始高分辨率图像中选取与其对应的中心相似块，优选的，首先从初始高分辨图像中选取与第一像素点对应的初始中心相似块，再对所述初始中心相似块进行像素融合，得到中心相似块。具体实现时可以采用像素点降低处理算法，对初始中心相似块进行像素融合得到中心相似块。
[0077]具体来说，可以在初始高分辨率图像中以第一像素点为中心选择比较大的初始中心相似块，例如5X5，然后可以采用像素点降低处理算法，对该初始中心相似块进行像素融合，得到比较小的中心相似块，例如3X3，这样可以在保证图像的清晰度的同时有效控制图像边缘的锯齿现象。
[0078]图3为图2所示方法实施例二中像素融合的一种处理方式，如图3所示，举例说明将5X5的初始中心块融合成3X3的中心相似块的过程:首先将初始中心块中5X5的像素点分成9部分:中心点和8个虚线框，再将每个虚线框内的多个像素点(使用细X来表示)加权平均成一个像素点(使用粗X来表示)，最后得到像素点为3X3的中心相似块。
[0079]S203、对所述低分辨率图像进行图像纹理分析，得到图像纹理分析结果；
[0080]具体来说，现有技术中，搜索块的选取都是以当前像素点为中心的正方形的块，但是与中心相似块具有相似性的各相似块的分布可能趋向于横向，也可能趋向于纵向，这样如果搜索整个正方形的搜索块，一些没有相似性的像素点就会被搜索到，不但增加了计算量而且占用存储资源。
[0081]为此，本实施例中在低分辨率图像中选取搜索块之前，先进行图像纹理分析。
[0082]具体来说，对低分辨率图像进行图像纹理分析是判断低分辨率图像中第一像素点邻域范围的纹理是X方向还是Y方向，具体方法是首先计算在低分辨率图像中第一像素点邻域范围内的像素点(可以以第一像素点为中心选取一个3X3的块)的X方向的方差X_dir以及Y方向的方差Y_dir，然后比较X_dir与Y_dir之间的大小，如果X_dir较小，则说明纹理方向为X方向，如果Y_dir较小，则说明纹理方向为Y方向。
[0083]S204、根据所述图像纹理分析结果，从所述低分辨率图像中选取与所述第一像素点对应的搜索块并确定所述搜索块中的各相似块，所述中心相似块与所述搜索块的块大小相同；
[0084]具体来说，在现有技术中，中心相似块以及搜索块均是从初始高分辨率图像中选取的。但是，搜索块的大小决定了后续图像处理过程的计算量大小。由于高分辨率图像中的相似块较多，搜索块就会越大，在图像处理时所占用的存储资源就较多，计算复杂度也会显著增大。
[0085]所以本实施例从低分辨率图像中选取与第一像素点对应的搜索块，并确定搜索块中的相似块，不仅可以减少计算量还可以减少占用的存储资源。而在进行选取搜索块时再根据图像的纹理分析结果，就会减少对结果作用不大的像素点的搜索，进一步地减少计算量和占用的存储资源。
[0086]具体来说，根据S203获得的图像纹理分析结果，从低分辨率图像中以第一像素点为中心选取搜索块，具体地，当图像纹理方向为X方向时，搜索块的选取趋向于X方向，具体可以以第一像素点为中心选取3X5大小的搜索块，当图像纹理方向为Y方向时，搜索块的选取趋向于Y方向，具体可以以第一像素点为中心选取5X3大小的搜索块。这样就可以减少一些对结果作用不大的点的搜索，从而减少计算量。
[0087]进一步地，确定所述搜索块中的各相似块，具体可以为以搜索块中的各个像素点为中心选取大小为3X3的相似块，其中所述相似块的个数与搜索块中的像素点个数相对应。
[0088]其中，所述中心相`似块与所述搜索块的块大小相同，具体来说，在S202中将初始中心相似块进行像素融合得到中心相似块时，中心相似块的大小选取需与S204中搜索块内的相似块的大小选取相同，均为3X3。
[0089]S205、计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性；
[0090]在具体实现时，所述相似性可以采用欧式距离来度量。
[0091]具体来说，图像处理装置可以计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离，所述欧式距离的值作为所述相似性的度量。欧氏距离的计算如下公式(I)所示:
【权利要求】
1.一种图像处理方法，其特征在于，包括: 对低分辨率图像进行图像放大处理，得到初始高分辨率图像； 从所述初始高分辨率图像中选取与第一像素点对应的中心相似块； 从所述低分辨率图像中选取与所述第一像素点对应的搜索块，并确定所述搜索块中的各相似块，所述中心相似块与所述搜索块的块大小相同； 根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的像素值。
2.根据权利要求1所述的方法，其特征在于，所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前，还包括: 对所述低分辨率图像进行图像纹理分析，得到图像纹理分析结果； 所述从所述低分辨率图像中选取与所述第一像素点对应的搜索块，包括: 根据所述图像纹理分析结果，从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
3.根据权利要求1或2所述的方法，其特征在于，所述从所述初始高分辨率图像中选取与第一像素点对应的中心相似块，包括: 从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块，并对所述初始中心相似块进行像素融合，得到中心相似块。
4.根据权利要求3所述的方法，其特征在于，所述对所述初始中心相似块进行像素融合，得到所述中心相似块，包括: 采用像素点降低处理算法，对所述初始中心相似块进行像素融合，得到所述中心相似块。
5.根据权利要求1~4中任一项所述的方法，其特征在于，所述根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的像素值，包括: 计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性； 根据获取的相似性，确定与所述搜索块中的各相似块对应的权重值； 采用确定的权重值，对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均，得到超分辨率像素值； 采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
6.根据权利要求5所述的方法，其特征在于，所述计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性，包括: 计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离，所述欧式距离的值作为所述相似性的度量。
7.一种图像处理装置，其特征在于，包括: 图像放大处理模块，用于对低分辨率图像进行图像放大处理，得到初始高分辨率图像； 第一获取模块，用于从所述初始高分辨率图像中选取与第一像素点对应的中心相似块； 第二获取模块，用于从所述低分辨率图像中选取与所述第一像素点对应的搜索块，并确定所述搜索块中的各相似块，所述中心相似块与所述搜索块的块大小相同； 像素值确定模块，用于根据所述中心相似块和所述搜索块中的各相似块，确定所述第一像素点的像素值。
8.根据权利要求7所述的装置，其特征在于，还包括: 图像纹理分析模块，用于在所述第二获取模块从所述低分辨率图像中选取与所述第一像素点对应的搜索块之前，对所述低分辨率图像进行图像纹理分析，得到图像纹理分析结果; 所述第二获取模块，具体用于根据所述图像纹理分析结果，从所述低分辨率图像中选取与所述第一像素点对应的搜索块。
9.根据权利要求7或8所述的装置，其特征在于，所述第一获取模块，具体用于从所述初始高分辨率图像中选取与第一像素点对应的初始中心相似块，并对所述初始中心相似块进行像素融合，得到中心相似块。
10.根据权利要求9所述的装置，其特征在于，所述第一获取模块，具体用于采用像素点降低处理算法，对所述初始中心相似块进行像素融合，得到所述中心相似块。
11.根据权利要求7~10中任一项所述的装置，其特征在于，所述像素值确定模块，包括: 计算单元，用于计算获取所述中心相似块与所述搜索块中的各相似块之间的相似性； 权重确定单元，用于根据获取的相似性，确定与所述搜索块中的各相似块对应的权重 值； 加权平均单元，用于采用确定的权重值，对所述搜索块中的各相似块对应的低分辨率图像中的像素点进行加权平均，得到超分辨率像素值； 像素替代单元，用于采用所述超分辨率像素值代替所述初始高分辨率图像中所述第一像素点的像素值。
12.根据权利要求11所述的装置，其特征在于，所述计算单元，具体用于计算所述中心相似块与所述搜索块中的各相似块之间的欧式距离，所述欧式距离的值作为所述相似性的度量。
【文档编号】G06T3/40GK103700062SQ201310697591
【公开日】2014年4月2日 申请日期:2013年12月18日 优先权日:2013年12月18日
【发明者】郑成林 申请人:华为技术有限公司