一种放大图像的方法
【专利摘要】本发明为解决因非局部滤波器参数构造过程计算复杂度高影响了图像放大速度问题，提供了一种放大图像的方法，包括：将所述低分辨率hr图像的像素点按像素特性分为低分辨率lr像素类和hr像素类；依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算所述确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离，并获取lr像素类中相似距离满足相似性的像素点；构造非局部nl滤波器的参数；其中，仅通过计算高分辨率像素类与高分辨率像素类的像素点的相似距离来生成nl滤波器的参数，简化了nl滤波器参数的计算复杂度。
【专利说明】一种放大图像的方法
【技术领域】
[0001 ] 本发明属于计算机领域，涉及一种放大图像方法及其装置。
【背景技术】
[0002]随着多媒体技术和计算机网络技术的发展，图像信息在人们工作、学习和生活中发挥越来越重要的作用。图像分辨率是成像系统对输出图像细节分辨能力的一种度量，分辨率越高意味着像素密度越高，细节越精细，提供的信息也越丰富。然而由于成像仪器本身物理属性的限制以及外界环境条件的干扰，图像分辨率往往不能满足某些应用场景的要求，比如3D视频编码中，受传输带宽限制，通常将深度图在服务端进行缩小，在终端进行放大，这其中用到了图像放大技术来提高图像的分辨率。另外一些使用场景还对实时的要求很高，例如视频会议、视频通话的图像放大，如果不能满足实时的要求会影响用户体验，因此需要快速的图像放大技术在保证效果的同时提高速度。
[0003]早期的图像放大方法大都不能较好的还原图像中人眼较为敏感的边缘和纹理。比如上述3D视频编码中，可以把图像看做一种信号，并且把放大后的图像与原来深度图在服务端进行缩小前的源图之间的误差视为一种噪声，因此可以在图像放大过程中加入滤波过程来去除噪声。
[0004]非局部(non-local，nl)滤波器是目前公认的去噪效果最好的滤波器。目前已经有一些图像放大中使用非局部滤波器来去噪，其中又以基于插值算法的非局部滤波器应用最为广泛，但是非局部滤波器参数构造过程中却存在计算量高的问题。
【发明内容】
[0005]本发明为解决因非局部滤波器参数构造过程计算复杂度高影响了图像放大速度问题:
[0006]第一方面，本发明实施例提供了一种图像放大方法，该方法包括:将低分辨率(lr)图像通过图像插值算法生成高分辨率(hr)图像，对所述hr图像进行边缘检测获取图像中边缘的像素点；将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算所述确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离，并获取lr像素类中相似距离满足相似性的像素点；依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；利用所述nl滤波器过滤经过放大算法初始放大的图像从而得到最终的放大图像。
[0007]结合第一方面的第一种可能的实现方式中，在所述插值算法的放大倍数为N时，其中，N为大于1的自然数，则所述将所述hr图像按像素特性分为lr像素类和hr像素类，具体包括:将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个NXN的像素块，并将各NXN的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类，生成N2-1组hr像素类图像；所述第一组lr像素类图像和N2-1组hr像素类图像中的各像素点分别拥有在各自所属的像素类图像中的坐标以及在hr图像中的坐标。
[0008]结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，其中，当具体确定出坐标为(X，Y)的边缘的像素点满足归属于hr像素类时，则计算所述确定的hr像素类的像素点(X，Y)与所述lr像素类中的像素点的相似距离的过程，具体包括:依据所述边缘的像素点坐标(X，Y)，在判断(X，Y)属于hr像素类中的像素点后，确定所述像素点具体归属于第k组的hr像素类图像，并且在所述第k组的hr像素类图像中的坐标为(xk，yk)，其中k e [2，N2];分别计算第一组lr像素类图像中各像素点与所述第k组的hr像素类图像中坐标为(xk，yk)的像素点的相似距离。
[0009]结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，当具体计算到第一组lr像素类图像中坐标为(xl，yl)像素点与第k组hr像素类图像中坐标为(xk，yk)的像素点的相似距离时，具体为:获取hr图像中以(XI，Y1)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1，Y1)是第一组lr像素类图像中坐标为(xl，yl)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr像素类图像中坐标为(xk，yk)的像素点对应在hr图像中的坐标；在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(xl，yl)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
[0010]结合第一方面的第一种实现方式、第二种实现方式或第三种实现方式，在第四种可能的实现方式中，在所述放大倍数N为2时，所述以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个NXN的像素块，并将各NXN的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-1组hr像素类,并生成N2-1组hr像素类图像，具体包括:以第一组lr像素类中各像素点为参考点，按顺时针方向将所述hr图像划分为各2X2的像素块；在基于所述参考点划分出来的各2X2像素块中，以所述参考点作参考按顺时针方向依次将所述各2X2像素块中除所述参考点外的其余三个hr像素类的像素点分别归属于第二组hr像素类、第三组hr像素类和第四组hr像素类；分别根据所述第一组lr像素类、第二组hr像素类、第三组hr像素类和第四组hr像素类所包含的像素点生成对应的第一组lr像素类图像、第二组hr像素类图像、第三组hr像素类图像和第四组hr像素类图像。
[0011]结合第一方面的第三种实现方式或第四种实现方式，在第五种实现方式中，所述第三像素块和第四像素块大小都为MXM，则所述计算第三像素块和第四像素块的绝对误差和，具体包括:获取第三像素块中各像素点的像素值为vl,v2,v3,......, vn (MXM = η)和
第四像素块中对应像素点的像素值为ul，u2, u3,......，un ;并通过公式SAD = |ul_vl| +
u2_v2 I +1 u3_v3 I +......+1 un-vn |计算得到第二像素块和第四像素块的绝对误差和。
[0012]结合第一方面或者结合上述任意一种可能的实现方式，在第六种可能的实现方式中，所述对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离满足相似性的像素点，具体包括:对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离最小的P个像素点作为满足相似性的像素点，其中P为大于1的自然数。
[0013]结合上述任意一种可能的实现方式，在第七种可能的实现方式中，所述依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数，具体包括:根据所述确定的hr像素类中的第一个像素点和对应所述第一个像素点满足相似性的P个lr像素类中的像素点作为参数，计算得到所述P个lr像素类的像素点的权值；保存所述第一个像素点对应在hr图像中的坐标、所述P个lr像素类的像素点对应在hr图像 中的坐标和所述P个lr像素类的像素点的权值；按照所述hr像素类中第一个像素点的方法，处理完所述确定的各hr像素类中其余的像素点。
[0014]结合第一方面的第七种可能的实现方式，在第八种可能的实现方式中，所述利用nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像，具体包括:获取nl滤波器的参数中保存的所述第一个像素点的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果；将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素值；按照所述第一个像素点方法依次基于所述nl滤波器的参数中保存的其他hr像素类的像素点处理初始放大图像。
[0015]结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果，具体包括:根据nl滤波器的参数中保存的P个与所述第一个像素点满足相似性的像素点的坐标，获取放大后图像
中在所述Ρ个坐标上的像素值Η⑴，i = 1，2，...，？，并利用公式好
【权利要求】
1.一种放大图像的方法，将低分辨率(lr)图像通过图像插值算法生成高分辨率(hr)图像，对所述hr图像进行边缘检测获取图像中边缘的像素点，其特征在于，包括:将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算所述确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离，并获取lr像素类中相似距离满足相似性的像素点；依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；利用所述nl滤波器过滤经过放大算法初始放大的图像从而得到最终的放大图像。
2.根据权利要求1所述方法，其特征在于，在所述插值算法的放大倍数为N时，其中，N为大于1的自然数，则所述将所述hr图像按像素特性分为lr像素类和hr像素类，具体包括:将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个NXN的像素块，并将各NXN的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2_l组hr像素类，生成N2_l组hr像素类图像；所述第一组lr像素类图像和N2-l组hr像素类图像中的各像素点分别拥有在各自所属的像素类图像中的坐标以及在hr图像中的坐标。
3.根据权利要求2所述的方法，其特征在于，所述依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点,其中，当具体确定出坐标为(X, Y)的边缘的像素点满足归属于hr像素类时，则计算所述确定的hr像素类的像素点(X，Y)与所述lr像素类中的像素点的相似距离的过程，具体包括:依据所述边缘的像素点坐标(X，Y)，在判断(X，Y)属于hr像素类中的像素点后，确定所述像素点具体归属于第k组的hr像素类图像，并且在所述第k组的hr像素类图像中的坐标为(xk，yk)，其中 k e [2，Ν2]；分别计算第一组lr像素类图像中各像素点与所述第k组的hr像素类图像中坐标为(xk，yk)的像素点的相似距离。
4.根据权利要求3所述的方法，其特征在于，当具体计算到第一组lr像素类图像中坐标为(Χρ Υι)像素点与第k组hr像素类图像中坐标为(xk, yk)的像素点的相似距离时，具体为:获取hr图像中以(X1; Yi)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1； Yi)是第一组lr像素类图像中坐标为(x1; Yi)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr像素类图像中坐标为(Xk，yk)的像素点对应在hr图像中的坐标；在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(x1;yi)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
5.根据权利要求2-4任一所述的方法，其特征在于，在所述放大倍数N为2时，所述以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个NXN的像素块，并将各NXN的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2-l组hr像素类，并生成N2-l组hr像素类图像，具体包括:以第一组lr像素类中各像素点为参考点,按顺时针方向将所述hr图像划分为各2X2的像素块；在基于所述参考点划分出来的各2X2像素块中，以所述参考点作参考按顺时针方向依次将所述各2X2像素块中除所述参考点外的其余三个hr像素类的像素点分别归属于第二组hr像素类、第三组hr像素类和第四组hr像素类；分别根据所述第一组lr像素类、第二组hr像素类、第三组hr像素类和第四组hr像素类所包含的像素点生成对应的第一组lr像素类图像、第二组hr像素类图像、第三组hr像素类图像和第四组hr像素类图像。
6.根据权利要求4或5所述的方法，其特征在于，所述第三像素块和第四像素块大小都为MXM，则所述计算第三像素块 和第四像素块的绝对误差和，具体包括:获取第三像素块中各像素点的像素值为V1; v2, v3,......, vn(MXM = n)和第四像素块中对应像素点的像素值为u1; u2, u3,......, un ;并通过公式SAD = I +1 u2-v21 +1 u3-v3 I +......+ I Un-Vn计算得到第二像素块和第四像素块的绝对误差和。
7.根据权利要求1-6任一所述的方法，其特征在于，所述对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离满足相似性的像素点，具体包括:对应所述计算确定的各hr像素类的像素点，获取lr像素类中相似距离最小的P个像素点作为满足相似性的像素点，其中P为大于1的自然数。
8.根据权利要求2-7任一所述的方法，其特征在于，所述依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数，具体包括:根据所述确定的hr像素类中的第一个像素点和对应所述第一个像素点满足相似性的P个lr像素类中的像素点作为参数,计算得到所述P个lr像素类的像素点的权值；保存所述第一个像素点对应在hr图像中的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；按照所述hr像素类中第一个像素点的方法，处理完所述确定的各hr像素类中其余的像素点。
9.根据权利要求8所述方法，其特征在于，所述利用nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像，具体包括:获取nl滤波器的参数中保存的所述第一个像素点的坐标、所述P个lr像素类的像素点对应在hr图像中的坐标和所述P个lr像素类的像素点的权值；基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果；将所述加权计算结果替换初始放大图像中对应所述第一个像素点的像素值；按照所述第一个像素点方法依次基于所述nl滤波器的参数中保存的其他hr像素类的像素点处理初始放大图像。
10.根据权利要求9所述的方法，其特征在于，所述基于所述P个lr像素类的像素点对应在hr图像中的坐标获取初始放大图像中对应的P个像素值，并依据所述P个lr像素类的像素点的权值得到加权计算结果，具体包括:根据nl滤波器的参数中保存的P个与所述第一个像素点满足相似性的像素点的坐标，获取放大后图像中在所述P个坐标上的像素值H(i)，i = 1,2,...，P，并利用公式
11.一种放大图像装置，其特征在于，包括:像素分类模块，用于将所述hr图像的像素点按像素特性分为lr像素类和hr像素类，所述lr像素类包含来自于lr图像上的像素点，所述hr像素类包含经过插值算法计算生成的像素点；相似距离计算模块，用于依据所述边缘的像素点确定既是边缘的像素点且归属于hr像素类的像素点，分别计算确定的各hr像素类的像素点与所述lr像素类中的像素点的相似距离；相似点获取模块，用于获取lr像素类中相似距离满足相似性的像素点；非局部nl滤波器的参数生成模块，用于依据所述确定的各hr像素类中的像素点和对应满足相似性的lr像素类中的像素点构造非局部nl滤波器的参数；过滤模块，用于利用nl滤波器过滤经过放大算法初始放大图像从而得到最终的放大图像。
12.根据权利要求11所述的装置，其特征在于，所述像素分类模块，还包括:像素类图像生成子模块，用于将经过插值算法计算生成的hr图像中来自于lr图像上的像素点归为第一组lr像素类，并生成第一组lr像素类图像；以第一组lr像素类中各像素点为参考点，按预定划分规则将hr图像划分成多个NXN的像素块，并将各NXN的像素块相对于所述参考点具有相同的位置关系的像素点分到同一组hr像素类中，所述hr图像中共有N2_l组hr像素类，并生成N2_l组hr像素类图像；其中，N为所述插值算法的放大倍数，N为大于1的自然数；所述第一组lr像素类图像和N2-l组hr像素类图像中的各像素点都分别拥有在各自像素类图像中的坐标以及在hr图像中的坐标。
13.根据权利要求11所述的装置，其特征在于，所述相似距离计算模块还包括映射生成模块，用于当具体计算到第一组lr像素类图像中坐标为(Xl，yi)像素点与第k组hr像素类图像中坐标为(xk，yk)的像素点的相似距离时，具体为:获取hr图像中以(X1; Yi)为中心的第一像素块与(Xk，Yk)为中心的第二像素块，其中(X1； Yi)是第一组lr像素类图像中坐标为(x1; Yi)的像素点对应在hr图像中的坐标；其中(Xk，Yk)是第k组hr像素类图像中坐标为(Xk，yk)的像素点对应在hr图像中的坐标；在第一组lr像素类图像中获取所述第一像素块中所有归属于第一组lr像素类的像素点，并归为第三像素块；在第k组hr像素类图像中获取所述第二像素块中所有归属于第k组hr像素类的像素点，并归为第四像素块；在第一组lr像素类图像中获取所述第二像素块中所有归属于第一组lr像素类的像素点，并归为第五像素块；在第k组hr像素类图像中获取所述第一像素块中所有归属于第k组hr像素类的像素点，并归为第六像素块；所述相似距离计算模块，还用于计算第三像素块和第四像素块的绝对误差和得到第一绝对误差和，并计算第五像素 块和第六像素块的绝对误差和得到第二绝对误差和，将第一绝对误差和与第二绝对误差和相加，得到第一组lr像素类图像中坐标为(Xl，yi)的像素点与第k组hr像素类图像中坐标为(xk，yk)像素点间的相似距离。
【文档编号】G06T5/00GK103679631SQ201210346575
【公开日】2014年3月26日 申请日期:2012年9月18日 优先权日:2012年9月18日
【发明者】干宗良, 朱秀昌, 夏青, 张园园, 石腾 申请人:华为技术有限公司