一种基于边缘分类的图像超分辨率放大的新方法
【专利摘要】本发明公开了一种基于边缘分类的图像放大的新方法。该方法首先对低分辨率图像进行边缘检测，以得到低分辨率上的图像边缘指示的二值化的图。然后，对低分辨率的图像进行初始的插值，得到初始的高分辨率的图像。接下来，提取高分辨率图像中的3×3的图像块，根据和此块对应的二值化图像中的边缘的走向对此图像块进行分类，并根据其类别对块中某些像素进行重新插值。本发明的方法很好地考虑到了边缘的走向特点，依此进行插值，从而使放大后的图像的细节部分比较清晰，尤其是边缘部分和靠近边缘的部分。实验表明，重建后的图像与原始高分辨率图像非常接近。
【专利说明】一种基于边缘分类的图像超分辨率放大的新方法
【技术领域】
[0001]本发明涉及在图像处理中，一种超分辨率图像放大的新方法。尤其是根据低分辨率图像上的边缘信息，对初始放大的高分辨率图像上的一个小图像块依据其对应的低分辨率图像上的边缘点进行分类，并根据此分类对图像块中某些像素点进行重新插值的方法。
【背景技术】
[0002]随着数码相机和互联网技术的飞速发展，人们对高清数字图像的需求与日俱增。但是，受到网络带宽和存储空间的限制，高清图像的存储和传输的代价比较大，非常消耗系统的资源，如需要消耗系统的非常大的存储空间或非常大的带宽。为此，数字图像的压缩技术被提了出来，产生了图像压缩的国际标准，如JPEG，JPEG2000等。目前的无损的图像压缩方法，压缩的倍数一般在4以下。同时，图像的有损的压缩方法，会带来图像的失真，产生块效应(block artifact)、振铃效应(ringing artifact)等。为此，图像的超分辨率的放大技术得到了人们的广泛关注，并成为近年来图像处理领域内的热点研究问题。
[0003]图像超分辨率放大的目的是由低分辨率的图像得到高分辨率图像的方法。这样，可以在传输和存储时，只传输或存储低分辨率的图像，然后在接受方或显示方采用图像的超分辨率放大技术得到高分辨率的图像。同时，图像的超分辨率放大技术可以和已有的图像压缩技术相结合，进一步地减少为存储和传输高分辨率图像而消耗的系统资源。进一步地，高清视频的存储和传输，也可以利用图像的超分辨方法来减少系统资源的消耗。
[0004]目前，图像的超分辨率的方法分为插值的方法和基于样例的方法。其中，基于样例的方法需要先建立一个由训练得到的由低分辨率图像块和其对应的高分辨率图像块构成的样例数据库，且其计算量非常大，难以实时应用。基于插值的方法，虽然其计算复杂度低，但是容易造成图像的模糊，使图像的边缘部分不清晰。而人眼对于图像的边缘部分是比较敏感的，其较低的失真就会大大降低图像的视觉效果。
[0005]为此，本发明提出了一种在初始的放大之后，依据图像的边缘来修改放大图像中的边缘像素点和其附近的像素点的值的方法。以在插值的时候，插值方向和图像的边缘走向相一致，得到边缘清晰的放大图像。
【发明内容】
[0006]有鉴于现有技术的上述缺陷，本发明提出了一种对图像中的边缘的情况进行分类，然后对不同的类别进行相应的重新插值的方法。以根据低分辨率图像上的边缘信息，作为启发式的信息，依据边缘的走向来进行插值，使放大的图像边缘清晰，克服目前已有的超分辨率插值的方法的边缘模糊的缺点。
[0007]为实现上述目的，本发明提供了一种在边缘检测后对边缘进行11种不同的分类再进行重新插值的方法。对于放大的倍数为2X2时，S卩，横向放大2倍，纵向放大2倍。当然本发明不限于放大2X2倍。本发明包括:
[0008]步骤一，初始的基于插值的超分辨率放大，以得到初始的高分辨率图像；[0009]步骤二，对低分辨率图像进行边缘检测与提取；
[0010]步骤三，对边缘提取后的图像进行二值化处理，使非边缘点上的二值化的值均变为0，边缘点上的二值化的值为I。即，在二值化的图像上，图像边缘上的像素点值为1，其它不是边缘的像素点值全部为O ;
[0011]步骤四，置χ = O, y = O ;
[0012]步骤五，以(X，y)为高分辨率图像块的左上角，在高分辨率的图像上提取3X3大小的图像块。对低分辨率的二值化图像，以(x/2，y/2)为左上角，提取2X2大小的图像块。根据此2X2大小的边缘二值化后的图像块，对提取的高分辨率的图像块进行分类，具体可分为如下11类:分别为上边缘类、下边缘类，左边缘类、右边缘类、左下斜边缘类、右下斜边缘类、左上角边缘类、左下角边缘类、右上角边缘类、右下角边缘类、其它类；然后，根据边缘的类别，对初始放大的图像上提取的3X3大小的图像块的边缘像素点及其附近像素点，进行重新插值；
[0013]步骤六，置χ = x+2,若χ≤2W-5 (W为低分辨率图像的宽度)，则跳到步骤五对下一个图像块进行操作；
[0014]步骤七，置y = y+2，若y ( 2H_5 (H为低分辨率图像的高度)，则跳到步骤五对下一个图像块进行操作；
[0015]步骤八，对当前低分辨率图像的超分辨率放大结束。得到(2W) X (2H)尺寸的高分
辨率图像。
[0016]进一步地，所述步骤一中，所采用的是双线性插值方法。即，对于如下图像块:
【权利要求】
1.一种加入边缘检测的图像超分辨率重建方法，所述方法在边缘检测后对边缘进行11种不同的分类再进行重新插值。对于放大的倍数为2X2时，即，横向放大2倍，纵向放大2倍(当然本发明不限于放大2X2倍)，所述方法包括: 步骤一，初始的基于插值的超分辨率放大，以得到初始的高分辨率图像； 步骤二，对低分辨率图像进行边缘检测与提取； 步骤三，对边缘提取后的图像进行二值化处理，使非边缘点上的二值化的值均变为O，边缘点上的二值化的值为I。即，在二值化的图像上，图像边缘上的像素点值为1，其它不是边缘的像素点值全部为O ; 步骤四，置χ = O, y = O ; 步骤五，以(X，y)为高分辨率图像块的左上角，在高分辨率的图像上提取3X3大小的图像块。对低分辨率的二值化图像，以(x/2，y/2)为左上角，提取2X2大小的图像块。根据此2X2大小的边缘二值化后的图像块，对提取的高分辨率的图像块进行分类，具体可分为如下11类:分别为上边缘类、下边缘类，左边缘类、右边缘类、左下斜边缘类、右下斜边缘类、左上角边缘类、左下角边缘类、右上角边缘类、右下角边缘类、其它类；然后，根据边缘的类别，对初始放大的图像上提取的3X3大小的图像块的边缘像素点及其附近像素点，进行重新插值； 步骤六，置χ = x+2，若χ≤2ff-5(ff为低分辨率图像的宽度)，则跳到步骤五对下一个图像块进行操作； 步骤七，置y = y+2，若y≤2H-5(H为低分辨率图像的高度)，则跳到步骤五对下一个图像块进行操作； 步骤八，对当前低分辨率图像的超分辨率放大结束。得到(2W) X (2H)尺寸的高分辨率图像。
2.如权利要求1所述的加入边缘检测的图像超分辨率重建算法，其中，所述步骤二中，Canny算子具体的计算方法如下: 首先，用高斯滤波器平滑图像，也就是在通常情况下选取一个高斯平滑函数，在频域内其冲击函数为:
H(u,v) = e-Dl<uy)l2(T2 其中，D(u，v)表示的是傅里叶变换的距离，σ是曲率，H(u，v)表示高斯曲线扩展的程度；为避免边缘过于模糊，本发明利用范围小的卷积模板。 具体地，本发明采用如下的5X5的模板对低分辨率的图进行卷积运算:
3.如权利要求1所述的对边缘分类，并根据其类别重新插值的方法。 根据3X3大小的图像块中的边缘，对图像块分类的过程可描述如下。即，对高分辨率图像中提取的图像块
4.本发明中对α和β的取值为α = 0.7，β = 0.3。
【文档编号】G06T7/00GK104021523SQ201410193840
【公开日】2014年9月3日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】端木春江, 王泽思, 李林伟 申请人:浙江师范大学