基于预测梯度的图像插值方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种基于预测梯度的图像插值方法及系统。
【背景技术】
[0002] 图像的空间分辨率是人类视觉系统观察数字图像的一个重要特性，分辨率越高， 人眼就能获得越多的图像细节信息。在许多领域都需要高分辨率的数字图像，比如:人脸识 另IJ，军事雷达图像处理，生物医学切片分析以及数字高清电视的应用等。总的来说，提高图 像分辨率的方式有两种，一种是对图像的采集设备进行升级，另一种就是利用软件的方式 来提高已采集到的数字图像的空间分辨率。虽然在过去的几十年中，随着数码摄像机传感 器设备的发展，便携式摄像机或者是扫描器都已经取得了较大的进步，但是利用软件的方 式提高数字图像的分辨率仍然是必不可少的。利用软件的方法提高图像分辨率可以被视为 一种实用且经济的解决方法，也可以作为硬件系统的一个附加设备。
[0003] 图像插值是图像处理过程中一个重要的步骤，它是图像数据再生的一个过程，目 的在于将一幅低分辨率(LR)图像通过增加像素的方式变成一幅高分辨率(HR)图，这样能够 保存自然图像的特性。
[0004] 在过去的几十年中，基于时间复杂度和重建质量的权衡，各种各样的图像插值方 法相继被提出。这些插值方法可以被粗略地分为两大类:一种是传统的线性插值方法，另一 种就是后来改进的非线性插值方法。这两类方法的主要不同点在于，传统的线性插值方法 对于整幅图像采用不变的卷积内核而不考虑图像的结构信息;但是改进的非线性插值方法 会对图像的不同部分采用不同的插值策略，比如对人类视觉系统不太重要的背景部分，采 用简单的线性插值方法处理，而对人类视觉系统有重要影响的边缘部分则需要根据边缘的 方向，强弱等采用不同的插值策略。
[0005] 传统的线性插值方法包括最近邻插值，双线性插值，双三次插值以及其他一些稍 作改进的方法。这些方法的时间复杂度较低，在处理图片时消耗的CPU时间也相对比较少。 但是，这类方法只是简单地从数学的角度增加图像的像素数，并不能适应不同场景下的像 素结构。最后，插值得到的图像显得比较模糊即使在较平坦的区域或者背景部分可以取得 较好的插值结果。所以，为改善插值图像的视觉质量，一些改进的非线性插值方法应运而 生。
[0006] 改进的非线性插值方法，主要包括基于协方差，小波，边缘信息以及机器学习理论 的插值方法。由于协方差矩阵能够显示局部边缘的方向，所以基于协方差的图像插值方法 成为近几年图像插值的热点，其中最具代表性的就是Li和Orchard提出的NEDI (New Edge-Directed Interpolation)方法。 它的主要思想是首先假设每个点的梯度值是它周围四个 对角线上邻近点的加权平均，那么这四个加权系数就反映了图像的局部结构特征。然后在 低分辨图像上利用一个8 X 8的窗口来计算协方差系数，通过计算得到的协方差系数来确定 每个像素周围的加权系数从而进行插值。后来，Zhang和Wu提出了另一种基于协方差系数的 方法叫做SAI(soft-decision interpolation)。这种方法与NEDI相比主要的不同点在于它 同时计算一个像素块的插值权重，这样的话，在每一步，它都可以对一个像素块进行插值。 通过这种像素块估计和分段自回归模型，SAI插值方法相比较NEDI方法可以获得更好的插 值结果，但同时也需要消耗更多的计算时间。
[0007] 由于小波具有多分辨率分析功能和逐渐局部细化等性质，基于小波的插值方法也 相继被提出。正交小波分解后各层子带之间具有相似性，若能准确地得到图像的高频细节， 利用重构的理论，就可以得到分辨率高一倍的图像。传统的基于小波的插值方法是对原图 像进行小波分解，利用低分辨率图像的高频信息预测高分辨率图像的高频信息，然后通过 某种方法估计高分辨率图像中的低频信息，就可以重构出高分辨率的图像。Carey和Chuang 等人利用图像边缘在各个尺度中的衰减系数来构造最佳的小波，然后根据已有的小波分解 信息对图像进行插值。小波基的选择在基于小波的图像插值算法中占据举足轻重的地位。
[0008] 基于边缘信息的图像插值方法的核心思想是对非边缘像素点采用无方向的传统 的插值方法进行插值，而对于边缘像素点则采用有方向的插值方法。其中效果比较好的方 法就是We i和Ma提出的基于图像边缘对比度的插值方法CGI ( contras t-gui ded interpolation)的方法。该方法先对整幅图像采用传统插值方法(如双三次插值），然后在 插值完成的高分辨率图像上采用边缘检测算子检测出边缘，对于检测出来的边缘点根据像 素点所处的边缘方向采用有方向的插值方法(如一维三次样条插值)进行更新。而本发明提 出的基于预测-校验的图像插值方法也是一种基于图像边缘的插值方法。
[0009] 近些年，随着机器学习理论的快速发展及其在各个领域的广泛应用，基于机器学 习的图像插值方法越来越受到关注。其中较为代表性的就是基于稀疏编码的图像插值方 法。这种方法首先需要训练一个插值用的字典，然后根据原始图像图片与字典中参考图片 的稀疏关系来获得高分辨率的插值图像。但是，这种方法与训练得到的字典数据库高度相 关，并且不同内容的图片插值得到的结果也会不一样。结果，当原始图像图片不是自相似的 或者在字典数据库中找不到相似的图像块时，插值得到的图片的质量会不太好，并且会产 生一些人工伪迹。
[0010] 如果数据库很大的话，离线训练过程和图像插值在线搜索过程将会消耗很长时 间，而且所需要的电脑内存也是需要解决的一个问题。
【发明内容】
[0011] 针对上述问题，本发明提供一种更好的保留了边缘，纹理信息的基于预测梯度的 图像插值方法及系统。
[0012] 为达到上述目的，本发明基于预测梯度的图像插值方法，包括：
[0013] 判断待插值像素是否为边缘像素，
[0014] 若该待插值像素为非边缘像素，则采用线性插值方法进行插值得到高分辨率图 像；
[0015] 若该待插值像素为边缘像素，则采用非线性插值方法进行插值得到高分辨率图 像。
[0016] 进一步地，判断待插值像素是否为边缘像素具体包括：
[0017]计算低分辨率图像上所有像素的梯度值，梯度值计算公式为：
[0018] ，％指像素（i，j)上的梯度值，％是1^图像的方向导数，θ 代表所计算梯度的方向，So是Sobel边缘检测器，*是卷积操作；
[0019] 采用预测方法选择待插值像素周围的像素 h(i，j)的梯度值预测该待插值像素的 梯度值公式表不如下：後'》ψ为一种预测方法；
[0020] 计算该待插值像素正交方向上的梯度差值，将该梯度插值与预定的阈值进行比 较，
[0021] 若大于或等于所述阈值，则该待插值像素为边缘像素；
[0022] 若小于所述阈值，则该待插值像素为非边缘像素。
[0023]进一步地，所述预测方法包括:双三次预测、基于预插值图片的预测。
[0024] 进一步地，所述的非线性插值方法具体包括：
[0025] 对边缘像素进行扩散，并计算扩散后的梯度；
[0026] 基于低分辨图像LR的像素 h(i，j)，对处理高分辨图像对角上的像素进行插值，其 中，
[0027] ~> f, IA= Ih(i-1, j-1),Ib = Ih(i+1, j+1) ,Ic = Ih(i~3, j-3)l^l 及 lD=Ih(i+3，j+3)。
[0028] 若 U135(i，j)-U45(i，j)>T，IA=Ih(i+l，j+l)，lB = Ih(i_l，j_l)，Ic = Ih(i+3, j+3)以 及 lD=Ih(i-3，j-3);
[0029] 基于低分辨率图像的h(i，j)以及处理图像插值得到的对角像素 Ih(2i，2j)，对余 下的水平和垂直方向上的像素进行处理，插值公式下如所示：
[0030] Ι〇= ω (Ia+Ib) + (1_w )(Ic+Id)
[0031 ]若 ~ ^.身.1》> 玄，Ia= Ih(i_l，j)，Ib= Ih(i+1，j)，Ic= Ih(i_3，j)以及Id = Ih(i+3，j)〇
[0032]若％逛難齋，iA=ih(i，j-i)，iB=ih(i，j+i)，i c=ih(i，j-3)以及iD = Ih(i，j+3);
[0033] 其中，Ia，Ib，Ic和Id是已知像素，Ici是待插像素，ω是可调参数，T是一个阈值。
[0034] 进一步地，ω 为 17/40，Τ = 0·08。
[0035] 为达到上述目的，本发明基于预测梯度的彩色图像插值方法，包括：
[0036] 将彩色图像从RGB颜色空间转到Lab颜色空间；
[0037] 分离亮度分量L、色度分量a，b;
[0038] 色度分量a，采用线性插值方法进行插值处理；
[0039] 亮度分量L采用权利要求1至5任一所述的基于预测梯度的图像插值方法进行插 值。
[0040] 进一步地，彩色图像从RGB颜色空间转到Lab颜色空间，具体包括： ] 将原始的rgb色彩分量通过Gamma矫正为RGB色彩分量
[0042] R = gamma(r)，G = gamma(g)，B = gamma(b) (r，g，be [0 · 255])
[0043]
[0044] 将RGB模式转换为XYZ模式
[0045] [X，Y，Z]=[M]*[R，G，B]
[0046] 其中，Μ是一个3X3的矩阵；
[0047] 将ΧΥΖ模式转换为Lab模式
[0048]
[0049]
[0050] 其中，f是矫正函数，H