基于多核高斯过程回归的图像超分辨重建方法
【专利摘要】本发明公开了一种基于多核高斯过程回归的图像超分辨重建方法，主要解决现有超分辨方法产生边缘锯齿效应和重建纹理不丰富的问题。其实现步骤是：1）获取低分辨亮度图像和插值图像，并进行分块；2）提取低分辨亮度图像块的中心像素和八邻域来训练高斯过程回归上采样模型；3）使用上采样模型预测初始高分辨亮度图像块的像素值；4）将所有的初始高分辨亮度图像块组合得到初始高分辨亮度图像；5）获取模拟低分辨图像，并进行分块；6）提取模拟低分辨图像块的中心像素训练高斯过程回归去模糊模型；7）使用去模糊模型预测高分辨亮度图像块的像素值；8）将所有的高分辨亮度图像块组合得到高分辨率亮度图像。本发明可用于视频监控、高清电视成像。
【专利说明】基于多核高斯过程回归的图像超分辨重建方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，具体地说是基于机器学习的单帧图像的超分辨重建方法，可用于视频监控、高清晰电视HDTV成像。
【背景技术】
[0002]自二十世纪八十年代起，以电荷稱合设备(Charge Coupled Device, CO))与互补型金属氧化半导体(Complementary Metal-Oxide-Semiconductor Transistor, CMOS)为代表的感光元器件被广泛用于电子成像设备中，人们获取数字图像的方式越来越简单便利。然而，在数字图像的获取过程中，由于受电子成像硬件设备的限制和场景实时环境的影响，几乎不可能获取到能包含原始场景所有信息的高分辨图像，只能得到模糊且含有噪声的低分辨图像(Low Resolution，LR)，这在很大程度上满足不了人们的视觉体验追求。因而，如何获得能包含原始场景大部分信息的高分辨率图像也就成为研究学者们关注的热点。根据图像的成像系统原理，提高图像分辨率的最直接方法是增加成像设备的感光点数量，即通过减小每个感光器的面积或增大感光器阵列的容量来增加感光点数量，从而提高像素利用率以便采集到原始场景的精细影像。但是，一方面，由于传感器面积的减小使得受到噪声污染的像元数量增多，得到的图像更加的不理想；另一方面，感光器阵列容量的增大将减慢电荷传输速率；同时，考虑到设计高精度感光器的成本非常高而且升级硬件将带来很大的技术困难，因而在实际应用中改进硬件设备的研究进展很慢。
[0003]考虑到图像本身也是一种信号，人们将解决方法从改进硬件设备转移到信号处理技术上，研究适于图像信号的处理技术以提高图像的分辨率，这种用于改善图像质量并提高图像分辨率的图像处理被称为图像超分辨(Super Resolution, SR)重建。在计算机视觉领域，越来越多的学者致力于各种提高图像分辨率的算法研究，使得SR重建技术得到快速发展。
[0004]回归模型是数理统计中发展较早、理论丰富，应用性较强的模型，核回归作为一种非线性方法，已经应用在图像处理的多个方面。在图像超分辨重建中，根据图像的先验知识来构造线性回归系数，利用得到的回归系数建立低分辨率图像块与高分辨率像素之间的映射关系。然而，这种映射关系往往是高度非线性、甚至不存在显式映射函数的。He 等人在文献“H.He and ff.Siu.Single Image Super-Resolution using GaussianProcess Regression.1n CVPR, 2011。” 中提出的高斯过程回归(Gaussian ProcessRegression, GPR)方法能很好地避免这一弊端。高斯过程回归通过高斯分布模型来寻找输入与输出的内在联系而不是一组预定义的基函数，对处理高维数、小样本、非线性等复杂问题具有很好的自适应性。He等人巧妙地将这一思想用于图像超分辨重建，验证了高斯过程回归解决超分辨问题的可行性。但是，其仅仅利用图像自身的局部结构信息作为训练样本库，使得可利用的数据信息有限，在放大因子较大和低分辨率图像能提供的信息不足的情况下，重建质量会急剧下降。
【发明内容】
[0005]本发明的目的在于针对上述已有技术的不足，提出一种基于多核高斯过程回归的图像超分辨方法，以实现单帧图像的超分辨重建，提高图像的峰值信噪比，得到重建图像的清晰边缘和丰富纹理。
[0006]本发明的技术方案包括如下步骤:
[0007](I)从网上随机下载一幅低分辨亮度图像Il ;
[0008](2)利用matlab软件中的imresize函数将低分辨亮度图像込进行双立方插值放大，放大倍数为2，得到插值图像Ih ；
[0009](3)分别对低分辨亮度图像k和插值图像^进行分块，得到N个低分辨图像块和N个插值图像块，并用这些低分辨图像块组成低分辨集Pn、用这些插值图像块组成插值集Qn ；
[0010](4)取低分辨集Pn中的第i个低分辨图像块Pi进行像素重排，得到低分辨图像块Pi的中心像素列向量a i和邻域矩阵Ai，其中i=l，…，N，N为图像块的数目；再对中心像素列向量a i与邻域矩阵Ai进行回归计算，得到高斯过程回归上采样模型Mi ；
[0011](5)取步骤(3)中的插值集Qn的第i个插值图像块Qi进行像素重排，得到插值图像块Qi的插值中心像素列向量Y i和插值邻域矩阵Ri ;再将插值邻域矩阵Ri和步骤(4)中的中心像素列向量a i与邻域矩阵Ai作为高斯过程回归上采样模型Mi的输入，进行高斯过
程回归计算，得到初始高分辨率亮度图像块0 ；
[0012](6)将i>N作为循环终止条件，如果i的值不满足i>N，则将i值增I后返回步骤
`(4)，否则直接执行步骤(7);
[0013](7)将所有的初始高分辨率亮度图像块进行组合，得到初始亮度图像& ;
[0014](8)利用matlab软件中的过滤函数imf ilter对低分辨亮度图像Ilj进行高斯低通滤波，得到模拟低分辨图像~h ;
[0015](9)分别对模拟低分辨图像/,和初始亮度图像&进行分块，得到N个模拟低分辨
图像块和N个初始亮度图像块，并用这些模拟低分辨图像块组成模拟低分辨集A，用这些初始亮度图像块组成初始亮度集Zn ；
[0016](10)取模拟低分辨集&中的第i个模拟图像块月进行像素重排，得到模拟图像块Pi的模拟中心像素列向量α和模拟邻域矩阵4;
[0017](11)对步骤(4)中的中心像素列向量a 1、邻域矩阵Ai和步骤(10)中的模拟中心像素列向量名进行回归计算，得到高斯过程回归去模糊模型;
[0018](12)取步骤(9)中的初始亮度集Zn，将集合中的第i个图像块Zi作为高斯过程回归去模糊模型I,的输入，进行高斯过程回归计算，得到高分辨亮度图像块名；
[0019](13)将i>N作为循环终止条件，如果i的当前值不满足i>N，将i值增I后返回步骤(10)，否则直接执行步骤(14)；
[0020]( 14)将所有高分辨亮度图像块之进行组合，得到高分辨亮度图像Z。
[0021]本发明的具有如下优点:[0022]1.本发明由于利用单帧图像自身的结构信息作为先验知识来训练高斯过程回归模型，利用无参数贝叶斯估计方法寻找高分辨图像与低分辨图像之间的高度非线性映射关系来实现图像的超分辨重建，可以得到边缘锐化的重建图像。
[0023]2.本发明由于利用具有不同特性的核函数，可以获得多类核函数的优点，得到更优的映射性能；在图像信息不足时，利用多核高斯过程训练模型可有效地回归图像区域的局部结构和非局部结构，预测高分辨区域，实现图像超分辨重建，得到纹理丰富的重建图像。
【专利附图】
【附图说明】
[0024]图1是本发明的总体流程图；
[0025]图2是使用本发明和现有两种方法对Baby图像进行超分辨重建得到的图像；
[0026]图3是使用本发 明和现有两种方法对Flower图像进行超分辨重建得到的图像。
具体实施方案
[0027]参照图1，本发明的实施步骤包括上采样重建和去模糊重建两部分:
[0028]一.上米样重建:
[0029]步骤1，获取插值图像IH。
[0030]从互联网上随机下载一幅大小为mXn的低分辨亮度图像II，并利用matlab软件中的imresize函数将该低分辨亮度图像Il进行2倍的双立方插值放大，得到大小为2mX 2n的插值图像IH。
[0031]步骤2，分别对低分辨亮度图像k和插值图像Ih进行分块，并对图像块进行集合。
[0032](2a)对低分辨亮度图像込进行分块，块大小为9X9，相邻块之间重叠3X3个像素，得到N个低分辨图像块，用这些低分辨图像块组成低分辨集Pn ；
[0033](2b)对插值图像Ih进行分块，块大小为18X18，相邻块之间重叠6X6个像素，得到N个插值图像块，用这些插值图像块组成插值集Qn。
[0034]步骤3，由低分辨集得到高斯过程回归上采样模型M”
[0035](3a)取低分辨集Pn中的第i个低分辨图像块Pi进行像素重排，得到低分辨图像块Pi的中心像素列向量Qi和邻域矩阵Ai，其中i=l，".，Ν，N为图像块的数目；
[0036](3al)用低分辨图像块？1中非边界像素点组成子区域Φ，区域Φ的大小为7X7，再将子区域Φ拉成列向量，得到中心像素列向量a i ;
[0037](3a2)将子区域Φ中所有像素点的各方向上的邻域排成列向量β」，其中，j=l, 2，…，8分别表示左上角邻域、正上方邻域、右上角邻域、左中邻域、右中邻域、左下角邻域、正下方邻域和右下角邻域；再将列向量组P1, β2，…，β8排成邻域矩阵Ai;
[0038](3b)对中心像素列向量α ,与邻域矩阵Ai进行回归计算，得到高斯过程回归上采样模型Mi:
[0039](3bl)定义高斯过程回归拟合函数f (X)为:
[0040]
f(x) I χ ~N(m(x)9cov(x9xf))9
[0041]式中，N是正态分布符号，χ是输入向量，m(x)为均值函数，cov(x，χ')是协方差函数，covU’x' ) =K(χ, χ' ) + σ 21，其中σ为高斯噪声方差，κ(χ, χ')是多核函数,表达式如下:
【权利要求】
1.一种基于多核高斯过程回归的图像超分辨重建方法，包括: (1)从网上随机下载一幅低分辨亮度图像込； (2)利用matlab软件中的imresize函数将低分辨亮度图像Il进行双立方插值放大，得到插值图像Ih ; (3)分别对低分辨亮度图像k和插值图像Ih进行分块，得到N个低分辨图像块和N个插值图像块，并用这些低分辨图像块组成低分辨集Pn、用这些插值图像块组成插值集Qn ; (4)取低分辨集Pn中的第i个低分辨图像块Pi进行像素重排，得到低分辨图像块Pi的中心像素列向量a i和邻域矩阵Ai，其中i = I, -,N, N为图像块的数目；再对中心像素列向量a i与邻域矩阵Ai进行回归计算，得到高斯过程回归上采样模型Mi ； (5)取步骤(3)中的插值集Qn的第i个插值图像块Qi进行像素重排，得到插值图像块Qi的插值中心像素列向量Y i和插值邻域矩阵Ri ;再将插值邻域矩阵Ri和步骤(4)中的中心像素列向量a i与邻域矩阵Ai作为高斯过程回归上采样模型Mi的输入，进行高斯过程回归计算，得到初始高分辨率亮度图像块0 ; (6)将i> N作为循环终止条件，如果i的值不满足i > N，则将i值增I后返回步骤(4)，否则直接执行步骤(7); (7)将所有的初始高分辨率亮度图像块泛进行组合，得到初始亮度图像&； (8 )利用mat I ab软件中的过滤函数imf i 11 er对低分辨亮度图像Ilj进行高斯低通滤波，得到模拟低分辨图像& ;· (9)分别对模拟低分辨图像/￡和初始亮度图像4进行分块，得到N个模拟低分辨图像块和N个初始亮度图像块，并用这些模拟低分辨图像块组成模拟低分辨隼斤用这些初始亮度图像块组成初始亮度集Zn ； (10)取模拟低分辨集4中的第i个模拟图像块g进行像素重排，得到模拟图像块月的模拟中心像素列向量和模拟邻域矩阵4 ; (11)对步骤(4)中的中心像素列向量a1、邻域矩阵Ai和步骤(10)中的模拟中心像素列向量名进行回归计算，得到高斯过程回归去模糊模型A (12)取步骤(9)中的初始亮度集Zn，将集合中的第i个图像块Zi作为高斯过程回归去模糊模型R的输入，进行高斯过程回归计算，得到高分辨亮度图像块Z (13)将i> N作为循环终止条件，如果i的当前值不满足i > N，将i值增I后返回步骤(10)，否则直接执行步骤(14)； (14)将所有高分辨亮度图像块之进行组合，得到高分辨亮度图像Z。
2.根据权利要求1所述的基于多核高斯过程回归的图像超分辨重建方法，其中步骤(4)所述的取低分辨集Pn的第i个低分辨图像块Pi进行像素重排，按如下步骤进行: (4a)将低分辨图像块Pi的非边界像素点组成的子区域Φ拉成列向量，得到图像块中心像素列向量a i ；(4b)将子区域Φ中所有像素点的各方向上的邻域排成列向量β」，其中，j = I, 2，…，8分别表示左上角邻域、正上方邻域、右上角邻域、左中邻域、右中邻域、左下角邻域、正下方邻域和右下角邻域；再将列向量组P1, β2，…，β8排成邻域矩阵Ap
3.根据权利要求1所述的基于多核高斯过程回归的图像超分辨重建方法，其中步骤(4)所述的对中心像素列向量a i与邻域矩阵Ai进行回归计算，按如下步骤进行: (4.1)将中心像素列向量a i作为高斯过程回归拟合函数A(X)的输出，邻域矩阵AJt为高斯过程回归拟合函数fi(x)的输入进行高斯过程回归计算，得到高斯过程回归拟合函数的超参数Θ i ； (4.2)将超参数Θ i代入高斯过程回归拟合函数A(X)，得到更新后的拟合函数/:(τ).将拟合函数记为高斯过程回归上采样模型Μ-
4.根据权利要求3所述的基于多核高斯过程回归的图像超分辨重建方法，其中所述的高斯过程回归拟合函数400，表达如下:
5.根据权利要求3所述的基于多核高斯过程回归的图像超分辨重建方法，其中步骤(4.1)所述的计算高斯过程回归拟合函数的超参数Θ i，通过如下公式计算:
【文档编号】G06T5/50GK103854268SQ201410116030
【公开日】2014年6月11日 申请日期:2014年3月26日 优先权日:2014年3月26日
【发明者】邓成, 唐旭, 杨延华, 许洁, 李洁, 高新波 申请人:西安电子科技大学