基于多层支持向量回归机模型的图像超分辨重建方法
【专利摘要】本发明公开了一种基于多层支持向量回归机模型的图像超分辨重建方法，主要解决现有超分辨方法存在丢失高频信息、产生振铃效应等问题。其实现步骤是：（1）分别创建训练样本库和测试样本库；（2）建立训练样本的第一层支持向量回归机模型；（3）预测高分辨亮度初始图像和初始训练图像；（4）计算初始训练图像的差值训练图像；（5）建立差值训练图像的第二层支持向量回归机模型；（6）预测高分辨亮度差值图像；（7）将高分辨亮度初始图像与高分辨亮度差值图像相加得到高分辨亮度图像。本发明重建的图像具有边缘清晰、纹理丰富、更逼近真实图像的优点，可用于视频监控、高清晰电视HDTV成像。
【专利说明】 基于多层支持向量回归机模型的图像超分辨重建方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，更进一步涉及图像超分辨重建方法，可用于视频监控、高清晰电视HDTV成像。
【背景技术】
[0002]图像的分辨率是衡量图像质量的一个重要性能指标。随着CXD和CMOS图像传感器的发明，人们获取的图像更加清晰，但是在图像的采集与处理过程中，容易受到天气条件，物理条件，人为等因素的影响，使图像质量下降。提高图像成像设备的硬件条件可以改善图像的质量，但是高密度图像传感器的价格昂贵且从技术水平上改良传感器阵列的性能几乎难以实现。为了满足人们低成本需求同时又能显著提高图像分辨率的要求，超分辨图像重建技术得到推广。
[0003]图像超分辨率重建是利用一帧或者多帧低分辨率图像通过相应的图像超分辨率重建算法，获得高分辨率图像。传统的图像超分辨率重建大致可以分为三类:基于插值、基于重构和基于学习的超分辨方法。目前单帧图像超分辨率重建技术主要基于低分辨-高分辨图像对学习一种数据对来实现单帧图像超分辨率重建。基于低分辨-高分辨数据对这类单帧超分辨重建技术也称为基于学习的超分辨重建技术。
[0004]基于学习的图像超分辨方法核心在于建立高、低分辨率图像的映射模型，其实现步骤包括构造输入/输出训练集和估计模型参数。Freeman等人在文献Freeman WT,Jones T R, Pasztor E C.“Example-based super-resolution,” IEEE Computer,Graphics and Application, 2002,22(2):56-65.中提出采用马尔科夫网络对高分辨率图像块与低分辨率图像块之间的关系以及相邻的高分辨率图像块之间的关系进行建模，由于其采用的是块-块映射，所以会产生边界效应。Karl等人在文献Karl S N, TruongQ N.“Image super-resolution using support vector regression,，，IEEE Trans onImage Processing, 2007,16 (6):1596-1610.中提出将去除中心点的低分辨率图像块作为输入，其输出为高分辨图像相应的UXU图像块，其中U为放大因子，采用支持向量回归SVR对输入/输出图像块之间的关系进行建模，形成块-块映射，然后对低分辨测试图像块进行预测得到高分辨率图像块，但该建模忽略了低分辨率图像块中心点的重要作用，使得预测的图像块的高频部分信息缺失，产生边界效应。为此，Dalong Li等人在文献LiDalong, Simske S.“Example based single-frame image super-resolution by supportvector regression,，，Journal of Pattern Recognition Research, 2010:104-118.中进一步对基于SVR的超分辨方法进行了改进，其实现步骤是:先将图像进行插值得到插值图像；再将原始高分辨图像与插值图像的相减得到误差图像；然后将插值图像和误差图像进行分块，把插值图像块作为输入，把误差图像块的中心像素作为输出，采用支持向量回归SVR方法对输入图像块与输出像素点之间的关系进行建模，形成块-点映射，最后对插值后的高分辨率测试图像块进行预测，得到误差图像块的中心像素点。这种采用块-点的映射来代替块-块的映射，避免了边界效应，使得图像更为平滑。然而，这种方法的性能要完全依赖于训练样本库，如果样本选择不好，就难于实现较好的图像超分辨重建。
【发明内容】
[0005]本发明的目的在于针对上述已有技术的不足，提出一种基于多层支持向量回归机模型的图像超分辨重建方法，以在任意训练样本库的条件下，实现单帧图像的超分辨重建，提高图像的峰值信噪比，得到重建图像的清晰边缘和丰富纹理。
[0006]本发明的技术方案是这样实现的:
[0007]本发明利用多层SVR模型恢复尽可能多的细节信息，同时，考虑到图像整体结构差异性过大，将图像分为水平边缘部分，垂直边缘部分和非边缘部分进行训练，以利于突出图像的局部特征；在训练数据集的同时，本发明按照像素在图像中所处的空间位置，对SVR模型的输入集进行不同的加权，使得对输出贡献大的输入像素能得到更大的权值。从而实现单帧图像的超分辨重建，得到边缘清晰、纹理丰富的高分辨率图像。
[0008]其实现步骤包括如下:
[0009]( I)创建高分辨亮度图像和低分辨亮度图像训练样本库；
[0010](2)创建低分辨亮度图像测试样本库；
[0011](3)使用横向边缘矩阵
【权利要求】
1.一种基于多层支持向量回归机模型的图像超分辨重建方法，包括: (1)创建高分辨亮度图像和低分辨亮度图像训练样本库； (2)创建低分辨亮度图像测试样本库；
(3)使用横向边缘矩阵
2.根据权利要求1所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中所述步骤(5)中建立水平边缘训练图像I3与高分辨亮度训练图像I1之间映射关系的第一层水平边缘支持向量回归机模型G1，按如下步骤进行: (5a)将水平边缘训练图像I3中像素值不为零的像素点组成水平训练点集Ω ； (5b)根据水平训练点集Ω中每个像素点在水平边缘训练图像I3中所处的位置找到低分辨亮度训练图像I2中对应位置的像素点组成集合，得到低分辨训练点集Ψ，再以低分辨训练点集Ψ中的每个像素点为中心在低分辨亮度训练图像I2中得到大小为3X3的子区域，将每个子区域拉成九列的行向量Cii，其中i = I, -,n, η为低分辨训练点集Ψ中像素点的个数，得到一组行向量ct 1；…，a j, i = I,..., η,并将向量组α 1；…，a i； i = I,…，η排成水平训练矩阵(5c)将低分辨训练点集Ψ中的每个像素点映射成高分辨率亮度训练图像I1中的2X2子区域，并将每个2X2子区域拉成列向量Yi，其中i = 1，...，!!，η为低分辨训练点集Ψ中像素点的个数，得到一组列向量Y1,…，Y ii? = I，…，并将列向量组Y1,…，Yi7I =I，…，η排成低分辨训练矩阵R e W4xl1 ； (5d)对行向量Cii中的每个像素进行不同的加权，用所加的权值构成空间位置权值行向量心其中j = 1,2, 3，4分别表示左上角、右上角、左下角和右下角，即左上角权值向量O1、右上角权值向量ω2、左下角权值向量和右下角权值向量ω4 ;将每个空间位置权值行向量广充为η行的矩阵，得到空间位置权值矩阵％ efx9，即左上角权值矩阵Wp右上角权值矩阵W2、左下角权值矩阵W3和右下角权值矩阵W4 ； (5e)将低分辨亮度训练图像I2进行非线性变换，得到在高维特征空间中的低分辨数据集X，再利用非线性支持向量回归机拟合函数f(x)对低分辨数据集X和高分辨率训练图像I1进行回归计算，得到超参数集Θ: (5el)取低分辨训练矩阵R的第j行向量μ j，其中j = I,…，4，将行向量μ j作为非线性支持向量回归机拟合函数输出；将水平训练矩阵A与权值矩阵^进行矩阵点乘得到训练矩阵Mp将该训练矩阵作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算，得到非线性支持向量回归机拟合函数的超参数Θ j ； (5f)根据j的取值情况，利用超参数Θ j建立相应的第一层水平边缘支持向量回归机模型G1: 当j = l时，将超参数Q1R入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f/ (X)，将该拟合函数f/ (X)记为2X2区域的左上角第一层水平边缘支持向量回归机模型G11 ； 当j = 2时，将超参数92代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f2' (X)，将该拟合函数fV (X)记为2X2区域的右上角第一层水平边缘支持向量回归机模型G12 ； 当j = 3时，将超参数93代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f3' (X)，将该拟合函数f3' (X)记为2X2区域的左下角第一层水平边缘支持向量回归机模型G13; 当j =4时，将超参数94代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数f/ (X)，将该拟合函数f/ (X)记为2X2区域的右下角第一层水平边缘支持向量回归机模型G14; 将左上角第一层水平边缘支持向量回归机模型G11、右上角第一层水平边缘支持向量回归机模型G12、左下角第一层水平边缘支持向量回归机模型G13和右下角第一层水平边缘支持向量回归机模型G14组成集合，得到第一层水平边缘支持向量回归机模型G1 ={Gn, G12, G13, G14I。
3.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤(6)所述的将水平边缘图像I3作为第一层水平边缘支持向量回归机模型G1的输入，得到水平边缘高分辨亮度图像Y1，按如下步骤进行: (6a)取第一层水平边缘支持向量回归机模型G1 = {Gn, G12, G13, G14I的左上角第一层水平边缘支持向量回归机模型G11,将训练矩阵M1作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归机计算，得到左上角矩阵Ttl ； (6b)按照计算左上角矩阵Ttl的方法，分别计算右上角矩阵Tta、左下角矩阵Tbl和右下角矩阵Tfc ； (6c)将左上角矩阵Ttl、右上角矩阵Ite、左下角矩阵Tbl和右下角矩阵Tfc结合成一个大矩阵，得到水平边缘高分辨亮度图像I。
4.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤(8)所述的建立水平边缘训练图像I3与差值训练图像Q之间映射关系的第二层水平边缘支持向量回归机模型B1，按如下步骤进行: (8a)将低分辨训练点集Ψ中的每个像素点映射到差值训练图像Q，得到大小为2X2的子区域，将每个2X2子区域拉成列向量r其中i = 1，…，η，η为低分辨训练点集Ψ中像素点的个数，得到一组列向量只，…只i= I.,.，并将列向量组只，一，^_ = 1，一，11排成差值训练矩阵々e W4x"; (Sb)对行向量Cii中的每个像素进行不同的加权，用所加的权值构成空间位置权值行向量巧G^lx9,，其中j = I, 2，3，4分别表示左上角、右上角、左下角和右下角，即左上角权值向量W1、右上角权值向量ω左下角权值向量和右下角权值向量?4 ;将每个空间位置权值行向量邑扩充为η行的矩阵，得到空间位置权值矩阵即左上角权值矩阵$、右上角权值矩阵A、左下角权值矩阵和右下角权值矩阵(Sc)建立第二层水平边缘支持向量回归机模型B1:(8cl)取差值训练矩阵及的第j行向量為，其中j = 1，…，4，将行向量忍作为非线性支持向量回归机拟合函数f(x)的输出；将水平训练矩阵A与权值矩阵#7:进行矩阵点乘得到低分辨矩阵，将低分辨矩阵I,作为非线性支持向量回归机拟合函数f(x)的输入进行支持向量回归机计算，得到非线性支持向量回归机拟合函数的超参数^ ; (8c2)根据j的取值情况，利用超参数&建立相应的第二层水平边缘支持向量回归机模型B1: 当j = I时，将超参数^代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数:尤(.0，将该拟合函数?'(χ)记为2X2区域的左上角第二层水平边缘支持向量回归机模型B11 ； 当j = 2时，利用超参数尾代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数尤(.0，将该拟合函数Λ'(.0记为2X2区域的右上角第二层水平边缘支持向量回归机模型B12 ；当j = 3时，利用超参数总代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数i；U)，将该拟合函数irCr)记为2X2区域的左下角第二层水平边缘支持向量回归机模型B13 ； 当j = 4时，利用超参数&代入非线性支持向量回归机拟合函数f(x)中，得到更新后的拟合函数fl(x)，将该拟合函数/4'(x)记为2 X 2区域的右下角第二层水平边缘支持向量回归机模型B14 ； 将左上角第二层水平边缘支持向量回归机模型Bn、右上角第二层水平边缘支持向量回归机模型B12、左下角第二层水平边缘支持向量回归机模型B13和右下角第二层水平边缘支持向量回归机模型B14组成集合，得到第二层水平边缘支持向量回归机模型B1 ={Bid Bi2，B13, B14I。
5.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤(9)所述的将水平边缘测试图像H2作为第一层水平边缘支持向量回归机模型G1的输入，得到水平边缘高分辨亮度测试图像P1，按如下步骤进行: (9a)将水平边缘测试图像H2中像素值不为零的像素点组成水平测试点集Ω*; (9b)根据水平测试点集Ω*中每个像素点在水平边缘测试图像H2中所处的位置找到低分辨亮度测试图像H1中对应位置的像素点组成集合，得到低分辨测试点集Ψ%再以低分辨测试点集Ψ*中的 每个像素点为中心在低分辨亮度测试图像H1中得到大小为3X3的子区域，将每个子区域拉成行向量α〖，其中i = I, -,n, η为低分辨测试点集Ψ*中像素点的个数，得到一组行向量叫'…，《>‘ = 1，…，η，并将行向量组…,《,V = I,…，ιι排成水平测试矩阵Ze9Tx9; (9c)将水平测试矩阵k*与左上角权值矩阵W1进行矩阵点乘得到测试矩阵Mtl，将测试矩阵Mtl作为左上角第一层水平边缘支持向量回归机模型G11的输入进行支持向量回归计算，得到左上角矩阵T*tl ;按照计算左上角矩阵T*tl的方法，计算右上角矩阵7；、左下角矩阵g和右下角矩阵I:; (9d)将左上角矩阵T*tl、右上角矩阵/ ￡下角矩阵:^和右下角矩阵7；:结合成一个大矩阵，得到水平边缘高分辨亮度测试图像P”
6.根据权利要求1或2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤(11)所述的将水平边缘测试图像H2作为第二层水平边缘支持向量回归机模型BI的输入，得到水平边缘高分辨亮度测试图像^，按如下步骤进行: (Ila)将水平测试矩阵A*与左上角的权值矩阵巧进行矩阵点乘得到差值测试矩阵Mtl，将差值测试矩阵汾,作为左上角第二层水平边缘支持向量回归机模型B11的输入进行支持向量回归计算，得到左上角矩阵7；,按照计算左上角矩阵$的方法，分别计算右上角矩阵ζ、左下角矩阵6和右下角矩阵忍；(Ilb)将左上角矩阵?、右上角矩阵€、左下角矩阵$和右下角矩阵ζ结合成一个大矩阵，得到水平边缘高分辨亮度测试图像月。
7.根据权利要求2所述的基于多层支持向量回归机模型的图像超分辨重建方法，其中步骤(5e)所述的非线性支持向量回归机拟合函数f(x)，其表达式如下:
【文档编号】G06T5/50GK103761723SQ201410029364
【公开日】2014年4月30日 申请日期:2014年1月22日 优先权日:2014年1月22日
【发明者】邓成, 许洁, 杨延华, 谢芳, 李洁, 高新波 申请人:西安电子科技大学