基于多输出最小二乘支持向量回归的图像超分辨方法
【专利摘要】本发明公开了一种基于多输出最小二乘支持向量回归的图像超分辨方法，主要解决现有图像分辨率低的问题。其实现步骤为：(1)建立HR亮度图像和LR亮度图像的样本库，并创建LR图像矩阵和HR图像矩阵；(2)根据图像矩阵创建实现3倍放大的训练集和测试集；(3)利用训练集训练多输出最小二乘支持向量回归机预测模型；(4)使用最小二乘支持向量回归预测模型估计测试集中的低分辨率图像矩阵的高分辨率亮度图像；(5)利用图像自相似性对估计的高分辨率亮度图像进行更新，得到最终的高分辨率图像。本发明不仅运行时间短，而且能够有效地提高图像分辨率，可用于改善卫星图像、高清晰电视成像质量。
【专利说明】基于多输出最小二乘支持向量回归的图像超分辨方法
【技术领域】
[0001]本发明属于图像处理领域，具体的说是一种提高图像分辨率的方法，该方法可用于改善卫星图像、高清晰电视成像质量。
【背景技术】
[0002]自二十世纪七十年代以来，电荷耦合设备CXD与互补型金属氧化半导体CMOS图像传感器被广泛地用于采集数字图像。虽然这些传感器适于大多数的图像应用，但是现有的分辨率级别和昂贵的硬件成本都不能满足人们的需求，需要找到可以增加当前图像分辨率的方法。
[0003]一个有前途的方法是利用信号处理技术从观测到的多帧低分辨率LR图像中获得高分辨率HR图像或序列，称为图像超分辨SR重建。图像超分辨技术可以在不改变硬件条件的前提下，重建出已丢失的成像系统截止频率外的信息，得到高于成像系统分辨率的图像，以达到改善和提高图像质量的目的。
[0004]通常，图像超分辨重建方法可分为三种类型:基于插值的方法、基于重构的方法和基于实例学习的方法。基于插值的方法是最简单的图像超分辨重建方法，如双线性插值、双立方插值和Lanczos插值等,这些插值算法简单高效,但视觉效果并不理想,得到的图像较模糊；基于重构的方法采用信号处理技术，充分利用图像的先验信息有效地对超分辨重建病态问题进行解空间的约束，从而求解病态问题的稳定解，进一步实现图像超分辨重建，但该方法通常很难引入先验约束且不能保证能有稳定的收敛特性；基于实例学习的方法主要是通过学习低分辨与高分辨图像之间的映射关系，预测低分辨图像中丢失的高频细节信息，从而实现高分辨图像的重建。
[0005]目前，单帧图像超分辨重建主要采用基于实例学习的方法，根据高分辨图像重建过程中实例样本的构造方式和学习算法的不同，人们提出了不同的实例学习超分辨算法。Freeman 等人在文献 Freeman W T, Jones T R and Pasztor E C.“Example-basedsuper-resolution,，，IEEE Computer Graphics and Application, 2002, 22(2):56-65.首次提出使用Markov网络建立低分辨图像和高分辨场景之间的关系模型，通过信令传播算法进行高分辨图像的最大后验估计实现超分辨重建。然而，该方法依赖于大量样本进行实例学习，因此计算复杂度较高。Ni等人在文献Karl S N, Truong Q N.“Imagesuper-resolution using support vector regression, ”IEEE Trans on ImageProcessing, 2007, 16 (6): 1596-1610.中采用支持向量回归SVR对去除中心点的低分辨率图像块和相应的初始高分辨图像块进行建模，通过建立的模型来预测最终的高分辨图像。但是，Ni等人在建立回归模型时将一个低分辨率点对应的m个高分辨率点分成m个独立的任务，使得单个高分辨率像素点作为输出，导致重建的像素点之间很难保持一致性。
【发明内容】
[0006]本发明的目的在于针对上述已有技术的不足，提出一种基于多输出最小二乘支持向量回归的图像超分辨方法，以简化计算复杂性，提高图像的分辨率。
[0007]实现本发明目的技术方案包括如下步骤:
[0008](I)建立高分辨率亮度图像和低分辨率亮度图像的样本库:在网上随机下载t幅高分辨率图像，经下采样3倍后得到t幅低分辨率图像，将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间，提取每幅图像的亮度分量Y生成高分辨率和低分辨率亮度图像样本库；
[0009](2)利用高分辨率和低分辨率亮度图像样本库,创建低分辨率图像矩阵和高分辨率图像矩阵
[0010](3)利用低分辨率图像矩阵μ,L和高分辨率图像矩阵供L，创建实现3倍放大的训练集和测试集:
[0011](3a)从高分辨率图像矩阵{//上,和低分辨率图像矩阵μ,L中随机选取10幅图像
对应的矩阵，从每个低分辨率图像矩阵L中任意选取50个行向量，在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量，将10幅图像中选取的50个行向量拼接，生成大小为500X9的低分辨率矩阵Iu^P大小为500X9的高分辨率矩阵Ihk ;将低分辨率矩阵Iui和高分辨矩阵Ihk作为一组训练集，分别用于训练回归模型时的输入和输出；
[0012](3b)将剩余的η幅图像对应的低分辨率图像矩阵gL作为测试集；
[0013](4)训练多输出最小二乘支持向量回归机预测模型:
[0014](4a)取训练集中的低分辨率矩阵Iui作为输入，高分辨率矩阵Ihk作为输出，利用多输出最小二乘支持向量回归机模型训练超参数α和阈值b;
[0015](4b)利用超参数α和阈值b得到多输出最小二乘支持向量回归预测模型；
[0016](5)初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像f ;
[0017](5a)将测试集中的低分辨率矩阵L作为最小二乘支持向量回归机预测模型的输入，预测出高分辨率矩阵/?;
[0018](5b)将预测得到的高分辨率矩阵F的每个行向量排成3X3的图像块，并按照从左到右，从上到下的顺序排成高分辨率亮度图像I,每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数；
[0019](6)利用图像自相似性更新高分辨率亮度图像I以得到最终的高分辨率亮度图像
[0020](6a)将预测出的高分辨率亮度图像I分割成5X5的图像块，对于每个以像素Xi为中心的图像块焉,取以像素Xi为中心的13 X 13区域内与图像块兄相似的图像块毛，其中图像块4的中心像素为X」，大小为5X5 ;
[0021](6b)计算图像块3|和它 的相似图像块^的相似性权值Hf:
【权利要求】
1.一种基于多输出最小二乘支持向量回归的图像超分辨方法，包括如下步骤: (1)建立高分辨率亮度图像和低分辨率亮度图像的样本库:在网上随机下载t幅高分辨率图像，经下采样3倍后得到t幅低分辨率图像，将这些高分辨率图像和低分辨率图像映射到由亮度和色度分量组成的YIQ空间，提取每幅图像的亮度分量Y生成高分辨率亮度图像样本库和低分辨率亮度图像样本库； (2)利用高分辨率亮度图像样本库和低分辨率亮度图像样本库,创建低分辨率图像矩阵IL, L和高分辨率图像矩阵{H, L ； (3)利用低分辨率图像矩阵和高分辨率图像矩阵，创建实现3倍放大的训练集和测试集: (3a)从高分辨率图像矩阵{从丨^和低分辨率图像矩阵丨4忆中随机选取10幅图像对应的矩阵，从每个低分辨率图像矩阵L中任意选取50个行向量，在相应的高分辨率图像矩阵H中按照对应位置选取50个行向量，将10幅图像中选取的50个行向量拼接，生成大小为500X9的低分辨率矩阵Iui和大小为500X9的高分辨率矩阵Ihk ;将低分辨率矩阵Iui和高分辨矩阵Ihk作为一组训练集，分别用于训练回归模型时的输入和输出； (3b)将剩余的η幅图像对应的低分辨率图像矩阵作为测试集； (4)训练多输出最小二乘支持向量回归机预测模型: (4a)取训练集中的低分辨率矩阵Iu(作为输入，高分辨率矩阵Ihr作为输出，利用多输出最小二乘支持向量回归机模型训练超参数α和阈值b; (4b)利用超参数α和阈值b得到多输出最小二乘支持向量回归预测模型； (5)初始估计测试集中的低分辨率图像矩阵L的高分辨率亮度图像I..(5a)将测试集中的低分辨率矩阵L作为最小二乘支持向量回归机预测模型的输入，预测出高分辨率矩阵Jt; (5b)将预测得到的高分辨率矩阵i/的每个行向量排成3X3的图像块，并按照从左到右，从上到下的顺序排成高分辨率亮度图像每行包含的图像块和每列包含的图像块等于低分辨率图像的行数和列数； (6)利用图像自相似性更新高分辨率亮度图像i以得到最终的高分辨率亮度图像 (6a)将预测出的高分辨率亮度图像f分割成5X5的图像块，对于每个以像素Xi为中心的图像块ξ.,在以像素Xi为中心的13 X 13区域内，取与图像块萬相似的图像块?/.图像块T的中心像素为X」，大小为5X5 ; (6b)计算图像块萬和它的相似图像块&的相似性权值
2.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤(2)中创建低分辨率图像矩阵按如下步骤进行: (2a)对于低分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3X3图像块； (2b)将每幅低分辨率亮度图像得到的3X3的图像块拉成行向量，由此得到t幅低分辨率图像对应的t个低分辨率图像矩阵fi^=l，该低分辨率图像矩阵的行数为图像像素点数，列数为9。
3.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤(2)中创建高分辨率图像矩阵Ud,，按如下步骤进行: (2c)对于高分辨率亮度图像样本库中的每幅图像按照从左到右、从上到下的顺序取以图像中每个点为中心像素点的3X3图像块； (2d)将每幅高分辨率亮度图像得到的3X3的图像块拉成行向量，由此得到t幅高分辨率亮度图像对应的t个高分辨率图像矩阵{/?..,，该高分辨率图像矩阵的行数为低分辨率图像像素点数，列数为9。
4.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤(4a)中的多输出最小二乘支持向量回归机模型的表达式:
5.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤(4a)中超参数α和阈值b的求解过程如下:(4al)将多输出最小二乘支持向量回归问题中的权值矩阵, 写为基础矩阵与偏差矩阵
6.根据权利要求1所述的基于多输出最小二乘支持向量回归的图像超分辨方法，其中所述步骤(4b)的多输出最小二乘支持向量回归预测模型，表示如下:
【文档编号】G06T5/50GK103903240SQ201410140097
【公开日】2014年7月2日 申请日期:2014年4月9日 优先权日:2014年4月9日
【发明者】邓成, 许洁, 杨延华, 叶宋杭, 李洁, 高新波 申请人:西安电子科技大学