专利名称：基于改进的稀疏表示的图像超分辨率方法
技术领域：
本发明涉及一种图像超分辨率方法，特别涉及一种采用稀疏表示进行处理和分析图像的基于改进的稀疏表示的图像超分辨率方法。
背景技术：
图像超分辨率技术旨在克服成像传感器固有的分辨率等物理特征的限制，将低分辨率图像转成高分辨率图像，从而带来更好的视觉体验。提高图像分辨率的方式有两种，一种是直接改进成像系统的硬件设备，另外一种是采用信号处理的方法。目前，从物理光学理论上来说，传感器的制造工艺技术已经达到了极限水平，可以获得硬件提供的极限分辨率。此外，高成本的高精度传感器也驱使我们寻找 其他解决方案。随着图像处理技术以及信号处理理论的不断发展，出现了采用一幅或多幅同一场景的低分辨率图像，结合图像表示和特征分析等技术进行图像超分辨率的方法，这些方法具有成本低、灵活性强的特点。图像超分辨率是图像处理领域的一个热门研究领域，自1984年Huang和Tsai首次提出利用多帧序列低分辨率图像来重构高分辨率图像，发展到如今先进的基于稀疏表示的图像超分辨率方法，人们一直致力于探讨既可以得到更好效果，又能用于实时处理的方法。但是，现阶段的方法主要是基于学习的方法，该类方法的关键在于图像表示的特征以及先验模型，直接影响着图像的边缘和纹理效果，以及法的处理效率。因此，特别需要一种基于改进的稀疏表示的图像超分辨率方法，以解决上述现有存在的问题。
发明内容
本发明的目的在于提供一种基于改进的稀疏表示的图像超分辨率方法，针对现有技术的不足，可以获得较好的边缘和纹理效果，以及具有不错的处理效率。本发明所解决的技术问题可以采用以下技术方案来实现一种基于改进的稀疏表示的图像超分辨率方法，其特征在于，它包括如下步骤(I)训练阶段I)图像样本采集，通过摄像机采集大量的高分辨率图像，包括建筑物、动物、花草、人等;2)图像特征提取，首先，对采集到的高和低分辨率图像样本随机提取一对图像块作为图像特征；然后，根据所设定的实验偏差阈值对图像特征进行裁剪，保留信息量大的图像特征；最后，对图像特征进行归一化处理；3)图像特征分类，根据上述步骤中得到的图像特征进行分类，使每一类更具有结构性，并保存所有的聚类中心值；
4)训练超完备字典，根据上述步骤中得到的各类特征，采用稀疏编码训练得到相等类别的子字典，并与上述步骤中得到的聚类中心值合并成为一个整体的超完备字典；(2)重构阶段I)预处理，对待测低分辨率图像应用双三次插值法升采样得到目标寸大小的图像，并将图像转化为YCbCr格式；2)图像块特征提取，以重叠块的方式提取低分辨率图像的图像块特征，根据上述步骤得到的聚类中心值确定该特征属于哪一类特征，同时也保存该图像块的平均像素值；3)稀疏编码，根据上述步骤中得到的各类特征选择对应类的低分辨率子字典进行稀疏编码求得稀疏表示系数，结合高分辨率子字典得到高分辨率的图像块特征，并与上述步骤中保存的对应图像块的平均像素值相加得到最终的高分辨率图像块；
4)全局优化首先，将上述步骤中得到的所有高分辨率图像块按对应位置叠加后取平均值；然后，与上述步骤中得到的Cb和Cr通道合并转化为原来的图像格式；最后，利用迭代反向投影法进行全局优化后，输出结果图像。在本发明的一个实施例中，在上述训练阶段的步骤2)中，所述低分辨率图像是再次经过对步骤I)中的低分辨率图像进行双三次插值升采样得到的。在本发明的一个实施例中，所述图像特征分别包括边缘特征和纹理特征，首先，对高分辨率图像块利用Canny算法提取二值边缘图像，对低分辨率图像求一阶和二阶导得到四幅梯度图像；然后，以图像块中心点是否为边缘像素为基准，分别得到边缘图像块和纹理图像块。在本发明的一个实施例中，低分辨率图像提取的是梯度特征，高分辨率图像提取的是图像块像素减去其平均像素值的值。在本发明的一个实施例中，所述实验偏差阈值设定为10，若图像块征大于该阈值，则保留，否则丢弃。在本发明的一个实施例中，在上述训练阶段的步骤3)中，所述特征分类过程包括首先，对低分辨率图像特征进行分类，并得到各类的聚类中心值；然后，根据已经分好类的低分辨率图像特征，以对号入座的方式对高分辨率图像特征进行分类；在本发明的一个实施例中，所述聚类中心值采用了有重叠的聚类方法，在保持原有的聚类中心值不变的情况下，通过计算使各类的边缘点同时属于多个类，降低因信息分散而造成的误差。在本发明的一个实施例中，在上述重构阶段的步骤2)中，图像块的大小根据超完备字典给定的信息确定，其重叠像素值则可以自由确定；所述图像块特征包括边缘特征和纹理特征。在本发明的一个实施例中，在上述重构阶段的步骤4)中，所述高分辨率图像块叠加取均值后，还要对此时像素值为零的像素进行填充，填充的值为升采样的低分辨率图像的照度通道的对应像素值。与现有技术相比，本发明的基于改进的稀疏表示的图像超分辨率方法具有如下有益效果I)分别使用了边缘特征和纹理特征，较以前的基于单一特征的基于稀疏表示的方法所取得的边缘效果和纹理效果好；
2)在稀疏编码阶段前设计了特征分类阶段，可以学习到更具有结构性的字典；在重构阶段也可以为输入的低分辨率图像块选择最相关的低维度的字典进行重构，因此可以提高处理效率和图像效果；3)提出有重叠的聚类方法，解决了因聚类而造成的信息分散问题，降低了重构误差，进一步提高了图像效果。本发明的基于改进的稀疏表示的图像超分辨率方法，与现有技术相比采用边缘和纹理双特征，通过特征分类和稀疏编码学习得到更具结构性的超完备字典，可以为输入的低分辨率图像块选择最相关的低维度子字典进行重构，在一定程度上提高了处理速率，且获得较好的图像效果，达到了同时提高速率和效果的目的，实现本发明的目的。本发明的特点可参阅本案图式及以下较好实施方式的详细说明而获得清楚地了解。
图I为本发明的训练阶段的流程示意图；图2为本发明的重构阶段的流程示意图；图3为本发明的特征提取的流程示意图；图4为本发明的有重叠聚类的流程示意图。
具体实施例方式为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。如图I和图2所示，本发明的基于改进的稀疏表示的图像超分辨率方法，它包括如下步骤(I)训练阶段I)图像样本采集，通过摄像机采集大量的高分辨率图像，包括建筑物、动物、花草、人等;2)图像特征提取，首先，对采集到的高和低分辨率图像样本随机提一对图像块作为图像特征；然后，根据所设定的实验偏差阈值对图像特进行裁剪，保留信息量大的图像特征；最后，对图像特征进行归一化处理；3)图像特征分类，根据上述步骤中得到的图像特征进行分类，使每一类更具有结构性，并保存所有的聚类中心值；4)训练超完备字典，根据上述步骤中得到的各类特征，采用稀疏编码训练得到相等类别的子字典，并与上述步骤中得到的聚类中心值合并成为一个整体的超完备字典；在训练字典过程中，设定稀疏度参数为O. 15，交替循环40次优化后，可以得到认为收敛的超完备字典。所述字典分别包括边缘字典和纹理字典，其中每一字典包括高分辨率字典和低分辨率字典；(2)重构阶段I)预处理，对待测低分辨率图像应用双三次插值法升采样得到目标尺寸大小的图像，并将图像转化为YCbCr格式；
2)图像块特征提取，以重叠块的方式提取低分辨率图像的图像块特征，根据上述步骤得到的聚类中心值确定该特征属于哪一类特征，同时也保存该图像块的平均像素值；3)稀疏编码，根据上述步骤中得到的各类特征选择对应类的低分辨率子字典进行稀疏编码求得稀疏表示系数，结合高分辨率子字典得到高分辨率的图像块特征，并与上述步骤中保存的对应图像块的平均像素值相加得到最终的高分辨率图像块；4)全局优化首先，将上述步骤中得到的所有高分辨率图像块按对应位置叠加后取平均值；然后，与上述步骤中得到的Cb和Cr通道合并转化为原来的图像格式；最后，利用迭代反向投影法进行全局优化后，输出果图像。在本发明中，在上述训练阶段的步骤2)中，所述低分辨率图像是再次经过对步骤O中的低分辨率图像进行双三次插值升采样得到的。
如图3所示，所述图像特征分别包括边缘特征和纹理特征，首先，对高分辨率图像块利用Canny算法提取二值边缘图像，对低分辨率图像求一阶和二阶导得到四幅梯度图像；然后，以图像块中心点是否为边缘像素为基准，分别得到边缘图像块和纹理图像块。在本发明中，低分辨率图像提取的是梯度特征，高分辨率图像提取的是图像块像素减去其平均像素值的值。实际上提取的图像块大小应为7*7，那么最后得到4*(7*7) =196维的低分辨率特征向量，7*7=49维的高分辨率特征向量。所述实验偏差阈值设定为10，若图像块特征大于该阈值，则保留，否则丢弃。在本发明中，在上述训练阶段的步骤3)中，所述特征分类过程包括首先，对低分辨率图像特征进行分类，并得到各类的聚类中心值；然后，根据已经分好类的低分辨率图像特征，以对号入座的方式对高分辨率图像特征进行分类。如图4所示，所述聚类中心值采用了有重叠的聚类方法，在保持原有的聚类中心值不变的情况下，通过计算使各类的边缘点同时属于多个类，降低因信息分散而造成的误差。本发明中，取R=O. I较为合适。在本发明中，在上述重构阶段的步骤2)中，图像块的大小根据超完备字典给定的信息确定，其重叠像素值则可以自由确定；所述图像块特征包括边缘特征和纹理特征。在本发明中，在上述重构阶段的步骤4)中，所述高分辨率图像块叠取均值后，还要对此时像素值为零的像素进行填充，填充的值为升采样的低分辨率图像的照度通道的对应
像素值。以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
权利要求
1.一种基于改进的稀疏表示的图像超分辨率方法，其特征在于，它包括如下步骤 (1)训练阶段 1)图像样本采集，通过摄像机采集大量的高分辨率图像，包括建筑物、动物、花草、人等; 2)图像特征提取，首先，对采集到的高和低分辨率图像样本随机提取一对图像块作为图像特征；然后，根据所设定的实验偏差阈值对图像特征进行裁剪，保留信息量大的图像特征；最后，对图像特征进行归一化处理； 3)图像特征分类，根据上述步骤中得到的图像特征进行分类，使每一类更具有结构性，并保存所有的聚类中心值； 4)训练超完备字典，根据上述步骤中得到的各类特征，采用稀疏编码训练得到相等类别的子字典，并与上述步骤中得到的聚类中心值合并成为一个整体的超完备字典； (2)重构阶段 1)预处理，对待测低分辨率图像应用双三次插值法升采样得到目标尺寸大小的图像，并将图像转化为YCbCr格式； 2)图像块特征提取，以重叠块的方式提取低分辨率图像的图像块特征，根据上述步骤得到的聚类中心值确定该特征属于哪一类特征，同时也保存该图像块的平均像素值； 3)稀疏编码，根据上述步骤中得到的各类特征选择对应类的低分辨率子字典进行稀疏编码求得稀疏表示系数，结合高分辨率子字典得到高分辨率的图像块特征，并与上述步骤中保存的对应图像块的平均像素值相加到最终的高分辨率图像块； 4)全局优化首先，将上述步骤中得到的所有高分辨率图像块按对应位置叠加后取平均值；然后，与上述步骤中得到的Cb和Cr通道合并转化为原来的图像格式；最后，利用迭代反向投影法进行全局优化后，输出结果图像。
2.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，在上述训练阶段的步骤2)中，所述低分辨率图像是再次经过对步骤I)中的低分辨率图像进行双三次插值升采样得到的。
3.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，所述图像特征分别包括边缘特征和纹理特征，首先，对高分辨率图像块利用Canny算法提取二值边缘图像，对低分辨率图像求一阶和二阶导得到四幅梯度图像；然后，以图像块中心点是否为边缘像素为基准，分别得到边缘图像块和纹理图像块。
4.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，低分辨率图像提取的是梯度特征，高分辨率图像提取的是图像块像素减去其平均像素值的值。
5.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，所述实验偏差阈值设定为10，若图像块特征大于该阈值，则保留，否则丢弃。
6.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，在上述训练阶段的步骤3)中，所述特征分类过程包括首先，对低分辨率图像特征进行分类，并得到各类的聚类中心值；然后，根据已经分好类的低分辨率图像特征，以对号入座的方式对高分辨率图像特征行分类。
7.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，所述聚类中心值采用了有重叠的聚类方法，在保持原有的聚类中心值不变的情况下，通过计算使各类的边缘点同时属于多个类，降低因信息分散而造成的误差。
8.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，在上述重构阶段的步骤2)中，图像块的大小根据超完备字典给定的信息确定，其重叠像素值则可以自由确定；所述图像块特征包括边缘特征和纹理特征。
9.如权利要求I所述的基于改进的稀疏表示的图像超分辨率方法，其特征在于，在上述重构阶段的步骤4)中，所述高分辨率图像块叠加取均值后，还要对此时像素值为零的像素进行填充，填充的值为升采样的低分辨率图像的照度通道的对应像素值。
全文摘要
本发明的目的在于公开一种基于改进的稀疏表示的图像超分辨率方法，它包括如下步骤(1)训练阶段和(2)重构阶段，训练阶段包括1)图像样本采集；2)图像特征提取；3)图像特征分类；4)训练超完备字典；重构阶段包括1)预处理；2)图像块特征提取；3)稀疏编码；4)全局优化；与现有技术相比，采用边缘和纹理双特征，通过特征分类和稀疏编码学习得到更具结构性的超完备字典，可以为输入的低分辨率图像块选择最相关的低维度子字典进行重构，在一定程度上提高了处理速率，且获得较好的图像效果，达到了同时提高速率和效果的目的，实现本发明的目的。
文档编号G06T5/50GK102930518SQ201210195620
公开日2013年2月13日 申请日期2012年6月13日 优先权日2012年6月13日
发明者张宏俊, 王作辉, 曾坤, 唐乐, 林治强, 杨进参 申请人:上海汇纳网络信息科技有限公司