专利名称：一种基于视觉注意和质量可变的图像超分辨率重建方法
技术领域：
本发明属 于图像处理技术领域，涉及一种对图像进行超分辨率重建的方法，具体是一种基于视觉注意和质量可变的图像超分辨率重建方法。
背景技术：
图像超分辨率重建是指由输入的一幅或多幅低分辨率图像重构得到一幅高分辨率图像的方法，它充分利用了已获取的资源，与采用高性能硬件获取高分辨率图像的方法相比，具有更低的成本，在视频监控、医学成像、高清视频等各个领域有着广阔的应用前景。超分辨率重建技术自提出至今已有二十余年，其已经成为图像、视频及计算机视觉领域的研究热点，有大量的研究成果问世。从其研究方法看，图像超分辨率研究方法层出不穷，重建质量得到了很大提高，特别是基于学习和基于稀疏表示方法的提出，当低分辨率数据提供的信息不满足高分辨率需求时，这两类方法可以获得更多的图像高层信息，因而具有很大的优势。然而，从实际应用的角度考虑，除了重建结果的优劣以外，重建时间也是考察超分辨率重建方法的一个重要因素，尤其是一些对实时性具有较高要求的场合。但是，从最早提出图像超分辨率技术至今，最具有实时性的方法主要以插值或其改进方法和迭代反向投影法等简单方法在硬件上的实现为主，而近几年发展起来的重建质量较高的算法则普遍耗时较久。重建结果和重建时间是衡量超分辨率算法的两个重要指标，但是不同的应用场合这两个指标的重要性也不同，如实时监控和影视后期制作，它们对实时性的要求是不同的；即使同一幅待重建图像，其中各区域对重建结果的要求也不同，对人眼敏感区域的要求高于非敏感区域。但是，目前的超分辨率方法并不区分图像区域，即同一幅图像的各区域采用同一种超分辨率方法；并且由于超分辨率方法计算耗时太久，大多待重建的图像尺寸较小，当处理大图像时计算时间将会大幅度的增长，这对超分辨率重建的实际应用产生了不利的影响。
发明内容
本发明的目的是提供一种有效的图像超分辨率重建方法，对人眼敏感区域和非敏感区域采用不同的重建策略，对不同需求采用质量可变的重建方法，兼顾重建结果和重建时间。为解决上述技术问题，本发明提供的技术方案如下
首先，对低分辨率图像区分人眼敏感区域与非敏感区域；其次，计算低分辨率图像人眼敏感区域的清晰度，根据清晰度通过补偿人眼敏感区域的高分辨率子块残差，采用质量可变的超分辨率重建；最后，对非人眼敏感区域采用Bicubic方法放大，并和人眼敏感区域的高分辨率重建结果融合得到高分辨率图像。下面详细给出该发明技术方案中的各个细节说明步骤(I)区分低分辨率图像中的人眼敏感区域与非敏感区域，具体是
采用视觉注意机制模型提取出图像中的显著区域，以提取的显著区域的外接矩形作为人眼敏感区域，其余为非敏感区域；所述的视觉注意机制模型可采用ITTI提出的视觉注意的计算模型、离散余弦变换的脉冲模型或四元傅里叶变换的相位谱模型。步骤(2)计算低分辨率图像人眼敏感区域的清晰度Clear_F7，具体是 确定清晰度为超分辨率图像的无参考质量评价指标。定义清晰度如式(I)所示，其中Clear_Fm为清晰度，blur_Fm为模糊度；
Cle ar—Fm= I _b I ur—Fm(I)
其中下标m=7或者A，分别表示低分辨率图像和高分辨率图像。模糊度blur—Fm 计算方法由 Frederique Crete 等发表在 2007 年的 proceedingsof SPIE题为“The Blur Effect: Perception and Estimation with a New No-ReferencePerceptual Blur Metric” 的论文上。步骤(3)对人眼敏感区域釆用质量可变的超分辨率重建，具体是
(a)按式(2)所示稀疏表示模型训练高、低分辨率过完备字典对DA、D7
—A^lf + 為丨h—If +. Il^ Ι (2)
和λ.分别是高低分辨率图像x、y的图像子块，為是稀疏表示系数，為和·是正则化参数。(b)计算人眼敏感区域高分辨率图像清晰度阈值Clear_FA, = Clear_F7/K, K是人眼敏感区域的高低分辨率图像的模糊度比值，可由对高低分辨率图像模糊度进行统计获得，稀疏度设为预定值L。(c)如果稀疏度为L，则执行步骤(d)，否则执行步骤(e)。(d)对低分辨率图像人眼敏感区域_7~中的各子块进行稀疏分解，即式
=Aq ,用正交匹配跟踪法分解得到稀疏向量q，由减去其稀疏分解表示的图像24 I获得误差Α，其中M是低分辨率测试图像人眼敏感区域所分成的子
、J-IJ 2-1
块数，Ryi是低分辨率测试图像人眼敏感区域的子块提取方式，T代表转置。由流形一致性假
设重建得到人眼敏感区域的高分辨率图像XI，其中Xl中与相对应的各子块斗=DaOi
;对Xl按式(I)进行清晰度评价，求得Clear_FA,对Clear_FA作以下判断
(dl)如果Clear_FA大于等于清晰度阈值Clear_FA,，则以Xl作为人眼敏感区域的高分辨率图像Xrw,输出结束。(d2)如果Clear_FA小于清晰度阈值Clear_FA,，则稀疏度L加1，以Clear_FA更新Clear_FA 对误差Tr的各子块Tri进行稀疏分解，即式& = DlOri ,重建得到残差\regr的各子
块 _n , Xreff-=I，R .是高分辨率测试图像人眼敏感区域的子
Xrepi -\3-1/ M
块提取方式。(e)以\egr与Xl之和作为新的人眼敏感区域的高分辨率图像X2，按式⑴对X2进行清晰度评价，求得Clear_FA,对Clear_FA作以下判断
(el)如果Clear_FA小于Clear_FA,，则仍以Xl作为人眼敏感区域的高分辨率图像\eg,输出\eg，结束。(e2)如果 Clear_FA 大于等于 Clear_FAi7,则以 X2 更新 Xl。(e3)如果Clear_FA/Clear_FM大于设定的阈值C，则稀疏度L加1，重复(e)，直到输出人眼敏感区域的高分辨率图像\eg或稀疏度大于阈值Lmax或Clear_FA/Clear_FAtt小于C为止，此时以Xl作为X~，结束。步骤(4)对非人眼敏感区域采用Bicubic插值方法放大。步骤(5)人眼敏感区域的高分辨率结果\eg与非人眼敏感区域的插值结果在对应位置进行相加融合获得高分辨率图像。步骤(I)中为使计算时间尽可能少，视觉注意机制模型采用离散余弦变换的脉冲模型。步骤(3)中可通过改变清晰度阈值Clear_FA,实现对人眼敏感区域进行质量可变的图像超分辨率重建。本发明根据人眼对图像内容的不同敏感程度，将图像分成人眼敏感区域和非敏感区域，对不同区域采用不同的重建策略，对不敏感区域采用Bicubic插值方法放大，对敏感区域根据不同需求通过改变清晰度阈值采用质量可变的重建方法，兼顾了重建结果和重建时间。
图I基于视觉注意和质量可变的图像超分辨率重建算法框架图。
具体实施例方式以下结合附图和实施实例对本发明加以详细说明。对于彩色的RGB图像，先转换成YUV图像，在Y分量上进行超分辨率重建，而UV分量采用插值放大，然后再将YUV图像转换成RGB图像；对于灰度图像，直接在灰度图上进行超分辨率重建。对输入的低分辨率图像进行3倍放大。将低分辨率图像分成若干个大小为3X3的图像子块，则相应的高分辨率图像子块大小为9X9，为了保持图像子块间的相容性，对低分辨率图像子块采用I个重叠像素，则相应的高分辨率图像子块重叠3个像素。步骤(I)区分低分辨率图像中的人眼敏感区域与非敏感区域，具体是
采用视觉注意机制模型提取出图像中的显著区域，以提取的显著区域的外接矩形作为人眼敏感区域，其余为非敏感区域；所述的视觉注意机制模型可采用ITTI提出的视觉注意的计算模型、离散余弦变换的脉冲模型或四元傅里叶变换的相位谱模型，为使计算时间尽可能少，视觉注意机制模型采用离散余弦变换的脉冲模型。步骤⑵计算低分辨率图像人眼敏感区域的清晰度Clear_F7，具体是
确定清晰度为超分辨率图像的无参考质量评价指标。清晰度按式(I)计算。步骤(3)对人眼敏感区域采用质量可变的超分辨率重建，具体是
(a)按式(2)所示稀疏表示模型训练高、低分辨率过完备字典对DA、D7(b)计算人眼敏感区域高分辨率图像清晰度阈值Clear_FA, = Clear_F7/K, K是人眼敏感区域的高低分辨率图像的模糊度比值，可由对高低分辨率图像模糊度进行统计获得，K I，稀疏度设为预定值L ;
(C)如果稀疏度为L，则执行步骤(d)，否则执行步骤(e);
(d)对低分辨率图像人眼敏感区域7^中的各子块进行稀疏分解，即式 =A喝，用正交匹配跟踪法分解得到稀疏向量a由7^减去其稀疏分解表示的图像 获得误差乃，其中M是低分辨率测试图像人眼敏感区域所分成的子
块数，Ryi是低分辨率测试图像人眼敏感区域的子块提取方式，T代表转置。由流形一致性假
设重建得到人眼敏感区域的高分辨率图像XI，其中Xl中与相对应的各子块斗=DiOi
;对Xl按式(I)进行清晰度评价，求得Clear_FA,对Clear_FA作以下判断
(dl)如果Clear_FA大于等于清晰度阈值Clear_FA,，则以Xl作为人眼敏感区域的高分辨率图像Xrw,输出Xrw,结束；
(d2)如果Clear_FA小于清晰度阈值Clear_FA,，则稀疏度L加I，以Clear_FA更新
Clear_FA 对误差Tr的各子块Tri进行稀疏分解，即式& = ,重建得到残差\egr的各子
块 .是高分辨率测试图像人眼敏感区域的子
块提取方式。(e)以\egr与Xl之和作为新的人眼敏感区域的高分辨率图像X2，按式⑴对X2进行清晰度评价，求得Clear_FA,对Clear_FA作以下判断
(el)如果Clear_FA小于Clear_FA,，则仍以Xl作为人眼敏感区域的高分辨率图像\eg,输出Ireg,结束；
(e2)如果Clear_FA大于等于Clear_FAi7,则以X2更新Xl ；
(e3)如果Clear_FA/Clear_FAtt大于设定的阈值C，则稀疏度L加1，重复(e)，直到输出人眼敏感区域的高分辨率图像\eg或稀疏度大于阈值Lmax或Clear_FA/Clear_FAtt小于C为止，此时以Xl作为X~，结束；
可通过改变清晰度阈值Clear_FA,实现对人眼敏感区域进行质量可变的图像超分辨率
重建；
步骤(4)对非人眼敏感区域采用Bicubic插值方法放大；
步骤(5)人眼敏感区域的高分辨率结果与非人眼敏感区域的插值结果在对应位置进行相加融合获得高分辨率图像。基于视觉注意和质量可变的图像超分辨率重建方法的实施过程如图I所示。
权利要求
1.一种基于视觉注意和质量可变的图像超分辨率重建方法，其特征在于该方法包括以下步骤 步骤(I)区分低分辨率图像中的人眼敏感区域与非敏感区域，具体是 采用视觉注意机制模型提取出图像中的显著区域，以提取的显著区域的外接矩形作为人眼敏感区域，其余为非敏感区域；所述的视觉注意机制模型可采用ITTI提出的视觉注意的计算模型、离散余弦变换的脉冲模型或四元傅里叶变换的相位谱模型； 步骤(2)计算低分辨率图像人眼敏感区域的清晰度Clear_F7，具体是 确定清晰度为超分辨率图像的无参考质量评价指标；定义清晰度如式(I)所示，其中Clear_Fm为清晰度，blur_Fm为模糊度；
2.根据权利要求I所示的一种基于视觉注意和质量可变的图像超分辨率重建方法，其特点在于步骤(I)中为使计算时间尽可能少，视觉注意机制模型采用离散余弦变换的脉冲模型。
3.根据权利要求I所示的一种基于视觉注意和质量可变的图像超分辨率重建方法，其特点在于步骤(3)中可通过改变清晰度阈值Clear_FA,实现对人眼敏感区域进行质量可变的图像超分辨率重建。
全文摘要
本发明涉及一种基于视觉注意和质量可变的图像超分辨率重建方法。本发明的具体步骤是首先，对低分辨率图像区分人眼敏感区域与非敏感区域；其次，计算低分辨率图像人眼敏感区域的清晰度,根据清晰度通过补偿人眼敏感区域的高分辨率子块残差，采用质量可变的超分辨率重建；最后，对非人眼敏感区域采用Bicubic方法放大，并和人眼敏感区域的高分辨率重建结果融合得到高分辨率图像。本发明根据人眼对图像内容的不同敏感程度，将图像分成人眼敏感区域和非敏感区域，对不同区域采用不同的重建策略，对不敏感区域采用Bicubic插值方法放大，对敏感区域根据不同需求采用质量可变的重建方法，兼顾了重建结果和重建时间。
文档编号G06T3/40GK102722875SQ20121017003
公开日2012年10月10日 申请日期2012年5月29日 优先权日2012年5月29日
发明者陈华华 申请人:杭州电子科技大学