专利名称：基于分形分析的图像视频超分辨率与增强方法
技术领域：
本发明涉及的是一种图像和视频处理技术领域的系统，具体是一种基于分形分析的图像视频超分辨率与增强方法。
背景技术：
随着科技的进步，越来越多以图像和视频为载体的信息以数字的形式呈现在我们面前，例如电影电视节目、游戏以及照片等等，为我们的生活带来乐趣和精神享受。但是相比传统的基于胶片的成像手段，客观上数字成像技术在图像分辨率上有所下降。不仅如此，由于拍摄过程中的干扰，传输带宽的限制，成像设备的落后以及保存不善等原因，图像和视频在显示过程中质量下降，人眼的视觉感受也相应地受到影响。在这些不良影响之中，图像分辨率的下降对视觉的影响尤为明显。分辨率下降导致图像的细节丢失，图像变得模糊且过于平滑。为了得到更高的分辨率，很多针对图像和视频的超分辨率算法被提出。这些方法可以被分为两类。一类是基于信号内插的算法，例如传统的双线性内插算法，以及Xiangjun Zhang和Xiaolin Wu在《IEEE Transaction on Image Processing))第17卷第6其月的第887页至第896页发表的“Image interpolation by adaptive2_d autoregressive modeling and soft-decisionestimation”提出的方法就是这类方法的代表。但是由于这类方法往往是基于信号分段线性的假设，所以不能很好地对图像的边缘和纹理部分进行插值。为了改进传统内插算法的结果，基于图像统计特性的算法，即第二类算法被提出。这类算法以内插算法的结果为初始值，以图像的统计特征作为高分辨率图像的先验知识，得到了更好的超分辨率结果。R. Fattal在《ACM Transaction on Graphics》第26卷第3其月的第95页至第102页发表的“Image upsampling via imposed edge statistics”所提出的方法就属于这类算法。但是这类算法的问题在于对于算法中的参数设定没有依据，往往需要手动调节或是基于统计方法进行训练。此外，这类方法对于图像的亮度没有约束，导致处理结果有过增强的危险。上述的两类方法都存在缺乏理论依据，没有良好模型作为基础的缺点。为了更好的进行图像和视频超分辨率增强，本发明提出一种基于分形分析的图像及视频超分辨率方法。
发明内容
本发明针对现有技术存在的上述不足，提供一种基于分形分析的图像及视频超分辨率方法，该方法是根据分形维数和分形长度的定义，以分形维数和长度的尺度不变性为基础的超分辨率方法，本发明参数可以根据图像性质自适应调节，超分辨率结果结合尺度增强与纹理增强。本发明是通过以下技术方案实现的，本发明包括以下步骤第一步、读取一幅图像或视频中的某一帧，记为I。计算I的梯度GradOTi。第二步、对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H’。
第三步、计算H’的梯度Gradest。第四步、分别通过Gradmi和Gradest计算I和H’对应像素的分形维数DOTi, Dest和分形长度LOTi, LestO第五步、通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度GradH。第六步、以H’和Grad11为约束，重新估计出高分辨率图像泠。本发明的原理是，以图像的像素点集为分形集，以像素对应的梯度为分形集的测度计算出图像中以对应像素点为中心的块的分形维数和长度，并根据分形维数的尺度不变性，对超分辨率问题进行约束，结合传统的内插算法，分别对高分辨率图像给出亮度域和梯度域的先验，有此得到超分辨率结果。此外，通过引入分形长度的尺度不变性这一约束，本发明提出的模型及方法还可以用于图像和视频的画质增强，尤其是纹理增强上。
图I是双线性内插示意图；图2是本发明方法的系统流程图；图3是本发明算法中图像处理过程的示意图；图4是本发明灰度图像超分辨率结果的比较图；图5是本发明彩色图像超分辨率结果的比较图。
具体实施例方式下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。实施例第一步、读取一幅图像或视频中的某一帧，记为I。计算I的梯度GradOTi。所述的计算梯度,是指对I中每个像素点(X，y)。计算▽—'./(>，V) = I(x, y) - I(x -1, y)V vI{x,y) = I{x,y)-I{x,y-X)。Gradon (χ, ν) = (Vν/(χ, ν))2 + (V/(χ, ν))2其中，I(x，y)表示位于坐标(X，y)处像素的亮度值。，n=x, y表示对图像沿水平和垂直两个方向进行差分。将像素点集合记为X。对于灰度图，只需对I的亮度通道计算梯度。对于彩色图，需要将RGB三通道映射到HSV色彩空间，只对V通道计算梯度。第二步、对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H’。所述基于内插的超分辨率处理，是指包括，但不限于双线性，双矩形内插在内的超
分辨率处理。以双线性内插为例。如图I所示，已知位于Qn，Q12, Q21, Q22位置的像素值，需要在位置P进行插值，插值过程如下。I)通过下式计算位于R1, R2位置的像素值
权利要求
1.一种基于分形分析的图像视频超分辨率与增强方法，其特征在于，包括以下步骤 第一步、读取一幅图像或视频中的某一巾贞，记为I，计算I的梯度Gradtffi ； 第二步、对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H’ ； 第三步、计算H’的梯度Gradest ； 第四步、分别通过Gradtffi和Gradest计算I和H’对应像素的分形维数DOTi, Dest和分形 Lori，Lest第五步、通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度Grad11 ； 第六步、以H’和Grad11为约束，重新估计出高分辨率图像泠。
2.根据权利要求I所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第一步中所述计算I的梯度GradOTi,是指对I中每个像素点(x, y)，计算 取 V)=取 >0 — /(: -1, V)VI(.x^y} = !{x^v)-!{x^y-\) Hradon(X^y) =yI(x,y)Y 其中，I (x, y)表示位于坐标(x, y)处像素的亮度值，n=x, y表示对图像沿水平和垂直两个方向进行差分，将像素点集合记为X; 对于灰度图，只需对I的亮度通道计算梯度；对于彩色图，需要将RGB三通道映射到HSV色彩空间，只对V通道计算梯度。
3.根据权利要求I或2所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第二步中所述基于内插的超分辨率处理，是指双线性，双矩形内插在内的超分辨率处理。
4.根据权利要求I或2所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第四步中所述计算H’的梯度Gradest,是指对H’中每个像素点(x, y)，计算▽'."’(χ,ν) = H'(x,y)-H'(x-ly) V , (:Λ·, Y) = //'(.v, Y) - H\x. y -1)Gradest(x,y) = xH'(x,y))2+(V yH'(x,y))2 其中，H’(x, y)表示位于坐标(x, y)处像素的亮度值，，n=x，y表示对图像沿水平和垂直两个方向进行差分，将像素点集合记为Y ； 对于灰度图，只需对H’的亮度通道计算梯度；对于彩色图，需要将RGB三通道映射到HSV色彩空间，只对V通道计算梯度。
5.根据权利要求I所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第四步中分别通过GradOTi和Gradest计算I和H’对应像素的分形维数DOTi，Dest和分形长度LOTi，Lest，具体如下 对于图像中的以坐标(x，y)为中心的块4U，y)，其中r为块的半径，通过下式计算(X，y)上的分形维度μ (Br (χ, y))表示对Br(x，y)区域内的信号计算一种由上式定义的测度； 其中，所述I I · I I表示范数，*表示卷积运算，4表示以半径r为参数的高斯核，如下式所示
6.根据权利要求I所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第五步中通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度Grd11，是指通过保持高分辨率图像的分形维度和分形长度与低分辨率图像的对应维度和长度相等，实现对高分辨率图像梯度的估计，具体过程如下
7.根据权利要求I所述的基于分形分析的图像视频超分辨率与增强方法，其特征是，第六步中所述以H’和Grad11为约束，重新估计出高分辨率图像泠是指通过求解下述最优化问题，得到超分辨率结果，如下式所示
全文摘要
本发明公开一种基于分形分析的图像视频超分辨率与增强方法，步骤读取一幅图像或视频中的某一帧，记为I，计算I的梯度Gradori；对I进行基于内插的超分辨率处理，得到高分辨率图像的估计值H'；计算H'的梯度Gradest；分别通过Gradori和Gradest计算I和H'对应像素的分形维数Dori，Dest和分形长度Lori，Lest；通过分形维数和长度的尺度不变性重新估计出高分辨率图的梯度GradH；以H'和GradH为约束，重新估计出高分辨率图像本发明以图像的像素为分形集，以像素对应的梯度为分形集的测度计算出图像局部分形维数和长度，并根据分形维数的尺度不变性，对超分辨率问题进行约束；通过引入分形长度的尺度不变性这一约束，可以用于图像和视频的画质增强，尤其是纹理增强上。
文档编号G06T5/00GK102831583SQ20121027393
公开日2012年12月19日 申请日期2012年8月2日 优先权日2012年8月2日
发明者许洪腾, 杨小康, 徐奕, 翟广涛 申请人:上海交通大学