一种基于局部策略的真实视频复原方法
【专利摘要】本发明是一种基于局部策略的真实视频复原方法，属于图像处理、模式识别领域。其核心在于首先提取出真实视频中相邻两帧的运动前景，并匹配其特征点，从而利用特征点的运动向量估计前景中每个像素点的模糊核；其次，为去除视频中的空间变化的物体运动模糊，提出一种基于局部块的ADM算法，即复原出每个重叠的局部块，并把它们融合成清晰的视频帧。实验表明本发明方法能克服传统方法中放大噪声，引入振铃效应的缺点，对视频帧的边缘和细节有较好的复原效果。
【专利说明】
【技术领域】
[0001] 本发明属于图像处理、模式识别领域，具体涉及一种真实视频复原技术。 一种基于局部策略的真实视频复原方法
【背景技术】
[0002] 近年来，随着多媒体技术的发展和视频采集设备的不断优化，视频图像被广泛应 用于视频监控、医学检测、放射性测量、天文观测及远程传感等各个领域。然而在视频的获 取、传输、存储和显示过程中，由于气流扰动、散焦、传感器噪声、摄像机与拍摄物体存在相 对运动等因素，会造成视频的降质和退化，主要表现为视频模糊、失真、出现附加噪声等，使 视频的可辨别能力和可用性降低。为得到高质量的视频，我们通常需要对模糊视频进行复 原。
[0003] 在造成视频退化的众多原因中，如果是因为在摄像机曝光时间内，摄像机和被 摄物体间存在相对运动而造成的模糊则称为运动模糊。相对运动可分为两种：相机抖动 和物体运动。许多现存的优秀去模糊算法都是假设模糊核是空间不变的，如，"M. Tao, J. Yang, B. He, Alternating direction algorithms for total variation deconvolution in image reconstruction,Department of Mathematics, Univ. Nanjing, Nanjing, Rep. TR0918, 2009. "中为有效且稳定地求解全变差模型而提出的交替方向算法（Alternating Direction Method, ADM), ff. H. Li, Q. L. Li, ff. G. Gong, S. Tang, Total variation blind deconvolution employing split Bregman iteration, J. Vis. Commun.Image R.23 (3) (2012)409-417. "中引入分裂布雷格曼迭代而提出的全变差正则化图像盲复原算法等。然 而，这种假设只适用于解决某些由相机抖动造成的模糊。而对于运动物体造成的模糊而言， 其前景和背景甚至是前景中每个像素点的运动向量都是不同的，因此，基于该假设而提出 的算法并不能有效解决此类模糊。
[0004] 正是由于模糊核空间不变的假设已经不能满足现实需求，近年来，学者们在空间 不变的运动模糊复原方法的基础上，提出了一些空间变化的运动模糊视频复原方法。根据 对象的不同，这些方法可主要分为两类：一类是针对视频帧中前景与背景的模糊核不同， 但前景的模糊核是空间不变的情况。如"A. Agrawal, Y. Xu, R. Raskar, Invertible motion blur in video, ACM Trans. Graph. 28 (3) (2009) 95. " 中通过对同一视频设置不同的曝光 时间以确保PSF参数是可逆的，然后分离出运动模糊前景，并通过在频域进行零点填充来 实现前景的去模糊。又如，"Υ· N. Zhang, J. He, J. Yuan, A Video Deblurring Optimization Algorithm Based on Motion Detection, International Conference on Multimedia Technology (2013) 1069-1076. "，通过运动检测分离出视频巾贞中的运动前景和背景，再用基 于维纳滤波的方法复原前景；另一类是针对前景与背景的模糊核不同，且前景中每个像素 点的模糊核都不同的情况。这类方法的基本思想是：首先提取出运动前景，然后根据前后 帧的关联性估计出前景中空间变化的模糊核，最后采用图像非盲复原算法对前景进行去模 糊，再将去模糊后的前景与背景组成清晰视频帧。其中，如何精确估计空间变化的模糊核及 如何有效复原这种空间变化的模糊是关键。如，"X. C. He，T. Luo, S. C. Yuk，Κ· P. Chow，Κ· -Y. K. Wong, R. Η. Y. Chung, Motion estimation method for blurred videos and application of deblurring with spatially varying blur kernels, Proc. IEEE Conf. Computer Sciences and Convergence Information Technology(2010)355_359·"中米用了基于角点 检测和分层块匹配的方法求得空间变化的模糊核，并用空间变化的RL (Richardson-Lucy) 算法复原前景；"Χ·Υ· Deng, Y.Shen,M.L. Song, D.C.Tao,J.J. Bu,C. Chen, Video-based non-uniform object motion blur estimation and deblurring, Neurocomputing 86(1) (2012) 170-178. "中采用了 KLT(Kanade-LuCaS-T〇masi)算法估计模糊核，也采用了空间变 化的RL算法复原前景。
[0005] 在日常生活中，第二类情况是更为常见的。但空间变化的RL算法存在放大噪声， 引入振铃效应的缺陷，对前景边缘的复原效果并不理想。
【发明内容】
[0006] 本发明的目的在于提出一种基于局部策略的真实视频复原方法，力求从真实的退 化视频中恢复出原本面貌，使模糊的视频变得清晰，旨在改善视频的质量。该方法能克服传 统方法中放大噪声，引入振铃效应的缺点，对视频帧的边缘和细节有较好的复原效果。
[0007] 为实现这一目的，本发明首先提取出相邻两帧图像的运动前景，并匹配其特征点， 从而利用特征点的运动向量估计前景中每个像素点的模糊核；其次，为去除视频中的空间 变化的物体运动模糊，本发明提出一种基于局部块的ADM算法，即复原出每个重叠的局部 块，并把它们融合成清晰的视频帧。
[0008] 该复原方法的实现步骤如下：
[0009] (1)任取真实视频中的相邻两帧图像和fk，分别提取出运动前景Fh和F k ;
[0010] (2)分别提取步骤（1)中得到的运动前景的特征点，然后进行特征点匹配并根据 匹配点对的坐标、视频的帧率和曝光时间计算出每个特征点的运动向量；
[0011] (3)根据特征点的运动向量，在提取出的运动前景Fk_i中采用内插策略，计算前景 中每一个像素点的运动向量，并估计前景中空间变化的模糊核；
[0012] (4)以Fk_i中每个像素点为中心，取大小相同且重叠的局部块。根据（3)中计算得 到的模糊核，对局部块进行去模糊处理，再将去模糊后的局部块拼接成清晰的前景图像，并 与背景组成完整的视频帧。
[0013] 与现有技术相比，本发明的优点是：
[0014] (1)充分利用视频中的帧间信息，提出基于特征的空间变化的模糊核估计算法，估 计出真实视频帧中每个像素点的模糊核，能精确估计出运动物体的局部运动和模糊核。
[0015] (2)提出基于局部块的ADM算法复原前景，能有效去除空间变化的运动模糊，复原 出前景的细节和边缘。
[0016] (3)本发明方法能够针对包含一个或多个刚性运动物体的真实视频进行有效复 原。
[0017] 通过与上述W. H. Li和X. Y. Deng等提出的两种方法的实验对比，证明本发明能更 好地抑制振铃效应，更有效地复原出前景中的边缘。
【专利附图】
【附图说明】
[0018] 图1 :本发明方法的流程图；
[0019] 图2-1至图2-7 :针对七幅真实视频帧中的运动物体，本发明计算得到的运动向 量；其（a)图像为前景中每个像素点的运动向量，（b)和（c)图像为局部放大图；
[0020] 图3-1至图3-7 :针对七幅真实视频帧，不同方法的复原效果对比图；其中对于每 一组对比图，（a)图像为原始视频帧，（b)和（c)图像分别为两种对比算法的复原结果，（d) 图像为本发明方法的复原结果。
【具体实施方式】
[0021] 下面结合附图对本发明作进一步的详细说明。
[0022] 在图像复原中，图像退化模型可以用下式表达：
[0023] f(x, y) = k(x, y) ? g(x. y) + n(x, v)
[0024] 其中，g(x，y)为原始图像，?是卷积操作，k(x，y)代表使图像模糊的模糊核，也叫 点扩散函数，η(X，y)为加性噪声，f(x, y)为已知的退化图像。
[0025] 视频序列是由若干帧图像组成的，每一帧都可以看作是从视频中抽取出的一幅相 对独立的图像。因此，该图像退化模型同样可以描述视频帧的退化过程。而视频帧复原的 任务就是根据已知的退化视频帧f (X，y)得到清晰视频帧g (X，y)。在真实视频的复原中，模 糊核通常是未知的，且对于运动前景中的每个像素点，其模糊核是有差异的。因此，本发明 首先充分利用帧间信息估计出每个像素点的模糊核，再将模糊前景分割成重叠的局部块进 行复原，并最终将复原后的局部块融合成清晰的视频图像。
[0026] 按照以上思路，本发明方法的流程图如图1所示，该方法主要由以下四个步骤构 成：
[0027] 步骤1 :任取真实视频中的相邻两帧图像和fk，分别提取出运动前景Fh和Fk
[0028] 本发明针对的对象是静态场景中物体运动造成的空间变化的运动模糊，即背景不 存在运动模糊。因此，为保证模糊核估计的准确性，首先需要提取出运动前景。
[0029] K最近邻掩膜算法是一种优秀的抠图算法，本发明采用该算法进行前景的提取，其 思想是将一幅图像看成前景层和背景层的加权和：
[0030] f = a F+(l-a )B
[0031] 其中f是一幅图像的给定像素值，F是未知前景层，B是未知背景层，a是未知掩 膜。K最近邻掩膜算法利用非局部准则求取a，即可得到相邻两帧图像的前景？ 1;_1和^。
[0032] 步骤2 :分别提取步骤1中得到的运动前景的特征点，然后进行特征点匹配并根据 匹配点对的坐标、视频的帧率和曝光时间计算出每个特征点的运动向量
[0033] 该步骤包含以下两部分：
[0034] ①采用ORB (Oriented Fast and Rotated BRIEF)算法提取并匹配特征点
[0035] 首先在Fh和Fk中分别利用FAST算法和Harris测量提取出N个特征点。对于每 个以特征点为中心的aXa的图像块（根据实验，本发明中a = 31)，利用图像块的强度质心 计算该块的方向Θ。然后，在每个图像块中用学习的方法找出P个bXb的子窗测试对（根 据实验，本发明中P = 256，b = 5)，并将这些测试对的坐标旋转Θ取得新的测试对，以计算 该图像块中心的特征点的 BRIEF(Binary Robust Independent Elementary Features)描 述子。接着，采用汉明距离匹配？1;_1和^中的特征点，并采用随机抽样一致性算法（Random Sample Consensus, RANSAC)筛选出最优的匹配点对。
[0036] ②计算特征点的运动向量
[0037] 在①之后，可以得到匹配的特征点对及其坐标。为估计模糊核，还需通过匹配特征 点对的坐标、视频的帧率和曝光时间计算特征点的运动向量，如下式所示：
【权利要求】
1. 一种基于局部策略的真实视频复原方法，该方法包括以下步骤： (1) 任取真实视频中的相邻两帧图像fH和fk，分别提取出运动前景Fh和Fk; (2) 分别提取步骤（1)中得到的运动前景的特征点，然后进行特征点匹配并根据匹配 点对的坐标、视频的帧率和曝光时间计算出每个特征点的运动向量； (3) 根据特征点的运动向量，在提取出的运动前景Fk_i中采用内插策略，计算前景中每 一个像素点的运动向量，并估计前景中空间变化的模糊核； ⑷以Fk_i中每个像素点为中心，取大小相同且重叠的局部块；根据⑶中计算得到的 模糊核，对局部块进行去模糊处理，再将去模糊后的局部块拼接成清晰的前景图像，并与背 景组成完整的视频帧。
2. 根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于步骤（1)中， 提取出运动前景Fk_i和F k的方法是： 将一幅图像看成前景层和背景层的加权和： f = a F+(l-a )B 其中f是一幅图像的给定像素值，F是未知前景层，B是未知背景层，α是未知掩膜，采 用Κ最近邻掩膜算法求取α，得到相邻两帧图像的前景L和Fk。
3. 根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于，所述步骤 (2)的具体方法为：首先在Fk_dPF k中分别利用FAST算法和Harris测量提取出N个特征点； 对于每个以特征点为中心的aXa的图像块，利用图像块的强度质心计算该块的方向Θ ;然 后，在每个图像块中用学习的方法找出P个bXb的子窗测试对，并将这些测试对的坐标旋 转Θ取得新的测试对，以计算该图像块中心的特征点的BRIEF描述子；接着，采用汉明距离 匹配F k_i和Fk中的特征点，并采用RANSAC算法筛选出最优的匹配点对；最后，通过匹配特 征点对的坐标、视频的帧率和曝光时间计算特征点的运动向量 ： V = (Δλ_ xFrx Te, Ayx Frx Te) (Ax = x2 -Xj W = _y2-λ 其中，（Xi，yi)和（X2, y2)分别是匹配特征点对在b和Fk中的坐标，Δχ和Ay分别为 特征点在X方向和y方向的坐标偏移量，Fr为视频的帧率，Te为每帧图像的曝光时间，?为 该点的运动向量。
4. 根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于，所述步骤 ⑶的具体方法为：首先根据L中特征点的坐标对L进行德劳内三角剖分，得到以特征 点为三角形顶点的三角网；然后根据内插策略，按如下公式计算每个三角形内任一点的运 动向量
其中，Vi是三角形顶点的运动向量，是每个v/所占的权重，（Xu ，（χ2, y2)和（? y3) 是该三角形顶点坐标，（X，y)是所求点的坐标。采用MATLAB中的fspecial函数，即可根据 每个像素点的运动向量得到前景中的空间变化的模糊核。
5.根据权利要求1所述的基于局部策略的真实视频复原方法，其特征在于步骤（4)中， 以Fk_i中每个像素点为中心取一个尺寸为mXm的矩形局部块匕，并选取该像素点的模糊核 I作为该块的去卷积核，采用ADM算法对局部块进行去模糊处理，即求解下式：
其中yj = Djgi，gi表示第i个清晰局部块，Djgi表示gi的一阶全局差分，Fi表示第i个 模糊的局部块，I是Fi中心像素点的模糊核，μ和β均为正参数，以gi = Fi，λ = λ ?作 为开始，采用迭代最小化方式求解该式，求解框架如下：
其中，LA(gi，y，λ)是扩展的拉格朗日函数，λ为其引入的参数。 用复原过程中相邻的两次迭代所估计得的局部块的相对差异||&i+1-gf||/|gf+1|<s ( ε 为较小的正数）或最大迭代次数作为迭代终止条件，如此，便可得到所有清晰局部块；接下 来，将所有清晰局部块相加，并在重叠区域求其均值，得到清晰的前景图像，如下式所示：
其中，氏表示矩形窗操作，是复原后的前景； 利用步骤（1)中求得的α，可将与其对应的背景组成完整的清晰视频帧
【文档编号】G06T3/00GK104103050SQ201410386374
【公开日】2014年10月15日 申请日期:2014年8月7日 优先权日:2014年8月7日
【发明者】龚卫国, 杨文琳, 李伟红, 陈魏然 申请人:重庆大学