一种基于视频帧的时间一致性来改善视频抖动的方法与流程

本发明涉及计算机视觉及图像处理领域，尤其涉及一种基于视频帧的时间一致性来改善视频抖动的方法。

背景技术：

运用基于图像的处理方法(本征图分解，色调增强，去雾处理等)对无抖动的原视频逐帧的处理会因为忽略帧与帧之间的时间一致性而造成抖动，这种抖动的存在会严重的影响我们输出的视频的质量，同时，由于这类视频中存在的抖动包括色调抖动和亮度抖动等，所以，对于假设视频帧与帧之间亮度一致的一些应用像视频匹配等，抖动视频会明显的应用受限。

以视频帧时间一致性技术为例，其可用于改善或去除视频中存在的抖动(如色调抖动或亮度抖动)，通过添加各帧之间的时间一致性来输出无抖动的视频。在现有技术中，常见的实现方法是基于抖动补偿技术，旨在通过对齐帧之间的色调或者亮度来移除视频中的抖动效应。虽然该方法在一定程度上可以减少视频中存在的抖动效应，但是，该方法必须首先选择若干帧作为关键帧，而从具有抖动的被处理的视频中选取若干帧作为关键帧，这些关键帧本身是否是时间一致性的，难以保证；再者，若选定的关键帧本身存在抖动效应，将其他帧与存在抖动的关键帧对齐，并不能保证可以去除被处理过的视频的抖动。此外，另一种实现方法还可通过最小化含有时间一致性优化项的能量函数来维持视频帧之间的时间一致性，但这类方法主要针对某类特定的应用，限制了视频图像处理方法的泛化能力。例如，常见的该类视频图像处理算法包括：本征图分解、颜色分类、颜色一致、白平衡等。

技术实现要素：

针对现有技术中存在的上述缺陷，本发明提供了一种基于视频帧的时间一致性来改善视频抖动的方法，可改善或消除现有缺陷，使得处理过的视频中存在的抖动能够被最大限度地去除。

依据本发明的一个方面，提供了一种基于视频帧的时间一致性来改善视频抖动的方法，包括以下步骤：

a)提供一原始视频以及一输出视频，其中，所述输出视频是对所述原始视频进行了图像处理的视频；

b)在所述原始视频中，匹配任意两个不同帧之间的对应像素以及包含所述对应像素的对应区域；

c)从所述原始视频选取一帧作为当前帧，计算所述当前帧与其他帧之间的对应度δ(ix,iy)，其满足下列关系式：

δ(ix,iy)＝c(ix,iy)/d(ix,iy)

其中，y∈[1,x)∪(x,l),c(ix,iy)表示帧ix和帧iy之间的对应区域的数目，d(ix,iy)表示帧间隔，l表示原始视频中的帧的长度；

d)根据上述步骤c)计算得到的对应度，确定所述当前帧的时间一致性对应帧集合；

e)对所述时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧；

f)重复步骤b)至步骤e)，重构每一输出帧从而改善所述输出视频存在的视频抖动。

在其中的一实施例，该方法还包括：在维持视频帧的时间一致性的过程中，通过最小化重构的输出视频的输出帧ox以及原输出视频的视频帧px之间的差值来保证重构后的输出视频的视频保真度，该视频保真度的项eq(ox)满足关系式：

其中，和分别表示重构的输出视频的输出帧ox和原输出视频的视频帧px的梯度域，||·||表示二阶范式，即向量各元素和的平方和然后开方。

在其中的一实施例，根据所述当前帧的时间一致性对应帧来重构得到的输出帧满足下列关系式：

其中维持帧与帧之间的时间一致性的项满足下列关系式：

在此，α(i)和β(i)分别为权重系数，f^p(ix)表示位于帧ix前面的对应帧构成的集合，f^s(ix)表示位于帧ix后面的对应帧构成的集合，ωt(ix,iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。

在其中的一实施例，上述时间一致性权重ωt(ix,iy)满足：

ωt(ix,iy)＝ωc(ix,iy)/ωd(ix,iy)

其中，ωc(ix,iy)表示衡量帧ix与帧iy间对应区域的数目的权重，ωd(ix,iy)表示衡量帧ix与帧iy的帧间隔的权重，c(ix,iy)表示帧ix和帧iy之间的对应区域的数目，帧iy1是帧ix的时间一致性对应帧集合f(ix)中的一个元素，d(ix,iy)为帧间隔，可以通过计算两帧之间的帧序号之差的绝对值而得到。

在其中的一实施例，该方法还包括：为维持在由时间一致性的对应帧重构与当前帧ix对应的输出帧ox过程中的空间一致性，通过最小化重构的输出视频的输出帧ox以及用来重构该输出帧ox的空间一致性对应帧之差，设置空间一致性的项该空间一致性的项满足关系式：

其中，nx表示帧ix中的区域数，表示空间一致性权重，表示当前帧ix中的某一给定区域的邻域，将中某一区域表示成定义中与含有最多对应像素的区域为并将含有区域的帧定义为iχ，在奇数次迭代过程中，若x>χ,γ(x,χ,i)就等于i，否则为(i-1)；在偶数次迭代过程中，若x>χ,γ(x,χ,i)就等于(i-1)，否则为i。

在其中的一实施例，上述空间一致性权重满足：

其中是区域的面积，是的一个邻域，表示领域所有的面积之和。

在其中的一实施例，根据所述当前帧的时间一致性对应帧和空间一致性对应帧来重构得到的输出帧满足下列关系式：

其中维持帧与帧之间的时间一致性的项满足下列关系式：

在此，α(i)和β(i)分别为权重系数，f^p(ix)表示位于帧ix前面的对应帧构成的集合，f^s(ix)表示位于帧ix后面的对应帧构成的集合，ωt(ix,iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。

在其中的一实施例，上述步骤b)中匹配任意两个不同帧之间的对应像素还包括：

运用超像素分割算法将所述原始视频的每帧分割成超像素块；

运用sift算法(scale-invariantfeaturetransform,尺度不变的特征变换)找到相邻帧之间逐像素点匹配的稠密对应关系，并连接具有稠密对应关系的各个像素点形成某个场景点的运动路径；

判断任意两个不同帧之间的像素点是否沿同一运动路径运动，如果是，将这两个像素点匹配作为所述对应像素。

在其中的一实施例，上述步骤e)还包括：在奇数次的迭代过程中，迭代方向是从左往右的，α(i)和β(i)分别设置为0.7和0.3；在偶数次的迭代过程中，迭代方向是从右往左的，α(i)和β(i)分别设置为0.3和0.7。

在其中的一实施例，若当前迭代为首次迭代过程，使用原输出视频中的对应帧替换本轮迭代中未求解的对应帧；若当前迭代为非首次迭代过程，使用上一轮迭代过程中的对应帧替换本轮迭代中未求解的对应帧。

采用本发明的基于视频帧的时间一致性来改善视频抖动的方法，首先在原始视频中匹配任意两个不同帧之间的对应像素及其对应区域；接着从原始视频选取一帧作为当前帧，计算当前帧与其他帧之间的对应度；然后根据计算得到的对应度确定当前帧的时间一致性对应帧集合；接着对时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧，重复上述匹配操作和迭代过程，重构每一输出帧从而改善输出视频存在的视频抖动。相比于现有技术，本发明基于视频帧的时间一致性，能够在不了解具体的图像处理方法的前提下，改善或去除由于该图像处理方法逐帧运用到视频中所造成的视频抖动。

附图说明

读者在参照附图阅读了本发明的具体实施方式以后，将会更清楚地了解本发明的各个方面。其中，

图1是本发明的基于视频帧的时间一致性来改善视频抖动的方法的流程框图；

图2示出采用图1的方法时，任意两个不同帧间的对应像素的运动路径示意图；

图3(a)至图3(c)示出采用图1的方法时，与当前帧ix对应的时间一致性帧的不同分布状态的示意图；以及

图4示出采用图1的方法时，使用warp操作来重构输入帧ix对应的输出帧ox的原理示意图。

具体实施方式

为了使本申请所揭示的技术内容更加详尽与完备，可参照附图以及本发明的下述各种具体实施例，附图中相同的标记代表相同或相似的组件。然而，本领域的普通技术人员应当理解，下文中所提供的实施例并非用来限制本发明所涵盖的范围。此外，附图仅仅用于示意性地加以说明，并未依照其原尺寸进行绘制。

下面参照附图，对本发明各个方面的具体实施方式作进一步的详细描述。

图1是本发明的基于视频帧的时间一致性来改善视频抖动的方法的流程框图。图2示出采用图1的方法时，任意两个不同帧间的对应像素的运动路径示意图，图3(a)至图3(c)示出采用图1的方法时，与当前帧ix对应的时间一致性帧的不同分布状态的示意图，图4示出采用图1的方法时，使用warp操作来重构输入帧ix对应的输出帧ox的原理示意图。

本发明的硬件条件为，cpu频率2.40ghz，内存8g的计算机，软件工具为matlab2014b。参照图1至图4，在该实施例中，基于视频帧的时间一致性来改善视频抖动的方法通过步骤s101～s111予以实现。

详细而言，在步骤s101中，提供一原始视频(或称为输入视频)以及一输出视频，其中输出视频是对原始视频进行了图像处理的视频(或称为原输出视频)。在步骤s103中，于原始视频中匹配任意两个不同帧之间的对应像素以及包含对应像素的对应区域。在步骤s105中，从原始视频选取一帧作为当前帧，计算当前帧与其他帧之间的对应度。在步骤s107中，根据计算得到的对应度，确定当前帧的时间一致性对应帧集合。在步骤s109中，对时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧。在步骤s111中，重复上述步骤s103至步骤s109，重构每一输出帧从而改善输出视频存在的视频抖动。因此，重构之后的视频是基于输入视频和原输出视频、且进行了视频去抖的新输出视频。

依据一具体实施例，上述匹配任意两个不同帧之间的对应像素还包括运用超像素分割算法将所述原始视频的每帧分割成超像素块，运用sift算法(scale-invariantfeaturetransform,尺度不变的特征变换)找到相邻帧之间逐像素点匹配的稠密对应关系，并连接具有稠密对应关系的各个像素点形成某个场景点的运动路径，判断任意两个不同帧之间的像素点是否沿同一运动路径运动，如果是，将这两个像素点匹配作为对应像素。如图2所示，帧ix-i、帧ix-j、帧ix以及帧ix+k这些帧中沿同一运动路径运动的像素点被视为对应像素，并且包含这些对应像素的区域被视为对应区域。在此，按照匹配生成视差图进行划分，立体匹配可分为稀疏匹配和稠密匹配。其中，稀疏匹配主要是通过提取图像少量特征点来进行特征匹配，少量特征点只能获得对应特征点的视差值，因此得到的视差图也是稀疏的；稠密匹配则是通过对图像上每一个像素遍历进行匹配，从而得到整个图像的视差值，生成稠密视差图。

就对应区域而言，对给定的原始视频中的输入帧ix中的第n个超像素分割区域遍历其它帧中的所有区域找到当前区域的对应区域，所有与当前区域相对应的区域构成对应区域集合则

其中是iy帧的第m个区域，如果区域和是对应区域，则就等于1，否则为0；l表示原始视频中的帧的长度；ny表示iy帧的区域数目。我们用c(ix,iy)来表示ix和iy间的对应区域数目。

其中nx和ny分别表示ix和iy帧中的区域数目。为了获得给定帧ix的具有时间一致性联系的对应帧，需要计算ix和其它任意一帧之间的对应度，该对应度可使用δ(ix,iy)表示，则：

δ(ix,iy)＝c(ix,iy)/d(ix,iy),

其中，y的范围需满足条件：y∈[1,x)∪(x,l),c(ix,iy)表示ix和iy间的对应区域数目，d(ix,iy)表示帧间隔，帧间隔可以通过计算帧ix和iy的序列号x和y之差的绝对值得到。然后根据δ(ix,iy)对原始视频中除ix以外的所有帧降序排列，取排序后数组中的前ξ个帧构成当前帧ix的时间一致性对应帧集合f(ix)。这里，我们可根据原始视频的内容来预设对应帧个数ξ的取值。详细而言，例如，按照对应度由大到小的顺序对帧进行排序，然后选择排序后的数组中的前若干个帧，选取的帧的数目由用户基于视频的内容预先设定，再由所选取的视频帧确定当前帧的时间一致性对应帧集合。此外，亦可将计算得到的对应度与对应度阈值进行比较，并选取高于该对应度阈值的若干视频帧作为当前帧的时间一致性对应帧集合。

依据一具体实施例，在维持视频帧的时间一致性的过程中，通过最小化重构的输出视频的输出帧ox以及原输出视频的视频帧px之间的差值来保证重构的输出视频的视频保真度，该视频保真度的项eq(ox)满足下列关系式：

eq(ox)＝||ox-px||²。

其中，||·||表示二阶范式，即向量各元素和的平方和然后开方。为了减少处理过的视频帧px中的视频抖动对输出帧ox的影响，同时尽可能地保存px中的动态场景，可将上式改写为：

其中，和分别表示输出帧ox和处理过的视频帧px的梯度域。因为我们可以用边缘信息来表示一个场景，同时运用梯度混合向量信息重构帧中的区域，尽可能保留处理过的视频帧的动态场景。

由上述可知，在一实施例中，根据当前帧的时间一致性对应帧以及视频保真度两项来重构得到的输出帧满足下列关系式：

其中维持帧与帧之间的时间一致性的项满足下列关系式：

在此，α(i)和β(i)分别为权重系数，f^p(ix)表示位于帧ix前面的对应帧构成的集合，f^s(ix)表示位于帧ix后面的对应帧构成的集合，ωt(ix,iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。

进一步而言，上述时间一致性权重ωt(ix,iy)满足：

ωt(ix,iy)＝ωc(ix,iy)/ωd(ix,iy)

其中，ωc(ix,iy)表示衡量帧ix与帧iy间对应区域的数目的权重，ωd(ix,iy)表示衡量帧ix与帧iy的帧间隔的权重，c(ix,iy)表示帧ix和帧iy之间的对应区域的数目，帧iy1是帧ix的时间一致性对应帧集合f(ix)中的一个元素，d(ix,iy)为帧间隔，可以通过计算两帧之间的帧序号x和y之差的绝对值而得到。

参照图3(a)至图3(c)，与当前帧ix相对应的时间一致性对应帧可呈现不同的分布位置。在图3(a)中，对应帧分布在ix的前面(对应帧的帧索引小于x)，我们将位于ix前面的对应帧构成的集合表示成f^p(ix)。在图3(c)中，对应帧分布在ix的后面(对应帧的帧索引大于x)，我们将位于ix后面的对应帧构成的集合表示成f^s(ix)。基于这种表示形式，我们可以将图3(a)的当前帧ix的对应帧f(ix)表示成f(ix)＝f^p(ix)∪f^s(ix)。类似地，f^p(ix)和f^s(ix)中的输入帧相对应的输出帧构成的集合可以表示成f(ox)＝f^p(ox)∪f^s(ox)。

在以特定的顺序对视频进行处理的过程中，考虑到对应帧集合f(ix)中的元素分布的多样性，通过对应帧来求解与当前帧ix相对应的输出帧ox的过程中，对应帧可能还处于未被求解的状态，因此，为了减少由未知的对应帧分布于当前帧前面或者当前帧后面而造成的在重构当前帧的过程中的不准确性，本申请提出一种多次奇偶迭代求解输出帧的模型。详细而言，在奇数次(1,3,5…)的迭代过程中，迭代方向是从左往右的；在偶数次(2,4,6…)的迭代过程中，迭代方向是从右往左的。进一步而言，若当前迭代为首次迭代过程，使用原输出视频中的对应帧px替换本轮迭代中未求解的对应帧；若当前迭代为非首次迭代过程，使用上一轮迭代过程中的对应帧替换本轮迭代中未求解的对应帧。如此一来，在奇数次或偶数次的迭代过程中，都是利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中未知的输出帧。例如，在第i次迭代过程中，当前帧ix的输出帧可以表示成

当前帧ix的输出帧的重构过程可参照图4。更为详细地，对于ix中的某个像素点a，使用光流法找到iy中与像素点a最相近的像素点b，然后用双线性插值从oy中找到与b对应的b'，将b'的值赋给a'，得到ox中的a'的值。

针对时间一致性的项进行多次奇偶迭代时，当第i次迭代为奇数次迭代时，上式中的μ(i)即为i，v(i)为(i-1)。因为在奇数次的迭代求解过程中，对整个视频的处理顺序是从左往右的，所以中的帧已经被求解，但中的帧是未知的，对于这些未知的帧，我们用上一轮的迭代结果来代替。然后利用中已经求解的输出帧和中虽未知但已经由上一轮迭代结果代替的帧来重构当前的输出帧。为了减小由上一轮迭代结果替代本轮未知的对应帧带来的误差，对由本轮迭代过程中已经求解的f(ix)的对应输出帧f(ox)来重构得到的输出帧ox赋予权重α(i)。对用上一轮迭代结果来替代本轮迭代中未求解的f(ix)的对应输出帧f(ox)重构的输出帧ox赋予权重β(i)。在奇数次的迭代过程中，α(i)大于β(i)。在实验中，将α(i)和β(i)分别设置为0.7和0.3。

当第i次迭代为偶数次迭代时，上式中的μ(i)即为(i-1)，v(i)为i。因为在偶数次的迭代过程中，对整个视频的处理顺序是从右往左的，所以用于重构输出帧ox的对应帧集合中的对应帧的输出帧已经被求解，但中的帧是未知的，对于未知的帧，同奇数次迭代结果中的处理，我们运用上一轮对应帧的输出帧的迭代结果来代替。在偶数次的迭代过程中，α(i)设置为小于β(i)。在实验中，将α(i)和β(i)分别设置为0.3和0.7。

依据一具体实施例，为维持在由时间一致性的对应帧重构与当前帧ix对应的输出帧ox过程中的空间一致性，通过最小化重构的输出视频的输出帧ox以及用来重构该输出帧ox的空间一致性对应帧之差，设置空间一致性的项该空间一致性的项满足关系式：

其中，nx表示帧ix中的区域数，表示空间一致性权重，表示当前帧ix中的某一给定区域的邻域，将中某一区域表示成定义中与含有最多对应像素的区域为并将含有区域的帧定义为iχ，在奇数次迭代过程中，若x>χ,γ(x,χ,i)就等于i，否则为(i-1)；在偶数次迭代过程中，若x>χ,γ(x,χ,i)就等于(i-1)，否则为i。

进一步而言，上述空间一致性权重满足：

其中是区域的面积，是的一个邻域，表示领域所有的面积之和。

由上述可知，在一实施例中，根据当前帧的时间一致性对应帧、视频保真度、当前帧的空间一致性对应帧来重构得到的输出帧满足下列关系式：

其中维持帧与帧之间的时间一致性的项满足下列关系式：

在此，α(i)和β(i)分别为权重系数，f^p(ix)表示位于帧ix前面的对应帧构成的集合，f^s(ix)表示位于帧ix后面的对应帧构成的集合，ωt(ix,iy)表示时间一致性权重，warp()表示运用光流从对应帧重构输出帧进行warp操作的过程，v为ix中的空间像素点的位置，当i对应奇数次迭代时，μ(i)为i，v(i)为(i-1)；当i对应偶数次迭代时，μ(i)为(i-1)，v(i)为i。

采用本发明的基于视频帧的时间一致性来改善视频抖动的方法，首先在原始视频中匹配任意两个不同帧之间的对应像素及其对应区域；接着从原始视频选取一帧作为当前帧，计算当前帧与其他帧之间的对应度；然后根据计算得到的对应度确定当前帧的时间一致性对应帧集合；接着对时间一致性对应帧集合进行多次奇偶迭代处理，利用上一轮迭代结果中的对应帧的输出帧来替代本轮迭代过程中的未知的对应帧的输出帧，重复上述匹配操作和迭代过程，重构每一输出帧从而改善输出视频存在的视频抖动。相比于现有技术，本发明基于视频帧的时间一致性，能够在不了解具体的图像处理方法的前提下，改善或去除由于该图像处理方法逐帧运用到视频中所造成的视频抖动。

上文中，参照附图描述了本发明的具体实施方式。但是，本领域中的普通技术人员能够理解，在不偏离本发明的精神和范围的情况下，还可以对本发明的具体实施方式作各种变更和替换。这些变更和替换都落在本发明权利要求书所限定的范围内。