一种基于帧间运动光滑性的无参考视频稳定质量评价方法与流程

本发明涉及一种视频稳定质量评价方法，特别涉及一种基于帧间运动光滑性的无参考视频稳定质量评价方法，属于视频处理领域。
背景技术：
：随着视频采集设备的廉价化，越来越多的视频采集设备应用于我们生活，涉及娱乐、安全、生产等各个方面。但是，由于使用环境和使用人员的限制，如大风对于监控摄像头的影响、业余爱好者没有三脚架、云台等专业的摄像稳定设备的情况，往往导致我们采集到的视频数据带有一定的抖动或者晃动，影响人眼的观看感受和后期的进一步处理。对于视频稳定这一具有较高应用价值的问题，国内外的学者已经做了许多的基础研究。现在拥有着大量的视频稳定方法，如基于l1优化的视频稳定方法(m.grundmann,v.kwatraandi.eassa.auto-directedvideostabilizationwithrobustl1optimalcamerapaths.inproc.cvpr,225–232，2011)、基于内容保护图像扭曲的3d视频稳定方法(f.liu,m.gleicher,h.l.jin,anda.agarwala,content-preservingwarpsfor3dvideostabilization.acmtransactionsongraphics28(3):44:1–44:9,2009)、子空间稳定方法(f.liu,m.gleicher,j.wang,h.l.jinanda.aharwala.subspacevideostabilization.acmtransactionsongraphics30(1):4:1–4:10,2011)。然而，在文献中很少出现一种可靠地视频稳定质量评价方法，用户无法了解视频稳定算法的客观性能，就无法挑选合适的稳定算法。视频稳定质量评价分为全参考质量评价和无参考质量评价。若存在原始稳定的视频，则可以通过对比稳像视频与原始视频来计算抖动的去除程度和稳定视频的质量，称为全参考质量评价。无参考质量评价使用统计模型测量稳像前后的运动变化从而进行质量评价。现有的全参考质量评价的处理方式一般是人工合成稳定的视频或者稳定的摄像机路径，然后进行质量评价(offiahmc,aminn,grosst,etal.anapproachtowardsafull-reference-basedbenchmarkingforquality-optimizedendoscopicvideostabilizationsystems[c]//eighthindianconferenceoncomputervision,graphicsandimageprocessing.2012:1-8.)。这种处理方式实际上只能算部分参考评价，因为作为参考的视频或路径不是真实存在的。相对来说，无参考视频稳定质量评价在实际中应用更加广泛，因为它灵活且廉价(battiatos,gallog,puglisig,etal.siftfeaturestrackingforvideostabilization[c]//internationalconferenceonimageanalysisandprocessing.ieee,2007:825-830.)。然而，当前已有的无参考方法仅仅依赖于简单的视觉线索，例如帧间变化或参数变化，这些都被证明是不够准确的且与主观质量评价矛盾。技术实现要素：本发明的目的是针对现有无参考视频质量评价方法仅依赖于简单的视觉线索，评价方法不够准确且与主观质量评价矛盾，提出了一种基于帧间运动光滑性的无参考视频稳定质量评价方法。本发明技术方案的思想是首先提取相邻帧特征点，然后对视频帧进行网格化处理，再计算网格单应性矩阵，将单应性矩阵组成捆绑路径，再计算捆绑路径的平滑性，最后将全部捆绑路径的平滑性综合得到最终视频稳定质量评价结果。本发明的具体实现步骤如下：步骤一、提取待评价视频中的相邻帧特征点，引入变量t并初始化；其中，设置n为视频总帧数；设置t为视频帧索引数，并初始化t＝1，即从第一帧开始利用surf(herbertbay,andreasess,tinnetuytelaars,lucvangool.speeded-uprobustfeatures//similaritymatchingincomputervisionandmultimedia.2008:346-359.)算法提取相邻帧的对应特征点；步骤二、视频帧网格化为w块矩形网格，具体为：将待评价视频中的视频帧划分为w块矩形网格，对于某一网格，其形式化表示为如下公式(1)：其中，表示网格，j表示网格索引，它的范围是1-w；w表示网格数量，是大于等于2的整数平方；t如步骤一所述表示视频帧索引数；表示集合，元素表示网格四个顶点坐标，i的取值范围是从1到4；步骤三、计算网格单应性矩阵；其中，计算网格单应性矩阵通过单应性估计实现，为了保证单应性估计的时空一致性，使用了liu等人提出的变形方法(lius,yuanl,tanp,etal.bundledcamerapathsforvideostabilization[j].acmtransactionsongraphics,2013,32(4):78.)对网格进行变形处理，然后进行单应性估计；具体为：步骤3.1对于某一网格，利用其变形前后的位置关系可以计算出对应的单应性矩阵，其形式化表示为如下公式(2)：其中，表示变形后网格的顶点坐标，表示变形前网格的顶点坐标，表示计算得到的单应性矩阵；步骤3.2再计算对应于这些网格的捆绑路径，其形式化表示为如下公式(3)：步骤四、计算从第t-1帧到第t帧的测地线，得到切向量步骤四到步骤六计算都针对某一网格所形成的捆绑路径，执行步骤四到步骤六可以获得捆绑路径上一个点的曲率，然后将一条路径上每个点的曲率相加求平均就可以得到这条路径的平均曲率，平均曲率可以表示一条路径的平滑程度，最后再将w个网格的捆绑路径的平滑程度结果求平均即可得到平均平滑程度，平均平滑程度可以衡量视频稳定性；假设第t-1帧到第t帧的单应变换为ht-1，那么对应的测地线为如下公式(4)：其中，表示第t-1帧到第t帧的测地线；表示这条测地线上的位置，当γ(0)表示测地线起点，当γ(1)表示测地线终点；和为定义id∈g上的黎曼指数函数和黎曼对数函数，g是一种空间几何变换的集合，的具体表示如下公式(5)：其中，exp(·)为指数函数，是的逆映射；根据公式(6)计算测地线的切向量：公式(6)表示矩阵的幂级数求导公式，a是一个矩阵，t是矩阵函数的变量，计算可得公式(7)：令公式(7)中的则可以得到从t-1帧到第t帧测地线终点的切向量，如下公式(8)：其中，本步骤四里计算公式(5)、(7)和(8)中的u表示ht-1；步骤五、计算从第t帧到第t+1帧的测地线，得到切向量设第t帧到第t+1帧的单应变换为ht，从第第t帧到第t+1帧测地线为如下公式(9)：令公式(9)中的则可以得到从第t帧到第t+1帧测地线起点的切向量为如下公式(10)：步骤六、计算切向量和的夹角αt；具体为：夹角αt根据公式(11)计算：可以计算出向量夹角的余弦值，也就得到了向量夹角αt，具体计算如公式(12):其中，tr表示矩阵的迹；步骤七、计算总体曲率；利用步骤四、五、六计算出某一网格对应的捆绑路径的曲率均值来衡量这条路径的平滑程度，其形式化表示为如下公式(13)：其中t表示视频帧索引数，j表示网格索引，n表示视频总帧数；步骤八、计算所有捆绑路径的平均平滑程度来衡量视频稳定性，其形式化表示为如下公式(14)：其中w是捆绑路径的数量，也就是网格数量；至此，从步骤一到步骤八，完成了一种基于帧间运动光滑性的无参考视频稳定质量评价方法。有益效果本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法，与现有视频稳定质量评价方法相比，具有如下有益效果：1.本发明所提的视频稳定质量评价方法，能够可靠地进行视频稳定质量评价，使用户挑选合适的稳定算法；2.本发明是一种新的无参考视频稳定质量评价算法，使用捆绑运动路径的本征测地曲率来表示路径的平滑程度，与主观质量评价具有很高的一致性；3.本发明所提方法在一个大规模数据集上做的实验证明本方法在鲁棒性、灵活性和效率方面均具有很大优势。附图说明图1是本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法的流程图；图2是本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法中网格单应性矩阵计算方法的示例。具体实施方式下面结合附图对本发明方法的实施方式做详细说明。实施例1本实施例阐述了应用本发明一种基于帧间运动光滑性的无参考视频稳定质量评价方法的具体实施例。采用本发明所述方法，具体实现步骤如下：步骤a、surf算法提取相邻帧特征点；具体到本实施例，是针对待评价视频，提取其中的相邻帧特征点，具体为：一副图像中，有很多表征图像属性或类别的特征，包括形状特征、颜色特征、纹理特征等；为了得到帧与帧之间的运动变换关系，首先检测出图像帧it(t＝1,2,…,n,n表示图像帧数量)的特征点。提取特征点时,一般选用harris角点或者sift特征点(d.g.lowe.objectrecognitionfromlocalscale-invariantfeatures.inproc.iccv,pages1150–1157,1999.)，作为优选，本实施例采用了surf算法实现特征点的检测。首先设置n为视频总帧数；设置t为视频帧索引数，并初始化t＝1，然后从第一帧开始利用surf算法提取相邻帧的对应特征点。当选取一定数量的特征点之后，通过光流法得到这些特征点在下一帧it+1中的对应位置，为了得到较好效果，本实施例采用金字塔lucas-kanade光流方法实现。最后使用随机采样一致算法(randomsampleconsensus,ransac)筛选匹配点。步骤b、视频帧网格化为w块矩形网格，具体为：将待评价视频中的视频帧划分为w块矩形网格，对于某一网格，其形式化表示为如下公式(15)：其中，表示网格，j表示网格索引，它的范围是1-w；w表示网格数量，是大于等于2的整数平方；t如步骤一所述表示视频帧索引数；表示集合，元素表示网格四个顶点坐标，i的取值范围是从1到4；步骤c、计算网格单应性矩阵；其中，计算网格单应性矩阵通过单应性估计实现，为了保证单应性估计的时空一致性，使用了liu等人提出的变形方法(lius,yuanl,tanp,etal.bundledcamerapathsforvideostabilization[j].acmtransactionsongraphics,2013,32(4):78.)对网格进行变形处理，然后进行单应性估计；具体为：步骤c.1对于某一网格，利用其变形前后的位置关系可以计算出对应的单应性矩阵，其形式化表示为如下公式(16)：其中，表示变形后网格的顶点坐标，表示变形前网格的顶点坐标，表示计算得到的单应性矩阵；步骤c.2再计算对应于这些网格的捆绑路径，其形式化表示为如下公式(17)：步骤d、计算从第t-1帧到第t帧的测地线，得到切向量步骤d到步骤f的计算都针对某一网格所形成的捆绑路径，执行步骤四到步骤八可以获得捆绑路径上一个点的曲率，然后将一条路径上每个点的曲率相加求平均就可以得到这条路径的平均曲率，平均曲率可以表示一条路径的平滑程度，最后再将w个网格的捆绑路径的平滑程度结果求平均即可得到平均平滑程度，平均平滑程度可以衡量视频稳定性；假设第t-1帧到第t帧的单应变换为ht-1，那么对应的测地线为如下公式(18)：其中，表示第t-1帧到第t帧的测地线；表示这条测地线上的位置，当γ(0)表示测地线起点，当γ(1)表示测地线终点；和为定义id∈g上的黎曼指数函数和黎曼对数函数，g是一种空间几何变换的集合，的具体表示如下公式(19)：其中，exp(·)为指数函数，是的逆映射；根据公式(20)计算测地线的切向量：公式(20)表示矩阵的幂级数求导公式，a是一个矩阵，t是矩阵函数的变量，计算可得公式(21)：令公式(21)中的则可以得到从t-1帧到第t帧测地线终点的切向量，如下公式(22)：步骤d里计算公式中的u表示ht-1。步骤e、计算从第t帧到第t+1帧的测地线，得到切向量假设第t帧到第t+1帧的单应变换为ht，那么对应的测地线为如下公式(23)：那么，令公式(23)中的则可以得到从第t帧到第t+1帧测地线起点的切向量为如下公式(24)：步骤f、计算切向量和的夹角αt；具体为：夹角αt根据公式(25)计算：可以计算出向量夹角的余弦值，也就得到了向量夹角αt，具体计算如公式(26):其中tr表示矩阵的迹。步骤g、计算总体曲率；利用步骤d、e、f计算出某一网格对应的捆绑路径的曲率均值来衡量这条路径的平滑程度，其形式化表示为如下公式(27)：其中t表示视频帧索引数，j表示网格索引，n表示视频总帧数；步骤h、计算所有捆绑路径的平均平滑程度来衡量视频稳定性，其形式化表示为如下公式(28)：其中w是捆绑路径的数量，也就是网格数量；实施例2本实施例通过客观计算利用六种视频稳定算法得到的稳像视频及原始抖动视频的稳定质量评价结果与主观评价结果对比，验证本发明的有效性。其中原始视频数据集分为十二类视频，包括simple,rotation,zooming,riding,running,climbing,driving,rollingshutter,dark,crowd,largeparallax以及near-rangeobject。六种视频稳定算法分别为thefull-framemethod(ff)、thespatiallyandtemporallyoptimizedmethod(sto)、bundledpathsmethods(pb)、adobeaftereffects(ae)warpstabilizer、googleyoutubestabilizer、virtualdubdeshaker。计算结果如表1所示：表1不同视频稳定算法排序：本发明的视频稳定质量评价结果以及括号中的主观视频稳定质量评价结果，最后一列是两种结果的相关系数视频类别ffstopbaeyoutubedeshaker原始视频相关系数simple5(5)1(1)4(4)3(3)2(2)6(6)7(7)1rotation3(3)7(7)5(5)2(2)1(1)4(4)6(6)1zooming4(5)1(1)5(4)3(3)2(2)6(6)7(7)0.964riding4(4)1(1)5(5)3(3)2(2)6(6)7(7)1running4(4)1(1)6(6)3(3)2(2)5(5)7(7)1climbing4(4)1(1)5(5)3(3)2(2)6(6)7(7)1driving4(4)1(1)6(6)3(2)2(3)5(5)7(7)0.964rollingshutter5(4)2(2)6(6)3(3)1(1)4(5)7(7)0.964dark4(4)1(2)5(6)3(3)2(1)6(5)7(7)0.928crowd4(5)1(1)6(6)2(3)3(2)5(4)7(7)0.928largeparallex5(5)1(1)6(6)3(3)2(2)4(4)7(7)1near-rangeobject4(4)1(1)5(6)3(3)2(2)6(5)7(7)0.9643平均结果4(4)1(1)6(6)3(3)2(2)5(5)7(7)0.976表一中的相关系数使用了斯皮尔曼相关系数(forthoferrn,lehnenrg.rankcorrelationmethods[m]//publicprogramanalysis.springerus,1981:146-163.)，数值越接近1表示两组结果越相关。从表一可以看出本发明最终评价结果与主观评价结果具有很高的一致性。实施例3本实施例通过计算其他三种无参考视频稳定质量评价算法的评价结果与主观质量评价的评价结果之间的相关性，然后与实施例2中本发明计算得到的结果的相关性作对比，验证本发明的优越性。本实施例所使用的三种无参考视频稳定质量评价算法分别为itf(battiatos,gallog,puglisig,etal.siftfeaturestrackingforvideostabilization[c]//internationalconferenceonimageanalysisandprocessing.ieeexplore,2007:825-830.)；lhr(lius,yuanl,tanp,etal.bundledcamerapathsforvideostabilization[j].acmtransactionsongraphics,2013,32(4):1-10.)；还有一种2d曲率的评价方法。所用原始视频数据集是实施例2中的十二类视频。对比结果如表2所示：表2斯皮尔曼相关系数对比视频类别itflhr2d曲率本发明simple0.8571111rotation0.750.571411zooming0.64290.46850.750.9643riding0.750.964311running0.78570.96430.82141climbing0.82890.93711driving0.750.82140.92860.9643rollingshutter0.96430.35710.71430.9643dark0.750.85710.85710.9286crowd0.57140.92860.71430.9286largeparallex-0.392910.85711near-rangeobject0.64290.89290.96430.9643平均结果0.6580.8140.8840.976从表2平均结果可以看出本发明与主观质量评价的相关性相比于其他无参考视频稳定质量评价方法的相关性更高，具有一定的优越性。为了说明本发明的内容及实施方法，本说明书给出了相关的具体实施例。在实施例中引入细节的目的不是限制权利要求书的范围，而是帮助理解本发明所述方法。本领域的技术人员应理解：在不脱离本发明及其所附权利要求的精神和范围内，对最佳实施例步骤的各种修改、变化或替换都是可能的。因此，本发明不应局限于最佳实施例及附图所公开的内容。当前第1页12