基于投影不变描述子的视频同步方法与流程

本发明属于图像处理
技术领域：
，涉及一种视频同步方法，具体涉及一种基于投影不变描述子的视频同步方法，可应用于目标识别与跟踪、视频拼接、高分辨率视频合成及三维重建等领域。
背景技术：
：视频同步是将非标定且放置在不同视角位置的多个摄像机记录的同一动态场景的多个视频进行时间校准的技术，视频同步的核心目标是建立多个视频中来自同一物理时刻的视频帧的对应关系。视频同步大致分为两类：直接法和基于特征的方法。直接法通常以一整个视频帧作为输入，针对所有的像素值进行综合计算处理，其主要使用视频中全局性的灰度值动态信息完成视频同步，例如流水、飘动的旗帜、闪烁的火焰、光照变换等等。基于特征的视频同步方法主要使用视频中具有代表性的动态特征完成视频同步，例如场景中物体的形状变化，运动目标轨迹等。对直接法和基于特征的方法进行对比可以发现。直接法对于视角差异较大，视频间“外貌”差异较大的场景无法获得较好的结果，且由于直接法是对每个像素点都进行计算，所以算法的运算复杂度比较高，计算量非常大。而基于特征的方法比直接法具有较高的效率和较低的计算量，且基于特征的视频同步方法可以应用于不同光谱特性的视频同步问题。所以，基于特征的视频同步方法具有更广泛的适用性，是当前的研究热点。在基于特征的视频同步方法中，基于轨迹的视频同步方法占有主导地位，该类方法的基本思想是，含有重叠视角区域的像机所获得的视频的离散轨迹点集之间含有轨迹点的匹配对应关系，通过轨迹点的匹配对应关系获得视频的时间对应关系。通常情况下，基于轨迹的视频同步方法首先分别从参考视频和待同步视频中提取出各自的轨迹点集，每一个轨迹点包含它的位置信息和时间信息。然后使用投影不变表示或者多视图几何技术建立两个离散轨迹点集之间的轨迹点匹配关系，提取出轨迹点的时间信息，从而获得输入视频的时间对应关系。目前，基于轨迹的视频同步方法中典型的有基于仿射模型、基于投影不变表示和基于对极几何约束三种方法，其中，基于仿射模型的视频同步方法(luc,mandalm.arobusttechniqueformotion-basedvideosequencestemporalalignment.ieeetransactionsonmultimedia,2013,15(1):70-82.)，使用仿射变换作为轨迹点集之间的几何变换模型，能够对像机间视角差异较小的平面运动场景获得较好的效果。但是，当像机间视角差异较大或者运动目标做非平面运动时，基于仿射模型的视频同步方法不能正确模拟不同视角之间的几何变换关系，将计算出大量的错误轨迹点匹配对。因此基于仿射模型的视频同步方法不能对存在较大视角差异或者运动目标做非平面运动的两个视频进行同步。基于投影不变表示的视频同步方法(nunziatiw,sclaroffs,delbimboa.matchingtrajectoriesbetweenvideosequencesbyexploitingasparseprojectiveinvariantrepresentation.ieeetransactionsonpatternanalysisandmachineintelligence,2010,32(3):517-529.)，使用当前轨迹点及其四个邻域轨迹点构造出一个五共面点结构，并且以五共面点交比作为轨迹点的描述，因此能够对存在较大视角差异的视频进行同步。但是由于其要求轨迹点共面，所以不能应对运动目标做非平面运动的场景。并且由于其使用邻域轨迹点构造五点结构，且其使用的时间间隔参数与视频帧率比相关，所以当运动目标的轨迹含有较多形状相似的片段或者输入视频间帧率未知不等时，该方法不能将这些轨迹点进行区分，从而导致获得较差的同步结果。基于对极几何约束的视频同步方法(paduaf,carceronir,santosg,etal,linearsequence-to-sequencealignment,ieeetransactionsonpatternanalysisandmachineintelligence.32(2)(2010)304-320.)，以对极线与轨迹曲线的交点作为待求的匹配轨迹点，因此基于对极几何约束的视频同步方法可以应对运动目标做非平面运动或含有较多相似轨迹片段的场景。但是该方法由于使用对极线与轨迹曲线的交点作为待求的匹配轨迹点，因此仅适用于对极线与轨迹曲线含有较少交点的情况，当场景中含有较多运动目标或者运动目标做复杂运动时，对极线与轨迹曲线含有大量交点，从而导致该方法得到较差的结果。综上所述，当面对摄像机帧率未知不等、像机间视角差较大、多个运动目标及运动目标做平面或者非平面运动等多种场景时，现有的技术往往很难对轨迹点进行有效的描述及匹配，从而导致其仅能部分的应对上述不同场景的视频同步问题，适用范围较窄。技术实现要素：本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于投影不变描述子的视频同步方法，用于解决现有技术无法适用多种不同场景的视频同步导致的适用范围较窄的技术问题。本发明的技术思路是：首先对输入视频进行运动目标轨迹提取及背景图像匹配；接下来利用背景特征点匹配对进行对极几何估计，得到背景图像间的基础矩阵及对极点；利用若干背景特征点及对极点，基于五共面点交比为每一个轨迹点构建投影不变描述子；然后按照最近邻比次近邻小于指定阈值的准则获得初始轨迹点匹配对；采用轨迹点联合匹配及对极几何约束剔除错误轨迹点匹配对；提取轨迹点的时间信息，获得视频间的初级帧匹配对；以重复多次采样构建计分矩阵及阈值化的方法获得最终帧匹配对，最后使用随机抽样一致算法计算出输入视频间的时间模型参数。根据上述技术思路，实现本发明的目的所采取的技术方案包括如下步骤：(1)获取同一动态场景的参考视频和待同步视频：使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一动态场景，得到两个视频v1和v2，并将视频v1作为参考视频，视频v2作为待同步视频；(2)运动目标轨迹提取及背景图像匹配：对参考视频v1进行特征提取，得到参考视频v1的运动目标轨迹点集t1＝{p1i|i＝1,2,3...n1}和背景图像i1，对待同步视频v2进行特征提取，得到待同步视频v2的运动目标轨迹点集t2＝{p2j|j＝1,2,3...n2}和背景图像i2，并对背景图像i1和背景图像i2进行图像匹配，得到背景图像i1和背景图像i2之间的特征点匹配对集合b＝{(bi,bi′)|i＝1,2,3...n0}，其中，p1i是轨迹点集t1中的第i个轨迹点，n1是轨迹点集t1中的轨迹点总数，p2j是轨迹点集t2中的第j个轨迹点，n2是轨迹点集t2中的轨迹点总数，bi是背景图像i1中的特征点，bi′是背景图像i2中的特征点，n0是背景特征点匹配对集合b中的特征点匹配对总数；(3)估计背景图像i1和背景图像i2之间的对极几何：利用特征点匹配对集合b，对背景图像i1和背景图像i2之间的对极几何进行估计，得到背景图像i1和背景图像i2之间的基础矩阵f，及背景图像i1的对极点e和背景图像i2的对极点e′；(4)初始化循环控制数及帧匹配对计分矩阵：设置构建帧匹配对计分矩阵的循环控制数为s，循环控制变量s＝0,初始化帧匹配对计分矩阵mc中所有元素的值为零；(5)构建轨迹点集t1对应的投影不变描述子集合d1和轨迹点集t2对应的投影不变描述子集合d2：5a)设置投影不变描述子的维度数为n，循环控制变量index＝0；5b)从背景图像特征点匹配对集合b中，分块随机采样出在背景图像i1中的3个特征点{b1,b2,b3}，及在背景图像i2中与背景图像i1中的3个特征点匹配的3个特征点{b′1,b′2,b′3}；5c)经过特征点b1和b2做直线l1，经过对极点e和特征点b3做直线l2，并求出直线l1和l2的交点bc；5d)对t1中的每一个轨迹点p1i(i＝1,...,n1)，计算五共面点的交比γ(p1i,b1,b2,bc,e)，并将其作为轨迹点p1i的投影不变描述子向量的第index个分量；5e)经过特征点b′1和b′2做直线l′1，经过对极点e′和特征点b′3做直线l′2，并求出直线l′1和l′2的交点b′c；5f)对t2中的每一个轨迹点p2j(j＝1,...,n2)，计算五共面点的交比γ(p2j,b′1,b′2,b′c,e′)，并将其作为轨迹点p2j的投影不变描述子向量的第index个分量；5g)令循环控制变量index加1，判断循环控制变量index是否小于等于投影不变描述子的维度数n，若是，执行步骤5b)，否则，结束循环，得到轨迹点集t1对应的投影不变描述子集合d1和轨迹点集t2对应的投影不变描述子集合d2；(6)获取轨迹点集t1与轨迹点集t2之间的初始轨迹点匹配对集合按照最近邻比次近邻小于指定阈值的准则，对轨迹点集t1的描述子集合d1和轨迹点集t2的描述子集合d2进行描述子匹配，得到轨迹点集t1与轨迹点集t2之间的初始轨迹点匹配对集合(7)对轨迹点集t1与轨迹点集t2之间的初始轨迹点匹配对集合进行修正：7a)对与初始轨迹点匹配对集合中的每一对轨迹点匹配对来自同一帧的轨迹点子集进行联合匹配，并根据匹配结果，检查初始轨迹点匹配对集合中的每一对轨迹点匹配对是否为正确匹配对；7b)剔除初始轨迹点匹配对集合中的错误的轨迹点匹配对，得到轨迹点匹配对集合(8)对轨迹点匹配对集合进行修正：对轨迹点匹配对集合中的每一对轨迹点匹配对施加对极几何约束，并将错误的轨迹点匹配对从中剔除，得到轨迹点匹配对集合(9)获取初级帧匹配对集合提取轨迹点匹配对集合中的每一对轨迹点的时间信息，得到参考视频v1与待同步视频v2之间的初级帧匹配对集合(10)分别对帧匹配对计分矩阵和循环控制变量进行更新：给帧匹配对计分矩阵mc中与当前的初级帧匹配对集合中的所有帧匹配对所对应的所有元素加1，同时给循环控制变量s加1，并判断循环控制变量s是否小于等于构建帧匹配对计分矩阵的循环控制数s，若是，执行步骤(5)，否则执行步骤(11)；(11)获取最终帧匹配对集合mf：设定帧匹配对选择阈值，并将帧匹配对计分矩阵mc中的各元素分别与帧匹配对选择阈值进行比较，然后选择出所有大于等于帧匹配对选择阈值的元素所对应的帧匹配对，得到最终帧匹配对集合mf；(12)计算时间模型参数：对最终帧匹配对集合mf进行直线拟合，得到参考视频v1与待同步视频v2之间的时间模型参数：帧率比α和时间偏移δt。本发明与现有技术相比，具有以下优点：第一，本发明基于五共面点交比这个投影不变量，为每一个轨迹点构建出一个投影不变描述子，将视频同步问题转化为两个离散轨迹点集的匹配问题。且由于对轨迹点构建的多维投影不变描述子具有较高的鲁棒性、区分性以及完全投影不变，且在运动目标做任意平面及非平面运动时都成立，可以适用于多种不同场景的视频同步问题，具有较大的适用范围。第二，本发明提出的轨迹点联合匹配策略利用了多个运动目标在同一时刻时的相对位置信息，包含了动态场景的瞬时状态信息，对含有多个运动目标的场景可以获得较低的平均时间同步误差和较高的正确匹配率。第三，本发明以重复多次采样构建计分矩阵及阈值化的方法获得最终帧匹配对，使用随机抽样一致算法计算输入视频间的时间模型参数，使得本发明相较已有技术具有更高的鲁棒性和稳定性。附图说明图1为本发明的实现流程图；图2为本发明与现有三种视频同步方法对一组人工合成场景的数据进行同步的仿真结果对比图；图3为本发明与现有三种视频同步方法对一组真实场景的视频进行同步的仿真结果图。具体实施方式下面结合附图和具体实施例，对本发明作进一步的描述。参照图1，基于投影不变描述子的视频同步方法，包括如下步骤：步骤1)、获取同一动态场景的参考视频和待同步视频：使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一动态场景，得到两个视频v1和v2，并将视频v1作为参考视频，视频v2作为待同步视频；步骤2)、运动目标轨迹提取及背景图像匹配：对参考视频v1和待同步视频v2分别进行特征提取，得到参考视频v1的背景图像i1和运动目标轨迹点集t1＝{p1i|i＝1,2,3...n1}，以及待同步视频v2的背景图像i2和运动目标轨迹点集t2＝{p2j|j＝1,2,3...n2}，并对背景图像i1和背景图像i2进行图像匹配，得到背景图像i1和背景图像i2之间的特征点匹配对集合b＝{(bi,b′i)|i＝1,2,3...n0}，其中，p1i是轨迹点集t1中的第i个轨迹点，n1是轨迹点集t1中的轨迹点总数，p2j是轨迹点集t2中的第j个轨迹点，n2是轨迹点集t2中的轨迹点总数，bi是背景图像i1中的特征点，b′i是背景图像i2中的特征点，n0是背景特征点匹配对集合b中的特征点匹配对总数；步骤3)、估计背景图像i1和背景图像i2之间的对极几何：3a)设置循环控制数为num，循环控制变量i＝0，对极距离阈值为th1，最大内点集mmax为空；3b)从背景图像特征点匹配对集合b中，分块随机采样出8对特征点匹配对；3b1)从背景图像特征点匹配对集合b中，提取出背景图像i1中的特征点集b1f；3b2)提取出特征点集b1f中特征点的横坐标最小值xmin和最大值xmax以及纵坐标最小值ymin和最大值ymax，得到包含特征点集b1f的最小矩形的左上角点[xmin,ymin]和右下角点[xmax,ymax]；3b3)将最小矩形等分为8×8个子块，按由左上到右下的顺序统计特征点集b1f中落在各个子块内的特征点总数，并将各个子块按照从左上到右下的顺序映射到一个包含于[0-1]的子区间，该子区间的长度为对应子块内的特征点总数与特征点集b1f中的特征点总数的比值；3b4)均匀随机生成一个在区间[0-1]中的随机数x，根据x所落入的子区间得到与该子区间所对应的矩形子块，再从落在此矩形子块内的特征点集中均匀随机采样一个特征点；3b5)重复步骤3b4)8次，得到从特征点集b1f中分块随机采样的8个特征点；3b6)根据从特征点集b1f中分块随机采样的8个特征点，提取出与此8个特征点对应的、在背景图像特征点匹配对集合b中的8对特征点匹配对，得到从背景图像特征点匹配对集合b中，分块随机采样出的8对特征点匹配对；3c)对分块随机采样出的8对特征点匹配对，使用归一化八点算法计算出初级基础矩阵f(i)；3d)根据初级基础矩阵f(i)，计算背景图像特征点匹配对集合b中的每一对特征点匹配对的对极距离，并将计算出的对极距离与对极距离阈值th1进行比较，然后选择出所有对极距离小于对极距离阈值th1的特征点匹配对，得到当前内点集min；3e)将当前内点集min中的内点总数与最大内点集mmax中的内点总数进行比较，若min中的内点总数大于mmax中的内点总数，则更新mmax为min，若min中的内点总数小于等于mmax中的内点总数，则保持mmax不变，循环控制变量i加1，若循环控制变量i小于等于循环控制数num，且最大内点集mmax中的内点总数小于0.85倍的背景图像特征点匹配对集合b中的匹配对总数，执行步骤3b)，否则执行步骤3f)；3f)对最大内点集mmax，使用归一化八点算法计算出背景图像i1和背景图像i2之间的基础矩阵f，并求解fe＝0，得到背景图像i1的对极点e，求解fte′＝0，得到背景图像i2的对极点e′；步骤4)、初始化循环控制数及帧匹配对计分矩阵：设置构建帧匹配对计分矩阵的循环控制数为s，循环控制变量s＝0,初始化帧匹配对计分矩阵mc中所有元素的值为零；步骤5)、构建轨迹点集t1对应的投影不变描述子集合d1和轨迹点集t2对应的投影不变描述子集合d2：5a)设置投影不变描述子的维度数为n，循环控制变量index＝0；5b)从背景图像特征点匹配对集合b中，分块随机采样出在背景图像i1中的3个特征点{b1,b2,b3}，及在背景图像i2中与背景图像i1中的3个特征点匹配的3个特征点{b′1,b′2,b′3}；5b1)从背景图像特征点匹配对集合b中，提取出背景图像i1中的特征点集b1f；5b2)提取出特征点集b1f中特征点的横坐标最小值xmin和最大值xmax以及纵坐标最小值ymin和最大值ymax，得到包含特征点集b1f的最小矩形的左上角点[xmin,ymin]和右下角点[xmax,ymax]；5b3)将最小矩形等分为3×3个子块，按由左上到右下的顺序统计特征点集b1f中落在各个子块内的特征点总数，并将各个子块按照从左上到右下的顺序映射到一个包含于[0-1]的子区间，该子区间的长度为对应子块内的特征点总数与特征点集b1f中的特征点总数的比值；5b4)均匀随机生成一个在区间[0-1]中的随机数x，根据x所落入的子区间得到与该子区间所对应的矩形子块，再从落在此矩形子块内的特征点集中均匀随机采样一个特征点；5b5)重复步骤5b4)3次，得到从特征点集b1f中分块随机采样的在背景图像i1中的3个特征点{b1,b2,b3}；5b6)根据从特征点集b1f中分块随机采样的3个特征点{b1,b2,b3}，提取出与此3个特征点对应的，在背景图像特征点匹配对集合b中的3对特征点匹配对，得到从背景图像特征点匹配对集合b中，分块随机采样出的在背景图像i1中的3个特征点{b1,b2,b3}，及与此3点匹配的在背景图像i2中的3个特征点{b′1,b′2,b′3}；5c)经过特征点b1和b2做直线l1，经过对极点e和特征点b3做直线l2，并求出直线l1和l2的交点bc；5d)对t1中的每一个轨迹点p1i(i＝1,...,n1)，计算五共面点的交比γ(p1i,b1,b2,bc,e)，并将其作为轨迹点p1i的投影不变描述子向量的第index个分量，五共面点的交比计算公式为：其中mijk是以pi，pj，pk为列的3×3矩阵，|m|是矩阵m的行列式；5e)经过特征点b′1和b′2做直线l′1，经过对极点e′和特征点b′3做直线l′2，并求出直线l′1和l′2的交点b′c；5f)对t2中的每一个轨迹点p2j(j＝1,...,n2)，计算五共面点的交比γ(p2j,b′1,b′2,b′c,e′)，并将其作为轨迹点p2j的投影不变描述子向量的第index个分量；5g)令循环控制变量index加1，判断循环控制变量index是否小于等于投影不变描述子的维度数n，若是，执行步骤5b)，否则，结束循环，得到轨迹点集t1对应的投影不变描述子集合d1和轨迹点集t2对应的投影不变描述子集合d2；步骤6)、获取轨迹点集t1与轨迹点集t2之间的初始轨迹点匹配对集合6a)按照下式计算参考视频轨迹点集t1中每一个轨迹点的描述子与待同步视频轨迹点集t2中每一个轨迹点的描述子之间的欧式距离：其中n表示描述子的维度，本发明中n＝3；表示参考视频轨迹点集t1中轨迹点p1i的描述子，表示待同步视频轨迹点集t2中轨迹点p2j的描述子；d(d1i,d2j)表示描述子d1i与描述子d2j之间的欧式距离；6b)假设t2中轨迹点p2j对应的描述子d2j是与t1中轨迹点p1i对应的描述子d1i欧式距离最近的描述子，假设t2中轨迹点p2j′对应的描述子d2j′是与t1中轨迹点p1i对应的描述子d1i欧式距离次近的描述子，如果满足下式，则认为p1i与p2j是一对正确的轨迹点匹配对：d(d1i,d2j)/d(d1i,d2j′)＜th，反之，p1i与p2j不是一对正确的轨迹点匹配对，其中th是判决阈值，th的取值范围在0.7～0.9之间；6c)计算t1中的每一个轨迹点在t2中的匹配轨迹点，获得初始轨迹点匹配对集合步骤7)、对轨迹点集t1与轨迹点集t2之间的初始轨迹点匹配对集合进行修正：7a)对与初始轨迹点匹配对集合中的每一对轨迹点匹配对来自同一帧的轨迹点子集进行联合匹配，并根据匹配结果，检查初始轨迹点匹配对集合中的每一对轨迹点匹配对是否为正确匹配对；7a1)对于当前待检查的一对轨迹点匹配对(p1i,p2j)，从轨迹点集t1中提取出与p1i来自同一帧的轨迹点子集从轨迹点集t2中提取出与p2j来自同一帧的轨迹点子集m是轨迹点子集p1中的轨迹点总数，n是轨迹点子集p2中的轨迹点总数；7a2)对于轨迹点子集p1中的每一个轨迹点计算其投影不变描述子与轨迹点子集p2中的每一个轨迹点的投影不变描述子之间的欧氏距离，如果计算得到的n个欧氏距离中的最小值小于等于1.5倍的当前轨迹点匹配对(p1i,p2j)的描述子之间的欧氏距离，则认为p1与p2之间存在一对潜在的轨迹点匹配对；7a3)统计出p1与p2之间存在的潜在的轨迹点匹配对的总数，如果潜在的轨迹点匹配对的总数大于等于0.5*min(m,n)，则当前轨迹点匹配对(p1i,p2j)为一对正确匹配对，否则为一对错误匹配对，其中min(m,n)是m和n中的较小数；7b)剔除初始轨迹点匹配对集合中的错误的轨迹点匹配对，得到轨迹点匹配对集合步骤8)、对轨迹点匹配对集合进行修正：对轨迹点匹配对集合中的每一对轨迹点匹配对施加对极几何约束，检查每一对轨迹点匹配对的对极距离是否大于指定阈值，如果大于则为一对错误的匹配对，并将错误的轨迹点匹配对从中剔除，得到最终的轨迹点匹配对集合步骤9)、获取初级帧匹配对集合由于每一个轨迹点都含有它的时间信息，即该轨迹点所在的视频帧的帧索引，所以，对于最终的轨迹点匹配对集合中的每一对轨迹点匹配对，分别提取轨迹点的时间信息(帧索引)，得到参考视频v1和待同步视频v2的初级帧匹配对集合步骤10)、分别对帧匹配对计分矩阵和循环控制变量进行更新：给帧匹配对计分矩阵mc中与当前的初级帧匹配对集合中的所有帧匹配对所对应的所有元素加1，同时给循环控制变量s加1，并判断循环控制变量s是否小于等于构建帧匹配对计分矩阵的循环控制数s，若是，执行步骤5)，否则执行步骤11)；步骤11)、获取最终帧匹配对集合mf：设定帧匹配对选择阈值，并将帧匹配对计分矩阵mc中的各元素分别与帧匹配对选择阈值进行比较，然后选择出所有大于等于帧匹配对选择阈值的元素所对应的帧匹配对，得到最终帧匹配对集合mf；步骤12)、计算时间模型参数：对最终帧匹配对集合mf进行直线拟合，使用随机抽样一致(ransac)算法计算出参考视频v1与待同步视频v2之间的时间模型参数：帧率比α和时间偏移δt。以下结合仿真实验，对本发明的技术效果作进一步说明：1、仿真条件：所有仿真实验都是在windows7操作系统下采用matlabr2014a软件实现。2、仿真内容及结果分析：仿真1将本发明与现有基于仿射模型、基于投影不变表示及基于对极几何约束这三种方法对一组人工合成场景数据的实验结果进行比较，人工合成场景和仿真结果如图2所示，其中：图2(a)为人工合成数据的三维场景，其中，相机间夹角为π/6，含有两个做非平面运动的运动目标；图2(b)-图2(c)分别为人工合成场景投影到两个摄像机成像平面上的运动目标轨迹和背景特征点；图2(d)-图2(g)分别为基于仿射模型、基于投影不变表示、基于对极几何约束及本发明对于此人工合成场景的时间模型参数的估计结果图，其中横坐标为参考视频帧索引，纵坐标为待同步视频帧索引，星号表示一对视频帧匹配对，直线为估计出的时间模型；图2(h)为基于仿射模型、基于投影不变表示、基于对极几何约束及本发明对于此人工合成场景的正确匹配率柱形图。表1给出了此人工合成场景的时间模型参数的真实值及基于仿射模型、基于投影不变表示、基于对极几何约束及本发明对于此人工合成场景估计出的时间模型参数值。表1真值仿射模型投影不变表示对极几何约束本发明方法帧率比α22.0012.02612.01232时间偏移δt515.9217-20.68754.98755从图2及表1可以看出，相对于现有基于仿射模型、基于投影不变表示及基于对极几何约束等视频同步方法，本发明能够获得更好的视频同步结果、更高的正确匹配率及更接近真值的时间模型参数值。仿真2将本发明与现有基于仿射模型、基于投影不变表示及基于对极几何约束这三种方法对一组真实场景下的视频数据的实验结果进行比较，真实场景和仿真结果如图3所示，其中：图3(a)-图3(b)为真实场景视频的背景图像及运动目标轨迹，其中，含有五个做非平面运动的运动目标；图3(c)-图3(f)分别为基于仿射模型、基于投影不变表示、基于对极几何约束及本发明对于此真实场景的时间模型参数的估计结果图，其中横坐标为参考视频帧索引，纵坐标为待同步视频帧索引，星号表示一对视频帧匹配对，直线为估计出的时间模型；图3(g)为基于仿射模型、基于投影不变表示、基于对极几何约束及本发明对于此真实场景的正确匹配率柱形图。表2给出了此真实场景的时间模型参数的真实值及基于仿射模型、基于投影不变表示、基于对极几何约束及本发明对于此真实场景估计出的时间模型参数值。表2真值仿射模型投影不变表示对极几何约束本发明方法帧率比α11.01691.01910.97631.0012时间偏移δt19-4.010817.111619.322218.9864从图3及表2可以看出，相对于现有基于仿射模型、基于投影不变表示及基于对极几何约束等视频同步方法，本发明能够获得更好的视频同步结果、更高的正确匹配率及更接近真值的时间模型参数值。为了进一步比较上述四种方法的性能，给出了基于仿射模型、基于投影不变表示、基于对极几何约束及本发明的平均时间同步误差，如表3所示。表3仿射模型投影不变表示对极几何约束本发明方法仿真110.972124.40920.60870仿真220.79762.28910.91530.0484从表3中数据可以看出，与现有基于仿射模型、基于投影不变表示、基于对极几何约束等视频同步方法相比，本发明能适用于多种复杂场景的视频同步，且可以获得较低的平均时间同步误差。当前第1页12