一种基于运动目标时序信息的视频序列同步方法与流程

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于运动目标时序信息的视频序列同步方法。

背景技术：

在不同摄像头，如双目摄像头的实际应用中，不同摄像头所拍摄的视频，会由于机器开机卡顿、延迟等原因导致两个视频在时间上存在一定程度的偏差。而在很多宽范围场景下，需要对双目摄像头拍摄的视频进行拼接，再对基于拼接后的视频进行目标追踪等操作，如果存在这样的时间偏差会对视频拼接的效果及目标跟踪的准确性造成较大影响。因此，对于不同摄像头所进行的视频序列同步研究，即找到两个摄像头下相同帧即视频序列进行同步具有一定的现实意义。

目前，针对不同摄像头，如双目摄像头所拍视频序列的同步研究还不是特别多，主要方法是基于视频序列中的单组对应帧之间的匹配或基于场景中的运动对象轨迹的分析。这些方法，往往忽视了不同摄像头所拍摄图像在空间中存在的视角差异以及图像在时间上的序列相关性信息，造成两路视频序列时间偏差计算不准确，同步的效果不佳。

技术实现要素：

本发明的目的在于克服现有技术的不足，提出一种基于运动目标时序信息的视频序列同步方法，以提高两路视频序列时间偏差计算的准确度，从而提升其同步效果。

为实现上述发明目的，本发明基于运动目标时序信息的视频序列同步方法，其特征在于，包括以下步骤：

(1)、计算两个摄像头对存在运动目标的同一场景所拍摄视频图像i1、i2之间的单应矩阵h

1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列，首先分别选取一帧视频图像i1、i2进行surf(加速鲁棒特征)特征点检测，得到两帧带特征点的视频图像i1′、i2′，然后通过人工剔除其中(视频图像i1′、i2′中)那些位于运动目标内的特征点，得到视频图像i1″、i2″，再后将视频图像i1″的中特征点与视频图像i2″中的特征点进行匹配，得到一系列的特征点匹配对；

1.2)、基于ransac(随机抽样一致)算法，对特征点匹配对进行筛选，去除误匹配的特征点匹配对，得到的特征点匹配对集s；

1.3)、根据特征点匹配对集合s，计算两段视频序列的视频图像之间的变换矩阵即单应矩阵h，单应矩阵h根据以下公式计算：

其中，(x1,y1)为特征点匹配对位于视频图像i1″中的特征点坐标，(x2,y2)特征点匹配对位于视频图像i2″中的特征点坐标；

(2)、将查找视频序列映射至参考视频序列平面

取视频序列v2中长度不小于运动目标一个运动周期的小段视频序列为查找视频序列vs，将视频序列v1作为参考视频序列vr；然后根据公式(1)中得到的单应矩阵h，将查找视频序列vs映射至参考视频序列vr所在平面，即查找视频序列vs中的每一帧视频图像的每个像素点坐标作为(x2,y2)代入公式(1)中，计算出其新的像素点坐标(x1,y1)，得到查找视频序列vs′；

(3)、背景减除与获取运动目标轮廓

基于混合高斯背景建模，针对查找视频序列vs′和参考视频序列vr分别获取场景背景，再分别与各自对应的视频序列进行背景减除处理；在背景减除结果中获取运动目标轮廓，得到两个轮廓序列，分别为查找轮廓序列q和参考轮廓序列y；

(4)、基于运动目标轮廓匹配对视频序列进行同步

4.1)、查找匹配视频序列的终点帧序数

令查找轮廓序列q＝(q1,q2,…,ql)，参考轮廓序列y＝(y1,y2,…,qm)，定义价值矩阵c，其元素为：

其中，l为查找轮廓序列q的帧数，m为参考轮廓序列y的帧数，为轮廓qi与轮廓yj的相似度；

定义累积价值矩阵d，其元素根据以下方式计算得到：

第1列元素为：

其中，1≤i≤l；

第1行元素：

d1,j＝c1,j，其中，1≤j≤m；

然后，按行或按列依据以下公式得到，其他元素：

di,j＝min(di-1,j-1,di-1,j,di,j-1)+c1,j，其中，2≤i≤l，2≤j≤m(3)；

得到累积价值矩阵d后，进行配准即求查找视频序列在参考视频序列上的匹配视频序列的终点帧序数b^*：

其中，argmin表示l行的元素dl,b取极小值时，列变量b的值，即终点帧序数b^*；

4.2)、获取匹配视频序列

根据步骤4.2)中方法，获取的匹配视频序列的终点帧序数b^*多个，如果终点帧序数b^*小于l，则删除，这样得到p个终点帧序数b^*，记为：然后，根据最优规整路径(owp)算法，求得p个匹配视频序列，其在参考视频序列的位置分别表示为：其中，分别p个匹配视频序列的起始点帧序数；

4.3)、筛选匹配视频序列

设定一个阈值slope，如果匹配视频序列的斜率不满足：

则予以剔除。此外，匹配视频序列的数量为p*；

再分别计算经过斜率筛选的每个匹配视频序列与查找视频序列q＝(q1,q2,…,ql)中对应帧基于r变换的缩放比例其中，计算每个匹配视频序列中所有帧的缩放比例均值α^p：

α^p最小即均值最接近1的匹配视频序列即为最终筛选得到的匹配视频序列；

4.4)、计算视频序列的时间偏差

查找视频序列vs的第一帧序数为n，最终筛选得到的匹配视频序列第一帧序数为m，两个摄像头拍摄视频的帧率为均为f，则视频序列的时间偏差为t＝|n-m|/f，若n>m，则查找视频序列所在视频在时间上落后参考视频序列所在视频t秒，反之，则参考视频序列所在视频在时间上落后查找视频序列所在视频t秒；

4.5)、根据得到时间偏差t对两个摄像头所拍视频序列进行调整，完成二者的同步。

本发明的目的是这样实现的。

本发明基于运动目标时序信息的视频序列同步方法，对于存在运动目标的场景，采用两个摄像头进行拍摄，然后进行同步：首先计算两个摄像头所拍摄视频图像之间的单应矩阵，根据该矩阵，将查找视频序列映射到参考视频序列平面，对视频序列进行背景减除处理，分别获取两个视频序列中运动目标轮廓序列，然后进行配准，获得匹配视频序列，并进行筛选，得到一个最终的匹配视频序列，这样获得时间偏差用于视频序列的同步。本发明引入单应矩阵，将将查找视频序列映射到参考视频序列平面，解决了视频图像之间的视觉差异问题，提高了视频图像相似度比较的准确性；同时，本发明拍摄的场景中存在运动目标，可以利用运动目标在时间上的序列信息，通过运动目标轮廓的相似度来进行视频序列的匹配，而运动目标的姿态变化是一个合适的特征，可以准确匹配，从而进一步提高时间偏差计算的准确度，从而提升其同步效果。

附图说明

图1是本发明基于运动目标时序信息的视频序列同步方法的一种具体实施方式流程图；

图2是映射前后的查找视频序列的视频图像与参考视频序列的视频图像的对比图，其中，(a)为映射前的查找视频序列的视频图像、(b)为映射后的查找视频序列的视频图像、(c)为参考视频序列的视频图像；

图3是获取的部分运动目标轮廓图；

图4是轮廓缩放配准前后对比图，其中，(a)为缩放配准前、(b)为缩放配准后；

图5是轮廓位置配准前后对比图，其中，(a)为重合配准前、(b)为重合配准后；

图6是累积距离矩阵末行曲线图；

图7是dtw累积矩阵中的匹配路径；

图8是查找轮廓序列终点帧与参考轮廓序列潜在对应帧对比图；

图9是同步前后视频拼接对比图，其中，(a)为同步前、(b)为同步后。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

图1是本发明基于运动目标时序信息的视频序列同步方法的一种具体实施方式流程图。

在本实施例中，如图1所示，本发明基于运动目标时序信息的视频序列同步方法包括以下步骤：

步骤s1：计算单应矩阵

针对不同摄像头，如双目摄像头所拍摄视频图像在空间中存在的视角差异问题，本发明引入单应矩阵的相关概念。在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射。从几何意义上讲，单应矩阵是用来计算在同一个三维平面上的点在不同的二维图像中的投影位置的，即确定了同一场景的两幅图像点之间的一一对应关系。根据双目摄像头所拍摄两幅视频图像之间的单应矩阵，可将两幅视频图像映射到同一平面下即查找视频序列映射至参考视频序列平面(反之也一样)，这样解决了视频图像之间的视角差异问题。

1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列，首先分别选取一帧视频图像i1、i2进行surf(加速鲁棒特征)特征点检测，得到两帧带特征点的视频图像i1′、i2′，然后通过人工剔除其中(视频图像i1′、i2′中)那些位于运动目标内的特征点，得到视频图像i1″、i2″，再后将视频图像i1″的中特征点与视频图像i2″中的特征点进行匹配，得到一系列的特征点匹配对；

1.2)、基于ransac(随机抽样一致)算法，对特征点匹配对进行筛选，去除误匹配的特征点匹配对，得到的特征点匹配对集s；

1.3)、根据特征点匹配对集合s，计算两段视频序列的视频图像之间的变换矩阵即单应矩阵h，单应矩阵h根据以下公式计算：

其中，(x1,y1)为特征点匹配对位于视频图像i1″中的特征点坐标，(x2,y2)特征点匹配对位于视频图像i2″中的特征点坐标。

单应矩阵h是通过将特征点匹配对集合s的所有特征点匹配对代入公式(1)中，然后计算得到。计算时，可以通过多组(根据特征点匹配对数量确定)，每组7个特征点匹配对构建方程组，计算出多组单应矩阵h的参数h1～h7，最后平均得到。

步骤s2：将查找视频序列映射至参考视频序列平面

取视频序列v2中长度不小于运动目标一个运动周期的小段视频序列为查找视频序列vs，将视频序列v1作为参考视频序列vr。查找视频序列vs的长度l小于参考视频序列vr的长度m，以便在参考视频序列vr中找到其匹配视频序列。

根据公式(1)中得到的单应矩阵h，将查找视频序列vs映射至参考视频序列vr所在平面，即查找视频序列vs中的每一帧视频图像的每个像素点坐标作为(x2,y2)代入公式(1)中，计算出其新的像素点坐标(x1,y1)，得到查找视频序列vs′。

在本实施例中，映射前后的查找视频序列的视频图像与参考视频序列的视频图像如图2所示。从图2可以看出，映射后的查找视频序列的视频图像比映射前出现了一定的边沿损失，这是由于不同摄像头所拍摄图像在空间中存在的视角差异造成的，映射后的视频图像可以与参考视频图像进行拼接。

步骤s3：背景减除与获取运动目标轮廓

基于混合高斯背景建模，针对查找视频序列vs′和参考视频序列vr分别获取场景背景，再分别与各自对应的视频序列进行背景减除处理；在背景减除结果中获取运动目标轮廓，得到两个轮廓序列，分别为查找轮廓序列q和参考轮廓序列y。

在本实施例中，如图3所示，获取的部分运动目标轮廓为部分运动人体轮廓，为了便于计算，运动目标轮廓为二值化图像。

步骤s4：基于运动目标轮廓匹配对视频序列进行同步

4.1)、查找匹配视频序列的终点帧序数

令查找轮廓序列q＝(q1,q2,…,ql)，参考轮廓序列y＝(y1,y2,…,qm)，定义价值矩阵c，其元素为：

其中，l为查找轮廓序列q的帧数，m为参考轮廓序列y的帧数，sqi,yj为轮廓qi与轮廓yj的相似度。

在本实施例中，轮廓的相似度计算如下：

4.1.1)、两幅轮廓的缩放(尺度)配准

首先，求轮廓qi与轮廓yj的r变换，然后根据r变换确定轮廓qi与轮廓yj的缩放比例。图像进行参数为α的尺度变换后，其r变换大小会以α³倍相对于原图的r变换发生变化。因此，可以根据图像r变化计算两幅轮廓在尺度上的缩放比例。再后，根据求得的缩放比例，将两幅轮廓缩放至同一尺度下(缩放配准)，两幅轮廓缩放配准前后对比图如图4所示。从图4可以看出，缩放前，两幅轮廓大小不同，缩放后大小相同，即尺度相同。

4.1.2)、两幅轮廓的配准位置

计算轮廓qi与轮廓yj内部所有像素点坐标的均值作为各自轮廓的参考中心位置，参考中心位置分别为(ax,ay)和(bx,by)。

由于轮廓的缩放和轮廓的参考中心点选取可能存在一定的误差和偶然，仅仅以(ax,ay)和(bx,by)为基准进行配准可能对相似度的计算产生较大误差影响。

因此，我们在轮廓yj中，选取以参考中心位置(bx,by)为中心的21像素×21像素范围，该范围中任一个点(bx′,by′)均作为轮廓yj的中心位置与(ax,ay)为基准进行配准，其中：

bx′∈[bx-10,bx+10],by′∈[by-10,by+10]。

由此获得轮廓qi与轮廓yj的441种配准方式。

4.1.3)、计算轮廓相似度

轮廓qi与轮廓yj完成配准后可进行相似度的计算，令轮廓内部像素点为1，轮廓外部像素点为0，定义轮廓qi与轮廓yj的轮廓相似度sqi,yj为：

其中，qi∩yj为轮廓qi与轮廓yj中像素点进行与运算后结果为1的点数，qi∪yj为轮廓qi与轮廓yj中像素点进行或运算后结果为1的点数。即重叠部分与重叠部分加上非重叠部分的比值。

在本实施例中，轮廓qi与轮廓yj存在441种不同位置配准方式，完成所有配准位置相似度sqi,yj计算后，取最大值，作为轮廓qi与轮廓yj最终的相似度sqi,yj用于公式(2)的计算。

在本实施例中，轮廓位置配准前后对比图如图5所示，从图5可以看出，位置配准后，轮廓qi与轮廓yj大部分重合在一起。

定义累积价值矩阵d，其元素根据以下方式计算得到：

第1列元素为：

其中，1≤i≤l；

第1行元素：

d1,j＝c1,j，其中，1≤j≤m；

然后，按行或按列依据以下公式得到，其他元素：

di,j＝min(di-1,j-1,di-1,j,di,j-1)+c1,j，其中，2≤i≤l，2≤j≤m(3)；

得到累积价值矩阵d后，进行配准即求查找视频序列在参考视频序列上的匹配视频序列的终点帧序数b^*：

其中，argmin表示l行的元素dl,b取极小值，列变量b的值，即终点帧序数b^*。

在本实施例中，累积价值矩阵d第l行(末行)的元素dl,b构成曲线如图6所示，其中l为查找序列长度，1＜b＜m，由图6可以观察到，曲线在多处可以取得极小值，即存在多个不同帧可能是匹配视频序列的终点帧。

4.2)、获取匹配视频序列

根据步骤4.2)中方法，获取的匹配视频序列的终点帧序数b^*多个，如果终点帧序数b^*小于l，则删除，这样得到p个终点帧序数b^*，记为：然后，根据最优规整路径(owp)算法，求得p个匹配视频序列，其在参考视频序列的位置分别表示为：其中，分别p个匹配视频序列的起始点帧序数。

在本实施例中，如图7所示，获得了7个匹配视频序列。其中，白色的线条为查找轮廓序列与参考轮廓序列的对应关系即规整路径。

4.3)、筛选匹配视频序列

设定一个阈值slope，如果匹配视频序列的斜率不满足：

则予以剔除。此外，匹配视频序列的数量为p*；

再分别计算经过斜率筛选的每个匹配视频序列与查找视频序列q＝(q1,q2,…,ql)中对应帧基于r变换的缩放比例其中，计算每个匹配视频序列中所有帧的缩放比例均值α^p：

α^p最小即均值最接近1的匹配视频序列即为最终筛选得到的匹配视频序列。

在具体实施过程，匹配视频序列的长度与查找视频序列长度不一致，则可以采用动态时间规整算法，将查找视频序列长度规整到匹配视频序列的长度，则可以建立二者帧依据顺序的一一对应关系。

4.4)、计算视频序列的时间偏差

查找视频序列vs的第一帧序数为n，最终筛选得到的匹配视频序列第一帧序数为m，两个摄像头拍摄视频的帧率为均为f，则视频序列的时间偏差为t＝|n-m|/f，若n>m，则查找视频序列所在视频在时间上落后参考视频序列所在视频t秒，反之，则参考视频序列所在视频在时间上落后查找视频序列所在视频t秒；

4.5)、根据得到时间偏差t对两个摄像头所拍视频序列进行调整，完成二者的同步。

实例

在本实例中，我们使用双目摄像头拍摄了两段具有一定时间偏差的视频序列进行测试。其中，一段作为参考视频序列，长度m＝122帧，序数为1至122，记为x1至x122。在另一段中，选取长度不小于运动目标一个运动周期的小段视频序列作为查找视频序列，其长度l＝16帧，序数为35至50，记为t35至t50。

根据以上方法，对于查找视频序列中的终点帧t50，我们在参考视频序列中找到的极值点对应帧分别为x11,x27,x42,x58,x73,x89,x105,x120，其中x11序数小于l＝16，被剔除，即这些帧是潜在匹配视频序列的终点帧，其轮廓对比如图8所示。

使用最优规整路径算法，通过这些终点帧计算得到其相应的匹配视频序列，再通过匹配视频序列的筛选方法，计算得到最终匹配视频序列为x58所对应匹配视频序列，具体为x43至x58帧。所以，查找视频序列对应视频的第35帧与参考序列对应视频的43帧对应。在本实施例中，视频帧率为29帧/秒，故查找视频序列所在视频在时间上领先参考视频序列所在视频约0.276秒。双目摄像头所拍摄视频在进行同步处理前后的拼接效果如图9所示，从图9中对比可以看出，未经同步处理的视频在拼接后，运动目标通过拼接过渡区域时会出现明显的目标割裂现象，而经过同步处理后，运动目标在通过拼接过渡区域是无明显割裂现象。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。