一种视频帧同步的方法与装置与流程

本发明涉及视频处理技术领域，特别是涉及一种视频帧同步的方法与装置。

背景技术：

大场景视频协同监控指的是将两个或两个以上摄像机的视域范围进行一定的重合；然后将拍摄的视频图像信息进行配准；在获取两图像之间的变换关系后进行融合；从而将不同摄像机之间的图像信息拼接成大场景视频图像信息。

传统方式中，研究人员基本都是通过将摄像机进行标定的方法将不同摄像机的视频图像进行配准并进行融合，这样获取的大场景视频图像是可以满足低精度的要求的。但是，由于传统的方法忽略了不同的摄像机启动时间误差以及图像传感器启动录制时时间上的误差，直接将两帧图像信息按照静态的图像拼接方法进行拼接，这样得到的结果是不精确的。即使在多个摄像机同时启动时，不同摄像机录制的第一帧之间会存一定的时间误差，如果不考虑该时间误差，在重叠区域出现运动物体时，在图像拼接时会出现模糊以及“鬼影”的现象。

可见，如何克服图像拼接时出现的模糊以及“鬼影”等现象，是本领域技术人员亟待解决的问题。

技术实现要素：

本发明实施例的目的是提供一种视频帧同步的方法与装置，可以克服图像拼接时出现的模糊以及“鬼影”等现象。

为解决上述技术问题，本发明实施例提供一种视频帧同步的方法，包括：

s10：对获取的两路视频进行视频分帧处理，并计算所述两路视频的重叠区域；其中，所述两路视频包括第一视频和第二视频；

s11：从所述第一视频中选取出满足第一预设条件的一个视频帧，作为基准帧；

s12：按照预设步长值，从所述第二视频中选取出待处理视频帧，并计算所述基准帧与各个所述待处理视频帧的重叠区域的相似度；

s13：依据所述相似度，从所述第二视频中选取出目标视频帧；

s14：依据所述基准帧、所述目标视频帧、所述第一视频的第一帧率和所述第二视频的第二帧率，计算出所述第一视频与所述第二视频的时间差值；

s15：依据所述时间差，对所述第一视频或所述第二视频进行视频帧的校正。

可选的，在所述s12中包括：

根据公式

计算出所述基准帧与各个所述待处理视频帧的重叠区域的相似度ρ，

其中，m，n分别为所述重叠区域的行数和列数，vote(i,j)表示在(i,j)处灰度值相似度，i＝0,1,2,…,m-1，j＝0,1,2,…,n-1；vote(i,j)按如下公式确定，

其中，fl(i,j)表示左摄像机视频帧的灰度图中(i,j)处的灰度值，fr(i,j)表示右摄像机(i,j)处的灰度值。

可选的，在所述s13中包括：

从所述待处理视频帧中选取出相似度满足预设条件的两个视频帧；

按照第二步长值，从所述两个视频帧所在的视频区间中选取出相似度最大的视频帧作为目标视频帧。

可选的，在所述s14中包括：

根据公式

tdiff＝mfinal/fpsr-k/fpsl

计算出所述第一视频与所述第二视频的时间差值tdiff，其中mfinal表示所述目标视频帧的标号值，k表示所述基准帧的标号值；fpsl为左摄像机的帧率；fpsr为右摄像机的帧率。

可选的，在所述s15中包括：

判断所述时间差是否大于零；

若是，则根据公式计算所述第一视频与所述第二视频的相差帧数；其中，n表示所述相差帧数；

依据所述相差帧数，采用帧间插值法，从所述第二视频中确定出校正视频帧；

若否，则根据公式计算所述第一视频与所述第二视频的相差帧数；其中，n表示所述相差帧数；

依据所述相差帧数，采用帧间插值法，从所述第一视频中确定出校正视频帧。

可选的，还包括：

判断所述第一视频或所述第二视频中的视频帧是否校正完毕；

若否，则返回所述s11。

本发明实施例还提供了一种视频帧同步的装置，包括处理单元、选取单元、计算单元和校正单元，

所述处理单元，用于对获取的两路视频进行视频分帧处理，并计算所述两路视频的重叠区域；其中，所述两路视频包括第一视频和第二视频；

所述选取单元，用于从所述第一视频中选取出满足第一预设条件的一个视频帧，作为基准帧；

所述选取单元还用于按照预设步长值，从所述第二视频中选取出待处理视频帧；

所述计算单元，用于计算所述基准帧与各个所述待处理视频帧的重叠区域的相似度；

所述选取单元还用于依据所述相似度，从所述第二视频中选取出目标视频帧；

所述计算单元还用于依据所述基准帧、所述目标视频帧、所述第一视频的第一帧率和所述第二视频的第二帧率，计算出所述第一视频与所述第二视频的时间差值；

所述校正单元，用于依据所述时间差，对所述第一视频或所述第二视频进行视频帧的校正。

可选的，所述计算单元具体用于根据公式

计算出所述基准帧与各个所述待处理视频帧的重叠区域的相似度ρ，

其中，m，n分别为所述重叠区域的行数和列数，vote(i,j)表示在(i,j)处灰度值相似度，i＝0,1,2,…,m-1，j＝0,1,2,…,n-1；vote(i,j)按如下公式确定，

其中，fl(i,j)表示左摄像机视频帧的灰度图中(i,j)处的灰度值，fr(i,j)表示右摄像机(i,j)处的灰度值。

可选的，所述选取单元具体用于从所述待处理视频帧中选取出相似度满足预设条件的两个视频帧；按照第二步长值，从所述两个视频帧所在的视频区间中选取出相似度最大的视频帧作为目标视频帧。

可选的，所述计算单元具体用于

根据公式

tdiff＝mfinal/fpsr-k/fpsl

计算出所述第一视频与所述第二视频的时间差值tdiff，其中mfinal表示所述目标视频帧的标号值，k表示所述基准帧的标号值；fpsl为左摄像机的帧率；fpsr为右摄像机的帧率。

可选的，所述校正单元包括判断子单元、第一计算子单元、第一确定子单元、第二计算子单元和第二确定子单元，

所述判断子单元，用于判断所述时间差是否大于零；

若是，则触发所述第一计算子单元，所述第一计算子单元，用于根据公式计算所述第一视频与所述第二视频的相差帧数；其中，n表示所述相差帧数；

所述第一确定子单元，用于依据所述相差帧数，采用帧间插值法，从所述第二视频中确定出校正视频帧；

若否，则触发所述第二计算子单元，所述第二计算子单元，用于根据公式计算所述第一视频与所述第二视频的相差帧数；其中，n表示所述相差帧数；

所述第二确定子单元，用于依据所述相差帧数，采用帧间插值法，从所述第一视频中确定出校正视频帧。

可选的，还包括判断单元，

所述判断单元，用于判断所述第一视频或所述第二视频中的视频帧是否校正完毕；若否，则返回所述选取单元。

由上述技术方案可以看出，对获取的两路视频进行视频分帧处理，并计算所述两路视频的重叠区域；其中，所述两路视频包括第一视频和第二视频。以一路视频如第一视频为例，从第一视频中选取出满足第一预设条件的一个视频帧，作为基准帧；按照预设步长值，从所述第二视频中选取出待处理视频帧，通过计算所述基准帧与各个所述待处理视频帧的重叠区域的相似度，可以从第二视频中选取出目标视频帧；依据所述基准帧、所述目标视频帧、所述第一视频的第一帧率和所述第二视频的第二帧率，可以计算出所述第一视频与所述第二视频的时间差值；依据该时间差，便可以完成对第一视频或第二视频中视频帧的校正。可见，通过计算第一视频与第二视频中的时间差值，对视频帧校正，可以有效避免由于时间误差造成的图像拼接时出现的模糊以及“鬼影”等现象，提高了图像拼接的准确度。

附图说明

为了更清楚地说明本发明实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例提供的左侧摄像机采集的一个视频帧的示意图；

图1b为本发明实施例提供的右侧摄像机采集的一个视频帧的示意图；

图2为本发明实施例提供的一种视频帧同步的方法的流程图；

图3为本发明实施例提供的与图1a对应的经过校正后的视频帧的示意图；

图4为本发明实施例提供的一种视频帧同步的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本发明保护范围。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。

传统方式中，在进行视频帧(图像)拼接时，往往缺乏对视频帧采集的时间差的考虑，导致拼接后的图像出现模糊或“鬼影”等现象。两台摄像机即使同一时刻拍摄视频，由于摄像机的启动时间误差以及图像传感器启动录制时间上的误差，导致同一时刻拍摄的两帧图像存在时间上的差异。例如，左右两台摄像机同时开始拍摄视频，左侧摄像机的第一帧图像与右侧摄像机采集的第一帧图像，也可能会存在时间上的差异，也即这两帧图像并非是时间上相匹配的两幅图像，将这两个视频帧进行拼接，往往导致拼接后的图像出现模糊或“鬼影”等现象。

如图1a和图1b所示，分别为左右位置水平摆放的两台摄像机采集的视频帧，其中，图1a为左台摄像机采集的一个视频帧，图1b为右侧摄像机采集的一个视频帧。从图1a和图1b可以看出，两幅图像中人像所在的位置有所不同，造成人像位置不同的原因，可能是由于两台摄像机采集这两个视频帧时存在时间差，从图1a可以看出人像为超过门框的边界，图1b中人像超过了门框的边界，如果不考虑时间差，直接将这两幅图像进行拼接，很容易会造成拼接后的图像中出现双重人像，即所说的“鬼影”现象。

为此，本发明实施例提供了一种视频帧同步的方法与装置，以两路视频为例，通过计算这两路视频的时间差，来对这两路视频中的视频帧进行校正，从而使得校正后的图像拼接时，可以有效避免由于视频帧采集的时间差造成的模糊以及“鬼影”等现象。

接下来，详细介绍本发明实施例所提供的一种视频帧同步的方法。图2为本发明实施例提供的一种视频帧同步的方法的流程图，该方法包括：

s10：对获取的两路视频进行视频分帧处理，并计算所述两路视频的重叠区域。

在本发明实施例中以左右位置水平摆放的两台摄像机拍摄的两路视频为例展开介绍，为了对这两路视频进行区分，可以将其称作第一视频和第二视频，第一视频对应左侧摄像机拍摄的视频，第二视频对应右侧摄像机拍摄的视频。

每路视频由多个视频帧组成，对视频进行分帧处理，可以看做是对每一帧视频进行标号，例如，一路视频中采集的第一帧图像(第一个视频帧)标号值可以设置为1，采集的第二帧图像标号值可以设置为2，依次类推，可以对该路视频中包含的视频帧依次标号。

为了便于后续相似度的计算，在对两路视频分帧处理后，可以对这两路视频进行特征点检测、配准，求解出两路视频的重叠区域。

s11：从所述第一视频中选取出满足第一预设条件的一个视频帧，作为基准帧。

为了实现对视频帧的校正，可以以任意一路视频作为基准，例如，可以选取第一视频即左侧摄像机拍摄的视频作为基准。

基准帧可以是为计算时间差值选取出的一个视频帧。第一预设条件可以是选取基准帧的必要条件。

在本发明实施例中，可以按照如下公式，从第一视频中选取出基准帧。

k∈[tmax*fpsl,3*fpsl-tmax*fpsl](1)

其中，k表示基准帧的标号值，tmax为最大的时间差，fpsl为左摄像机的帧率。

根据公式(1)可以确定出基准帧的标号值，依据该标号值便可以从第一视频中查找到对应的视频帧，该视频帧即为基准帧。

s12：按照预设步长值，从所述第二视频中选取出待处理视频帧，并计算所述基准帧与各个所述待处理视频帧的重叠区域的相似度。

待处理视频帧可以是与基准帧进行相似度比较的视频帧。当基准帧是从第一视频中选取时，则待处理视频帧需要从第二视频中选取。

预设步长值可以是选取待处理视频帧的依据条件。预设步长值的取值可以根据实际情况进行设定，例如，可以将其设置为5步，即在第二视频中从第一帧开始每隔5帧选取一个视频帧作为待处理视频帧。

相似度可以用于表示两个视频帧之间的关联程度，相似度越高，则说明这两个视频帧越匹配。在本发明实施例中，视频帧的相似度可以按照如下公式计算，

其中，m，n分别为roi的行数和列数，vote(i,j)表示在(i,j)处灰度值相似度，i＝0,1,2,…,m-1，j＝0,1,2,…,n-1；vote(i,j)按如下公式确定，

其中，fl(i,j)表示左摄像机视频帧的灰度图中(i,j)处的灰度值，fr(i,j)表示右摄像机(i,j)处的灰度值，i＝0,1,2,…,m-1，j＝0,1,2,…,n-1。

s13：依据所述相似度，从所述第二视频中选取出目标视频帧。

具体的，可以从所述待处理视频帧中选取出相似度满足预设条件的两个视频帧；按照第二步长值，从所述两个视频帧所在的视频区间中选取出相似度最大的视频帧作为目标视频帧。

其中，第二步长值的取值可以根据实际情况设置，并且第二步长值小于第一步长值。结合上述将第一步长值设置为5，相应的，可以将第二步长值设置为1。

例如，记下相似度最大的帧，其标号值为mmax以及相似度第二大的帧，其标号值为mmax_2，以mmax为基准帧，以1为步长在区间[mmax,mmax_2]中搜索，搜索出相似度最大帧，其标号值为mfinal。

s14：依据所述基准帧、所述目标视频帧、所述第一视频的第一帧率和所述第二视频的第二帧率，计算出所述第一视频与所述第二视频的时间差值。

在本发明实施例中，可以按照如下公式计算时间差值tdiff，

tdiff＝mfinal/fpsr-k/fpsl

s15：依据所述时间差，对所述第一视频或所述第二视频进行视频帧的校正。

时间差可以用于反映两台摄像机采集第一帧图像的时间差值。在本发明实施例中，可以依据时间差的取值，判断出哪台摄像机采集图像的时间早，从而从该台摄像机中选取出校正视频帧。

具体的，可以判断所述时间差是否大于零。

当时间差大于零，则说明右侧摄像机采集第一帧图像的时间早于左侧摄像机采集第一帧图像的时间。也即，右侧摄像机的第一帧图像与左侧摄像机的第一帧图像时间上并不匹配，为了避免时间差造成的影响，需要从右侧摄像机拍摄的视频中，找出与左侧摄像机采集的第一帧图像时间上相对应的视频帧即校正视频帧。具体的，可以依据所述时间差和所述第二帧率，计算所述第一视频与所述第二视频的相差帧数。

在本发明实施例中，可以按照如下公式计算出相差帧数。

考虑到n的取值往往会出现并非是整数值的情况，为此，可以依据所述相差帧数，采用帧间插值法，从所述第二视频中确定出校正视频帧。

例如，计算出的相差帧数n＝7.5时，此时可以从右侧摄像机中选取出第7帧和第8帧图像，利用帧间插值法计算出第7.5帧图像，该7.5帧图像即为校正视频帧。

当时间差小于零，则说明左侧摄像机采集第一帧图像的时间早于右侧摄像机采集第一帧图像的时间。也即，左侧摄像机的第一帧图像与右侧摄像机的第一帧图像时间上并不匹配，为了避免时间差造成的影响，需要从左侧摄像机拍摄的视频中，找出与右侧摄像机采集的第一帧图像时间上相对应的视频帧即校正视频帧。

具体的，可以依据所述时间差和所述第一帧率，计算所述第一视频与所述第二视频的相差帧数。

在本发明实施例中，可以按照如下公式计算出相差帧数。

考虑到n的取值往往会出现并非是整数值的情况，为此，可以依据所述相差帧数，采用帧间插值法，从所述第一视频中确定出校正视频帧。

结合上述图1a和图1b，可以得出左侧摄像机视频的采集时间早于右侧摄像机视频的采集时间，按照上述方法，可以对左侧摄像机的视频帧进行校正，即选取出与右侧摄像机采集的视频帧时间上相对应的一个视频帧，例如图3所示，为左侧摄像机的校正视频帧，从图3和图1b可以看出，此时两幅图像中人像的位置实现了匹配，这两幅图像为时间上匹配的同步视频帧。将这两幅图像进行拼接，可以有效避免“鬼影”现象。

在本发明实施例中，以两路视频为例进行的介绍，对于多路(大于两路)视频通过两两相邻组合的方式，按照上述技术方案，可以实现对多路视频的校正，在此不再赘述。

由上述技术方案可以看出，对获取的两路视频进行视频分帧处理，并计算所述两路视频的重叠区域；其中，所述两路视频包括第一视频和第二视频。以一路视频如第一视频为例，从第一视频中选取出满足第一预设条件的一个视频帧，作为基准帧；按照预设步长值，从所述第二视频中选取出待处理视频帧，通过计算所述基准帧与各个所述待处理视频帧的重叠区域的相似度，可以从第二视频中选取出目标视频帧；依据所述基准帧、所述目标视频帧、所述第一视频的第一帧率和所述第二视频的第二帧率，可以计算出所述第一视频与所述第二视频的时间差值；依据该时间差，便可以完成对第一视频或第二视频中视频帧的校正。可见，通过计算第一视频与第二视频中的时间差值，对视频帧校正，可以有效避免由于时间误差造成的图像拼接时出现的模糊以及“鬼影”等现象，提高了图像拼接的准确度。

上述介绍中以两个视频帧的校正为例展开的介绍，参照上述方式，可以完成对两路视频中所有视频帧的校正，在本发明实施例中，可以通过判断所述第一视频或所述第二视频中的视频帧是否校正完毕；当未校正完毕时，则可以返回所述s11，重复上述操作，直至完成两路视频中所有视频帧的校正。

图4为本发明实施例提供的一种视频帧同步的装置的结构示意图，包括处理单元41、选取单元42、计算单元43和校正单元44，

所述处理单元41，用于对获取的两路视频进行视频分帧处理，并计算所述两路视频的重叠区域；其中，所述两路视频包括第一视频和第二视频。

所述选取单元42，用于从所述第一视频中选取出满足第一预设条件的一个视频帧，作为基准帧。

所述选取单元42还用于按照预设步长值，从所述第二视频中选取出待处理视频帧。

所述计算单元43，用于计算所述基准帧与各个所述待处理视频帧的重叠区域的相似度。

所述选取单元42还用于依据所述相似度，从所述第二视频中选取出目标视频帧。

所述计算单元43还用于依据所述基准帧、所述目标视频帧、所述第一视频的第一帧率和所述第二视频的第二帧率，计算出所述第一视频与所述第二视频的时间差值。

所述校正单元44，用于依据所述时间差，对所述第一视频或所述第二视频进行视频帧的校正。

可选的，所述计算单元具体用于根据公式

计算出所述基准帧与各个所述待处理视频帧的重叠区域的相似度ρ，

其中，m，n分别为所述重叠区域的行数和列数，vote(i,j)表示在(i,j)处灰度值相似度，i＝0,1,2,…,m-1，j＝0,1,2,…,n-1；vote(i,j)按如下公式确定，

其中，fl(i,j)表示左摄像机视频帧的灰度图中(i,j)处的灰度值，fr(i,j)表示右摄像机(i,j)处的灰度值。

可选的，所述选取单元具体用于从所述待处理视频帧中选取出相似度满足预设条件的两个视频帧；按照第二步长值，从所述两个视频帧所在的视频区间中选取出相似度最大的视频帧作为目标视频帧。

可选的，所述计算单元具体用于

根据公式

tdiff＝mfinal/fpsr-k/fpsl

计算出所述第一视频与所述第二视频的时间差值tdiff，其中mfinal表示所述目标视频帧的标号值，k表示所述基准帧的标号值；fpsl为左摄像机的帧率；fpsr为右摄像机的帧率。

可选的，所述校正单元包括判断子单元、第一计算子单元、第一确定子单元、第二计算子单元和第二确定子单元，

所述判断子单元，用于判断所述时间差是否大于零；

若是，则触发所述第一计算子单元，所述第一计算子单元，用于根据公式计算所述第一视频与所述第二视频的相差帧数；其中，n表示所述相差帧数；

所述第一确定子单元，用于依据所述相差帧数，采用帧间插值法，从所述第二视频中确定出校正视频帧；

若否，则触发所述第二计算子单元，所述第二计算子单元，用于根据公式计算所述第一视频与所述第二视频的相差帧数；其中，n表示所述相差帧数；

所述第二确定子单元，用于依据所述相差帧数，采用帧间插值法，从所述第一视频中确定出校正视频帧。

可选的，还包括判断单元，

所述判断单元，用于判断所述第一视频或所述第二视频中的视频帧是否校正完毕；若否，则返回所述选取单元。

图4所对应实施例中特征的说明可以参见图2所对应实施例的相关说明，这里不再一一赘述。

由上述技术方案可以看出，对获取的两路视频进行视频分帧处理，并计算所述两路视频的重叠区域；其中，所述两路视频包括第一视频和第二视频。以一路视频如第一视频为例，从第一视频中选取出满足第一预设条件的一个视频帧，作为基准帧；按照预设步长值，从所述第二视频中选取出待处理视频帧，通过计算所述基准帧与各个所述待处理视频帧的重叠区域的相似度，可以从第二视频中选取出目标视频帧；依据所述基准帧、所述目标视频帧、所述第一视频的第一帧率和所述第二视频的第二帧率，可以计算出所述第一视频与所述第二视频的时间差值；依据该时间差，便可以完成对第一视频或第二视频中视频帧的校正。可见，通过计算第一视频与第二视频中的时间差值，对视频帧校正，可以有效避免由于时间误差造成的图像拼接时出现的模糊以及“鬼影”等现象，提高了图像拼接的准确度。

以上对本发明实施例所提供的一种视频帧同步的方法与装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。