立体视频的立体匹配方法、控制器和系统与流程

文档序号:12722680阅读:来源:国知局

技术特征:

1.一种立体视频的立体匹配方法,包括:

对立体视频中的第一帧图像和第二帧图像分别进行图像分割以生成第一帧分割块和第二帧分割块,所述第一帧图像在时间上先于第二帧图像;

对第一帧分割块和第二帧分割块进行帧间匹配;

至少部分地根据帧间匹配的第一帧分割块和第二帧分割块之间的相似度以基于所述第一帧图像的视差值来获得所述第二帧图像的视差值。

2.根据权利要求1所述的方法,其中,所述至少部分地根据帧间匹配的第一帧分割块和第二帧分割块之间的相似度以基于所述第一帧图像的视差值来获得所述第二帧图像的视差值的步骤包括:

针对所述第一帧图像和所述第二帧图像,构建两层的图模型,其中,第一帧图像是第一层,第二帧图像是第二层,分割块是图的节点,第一帧图像内的连接两个节点的边是内边,连接第一帧图像和第二帧图像之间的节点的边是外边;

至少部分地根据第一帧分割块之间的相似度以及帧间匹配的第一帧分割块与第二帧分割块之间的相似度来计算所述图模型中的内边和外边的权值;

在图模型上,通过概率估算来基于第一帧图像的视差值来获得第二帧图像的视差值。

3.根据权利要求1所述的方法,其中,帧间匹配的所述第一帧分割块和第二帧分割块之间的相似度通过帧间匹配的所述第一帧分割块和第二帧分割块的像素数量、对齐重叠的像素数量、和在视觉特征上的相似度以及重心的距离中的一种或多种来确定。

4.根据权利要求2所述的方法,其中,所述第一帧分割块之间的相似度通过各第一帧分割块在视觉特征上的相似度来确定。

5.根据权利要求2所述的方法,其中,在图模型上,通过概率估算来基于第一帧图像的视差值来获得第二帧图像的视差值的步骤包括:

基于图模型的外边,计算时间域一致性,所述时间域一致性表示帧间匹配的第一帧分割块和第二帧分割块的视差值相似的程度;

基于图模型的内边,计算空间域一致性,所述空间域一致性表示相邻的第二帧分割块之间的视差值相似的程度;

计算表示第二帧图像和要与第二帧图像进行立体匹配的第二相对帧图像之间的立体匹配代价的似然值;

确定时间域一致性、空间域一致性和似然值的线性加权值,并进行线性加权得到总和;

求使得所述总和达到最大值的视差值作为第二帧图像的视差值。

6.根据权利要求1所述的方法,其中,对第一帧分割块和第二帧分割块进行帧间匹配的步骤包括:

第一次帧间匹配步骤,针对每一个第一帧分割块,在第二帧图像中找到一个帧间匹配的第二帧分割块,使得第一帧分割块和所找到的第二帧分割块之间的相似度最大;

第二次帧间匹配步骤,针对每一个第二帧分割块,在第一帧图像中找到一个帧间匹配的第一帧分割块,使得第二帧分割块和所找到的第一帧分割块之间的相似度最大;

如果一个第一帧分割块和一个第二帧分割块在所述第一次和第二次帧间匹配步骤中都是帧间匹配的,则确定所述第一帧分割块和所述第二帧分割块是帧间匹配的。

7.根据权利要求1所述的方法,还包括获得第一帧图像的视差值,

其中,所述获得第一帧图像的视差值包括:

计算第一帧分割块和要与第一帧图像进行立体匹配的第一相对帧图像的分割块之间的立体匹配代价;

预估第一帧分割块的视差值和对应的可靠度,其中,所述可靠度表示该分割块的预估的视差值的正确的概率;

根据两个第一帧分割块之间的所述视觉特征的差异度和距离和该两个第一帧分割块对应的可靠度来计算该两个第一帧分割块之间的有方向的传播能量系数;

基于所述有方向的传播能量系数来实施置信传播算法以获得第一帧分割块的更新的视差值。

8.根据权利要求1-6中的至少一个所述的方法,其中,所述第一帧分割块和第二帧分割块包括超像素块和像素点中的至少一种。

9.一种立体视频的立体匹配系统,包括:

拍摄装置,被配置为拍摄第一帧图像和要与第一帧图像进行立体匹配的第一相对帧图像、以及第二帧图像要与第二帧图像进行立体匹配的第二相对帧图像;

控制器,被配置为接收所述拍摄装置发送的第一帧图像和要与第一帧图像进行立体匹配的第一相对帧图像、以及第二帧图像要与第二帧图像进行立体匹配的第二相对帧图像;并对立体视频中的第一帧图像和第二帧图像分别进行图像分割以生成第一帧分割块和第二帧分割块,所述第一帧图像在时间上先于第二帧图像;对第一帧分割块和第二帧分割块进行帧间匹配;至少部分地根据帧间匹配的第一帧分割块和第二帧分割块之间的相似度来基于第一帧图像的视差值来获得第二帧图像的视差值。

10.一种立体视频的立体匹配控制器,包括:

图像分割装置,被配置为对立体视频中的第一帧图像和第二帧图像分别进行图像分割以生成第一帧分割块和第二帧分割块,所述第一帧图像在时间上先于第二帧图像;

帧间匹配装置,被配置为对第一帧分割块和第二帧分割块进行帧间匹配;

立体匹配装置,被配置为至少部分地根据帧间匹配的第一帧分割块和第二帧分割块之间的相似度以基于所述第一帧图像的视差值来获得所述第二帧图像的视差值。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1