一种基于场景分类和几何标注的单视点视频深度获取方法_2

文档序号:9380941阅读:来源:国知局
深度图。
[0032] 根据本发明优选的,步骤(3)中,根据当前帧图像的几何标注结果求出当前帧图 像的初始深度图,所述几何标注结果包括天空、水平区域和垂直区域,所述水平区域是指具 有水平属性的区域,例如陆地、草坪、海面;所述垂直区域是指具有垂直属性的区域,例如 树、高楼、山;具体步骤包括:(i,j)为当前帧图像任一像素,如果(i,j)属于天空,则当前帧 图像的像素(i,j)的初始深度图D initlal__Jt为零,如果(i,j)属于水平区域,则当前帧图 像的像素(i,j)的初始深度图Dinitlal s^值为
,如果(i,j)属于垂直区域,则当前
帧图像的像素(i,j)的初始深度图Dimtlal sreJ直为 示垂直 , 区域中第j列中最大的行值。
[0033] 根据本发明优选的,步骤(4)中,如果当前帧图像属于相机静止物体运动场景,采 用光流法得到当前帧图像的运动深度图,与当前帧图像的初始深度图融合;具体步骤包括: 如果当前帧图像是局部运动,即当前帧图像属于相机静止物体运动场景,根据光流法得到 当前帧图像的光流运动量级图
为当前帧图像的光流 运动矢量结果,对当前帧图像的光流运动量级图MflJi行线性变换得到当前帧图像的运动 变换公式如式(V)所示:
[0035] 式(V )中,MflOT_、1^_"分别是指当前帧图像的光流运动量级图M flOT中像素值 的最大值和最小值;
[0036] 将当前帧图像的运动深度图Dlciral nmtlcin与步骤(3)得到的初始深度图融合得到当 前帧图像的最终深度图Dlcrcal,结合公式如式(VI)所示:
[0037] DiocaI w i〇cai Dinitiai-Scene+(I Wi〇cai) Di〇cai-moti〇n ("VI )
[0038] 式(VI )中,Wlcical是深度图融合的权值,w lcical= 0· 5。
[0039] 根据本发明优选的,所述步骤(4)中,如果当前帧图像属于相机运动场景,首先进 行全局运动补偿,然后利用光流法对全局运动补偿后的相邻帧图像进行运动估计,得到运 动估计量级图,根据运动估计量级图中非零像素所占的比例来判断场景中是否存在运动物 体,如果存在运动物体,将全局运动补偿后的运动估计量级图线性变换得到的运动深度图, 运动深度图与初始深度图融合得到最终深度图,如果不存在运动物体,将全局运动补偿前 的运动估计量图线性变换得到的运动深度图作为最终深度图,具体步骤包括:
[0040] d、如果当前帧图像属于相机运动场景,进行全局运动补偿,校正相机的运动,对当 前帧图像的后一帧图像进行校准后得到变形后的图像;
[0041] e、采用光流法计算当前帧图像及步骤d得到的变形后的图像的光流运动量级图 MfIc^waiv统计光流运动量级图中所有的运动像素,得到非零像素的数目NflOT_ wan),得到变形 运动权值Wnrotlcin warp,变形公式如式(W)所示:
[0043] 式(VE )中,H、W分别是当前帧图像的高和宽;
[0044] 设定阈值Thseenetype, 0· 15 < ThseenetypeS 0· 25,如果通过式(VE )求取的变形运动 权值Wnmtlcinimp权值小于阈值Th 则场景中不存在运动物体,进入步骤f,结束;否则, 场景中存在运动物体,进入步骤g;
[0045] f、对全局运动补偿前当前帧图像的光流运动量级图Mflciw进行线性变换,得到当前 帧图像的最终深度图D global *
[0047] 式(VID )中,MflOT__、Mflciw nun分别指的是光流运动量级图M flOT中像素值的最大值 和最小值。
[0048] 如果场景中不存在运动物体,那么相机运动引起的运动视差可以恢复出图像的密 集深度图。
[0049] g、首先求出全局运动补偿后当前帧图像的运动深度图Dgklbal dynanil。,当前帧图像的 运动深度图与光流运动量级图MflOT_w" p之间存在着线性映射关系,全局运动补偿后当前帧 图像的运动深度图 Dgl〇bal-dynamic 的计算公式如式(IX )所示:
[0050]
[0051] 式(IX )中,Mflciw_wa_ax、指的是全局运动补偿后的光流运动量级图 Mflciw_w_中像素值的最大值和最小值;
[0052] h、将步骤g得到的全局运动补偿后当前帧图像的运动深度图Dglcibal statl。与步骤 ⑶得到的当前帧图像的初始深度图融合,得到当前帧图像的最终深度图Dglcibal:计算公式 如式(X)所示:
[0053] DgiobaI W gi〇bal D^nitiai-Scene+(I WgiobaI) Dgi〇bal-dynamic ( X ) 0
[0054] 式(X )中,Wglcibal指的是深度图融合的权值,Wgklbal= 0· 5。
[0055] 根据本发明优选的,所述阈值Thseenetype = 0. 2。
[0056] 本发明的有益效果为:
[0057] 本发明提供了一种全面且有效的方法,能将现有的2D视频片源转换成立体视频, 利用当前帧图像的运动属性进行场景的判断,不同的场景采用不同的深度估计方法,不依 赖具体的场景,计算量适中,同时结合图像的几何标注生成场景深度,更加符合实际的场景 分布,可以生成效果好噪声小的深度图,从而合成效果较好的3D视频。
【附图说明】
[0058] 图1是本发明所述的基于场景分类和几何标注的单视点视频深度获取方法的流 程图;
[0059] 图2是本发明实施例2所述的highway视频的截图;
[0060] 图3是图2对应的运动深度图;
[0061] 图4是图2对应的最终深度图。
[0062] 具体实施方法
[0063] 下面结合说明书附图和实施例对本发明作进一步限定,但不限于此。
[0064] 实施例1
[0065] -种基于场景分类和几何标注的单视点视频深度获取方法,具体步骤包括:
[0066] (1)读取视频序列,采用光流法对视频序列中相邻帧图像进行运动估计,得到光 流运动矢量结果,根据光流运动矢量结果判断当前帧图像属于相机静止物体运动场景还是 属于相机运动场景,所述相机运动场景包括相机运动物体静止场景和相机运动物体运动场 景;
[0067] (2)判断是否需要估计当前帧图像的初始深度图,如果需要,进入步骤(3),否则, 当前帧图像的初始深度图默认为当前帧图像的前一帧图像的初始深度图,直接进入步骤 ⑷;
[0068] (3)根据当前帧图像的几何标注结果求出当前帧图像的初始深度图;
[0069] (4)如果当前帧图像属于相机静止物体运动场景,采用光流法得到当前帧图像的 运动深度图,与当前帧图像的初始深度图融合;如果当前帧图像属于相机运动场景,首先进 行全局运动补偿,然后利用光流法对全局运动补偿后的相邻帧图像进行运动估计,得到运 动估计量级图,根据运动估计量级图中非零像素所占的比例来判断场景中是否存在运动物 体,如果存在运动物体,将全局运动补偿后的运动估计量级图线性变换得到的运动深度图, 运动深度图与初始深度图融合得到最终深度图,如果不存在运动物体,将全局运动补偿前 的运动估计量图线性变换得到的运动深度图作为最终深度图。
[0070] 实施例2
[0071] -种基于场景分类
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1