前帧图像的光流运动矢量结果的水平运动分量MVSU和垂直运 动分量MVS4+算出运动累积量级图M__mc]ticin，计算公式如式（III)所示：设定阈值ThTOlght，2彡ThTOlght< 10,统计运动累积量级图中大于阈值Th_#的像素的 数目N'，N'在所有像素中所占的百分比作为当前帧图像运动区域的权值t，计算公式如式 (IV)所示：式（IV)中，H和W分别为当前帧图像的高和宽； c、设定相机运动阈值Th_CTaJrotlcin，0. 6 <Th_CTanrotlcin< 0. 85,根据步骤b求取的当前 帧图像运动区域的权值t与相机运动阈值ThraniCTaMtlC]n的关系判断当前帧图像是局部运动 还是全局运动，如果当前帧图像运动区域的权值I小于相机运动阈值Th_CTaJrotlC]n，则当前 帧图像是局部运动，即当前帧图像属于相机静止物体运动场景，否则，当前帧图像是全局运 动，即当前帧图像属于相机运动场景。3. 根据权利要求2所述的一种基于场景分类和几何标注的单视点视频深度获取方法， 其特征在于，所述阈值ThTOlght= 5。4. 根据权利要求2所述的一种基于场景分类和几何标注的单视点视频深度获取方法， 其特征在于，所述相机运动阈值Th_CTaJrotlcin= 0. 8。5. 根据权利要求1所述的一种基于场景分类和几何标注的单视点视频深度获取方法， 其特征在于，所述步骤（2)中，判断是否需要估计当前帧图像的初始深度图，具体步骤包 括：如果当前帧图像是局部运动，即当前帧图像属于相机静止物体运动场景，根据步骤（1) 判断当前帧图像的前一帧图像是否为局部运动，如果当前帧图像的前一帧图像是局部运 动，当前帧图像的初始深度图默认为当前帧图像的前一帧图像的初始深度图，不需要估计 当前帧图像的初始深度图；如果当前帧图像的前一帧图像不是局部运动，则需要求当前帧 图像的初始深度图；如果当前帧图像是全局运动，则需要求出当前帧图像的初始深度图。6. 根据权利要求1所述的一种基于场景分类和几何标注的单视点视频深度获取方 法，其特征在于，步骤（3)中，根据当前帧图像的几何标注结果求出当前帧图像的初始深度 图，所述几何标注结果包括天空、水平区域和垂直区域，所述水平区域是指具有水平属性 的区域；所述垂直区域是指具有垂直属性的区域；具体步骤包括：（i，j)为当前帧图像任 一像素，如果（i，j)属于天空，则当前帧图像的像素（i，j)的初始深度图Dimtlal__ra值为 零，如果（i，j)属于水平区域，则当前帧图像的像素（i，j)的初始深度图Dimtlal__ra值为 255$4如果（i，j)属于垂直区域，则当前帧图像的像素（i，j)的初始深度图Dinitlals_n' 值爻max(j)VCT表示垂直区域中第j列中最大的行值。7. 根据权利要求1所述的一种基于场景分类和几何标注的单视点视频深度获取方法， 其特征在于，步骤（4)中，如果当前帧图像属于相机静止物体运动场景，采用光流法得到 当前帧图像的运动深度图，与当前帧图像的初始深度图融合；具体步骤包括：如果当前帧 图像是局部运动，即当前帧图像属于相机静止物体运动场景，根据光流法得到当前帧图像 的光流运动量级图MflOT，Mfkw =^/MV； +MYt2，(MVu，MVv)为当前帧图像的光流运动矢量 结果，对当前帧图像的光流运动量级图MflJi行线性变换得到当前帧图像的运动深度图D]_〇cal-motion' 变换公式如式（V)所示：式（V)中，分别是指当前帧图像的光流运动量级图Mflm中像素值的最 大值和最小值； 将当前帧图像的运动深度图与步骤（3)得到的初始深度图融合得到当前帧 图像的最终深度图DlTCal，结合公式如式（VI)所示： Dlocal=Wlocal* 〇initial_scene+ (1W]_ocai)D]_ocai-moti〇n (VI) 式（VI)中，wlcical是深度图融合的权值，wlcical= 0? 5。8.根据权利要求1所述的一种基于场景分类和几何标注的单视点视频深度获取方法， 其特征在于，所述步骤（4)中，如果当前帧图像属于相机运动场景，首先进行全局运动补 偿，然后利用光流法对全局运动补偿后的相邻帧图像进行运动估计，得到运动估计量级图， 根据运动估计量级图中非零像素所占的比例来判断场景中是否存在运动物体，如果存在运 动物体，将全局运动补偿后的运动估计量级图线性变换得到的运动深度图，运动深度图与 初始深度图融合得到最终深度图，如果不存在运动物体，将全局运动补偿前的运动估计量 图线性变换得到的运动深度图作为最终深度图，具体步骤包括： d、 如果当前帧图像属于相机运动场景，进行全局运动补偿，校正相机的运动，对当前帧 图像的后一帧图像进行校准后得到变形后的图像； e、 采用光流法计算当前帧图像及步骤d得到的变形后的图像的光流运动量级图Mflm_ wan)，统计光流运动量级图中所有的运动像素，得到非零像素的数目Nfkiw_wan)，得到变形运动 权值，变形公式如式（VII)所示：式（VII)中，H、W分别是当前帧图像的高和宽； 设定阈值Th_netype，0. 15彡Th_netype< 0? 25,如果通过式（W)求取的变形运动权值 评"1。___权值小于阈值1'11；3(：(；_：)(；，则场景中不存在运动物体，进入步骤;^结束 ；否贝11，场景 中存在运动物体，进入步骤g; f、 对全局运动补偿前当前帧图像的光流运动量级图Mflji行线性变换，得到当前帧图 像的最终深度图 Dgl〇bal.式（VDI)中，]^1。"_、]^1。"__分别指的是光流运动量级图1^ 1。"中像素值的最大值和最 小值； g、 首先求出全局运动补偿后当前帧图像的运动深度图Dgk]bal_dynanil。，当前帧图像的运动 深度图与光流运动量级图MflOT__p之间存在着线性映射关系，全局运动补偿后当前帧图像 的运动深度图 Dgl〇bal-dynamic的计算公式如式（IX)所示：式（IX)中，MflOTWa_ax、MflOTWa_in分别指的是全局运动补偿后的光流运动量级图MflOT_ ?_中像素值的最大值和最小值； h、 将步骤g得到的全局运动补偿后当前帧图像的运动深度图Dgklbal_statl。与步骤⑶得 到的当前帧图像的初始深度图融合，得到当前帧图像的最终深度图Dglc]bal:计算公式如式 (X)所示：式（X)中，wgklbal指的是深度图融合的权值，wglcibal= 0? 5。9.根据权利要求8所述的一种基于场景分类和几何标注的单视点视频深度获取方法， 其特征在于，所述阈值Thseenetype= 0. 2。
【专利摘要】本发明涉及一种基于场景分类和几何标注的单视点视频深度获取方法，具体步骤包括：(1)判断当前帧图像属于相机静止物体运动场景还是属于相机运动场景；(2)判断是否需要估计当前帧图像的初始深度图；(3)求出当前帧图像的初始深度图；(4)对于相机静止物体运动场景，得到当前帧图像的运动深度图，与初始深度图融合。对于相机运动场景，进行全局运动补偿，利用光流法对全局运动补偿后相邻帧图像进行运动估计，判断是否存在运动物体，确定是否与初始深度图进行融合。本发明不依赖具体的场景，计算量适中，生成噪声小且更加符合实际的场景分布的深度图，合成效果较好的3D视频。
【IPC分类】H04N13/00, G06T7/00
【公开号】CN105100771
【申请号】CN201510413367
【发明人】江铭炎, 徐慧慧
【申请人】山东大学
【公开日】2015年11月25日
【申请日】2015年7月14日