一种基于场景分类和几何标注的单视点视频深度获取方法
【技术领域】
[0001] 本发明涉及一种基于场景分类和几何标注的单视点视频深度获取方法，属于计算 机图像处理技术领域。
【背景技术】
[0002] 目前立体图像技术应用范围很广，分布在科研、军事、教育和医疗各个领域。相比 于2D图像，立体图像带给我们更逼真更震撼的视觉享受。目前3D片源的获取主要有几种方 式：深度摄像机、2D转3D技术。但是，深度摄像机非常昂贵，并且只能得到新拍摄视频的3D 内容，在3DTV系统中不实用，解决这个问题的一种有效的途径就是2D转3D技术，因为目前 存在大量的2D视频，2D转3D技术有非常好的发展前景。2D转3D技术是指将普通的2D图 像，通过图像或图像之间的相关信息，获得3D左右眼的深度图像。原图像和深度图像通过 基于深度图的虚拟绘制技术（DIBR)生成左视图图像和右视图图像，因为人眼存在的视差， 当左视图和右视图分别进入到人的左右眼时，便生成了立体图像。
[0003] 2D视频场景根据场景中目标和相机运动情况不同可分成四种情况：相机运动、物 体静止，相机静止、物体运动，相机静止、物体静止，相机运动、物体运动。对于这些场景可以 采用运动、聚焦、散焦、线性透视、大气透视、纹理信息等深度线索或深度线索的结合得到对 应的深度图，但是，这些方法有的只是适用于某一种场景，当场景变换时，该方法便不再适 用。
【发明内容】
[0004] 针对现有技术的不足，本发明公开了一种基于场景分类和几何标注的单视点视频 深度获取方法；
[0005] 本发明针对相机静止物体运动、相机运动物体静止和相机运动物体运动这三种情 况下的视频都能得到对应的深度图像，将现有的2D视频转换成立体视频。
[0006] 本发明得到能适应多种场景变换，精度较高并且计算量适中的深度图像，从而进 一步生成质量较好的3D视频。
[0007] 本发明的技术方案为：
[0008] 术语解释
[0009] 1、光流法，是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中 的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面 上的表达；
[0010] 2、全局运动补偿，为了弥补由于摄像机移动造成的背景全局性的运动对图像中运 动目标检测造成的影响，常采用基于全局运动补偿思想的检测方法。该方法的思路是先对 由摄像机移动引起的背景运动进行运动补偿，使得补偿后的图像序列可以近似认为是静态 背景图像序列，然后再利用静态背景中运动目标的检测方法进行检测。
[0011] 3、深度图，场景中各点相对于摄像机的距离可以用深度图来表示，即深度图中每 一个像素值表示场景中某一点到摄像机的距离。深度图中像素的值越大，场景中的物体离 摄像机越近，像素值越小，场景中的物体离摄像机越远。
[0012] -种基于场景分类和几何标注的单视点视频深度获取方法，具体步骤包括：
[0013] (1)读取视频序列，采用光流法对视频序列中相邻帧图像进行运动估计，得到光 流运动矢量结果，根据光流运动矢量结果判断当前帧图像属于相机静止物体运动场景还是 属于相机运动场景，所述相机运动场景包括相机运动物体静止场景和相机运动物体运动场 景；
[0014] (2)判断是否需要估计当前帧图像的初始深度图，如果需要，进入步骤（3)，否则， 当前帧图像的初始深度图默认为当前帧图像的前一帧图像的初始深度图，直接进入步骤 ⑷；
[0015] (3)根据当前帧图像的几何标注结果求出当前帧图像的初始深度图；
[0016] (4)如果当前帧图像属于相机静止物体运动场景，采用光流法得到当前帧图像的 运动深度图，与当前帧图像的初始深度图融合；如果当前帧图像属于相机运动场景，首先进 行全局运动补偿，然后利用光流法对全局运动补偿后的相邻帧图像进行运动估计，得到运 动估计量级图，根据运动估计量级图中非零像素所占的比例来判断场景中是否存在运动物 体，如果存在运动物体，将全局运动补偿后的运动估计量级图线性变换得到的运动深度图， 运动深度图与初始深度图融合得到最终深度图，如果不存在运动物体，将全局运动补偿前 的运动估计量图线性变换得到的运动深度图作为最终深度图。
[0017] 根据本发明优选的，所述步骤（1)中，读取视频序列，采用光流法对视频序列中相 邻帧图像进行运动估计，得到光流运动矢量结果，根据光流运动矢量结果判断当前帧图像 属于相机静止物体运动场景还是属于相机运动场景；具体步骤包括：
[0018] a、读取视频序列，获取所有的图像，求相邻帧图像之间的光流运动矢量结果，然后 将当前帧图像的前（N-I)帧图像的光流运动矢量结果聚集，在原像素（x，y)处当前帧图像 的光流运动矢量结果MVS (x，y)的计算公式如式（I )所示：原像素（x，y)在第（1-1)个光 流运动后的坐标（X1^1)的计算公式如式（II )所示；
[0021] 式（I )中，MV()表示相邻帧图像之间的光流运动矢量结果，N表示连续的帧图 像数，N帧图像共发生（N-I)次光流运动；1 = 1，2, ...，（N-I)，分别表示第1，2, ...，（N-I) 个光流运动，（Xby1)表示的是原像素（x，y)在第（1-1)个光流运动后的坐标；
[0022] 式（II )中，Round {}算子是对光流运动矢量结果的所有元素取整，q = 1，2,. . .，（1-1)，分别表示的是第1，2,. . .，（1-1)个光流运动，（xq，yq)表示原像素（X，y)在 第（q-Ι)个光流运动后的坐标；
[0023] b、根据步骤a求取的当前帧图像的光流运动矢量结果的水平运动分量MVSu和垂 直运动分量MVSJ+算出运动累积量级图M ^jmjliciticin，计算公式如式（III)所示：
[0025] 设定阈值Thwelght, 2彡Thwelght彡10,统计运动累积量级图中大于阈值Th welght的像
素的数目Ν'，Ν'在所有像素中所占的百分比作为当前帧图像运动区域的权值Wni，计算公式 如式（IV )所示：
[0027] 式（IV )中，H和W分别为当前帧图像的高和宽；
[0028] c、设定相机运动阈值 Theaniera nmtlcin, 0· 6 彡 TheaiierajrotlcinS 0· 85,根据步骤 b 求取的 当前帧图像运动区域的权值Wni与相机运动阈值Th关系判断当前帧图像是局部 运动还是全局运动，如果当前帧图像运动区域的权值Wm小于相机运动阈值Th _____，则 当前帧图像是局部运动，即当前帧图像属于相机静止物体运动场景，否则，当前帧图像是全 局运动，即当前帧图像属于相机运动场景。
[0029] 根据本发明优选的，所述阈值Thirelght= 5。
[0030] 根据本发明优选的，所述相机运动阈值Th_CTaJrotlcin= 0. 8。
[0031] 根据本发明优选的，所述步骤（2)中，判断是否需要估计当前帧图像的初始深度 图，具体步骤包括：如果当前帧图像是局部运动，即当前帧图像属于相机静止物体运动场 景，根据步骤（1)判断当前帧图像的前一帧图像是否为局部运动，如果当前帧图像的前一 帧图像是局部运动，当前帧图像的初始深度图默认为当前帧图像的前一帧图像的初始深度 图，不需要估计当前帧图像的初始深度图；如果当前帧图像的前一帧图像不是局部运动，则 需要求当前帧图像的初始深度图；如果当前帧图像是全局运动，则需要求出当前帧图像的 初始