面向平面显示设备的视频立体化绘制方法
【技术领域】
[0001] 本发明涉及数字图像处理领域，尤其是指一种不依赖于特殊拍摄设备、显示设备、 观看设备的面向平面显示设备的视频立体化绘制方法。 技术背景
[0002] 立体视频技术是未来多媒体技术的发展方向，在规划设计方案评估、影视娱乐等 领域有广泛的应用前景。
[0003] 现有的立体技术主要分为3D眼镜式和非眼镜式。前者包括光分法、时分法、分色 技术等；后者包括光屏障式技术、柱状透镜技术、全息投影等。以上技术都有较好的立体效 果，在影视行业也得到了应用，但是，以上这些技术仍然存在以下缺点：1、大都依赖于3D眼 镜、特殊显示屏幕等辅助设备，大大地限制了其推广使用；2、滤光眼镜、栅栏式显示屏、柱状 透镜显示屏等辅助设备降低了原视频的亮度和分辨率；3、具有较高的制造和维护成本。
[0004] 因而，研宄一种不依赖于特制设备的视频立体化技术，在立体视频亟需普及的今 天具有重要意义。
【发明内容】
[0005] 本发明所要解决的技术问题是，提供一种面向平面显示设备的视频立体化绘制方 法，以改善传统的立体视频必须依赖设备才能观看，不利于推广的问题。
[0006] 为解决上述技术问题，本发明采用如下技术方案：一种面向平面显示设备的视频 立体化绘制方法，包括如下步骤： 步骤一、提取彩色帧和深度帧：使用Kinect深度相机获取实时输入的彩色帧I。和深度 帧Id序列； 步骤二、深度帧拉伸：对深度帧进行线性变换、双边滤波后得到图像1/ ; 步骤三、分割精细的前景掩码：对相邻的彩色帧I。应用帧差法对背景进行减除得到粗 略前景Fp再对粗略前景^运用图像形态学腐蚀，剔除细小的明亮区域，删除较小的分支只 保留面积最大的分支，分割出粗略的运动前景掩码，对于每一帧，寻找该帧粗略前景^中深 度最小的点P，并进行广度优先搜索，寻找其在三维场景中连续的点，得到精细的前景掩码 步骤四、计算参照线位置：在场景的左半边和右半边分别确定参照线lleft和Uight; 步骤五、应用摄像机几何原理逐层将彩色帧I。和图像I /重新绘制到成像平面上的新 彩色帧R。和新深度帧Rd:对于彩色帧I。和图像I /中的点，按深度由大到小均分为多层，逐 层对彩色帧I。和图像I /中的点进行摄像机几何摄影并修复其中的裂纹，最后将修复后的 图层绘制到新彩色帧R。和新深度帧R d上； 步骤六、构造场景三角网格修复新彩色帧R。和新深度帧Rd中出现的像素缺失：将彩色 帧I。和新深度帧I /中相邻的三个场景点连成一个个三角形网格，使整个场景被拟合成一 个多面体，m点是摄像机成像平面31上的像素缺失点，连接过投影中心p和m点的直线1， 如果1与某个三角形网格相交于点X。，则m点是点X。投影在摄像机成像平面31的点，对X。 处的颜色值进行修复； 步骤七、对远景进行适当的模糊：记两条白线的平均深度为dw，对新彩色帧R。中深度大 于dw的点进行模糊，深度越大赋予越大的模糊窗口； 步骤八、在中插入参考线得到结果图像RAp:将步骤四中计算出的两条参照线的位 置记为Loc，对Loc施加摄像机几何透视变换，得到新的参照线位置Loc'并插入中获得 的结果图像，即完成整个绘制过程。
[0007]进一步地，在所述步骤一中，针对深度帧^中存在像素缺失导致的黑洞和深度帧 轮廓与彩色帧轮廓不匹配的现象，采用深度图求精算法对深度图进行修复，得到的修复后 的彩色帧和深度帧。
[0008]进一步地，在所述步骤二中，统计所有深度帧Id中的最大深度和最小深度，得到视 频的深度变化范围（屯，d2)，并利用线性变换将其映射到深度范围为（dmin，dmax)的图像1/， 其中，di > (L"，d9〈 d_，其计算公式为：
(1) 完成线性变换后再对图像1/进行双边滤波，得到保留边缘并平滑的深度帧。
[0009]进一步地，所述步骤四的具体操作过程为，确定一个虚拟平面来烘托前景景深，在 精细的前景掩码Fp中标记精细的三维场景中的前景，计算参照线位置算法如下： 将精细的前景掩码Fp中的前景投影成俯视前景F v，并且计算俯视前景Fv的最小外接矩 形B。将所有俯视前景标记到运动前景俯视轨迹图V上，找到所有帧中重心深度最小的外 接矩&，重心深度最大的外接矩B 2，作重心深度最小的外接矩&、重心深度最大的外接矩B2 的连线，求得其斜率k，运动前景俯视轨迹图V中非零点集合记为集合P，其中的点元素记为 P ; 将所有满足以下公式（2)的点1作为参照线位置的候选点：
其中，P为集合P中的像素点，代表前景经过的轨迹，ds为开始搜索参照线深度，cU为结 束搜索参照线深度，4和d 6设置为俯视轨迹最小外接矩形minBoundRect的三等分处。
[0010] 进一步地，根据斜率k的正负符号，在满足公式（2)的前提下，进行如下处理： 若k〈 0,前景的大致运动方向为右上角到左下角，则考虑以下情况：
若k > 0,前景的大致运动方向为左上角到右下角，则考虑以下情况：
(4) 对于运动前景轨迹俯视图V中满足公式（2)的点，作为参照线llrft、l& ht的候选点，1 p 12为画面的三等分线，选择1 lrft时优先靠近1 i的点，在选择1 Hght时优先靠近12的点，具体 选择按照以下方式处理： 当k〈 0,在优先满足公式⑶的条件下，距离li、l2近的点优先，在距离相同的条件下， 深度较大的点优先； 当k > 0,在优先满足公式⑷的条件下，距离li、l2近的点优先，在距离相同的条件下， 深度较大的点优先。
[0011] 进一步地，步骤五中，将场景点X。重新绘制到成像平面点m的映射表达式为以下 公式（5):
其中，x，y，z为场景点Xjx, y, z)在对应的o-xyz坐标系中的坐标，x'，y'为成像平 面点m(x, y)在o-xy坐标系中的坐标，f为投影中心p到成像平面中心0。的距离，width， height为成像平面的宽和高。
[0012] 进一步地，步骤五中，对I。和I /中的点采用inpainting算法逐层修复其中的裂 纹。
[0013] 进一步地，步骤六中，X。处的颜色值由它的顶点pi, p i+1, pi+2根据以下公式（6)计 算得出：
(6)〇
[0014] 进一步地，步骤七中，对于新彩色帧R。中的所有像素点p，Rd中都有其对应的深度 d p，根据dp计算p点处的模糊窗口大小WinSize:
(7) 其中，depth_为场景中的最大深度，d w为两条参照线的平均深度，d p为p点深度，win _ 为depthmax处对应的模糊窗口，win ^为d w处对应的模糊窗口。
[0015] 进一步地，步骤八中，对Loc施加如公式（7)所示的摄像机几何透视变换，得到新 的参照线位置Loc'。
[0016] 通过采用上述技术方案，本发明具有以下技术效果： 1、本发明不依赖于任何特殊的显示或观看设备，仅对视频进行数字图像处理，因而对 原视频的亮度和分辨率没有影响，相对于传统的依赖的视频立体化技术，既利于推广又节 约了制造和后期维护成本。
[0017] 2、本发明使用两条参照线确定一个虚拟的平面，该虚拟平面相当于显示器的屏 幕，运动的前景从该虚拟平面后方运动到前方的过程给人带来运动前景穿出了显示器的视 觉感受，从而呈现出动态立体效果。
[0018] 3、本发明使用了摄像机几何原理将三维场景中的点投影到成像平面，重新绘制后 的彩色图很好地从视觉上反映了深度远近的透视关系。
[0019] 4、不需要任何硬件设备作为辅助，可以在对视频帧进行图像处理的基础上烘托和 拓展视频景深，拉大场景中的透视关系，同时保留原视频的亮度和分辨率，在平面显示设备 上可以较好的突出运动前景、增强视频的动态立体呈现效果。
[0020] 5、此视频立体化技术可用于影视娱乐，广告传媒等。
【附图说明】
[0021] 图1是本发明面向平面显示设备的视频立体化绘制方法流程图。
[0022] 图2是Kinect采集彩色帧I。和深度帧I 果图。
[0023] 图3是拉伸后的深度图1/。
[0024] 图4是由前景掩码得到前景投影不意图。
[0025] 图5是由前景运动轨迹俯视图V分析前景运动方向。
[0026] 图6是从候选点中筛选lleft、lHghi意图。
[0027] 图7是基本针孔模型原理图。
[0028] 图8是用摄像机几何投影重新绘制后的场景。
[0029] 图9用X。的像素值修补m处像素缺失示意图。
[0030]