3d立体影视制作中新视图的全自动快速生成及补全方法
【技术领域】
[0001] 本发明涉及一种3D立体影视的处理方法，特别是涉及图像合成技术领域的一种 3D立体影视制作中新视图的全自动快速生成及补全方法。
【背景技术】
[0002] 随着3D电影的日益普及，3D立体影视逐渐视成为影视行业的主流媒体格式。虽 然市面上的立体摄像机可以用来直接拍摄生成3D立体视频，但3D实拍技术的成本高、周期 长且立体效果调节难度大。因此，当今普遍的3D电影制作方案是采用后期2D转制3D的方 法，该方法成本相对较低，而且立体效果可控性更强。因此，如何有效的将2D影视转换成3D 立体影视成为3D立体影视制作领域的研宄热点。
[0003] 影视3D转3D的主要技术流程包括图层分割、深度图创建和新视图合成，其中最关 键的技术为新视图合成，包括新视图的生成及补全两个步骤。传统的2D转3D技术中，新视 图的生成采用基于水平偏移的深度置换方法，新视图的补全是采用简单的颜色扩散填充结 合人工交互修补的方法。水平偏移生成的新视图并不符合真实世界的立体几何投影关系， 会造成视觉欺骗；并且，简单的颜色扩散填充方法并不能生成很好的补全效果，同样会造成 一定程度的视觉欺骗。
[0004] 由此，传统的新视图合成技术自动化程度低，交互修补需要大量的人工操作，很难 满足3D影视制作（尤其是3D电影）对于高质量和高效率低成本的行业要求。
【发明内容】
[0005] 为了克服现有技术的不足，本发明提供了一种3D立体影视制作中新视图的全自 动快速生成及补全方法，旨在利用原视图图像及其对应的深度图全自动地生成新视图的图 像和深度图。该技术可以快速自动化地完成图像2D转3D立体过程中的立体视图合成，满 足3D电影制作对于高质量和高效率低成本的行业要求；此外，该技术还可以用来完成电视 节目或网络视频2D转3D立体过程中的新视图视频序列的快速自动合成。
[0006] 本发明所采用的技术方案是包括以下步骤：
[0007] a、对于原视图图像及其深度图，根据原视图的摄像机参数进行三维反投影和表面 三角网格化，将网格化的图像表面结构根据新视图的摄像机参数进行三维空间投影渲染， 生成新视图的图像及其深度图；
[0008] b、利用有向漫水填充法将新视图图像和深度图中非空洞区域颜色和深度扩展填 补至空洞区域，直到空洞区域所有像素的颜色和深度均被补全完整。
[0009] 所述步骤a具体包括：
[0010] al、原视图图像记为I。，原视图图像的深度图记为D。，原视图的摄像机参数记为C。 = K0[R0|TJ,
[0011] 其中，K。为原视图摄像机的内参矩阵，R。为原视图摄像机的旋转矩阵，T。为原视图 摄像机的平移向量，将原视图图像I。中的每个2D像素点x根据摄像机参数和深度采用以下 公式反投影至3D空间坐标，并将原视图图像I。中所有2D像素点经反投影后所得的3D点 集合记为P :
[0012]
【主权项】
1. 一种3D立体影视制作中新视图的全自动快速生成及补全方法，其特征在于包括以 下步骤： a、 对于原视图图像及其深度图，根据原视图的摄像机参数进行三维反投影和表面三角 网格化，将网格化的图像表面结构根据新视图的摄像机参数进行三维空间投影渲染，生成 新视图的图像及其深度图； b、 利用有向漫水填充法将新视图图像和深度图中非空洞区域颜色和深度扩展填补至 空洞区域，直到空洞区域所有像素的颜色和深度均被补全完整。
2. 根据权利要求1所述的一种3D立体影视制作中新视图的全自动快速生成及补全方 法，其特征在于所述步骤a具体包括： al、原视图图像记为I。，原视图图像的深度图记为D。，原视图的摄像机参数记为C。= K0 [R01T0], 其中，K。为原视图摄像机的内参矩阵，R。为原视图摄像机的旋转矩阵，T。为原视图摄像 机的平移向量，将原视图图像I。中的每个2D像素点X根据摄像机参数和深度采用以下公 式反投影至3D空间坐标，并将原视图图像I。中所有2D像素点经反投影后所得的3D点集 合记为P :
其中，PU)表示X反投影所得的3D点，Dtj(X)表示X的深度值；T表示矩阵的转置，[X 1]为2D像素点X的齐次坐标； a2、原视图图像I。中2D像素点进行DeIaunay三角化，再根据三角化的网格结构拓扑关 系对3D点集合P进行三角网格化，形成原视图图像的3D表面网格结构S ;然后，将原视图 图像的深度图D。中的深度最大值记为Dmax，最小值记为Dmin，对于深度差大于0. 05 (Dmax-Dmin) 的相邻2D像素点对，将其拓扑连接的三角网格从S中除去； a3、将新视图的摄像机参数记为Cn= Kn[Rn I Tn]，其中Kn为新视图摄像机的内参矩阵，Rn 为原视图摄像机的旋转矩阵，1；为原视图摄像机的平移向量； 将原视图图像I。根据原视图图像坐标映射至3D表面网格结构S的表面，然后将包含 图像映射的S从Cn所在的摄像机视角进行三维空间投影渲染，将渲染的图像作为新视图图 像In，渲染的深度图作为新视图深度图D n。
3. 根据权利要求1所述的一种3D立体影视制作中新视图的全自动快速生成及补全方 法，其特征在于所述的步骤b具体包括： bl、新视图图像In中的空洞区域记为Ω，将空洞区域Ω的区域外边界像素点b利用摄 像机参数和新视图深度图Dn中的深度值采用以下公式投影至原视图中：
其中，B。表示区域外边界像素点b从新视图投影至原视图摄像机坐标系下的3D点坐 标，b匕表示区域外边界像素点b从新视图投影至原视图的投影点位置，Dn(b)表示区域外 边界像素点b的深度值； 然后，统计以为中心的7 X 7像素窗口内的深度值的最大值dmax和最小值dmin，因所 有外边界的像素点并不都是漫水填充种子像素点，再采用以下公式计算出区域外边界像素 点b为漫水填充种子像素点的概率：
其中，z (B。）表示3D点B。的z轴坐标； b2、为空洞区域Ω所有的区域外边界像素点集合建立采用以下公式的能量方程 Δ'(?Ω)来求解每个像素点是否为种子点，利用图切割方法最小化能量方程，以求得每个区 域外边界像素点是否为种子点，所有为种子点的区域外边界像素点集合记为Δ，能量方程 ￡(?Ω)定义如下：
其中，b表示区域外边界像素点，c为b的相邻外边界像素点，N(b)为b的所有相邻像 素点，Ed(b)为像素点b的数据项，Es(b，c)为邻域像素点对（b，c)的平滑项； b3、利用有向漫水填充法将种子像素点的颜色和深度扩展填补至1"和D n的空洞区域。
4. 根据权利要求3所述的一种3D立体影视制作中新视图的全自动快速生成及补全方 法，其特征在于：所述步骤b2能量方程￡'0-Ω)中的像素点b的数据项E d (b)采用以下公式 定义：
其中，b表示区域外边界像素点，p (b)为区域外边界像素点b为漫水填充种子像素点的 概率。
5. 根据权利要求3所述的一种3D立体影视制作中新视图的全自动快速生成及补全方 法，其特征在于：所述步骤b2能量方程/：(5Ω)中的邻域像素点对（b，c)的平滑项匕㈨c)采 用以下公式定义：
其中，b表示区域外边界像素点，c为b的相邻外边界像素点，λ为平滑项权重。
6. 根据权利要求3所述的一种3D立体影视制作中新视图的全自动快速生成及补全方 法，其特征在于所述的步骤b3具体如下： b3. 1)将种子像素点集合Λ向空洞区域Ω膨胀一个像素宽度； b3. 2)对膨胀的每个空洞区域像素点ρ，利用其8邻域中种子点的颜色和深度来分别填 补新视图图像1"中像素点P位置的颜色和新视图深度图〇"中像素点p位置的深度； 如果8邻域中存在至少两个种子点，则比较每个种子点指向点p的向量与点p位置的 空洞区域边界法向的一致性，选择方向最一致的种子点，利用其颜色和深度来填补1"和D n 中像素点P位置的颜色和深度； b3. 3)清空所有为种子点的区域外边界像素点集合△中的种子点，将膨胀的空洞区域 像素点置入该像素点集合△中形成新的种子点集合； b3.4)重复步骤b3. I)_b3.3)，直到空洞区域Ω中所有像素点的颜色和深度均被填补 完整。
【专利摘要】本发明公开了一种3D立体影视制作中新视图的全自动快速生成及补全方法。对于原视图图像及其深度图，根据原视图的摄像机参数进行三维反投影和表面三角网格化，将网格化的图像表面结构根据新视图的摄像机参数进行三维空间投影渲染，生成新视图的图像及其深度图；利用有向漫水填充法将新视图图像和深度图中非空洞区域颜色和深度扩展填补至空洞区域，直到空洞区域所有像素的颜色和深度均被补全完整。本发明方法能够高效快速地合成3D立体新视角的视图图像和深度，并且对新视图中的由于遮挡产生的空洞区域实现全自动的快速修补，得到真实感的新视图合成结果。
【IPC分类】G06T15-00, G06T3-20, G06T7-00
【公开号】CN104751508
【申请号】CN201510111816
【发明人】姜翰青, 董子龙
【申请人】杭州道玄影视科技有限公司
【公开日】2015年7月1日
【申请日】2015年3月14日