立体视频制作方法、立体视图制作方法和制作系统的制作方法
【技术领域】
[0001] 本发明属于计算机视觉技术领域，具体涉及一种立体视频制作方法、立体视图制 作方法和制作系统。
【背景技术】
[0002] 立体电影因为具备着较为强烈的视觉冲击，可以带给消费者一种身临其境的感 觉，已经成为影视行业和科技领域的关注焦点。然而，立体视频产品面临着一个主要问题， 即立体视频资源匮乏，不能满足消费者的大量需求。这是因为立体电影其制作周期通常较 长，而且其拍摄成本也十分高昂。然而实际上，自19世纪末电影摄影机诞生以来，无数的平 面电影或视频已经而且正在被积累下来。平面视频转立体视频（简称平面转立体）技术也 因此应运而生。通过平面转立体技术，不仅仅可以解决立体视频片源匮乏的瓶颈问题，还可 以大大降低立体视频的制作成本，从而为影视行业、医疗仪器、移动终端等领域创造大量的 发展契机。
[0003] 国内外对于平面转立体视频技术提出了各种各样的方法，根据是否包含人机交互 功能，平面转立体视频技术可以分为人工、半自动和全自动三个领域。
[0004] 目前市场上常用的平面转立体技术是以重复性的机械性的人工劳动为主，需要投 入大量的人力物力，结合特定的计算机软件，逐帧绘制每幅画面的轮廓线，逐像素点的进行 精确的深度赋值，并对由遮挡导致的空洞区域进行图像修补和立体视图合成，因此需要耗 费极高的人力物力成本。
[0005] 全自动平面转立体视频技术可以直接生成立体视频，而不需加入任何人机交互的 元素。它能自动挖掘单个图像或多个连续图像中的深度线索，进而将深度线索转化成深度 视频。缺点是得到的深度图质量不高，算法的针对性较强，目前还没有一种普适性的算法能 针对所有视频场景都得到一个较好的立体效果。
[0006] 半自动平面转立体视频技术则是在同时考虑人工参与程度和立体转换效果的前 提下提出的，该系统只需要用户少量的人工操作，就能得到高质量的深度图。大多数半自动 平面转立体的技术是将视频按照场景内容分为几个视频片段，将片段之间的边缘顿设为关 键帧，两个关键帧之间的帧为非关键帧。采用人机交互式的方法获得关键帧的深度图，而其 他非关键帧的深度图是在关键帧深度图的基础上自动生成。非关键帧的深度图一般通过运 动物体跟踪或深度传播获得。
[0007] 目前较为经典的半自动平面转立体算法有Moshe Guttmann提出的机器学习算法、 Chenglei Wu等人提出的Lazy Snapping算法和Xun Cao等人提出的位移双边滤波算法。 机器学习算法采用全局优化的方法，计算量比较大，并且只有针对分辨率很低的视频该算 法的有效性才比较高。Lazy Snapping算法的本质在于Graph Cut算法，对于低分辨率的简 单图像具有快速的分割速度，但是若图像分辨率较高，速度将大打折扣，并且需要用户提供 大量的人机交互操作来对图像进行分割，这对于不具备图像处理能力的普通大众来说并不 实用。
【发明内容】
[0008] 本发明旨在至少解决上述技术问题之一。
[0009] 为此，本发明的第一个目的在于提出一种立体视频制作系统。
[0010] 本发明的第二个目的在于提出一种立体视频制作方法。
[0011] 本发明的第三个目的在于提出一种立体视图制作方法。
[0012] 为了实现上述目的，本发明的实施例公开了一种立体视频制作系统，包括：显示模 块，用于显示视频编辑信息和音频编辑信息；加载输出模块，用于对视频或图片进行加载并 输出；视频播放编辑模块，所述视频播放编辑模块包括视频帧标记模块、视频帧导出模块和 视频播放模块，所述视频帧标记模块用于选取源视频中部分视频帧标记为关键帧，所述视 频帧导出模块用于导出选定的视频帧，所述视频播放模块用于播放视频；深度图绘制模块， 用于根据所述关键帧绘制相应的深度图；视频帧传播模块，用于根据所述深度图传播给所 述源视频中除所述关键帧之外的剩余视频帧；深度图查看添加模块，用于实时查看所述深 度图，并将所述深度图添加到时间轴；立体图查看添加模块，用于根据所述深度图进行立体 渲染，并将立体渲染结果添加到所述时间轴上，所述立体图查看添加模块还用于实时查看 所述立体渲染结果；以及结果输出模块，用于输出所述立体渲染结果和音频。
[0013] 根据本发明实施例的立体视频制作系统，高效快速、可靠稳定，弥补了全自动平面 转立体转换质量较差、适用范围小，和人工平面转立体成本过高的缺陷，具有广泛的市场需 求和科学研究意义。
[0014] 另外，根据本发明上述实施例的立体视频制作系统，还可以具有如下附加的技术 特征：
[0015] 进一步地，所述视频编辑信息包括视频名称、分辨率、时长、帧率和编码格式，所述 音频编辑信息包括音频采样频率、比特数和声道模式。
[0016] 进一步地，所述时间轴包括：源视频轨道：用于通过源视频轨道所述播放源视频； 深度视频轨道，用于通过所述深度视频轨道播放由所述深度图形成的深度视频；立体视频 轨道；用于通过所述深度视频轨道播放所述立体渲染结果；以及音频轨道，用于通过所述 音频轨道播放音频。
[0017] 进一步地，所述源视频、所述深度视频、所述立体视频和所述音频同步播放或单独 播放。
[0018] 进一步地，所述深度图绘制模块包括：深度画笔绘制模块，用于在所述关键帧上选 取局部区域绘制出局部深度图像；深度画笔扩展模块，用于将所述局部深度图像扩散到整 个所述关键帧形成所述深度图；以及深度模式选择模块，用于对所述深度图的图层进行深 度模式的赋值，所述深度模式包括：图像深度从左至右逐渐增加、图像深度从左下至右上逐 渐增加、图像深度从下至上逐渐增加、图像深度从右下至左上逐渐增加和图像深度从右至 左逐渐增加。
[0019] 为了实现上述目的，本发明的实施例公开了一种立体视频制作方法，包括以下步 骤：Sl :选取源视频中部分视频帧作为关键帧；S2 :在所述关键帧中选取部分区域进行颜色 深度调整，将进行颜色深度调整后的所述区域的颜色深度信息转换为相对深度值；S3 :根 据所述相对深度值将所述关键帧中未进行颜色深度调整的区域进行颜色深度扩展形成深 度视图，显示具有不同深度值的深度图层；S4 :对所述深度图层进行深度模式的赋值；S5 : 将所述源视频中除了所述关键帧之外的非关键帧进行深度传播，得到所述非关键帧的深度 视图；S6 :将所述关键帧和非关键帧的深度视图进行像素移位得到虚拟视图，根据所述关 键帧和非关键帧的虚拟视图与所述关键帧或非关键帧对应的原始图进行立体渲染得到立 体视图；以及S7 :将所述立体视图组合形成立体视频。
[0020] 根据本发明实施例的立体视频制作方法，高效快速、可靠稳定，弥补了全自动平面 转立体转换质量较差、适用范围小，和人工平面转立体成本过高的缺陷，具有广泛的市场需 求和科学研究意义。
[0021] 另外，根据本发明上述实施例的立体视频制作方法，还可以具有如下附加的技术 特征：
[0022] 进一步地，在所述关键帧中选取部分区域进行颜色深度调整进一步包括：在所述 关键帧中选取所述部分区域绘制具有颜色的笔画以表示所述部分区域像素在所述关键帧 中的相对深度；对所述关键帧进行缩放或改变所述笔画线条的粗细。
[0023] 进一步地，在步骤S3中，所述深度扩展包括以下步骤：
[0024] S301 :逐行将所述关键帧的像素的位置信息和像素的RGB三个通道的值均变换为 一维信号，其中，变换后像素间距=变换前像素间距+权值*像素间RGB差距；
[0025] S302 :采用卷积运算对所述一维信号进行滤波；
[0026] S303 :逐行对所述关键帧的像素进行滤波后，进而对所述关键帧的像素进行逐列 滤波，如此迭代进行η次。
[0027] 为了实现上述目的，本发明的实施例公开了一种