专利名称：一种平面图像的立体转换方法及装置的制作方法
技术领域：
本发明涉及计算机视觉技术领域，特别涉及一种平面图像的立体转换方法及装置。
背景技术：
平面转立体技术，又称2D转3D技术。平面转立体技术，指将现有的平面视频通过 必要的技术手段，提取视频对应场景中的深度信息，再模拟出左右两眼观察的虚拟场景，从 而达到立体感知的效果。在立体视频技术中，通过双目立体视觉实现立体感知效果。具体而言，双目立体视 觉利用双目成像的原理，通过模拟双目感知成像，将左右两路图像或者视频作为左右眼的 输入，然后通过大脑的融合，重构出输入两路图像和视频的立体场景，达到立体感知效果。立体图像一种新型的描述三维世界的方式，它不仅包含传统平面图像的关于场景 的表面信息，而且还包含与场景具体位置相关的三维立体信息，即深度信息。与传统的平面 图像相比，立体视频是一种更有效、更真实的表达方式，它能更精确更真实地反映客观世界 的具体场景。深度图反映平面图像对应场景前后或远近关系的一种图像数据，一般在应用 中，以0 255范围内的灰度图像来表示。深度图上某点的深度值为0，表示对应相同位置 点上的平面图像位于相对深度范围内的最远处，深度图上某点的深度值为255，表示对应相 同位置点上的平面图像位于相对深度范围内的最近处，其它深度值则表示在0 255范围 内的某一个相对深度范围内深度。随着现有数码摄影技术飞速发展，普通的消费者都可以很方便地对自然景物和室 内生活场景以及其它各种静止类或运动类场景进行摄像、存储和传输。3D技术的发展已经 有较长的历史，随着立体拍摄、立体制作以及立体显示技术的发展，3D已经逐渐普及并走进 千家万户，但是立体内容的匮乏却严重制约着整个立体视频产业的发展。但是目前平面转立体技术发展还不成熟，针对普通消费者的基于图像颜色特征的 2D转3D的制作软件还非常少，目前市场上还没有完整实用的平面图像或视频转立体视图 像或立体视频的解决方案。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一，特别提出一种平面图像的立体转 换方法及装置。为达到上述目的，本发明的第一方面实施例提出一种平面图像的立体转换方法， 包括如下步骤输入平面图像，并对所述平面图像进行预处理；计算所述预处理后的平面 图像的初始深度图；对所述初始深度图进行滤波后处理，得到所述平面图像的深度图；以 及根据所述平面图像的深度图对所述平面图像进行像素移位，得到虚拟视图，并对所述平 面图像和虚拟视图进行立体合成，生成并输出立体视频。根据本发明实施例的平面图像的立体转换方法，使用方便，处理效率高，并具有良好的立体显示效果。具体而言，本发明实施例的立体转换方法包括以下优点(1)计算速度快对于当前任意分辨率的平面图像均能实现实时地对其进行2D转 3D的转换。(2)立体效果佳充分挖掘单目图像的深度线索，引入合理的深度假设，从而使得 合成的立体视图具有较好的立体效果。(3)合成立体图像操作便捷输入图像可以为任意常用格式，并可输入图像实时 地合成的立体图像。(4)良好的拓展性和移植性本发明实施例的立体转换方法可以与其它2D转3D 的方法结合起来，以提高其本身的立体效果。并且发明实施例的立体转换方法还可以应用 于其它多媒体领域，应用范围广。本发明第二方面的实施例提供了一种平面图像的立体转换装置，包括输入及预处理模块，所述输入及预处理模块用于输入平面图像，并对所述平面图 像进行预处理；初始深度计算模块，所述初始深度计算模块用于计算所述预处理后的平面图像的 初始深度图；深度图滤波模块，所述深度图滤波模块用于对所述初始深度图进行高斯滤波，得 到所述平面图像的深度图；以及立体图像合成与输出模块，所述立体图像合成与输出模块用于对所述平面图像和 所述平面图像的深度图进行像素移位，得到虚拟视图，并对所述平面图像和虚拟视图进行 立体合成，生成并输出立体视频。根据本发明实施例的平面图像的立体转换装置，使用方便，处理效率高，并具有良 好的立体显示效果。具体而言，本发明实施例的立体转换装置包括以下优点(1)计算速度快对于当前任意分辨率的平面图像均能实现实时地对其进行2D转 3D的转换。(2)立体效果佳充分挖掘单目图像的深度线索，引入合理的深度假设，从而使得 合成的立体视图具有较好的立体效果。(3)合成立体图像操作便捷输入图像可以为任意常用格式，并可输入图像实时 地合成的立体图像。(4)良好的拓展性和移植性本发明实施例的立体转换装置可以与其它2D转3D 的装置结合起来，以提高其本身的立体效果。并且发明实施例的立体转换装置还可以应用 于其它多媒体领域，应用范围广。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中图1为根据本发明实施例的平面图像的立体转换方法的流程框图；图2(a)为根据本发明实施例的初始最远边界为左边界的示意图2(b)为根据本发明实施例的初始最远边界为上边界的示意图；图2(c)为根据本发明实施例的初始最远边界为右边界的示意图；图2(d)为根据本发明实施例的初始最远边界为上、左、右边界的组合的示意图；图2(e)为根据本发明实施例的初始最远边界为上、左边界的组合的示意图；图2(f)为根据本发明实施例的初始最远边界为上、右边界的组合的示意图；图2(g)为根据本发明实施例的初始最远边界为左、右边界的组合的示意图；图3为根据本发明实施例的初始深度边界的示意图；图4为根据本发明实施例的第一搜索方向的示意图；图5为根据本发明实施例的第二搜索方向的示意图；图6为根据本发明实施例的第三搜索方向的示意图；图7为根据本发明实施例的第四搜索方向的示意图；图8为根据本发明实施例的第五搜索方向的示意图；图9为根据本发明实施例的计算搜索方向上的8个点与当前的像素差值的示意 图；图10为根据本发明实施例的平面图像的立体转换装置的结构框图；图11为根据本发明实施例的输入及预处理模块的结构示意图；以及图12为根据本发明实施例的初始深度计算模块的结构示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下面参考图1至图9描述根据本发明实施例的平面图像的立体转换方法。如图1所示，根据本发明实施例的平面图像的立体转换方法包括如下步骤SlOl 输入平面图像，并对平面图像进行预处理；输入平面图像，然后对输入的平面图像进行预处理。具体而言，对输入的平面图像 进行预处理包括如下步骤1)对平面图像的颜色空间进行变换并提取像素值；在本发明的实施例中，可以采用以下三种方式之一对平面图像的颜色空间进行变换。A)将输入的平面图像的颜色空间变换为RGB颜色空间，根据变换后的RGB颜色空 间提取像素值。对于RGB颜色空间，提取的像素值可以为以下三个值之一第一个，R、G、B三个通道像素值构成的三元数组。如果以R、G、B三个通道像素值R、G、B作为像素值输出，则最终的输出的像素值 为V = (R, G, B)。第二个，R、G、B三个通道像素值的平均值。如果以R、G、B三个通道像素值的平均值作为像素值输出，则最终的输出的像素值为V = (R+G+B)/3。第三个，R、G、B三个通道像素值以预定比例系数进行叠加求和得到的加权值。如果以R、G、B三个通道像素值进行加权计算得到像素值，则最终的输出的像素值 为V = R*0. 3+G*0. 59+B*0. 11，其中(0· 3,0. 59，0· 11)为预定比例系数。B)将平面图像的颜色空间变换为CIELab空间，根据CIELab颜色空间提取像素值 为以下三个值之一L、a、b三个通道像素值构成的三元数组，L、a、b三个通道像素值的平均值或L、a、 b三个通道像素值以预定比例系数进行叠加求和得到的加权值。C)将平面图像的颜色空间变换为YUV颜色空间，根据YUV颜色空间提取像素值为 以下三个值之一Y通道的像素值，Y、U、V三个通道像素值的平均值或Y、U、V三个通道以预定比例 系数进行叠加求和得到的加权值。2)对变换后的平面图像进行图像滤波在本发明的一个实施例中，对颜色空间变换后的平面图像通过滤波处理以实现图 像滤波，从而滤除变换后图像的噪声，改善图像的亮度分布情况。在本发明的一个实施例中，对颜色空间变换后的平面图像通过滤波处理可以采用 高斯滤波。当然本领域技术人员可以理解的是，对颜色空间变换后的平面图像通过滤波处 理还可以采用其他具有噪声滤除功能的滤波函数。具体而言，对于平面图像的任一个像素p，以该像素ρ为中心像素的窗宽为N的窗 口内的所有像素为q。计算窗口内所有像素q与中心像素P的空间距离高斯权重因子， Sq)，并将该权重因子与像素q的像素值V (q)相乘，进行归一化处理最终得到滤波后像素P 点的新像素值R尸)。
权利要求
1.一种平面图像的立体转换方法，包括如下步骤输入平面图像，并对所述平面图像进行预处理；计算所述预处理后的平面图像的初始深度图；对所述初始深度图进行滤波后处理，得到所述平面图像的深度图；以及根据所述平面图像的深度图对所述平面图像进行像素移位，得到虚拟视图，并对所述 平面图像和虚拟视图进行立体合成，生成并输出立体视频。
2.如权利要求1所述的立体转换方法，其特征在于，所述对平面图像进行预处理，包括 如下步骤对所述平面图像的颜色空间进行变换并提取像素值；对变换后的平面图像进行图像滤波。
3.如权利要求2所述的立体转换方法，其特征在于，所述对平面图像的颜色空间进行 变换包括以下三种方式之一A)将所述平面图像的颜色空间变换为RGB颜色空间，根据所述RGB颜色空间提取像素 值为以下三个值之一R、G、B三个通道像素值构成的三元数组，R、G、B三个通道像素值的平均值或R、G、B三 个通道像素值以预定比例系数进行叠加求和得到的加权值；B)将所述平面图像的颜色空间变换为CIELab空间，根据所述CIELab颜色空间提取像 素值为以下三个值之一L、a、b三个通道像素值构成的三元数组，L、a、b三个通道像素值的平均值或L、a、b三 个通道像素值以预定比例系数进行叠加求和得到的加权值；C)将所述平面图像的颜色空间变换为YUV颜色空间，根据所述YUV颜色空间提取像素 值为以下三个之一Y通道的像素值，Y、U、V三个通道像素值的平均值或Y、U、V三个通道以预定比例系数 进行叠加求和得到的加权值。
4.如权利要求2所述的立体转换方法，其特征在于，所述对变换后的平面图像进行图 像滤波包括如下步骤对所述变换后的平面图像进行滤波处理，滤除变换后图像的噪声，得到滤波后的新像 素值。
5.如权利要求1所述的立体转换方法，其特征在于，所述计算预处理后的平面图像的 初始深度图，包括如下步骤对所述预处理后的平面图像指定图像的初始最远边界；修正所述初始最远边界，得到至少一条初始深度边界；根据所述初始深度边界计算所述平面图像的初始深度图。
6.如权利要求5所述的立体转换方法，其特征在于，所述初始最远边界为以下七种之所述预处理后的平面图像的上边界；所述预处理后的平面图像的左边界；所述预处理 后的平面图像的右边界；所述预处理后的平面图像的上边界、左边界和右边界的组合；所 述预处理后的平面图像的上边界和左边界的组合；所述预处理后的平面图像的上边界和右 边界的组合；所述预处理后的平面图像的左边界和右边界的组合。
7.如权利要求6所述的立体转换方法，其特征在于，所述修正初始最远边界，包括如下 步骤获取最远点；以所述最远点为起点，分别对所述预处理后的平面图像的上边界、下边界、左边界和右 边界的垂线的各个像素点计算初始深度值，得到至少一条初始深度边界。
8.如权利要求7所述的立体转换方法，其特征在于，所述最远点通过以下方式之一获取通过消失点或消失线检测算法计算所述最远点； 通过模糊度检测方法计算所述最远点； 通过人工标注的方法设置所述最远点。
9.如权利要求7所述的立体转换方法，其特征在于，所述根据初始深度边界计算所述 平面图像的初始深度图，包括如下步骤设置深度计算的搜索方向； 设置所述平面图像的初始深度值；计算所述搜索方向上的各个点的深度值，得到所述平面图像的初始深度图。
10.如权利要求9所述的立体转换方法，其特征在于，所述计算搜索方向上的各个点的 深度值，包括如下步骤对于搜索方向上的每个当前点，分别求其周围η个点与所述当前点的像素值差的绝对值，对所述当前点的周围η个点，将所述η个点的深度值与上述计算得到的像素值差的绝 对值分别相加，得到η个新的深度值，在所述η个新的深度值与所述当前点的初始深度值中选取最小值作为所述当前点的 深度值，得到所述搜索方向上的每个点的深度值；对所述搜索方向上的每个点的深度值进行求和运算并取平均值，得到平均深度值； 根据所述平均深度值控制所述搜索方向上的每个点的深度值在预定区间内。
11.如权利要求10所述的立体转换方法，其特征在于，通过以下三种方式之一对所述 初始深度图进行滤波后处理高斯滤波、非对称高斯滤波或双边滤波。
12.—种平面图像的立体转换装置，其特征在于，包括输入及预处理模块，所述输入及预处理模块用于输入平面图像，并对所述平面图像进 行预处理；初始深度计算模块，所述初始深度计算模块用于计算所述预处理后的平面图像的初始 深度图；深度图滤波模块，所述深度图滤波模块用于对所述初始深度图进行滤波后处理，得到 所述平面图像的深度图；以及立体图像合成与输出模块，所述立体图像合成与输出模块用于对所述平面图像和所述 平面图像的深度图进行像素移位，得到虚拟视图，并对所述平面图像和虚拟视图进行立体 合成，生成并输出立体视频。
13.如权利要求12所述的立体转换装置，其特征在于，所述输入及预处理模块包括输入单元、变换单元和图像滤波单元， 所述输入单元，用于输入平面图像；所述变换单元，用于对所述平面图像的颜色空间进行变换并提取像素值； 所述图像滤波单元，用于对变换后的平面图像进行图像滤波。
14.如权利要求13所述的立体转换装置，其特征在于，所述变换单元通过以下三种方 式之一对平面图像的颜色空间进行变换A)将所述平面图像的颜色空间变换为RGB颜色空间，根据所述RGB颜色空间提取像素 值为以下三个值之一R、G、B三个通道像素值构成的三元数组，R、G、B三个通道像素值的平均值或R、G、B三 个通道像素值以预定比例系数进行叠加求和得到的加权值。B)将所述平面图像的颜色空间变换为CIELab空间，根据所述CIELab颜色空间提取像 素值为以下三个值之一L、a、b三个通道像素值构成的三元数组，L、a、b三个通道像素值的平均值或L、a、b三 个通道像素值以预定比例系数进行叠加求和得到的加权值。C)将所述平面图像的颜色空间变换为YUV颜色空间，根据所述YUV颜色空间提取像素 值为以下三个之一Y通道的像素值，Y、U、V三个通道像素值的平均值或Y、U、V三个通道以预定比例系数 进行叠加求和得到的加权值。
15.如权利要求13所述的立体转换装置，其特征在于，所述图像滤波单元对所述变换 后的平面图像进行滤波处理，滤除变换后图像的噪声，得到滤波后的新像素值。
16.如权利要求12所述的立体转换装置，其特征在于，所述初始深度计算模块包括初 始最远边界设置单元、修正单元和初始深度图计算单元，所述初始最远边界设置单元，用于对所述预处理后的平面图像指定图像的初始最远边界；所述修正单元，用于修正所述初始最远边界，得到至少一条初始深度边界； 所述初始深度图计算单元，用于根据所述初始深度边界计算所述平面图像的初始深度图。
17.如权利要求16所述的立体转换装置，其特征在于，所述初始最远边界设置单元设 置所述初始最远边界为以下七种之一所述预处理后的平面图像的上边界；所述预处理后的平面图像的左边界；所述预处理 后的平面图像的右边界；所述预处理后的平面图像的上边界、左边界和右边界的组合；所 述预处理后的平面图像的上边界和左边界的组合；所述预处理后的平面图像的上边界和右 边界的组合；所述预处理后的平面图像的左边界和右边界的组合。
18.如权利要求17所述的立体转换装置，其特征在于，所述修正单元获取最远点，并以 所述最远点为起点，分别对所述预处理后的平面图像的上边界、下边界、左边界和右边界的 垂线的各个像素点计算初始深度值，得到至少一条初始深度边界。
19.如权利要求18所述的立体转换装置，其特征在于，所述修正单元通过以下方式之 一获取最远点通过消失点或消失线检测算法计算所述最远点；通过模糊度检测方法计算所述最远点；通过人工标注的方法设置所述最远点。
20.如权利要求19所述的立体转换装置，其特征在于，所述初始深度图计算单元设置 深度计算的搜索方向和所述平面图像的初始深度值，并计算所述搜索方向上的各个点的深 度值，得到所述平面图像的初始深度图。
21.如权利要求20所述的立体转换装置，其特征在于，所述初始深度图计算单元对于 搜索方向上的每个当前点，分别求其周围η个点与所述当前点的像素值差的绝对值，对所述当前点的周围η个点，将所述η个点的深度值与上述计算得到的像素值差的绝 对值分别相加，得到η个新的深度值，在所述η个新的深度值与所述当前点的初始深度值中选取最小值作为所述当前点的 深度值，得到所述搜索方向上的每个点的深度值；对所述搜索方向上的每个点的深度值进行求和运算并取平均值，得到平均深度值，根 据所述平均深度值控制所述搜索方向上的每个点的深度值在预定区间内。
22.如权利要求21所述的立体转换装置，其特征在于，所述深度图滤波模块通过以下 三种方式之一对所述初始深度图进行滤波后处理高斯滤波、非对称高斯滤波或双边滤波。
全文摘要
本发明公开了一种平面图像的立体转换方法，包括如下步骤输入平面图像，并对所述平面图像进行预处理；计算所述预处理后的平面图像的初始深度图；对所述初始深度图进行滤波后处理，得到所述平面图像的深度图；以及根据所述平面图像的深度图对所述平面图像进行像素移位，得到虚拟视图，并对所述平面图像和虚拟视图进行立体合成，生成并输出立体视频。本发明的平面图像的立体转换方法，使用方便，处理效率高，并具有良好的立体显示效果。本发明还公开了一种平面图像的立体转换装置。
文档编号H04N13/00GK102098528SQ201110032208
公开日2011年6月15日 申请日期2011年1月28日 优先权日2011年1月28日
发明者季向阳, 张佳宏, 戴琼海, 曹汛, 杨铀 申请人:清华大学