一种生成虚拟视图的方法及装置制造方法
【专利摘要】本发明提供一种生成虚拟视图的方法及装置，用以解决现有技术中存在的虚拟视图中存在空洞的技术问题，提高虚拟视图的质量。该方法包括：获得原始图像以及所述原始图像的原始深度图；基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图；基于所述原始图像及所述处理后的深度图，生成基本虚拟视图；对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。
【专利说明】一种生成虚拟视图的方法及装置
【技术领域】
[0001]本发明涉及图像处理领域，尤其涉及一种生成虚拟视图的方法及装置。
【背景技术】
[0002]随着电子技术的发展，由于3D显示技术的广泛应用，传统的人为交互式手动2D-3D转换已经远远不能满足市场的需求，因而，自动2D转3D技术便具备了巨大的潜在价值。
[0003]在现有技术中，自动转换技术包含两个核心步骤:(I)深度图生成；(2)左右虚拟视图生成。步骤I的任务是从2D影像中去寻找2D影像空间第三维的深度信息并以深度图的形式保存深度信息；步骤2利用2D影像和步骤I所得的深度图生成3D影像显示所必需的左右视图。但是因为在视图生成过程中，新视图中的某些像素点在原始的视图里找不到对应的点，就会产生空洞，降低虚拟视图的质量。
【发明内容】
[0004]本发明提供一种生成虚拟视图的方法及装置，用以解决现有技术中存在的虚拟视图中存在空洞的技术问题 ，提高虚拟视图的质量。
[0005]第一方面，本发明提供一种生成虚拟视图的方法，包括:获得原始图像以及所述原始图像的原始深度图；基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图；基于所述原始图像及所述处理后的深度图，生成基本虚拟视图；对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。
[0006]结合第一方面，在第一种可能的实现方式中，所述基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图，具体为:分别采用第一卷积核和第二卷积核，对所述原始深度图依次进行自适应滤波，获得所述处理后的深度图。
[0007]结合第一种可能的实现方式，在第二种可能的实现方式中，根据下列公式对所述原始深度图采用第一卷积核进行预处理:
[0008]
【权利要求】
1.一种生成虚拟视图的方法，其特征在于，包括: 获得原始图像以及所述原始图像的原始深度图； 基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图； 基于所述原始图像及所述处理后的深度图，生成基本虚拟视图； 对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。
2.如权利要求1所述的方法，其特征在于，所述基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图，具体为:分别采用第一卷积核和第二卷积核，对所述原始深度图依次进行自适应滤波，获得所述处理后的深度图。
3.如权利要求2所述的方法，其特征在于，根据下列公式对所述原始深度图采用第一卷积核进行预处理:
4.如权利要求2所述的方法，其特征在于，根据下列公式对所述原始深度图采用第二卷积核进行预处理:
5.如权利要求1~4任一项所述的方法，其特征在于，所述基于所述原始图像及所述处理后的深度图，生成基本虚拟视图，具体包括: 根据深度图中像素的深度值，计算所述虚拟视图中像素与所述原始视图中像素之间的水平像素级视差； 根据所述原始视图中像素以及所述像素级视差，生成所述基本虚拟视图。
6.如权利要求1~5任一项所述的方法，其特征在于，所述对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图，具体包括: 对所述基本虚拟视图进行下采样缩减，获得缩减图； 对所述缩减图进行反卷积扩充，得到扩充图； 采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。
7.如权利要求1~5任一项所述的方法，其特征在于，所述对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图，具体包括: 对所述基本虚拟视图进行深度自适应缩减，获得缩减图； 对所述缩减图进行反卷积扩充，获得扩充图； 采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。
8.如权利要求7所述的方法，其特征在于，根据以下公式对所述基本虚拟视图进行深度自适应缩减:
9.如权利要求7~8任一项所述的方法，其特征在于，所述对所述缩减图进行反卷积扩充，获得扩充图，具体包括: 对所述缩减图进行上采样，获得上采样结果； 对所述上采样结果进行反卷积计算，获得所述扩充图。
10.一种生成虚拟视图的装置，其特征在于，包括: 图像获取单元，用于获得原始图像以及所述原始图像的原始深度图；预处理单元，用于基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图； 基本虚拟视图生成单元，用于基于所述原始图像及所述处理后的深度图，生成基本虚拟视图； 填洞单元，用于对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。
11.如权利要求10所述的装置，其特征在于，所述预处理单元，具体用于:分别采用第一卷积核和第二卷积核，对所述原始深度图依次进行自适应滤波，获得所述处理后的深度图。
12.如权利要求10或11所述的装置，其特征在于，所述基本虚拟视图生成单元，具体包括:水平像素级视差计算单元，用于根据深度图中像素的深度值，计算所述虚拟视图中像素与所述原始视图中像素之间的水平像素级视差；基本虚拟视图生成子单元，用于根据所述原始视图中像素以及所述像素级视差，生成所述基本虚拟视图。
13.如权利要求10~12任一项所述的装置，其特征在于，所述填洞单元，具体包括:缩减单元，用于对所述基本虚拟视图进行下采样缩减，获得缩减图；扩充单元，用于对所述缩减图进行反卷积扩充，得到扩充图；分层填洞单元，用于采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。
14.如权利要求10~13任一项所述的装置，其特征在于，所述填洞单元，具体包括:缩减单元，用于对所述基本虚拟视图进行深度自适应缩减，获得缩减图；扩充单元，用于对所述缩减图进行反卷积扩充，得到扩充图；分层填洞单元，用于采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。
15. 如权利要求13或14所述的装置，其特征在于，所述扩充单元，具体包括:上采样单元，用于对所述缩减图进行上采样，获得上采样结果；反卷积单元，用于对所述上采样结果进行反卷积计算，获得所述扩充图。
【文档编号】G06T17/00GK103714573SQ201310690338
【公开日】2014年4月9日 申请日期:2013年12月16日 优先权日:2013年12月16日
【发明者】郑喆坤, 韩明臣, 孙增增, 焦李成 申请人:华为技术有限公司