专利名称：一种虚拟视点图像合成方法及装置的制作方法
技术领域：
本发明涉及图像处理技术领域，尤其涉及一种虚拟视点图像合成方法及装置。
背景技术：
由于能够为使用者提供强烈的视觉冲击效果和身临其境的感觉，立体电视技术成为多媒体技术领域一个新的研究热点。立体电视利用人的立体生理视觉原理，使电视观看者的左右眼睛看到的图像存在一个视差，从而感受到立体效果。自由视点电视是在立体电视的基础上进一步发展的，不但让使用者感受到立体效果，同时还可以根据使用者与电视之间相对位置的不同提供不同的视点，并且随着使用者位置的变化进行视点的自由转换， 使得使用者达到身临其境的感觉。自由视点视频由于在播放端需要播放多个视点视频，所以信息采集量巨大，实现全部视点视频的采集成本较高，所以实际应用中不现实。虚拟视点合成技术解决了自由视点视频的这种局限性，视频采集端只需要采集若干特定位置的视点视频，将这些视频传输到视频播放端，经过虚拟视点合成技术，生成相应视点图像，从而大大降低了传输数据量， 节省带宽。基于深度图渲染技术的虚拟视点合成方法利用已知真实视点的视频帧，根据相应深度图像，合成虚拟视点图像，为自由视点电视提供相应视点图像，因而具有重要的应用和研究价值。但是，现有的视点合成技术中，由于深度图预处理、虚拟视点图像修复算法复杂， 计算量大，造成虚拟视点图像合成时间长，并且生成的虚拟视点图像存在明显的伪影，影响视觉效果。
发明内容
本发明实施例提供了一种虚拟视点图像合成方法及装置，用以提高虚拟视点图像的合成效率及质量。本发明实施例提供的一种虚拟视点图像合成方法包括步骤一将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；步骤二 利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；步骤三利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。本发明实施例提供的一种虚拟视点图像合成装置包括图像变换单元，用于将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；
图像优化单元，用于利用主要虚拟视点图像上的裂纹和错误投影点的形态特征， 消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；补洞单元，用于利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。本发明实施例，将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置， 生成辅助虚拟视点图像；利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充，填充后的主要虚拟视点图像即最终合成的虚拟视点图像，从而由于无需对深度图像进行预处理，提高了虚拟视点图像的合成效率，并且由于对虚拟视点图像的空洞区域进行填充，还提高了虚拟视点图像的质量。
图1为本发明实施例提供的虚拟视点图像合成方法的原理示意图；图2为本发明实施例提供的一种虚拟视点图像合成方法的流程示意图；图3为本发明实施例提供的图像变换所得到的虚拟视点的彩色图像示意图；图4为本发明实施例提供的图像变换所得到的虚拟视点的深度图像示意图；图5为本发明实施例提供的对图像变换所得到的虚拟视点彩色图像进行图像裂纹处理的结果示意图；图6为本发明实施例提供的对图像变换所得的虚拟视点深度图像进行图像裂纹处理的结果示意图；图7为本发明实施例提供的对图像变换所得的虚拟视点图像的错误投影点的示意图；图8为本发明实施例提供的对图像变换所得的虚拟视点图像的错误投影点的进行处理后的结果示意图；图9为本发明实施例提供的由主要参考视点得到的虚拟视点图像的示意图；图10为本发明实施例提供的由辅助参考视点得到的虚拟视点图像的示意图；图11为本发明实施例提供的利用辅助参考视点图像投影得到的虚拟视点图像填充利用主要参考试点图像得到的虚拟视点图像中的非遮挡区域所得结果示意图；图12为本发明实施例提供的利用基于深度图的非对称腐蚀图像修复技术对剩余空洞区域进行填充后所得到虚拟视点图像的结果示意图；图13为本发明实施例提供的一种虚拟视点图像合成装置的结构示意图。
具体实施例方式本发明实施例提供了一种虚拟视点图像合成方法及装置，用以提高虚拟视点图像的合成效率及质量。针对现有技术中存在的问题，本发明实施例提出了一种基于深度图渲染技术的虚拟视点图像合成方案，为自由视点电视提供高质量的虚拟视点图像。本发明实施例不需要对深度图进行预处理，因此节省了运行时间，适于虚拟视点图像的实时合成；并且，利用基于深度图的非对称腐蚀图像修复技术对虚拟视点图像的非遮挡区域进行填充，提高了虚拟视点图像的质量。如图1所示，本发明实施例提出的虚拟视点图像合成的主要过程包括图像变换、 虚拟视点图像优化处理，以及非遮挡区域的填充等。图像变换根据摄像机投影原理，将参考视点的彩色图像和深度图像投影到虚拟视点位置，生成虚拟视点图像。其中包括将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像。其中，虚拟视点图像即所要生成的视点图像；主要参考视点和辅助参考视点根据虚拟视点到两侧真实视点的距离确定，距离较近的为主要参考视点，距离较远的为辅助参考视点；若虚拟视点到两参考视点距离相同，设定左侧真实视点为主要参考视点，另一侧真实视点为辅助参考视点。虚拟视点图像优化处理(即图像优化)检测虚拟视点图像上裂纹和错误投影点的宽度，若其为单像素宽度，则根据虚拟视点深度图像周围8邻域深度特征，对虚拟视点图像上的裂纹和错误投影点进行去除，即利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；在HSV颜色空间，通过对亮度分量的处理，对两幅虚拟视点图像的亮度进行调整，以提升虚拟视点图像的质量。非遮挡区域填充(即补洞)根据由辅助参考视点得到的虚拟视点图像对由主要参考视点得到的虚拟视点图像的空洞区域进行初步填充；并根据填充后的主要参考视点深度图像，通过基于深度图的非对称腐蚀图像修复技术对剩余的空洞区域进行进一步填充； 该技术见步骤S103。参见图2、本发明实施例提供的一种虚拟视点图像合成方法，包括步骤SlOl 将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；S102:利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；S103:利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。由于光照条件、摄像机参数设置和感光元件灵敏度的不同，主要虚拟视点图像和辅助虚拟视点图像存在亮度不统一，因此，较佳地，在步骤S102和步骤S103之间，该方法还包括对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整。较佳地，所述对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整，包括在HSV颜色空间，根据主要虚拟视点图像，调整辅助虚拟视点图像的亮度。步骤S103中，利用辅助虚拟视点图像填充主要虚拟视点图像中的非遮挡区域，即空洞区域，大部分非遮挡区域被修复，图像中仍然存在部分非遮挡区域，因此，较佳地，在步骤S103之后，该方法还包括利用基于深度图的非对称腐蚀图像修复技术，对主要虚拟视点图像上的剩余空洞区域进行填充，从而提高虚拟视点图像质量。较佳地，步骤SlOl包括根据主要参考视点的深度图像，将主要参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成主要虚拟视点图像；根据辅助参考视点的深度图像，将辅助参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成辅助虚拟视点图像。较佳地，步骤S102包括利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，以及主要虚拟视点图像的深度图像，消除主要虚拟视点图像上的裂纹和错误投影点；利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，以及辅助虚拟视点图像的深度图像，消除辅助虚拟视点图像上的裂纹和错误投影点。由此可见，本发明实施例提出了一种面向自由视点电视的虚拟视点合成方法，通过基于深度图的渲染技术，根据主要参考视点和辅助参考视点的彩色图像和深度图像合成虚拟视点图像。例如，本发明实施例可以采集一个场景的8个视点的视频，并提供相应的深度信息、各摄像机的内部参数和外部参数，实验中可以设定其中的两个视点，例如视点a和视点b分别为主要参考视点和辅助参考视点，视点c为虚拟视点，通过基于深度图的渲染技术，根据视点a和视点b合成视点c的图像，并将合成的虚拟视点图像与真实视点图像进行 PSNR和SSIM的比较。PSNR即峰值信噪比，一种评价图像的客观标准，值越大说明图像质量越好，SSIM即图像结构相似度索引，其值越接近于1，说明图像质量越好。下面结合公式给出本发明实施例提供的技术方案的说明。首先，关于步骤SlOl 根据摄像机投影原理，将参考视点图像投影到立体空间，然后再由立体空间投影到虚拟视点图像。假设参考视点的摄像机内部矩阵和外部矩阵分别为K和R[I ；-t]，其中I 为3*3的单位矩阵，t为摄像机位移向量，则参考视点的摄像机投影矩阵P = KR[I ；-t]，可得到参考视点图像上像素点坐标和立体空间中对应点的关系为sm = PM 公式(一)你=P+m公式(二)其中，s为一标量，是根据公式(一)计算得到的，即[l，m，n]T = PM，[l，m，n]T = n[l/n,m/n,l] = sm，u为像素点在图像上的水平坐标，ν为像素点在图像上的垂直坐标，则 m = [u, ν, 1]τ为图像像素点在图像坐标系下的齐次坐标；设X为空间点在空间坐标系中得水平坐标，Y为空间点在空间坐标系中的纵坐标，Z为空间点在空间坐标系中的竖坐标，则M =[X，Y，z，1]τ为相应空间点在世界坐标系下的齐次坐标；P+ = Pt(PPt)-1为投影矩阵P的伪逆，本发明实施例可以根据由公式(二)直接计算得到的结果#=[x,_y,z,lf和各像素点对应的实际深度值Z，就可以计算出各个像素点对应的空间坐标M = [X，Y，Ζ，1]τ ；然后，根据下面的公式(三)计算出该空间点在虚拟视点图像坐标系中的位置，实现参考视点图像到虚拟视点图像之间的变换，如图3所示，为主要参考视点图像变换到虚拟视点图像的彩
7色图像示意图，图4所示为相应的深度图像的示意图。
权利要求
1.一种虚拟视点图像合成方法，其特征在于，该方法包括步骤一将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；步骤二 利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；步骤三利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。
2.根据权利要求1所述的方法，其特征在于，在步骤二和步骤三之间，该方法还包括对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整。
3.根据权利要求2所述的方法，其特征在于，所述对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整，包括在HSV颜色空间，根据主要虚拟视点图像，调整辅助虚拟视点图像的亮度。
4.根据权利要求1所述的方法，其特征在于，在步骤三之后，该方法还包括利用基于深度图的非对称腐蚀图像修复技术，对主要虚拟视点图像上的剩余空洞区域进行填充。
5.根据权利要求1、2、3或4所述的方法，其特征在于，步骤一包括根据主要参考视点的深度图像，将主要参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成主要虚拟视点图像；根据辅助参考视点的深度图像，将辅助参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成辅助虚拟视点图像。
6.根据权利要求1、2、3或4所述的方法，其特征在于，步骤二包括利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，以及主要虚拟视点图像的深度图像，消除主要虚拟视点图像上的裂纹和错误投影点；利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，以及辅助虚拟视点图像的深度图像，消除辅助虚拟视点图像上的裂纹和错误投影点。
7.—种虚拟视点图像合成装置，其特征在于，该装置包括图像变换单元，用于将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置， 生成辅助虚拟视点图像；图像优化单元，用于利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；补洞单元，用于利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。
8.根据权利要求7所述的装置，其特征在于，所述图像优化单元，还用于对主要虚拟视点图像和辅助虚拟视点图像进行亮度调整。
9.根据权利要求8所述的装置，其特征在于，所述图像优化单元，在HSV颜色空间，根据主要虚拟视点图像，调整辅助虚拟视点图像的亮度。
10.根据权利要求7所述的装置，其特征在于，所述补洞单元，还用于利用基于深度图的非对称腐蚀图像修复技术，对主要虚拟视点图像上的剩余空洞区域进行填充。
11.根据权利要求7、8、9或10所述的装置，其特征在于，所述图像变换单元，根据主要参考视点的深度图像，将主要参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点，投影到虚拟视点图像坐标中，生成主要虚拟视点图像；以及，根据辅助参考视点的深度图像，将辅助参考视点图像中的像素点坐标投影到空间坐标中，将空间坐标中的点， 投影到虚拟视点图像坐标中，生成辅助虚拟视点图像。
12.根据权利要求7、8、9或10所述的装置，其特征在于，所述图像优化单元，利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，以及主要虚拟视点图像的深度图像，消除主要虚拟视点图像上的裂纹和错误投影点；利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，以及辅助虚拟视点图像的深度图像，消除辅助虚拟视点图像上的裂纹和错误投影点。
全文摘要
本发明公开了一种虚拟视点图像合成方法及装置，用以提高虚拟视点图像的合成效率及质量。本发明提供的一种虚拟视点图像合成方法包括将主要参考视点的彩色图像和深度图像投影到虚拟视点位置，生成主要虚拟视点图像，以及将辅助参考视点的彩色图像和深度图像投影到虚拟视点位置，生成辅助虚拟视点图像；利用主要虚拟视点图像上的裂纹和错误投影点的形态特征，消除主要虚拟视点图像上的裂纹和错误投影点，以及利用辅助虚拟视点图像上的裂纹和错误投影点的形态特征，消除辅助虚拟视点图像上的裂纹和错误投影点；利用辅助虚拟视点图像对主要虚拟视点图像的空洞区域进行填充。
文档编号H04N13/00GK102447925SQ20111026781
公开日2012年5月9日 申请日期2011年9月9日 优先权日2011年9月9日
发明者刘微, 刘琚, 孙建德, 杨晓晖 申请人:青岛海信数字多媒体技术国家重点实验室有限公司