专利名称：多视点视频中虚拟视点合成方法及装置的制作方法
技术领域：
本发明涉及三维视频、多媒体信号处理技术领域，尤其涉及一种多视点视频中虚拟视点合成方法及装置。
背景技术：
随着电视技术和多媒体处理技术的发展，人们对于最真实视觉体验的需求日益增强，三维电视被看作是继彩色电视、高清电视之后的下一代产品；三维电视利用人的双眼观察物体的角度略有差异，因此能够辨别物体远近，产生立体的视觉这个原理，把左右眼所看到的影像分离，从而可以实现用户无需借助立体眼镜即可用裸眼体验立体感觉。其中多视点视频被认为拥有非常广阔的应用前景，实现多视点视频中虚拟视点的合成，虚拟视点合成是关键技术。目前，基于深度图像的渲染是一种利用参考视点图像和相应的深度信息来合成虚拟视点的方法，该种方法由于具有良好的编码效率、二维/三维选择性、用户交互性，因此近年来得到越来越多的重视和应用；然而该种方法仍然存在以下缺陷本应该在虚拟视点中可见的区域在原始视点中是遮挡的，即在虚拟视点图像中出现的物体或背景(后续称为该物体或背景所在的区域为暴露区域)在原始图像中的对应位置处不存在，在原始图像中没有包含暴露区域的信息，因此，暴露区域为空洞；空洞表现为深度图像当中存在灰度值突变的边界，因此若需要提高虚拟视点的图像质量则必须进行补洞。目前，为提高虚拟视点的图像质量，使最终图像产生最佳的立体效果，解决空洞问题的主要方式为在对原始图像进行三维图像变换之前，对该原始图像进行深度图预处理， 以使原始图像的深度图中尖锐的灰度值突变变得平滑，进而减轻前景物体和背景之间的深度差异，从而减少虚拟视点图像中空洞的数量，提高视图质量；该种方式虽然在一定程度上提高了虚拟视点图像的质量，但是深度图预处理会给虚拟视点图像带来严重的不可恢复的几何畸变。
发明内容
针对现有技术存在的技术问题，本发明实施例提供一种多视点视频中虚拟视点合成方法及装置，以充分考虑到深度图的处理方式和最终所要合成的虚拟试点图像质量高低的关系，在保证不带来几何畸变的前提下，提高虚拟视点图像的质量，提高虚拟视点图像的显示效果。一种多视点视频中虚拟视点合成方法，包括步骤1、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数， 对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞步骤2、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；步骤3、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；步骤4、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；步骤5、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理， 得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤1 步骤4对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；步骤6、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。一种多视点视频中虚拟视点合成装置，包括三维图像变换单元，用于根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；空洞填充单元，用于根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；图像互补单元，用于将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；图像融合单元，用于将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；图像深度处理单元，用于对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；并启动所述三维图像变换单元、空洞填充单元、图像互补单元、图像融合单元依次对所述深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；虚拟视点图像生成单元，用于将所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。本发明实施例中，以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后，得到最终需要合成的虚拟视点图像。采用本发明技术方案，对两幅参考视点图像进行相应的处理得到主虚拟视点图像时，没有进行深度图处理，因此不会带来较大的图像畸变；而在对两幅参考视点图像进行相应的处理得到副虚拟视点图像时，进行了深度图处理，因此可以减轻前景物体与背景之间的深度差异，可以改善虚拟视点图像质量；再根据副虚拟视点图像对所述主虚拟视点图像进行空洞填充时，可以合成不带来畸变的且质量较高的虚拟视点图像。
图IA为本发明实施例中多视点视频中虚拟视点合成的方法流程图；图IB为上述图IA所述流程的示意图；图2为本发明实施例中图像坐标系与三维空间坐标系的映射关系图；图3A为本发明实施例中第一参考视点图像；图;3B为本发明实施例中第一参考视点图像的深度图；图3C为本发明实施例中的第二参考视点图像；图3D为本发明实施例中第二参考视点图像的深度图；图4A为本发明实施例中三维图像变换后的第一参考视点图像；图4B为本发明实施例中第一虚拟视点图像的深度图；图4C为本发明实施例中第一虚拟视点图像的空洞图；图4D为本发明实施例中三维图像变换后的第二参考视点图像；图4E为本发明实施例中第二虚拟视点图像的深度图；图4F为本发明实施例中第二虚拟视点图像的空洞图；图5A为本发明实施例中小洞填充后的第一虚拟视点图像；图5B为本发明实施例中小洞填充后的第一虚拟视点图像的深度图；图5C为本发明实施例中小洞填充后的第一虚拟视点图像的空洞图；图5D为本发明实施例中小洞填充后的第二虚拟视点图像；图5E为本发明实施例中小洞填充后的第二虚拟视点图像的深度图；图5F为本发明实施例中小洞填充后的第二虚拟视点图像的空洞图；图6A为本发明实施例中图像互补后的第一虚拟视点图像；图6B为本发明实施例中图像互补后的深度图；图6C为本发明实施例中图像互补后的第二虚拟视点图像；图6D为本发明实施例中图像互补后的空洞图；图7A为本发明实施例中对图像互补后的第一虚拟视点图像和第二虚拟视点图像进行融合处理之后得到的主虚拟视点图像；图7B为本发明实施例中对图像互补后的第一虚拟视点图像的空洞图和第二虚拟视点图像的空洞图进行融合处理之后得到的主空洞图；图8为本发明实施例中根据副虚拟视点图像对主虚拟视点图像进行空洞填补之后的虚拟视点图像；图9为本发明实施例中多视点视频中虚拟视点合成装置的结构示意图。
具体实施例方式针对现有技术存在的技术问题，本发明实施例提供一种多视点视频中虚拟视点的合成方法及装置，以在保证不带来几何畸变的前提下，提高虚拟视点图像的质量和提高虚拟视点图像的显示效果。多视点视频中虚拟试点合成方法，包括以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、 小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后， 得到最终需要合成的虚拟视点图像。采用本发明技术方案，对两幅参考视点图像进行相应的处理得到主虚拟视点图像时，没有进行深度图处理，因此不会带来较大的图像畸变；而在对两幅参考视点图像进行相应的处理得到副虚拟视点图像时，进行了深度图处理，因此可以减轻前景物体与背景之间的深度差异，可以改善虚拟视点图像质量；再根据副虚拟视点图像对所述主虚拟视点图像进行空洞填充时，可以合成不带来畸变的且质量较高的虚拟视点图像。下面结合说明书附图对本发明技术方案进行详细的描述。参见图1A，为本发明实施例中多视点视频中虚拟视点合成的方法流程图，方法还可通过图IB示意，方法包括步骤101、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数， 对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图。步骤102、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像。步骤103、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像。步骤104、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像。步骤105、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤 101 步骤104对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像。步骤106、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成最终需要得到的虚拟视点图像。上述流程的步骤101中，对所述第一参考视点图像进行三维图像变换，可包括以下步骤
步骤al、将所述第一参考视点图像中的像素点映射到三维空间中，可参见式(1)；步骤bl、将步骤al中已经映射到三维空间之后的像素点重投影到第一虚拟视点图像上，可参见式(2)；步骤Cl、采用Z-fuffer和取整方法对所述第一虚拟视点图像中的像素点的坐标值进行筛选；对所述第二参考视点图像进行三维图像变换，包括步骤a2、将所述第二参考视点图像中的像素点映射到三维空间中，可参见式(3)；步骤1^2、将步骤a2中已经映射到三维空间之后的像素点重投影到第二虚拟视点图像上，可参见式⑷；步骤c2、采用Z-fuffer和取整方法对所述第二虚拟视点图像中的像素点的坐标值进行筛选。上述步骤al、步骤bl和步骤Cl中，第一参考视点图像中的像素点的坐标点所在的图像坐标系为以第一参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；在所述步骤a2、步骤1^2和步骤c2中，第二参考视点图像中的像素点的坐标点所在的图像坐标系为以第二参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；所述三维空间的空间坐标系为以屏幕的左下角为原点，该空间坐标系的X轴沿屏幕平面的竖直方向，y轴沿屏幕平面的水平方向。上述图像坐标系与空间坐标系的映射关系可如图2所示。将第一参考视点图像中的像素点映射到三维空间，可根据式(1)进行变换_式(1)；式(1)中，为齐次坐标系下第一参考视点图像中某一像素点在图像坐标系中的坐标，M1S齐次坐标系下所述某一像素点变换到三维空间之后在三维空间坐标系中的坐标A为相应的2#摄像机的内部参数矩阵；Pn是归一化透视投影矩阵。将映射到三维空间之后的第一视点彩色图像的像素点重投影到目标虚拟视点图像上，可通过式( 变换得到叫ξ」> Ζ)Μ# ⑵；式O)中，Mi与式(1)中的M1相同，％'为齐次坐标系下所述似1变换到目标虚拟视
点图像中的坐标;A'为目标视点摄像机(即3#摄像机)的内部参数矩阵；D是目标视点摄像机的外部参数矩阵，包含旋转矩阵R和平移向量t。将第二参考视点图像中的像素点映射到三维空间，可根据式(3)变换得到阶三為尸 M2式⑶；式(3)中，为齐次坐标系下第二参考视点图像中某一像素点在图像坐标系中的坐标，似2为齐次坐标系下所述某一像素点变换到三维空间之后在三维空间坐标系中的坐标-A为相应的3#摄像机的内部参数矩阵；Pn是归一化透视投影矩阵。将映射到三维空间之后的第二视点彩色图像的像素点重投影到目标虚拟视点图像上，可通过式(4)变换得到
m; =APnDM2^ ；式(4)中，M2与式⑴中的M2相同，为齐次坐标系下所述M2变换到目标虚拟视
点图像中的坐标;A'为目标视点摄像机(即3#摄像机)的内部参数矩阵；D是目标视点摄像机的外部参数矩阵，包含旋转矩阵R和平移向量t。将参考视点图像中的像素点映射到目标虚拟视点图像的过程为多对一的过程，因此，可能会存在参考视点图像中位于不同位置的两个或多个像素点映射到目标虚拟视点图像中的同一位置，因此存在重叠现象。因此，上述步骤cl和步骤c2中，采用Z-fuffer方法避免重叠现象，即在目标虚拟视点图像绘制过程中，为目标虚拟视点图像中的每个像素点k 提供一个对应的buffer，以保留映射到该像素点k的来自参考视点图像中的多个像素点的深度值，再将该多个像素点中深度值最大的像素点的深度值确定为该像素点k的深度值。参考视点图像中的像素点经变换后投影到目标虚拟视点图像的平面上时，可能不是投影在整像素点上而是投影在分像素点，因此，需要提取该分像素点坐标的整数部分作为目标虚拟视点图像中相应点的坐标值。上述流程的步骤102中，对所述第一虚拟视点图像进行小洞填充，包括根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点ml，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点nl ；将nl点在所述第一虚拟视点图像中的像素信息赋予ml点，得到如图；对所述第二虚拟视点图像进行小洞填充，包括根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2 ；将n2点在所述第二虚拟视点图像中的像素信息赋予m2点。上述流程的步骤103具体可包括根据所述第一虚拟视点图像的空洞图，确定出所述第一虚拟视点图像中的空洞的位置；对所述第一虚拟视点图像的空洞图进行形态学扩张，以避免在所述第一虚拟视点图像中产生伪影；根据所述第二虚拟视点图像的空洞图，确定出所述第二虚拟视点图像中的空洞的位置；对所述第二虚拟视点图像的空洞图进行形态学扩张，以避免在第二虚拟视点图像中产生伪影；针对所述第一虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第二虚拟视点图像中有值，则将该值赋予所述像素点；针对所述第二虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第一虚拟视点图像中有值，则将该值赋予所述像素点。上述流程的步骤104，将第一虚拟视点图像与第二虚拟视点图像进行融合处理，可采用以下方式将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行基于距离的图像融合，得到所述主虚拟视点图像。对图像互补后的第一虚拟视点图像和第二虚拟视点图基于距离的图像融合，可根据式(5)得到
权利要求
1.一种多视点视频中虚拟视点合成方法，其特征在于，包括步骤1、根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；步骤2、根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；步骤3、将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像， 进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；步骤4、将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；步骤5、对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；再按照上述步骤1 步骤4 对深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；步骤6、根据所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。
2.如权利要求1所述的方法，其特征在于，上述步骤1中，对所述第一参考视点图像进行三维图像变换，包括步骤al、将所述第一参考视点图像中的像素点映射到三维空间中；步骤bl、将步骤al中已经映射到三维空间之后的像素点重投影到第一虚拟视点图像上；步骤Cl、采用Z-fuffer和取整方法对所述第一虚拟视点图像中的像素点的坐标值进行筛选；对所述第二参考视点图像进行三维图像变换，包括步骤a2、将所述第二参考视点图像中的像素点映射到三维空间中；步骤1^2、将步骤a2中已经映射到三维空间之后的像素点重投影到第二虚拟视点图像上；步骤c2、采用Z-fuffer和取整方法对所述第二虚拟视点图像中的像素点的坐标值进行筛选。
3.如权利要求2所述的方法，其特征在于在所述步骤al、步骤bl和步骤Cl中，第一参考视点图像中的像素点的坐标点所在的图像坐标系为以第一参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；在所述步骤a2、步骤1^2和步骤c2中，第二参考视点图像中的像素点的坐标点所在的图像坐标系为以第二参考视点图像的左上角为原点，沿水平方向为横坐标，沿竖直方向为纵坐标；所述三维空间的空间坐标系为以屏幕的左下角为原点，该空间坐标系的χ轴沿屏幕平面的竖直方向，y轴沿屏幕平面的水平方向。
4.如权利要求1所述的方法，其特征在于，对所述第一虚拟视点图像进行小洞填充，包括根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点ml，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点nl ；将nl点在所述第一虚拟视点图像中的像素信息赋予ml点；对所述第二虚拟视点图像进行小洞填充，包括根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2 ；将n2点在所述第二虚拟视点图像中的像素信息赋予 m2点。
5.如权利要求1所述的方法，其特征在于，所述步骤3，具体包括根据所述第一虚拟视点图像的空洞图，确定出所述第一虚拟视点图像中的空洞的位置；对所述第一虚拟视点图像的空洞图进行形态学扩张，以避免在所述第一虚拟视点图像中产生伪影；根据所述第二虚拟视点图像的空洞图，确定出所述第二虚拟视点图像中的空洞的位置；对所述第二虚拟视点图像的空洞图进行形态学扩张，以避免在第二虚拟视点图像中产生伪影；针对所述第一虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第二虚拟视点图像中有值，则将该值赋予所述像素点；针对所述第二虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第一虚拟视点图像中有值，则将该值赋予所述像素点。
6.如权利要求1所述的方法，其特征在于，所述步骤4，具体包括将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行基于距离的图像融合，得到所述主虚拟视点图像。
7.如权利要求1所述的方法，其特征在于，所述步骤5中，对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，包括分别对所述第一参考视点图像的深度图像和所述第二参考视点图像的深度图像进行双边滤波处理。
8.一种多视点视频中虚拟视点合成装置，其特征在于，包括三维图像变换单元，用于根据第一摄像机得到的第一参考视点图像及其深度图像、第一摄像机参数，对所述第一参考视点图像进行三维图像变换，得到第一虚拟视点图像及其深度图像和空洞图；以及，根据第二摄像机得到的第二参考视点图像及其深度图像、第二摄像机参数，对所述第二参考视点图像进行三维图像变换，得到第二虚拟视点图像及其深度图像和空洞图；空洞填充单元，用于根据所述第一虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第一虚拟视点图像进行小洞填充，得到小洞填充后的第一虚拟视点图像；以及根据所述第二虚拟视点图像的空洞图，采用水平、垂直和对角外推法对所述第二虚拟视点图像进行小洞填充，得到小洞填充后的第二虚拟视点图像；图像互补单元，用于将小洞填充后的第一虚拟视点图像与第二虚拟视点图像作为彼此的参考图像，进行图像互补，分别得到图像互补后的第一虚拟视点图像和第二虚拟视点图像；图像融合单元，用于将图像互补后的第一虚拟视点图像与第二虚拟视点图像进行融合，得到主虚拟视点图像；图像深度处理单元，用于对所述第一参考视点图像与所述第二参考视点图像分别进行深度图处理，得到深度图处理后的第一参考视点图像和第二参考试点彩色图像；并启动所述三维图像变换单元、空洞填充单元、图像互补单元、图像融合单元依次对所述深度图处理后的第一参考视点图像和第二参考试点彩色图像进行相应的处理，得到副虚拟视点图像；虚拟视点图像生成单元，用于将所述副虚拟视点图像对所述主虚拟视点图像进行空洞填补，生成虚拟视点图像。
9.如权利要求8所述的装置，其特征在于，所述空洞填充单元，具体用于对所述第一虚拟视点图像进行小洞填充，包括根据所述第一虚拟视点图像的空洞图中的像素值，确定出在所述第一虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为0的点ml，在所述第一虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点nl ；将nl点在所述第一虚拟视点图像中的像素信息赋予ml 点。对所述第二虚拟视点图像进行小洞填充，包括根据所述第二虚拟视点图像的空洞图中的像素值，确定出在所述第二虚拟试点彩色图像中相应位置是否为空洞；对所述空洞图中像素值为O的点m2，在所述第二虚拟视点图像的深度图中相应位置的水平、垂直和对角边界点中确定出深度值最大的点n2 ；将n2点在所述第二虚拟视点图像中的像素信息赋予 m2点。
10.如权利要求8所述的装置，其特征在于，所述图像互补单元，具体用于根据所述第一虚拟视点图像的空洞图，确定出所述第一虚拟视点图像中的空洞的位置；对所述第一虚拟视点图像的空洞图进行形态学扩张，以避免在所述第一虚拟视点图像中产生伪影；根据所述第二虚拟视点图像的空洞图，确定出所述第二虚拟视点图像中的空洞的位置；对所述第二虚拟视点图像的空洞图进行形态学扩张，以避免在第二虚拟视点图像中产生伪影；针对所述第一虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第二虚拟视点图像中有值，则将该值赋予所述像素点；针对所述第二虚拟视点图像中的每个空洞位置的像素点，若像素点在所述第一虚拟视点图像中有值，则将该值赋予所述像素点。
全文摘要
本发明公开一种多视点视频中虚拟视点合成方法及装置，在保证不带来几何畸变的前提下，提高虚拟视点图像的质量，提高虚拟视点图像的显示效果；方法包括以第一摄像机和第二摄像机提供的两幅视点图像作为参考视点图像，并分别对该两幅视点图像进行三维图像变换、小洞填充、图像互补和图像融合处理之后得到主虚拟视点图像；再分别对所述两幅视点图像分别进行深度图处理、三维图像变换、小洞填充、图像互补和图像融合处理之后得到副虚拟视点图像；再根据所述副虚拟视点图像对所述主虚拟视点图像进行剩余空洞填充之后，得到最终需要合成的虚拟视点图像。
文档编号H04N5/262GK102325259SQ201110267778
公开日2012年1月18日 申请日期2011年9月9日 优先权日2011年9月9日
发明者刘微, 刘琚, 孙建德, 王路 申请人:青岛海信数字多媒体技术国家重点实验室有限公司