专利名称：一种2.5d视频到多视点3d视频中虚拟视点综合和空洞的修补方法
技术领域：
本发明涉及3D视频自由立体显示技术，尤其是一种2.5D视频到多视点3D视频中虚拟视点的综合和空洞填补方法。
背景技术：
立体显示技术是紧接着高清数字显示技术的下一代显示技术，因为其能让人真实地体验到三维场景而著称，通过左右眼看到不同的视觉影像从而在大脑里面形成3D模型，场景中的物体有前后之分，有层次感，似乎身在其中一样，能给人带来非常强烈的冲击感。其中多视点3D视频技术能在不同视点显示出场景的不同角度，最大限度的重现了三维立体场景，完全突破二维显示技术以及左右眼的两视点3D显示技术。然而3D多视点视频的采集难度非比一般，再加上其巨大的数据量，目前难以采集和传输多视点3D视频，所以从单视点视频自动转换到多视点视频在3D视频制作领域就显得非常重要。目前，由于基于几何模型的3D转换方法复杂度高，模型千变万化，数据量异常庞大，难以普遍应用。基于深度图像的3D渲染技术则是一种利用参考视点和对应的深度图来合成虚拟视点的方法，因为该方法不需要建立立体模型，不需要提取和依赖物体的几何信息，因而具有简洁、高效和普遍性，越来越受到重视和研究。然而直接进行3D渲染得到的虚拟视点，具有非常多的空洞，包括边界不可见区域，内部后景中被前景遮挡的区域，以及一些错误的深度图等造成的，表现在深度图发生突变的地方以及图像边界，若要高效率地得到高质量的多视点视频，就需要使用一种快速、精准的空洞填补算法和高效的多视点渲染流程。空洞的填补方法众多，主要有深度图处理即在3D渲染之前对深度图进行各种滤波处理，这样就能较大程度的 降低深度值突变的陡峭度，减小空洞，但此方法会给前景对象带来严重的几何畸变。其次是使用双向渲染技术，即采用左右两边的视点合成中间的视点图像，此方法由于能利用左右两边图像的纹理信息和深度图信息，可以得到质量非常好的中间虚拟视点图像。但是此方法具有两个缺陷，一个是必须具有两个视点的图像数据，这样就需要采集2个视点以及传输两个视点图像，会给采集增加难度和传输增加带宽；另外一个就是，只能合成两个视点的中间视点，而一般两个视点的视差很小，再合成多个中间视点，视点间的视差就更小了，立体效果非常弱，体现不出多视点本身的意义。随着欧洲乃至全球多个国家推出3D电视频道，3D显示技术在商用和家用领域都具有非常广阔的前景。一个快速、高效的3D多视点合成算法具有非常重大的意义。
发明内容本发明要解决的技术问题是提供一种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其快速且高效。上述技术问题通过以下技术方案解决:
—种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其特征在于，包括以下步骤:步骤I):对参考视点彩色图像和参考视点深度图从左右边界对外进行纹理和结构延伸；步骤2):最左边虚拟视点综合和最右边虚拟视点综合以及内部空洞修复；步骤3):中间虚拟视点综合(双向DIBR)；步骤4):把参考视点和左右两边的虚拟视点结合在一起形成多视点3D视频。进一步的方案是，所述步骤I)具体包括:11):扩展参考视点彩色图像及参考视点深度图像的左右边界，边界扩展区域为待修复区域T1，原图像区域为参考区域S1 ；12):把经扩展后的图像以宏块为单位划分，每一个宏块为一个节点，在待修复区域Tl内的节点则为待修复节点，在参考区域SI内的节点则为参考节点；13):对应每一个待修复节点，分别设定需要参考的参考范围,把参考范围内所有的参考节点存入候选节点索引列表，即每一个待修复节点都有各自对应的参考范围及候选节点；14):设定MRF能量函数作为待修复区域内待修复节点的能量总和模型；15):使用BP神经网络算法，求取MRF的最小值，当MRF最小值时，此时每一个待修复节点的对应的候选节点即为此待修复节点的最优参考节点；16):将最优参考节点的像素替换与其对应的待修复节点的像素，以修复参考视点彩色图像及参考视点深度图像的边界扩展区域。进一步的方案是，所述步骤2)具体包括:21):以参考视点作为中间视点，将经过边界扩展修复的参考视点使用DIBR技术渲染到最左边虚拟视点和最右边虚拟视点，得到最左边虚拟视点的扩展彩色图像和最右边虚拟视点的扩展彩色图像以及对应的扩展深度图，此时扩展彩色图像大小和边界扩展修复后的参考视点彩色图像等大，对前面的两个扩展彩色图像从边界去掉和上述边界扩展区域等宽的像素，得到和参考视点彩色图像等大的最左边虚拟视点的彩色图像和最右边虚拟视点的彩色图像；对前面的两个扩展深度图从边界去掉和上述边界扩展区域等宽的像素，得到和参考视点深度图等大的最左边虚拟视点的深度图和最右边虚拟视点的深度图；22):对虚拟视点的深度图做前后景标志，定义dflag (i，j)表示深度图前后景标志图像中点(i，j)的前后景标志值；逐行检测每一个空洞，假设点(i，h)为空洞的最左边像素点，点(i，k)为空洞的最右边像素点,提取像素点(i, h-Ι)的深度值并设为depthL,提取像素点(i，k+1)的深度图值并设为depthR,如果depthL大于depthR,贝丨J dflag(i, h)设为I, dflag(i, k)设为O,如果相反,则dflag(i, h)设为O, dflag(i, k)设为I,对于其他未设置的点如果点(i，j )的深度图值为0，则dflag (i，j ) =0，如果点(i，j )深度图值大于0，则dflag (i，j) =1，保存深度图前后景标志图像；23):使用基于深度图的快速行进修补算法填补虚拟视点的彩色图像的内部空洞，具体包括:2301):根据虚拟视点的彩色图像制作二值修复模板，对二值修复模板内的每一个像素点(i，j )设置三个值，1、f和T，I (i，j )表示点(i，j )的像素值，f (i，j )表示点(i，j)的标志，f (i，j)为outside表示空洞外面，f (i，j)为narrowband表示空洞的边界，f(i，j)为inside表示空洞内部,narrowband和inside都表示是待修复区域,T (i,j)表示点(i，j)到空洞边界的距离，在outside, T和I都已知,在narrowband, T和I未知但是待更新，在inside，T和I都未知；设IV (i, j)为虚拟视点的彩色图像中点(i，j)的像素值，如果虚拟视点的彩色图像中点(i，j)的IV (i, j)为0，则二值修复模板中I (i，j)为0，否则 I (i，j)为 I ;2302):在二值修复模板中，若l(i，j)=0，说明该点在待修复区域内，令f (i, j) =inside, T (i, j) =IO6 ；2303):若 I (i, j)=l,说明该点在待修复区域外，令 f (i, j) =outside, T (i, j) =0 ;2304):若I (i，j) =0，前后景标志图像中dflag (i，j)=l,且点(i, j)的四邻域中存在点(X，y)满足 I (X，y) =1,令 f (i, j) =narrowband, T (i, j) =0 ；2305):将f值为narrowband的点放入一个栈中，它们按照T值从小到大顺序排列；2306):从栈中选择具有最小T值的点，设为(xmin，ymin)；2307):对虚拟视点的彩色图像中点(xmin，yfflin)根据公式(2)修补，并且在二值修复模板中更新f (Xmin, ymin)为outside,把点(xmin, ymin)从栈点集中删除；
权利要求
1.一种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其特征在于，包括以下步骤: 步骤I):对参考视点彩色图像和参考视点深度图从左右边界对外进行纹理和结构延伸； 步骤2):最左边虚拟视点综合和最右边虚拟视点综合以及内部空洞修复； 步骤3):中间虚拟视点综合(双向DIBR)； 步骤4):把参考视点和左右两边的虚拟视点结合在一起形成多视点3D视频。
2.根据权利要求1所述的一种2.单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其特征在于:所述步骤I)具体包括: 11):扩展参考视点彩色图像及参考视点深度图像的左右边界，边界扩展区域为待修复区域T1，原图像区域为参考区域S1 ； 12):把经扩展后的图像以宏块为单位划分，每一个宏块为一个节点，在待修复区域Tl内的节点则为待修复节点，在参考区域SI内的节点则为参考节点； 13):对应每一个待修复节点，分别设定需要参考的参考范围，把参考范围内所有的参考节点存入候选节点索引列表，即每一个待修复节点都有各自对应的参考范围及候选节占.14):设定MRF能量函数作为待修复区域内待修复节点的能量总和模型； 15):使用BP神经网络算法， 求取MRF的最小值，当MRF最小值时，此时每一个待修复节点的对应的候选节点即为此待修复节点的最优参考节点； 16):将最优参考节点的像素替换与其对应的待修复节点的像素，以修复参考视点彩色图像及参考视点深度图像的边界扩展区域。
3.根据权利要求1所述的一种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其特征在于， 所述步骤2)具体包括: 21):以参考视点作为中间视点，将经过边界扩展修复的参考视点使用DIBR技术渲染到最左边虚拟视点和最右边虚拟视点，得到最左边虚拟视点的扩展彩色图像和最右边虚拟视点的扩展彩色图像以及对应的扩展深度图，此时扩展彩色图像大小和边界扩展修复后的参考视点彩色图像等大，对前面的两个扩展彩色图像从边界去掉和上述边界扩展区域等宽的像素，得到和参考视点彩色图像等大的最左边虚拟视点的彩色图像和最右边虚拟视点的彩色图像；对前面的两个扩展深度图从边界去掉和上述边界扩展区域等宽的像素，得到和参考视点深度图等大的最左边虚拟视点的深度图和最右边虚拟视点的深度图； 22):对虚拟视点的深度图做前后景标志，定义dflag(i, j)表示深度图前后景标志图像中点(i，j)的前后景标志值；逐行检测每一个空洞，假设点(i，h)为空洞的最左边像素点，点(i，k)为空洞的最右边像素点，提取像素点(i，h-1)的深度值并设为cbpthL，提取像素点(i，k+1)的深度图值并设为depthR,如果depthL大于depthR,贝丨J dflag(i, h)设为I,dflag(i, k)设为O,如果相反,则dflag(i, h)设为O, dflag(i, k)设为I,对于其他未设置的点如果点(i，j)的深度图值为O，则dflag (i，」)=0，如果点(1，j)深度图值大于O，则dflag (i，j) =1，保存深度图前后景标志图像； 23):使用基于深度图的快速行进修补算法填补虚拟视点的彩色图像的内部空洞，具体包括: 2301):根据虚拟视点的彩色图像制作二值修复模板，对二值修复模板内的每一个像素点(i，j )设置三个值，1、f和T，I (i，j )表示点(i，j )的像素值，f (i，j )表示点(i，j )的标志，f (i, j)为outside表示空洞外面，f (i, j)为narrowband表示空洞的边界，f (i,j)为inside表示空洞内部，narrowband和inside都表示是待修复区域，T (i, j)表示点(i，j)到空洞边界的距离，在outside, T和I都已知,在narrowband, T和I未知但是待更新，在inside，T和I都未知；设IV (i, j)为虚拟视点的彩色图像中点(i，j)的像素值，如果虚拟视点的彩色图像中点(i，j)的IV (i，j)为0，则二值修复模板中I (i，j)为0，否则I (i，j )为 I ; 2302):在二值修复模板中，若I(i，j)=0,说明该点在待修复区域内，令f (i, j) =inside, T (i, j) =IO6 ； 2303):若I (i, j)=l,说明该点在待修复区域外，令 f(i, j)=outside, T(i, j)=0 ； 2304):若I(i，j)=0，前后景标志图像中dflag (i，j)=l,且点(i, j)的四邻域中存在点(X，y)满足 I (X，y) =1,令 f (i, j) =narrowband, T (i, j) =0 ； 2305):将f值为narrowband的点放入一个栈中，它们按照T值从小到大顺序排列； 2306):从栈中选择具有最小T值的点，设为(xmin，ymin)； 2307):对虚拟视点的彩色图像中点(xmin，ymin)根据公式(2)修补，并且在二值修复模板中更新f (xmin, ymin)为outside,把点(xmin, ymin)从栈点集中删除；
4.根据权利要求1所述的一种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其特征在于: 所述步骤3)具体包括:31)左边中间虚拟视点构建及32)右边中间虚拟视点构建； 其中，31)左边中间虚拟视点构建具体包括:对于最左边虚拟视点与作为中间视点的参考视点之间的的每一个左虚拟视点V(x，y)，先使用参考视点进行3D渲染到此左虚拟视点，得到左虚拟视点的主图像V1 U，y);然后对最左边的虚拟视点进行3D渲染到此左虚拟视点，得到左虚拟视点的辅助图像V2 U，y);最终，通过式(4)得到左虚拟视点V(x，y)，即对左虚拟视点的主图像中的空洞，寻找虚拟视点的辅助图像中相对应位置的像素进行填充；v^x yj = Nx--K) Vi(x,y)>ο或)=o’ V2(x.y) vp,y)=0and v2(x,y)>0(4), 32)右边中间虚拟视点构建具体包括:对于最右边虚拟视点与作为中间视点的参考视点之间的的每一个右虚拟视点V(x，y)，先使用参考视点进行3D渲染到此右虚拟视点，得到右虚拟视点的主图像V1 U，y);然 后对最右边的虚拟视点进行3D渲染到此右虚拟视点，得到右虚拟视点的辅助图像V2U，y);最终，通过式(5)得到右虚拟视点V(x，y)，即对右虚拟视点的主图像中的空洞，寻找右虚拟视点的辅助图像中的相对应位置的像素值进行填充；ν^χ y)=<pi(x，y) V,(x,y)>O^SV1(XJ)=V2(Iy)=O' V2(x,y) V1(X^) = Oanci ^2(x,y)>0(5)o
全文摘要
本发明公开了一种2.5D单视点视频到多视点3D视频中虚拟视点综合和空洞的修补方法，其包括以下步骤步骤1)对参考视点彩色图像和参考视点深度图从左右边界对外进行纹理和结构延伸；步骤2)最左边虚拟视点综合和最右边虚拟视点综合以及内部空洞修复；步骤3)中间虚拟视点综合(双向DIBR)；步骤4)把参考视点和左右两边的虚拟视点结合在一起形成多视点3D视频。本发明方法快速且高效。
文档编号H04N15/00GK103209334SQ201310086829
公开日2013年7月17日 申请日期2013年3月18日 优先权日2013年3月18日
发明者桂海田, 陈敏, 庞志勇, 陈弟虎 申请人:中山大学