基于图像重投影的空洞填充方法
【技术领域】
[0001] 本发明属于三维图像技术领域，更为具体地讲，涉及一种基于图像重投影的空洞 填充方法。
【背景技术】
[0002] 基于深度图像绘制（depth-image-basedrendering,DIBR)技术是一种根据参考 图像（referenceimage)及其对应的深度图像（depthimage)来生成一幅新视点图像（即 目标图像）的技术。与传统的需要传递左右眼两路视频的3D视频相比，采用DIBR技术之 后仅需要传送一路视频及其深度图像就可生成立体图像对，而且可以很方便的实现二维和 三维的切换。因此DIBR技术在3D电视立体图像对（stereopair)的生成中得到了广泛应 用。
[0003] 空洞是因为视点变化而产生的。由于视点变化导致场景中物体前后遮挡关系发生 了变化，原来不可见的物体变得可见，物体表面也会发生缩放，因而会产生空洞。特别是基 线较长时，会产生很大的空洞。尽管随着所提供摄像机数的增加，有些空洞因为变得可见而 被填充，但是由于不可能在所有位置都放上一个摄像机，因而在合成任意视点视图时空洞 是不可避免的。在空洞填充方面，国内外学术界基本上沿着深度图像预处理和合成视图后 处理相结合的方向发展。
[0004] 在预处理方面，2004年Fehn提出了采用高斯滤波器对深度图像进行预处理，平滑 深度图像，减少深度值的不连续以避免在目标图像中出现较大的空洞。Chen等人采用依赖 边缘深度滤波器（edgedependentdepthfilter)来进行预处理。这几种方法都会使背景 中的垂直边缘产生几何扭曲。Zhang等人提出非对称高斯滤波器，以减弱背景中垂直纹理信 息产生的几何扭曲现象。He等人提出用加权迭代的方法处理深度图像，不利于实时处理。 Hong提出方向高斯滤波（directionalgaussianfilter,DAF)，在预处理深度图时，先膨胀 深度图，然后根据方向角对可能产生空洞的区域进行非对称高斯滤波，虽然迭代多次可以 得到比较好的图像质量，但不能完全消除几何扭曲，且这种算法太复杂，硬件实现困难、实 时性不好。
[0005] 在后处理方面，戴琼海等人采用了背景优先填充的思想，在合成的左视图中用从 左到右从上到下的顺序填充，右视图中用从右到左，从上到下的顺序填充，当空洞两边都为 前景时，且空洞区域本应该为背景像素时，这种填充算法就会失效。2009年，Kwan-JungOh 等人从后处理的角度提出了基于深度的图像修复技术来进行空洞填充。
[0006] 张倩、安平等人则采用深度预处理图像和图像修复后处理相结合的方法来填充空 洞。2010年，骆凯、张明等人将形态学处理引入到深度图像预处理中，并结合Criminisi的 基于样本的修复方法来修复空洞。V'azquez、Azzari等人对深度图像预处理算法与图像 修复算法后处理的效果和性能做了对比探讨，他们的结果显示采用Criminisi算法修复效 果较好但计算复杂性高，并指出利用深度信息是提高合成视图的重要手段。一般来说预处 理深度图像，会降低整幅图像的质量，而图像修复又太复杂。
【发明内容】
[0007] 本发明的目的在于克服现有技术的不足，提供一种基于图像重投影的空洞填充方 法，对原始参考图像进行图像重投影生成与目标图像平行的参考图像，根据该平行参考图 像对目标图像进行空洞填充，提高填充结果图像的质量。
[0008] 为实现上述发明目的，本发明基于图像重投影的空洞填充方法，具体包括以下步 骤：
[0009] S1 :根据参考图像I,采用三维变换生成目标图像Is，并得到目标图像对应的非空 洞矩阵M，非空洞矩阵M的生成方法为：如果目标图像13中像素点（x，y)为空洞，非空洞矩 阵M对应的元素值M(x，y)置0,如果为非空洞点，对应元素值置为该像素点的深度值；
[0010] S2 :采用图像重投影算法分别对参考图像L及其深度图像D进行重投影生成与目 标图像13平行的参考图像I' ^及其深度图像D';
[0011] S3 :当目标图像13为右视图/左视图，对非空洞矩阵M进行从左到右/从右到左、 从上到下的遍历，寻找得到除图像边缘空洞以外的所有空洞，将每个空洞右/左边的非空 洞像素点作为右/左边缘us，该空洞含有的像素点数记为N;
[0012] S4 :依次对于步骤S3得到的每个空洞的右/左边缘us，判断是否为前景像素点， 如果是，不作任何操作，否则将像素点us通过三维图像逆变换，投影到参考图像I' ^中的 像素点U'p记像素点u' ^的坐标为（m，n);如果像素点u' ^斤在行的序号n大于等于/ 小于等于W/2时，将像素点u'j?右/左边最近的N个像素点复制到像素点us左/右边的 空洞中进行填充，否则进一步判断图像重投影时参考图像I'j目对于原始参考图像I是 否为顺时针旋转，如果是，则将像素点u' ^重置为像素点（m+aX，n)，其中a表示视图标 识，当目标图像Is为右视图时，a=1，当目标图像Is为左视图时，a=-1，A表示预设的 偏移量，取值范围A彡1;如果是逆时针，则将像素点u' ^重置为像素点（m-aX，n)，然后 将像素点u'j?右/左边最近的N个像素点复制到像素点us左/右边的空洞中进彳丁填充；
[0013] S5 :采用图像修复算法对目标图像L中的剩余空洞进行填充。
[0014] 本发明基于图像重投影的空洞填充方法，首先根据参考图像生成目标图像及非空 洞矩阵，然后对原始的参考图像进行图像重投影生成与目标图像平行的参考图像；确定目 标图像中除边缘空洞以外的所有空洞的边缘，采用三维图像逆变换方法将边缘像素点投影 到平行参考图像中，然后根据边缘点在目标图像中的位置和平行参考图像相对于原始参考 图像的旋转方向，复制像素点对该边缘点对应的空洞进行填充；最后，利用图像修复算法修 复剩余空洞。
[0015] 相对于传统的空洞填充方法，本发明不需要预处理深度图像，从而最大限度地保 证了非空洞区域的真实性，得到高质量的新视图。实验表明，在基线比较小，背景纹理不是 非常复杂的情况下，本发明可以取得比较好的视觉效果。并且本发明算法的时间复杂度较 低，可以有效提高空洞填充的效率。
【附图说明】
[0016] 图1是本发明基于图像重投影的空洞填充方法的实施方式流程图；
[0017] 图2是三维图像变换示意图；
[0018] 图3是去除匹配误差的效果示意图；如图3所示，图3 (a)是经过三维变换后的目 标图像及局部放大图，图3(b)是未经去除匹配误差采用本发明进行空洞填充后的目标图 像及局部放大图，图3(c)是去除匹配误差后采用本发明进行空洞填充后的目标图像及局 部放大图；
[0019] 图4是图像重投影的示意图；
[0020] 图5是图像重投影的结果示例图；
[0021] 图6是填充偏移不例图；
[0022] 图7是原始参考图像为右视图时的像素点复制填充不意图；
[0023] 图8是直接从原始参考图像复制像素点进行空洞填充的示例图；
[0024] 图9是从图像重投影得到的平行参考图像复制像素点进行空洞填充的示例图；
[0025] 图10是Ballet序列图像的填充结果对比图；
[0026] 图11是Breakdancers序列图像的填充结果对比图；
[0027] 图12是Ballet序列前20帧的三种算法PSNR对比曲线图；
[0028] 图13是Breakdancers序列前20帧的三种算法PSNR对比曲线图。
【具体实施方式】
[0029] 下面结合附图对本发明的【具体实施方式】进行描述，以便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0030] 图1是本发明基于图像重投影的空洞填充方法的实施方式流程图。如图1所示， 本发明基于图像重投影的空洞填充方法包括以下步骤：
[0031] S101:生成目标图像：
[0032] 根据参考图像I,采用三维变换生成目标图像Is，并得到目标图像对应的非空洞矩 阵M，非空洞矩阵M的生成方法为：如果目标图像13中像素点（x，y)为空洞，非空洞矩阵M 对应的元素值M(x，y)置0,如果为非空洞点，对应元素值置为该像素点的深度值。
[0033] 图2是三维图像变换示意图。如图2所示，三维图像变换包括两个步骤：首先，将 参考图像仁中的像素点h运用其在深度图D中对应的深度信息投影到三维空间中一点U; 然后，将这个点U重新投影到需要得到的某个位置的目标图像Is中去，得到变换后的像素 点113。三维图像变换的可逆矩阵为：
【主权项】
1. 一种基于图像重投影的空洞填充方法，其特征在于，包括w下步骤： 51 ;根据参考图像If采用S维变换生成目标图像I ,，并得到目标图像对应的非空洞矩 阵M，非空洞矩阵M的生成方法为；如果目标图像L中像素点（X，y)为空洞，非空洞矩阵M 对应的元素值M(x，y)置0,如果为非空洞点，对应元素值置为该像素点的深度值； 52 ;采用图像重投影算法分别对参考图像If及其深度图像D进行重投影生成与目标图 像L平行的参考图像I' t及其深度图像D'; 53 ;当目标图像L为右视图/左视图，对非空洞矩阵M进行从左到右/从右到左、从上 到下的遍化寻找得到除图像边缘空洞W外的所有空洞，将每个空洞右/左边的非空洞像 素点作为右/左边缘U,，该空洞含有的像素点数记为N ; 54 ;依次对于步骤S3得到的每个空洞的右/左边缘U,，判断是否为前景像素点，如果 是，不作任何操作，否则将像素点11,通过=维图像逆变换，投影到参考图像I' t中的像素点 U',，记像素点U' t的坐标为（m，n);如果像素点U' t所在行的序号n大于等于/小于等 于W/2时，将像素点U' t右/左边最近的N个像素点复制到像素点U ,左/右边的空洞中 进行填充，否则进一步判断图像重投影时参考图像I' t相对于原始参考图像I t是否为顺 时针旋转，如果是，则将像素点U' t重置为像素点（m+a A，n)，其中a表示视图标识，当 目标图像L为右视图时，a = 1，当目标图像I S为左视图时，a =-1，A表示预设的偏移 量，取值范围A ;如果是逆时针，则将像素点U' t重置为像素点（m-a A，n)，然后将像 素点U' t右/左边最近的N个像素点复制到像素点U ,左/右边的空洞中进行填充； 55 ;采用图像修复算法对目标图像If中的剩余空洞进行填充。
2. 根据权利要求1所述的=相锁相环，其特征在于，所述步骤S1中的目标图像采用膨 胀空洞的方法进行预处理。
【专利摘要】本发明公开了一种基于图像重投影的空洞填充方法，首先根据参考图像生成目标图像及非空洞矩阵，然后对原始的参考图像进行图像重投影生成与目标图像平行的参考图像；确定目标图像中除边缘空洞以外的所有空洞的边缘，采用三维图像逆变换方法将边缘像素点投影到平行参考图像中，然后根据边缘点在目标图像中的位置和平行参考图像相对于原始参考图像的旋转方向，复制像素点对该边缘点对应的空洞进行填充；最后，利用图像修复算法修复剩余空洞。相比于传统空洞填充方法，本发明可以提高填充结果图像的质量，并且时间复杂度也较低。
【IPC分类】H04N13-00
【公开号】CN104683788
【申请号】CN201510113189
【发明人】刘然, 贾瑞双, 黄振伟, 邓泽坤, 曹东华, 徐苗, 李博乐
【申请人】四川虹微技术有限公司, 重庆大学
【公开日】2015年6月3日
【申请日】2015年3月16日