专利名称：一种对dibr技术生成的目标图像进行空洞填充的方法
技术领域：
本发明属于3D电视系统中的基于深度图像绘制(D印th-Image-Based Rendering,简称DIBR)技术领域，更为具体地讲，涉及一种对DIBR技术生成的目标图像进行空洞填充的方法。
udes-uref ={-ιγ
2h_-
背景技术：
基于深度图像绘制技术是根据参考图像(reference image)及其对应的深度图像 (depth image)来生成一幅新的虚拟视点图像，即目标图像(destination image) 0与利用左右两路平面视频合成三维影像即传统三维视频格式相比，采用DIBR技术之后仅需要传递一路视频及其深度图像序列就可合成三维影像，而且可以很方便的实现二维和三维的切换，同时避免了由传统视图生成方法所带来的三维空间变换的计算复杂性。正因为如此， DIBR技术在3D电视合成三维影像中得到了广泛应用，它也引起了人们愈来愈浓厚的兴趣。DIBR技术的核心步骤是三维图像变换(3d image warping) 0三维图像变换能够将参考图像中的点投影到三维空间，再将三维空间中的点重投影到目标图像平面上，从而生成新视点视图，即目标图像。三维图像变换的公式如式(1)所示
0005
权利要求
1. 一种对DIBR技术生成的目标图像进行空洞填充的方法，其特征在于，包括以下步骤(1)、检测较大空洞按行以从左到右的顺序遍历视差图，若连续出现阈值点数Ien bighole个及其以上的空洞点，则认为此处是较大空洞，记录下该较大空洞的起点和终点； O)、膨胀较大空洞区分目标图像是左视图还是右视图，如果是左视图，执行步骤a)；如图是右视图，执行步骤b)；a)、首先区分较大空洞边缘区域是背景像素点还是前景像素点以视差图中的较大空洞区域为中心，从左向右检测较大空洞右边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较小值跃变到较大值时，较大空洞右边缘区域为背景像素点，并记录下该较大视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较大值跃变到较小值，或者视差值一致没有跃变时，较大空洞右边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；然后膨胀空洞边缘若较大空洞右边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去1个像素点和终点横坐标加上1 个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞右边缘区域为前景像素点，则较大空洞的左边缘为匹配误差区域，只膨胀较大空洞的左边缘，将较大空洞的起点横坐标减去1个像素点和终点维持不变作为目标图像中需要填充的空洞的起点和终点；b)、首先区分较大空洞边缘区域是背景像素点还是前景像素点以视差图中的较大空洞区域为中心，从右向左检测较大空洞左边缘非空洞点的视差值变化，当视差值在两相继的非空洞点处第一次出现跃变时，并且跃变是从较大值跃变到较小值时，较大空洞左边缘区域为背景像素点，并记录下该较小视差值作为前景像素点视差值；当视差值在两相继的非空洞点处第一次出现跃变，并且跃变是从较小值跃变到较大值，或者视差值一致没有跃变，较大空洞左边缘区域为前景像素点，并记录下第一个非空洞点的视差值作为前景像素点视差值；然后膨胀较大空洞边缘若较大空洞左边缘区域为背景像素点，则较大空洞左右边缘为匹配误差区域，需要进行膨胀，将较大空洞的起点横坐标减去1个像素点和终点横坐标加上1个像素点作为目标图像中需要填充的空洞的起点和终点；若较大空洞左边缘区域为前景像素点，则较大空洞的右边缘为匹配误差区域，只膨胀较大空洞的右边缘，将较大空洞的起点维持不变和终点横坐标加上1个像素点作为目标图像中需要填充的空洞的起点和在本步骤( 中，膨胀的像素点个数1为误匹配像素点的个数，与深度图像估计的准确度有关，可根据生成的目标图像质量来调节，取值范围为0-7 ； (3)、填充较大空洞将目标图像中需要填充的空洞的起点、终点横坐标均减去前景像素点的视差值，得到需要在参考图像中复制的像素点区域，然后，从参考图像中复制该区域的像素点填充到目标图像中需要填充的空洞区域。
2.根据权利要求1所述的对DIBR技术生成的目标图像进行空洞填充的方法，其特征在于，还包括步骤在视差图中，将较小空洞的视差值d取为与较小空洞右边缘第一个非空洞点的视差值，然后，依据视差值在参考图像中，将对应像素点填充到该较小空洞中即可。
3.根据权利要求1所述的对DIBR技术生成的目标图像进行空洞填充的方法，其特征在于，在步骤(1)之前，在三维图像变换过程中先将参考图像复制到目标图像，再进行三维图像变换，然后将得到的目标图像采用步骤(1) (3)的方法进行处理。
全文摘要
本发明公开了一种对DIBR技术生成的目标图像进行空洞填充的方法，通过按行遍历视差图，检测较大空洞；然后利用深度值区分空洞边缘区域的前景像素点和背景像素点，确定匹配误差区域，对较大空洞进行膨胀，以去除较大空洞边缘存在匹配误差的像素点；最后从参考图像中复制对应的目标图像中需要填充的空洞区域，即背景像素点到目标图像中需要填充的空洞区域，完成空洞填充。本发明不需要预处理深度图像，最大限度地保证了较大空洞区域的真实性，得到高质量的目标图像。此外，没有复杂的运算操作，便于硬件的实现。同时，利用深度值区分前景和背景，确定匹配误差区域，通过膨胀空洞的边缘以消除/减少匹配误差区域，实现了匹配误差进行校正。
文档编号H04N13/00GK102307312SQ20111025578
公开日2012年1月4日 申请日期2011年8月31日 优先权日2011年8月31日
发明者刘然, 刘阳, 甘平, 田逢春, 罗雯怡, 许小艳, 谢辉, 谭迎春, 邰国钦, 郭瑞丽, 鲁国宁, 黄扬帆 申请人:四川虹微技术有限公司, 重庆大学