一种基于分块投影的dibr方法
【专利摘要】本发明公开了一种基于分块投影的DIBR方法，首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像。不难发现，该方法并没有直接利用逐点进行视点变换来生成新视点，因而有效避免了目标视点图像受深度图连续性的影响。利用仿真实验和实际数据比较了传统方法和基于分块投影的DIBR方法之间的性能，验证了该方法的有效性，提高了目标视点绘制的质量，并降低了传输带宽。
【专利说明】—种基于分块投影的DI BR方法
【技术领域】
[0001]本发明涉及3D视频技术、自由视点视频技术及基于深度图绘制技术的领域，尤其是指一种基于分块投影的DIBR方法。
【背景技术】
[0002]基于深度图的绘制(DIBR)技术(参见文献“郁理.基于深度图像绘制的自由视点视频关键技术研究[D].[博士论文].中国科学技术大学，2010”)，以摄像机投影理论为视点绘制的理论基础，在已知摄像机内、外参数和参考图像深度信息的条件下，将参考视点中的像素点变换到目标视点下的图像平面中。理论上，可以实现任意位置的视点绘制，具有绘制速度快，带宽需求小的优点，是各种高级视频应用，如3D电视、自由视点电视的关键技术之一。
[0003]然而，DIBR技术也存在自身的局限性，I)目标视点图像不可避免的会产生空洞，一类空洞是由于计算中坐标取整时的近似处理造成的；另一类是由于参考视点位置的改变以及深度图不连续而产生的，这是最主要的问题。2)可视化问题，正常情况下应该是前景图像覆盖在背景之上，而实际中可能出现相反的情形，当两个不同的深度值投影到同一像素点时，会发生此种问题.3)边缘重影，由于深度信息及相机参数的精度等原因，在背景中出现了前景图像边缘区域的假象。
[0004]上述几个问题的出现，究其原因是深度信息不够理想，国内外许多学者对此进行了研究。一种方案是采用层次化深度图(LDI)技术(参见文献“Shade J, GortlerS，He L Wj et al.Layered depth images.Proceedings of the25th Annual Conferenceon Computer Graphics and Interactive Technique.New York，1998:231-242，，)，然而其传输带宽大、计算复杂度高的问题，使其不具有实际应用的价值.深度图预处理技术是另一个有效的途径，对应有各种滤波策略，如高斯滤波(参见文献“ZhangLjTam W J.Stereoscopic image generation based on depth images for3DTV.1EEETransactions on Broadcasting, 2005，51 (2): 191-199” )、基于边缘独立的深度滤波(参见文献“Wan-Yu Chen，Yu-Lin Chang, Shyh-Feng Linj et al.Efficient Depth ImageBased Rendering with Edge Dependent Depth Filter and Interpolation.Proceedingsof IEEE Conference on Multimedia and Expo，Amsterdam，2005:1314-1317”)、 基于SIFT配准的深度图预处理(参见文献“Hao-Peng Li，Markus Flierl.Sift-basedimprovement of depth imagery.Proceedings of IEEE Conference on Multimediaand Expo，Barcelona，2011:1-6，，以及文献 “Hu Dong, Sun Jianfeij Xu Ping.1mprovement of virtual view rendering based on depth image.Proceedings ofIEEE Conference on Image and Graphics，Hefei，2011:254-257，，)、视差域处理(参见 文 uTing-Ching Lin，Hsien-Chao Huang, Yueh-Min Huang.Preserving DepthResolution of Synthesized Images Using Parallax-Map-Based DIBR for3DTV.1EEETransactions on Consumer Electronics，2010，56 (2): 720_727，，)、形态学处理(参见文献“骆凯，李东晓，冯雅美等.基于DIBR和图像修复的任意视点绘制.中国图像图形学报，2010，15(3):443-449.”)等方法.这些方法都有效地缩小了空洞的尺寸、减少了空洞的数量，但对应深度图的精度也随之降低了，致使目标视点产生部分几何失真.还有一个思路是与图像修复技术(参见文献“骆凯，李东晓，冯雅美等.基于DIBR和图像修复的任意视点绘制.中国图像图形学报，2010，15(3):443-449，，以及文献“Tauber Z, Li Z N, Drew M S.Review and preview:DisoccIusion by Inpainting forimage-based rendering.1EEE Transactions on Systems Man and Cybernetics, PartC:Applications and Reviews, 2007，37(4):527 - 540”)相结合的空洞修补策略，但是增加了计算复杂度.另外一些方法(参见文献“Gang Song, Jinbao Xue, Hua L1.A newdouble-sided DIBR method for virtual view generation in3DTV.Proceedings ofIEEE Conference on Communication Technology, Jinan, 2011:1099-1102，，以及文献“Ndjik1-Nya Patrick, Koppel Martin, Doshkov Dimitar, et al.Depth Image-BasedRendering with advanced texture synthesis for3~D vide0.1EEE Transactions onMultimedia, 2011, 13(3):453-465")采用双边同时做视点变换，通过图像融合来绘制视点的策略，然而，当深度信息误差较大时，目标图像中易产生明显的重影。
【发明内容】
[0005]本发明的目的在于克服现有技术的不足与缺点，为有效解决当前方法的计算复杂度高，且视点质量易受深度图精度制约的问题，提供一种优化的基于分块投影的DIBR方法，其针对目标视点的空洞区域主要出现在深度不连续区域的特点，背景图像的深度变化相对平缓，可将其局部区域分块近似为平面区域，从而得以采用单应变换的方法进行绘制，较好地避免了传统方法中所有的像素点都依赖于深度信息的缺点，减少了目标视点图像的空洞和伪影，提高了主客观质量。
[0006]为实现上述目的，本发明所提供的技术方案为:一种基于分块投影的DIBR方法，首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像。
[0007]本发明所述基于分块投影的DIBR方法，包括以下步骤:
[0008]I)获取参考视点图像及对应的深度图，以及目标视点的深度图；
[0009]2)将参考图像分成若干分块区域，并近似作平面处理，以用于单应变换模型；
[0010]3)针对各分块区域，利用视点变换方程求取对应点对；
[0011]4)计算出各分块区域的单应矩阵，然后作单应变换，最后将各分块投影区域进行整合，并进行空洞修补得到最终的目标视点图像。
[0012]在步骤2)中，一个视点图像可经由单应矩阵映射到对应的另一个视点图像，前提是这两个图像在3D空间中的原像是一个空间平面，因此不能简单地将这个模型作用于整幅图像上；而就图像中的某一小块区域而言，由于在极小的范围内任何物体的表面都可近似为平面，此时对于单应变换模型成立；而分块区域的标准差描述如下:[0014]其中，分块区域的大小为NXM，d(n, m)表示该区域像素点对应的深度值，μ为区域内的平均深度值，σ u为标准差，它反映了整个第i行、第j列的分块区域的平均深度值的分散程度；我们用σ u来描述分块区域采用单应变换模型的近似误差，显然，σ u越小，则
误差越小。
[0015]在步骤3)中，所述视点变换方程为:m = PM，式中m和M分别表示像素点的相机空间和世界空间坐标，矩阵P表示摄像机矩阵；分块处理的方式为:将参考图像分成若干合适的分块区域，由于分块区域至少需要4个对应点对，因此规定分块区域的大小为MXN, 5 ^ N，MS 15，分块不宜过大，这样会增大单应变换模型的近似误差，也不宜过小，这会增加计算复杂度，通常取N = M = S ;然后，对分块区域进行单应变换:m' = Hum，式中矩阵Hu描述了参考视点图像的分块区域到目标视点图像的一一映射，称为单应矩阵，通过特征点求得；对应点对的定义:参考视点图像中分块区域的一个点m,经过视点变换能映射到目标视点图像的点m',则称顶点m与m'是一个对应点对。
[0016]在步骤4)中，所述单应变换的原理为:空间平面在两个摄像机下的图像点具有一一对应的关系，且这种对应关系是齐次线性的，可由一个三阶矩阵即单应矩阵来描述:m' = Hum;矩阵Hu称为单应矩阵，它是齐次的，有8个自由度，如下所示:
【权利要求】
1.一种基于分块投影的DIBR方法，其特征在于:首先，获取参考视点的彩色图像、深度图和两个视点的摄像机几何参数；其次，将参考图像分成若干的分块区域，并对每个分块区域进行投影变换；最后，将目标视点图像中各分块区域整合，并修复空洞，以得到最终的目标视点图像。
2.根据权利要求1所述的一种基于分块投影的DIBR方法，其特征在于，包括以下步骤: 1)获取参考视点图像及对应的深度图，以及目标视点的深度图； 2)将参考图像分成若干分块区域，并近似作平面处理，以用于单应变换模型； 3)针对各分块区域，利用视点变换方程求取对应点对； 4)计算出各分块区域的单应矩阵，然后作单应变换，最后将各分块投影区域进行整合，并进行空洞修补得到最终的目标视点图像。
3.根据权利要求2所述的一种基于分块投影的DIBR方法，其特征在于:在步骤2)中，一个视点图像可经由单应矩阵映射到对应的另一个视点图像，前提是这两个图像在3D空间中的原像是一个空间平面，因此不能简单地将这个模型作用于整幅图像上；而就图像中的某一小块区域而言，由于在极小的范围内任何物体的表面都可近似为平面，此时对于单应变换模型成立；而分块区域的标准差描述如下:
4.根据权利要求2所述的一种基于分块投影的DIBR方法，其特征在于:在步骤3)中，所述视点变换方程为:m = PM，式中m和M分别表示像素点的相机空间和世界空间坐标，矩阵P表示摄像机矩阵；分块处理的方式为:将参考图像分成若干合适的分块区域，由于分块区域至少需要4个对应点对，因此规定分块区域的大小为MXN，5 < N，M < 15，分块不宜过大，这样会增大单应变换模型的近似误差，也不宜过小，这会增加计算复杂度，通常取N = M=8 ;然后，对分块区域进行单应变换:m' = HijHi,式中矩阵Hij描述了参考视点图像的分块区域到目标视点图像的一一映射，称为单应矩阵，通过特征点求得；对应点对的定义:参考视点图像中分块区域的一个点m，经过视点变换能映射到目标视点图像的点，则称顶点m与V是一个对应点对。
5.根据权利要求2所述的一种基于分块投影的DIBR方法，其特征在于:在步骤4)中，所述单应变换的原理为:空间平面在两个摄像机下的图像点具有一一对应的关系，且这种对应关系是齐次线性的，可由一个三阶矩阵即单应矩阵来描述:m' = HijHi ;矩阵Hij称为单应矩阵，它是齐次的，有8个自由度，如下所示:
【文档编号】H04N13/00GK103945209SQ201410175458
【公开日】2014年7月23日 申请日期:2014年4月28日 优先权日:2014年4月28日
【发明者】吴军政, 孙季丰, 李万益 申请人:华南理工大学