专利名称：一种适于3d电视虚拟视点生成的优化方法
技术领域：
本发明涉及一种适于3D电视虚拟视点生成的优化方法。
背景技术：
相较于普通的ニ维电视，三维电视(3DTV)由于其提供了场景的深度信息而能够给用户带来身临其境的感受，同时由于其多角度的立体视觉使用户与电视场景信息更具交互性，被认为是继高清平板电视之后又ー个新的电视发展方向。3D电视多角度立体效果的实现需要多个视点的视频图像流，基于深度图的虚拟视点绘制(DIBR)技术作为3D电视产生虚拟视点图像实现多视角立体感受的ー项关键技术，其能够利用ニ维彩色图像和对应的深度图像完成对任意虚拟视点彩色图像的绘制。但是利用DIBR技术生成的虚拟视点图像质量不高，主要存在的问题有重叠、重采样和空洞问题。
发明内容
本发明的目的是为了克服上述现有技术的不足，提供一种优化的虚拟视点生成方法，解决DIBR技术过程中出现的重叠、重采样和空洞问题，提高生成的虚拟视点图像质量，保证后期的立体视觉效果。为实现上述目的，本发明采用下述技术方案一种适于3D电视虚拟视点生成的优化方法，该方法的优化步骤如下步骤I :利用摄像系统首先获取參考视点图像及其深度图，同时获取辅助參考视点图像；步骤2 :利用闭运算对參考视点图像的深度图进行预处理；步骤3 :对參考视点图像和经过闭运算处理后的深度图，进行三维图像变换，得到虚拟视点图像；步骤4 :对生成的虚拟视点图像利用基于欧式距离和深度值的像素分配算法解决虚拟视点图像中的重叠和细纹空洞问题,处理过程如下(a)设虚拟视点图像中的目标整像素点为0(i，j)，首先判断投影在0(i，j)上的像素点的个数，如果为1，则不进行任何处理；如果大于1，则比较对应的深度值，取深度值最大也就是最靠前的像素进行赋值；如果为0，则检测以0(i，j)为中心的2X2像素格内的非整像素点的个数；(b)如果在2X2这个范围内的非整像素点的个数为零，那么判定0(i，j)为空洞点，不进行赋值；如果在2X2这个范围内非整像素点的个数不为零，则比较这些非整像素点的深度值，求出深度值最大的像素点；(c)判断深度值最大的像素点是否唯一，如果深度值最大的像素点唯一，将此点的像素值赋给目标整像素点，并转入步骤(d)继续执行；如果深度值最大的像素点不唯一，就分别计算剩余非整数像素点到目标整像素点的欧氏距离，这些欧氏距离中，与目标整像素点距离最小的非整数像素点即为最佳匹配点，将该非整数像素点的值赋给目标整像素点，并转入步骤(d)继续执行；如果欧氏距离仍存在相等的情况，那么就将剩余非整数像素点的平均值赋给目标整像素点，并转入步骤(d)继续执行；无论以上哪种情况，都是将深度值最大的非整像素点赋值，这保证了虚拟视点观看者看到的是前景物体，不会出现重叠问题；(d)继续寻找下ー个目标整像素点，重复步骤(a)-(c)，直至整个目标整像素点处理完毕；步骤5 :经过步骤4的处理，虚拟视点图像的细纹空洞已经处理完毕，但仍存在由于遮挡造成的空洞，通过对生成的虚拟视点图像进行逆三维图像变换来填补大面积空洞，得到了高质量的虚拟视点图像。所述步骤3中三维图像变换的过程如下(A)将參考视点图像上所有的像素点的深度图信息，投影到它们对应的三维空间中；(B)将三维空间上的点，根据目标虚拟视点与參考视点之间的角度，投影到目标图像上，以上为ー个ニ维转换为三维再重新转换为ニ维的过程；其中，三维图像变换公式为Z J3、= Z1k2Ek^1P1 +k2t其中，P为空间任意一个三维点め=(u1； V1,1)T、P2 = (u2, ν2,1)τ为P点在两个视点图像上的投影；R为ー个3X3的旋转矩阵，t为ー个3X I的平移矩阵丸和k2分别表示第一个和第二个摄像机的内參数矩阵(Lx和Z2分别表示两个摄像机坐标系的场景深度。所述步骤5中，所述的逆三维图像变换包含如下步骤(A)利用三维图像变换公式Z2ち=ZJc2MT1P1 进行变换，不同的是，这次是结合深度信息将生成的目标虚拟视点图像的空洞像素投影至辅助參考视点的图像平面，并且标记这些空洞像素的位置信息，然后与已知的辅助參考视点图像像素位置进行对照；(B)利用相对位置的辅助參考视点图像像素信息对空洞进行填充。所述欧氏距离的计算公式为
权利要求
1.一种适于3D电视虚拟视点生成的优化方法，其特征是，该方法的优化步骤如下 步骤I :利用摄像系统首先获取参考视点图像及其深度图，同时获取辅助参考视点图像； 步骤2 :利用闭运算对参考视点图像的深度图进行预处理； 步骤3 :对参考视点图像和经过闭运算处理后的深度图，进行三维图像变换，得到虚拟视点图像； 步骤4 :对生成的虚拟视点图像利用基于欧式距离和深度值的像素分配算法解决虚拟视点图像中的重叠和细纹空洞问题，处理过程如下 (a)设虚拟视点图像中的目标整像素点为0(i，j)，首先判断投影在0(i，j)上的像素点的个数，如果为1，则不进行任何处理；如果大于1，则比较对应的深度值，取深度值最大也就是最靠前的像素进行赋值；如果为O，则检测以0(i，j)为中心的2X2像素格内的非整像素点的个数； (b)如果在2X2这个范围内的非整像素点的个数为零，那么判定0(i，j)为空洞点，不进行赋值；如果在2X2这个范围内非整像素点的个数不为零，则比较这些非整像素点的深度值，求出深度值最大的像素点； (c)判断深度值最大的像素点是否唯一，如果深度值最大的像素点唯一，将此点的像素值赋给目标整像素点，并转入步骤(d)继续执行；如果深度值最大的像素点不唯一，就分别计算剩余非整数像素点到目标整像素点的欧氏距离，这些欧氏距离中，与目标整像素点距离最小的非整数像素点即为最佳匹配点，将该非整数像素点的值赋给目标整像素点，并转入步骤(d)继续执行；如果欧氏距离仍存在相等的情况，那么就将剩余非整数像素点的平均值赋给目标整像素点，并转入步骤(d)继续执行；无论以上哪种情况，都是将深度值最大的非整像素点赋值，这保证了虚拟视点观看者看到的是前景物体，不会出现重叠问题； (d)继续寻找下一个目标整像素点，重复步骤(a)-(c)，直至整个目标整像素点处理完毕； 步骤5 :经过步骤4的处理，虚拟视点图像的细纹空洞已经处理完毕，但仍存在由于遮挡造成的空洞，通过对生成的虚拟视点图像进行逆三维图像变换来填补大面积空洞，得到了高质量的虚拟视点图像。
2.如权利要求I所述的一种适于3D电视虚拟视点生成的优化方法，其特征是，所述步骤3中三维图像变换的过程如下 (A)将参考视点图像上所有的像素点的深度图信息，投影到它们对应的三维空间中； (B)将三维空间上的点，根据目标虚拟视点与参考视点之间的角度，投影到目标图像上，以上为一个二维转换为三维再重新转换为二维的过程；其中，三维图像变换公式为 Z2^P2 = Z^2Rk;1 P1 +k2t 其中，P为空间任意一个三维点；Pi = (U1, V1,1)T、P2 = (u2，V2,1)T为P点在两个视点图像上的投影；R为一个3X3的旋转矩阵，t为一个3X I的平移矩阵丸和k2分别表示第一个和第二个摄像机的内参数矩阵(Lx和Z2分别表示两个摄像机坐标系的场景深度。
3.如权利要求I所述的一种适于3D电视虚拟视点生成的优化方法，其特征是，所述步骤5中，所述的逆三维图像变换包含如下步骤 (A)利用三维图像变换公式之2尽=Z1A2M1-1P1+AJ进行变换，不同的是，这次是结合深度信息将生成的目标虚拟视点图像的空洞像素投影至辅助参考视点的图像平面，并且标记这些空洞像素的位置信息，然后与已知的辅助参考视点图像像素位置进行对照； (B)利用相对位置的辅助参考视点图像像素信息对空洞进行填充。
4.如权利要求I所述的一种适于3D电视虚拟视点生成的优化方法，其特征是，所述欧氏距离的计算公式为
全文摘要
本发明公开了一种适于3D电视虚拟视点生成的优化方法；它包括预处理深度图、三维图像变换、基于欧式距离和深度值的像素分配算法和逆三维图像变换四部分，步骤如下首先获取参考视点图像及其深度图和获取辅助参考视点图像，对深度图进行闭运算预处理；对参考视点图像进行三维图像变换获取虚拟视点图像；利用基于欧式距离和深度值的像素分配算法解决虚拟视点图像中的遮挡和细纹空洞问题；利用逆三维图像变换解决虚拟视点图像大面积空洞问题。本发明与原有的DIBR技术相比，生成的虚拟视点图像质量明显提高。
文档编号H04N13/00GK102625127SQ201210080739
公开日2012年8月1日 申请日期2012年3月24日 优先权日2012年3月24日
发明者孟显奎, 宋刚, 张巍巍, 曹洪剑, 薛金宝 申请人:山东大学