引入颜色校正的自由视点图像合成方法

引入颜色校正的自由视点图像合成方法
【专利摘要】本发明公开了一种引入颜色校正的自由视点图像合成方法，主要解决现有自由视点合成技术中合成图像颜色不连续和空洞边缘模糊的问题。其实现步骤为：输入左、右视点视图及各自对应的深度图，经过3D变换得到左、右虚拟视图；依据位置关系由左、右虚拟视图合成中间虚拟视图的非闭塞区域；用虚拟视图背景区域间的颜色差异替代虚拟视图闭塞区域间的颜色差异，并利用直方图匹配算法得到经过颜色校正的闭塞区域；融合非闭塞区域和经过颜色校正的闭塞区域，得到有空洞点的中间视点图像；对有空洞点的中间视点图像进行逐层的空洞填充，得到最终的合成虚拟视图。本发明提高了合成虚拟图像的质量，提升了3D视频的观看舒适度，可用于立体多媒体。
【专利说明】
引入颜色校正的自由视点图像合成方法
技术领域
[0001] 本发明属于图像处理技术领域，特别设及一种自由视点图像合成方法，可用于立 体多媒体。
【背景技术】
[0002] 由于立体多媒体3DTV可W提供更加真实自然，極極如生的视觉环境，近年来被广 大消费者熟知认可并逐步渗入多媒体市场，自由视点合成作为3DTV领域的核屯、技术被广大 科研人员学习研究。由于3D视频对观看位置是有要求的，即不同位置应该接收到不同的视 差即深度信息，运就意味着每个观看位置都应该有一个对应的机位来进行场景拍摄，由于 立体相机造价高及拍摄条件限制，全方位拍摄太难实现。自由视点图像合成有效解决的了 运一技术难题，对丰富立体视频资源和3DTV领域的发展至关重要。
[0003] 自由视点图像合成是基于左右视点视图及其深度图像合成中间视点虚拟视图的 一项技术。合成新视点图像过程中，由于视点的变换，部分闭塞区域会重新暴露在视野内， 运就需要左右视点图像进行合成W填补新暴露区域。2009年，Y.Mori等人首次提出了比较 科学系统的自由视点合成方法(Y.Mori ,N.F'ukushima,T.Yendo,T.F'ujii and M.Tanimoto, View generation with 3D warping using depth information for FTV, Signal Processing: Image Communication,24,65-72,2009)，主要分为W下四步：
[0004] 1)3D变换:3D变换实质上是投影的过程，Mori采用的是正向投影方式，基于空间变 换关系，将左右视图及其深度图像投影到目标视点位置，得到目标视点的虚拟左右视图。
[0005] 2)舍入误差移除：3D正向投影过程中，对坐标的四舍五入导致变换后的虚拟视图 中出现一个像素的缺失，需要检测出误差像素点并用周围像素填充，进而完成对误差像素 点的移除。
[0006] 3)左右虚拟视图合成:通过位置关系融合左右虚拟视图得到非闭塞区域，并分别 用左右虚拟视图填补中间视图中左右侧新暴露出的闭塞区域，得到目标虚拟视图。
[0007] 4)图像修复：由于深度突变，3D变换过程中还会出现另外一种形式的像素缺失，称 之为空桐，需要通过一些图像修复算法进行空桐填充。
[000引针对3D变换中舍入误差的问题，K.J.她等人提出了一种由目标视点位置向左右视 点位置投影的逆向投影策略（K.J.Oh, S.Yea, A.Vetro and Y.S.Ho, Virtual View Synthesis Method and Self-Evaluation Metrics for Free Viewpoint Television and 3D Video, International Journal of Imaging Systems and Technology,20,378- 390,2010)，将舍入误差取在左右视点位置坐标处，保证每个非闭塞区域的目标视点都有对 应的映射像素点，有效避免了误差像素缺失的问题。
[0009]在左右虚拟视图合成过程中，由于暴露出的闭塞区域要同时用到左右视图来填 补，而左右视点拍摄条件不可能一致，左右视图存在颜色，亮度和饱和度上的差异，运就产 生了合成图像颜色不连续的问题。针对运一问题，K.J.她等人在文中也提出了一种直方图 匹配算法，将左右视图之一视为主视图，另一个视为辅助视图。首先依据位置关系，由主视 图和辅助视图合成中间虚拟视图；然后计算虚拟视图和主视图的频率分布直方图，通过直 方图匹配，使虚拟视图和主视图有相同的颜色特征;最后用主视图和辅助视图填补虚拟视 图中的闭塞区域。该方法有效解决了合成图像和主视图之间的颜色不连续问题，但是合成 图像和辅助图像间的颜色不连续情况依旧十分明显。
[0010]空桐填充是自由视点图像合成从及20转3D中的重要问题。K.J.Oh提出空桐来自背 景（K.J.0h,S.Yea and Y.S.Ho,Hole filling method using depth based in-painting for view synthesis in free viewpoint television and 3-d video,Proc.Picture Coding Symposium, 1-4,2009)，并依据深度信息分离出前景背景，进而用背景信息进行空 桐填充，但是具体填充方式并不详尽和理想。M.Solh提出一种简单高效的逐层空桐填充方 式（M.Solh and G.AlRegib.Hierarchical hole-filling for depth-based view synthesis in FTV and 3D video, IEEE Journal on Selected Topics in Signal Processing, 6,495-504,2012),其缺点是忽略了背景填充空桐的必要性，造成填充区域边 缘模糊的后果。

【发明内容】

[0011] 本发明的目的针对上述已有技术的不足，提出引入颜色校正的自由视点图像合成 方法，W完全消除合成图像中颜色的不连续，提高填充区域边缘的清晰度。
[0012] 本发明技术方案是:通过对3D变换后的左右视图进行基于颜色校正的视图合成， 并对合成虚拟视图进行基于深度信息的逐层空桐填充，得到颜色连续的高质量中间视点视 图。其步骤包括如下：
[0013] 1)输入左右视点视图及它们对应的深度图，基于位置关系和投影方程将左右视图 及深度图投影到中间视点平面，得到左虚拟视图Wl，右虚拟视图Wr，左虚拟深度图化和右虚 拟深度图化；
[0014] 2)将左虚拟视图的闭塞区域Wl'与右虚拟视图的闭塞区域Wr'重合，将左虚拟视图 的非闭塞区域化与右虚拟视图的非闭塞区域Mr重合；
[0015] 3)将左虚拟视图的非闭塞区域Ml和右虚拟视图的非闭塞区域Mr进行加权融合，得 到中间虚拟视图的非闭塞区域部分M;
[0016] 4)将左虚拟深度图的非闭塞区域化与右虚拟深度图的非闭塞区域Nr进行加权融 合，得到中间虚拟深度图的非闭塞区域N;
[0017] 5)将中间虚拟深度图的非闭塞区域N、左虚拟深度图的闭塞区域化'和右虚拟深度 图的闭塞区域化'进行融合，得到最终的中间虚拟深度图Ao;
[0018] 6)对中间虚拟视图的非闭塞区域Μ进行图像分割，分离出前景Mf和背景Mb;
[0019] 7)统计非闭塞区域背景和闭塞区域的直方图：
[0020] 7a)由分割出的背景区域Mb,对应找出左虚拟视图中的背景区域化b和右虚拟视图 中的背景区域MRb，分别作中间虚拟视图背景区域Mb的统计直方图化，左虚拟视图背景MLb的 统计直方图化b和右虚拟视图背景MRb的统计直方图曲b;
[0021] 7b)作左虚拟视图闭塞区域Wl'的统计直方图化'和右虚拟视图闭塞区域Wr'的统计 直方图化'；
[0022] 8)计算背景区域直方图之间的差异，用其替代闭塞区域直方图之间的差异，得到 中间虚拟视图左侧闭塞区域的统计直方图Cl和右侧闭塞区域的统计直方图Cr;
[0023] 9)采用直方图匹配算法，将左虚拟视图闭塞区域的统计直方图化'匹配至中间虚 拟视图左侧闭塞区域的统计直方图Cl，得到颜色校正后的中间虚拟视图左侧闭塞区域CfL， 同理将右虚拟视图闭塞区域的统计直方图化'匹配至中间虚拟视图右侧闭塞区域的统计直 方图Cr，得到颜色校正后的中间虚拟视图右侧闭塞区域CfR;
[0024] 10)将中间虚拟视图的非闭塞区域Μ、左侧闭塞区域CfL和右侧闭塞区域CfR进行融 合，得到新的中间虚拟视图Bo;
[0025] 11)根据虚拟深度图Ao中的深度信息，选取背景像素对其W及中间虚拟视图Bo进行 逐层下采样，得到各层降采样虚拟深度图Ak和虚拟视图Bk，直至最终层S层的虚拟深度图As 和虚拟视图化中没有空桐；
[0026] 12)从第S层开始，逐层向上填充降采样虚拟视图Bk'中的空桐，得到各层的修复图 像Fk'，直至得到初始层修复图像Fo,也就是最终的自由视点图像。
[0027] 本发明与现有技术相比具有W下特点：
[0028] 1.本发明运用统计学理论和替换思想进行颜色校正，用中间视图与左右视图非闭 塞区域之间的颜色差异反应中间视图与左右视图闭塞区域之间的颜色差异，进而解决合成 虚拟视图闭塞区域与非闭塞区域之间的颜色不连续问题。
[0029] 2.本发明采用图像分割算法，对非闭塞区域进行前景背景的分割，用合成图像与 左右视图背景区域之间的颜色差异反应闭塞区域之间的颜色差异，由于闭塞区域来自背 景，用背景区域的颜色差异反应闭塞区域的颜色差异更准确合理。
[0030] 3.本发明采用直方图匹配算法，将原左右视图中闭塞区域的直方图匹配至颜色校 正后闭塞区域的直方图，重构的闭塞区域图像不仅自然，而且可W和非闭塞区域无色差衔 接。
[0031] 4.本发明采用基于深度的逐层空桐填充算法，基于深度信息，有目的的选择背景 邻域像素点填充空缺像素，运种精确的填充方法有效地提高了合成虚拟视图的图像质量。
[0032] 仿真实验结果表明，本发明结合基于直方图匹配的颜色校正算法和基于深度的逐 层空桐填充算法进行虚拟视图的合成，可W得到真实自然的合成图像，是一种能显著提高 观看舒适度的系统完善的自由视点视图合成算法。
【附图说明】
[0033] 图1是本发明的实现总流程图；
[0034] 图2是本发明中基于深度的逐层空桐填充子流程图；
[0035] 图3是仿真试验中使用的测试图像；
[0036] 图4是对测试集Ballet,用本发明和现有两种典型方法合成的自由视点图像与真 值之间的结果对比；
[0037] 图5是对测试集化eakdancing，用本发明和现有两种典型方法合成的自由视点图 像与真值之间的结果对比。
【具体实施方式】
[0038] W下结合附图对本发明的【具体实施方式】和效果做进一步详细描述：
[0039] 参照图1，本发明的【具体实施方式】如下：
[0040] 步骤1，输入左右视点视图及它们对应的深度图并进行3D转换。
[0041] la)输入待合成的左视点视图L和它对应的左视点深度图Ld，右视点视图R和它对 应的右视点深度图化；
[0042] 化)基于位置关系和投影方程对它们进行3D逆向变换，将左视点视图L投影到中间 视点平面得到左虚拟视图Wl，将右视点视图R投影到中间视点平面得到右虚拟视图Wr，将左 视点深度图Ld投影到中间视点平面得到左虚拟深度图Dl，将右视点深度图Rd投影到中间视 点平面得到右虚拟深度图化。
[0043] 运里用到的左右视点视图，左右视点深度图，位置信息W及投影矩阵都来源于微 软研究院提供的数据库，Microsoft Research, Image-Based Realities-3D Video Download,/ http://research.microsoft.com/ivm/3DVideoDownload/S。
[0044] 步骤2,重合左虚拟视图和右虚拟视图的闭塞区域，重合左虚拟视图和右虚拟视图 的非闭塞区域。
[0045] 由于视角的变化，经过3D变换后的左虚拟视图Wl和右虚拟视图Wr都会有新的暴露 区域出现，在原始输入视图中没有运部分新暴露区域的图像信息，运部分缺失图像信息的 新暴露区域即为闭塞区域，如果左虚拟视图中有一块闭塞区域，就人为的抹去右视图中与 之对称区域的图像信息，如果右虚拟视图中有一块闭塞区域，就人为的抹去左视图中与之 对称区域的图像信息，进而使左虚拟视图和右虚拟视图有重合的左虚拟视图闭塞区域化和 右虚拟视图闭塞区域Mr,同时也有重合的左虚拟视图非闭塞区域Wl'和右虚拟视图非闭塞区 域 Wr'。
[0046] 步骤3,合成中间虚拟视图的非闭塞区域Μ。
[0047] 3a)基于数据库中提供的位置关系，计算左视点到中间视点的几何距离tL和右视 点到中间视点的几何距离tR，依据几何距离，计算在合成中间虚拟视图非闭塞区域的过程 中，左虚拟视图非闭塞区域的权重系数α和右虚拟视图非闭塞区域的权重系数1-0,其中：
[004引 3b)基于权重系数，对左虚拟视图非闭塞区域Ml与右虚拟视图非闭塞区域Mr进行加 权融合，得到中间虚拟视图的非闭塞区域部分:Μ=α .化+(1-α) . Mr。
[0049] 步骤4，合成中间虚拟深度图的非闭塞区域N。
[0050] 依据步骤3中的权重系数α，将左虚拟深度图的非闭塞区域化与右虚拟深度图的非 闭塞区域Nr进行加权融合，得到中间虚拟深度图的非闭塞区域Ν:Ν=α .化+(1-α) . Nr;
[0051] 步骤5,合成中间虚拟深度图Ao。
[0052] 融合中间虚拟深度图的非闭塞区域N、左虚拟深度图的闭塞区域化'和右虚拟深度 图的闭塞区域化'，得到最终的中间虚拟深度图:Ao = N+Dl ' +化'。
[0053] 步骤6,对中间虚拟视图的非闭塞区域Μ进行图像分割。
[0054] 由于单独依赖深度信息不能准确地分离出前景和背景，可W采用现存的一些比较 有效的图像分割算法，对中间虚拟视图的非闭塞区域Μ进行图像分割，准确的分离出前景Mf 和背景Mb。现有图像分割方法可参见文献：
[0055] [1],D.Comaniciu,P.Meer,"Mean shift:a robust approach toward feature space analysisIEEE Transactions on Pattern Analysis and Machine Intelligence,vol.24,no.5,pp.603-619,2002；
[0056] [2].P.Meer,B.Georges州，"Edge detection with embedded confidenceIEEE Trans.Pattern Anal.Machine Intel1,vol.2 8,2001；
[0057] [3].C.Christoudias,B.Georgescu,P.Meer, "Synergism in low level vision,"International Conference of Pattern Recognition,2001.
[005引步骤7,统计非闭塞区域背景和闭塞区域的直方图。
[0059] 7a)依据中间虚拟视图背景区域Mb,对应找出左虚拟视图中的背景区域化b和右虚 拟视图中的背景区域MRb，根据直方图统计算法，在像素值为[0,255]的统计区间内，分别作 中间虚拟视图背景区域Mb的统计直方图化，左虚拟视图背景化b的统计直方图化b和右虚拟视 图背景MRb的统计直方图曲b;
[0060] 7b)根据直方图统计算法，在像素值为[0,255]的统计区间内，作左虚拟视图闭塞 区域Wl'的统计直方图化'和右虚拟视图闭塞区域Wr'的统计直方图化'。
[0061] 步骤8,作中间虚拟视图的左侧闭塞区域统计直方图Cl和右侧闭塞区域统计直方 图Cr。
[0062] 由于闭塞区域，也就是被遮挡的图像部分来源于背景，所W左视图与中间虚拟视 图闭塞区域的颜色差异，可W用左视图与中间虚拟视图背景区域之间的颜色差异来替代， 同理右视图与中间虚拟视图闭塞区域的颜色差异，可W用右视图与中间虚拟视图背景区域 之间的颜色差异来替代。
[0063] 8a)用左虚拟视图背景的统计直方图化b减去中间虚拟视图背景的统计直方图化， 得到左虚拟视图背景区域与中间虚拟视图背景区域之间的统计平均差值直方图DiffL;同 理，用右虚拟视图背景的统计直方图化b减去中间虚拟视图背景的统计直方图化，得到右虚 拟视图背景区域与中间虚拟视图背景区域之间的统计平均差值直方图DiffR;
[0064] 8b)基于上面的替换思想，将统计平均差值直方图DiffL加在左虚拟视图闭塞区域 的统计直方图化'之上，得到中间虚拟视图左侧闭塞区域的统计直方图Cl;同理，将统计平均 差值直方图DiffR加在右虚拟视图闭塞区域的统计直方图化'之上，得到中间虚拟视图右侧 闭塞区域的统计直方图Cr。
[0065] 步骤9,通过直方图匹配对左虚拟视图闭塞区域和右虚拟视图闭塞区域进行颜色 矫正。
[0066] 9a)将左虚拟视图闭塞区域中像素点的像素值投影至左右临近像素值，W改变左 虚拟视图闭塞区域的统计直方图化'，使其趋同于中间虚拟视图左侧闭塞区域的统计直方 图紅，即通过直方图匹配，将左虚拟视图闭塞区域的统计直方图化'匹配至中间虚拟视图左 侧闭塞区域的统计直方图Cl，得到经过颜色校正的左虚拟视图闭塞区域CfL;
[0067] 9b)将右虚拟视图闭塞区域中像素点的像素值投影至左右临近像素值，W改变右 虚拟视图闭塞区域的统计直方图化'，使其趋同于中间虚拟视图左侧闭塞区域的统计直方 图Cr，即通过直方图匹配，将右虚拟视图闭塞区域的统计直方图化'匹配至中间虚拟视图右 侧闭塞区域的统计直方图Cr，得到经过颜色校正的右虚拟视图闭塞区域CfR。
[006引步骤10,合成中间虚拟视图Bo。
[0069]基于经过颜色校正的左虚拟视图闭塞区域CfL，右虚拟视图闭塞区域CfR和融合后 的中间虚拟视图非闭塞区域Μ，合成中间虚拟视图：Bo=M+Cf L+Cf R。
[0070] 步骤11，对中间虚拟深度图Ao和中间虚拟视图Bo进行逐层下采样。
[0071] M.Solh提出的逐层空桐填充算法可W用来填充合成虚拟视图中的空桐，首先进行 逐层下采样，得到各层的下采样虚拟视图，然后由最底层开始，逐层向上修复各层的下采样 虚拟视图，得到初始层的修复图像。该算法忽视了空桐来源于背景运一有利信息，得到的修 复图像在空桐区域边缘模糊，因此本发明在下采样过程中加入背景信息，解决空桐区域边 缘模糊的问题，其步骤如下：
[0072] 参照图2的实屯、箭头所示，本步骤的具体实现如下：
[0073] 11a)根据虚拟深度图Ao中的深度信息，选取背景像素对其进行逐层下采样，至最 终层中没有空桐点，依次得到Ao的各层下采样图像Ai，A2,…，Ak，-|，As，其中第k层虚拟深度 图Ak是基于其上一层虚拟深度图Ak-i得到，虚拟深度图Ak中任意一点(m，n)的求取公式如下：
[0074]
[0075] 其中，Xm,n是第k-1层虚拟深度图Ak-i中一个大小为5X5的矩阵块，其中屯、点在(2X m+3,2 X n+3)处；ω是一个5X5的高斯核;qh是用来划分前景与背景的阔值，深度值大于姐 为背景，小于姐为前景;L(x)函数用来选取背景像素点
表示矩阵U 中非零点的个数;num(v)表示满足条件V的元素个数;k的取值由1到S逐一递增，S是使虚拟 深度图As中没有空桐点的最终层。
[0076] 也就是说，虚拟深度图Ak中任意一点(m,n)的像素值Ak(m,n)，是通过对虚拟深度图 Ak-l中的矩阵块紅,η进行基于深度的各向异性平滑滤波求得：
[0077] 当矩阵块Xm,η中的像素点不含空桐点，且所有像素点都属于背景或者前景时，对 Xm,n中所有像素点进行高斯平滑，得到点(m，n)的像素值Ak(m，n);
[007引当矩阵块Xm,η中含有空桐点，但所有非空桐点都属于背景或者前景时，对Xm,η中所 有非空桐点像素值进行加权平均，得到点(m，n)的像素值Ak(m，n);
[0079] 当矩阵块Xm,η中的非空桐点部分属于前景部分属于背景时，选取Xm,η中的所有背景 像素点进行像素值的加权平均，得到点(m，n)的像素值Ak(m，n);
[0080] 当矩阵块Xm,n中的像素点分布不属于上述Ξ种情况是，点(m，n)的像素值Ak(m，n) 为零。
[0081] 11b)根据虚拟深度图Ao中的深度信息，选取背景像素对虚拟视图Bo进行逐层下采 样，至最终层中没有空桐点，依次得到Bo的各层下采样图像Bi，B2，···，化，…，Bs，其中任意第k 层虚拟视图Bk是基于其上一层虚拟视图Bk-i得到，虚拟视图Bk中任意一点(m，n)的求取公式 如下：
[0082]
[0083] 其中，Ym,η是第k-1层下采样虚拟视图Bk-I中一个大小为5X5的矩阵块，其中屯、点在 (2 Xm+3,2 Xn+3)处，Xm,n是步骤1 la)中提到的第k-1层虚拟深度图Ak-i中的矩阵块，其大小 和位置都与Ym,η对应，用来提供深度信息，也就是说，虚拟视图Bk中任意一点(m，η)的像素值 81^(111，11)，是通过对虚拟视图8^中的矩阵块￥",。进行基于深度的各向异性平滑滤波求得，深 度信息由矩阵块Xm, η提供。
[0084] 步骤12,通过上采样逐层修复空桐，得到最终自由视点图像Fo。
[0085] 参照图2的空屯、箭头所示，本步骤的具体实现如下：
[0086] 12a)依据第S层的下采样虚拟视图化中没有空桐的特性，将第S层的虚拟视图化等 同于第S层的修复图像Fs，目阳s = Bs;
[0087] 12b)通过线性插值，对第S层修复图像Fs进行上采样，得到与S-1层等分辨率的膨 胀虚拟视图Es-i，其中Es-冲位于第P行、第q列的点（p，q)的像素值Es-i(p，q)按如下公式求 取：
[008引
[0089] 其中i'仅取偶数{-2,0,2}，j'同样仅取偶数{-2,0,2}，1'〇''用来选取修复图像尸5 中W点(P，q)为中屯、的3X3的矩阵块，通过对所选3X3矩阵块进行基于权重向量货的平滑滤 波，得到膨胀虚拟视图E S - 1中点（P，q )的像素值E S - 1 ( P，q );权重向量 料=[0.始，0.巧，0.40, 0.25, 0.敝]，用来决定上述修复图像Fs中所选矩阵块内各元素所占权 重：
[0090] 当i '=-2, j '=-2 时，元素
旨 PFs(p-l，q-l)所占权重 餐(/ + 3)巧(/ + 3)为:</>(-2 + 3) X (/)(-2 + 3) = </>(?) X 例 1) = 0.052;
[0091] 当;['=-20'=0时，元素尸5(口-1，9)所占权重與0''+3)餐(/+3)为0.02;
[OOW]当i' =-2, j' = 2时，元素 Fs(p-1，q+l)所占权重资片 +3)巧(/ + ；3)为 0.052;
[0093] 当i' =0, j' =-2时，元素 Fs(p，q-1)所占权重口(/' 十3)抑/+3)为0.02;
[0094] 当i'=0,j'=0时，元素 Fs(p，q)所占权重</>(/ H-3)與(./ +；3)为:0.042;
[0095] 当i' =0, j' = 2时，元素 Fs(p，q+1)所占权重皆(/'+3物(/+3)为0.02;
[0096] 当 i ' = 2，j ' = -2时，元素 Fs (p+1，q-1)所占权重 f (/ + 3 物(/ + 巧为0.052;
[0097] 当i' = 2, j' =0时，元素 Fs(p+1，q)所占权重抑+3)餐(/+刊为0.02;
[009引当i' = 2, j' = 2时，元素 Fs(p+1，q+l)所占权重+3) 口 (,/ + 3)为0.052。
[0099] 12c)用膨胀虚拟视图Es-i中的像素点，填充同一层的虚拟视图Bs-i中空桐处的像素 点，得到S-1层的修复图像Fs-i，其中Fs-冲位于第P行、第q列的点(p，q)的像素值Fs-i(p，q)按 如下公式求取：
[0100]
[0101] 步骤12b)和12c)给出了由S层过渡到S-1层，并得到S-1层修复图像Fs-I的过程，下 面将运一过程应用到任意第k'层，并得到k'-l层的修复图像Fk'-i;
[0102] 12d)通过步骤12b)，对任意第k'层修复图像Fk'进行上采样，得到与k'-l层等分辨 率的膨胀虚拟视图化'-1，再通过步骤12c)用膨胀虚拟视图化'-1中的像素点填充同一层虚拟 视图Bk'-冲空桐处的像素点，得到k'-l层的修复图像Fk'-i，k'的取值由S-巧IjO逐一递减，即 由S-1层开始，逐层向上重复循环步骤12b)和12c)，依次得到各层的修复图像Fs-i，Fs-2，···， Fk'，…，机，初始层修复图像Fo即为最终的自由视点图像。
[0103] 本发明的效果可W通过W下实验进一步说明：
[0104] 1.仿真条件：
[0105] 在CPU为Core(TM)、3.20細Z、内存4.00G、WIND0WS XP系统，Matlab R2012b平台上 进行了仿真。
[0106] 本发明选择两组测试图像进行仿真，运两组测试图像如图3,其中图3(a)是Ballet 测试集的左视点视图，图3(b)是Ballet测试集的左视点深度图，图3(c)是Ballet测试集的 右视点视图，图3(d)是Ballet测试集的右视点深度图；图3(e)是化eakdancing测试集的左 视点视图，图3(f)是areakdancing测试集的左视点深度图，图3(g)是Rreakdancing测试集 的右视点视图，图3化)是化eakdanc ing测试集的右视点深度图。
[0107] 仿真方法:① Y.Mori提出的基于3D变换的自由视点图像合成方法
[0108] ②K.J.化提出的基于背景空桐填充的自由视点图像合成方法
[0109] ③本发明引入颜色校正的自由视点图像合成方法
[0110] 2.仿真内容：
[0111] 仿真1，对图3(a)，图3(b)，图3(c)和图3(d)中所示的Ballet测试集分别利用上述 Ξ种方法进行自由视点图像合成，结果如图4,其中图4(a)是通过Y.Mori提出的方法合成的 自由视点图像，图4(b)是通过K.J.化提出的方法合成的自由视点图像，图4(c)是通过本发 明方法合成的自由视点图像，图4(d)为实际参考图像。
[0112] 图4 (a)和图4 (b)显示出Y. Mor i和K. J.化提出的方法均存在明显的颜色不连续问 题，从图4(c)中可W看出本发明有效解决了舞者左右两边与背景之间的颜色不连续问题， 并合理准确的填充了舞者肩膀处的空桐。对比图4(a)、图4(b)、图4(c)和图4(d)，可W看出 本发明提出的空桐填充算法不仅可W有效解决颜色不连续问题，还可W准确的填充空桐， 得到清晰的边缘。
[0113]仿真2,对图3(e)，图3(f)，图3(g)和图3化）中所示的化eakdancing测试集分别利 用上述Ξ种方法进行自由视点图像合成，结果如图5,其中图5(a)是通过Υ.Mori提出的方法 合成的自由视点图像，图5(b)是通过K.J.化提出的方法合成的自由视点图像，图5(c)是通 过本发明方法合成的自由视点图像，图5(d)为实际参考图像。
[0114]图5(a)和图4(b)反映出Y.Mori和K.J.化提出的方法均存在一定程度的颜色不连 续问题，从图5(c)中可W看出本发明解决了舞者腿两边与背景之间的颜色不连续问题，对 比图5(a)、图5(b)、图5(c)和图5(d)，可W看出本发明提出的方法解决了颜色不连续问题， 同时保持了边缘，实验结果稳定，有效提高了观看舒适度。
【主权项】
1. 一种引入颜色校正的自由视点图像合成方法，包括： 1) 输入左右视点视图及它们对应的深度图，基于位置关系和投影方程将左右视图及深 度图投影到中间视点平面，得到左虚拟视图WL，右虚拟视图W R，左虚拟深度图Dl和右虚拟深 度图Dr; 2) 将左虚拟视图的闭塞区域Wl '与右虚拟视图的闭塞区域Wr '重合，将左虚拟视图的非 闭塞区域Ml与右虚拟视图的非闭塞区域Mr重合； 3) 将左虚拟视图的非闭塞区域Ml和右虚拟视图的非闭塞区域Mr进行加权融合，得到中 间虚拟视图的非闭塞区域部分M; 4) 将左虚拟深度图的非闭塞区域Nl与右虚拟深度图的非闭塞区域Nr进行加权融合，得 到中间虚拟深度图的非闭塞区域N; 5) 将中间虚拟深度图的非闭塞区域N、左虚拟深度图的闭塞区域Dl '和右虚拟深度图的 闭塞区域Dr '进行融合，得到最终的中间虚拟深度图Ao; 6) 对中间虚拟视图的非闭塞区域Μ进行图像分割，分离出前景Mf和背景Mb; 7) 统计非闭塞区域背景和闭塞区域的直方图： 7a)由分割出的背景区域Mb，对应找出左虚拟视图中的背景区域MLb和右虚拟视图中的 背景区域MRb，分别作中间虚拟视图背景区域Mb的统计直方图Hb，左虚拟视图背景M Lb的统计 直方图HLb和右虚拟视图背景MRb的统计直方图H Rb; 7b)作左虚拟视图闭塞区域Wl '的统计直方图Hl '和右虚拟视图闭塞区域WR '的统计直方 图 Hr'； 8) 计算背景区域直方图之间的差异，用其替代闭塞区域直方图之间的差异，得到中间 虚拟视图左侧闭塞区域的统计直方图α和右侧闭塞区域的统计直方图c R; 9) 采用直方图匹配算法，将左虚拟视图闭塞区域的统计直方图a'匹配至中间虚拟视图 左侧闭塞区域的统计直方图α，得到颜色校正后的中间虚拟视图左侧闭塞区域cf L，同理将 右虚拟视图闭塞区域的统计直方图Hr'匹配至中间虚拟视图右侧闭塞区域的统计直方图Cr， 得到颜色校正后的中间虚拟视图右侧闭塞区域Cf R; 10) 将中间虚拟视图的非闭塞区域Μ、左侧闭塞区域CfL和右侧闭塞区域CfR进行融合，得 到新的中间虚拟视图Bo; 11) 根据虚拟深度图Ao中的深度信息，选取背景像素对其以及中间虚拟视图Bo进行逐层 下采样，得到各层降采样虚拟深度图Ak和虚拟视图B k，直至最终层S层的虚拟深度图As和虚 拟视图Bs中没有空洞； 12) 从第S层开始，逐层向上填充降采样虚拟视图Bk，中的空洞，得到各层的修复图像Fk，， 直至得到初始层修复图像Fo，也就是最终的自由视点图像。2. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤3)中将左 虚拟视图的非闭塞区域Ml和右虚拟视图的非闭塞区域Mr进行加权融合，按如下步骤进行： 3a)由左视点到中间视点的距离tL和右视点到中间视点的距离tR，计算在合成中间虚拟 视图非闭塞区域的过程中，左虚拟视图非闭塞区域的权重系数α和右虚拟视图非闭塞区域 的权重系数l-α，其中：3b)基于权重系数，对左虚拟视图非闭塞区域与右虚拟视图非闭塞区域进行加权融合， 得到中间虚拟视图的非闭塞区域部分:Μ=α · Ml+(1_c〇 · Mr。3. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤4)中将左 虚拟深度图的非闭塞区域Nl与右虚拟深度图的非闭塞区域Nr进行加权融合，是基于步骤3) 中得到的权重系数α，将左虚拟深度图的非闭塞区域Nl与右虚拟深度图的非闭塞区域Nr进行 加权，得到中间虚拟深度图的非闭塞区域部分:Ν=α · Nl+(1-c〇 · Nr。4. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤8)中，用背 景区域直方图之间的差异替代闭塞区域直方图之间的差异，按如下步骤进行： 8a)用左虚拟视图背景的统计直方图HLb减去中间虚拟视图背景的统计直方图Hb，得到 左虚拟视图背景区域与中间虚拟视图背景区域之间的统计平均差值直方图DiffL;同理，用 右虚拟视图背景的统计直方图H Rb减去中间虚拟视图背景的统计直方图Hb，得到右虚拟视图 背景区域与中间虚拟视图背景区域之间的统计平均差值直方图DiffR; 8b)将统计平均差值直方图DiffL加在左虚拟视图闭塞区域的统计直方图Hl'之上，得到 中间虚拟视图左侧闭塞区域的统计直方图CL;同理，将统计平均差值直方图DiffR加在右虚 拟视图闭塞区域的统计直方图Hr'之上，得到中间虚拟视图右侧闭塞区域的统计直方图Cr。5. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤9)中将左 虚拟视图闭塞区域的统计直方图扯'匹配至中间虚拟视图左侧闭塞区域的统计直方图α，是 将左虚拟视图闭塞区域中像素点的像素值投影至左右临近像素值，以改变左虚拟视图闭塞 区域的统计直方图扯'，使其趋同于中间虚拟视图左侧闭塞区域的统计直方图α。6. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤9)中将右 虚拟视图闭塞区域的统计直方图Hr'匹配至中间虚拟视图右侧闭塞区域的统计直方图C R，是 将右虚拟视图闭塞区域中像素点的像素值投影至左右临近像素值，以改变右虚拟视图闭塞 区域的统计直方图Hr'，使其趋同于中间虚拟视图右侧闭塞区域的统计直方图Cr。7. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤11)中根据 虚拟深度图Ao中的深度信息，选取背景像素对其进行逐层下采样，是对有空洞点的虚拟深 度图Ao进行逐层降采样处理，至最终层中没有空洞点，依次得到Ao的各层下采样图像Ai， A2，…，Ak，…，As，其中第k层虚拟深度图Ak是基于其上一层虚拟深度图Ak-i得到，虚拟深度图 Ak中任意一点(m，n)的求取公式如下：其中，Xm,n是第k-Ι层虚拟深度图Ah中一个大小为5X5的矩阵块，其中心点在(2Xm+3， 2 Xn+3)处；ω是一个5 X 5的高斯核;qh是用来划分前景与背景的阈值，深度值大于qh为背 景，小于qh为前景;L(x)函数用来选取背景像素点，tnz(u)表示矩阵u中非 零点的个数;num(v)表示满足条件v的元素个数;k的取值由1到S逐一递增，S是使虚拟深度 图As中没有空洞点的最终层。8. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤11)中根据 虚拟深度图A〇中的深度信息，选取背景像素对虚拟视图Bo进行逐层下采样，是对有空洞点的 中间虚拟视图Bo进行逐层降采样处理，至最终层中没有空洞点，依次得到Bo的各层下采样图 像Βι，B2，…，Bk，…，Bs，其中任意第k层虚拟视图Bk是基于其上一层虚拟视图Bk-i得到，虚拟视 图Bk中任意一点(m, η)的求取公式如下：其中，Xm,n是第k-Ι层虚拟深度图Ah中一个大小为5X5的矩阵块，其中心点在(2Xm+3， 2Xn+3)处;Ym,n是第k-1层下采样虚拟视图Bk-冲一个大小为5X5的矩阵块，其中心点在(2 Xm+3，2 X n+3)处；ω是一个5 X 5的高斯核;qh是用来划分前景与背景的阈值，深度值大于 qh为背景，小于qh为前景;L(x)函数用来选取背景像素点表示矩阵 u中非零点的个数;num(v)表示满足条件v的元素个数;k的取值由1到S逐一递增，S是使虚拟 深度图BS中没有空洞点的最终层，同时也是使虚拟深度图As中没有空洞点的最终层。9. 根据权利要求1所述的引入颜色校正的自由视点图像合成方法，其中步骤12)中从第 S层开始，逐层向上填充降采样虚拟视图Bk，中的空洞，得到各层的修复图像Fk，，直至得到初 始层修复图像F〇,按如下步骤进行： 12a)依据第S层的下采样虚拟视图Bs中没有空洞的特性，将第S层的虚拟视图Bs等同于 第S层的修复图像FS，即FS = Bs; 12b)通过线性插值，对第S层修复图像FS进行上采样，得到与S-1层等分辨率的膨胀虚拟 视图Eh，其中Es-冲位于第p行、第q列的点(p，q)的像素值Es-Rpa)按如下公式求取：其中少=[0.05,0.25,0.40,0.25,0.05]4'，」'用来选取修复图像&中以点(？，(1)为中心的3 X3的矩阵块，通过对该矩阵块平滑滤波得到膨胀虚拟视图Eh中点(p，q)的像素值Εη(ρ， q)，这里i '，j '的取值需为偶数，以满足修复图像Fs中的点为有效坐标点； 12c)用膨胀虚拟视图Eh中的像素点，填充同一层的虚拟视图Bs^中空洞处的像素点， 得到S-1层的修复图像Fs-i，其中Fs-冲位于第p行、第q列的点(p，q)的像素值Fs-i (p，q)按如 下公式求取：12d)通过步骤12b)，对任意第k'层修复图像Fk，进行上采样，得到与k'-l层等分辨率的 膨胀虚拟视图，再通过步骤12c)用膨胀虚拟视图中的像素点填充同一层虚拟视图 Bk，-冲空洞处的像素点，得到k'-l层的修复图像?1{，-1，1^的取值由5-1到0逐一递减，即由5-1 层开始，逐层向上重复循环步骤12b)和12c)，依次得到各层的修复图像Fs-^Fs-s^^Fk，，···， Fo，初始层修复图像F〇即为最终的自由视点图像。
【文档编号】H04N13/00GK106060509SQ201610334492
【公开日】2016年10月26日
【申请日】2016年5月19日
【发明人】焦李成, 乔伊果, 侯彪, 杨淑媛, 刘红英, 曹向海, 马文萍, 马晶晶, 张丹, 霍丽娜
【申请人】西安电子科技大学