0049] 采用处理后的深度图进行虚拟视点绘制，得到绘制后的虚拟视点。采用图像修补 方法对图像进行残留空洞的修补，得到最终的虚拟视点。
[0050] 下面是以Middlebury数据库提供的Venus彩色图及其对应的深度图为例，来说明 本发明的方法实施过程。
[0051] I :Disoclusion 区域检测
[0052] 本发明以绘制右虚拟视点为例，Disoclusion产生于深度图深度像素变化锐利的 区域，也就是相邻像素深度差大于某一阈值的区域，定义公式如下：
[0053] df (X，y) = d (x-1，y) -d (X，y)
[0054] 其中d(x，y)表示位于坐标（X，y)处的深度像素值，df (X，y)表示相邻深度像素 (x，y)和（x-l，y)处的水平深度差，如果df(x，y)大于定义的阈值T。，则坐标（x，y)处标记 为深度不连续区域。将上述检测的深度不连续区域进行标记，标记公式如下： CN 105184834 A 说明书 4/5 页
[0058] 其中x。表示b(x。，y) = 1处的横坐标，条件d(xQ+k,y)_d(x。，y) < T。用于限制其他 前景像素不被标记为mask。Disoclusion区域的宽度等于df(x, y)。以Venus为例标记区 域见图3。
[0059] 2 :局部膨胀
[0060] 依据上述检测的区域进行深度边界局部膨胀。膨胀像素为从检测到Disoclusion 位置开始的前η个水平像素。具体做法是以图像中像素的每一行为单位，把和标记区域相 邻的前景像素的深度值进行沿水平方向的扩张。扩张 η个像素，本发明η的取值为3。
[0061] 3:线性差值
[0062] 虚拟视点的Disoclusion与深度存在不连续性的关系。绘制后的虚拟视点的 Disoclusion空洞位于深度不连续性区域。采用线性差值的方法来处理Disoclusion空洞， 线性差值算法如下：
[0064] 其中cT表示重定义的深度像素。
[0065] 4:中值滤波
[0066] 经上述处理后的深度图采用中值滤波器去除一些孤立像素。中值滤波的窗口为 3*3 〇
[0067] 5 :虚拟视点绘制
[0068] 采用处理后的深度图进行虚拟视点绘制，得到绘制后的虚拟视点。采用图像修补 方法对图像进行残留空洞的修补，得到最终的虚拟视点。
[0069] 下面结合【附图说明】实验效果：
[0070] 为了鲜明的对比本发明的效果，我们采用Middlebury立体图像库中Venus为例进 行说明。
[0071] 图1给出了 Venus原始彩色图、深度图和Disoclusion空洞区域的标记图。（1) Venus原始彩色图；（2)深度图；（3)Disoclusion空洞区域的标记图。
[0072] 图2给出了不同方法的空洞填补效果对比图。通过对比可以明显观察出我们提出 的方法补洞效果最好。（1)没有采用任何方法，可以看出放大部分的报纸边缘补洞结果是模 糊的；（2)Lee的方法，可以看出补洞后报纸边界红色方格比原始尺寸宽了一些；（3)Xu的 方法，可以看出空洞填补后有痕迹，虽然模糊区域比（1)小了很多，还是有模糊现象；(4)本 发明提出的方法，可以看出取得了较好的补洞效果。
[0073] 图3给出了使用本发明的方法流程图。
[0074] 本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例 序号仅仅为了描述，不代表实施例的优劣。
[0075] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和 原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1. 一种面向单视点绘制的空洞填补方法，其特征是，包括如下步骤： 一 ：Disoclusion 区域检测 通过遍历深度图的像素进行Disoclusion区域检测； 二：深度图局部膨胀 依据上述检测的区域进行深度边界局部膨胀。膨胀像素为从检测到Disoclusion位置 开始的前η个水平像素； 三：深度图边界区域线性差值 依据检测区域进行深度边界区域线性差值； 四：深度图中值滤波 对调整后的深度图进行中值滤波，去除孤立的像素； 五：虚拟视点绘制 采用处理后的深度图进行虚拟视点绘制，得到绘制后的虚拟视点。采用图像修补方法 对图像进行残留空洞的修补，得到最终的虚拟视点。2. 如权利要求1所述的一种面向单视点绘制的空洞填补方法，其特征是，通过遍历深 度图的像素进行Disoclusion区域检测具体步骤为，Disoclusion产生于深度图深度像素 变化锐利的区域，也就是相邻像素深度差大于某一定义阈值的区域，定义公式如下： df (x, y) = d (x-1, y) -d (x, y) 其中d(x，y)表示位于坐标（x，y)处的深度像素值，df(x，y)表示相邻深度像素（x，y) 和（x_l，y)处的水平深度差，如果df(x，y)大于定义的阈值T。，则坐标（x，y)处标记为深度 不连续区域。将上述检测的深度不连续区域进行标记，标记公式如下：其中1。表示13(1。，7)=1.处的横坐标，条件(1(1。+1^7)-(1(1。，7)<1'。用于限制其他前 景像素不被标记为mask，Disoclusion区域的宽度等于df (X，y) 〇3. 如权利要求1所述的一种面向单视点绘制的空洞填补方法，其特征是，进行深度边 界区域线性差值具体步骤是，调整位于掩模标记区域的深度值，线性差值的算法从第η个 像素开始，定义如下：其中cT表示重定义的深度像素。4. 如权利要求1所述的一种面向单视点绘制的空洞填补方法，其特征是，扩张 η个像 素，η的取值为3。
【专利摘要】本发明属于数字图像处理及立体成像领域，本发明的目的是在分析Disoclusion的位置和大小与深度图深度像素分布关系的基础上，通过对深度图深度值变化锐利并且位于背景部分的像素进行线性差值，采用分而治之的策略，实现基于单视点绘制的空洞填补方法，有效改善绘制虚拟视点的质量。为此，本发明采取的技术方案是，一种面向单视点绘制的空洞填补方法，包括如下步骤：一：Disoclusion区域检测二：深度图局部膨胀三：深度图边界区域线性差值四：深度图中值滤波五：虚拟视点绘制。本发明主要应用于数字图像处理。
【IPC分类】G06T11/00, G06T7/00
【公开号】CN105184834
【申请号】CN201510579438
【发明人】雷建军, 张翠翠, 侯春萍, 刘建英, 梅旭光, 吴敏
【申请人】天津大学
【公开日】2015年12月23日
【申请日】2015年9月11日