一种基于深度信息辅助的高斯混合模型的空洞填补方法与流程

本发明涉及三维视频空洞填补技术领域，具体涉及一种基于深度信息辅助的高斯混合模型的空洞填补方法。

背景技术：

虚拟视点合成已成为三维视频(3-d)研究的核心部分，因为它能够避免在自由视点视频(fvv)中传输大量视点图像。最常用的视点合成技术是使用纹理图像及其相关深度图的基于深度图像的渲染(dibr，depthimagebasedrendering)，虽然dibr技术已经发展的较为成熟，然而虚拟视图中的空洞填补问题仍然是一个比较棘手的问题。

一般来讲，产生空洞的情况主要有两种，一是不准确的深度值导致的虚拟视图中的不连续区域，二是在参考视图中被遮挡的背景对象可能在虚拟视图中变得可见，从而导致了虚拟视图中的大片空洞。图像修复是一种常用的填补空洞的技术，主要根据相邻像素之间的空间纹理相关性来确定空洞区域的像素值。然而，被遮挡区域与前景区域之间通常没有空域纹理相关性，在虚拟视图中存在大片因遮挡产生的空洞的情况下，采用普通图像修复的结果与实际真实视角图像之间的差异往往很大。

为了得到更好的空洞填补结果，目前最流行的技术是gmm(混合高斯模型，gaussianmixturemodel)算法。gmm可根据时间相关性信息生成稳定的场景背景，其中每个像素由多个高斯模型来建模和表示，这些高斯模型在出现新的样本数据时以一定学习率进行迭代更新。因为在虚拟视图中无法恢复的遮挡区域通常是背景，所以使用gmm生成的背景来填充被遮挡的区域是一种很有效的方法。但是，对于进行周期旋转或者往复运动的前景区域，由于前景在多个时间帧内的同样位置重复出现，gmm通常会错误地将它们视为背景，并填充到空洞区域中。这样得到的合成图像将会与真实相机在该位置拍摄的图像有较大的差异，进而影响3d视频的观看效果。

技术实现要素：

发明目的：为了克服现有技术的不足，本发明提供一种基于深度信息辅助的高斯混合模型的空洞填补方法，该方法可以解决现有gmm模型中使用造成的空洞填补效果不佳问题。

技术方案：本发明所述的基于深度信息辅助的高斯混合模型的空洞填补方法，该方法包括：

(1)使用包含多个视图的图像序列数据，每个视图的图像序列数据均含有若干帧的纹理帧和深度帧；

(2)采用混合高斯模型算法确定所述图像序列数据中的gmm纹理背景；

(3)将纹理帧和深度帧按时序都分为若干个区间，并对每个区间内的深度帧进行直方图均衡化处理；

(4)对每个区间中的纹理帧进行前景深度相关算法的计算，对应得到fdc区间纹理背景；对每个区间中的二值化后的深度帧进行前景深度相关算法的计算，对应得到fdc区间深度背景；

(5)将每个区间得到的fdc区间纹理背景，按照fdc区间深度背景中含有的深度信息结合起来最终得到fdc纹理背景；

进一步地，包括：

所述步骤(2)，采用混合高斯模型算法确定所述图像序列数据中的gmm纹理背景，具体包括：

(21)将图像序列数据中的所有纹理帧和深度帧用于gmm流程中，所述纹理帧用于构建高斯模型，深度帧用于决定模型更新参数，对于在不同帧对应的单个像素点，包括以下步骤：

(211)第t帧纹理帧的第k个高斯模型记为ηk,t，模型均值记为μk,t，标准差记为σk,t，权重记为ωk,t，1≤k≤m，m为在每个像素点上构建的高斯模型总数；

(212)计算下一帧t+1当前像素点的像素值xt与每个高斯模型均值的差|xt-μk,t-1|，若|xt-μk,t-1|＜2.5σk,t，则判定下一帧的当前像素点的像素值属于所述高斯模型，并对该模型的学习率进行更新；

否则，若|xt-μk,t-1|≥2.5σk,t，则判定下一帧的当前像素点的像素值不属于m个高斯模型中的任意一个，且删除m个模型中权重与方差比最小的一个高斯模型，并构建新高斯模型替换；

(22)将步骤(21)中得到的所有含有一个ωk,t＝1的模型，其他m-1模型的权重ωk,t＝0的像素点，确定为只含有一个高斯模型的像素点；

(23)新建膜图，采用像素值0记录只含有一个高斯模型所在的位置，确定其为背景位置，采用像素值255记录下含有多个高斯模型像素点所在的位置，从而确定gmm纹理背景。

进一步地，包括：

所述步骤(212)中，对该模型的学习率进行更新，学习率更新公式为：

其中，α为初始学习率，ε为序列中的经验值，是由深度帧观察得出的能区分前景背景区域的深度像素值，dt(x,y)为第t帧深度帧上位于(x,y)位置的像素值，αt为更新后的学习率。

进一步地，包括：

所述步骤(4)中，对每个区间中的纹理帧进行前景深度相关算法的计算，对应得到fdc区间纹理背景，具体包括：

(41)用第一帧生成初始fdc纹理背景，生成方式为采用第一帧中被二值深度图区分为背景的区域填补空白图像，也就是得到第一帧背景区域对应的第一帧纹理图中的背景纹理区域；

(42)用第二帧的二值深度图中的第二帧变为背景的区域对应的第二帧纹理图，更新fdc纹理背景中的未填充区域；

(43)对之后的该区间内的所有纹理帧执行与第二帧相同的过程，进而得到该区间的fdc区间纹理背景。

进一步地，包括：

所述步骤(4)中，对每个区间中的二值化后的深度帧进行前景深度相关算法的计算，对应得到fdc区间深度背景。

进一步地，包括：

所述步骤(5)中，将每个区间得到的fdc区间纹理背景，按照fdc区间深度背景中含有的深度信息结合起来最终得到fdc纹理背景，包括：

对单个像素点(x,y)，采用具有最小深度值的区间深度背景对应的纹理背景来作为最终的纹理背景，其表示为，若有ψdk(x,y)＝min(ψdi(x,y))，则ψtf(x,y)＝ψtk(x,y)，其中，ψtf(x,y)为在点(x,y)最终的fdc纹理背景，ψdi(x,y)为在点(x,y)第i个区间对应的fdc区间深度背景，ψtk(x,y)为在点(x,y)第k个区间对应的fdc区间纹理背景。k为得到的具有最小深度值的ψdi(x,y)的序号i，i∈[1,k]，其中下标符号中的t和d用来区分纹理和深度图帧。

进一步地，包括：

所述步骤(6)中，自适应的采用gmm纹理背景和fdc纹理背景进行所有图像帧数的填充，包括：

对含有一个高斯模型的像素点，用gmm纹理背景对应位置的像素点填充；否则，采用fdc纹理背景对应位置的像素点进行填充

有益效果：本发明与现有技术相比，其显著优点是：1、本发明从生成可靠背景的角度出发，为了使得传统的高斯混合模型能够在周期运动的视频序列上具有较好背景生成效果，本发明提出采用深度信息调整学习率的策略；2、本发明为了得到更准确的前景背景分类结果，将序列中的所有帧进行区间划分，在每个区间都生成fdc区间纹理背景，并在结果中将这些背景有机结合起来；3、本发明还根据每个像素的高斯模型个数，将gmm纹理背景结果和fdc纹理背景结果自适应结合起来，该方法进一步完善了背景，适用于虚拟视图中由于遮挡产生的空洞的填补，并产生的更好的填补效果。

附图说明

图1为原fdc方法中在区分前景背景时区分结果不准确的样例；

图2为本方法空洞填补的总算法流程框架；

图3为改进的fdc过程；

图4为改进的fdc过程中原fdc过程；

图5为实验示例主观结果展示：5a为ballet序列相机0到相机1第29帧的虚拟视点合成结果；5b为breakdancers序列相机5到相机6第6帧的虚拟视点合成结果；5c为ballet序列相机0到相机1第29帧的空洞填补结果；5d为breakdancers序列相机5到相机6第6帧的空洞填补结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明是依据在参考视图不可见而在虚拟视图可见的遮挡区域通常为背景区域的原理，在fdc的基础上添加滑动窗口方法，并根据高斯模型个数来结合gmm纹理背景和fdc纹理背景，从而得到可靠的背景结果，以达到有效填补空洞的目的。

在用所得背景来填充空洞的方法中，前景背景的准确区分至关重要。原fdc方法尽管在往复运动序列中能产生良好的主观和客观结果，但它仍然存在将前景错误分类为背景的问题，如图1所示，椭圆框区域为前景错分为背景的区域，并且前景区域一旦被错分为背景，那么该区域将一直存在在背景结果中。这就使得在按时域来逐渐获取fdc背景的过程中，第一帧的划分结果至关重要。

为了避免这种情况，本发明采用滑动窗口方式，将序列中的纹理帧和深度帧按时序划分为多个区间，对每个区间执行fdc方法，这样每个区间获取一个fdc区间纹理背景结果。由多个fdc区间纹理背景结果按深度信息结合起来决定最终fdc纹理背景，可以从而避免在单区间(即未划分区间)的情形下，出现前景误分为背景而无法挽回的情况。

如图2所示，本发明公开了一种基于深度信息辅助的高斯混合模型的空洞填补方法，首先，为了避免将前景像素错误分类为背景像素，使用深度信息来调整gmm中的学习率，使得前景像素在模型中的比重减小，背景像素在模型中的比重增大。此外，提出了改进的前景深度相关(fdc)算法，其通过跟踪时域上的前景深度的变化来生成背景帧。与现有算法相比，该算法使用滑动窗口来获得多个背景参考帧，并将这些参考帧利用深度信息融合起来以生成更准确的背景帧。最后，自适应地选择gmm和fdc中的纹理背景像素来填充空洞。采用本发明方法，可以肉眼观察到更好的空洞填充效果，并且可以在往复运动序列中得到显着的客观增益。具体包括：

(1)采集包含多个视图的图像序列数据，每个视图的图像序列数据均含有若干帧的纹理帧和深度帧；每个视图是不同的，且纹理帧和深度帧数相同，本发明的空洞可采用下面方法得到：第一视图中的纹理帧和深度帧通过虚拟视点合成算法来相应获取第二视图相同帧数的虚拟纹理帧，由于前景的遮挡效应，这些虚拟纹理帧在前景背景分界处均存在大片空洞，影响了观看效果。

(2)采用混合高斯模型算法确定所述图像序列数据中的gmm纹理背景；

提供了参考纹理背景的获取方法。首先将序列中的所有纹理帧和深度帧用于gmm流程中，纹理帧用于构建高斯模型，深度帧用于决定模型更新参数。图像中的每个像素由m个高斯模型表示(一般为3-5个模型)，并不断根据后续帧的像素值变化进行更新。

对于单个像素，第t帧的第k个高斯模型记为ηk,t，模型均值记为μk,t，标准差记为σk,t，权重记为ωk,t，其中，序列中的第一帧纹理帧用于构建每个像素的初始化高斯模型；

计算下一帧的当前像素的像素值与每个高斯模型均值的差|xt-μk,t-1|。如果|xt-μk,t-1|＜2.5σk,t，则判定下一帧的当前像素的像素值属于该高斯模型，并根据模型更新参数对该模型进行更新，模型更新参数按如下公式决定：

其中，α为学习率，是一个常数，ε为序列中的经验值，是由深度帧观察得出的能区分前景背景区域的深度像素值，dt(x,y)为第t帧深度图上位于(x,y)位置的像素值，αt(x,y)为更新后的学习率，对每一帧每一个像素通常都不相同。

对每个像素来说，模型更新的过程如下所示：

μk,t←(1-αt)μk,t-1+αxt

ωk,t←(1-αt)ωk,t-1+α

要是下一帧的当前像素的像素值不属于其任意一高斯模型，则删除权重与方差比ωk,t/σk,t最小的一个模型并构建一个新模型。这样的方式可以生成更好的背景，使得填充效率更高。

在gmm过程执行完毕后，有些像素含有一个权重为1的模型，其他m-1模型的权重为0，也就是只有一个模型。这代表在该序列的所有纹理帧中，同一位置的像素值没有发生变化，对于这些像素确定其为背景，并将应用于gmm纹理背景ψg中。

新建膜图，采用像素值0记录只含有一个高斯模型所在的位置，确定其为背景位置，采用像素值255记录下含有多个高斯模型像素点所在的位置，从而确定gmm纹理背景。

(3)将纹理帧和深度帧按时序都分为若干个区间，并对每个区间内的深度帧进行直方图均衡化处理；

将序列中的所有纹理帧和深度帧按时序分为k个区间，使用k-means方法对区间中的每个深度图进行处理，以获得二值化的深度图。其中，k＝2。像素值0表示背景，值255表示前景。

(4)对每个区间中的纹理帧进行前景深度相关算法的计算，对应得到fdc区间纹理背景；对每个区间中的二值化后的深度帧进行前景深度相关算法的计算，对应得到fdc区间深度背景；

参阅图4所示，对每个区间中的纹理帧进行前景深度相关算法的计算，对应得到fdc区间纹理背景，具体包括：

(41)用第一帧生成初始fdc纹理背景，生成方式为采用第一帧中被二值深度图区分为背景的区域填补空白图像，也就是得到第一帧背景区域对应的第一帧纹理图中的背景纹理区域；

(42)用第二帧的二值深度图中的第二帧变为背景的区域对应的第二帧纹理图，更新fdc纹理背景中的未填充区域；

(43)对之后的该区间内的所有纹理帧执行与第二帧相同的过程，进而得到该区间的fdc区间纹理背景。

一旦发现在之前所有帧中都被划为前景的区域，在某一帧被划分为背景，那么该纹理帧中的这个区域将用于恢复fdc区间纹理背景。

得到fdc区间深度背景和fdc区间纹理背景的技术细节是一样的，只是方法作用的对象不同，前者对象为纹理帧，后者对象为二值化后的深度帧。

(5)将每个区间得到的fdc区间纹理背景，按照fdc区间深度背景中含有的深度信息结合起来最终得到fdc纹理背景；

参阅图3所示，将获得的k张区间背景深度图进行对比，对每个位置对应的k个深度像素点，取深度值最小的像素点所在深度图对应的纹理背景图中，对应位置的纹理像素点来填充背景；即对单个像素点(x,y)，我们采用具有最小深度值的区间深度背景对应的纹理背景来作为最终的纹理背景，其表示为，若有ψdk(x,y)＝min(ψdi(x,y))，则ψtf(x,y)＝ψtk(x,y)，其中，ψtf(x,y)为在点(x,y)最终的fdc纹理背景，ψdi(x,y)为在点(x,y)第i个区间对应的fdc区间深度背景，ψtk(x,y)为在点(x,y)第k个区间对应的fdc区间纹理背景。k为得到的具有最小深度值的ψdi(x,y)的序号i,i∈[1,k]，其中下标符号中的t和d用来区分纹理和深度图帧。

本发明由多个fdc区间背景结果按深度信息结合起来决定最终fdc方法背景，可以从而避免在单区间(即未划分区间)的情形下，出现前景误分为背景而无法挽回的情况。

(6)自适应的采用gmm纹理背景和fdc纹理背景进行所有图像帧数的填充，完成参考纹理背景图，进而对虚拟视图中虚拟纹理帧的空洞区域分别用对应区域背景填充。

对含有一个高斯模型的像素点，用gmm纹理背景对应位置的像素点填充；否则，采用fdc纹理背景对应位置的像素点进行填充，即：最后将gmm纹理背景和fdc纹理背景结合起来，将结合背景记为ψb。对于在gmm中，只有一个模型的像素点，ψb(x,y)＝ψg(x,y)，否则ψb(x,y)＝ψtf(x,y)。

为了验证本发明的有效性，下面结合一个具体的实施方式对本发明作进一步的详细说明。为便于说明，且不失一般性，做如下假定：

本发明提出的方法拟用microsoft数据集中的ballet测试序列进行测试，分辨率为1024×768，含有8个不同视图的纹理和深度数据，均为100帧。同时附有每个相机的内矩阵和外矩阵参数(相机0到相机7从右到左排列)，以及序列中的最大最小真实深度值。

本实施例中使用相机0视图通过虚拟视点合成算法以及空洞填补技术来恢复相机1视图。首先使用相机0视图中的100帧纹理帧和深度帧通过虚拟视点合成算法来相应获取相机1视图的100帧虚拟纹理帧。由于前景的遮挡效应，这些虚拟纹理帧在前景背景分界处均存在大片空洞，如图5a和b中的人背后的灰色区域所示，图5c和d为本发明的方法分别进行的空洞填充。为了让虚拟视图有更佳的观看效果，本发明采用获取用gmm纹理背景和fdc纹理背景自适应选择的方式来填补这些空洞。

为获取更佳的gmm纹理背景，将加入深度信息来调整gmm参数更新过程中的学习率。通过观察microsoft数据集中的ballet测试序列中的深度图数据，得到用于区别前景背景的经验深度值ε＝60，结合每一帧的深度数据，通过公式来调整学习率。将每一帧的数据用于调整高斯模型参数，利用最终的模型参数得到gmm纹理背景。

为了最终与fdc纹理背景的结合，在获取最终模型参数时，新建一张膜图，通过像素值0和255记录下只含有一个高斯模型和含有多个高斯模型像素所在的位置。

为了得到fdc纹理背景，提前对深度帧进行直方图均衡化处理，将100帧纹理帧和处理后的深度帧分区间进行fdc操作。由于ballet序列中单个视图有100帧数据，且用该序列进行fdc操作时，测得在30帧左右时所得背景不再发生变化，因此将100帧数据分为3个区间进行fdc操作。将得到的3个区间纹理背景图通过对应的深度背景图来进行有机结合获得最终的fdc纹理背景。

单个区间的fdc操作如图4所示，对区间内的每一帧深度图通过k-means方法得到二值深度图。首先初始化一张待填充的背景图，通过第一帧二值深度图确定第一帧纹理图的背景区域，将该纹理区域填入背景，然后通过第二帧二值深度图确定第二帧纹理图的背景区域，将该纹理区域填入还未填充的背景区域，对接下来的每一帧，重复该步骤，逐步完整背景。

根据gmm过程得到的膜图，对于最终的背景图，在膜图像素值为0的位置填入gmm纹理背景像素值，否则，填入fdc纹理背景像素。获取最终的背景图后，用虚拟视点合成算法来合成虚拟视点的背景，并在100帧虚拟纹理帧的空洞区域分别用对应区域背景填充。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。