专利名称：一种多视点深度视频预处理方法
技术领域：
本发明涉及一种视频信号的处理方法，尤其是涉及一种多视点深度视频预处理方法。
背景技术：
自由视点视频(FVV, Free Viewpoint Video)可以提供某一场景或拍摄对象在任意角度和方位的信息，能让观众体验到更真实的立体感，在体育赛事直播、影视娱乐、视频监控等领域有广阔的应用前景，是新一代多媒体视频系统的发展方向。在基于多视点彩色视频加深度视频(MVD, Mult1-view plus Depth)的自由视点视频系统中，多视点视频信号主要由多视点彩色视频序列信号和与多视点彩色视频序列信号对应的多视点深度视频序列信号组成，但是MVD数据量是普通单通道视频的十几倍甚至是几十倍。深度视频序列反映的是对象物体距离相机的远近，它将实际距离值量化到
，在基于深度的虚拟视点绘制(DIBR,Depth Image Based Rendering)过程中，深度视频在服务器端被压缩传输至用户端用于虚拟视点的绘制。在基于多视点彩色视频加深度视频的自由视点视频系统中，可以传输两个视点的彩色视频和与其相应的深度视频，然后生成中间的若干个虚拟视点，这样可以大大降低MVD编码传输的数据量。深度视频的获取方法主要有两种，第一种方法是采用基于时间飞行原理的深度相机直接获取，但是构建多视点深度视频采集系统价格昂贵，并且采集距离有限，这些因素很大程度地制约了深度相机的普及；第二种方法是利用捕获的多视点彩色视频通过深度估计软件(DERS,Depth Estimation Reference Software)得到深度视频,该方法的应用越来越广泛。然而，由深度相机获取或者由深度估计软件获得的深度视频不是很准确，大大降低了深度视频时间、空间相关性，进而影响了其压缩效率，而且深度值骤变容易导致虚拟视点绘制时出现空洞，影响绘制质量。因此，为了提高虚拟视点的绘制质量以及深度视频的压缩效率，需要在编码前对深度视频进行预处理。
发明内容
本发明所要解决的技术问题是提供一种多视点深度视频预处理方法，其能够有效地提高深度视频的压缩编码效率和虚拟视点图像的绘制质量。本发明解决上述技术问题所采用的技术方案为一种多视点深度视频预处理方法，其特征在于它的处理过程为 首先，将待预处理的深度视频序列中的每帧深度视频帧划分为连续区域和不连续区域；然后，将待预处理的深度视频序列中的每帧深度视频帧的连续区域划分为前景区域和背景区域；接着，将待预处理的深度视频序列中的每帧深度视频帧划分为边界区域和非边界区域；最后对每帧深度视频帧中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点进行保护，对每帧深度视频帧中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理，对每帧深度视频帧中属于前景区域且属于非边界区域的所有像素点、属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理。本发明的一种多视点深度视频预处理方法，其具体包括以下步骤①将待预处理的深度视频序列记为{D (M，N，k)}，其中，M表示{D (M, N，k)}中的深度视频帧的水平分辨率，N表示{D (M, N，k)}中的深度视频帧的垂直分辨率，D (M, N，k)表示{D (M, N，k)}中的第k帧深度视频帧，I彡k彡K，k的初始值为I，K表示{D (M, N，k)}中包含的深度视频帧的帧数；②将{D (M, N，k)}中当前正在处理的第k帧深度视频帧D (M, N，k)定义为当前深度视频帧；③根据当前深度视频帧D(M，N，k)中的每个像素点的像素值，将当前深度视频帧D(M, N，k)划分为连续区域和不连续区域；④根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值，将当前深度视频帧D (M，N，k)中的连续区域划分为前景区域和背景区域；⑤根据当前深度视频帧D(M，N，k)中的像素点的像素值，将当前深度视频帧D(M, N，k)划分为边界区域和非边界区域；⑥对当前深度视频帧D(M，N，k)中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护； 对当前深度视频帧D (M，N，k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理；对当前深度视频帧D (M，N，k)中属于前景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M，N，k)中坐标位置为(m，n)的像素点属于前景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于背景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于背景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此I彡m彡M，KnSN;对当前深度视频帧D (M，N，k)中属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M，N，k)中坐标位置为(m，n)的像素点属于背景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于前景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于前景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此I彡m彡M，KnSN;⑦令k’=k+l，k=k’，将{D(M，N，k)}中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤③继续执行，直至{D(M，N，k)}中的所有深度视频帧均处理完毕，其中，k’的初始值为0，k’=k+l，k=k’中“=”为赋值符号。
所述的步骤③中连续区域和不连续区域的划分过程为将当前深度视频巾贞D (M, N，k)中坐标位置为(m’，n)的像素点的像素值记为d (m’, n, k),当IcKm' -1，n, k)-d(m，，n, k) I >TQ成立时,将当前深度视频巾贞D (M, N，k)中坐标位置为(m，，n)的像素点和坐标位置为(m' _l，n)的像素点归属为不连续区域，之后将当前深度视频帧D(M，N，k)中不属于不连续区域的所有像素点归属为连续区域，其中，2彡m’彡M，1彡n彡N，d(m/ _l，n，k)表示当前深度视频帧D(M，N，k)中坐标位置为(m' _l，n)的像素点的像素值，“ I I ”为取绝对值符号，T0为设定的区域划分阈值。所述的设定的区域划分阈值Ttl的值为10。所述的步骤④中前景区域和背景区域的划分过程为首先，根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值确定前背景区域划分阈值，记为T1,
"2)2}，其中，T表示采用最大类间方差法划分前景区域和背景区
域的动态分割阈值，W1表示采用最大类间方差法划分的前景区域的所有像素点占整幅图像的所有像素点的比例，U1表示采用最大类间方差法划分的前景区域的所有像素点的平均灰度，W2表示采用最大类间方差法划分的背景区域的所有像素点占整幅图像的所有像素点的比例，U2表示采用最大类间方差法划分的背景区域的所有像素点的平均灰度，(W1XW2X-1-U2)2I表示类间方差值；然后，判断连续区域中的像素点的像素值是否大于前背景区域划分阈值T1，如果是，则将该像素点确定为前景像素点，并归属为前景区域，否则，将该像素点确定为背景像素点，并归属为背景区域。所述的步骤⑤中边界区域和非边界区域的划分过程为⑤-1、以3X3窗口在当前深度视频帧D(M，N，k)内从左到右、从上到下移动，每次以整像素为单位移动；⑤-2、计算每个窗口内的所有像素点的像素值的均值和每个窗口内的中心坐标位置的像素点的像素值的方差，分别记为M，和
权利要求
1.一种多视点深度视频预处理方法，其特征在于它的处理过程为首先，将待预处理的深度视频序列中的每帧深度视频帧划分为连续区域和不连续区域；然后，将待预处理的深度视频序列中的每帧深度视频帧的连续区域划分为前景区域和背景区域；接着，将待预处理的深度视频序列中的每帧深度视频帧划分为边界区域和非边界区域；最后对每帧深度视频帧中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点进行保护，对每帧深度视频帧中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理，对每帧深度视频帧中属于前景区域且属于非边界区域的所有像素点、属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理。
2.根据权利要求1所述的一种多视点深度视频预处理方法，其特征在于它具体包括以下步骤 ①将待预处理的深度视频序列记为{D(M，N，k)}，其中，M表示{D(M，N，k)}中的深度视频帧的水平分辨率，N表示{D(M，N，k)}中的深度视频帧的垂直分辨率，D(M，N，k)表示{D (M, N，k)}中的第k帧深度视频帧，I彡k彡K，k的初始值为I，K表示{D (M, N，k)}中包含的深度视频帧的帧数； ②将{D(M, N，k)}中当前正在处理的第k帧深度视频帧D (M, N，k)定义为当前深度视频帧； ③根据当前深度视频帧D(M，N，k)中的每个像素点的像素值，将当前深度视频帧D(M, N，k)划分为连续区域和不连续区域； ④根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值，将当前深度视频帧D(M，N，k)中的连续区域划分为前景区域和背景区域； ⑤根据当前深度视频帧D(M, N，k)中的像素点的像素值，将当前深度视频帧D (M, N，k)划分为边界区域和非边界区域； ⑥对当前深度视频帧D(M，N，k)中属于不连续区域且属于边界区域的所有像素点、属于前景区域且属于边界区域的所有像素点、属于背景区域且属于边界区域的所有像素点不处理，进行保护； 对当前深度视频帧D (M, N，k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理； 对当前深度视频帧D (M，N，k)中属于前景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D (M，N，k)中坐标位置为(m，n)的像素点属于前景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于背景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于背景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此I≤m≤M，KnSN; 对当前深度视频帧D (M，N，k)中属于背景区域且属于非边界区域的所有像素点采用自适应窗口进行平滑滤波处理，假设当前深度视频帧D(M，N，k)中坐标位置为(m，n)的像素点属于背景区域且属于非边界区域，则将该像素点作为中心像素点，并以5个像素点为搜索步长进行上下和左右搜索，当遇到属于前景区域或属于边界区域的像素点时停止搜索，形成一个十字窗口，然后以该十字窗口纵轴上的像素点为中心，并以5个像素点为搜索步长进行左右搜索，当遇到属于前景区域或边界区域的像素点时停止搜索，形成一个自适应窗口，再将该自适应窗口内的所有像素点的像素值的均值赋值给中心像素点实现平滑滤波处理，其中，在此I≤m≤M，KnSN; ⑦令k’ =k+l, k=k’，将{D(M，N，k)}中下一帧待处理的深度视频帧作为当前深度视频帧，然后返回步骤③继续执行，直至{D(M，N，k)}中的所有深度视频帧均处理完毕，其中，k’的初始值为O，k’ =k+l, k=k’中“=”为赋值符号。
3.根据权利要求2所述的一种多视点深度视频预处理方法，其特征在于所述的步骤③中连续区域和不连续区域的划分过程为将当前深度视频帧D(M，N，k)中坐标位置为(m’，n)的像素点的像素值记为d(m’，n, k),当d(m/ -1，n, k)_d(m’，n, k) | >TQ成立时,将当前深度视频巾贞D (M, N，k)中坐标位置为(m’，n)的像素点和坐标位置为(m' -1, n)的像素点归属为不连续区域，之后将当前深度视频帧D(M，N，k)中不属于不连续区域的所有像素点归属为连续区域，其中，2≤m’≤M, I≤n≤N, dOn' -1, n, k)表示当前深度视频中贞D(M, N，k)中坐标位置为(m' -1, n)的像素点的像素值，“ I I ”为取绝对值符号，Ttl为设定的区域划分阈值。
4.根据权利要求3所述的一种多视点深度视频预处理方法，其特征在于所述的设定的区域划分阈值Ttl的值为10。
5.根据权利要求2至4中任一项所述的一种多视点深度视频预处理方法，其特征在于所述的步骤④中前景区域和背景区域的划分过程为首先，根据采用最大类间方差法划分前景区域和背景区域的动态分割阈值确定前背景区域划分阈值，记为T1,rI=axS max{Wl X W2 X (M1 - ^ f }，其中，T表示采用最大类间方差法划分前景区域和背景区 0<7<255域的动态分割阈值，W1表示采用最大类间方差法划分的前景区域的所有像素点占整幅图像的所有像素点的比例，U1表示采用最大类间方差法划分的前景区域的所有像素点的平均灰度，W2表示采用最大类间方差法划分的背景区域的所有像素点占整幅图像的所有像素点的比例，U2表示采用最大类间方差法划分的背景区域的所有像素点的平均灰度，Iw1Xw2X (U1-U2)2I表示类间方差值；然后，判断连续区域中的像素点的像素值是否大于前背景区域划分阈值T1，如果是，则将该像素点确定为前景像素点，并归属为前景区域，否则，将该像素点确定为背景像素点，并归属为背景区域。
6.根据权利要求5所述的一种多视点深度视频预处理方法，其特征在于所述的步骤⑤中边界区域和非边界区域的划分过程为 ⑤-1、以3X3窗口在当前深度视频帧D(M，N，k)内从左到右、从上到下移动，每次以整像素为单位移动； ⑤_2、计算每个窗口内的所有像素点的像素值的均值和每个窗口内的中心坐标位置的像素点的像素值的方差，分别记为
7.根据权利要求6所述的一种多视点深度视频预处理方法，其特征在于所述的步骤⑥中对当前深度视频帧D(M，N，k)中属于不连续区域且属于非边界区域的所有像素点采用高斯滤波器进行平滑滤波处理的具体过程为假设当前深度视频帧D(M，N，k)中坐标位置为(m，n)的像素点属于不连续区域且属于非边界区域，则将该像素点平滑滤波
全文摘要
本发明公开了一种多视点深度视频预处理方法，其通过将深度视频帧划分为连续区域和不连续区域，然后将连续区域划分为前景区域和背景区域，再将所有区域中的边缘部分提取出来进行保护，对不连续区域的非边缘部分进行高斯滤波处理，对连续区域的前景区域和背景区域的非边缘部分分别进行自适应窗口滤波处理，使自适应窗口内的所有像素点属于同一个区域或同种类型，尽可能地减少了误差，大大地提高了深度视频序列的压缩编码效率，节省的码流可达到8.33%~34.39%，同时使得绘制的虚拟视点的峰值信噪比平均提高了0.21dB。
文档编号H04N7/26GK103067705SQ20121055657
公开日2013年4月24日 申请日期2012年12月19日 优先权日2012年12月19日
发明者彭宗举, 周浩, 蒋刚毅, 郁梅, 陈芬 申请人:宁波大学