一种基于联合字典的彩色与深度图像后处理方法
【技术领域】
[0001] 本发明设及一种视频信号的处理方法，尤其是设及一种基于联合字典的彩色与深 度图像后处理方法。
【背景技术】
[0002] 随着通信技术和视频技术的不断成熟，高质量的视觉体验成为发展的主流，而3D 视频能够提供深度信息，满足人们对立体感和真实感的视觉需求。但是3D视频的数据量非 常庞大，需要进行编码W适应传输或存储的要求。近年来，基于块的离散余弦变换已经广泛 的应用于图像和视频压缩之中，如:肝EG、MPEG、H. 264/AVC等，然而，视频经过编码后会产生 块效应，并严重影响观看和绘制效果，因此有效的滤波后处理技术已成为研究的热点。
[0003] 现有的视频编码标准采用环路处理方法将去除块效应操作嵌入到编码框架中，运 样能有效地避免块效应在帖间的传播;或者通过采用滤波方法对解码视频图像进行后处 理，但运类方法更多的是考虑如何提升编码，而经过压缩后的彩色与深度图像，结构信息会 发生严重的退化，而彩色与深度图像本身存在较强的结构关联度，因此，如何构造能反映彩 色与深度图像本质特征的联合字典，如何根据联合字典来对彩色与深度图像进行后处理操 作，都是在对彩色与深度图像后处理研究中需要重点解决的技术问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种基于联合字典的彩色与深度图像后处理 方法，其能够充分地恢复出彩色与深度图像的结构信息，能够有效地提高虚拟视点图像的 绘制性能。
[000引本发明解决上述技术问题所采用的技术方案为:一种基于联合字典的彩色与深度 图像后处理方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的 具体步骤如下：
[0006] ①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将 由N幅原始的无失真彩色图像构成的彩色图像集合记为Uwrg 11含i含N}，将由N幅原始的无 失真彩色图像对应的深度图像构成的深度图像集合记为{Di,〇rg|l <i<N}，其中，N> 1， Ii,〇rg表示{Ii,〇al I < i <N}中的第i幅彩色图像，Di,。巧表示{Di,〇al I < i <N}中的第i幅深度 图像，Ii,。巧与Di,。巧对应；
[0007] ①-2、将{Ii,〇rg|iy如忡的每幅彩色图像划分成
.个互不重叠的尺寸大小 为8X8的子块;然后采用K-SVD方法对{Ii,orgI 1 y如忡的所有彩色图像中的子块构成的 集合进行字典训练操作，构造得到Uwall含i含N}的彩色字典表，记为D。，其中，D。的维数 为64XK，K表示设定的字典的个数，K> 1;
[000引同样，将{Di,Drgl 1含i含N}中的每幅深度图像划分成
个互不重叠的尺寸大小 为8 X 8的子块;然后采用K-SVD方法对{Di,0rg 11 y如忡的所有深度图像中的子块构成的 集合进行字典训练操作，构造得到{Di,ea|l含i含N}的深度字典表，记为Dd,其中，Dd的维数 为 64XK;
[0009] 所述的测试阶段过程的具体步骤如下：
[0010] ②-1、对于任意一幅宽度为r且高度为H'的经肝EG编码失真的彩色图像Itest及对 应的经肝EG编码失真的深度图像Dtest;
[00川②-2、将Itest划分成
个互不重叠的尺寸大小为8X8的子块；同样，将Dtest划 分成-
个互不重叠的尺寸大小为8 X 8的子块;然后根据Itest中的所有子块构成的集合 和Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd,获取Itest和Dtest的联合字 典表，记为{Dc, test，Dd, test }，其中，Dc, test为{Dc, test，Dd, test}中的彩色字典表，Dd, test为{Dc, test， Dd,test}中的深度字典表，Detest和Dd,test的维数均为64XK，K表示设定的字典的个数，K> I;
[001引 @-3、根据0。,*63*，获取'(失;>，,|1^^'^的'(中的每个列向量的稀疏系数矩阵，将 y;心,的稀疏系数矩阵记为巧通过求解ej , 得到，其中， 满足I》';如-D。。式'施|;女?；1 斬的维数为KXl，min()为取最小值函数，符号"I I I 10"为求取矩阵的0-范数符号，符号 "II ||2"为求取矩阵的2-范数符号，Tpi为误差系数；
[001引同样，根据Dd, test,获取{括,eJl引'中的每个列向量的稀疏系数矩阵，将 min| 單'价，i W的稀疏系数矩阵记为封,W，封,W通过求解 ' ， 得到，其中， 满足 Il识。,-D,。。斯[含 7；2 缉的维数为K X 1，Tp2为误差系数；
[0014]②-4、计算{沁,^|1^^'^如>}中的每个列向量的重建向量，将托/。,的重建向量记 为於，於.,。,=Df糸.,W ;然后将{y;,.wJ1会M，}中的每个列向量的重建向量中的每 个元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值，对于於.,。W中的第 j个元素的值，将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值，从而 得到Itest的后处理图像，记为I'test,其中，1 y < 64;
[001引同样，计算{城6,:1:1刮乂斯'}中的每个列向量的重建向量，将始。的重建向量记为 歹:^,，热W二;然后将'[54-中的每个列向量的重建向量中的每个 元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值，对于扔中的第J 个元素的值，将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得 到Dtest的后处理图像，记为D ' test。
[0016] 所述的步骤①-2中的Dc的获取过程为：
[0017] ①-2a、将Ui, 〇rg|l<i<N}中的N幅彩色图像中的所有子块构成一个集合，记为 {7;'|1《方含始}，其中，此处1表示{11,。巧|1^如}中的所有彩色图像中的子块的总个数，
，y?的维数为64 X 1，於表示{Ii,org 11 y如忡的所有彩色图像中的第t个 子块中的所有像素点组成的列向量；
[0018] ①-2b、采用K-SVD方法对(y; |1引含M}进行字典训练操作，构造得到Ui,〇rg| 1 y mm{||Y,-Drf} <N}的彩色字典表Dc，Dc通过K-SVD方法求解 t 2^寻到，其中，minO为取最小 满足的，|Xr|〇<F 值函数，符号"I I II2"为求取矩阵的2-范数符号，Yc的维数为64xm，K=[於…y:…y苗]，扔 为托? |1《'各M}中的第1个列向量，扔为{y;|l<K似}中的第t个列向量，y;"为 {y; i 1 < f 5； m}中的第1个列向量，)(。的维数为1( X M，Xe = [Xf……蜡]，X;表示乂。中的第1个 列向量，濟亦表示y',的稀疏系数矩阵，耗表示Xc中的第t个列向量，< 亦表示扔的稀疏系数 矩阵，X完表示X。中的第M个列向量，;岐亦表示y心的稀疏系数矩阵，符号"[]"为矢量表示符 号，符号"I I Mo"为求取矩阵的0-范数符号，T为误差系数；
[0019] 所述的步骤①-2中的Dd的获取过程为：
[0020] ①-2c、将{Dl,。rg|l<i<N}中的N幅深度图像中的所有子块构成一个集合，记为 {別1<^^^^}，其中，此处1表示{〇1,。巧|1^<^中的所有深度图像中的子块的总个数，
片的维数为64X 1，知表示{Di,〇rg 11 y如忡的所有深度图像中的第t个 子块中的所有像素点组成的列向量；
[0021 ]①-2d、采用K-SVD方法对(y川进行字典训练操作，构造得到{Di,〇rg| 1 y min{||Y,-D,X,||；} 如}的深度字典表Dd，Dd通过K-SVD方法求解 得到，其中，Yd的维数为64X 满足叫KU,戶 M，Yw=[yf…y;…yl,]，yf为{y：Ml<f：sM}中的第l个列向量，於为{y';'|l全t空M}中的第t 个列向量，y己为{y'/ 中的第M个列向量，Xd的维数为KXM，X。, =[xf---xf…<]，： 却表示Xd中的第1个列向量，非亦表示yf的稀疏系数矩阵，表示Xd中的第t个列向量，xf 亦表示於的稀疏系数矩阵，表示Xd中的第M个列向量，亦表示的稀疏系数矩阵，符 号"[]"为矢量表示符号，T为误差系数。
[002引所述的步骤②-2中的{Dc,test, Dd,test}的获取过程为：
[0023] ◎-2曰、将1*日3冲的所有子块构成一个集合，记为'[心、,| 1 的j，并将0*日3冲的 所有子块构成一个集合，记为'[》';^|1=^^'=^姐^，其中，1'表示1*63冲的子块的总个数，1'亦 表示Dtest中的子块的总个数，
於,W的维数为64 X 1，拆,W表示Itest中的第t '个 子块中的所有像素点组成的列向量，54。,的维数为64 X 1，兴,,0,表示Dtest中的第t '个子块 中的所有像素点组成的列向量；
[0024] ②-2b、根据在训练阶段构造得到的Dc,获取{於,^!1《^《腿'}中的每个列向量的 稀疏系数矩阵，将矜的稀疏系数矩阵记为砖,^.，砖,《通过求解 Ie) , 得到，其中，馬6。的维数为KX 1，min()为取最小值函数，符号"I 满足Il捉側-DX ""I; < r |〇"为求取矩阵的0-范数符号，符号"I I II2"为求取矩阵的2-范数符号，T为误差系数；
[002引同样，根据在训练阶段构造得到的Dd,获取中的每个列向量的稀 疏系数矩阵，将沁,W的稀疏系数矩阵记为玲化，，却化，通过求解 ， 得到，其中，的维数为KX1，T为误差系数； 满足|的卿-D(<J;各r
[0026]②-2c、根据(範物,|1<('<始'}和?(热城|1《*，《齡'}中的所有列向量各自的稀疏系 数矩阵，计算彩色联合矩阵和深度联合矩阵，对应记为Mc, test和Md, test，Mc, test =[ (Xe, test (Xe, test) ) Xe, test(Xd, test) ]，Md, test 二[(Xd, test (Xd,