一种基于结构字典的稀疏表示深度图像重建算法
【专利摘要】本发明公开了一种基于结构字典的稀疏表示深度图像重建算法，属于图像处理技术领域。首先将对应的深度图和彩色图像作为整体来考虑，在求解过程中，主要注重通过构造具有逻辑对应关系的结构字典来提高深度图像和彩色图像的重建效果。在字典构造的过程中，利用深度图像和彩色图像之间的逻辑对应关系和深度图像本身存在的相似关系，提升字典训练的效率和质量。本发明在收集和整理大量国内外相关资料的基础上，结合稀疏编码等相关理论，针对对应的深度图像与彩色图像之间存在的密切关联，分析数据之间的相关性，主要解决了基于结构字典的稀疏表示深度图的重建问题，减小了运算复杂度，提高了深度图和对应彩色图的重建质量。
【专利说明】
一种基于结构字典的稀疏表示深度图像重建算法
技术领域
[0001] 本发明属于图像处理技术领域，具体涉及一种基于结构字典的稀疏表示深度图像 重建算法。
【背景技术】
[0002] 稀疏表示（sparse representation)是一种信号表示方法，即给定的信号可以被 某个变换域内的基线性稀疏重构。变换域内的基的集合称之为字典。为了使得信号的表示 具有平移不变性，研究者又引入了冗余表示的概念，即要求信号在变换域内表示系数的维 度大于信号本身的维度，即"超完备"。通过寻找一组"超完备"基向量来更高效的表示样本 数据，将一个信号表示为一组基的线性组合。在超完备字典下，信号可以用几个基元的线性 组合来表示信号本身，由于这种字典基元不在限定为正交完备的字典，因此对信号的表达 能力变得更强，而且通过训练得到的超完备字典能够更加自适应的表达信号特性。具有存 储能力大、具有联想记忆能力、使信号结构更加清晰等优点。在图像去噪、图像超分辨率、图 像分割，图像分类和人脸识别等领域都有着广泛的应用。
[0003] 假设D=[di，d2, . . .，dn]表示一个包含η个基元的超完备字典，一个信号y=[yi y2 ... yn]T表示成这些基元的线性组合，即
[0004]
(1)
[0005] a = [Ci1 α2 ... αη]τ是稀疏系数，该向量只包含很少的非零元素或者只有很少的 几个远大于零的元素。稀疏编码算法就是通过求解优化问题
[0006]
(2)
[0007] 找到系数α和字典D来重建目标信号。
[0008] 稀疏表示的求解过程包括两个部分，分别是字典训练（Training)和编码 (Coding)。字典训练部分是在给定一系列图像样本X= [χι，Χ2,...，xn]的情况下，从样本中 学习得到一组基DitcU，^，...，dn]即字典。训练的过程是一个重复迭代的过程，目标函数 为
[0009； (3)
[001 0]通过交替更改α和D使得目标函数最小。每次迭代分为两个步骤：1)固定字典CU，i =1，2, . .，n调整系数α.使目标函数最小，g卩求解Lasso问题;2)固定系数ai，i = l，2, . . .，n， 调整D，使目标函数最小，即求解凸QP问题。两个步骤交替执行直至收敛，此时得到的字典D 即可以良好表达样本信号的一组基。编码部分就是给定新的图像Y，由上部分训练得到的字 典D，通过求解Lasso问题获得稀疏向量a，该向量即输入图像Y的稀疏表达。通过y ? Da重建 目标图像。目前常用的字典训练算法有MOD算法和KSVD算法。
[0011]学习字典的结构的不同，在应用和计算方面也有很大差异。2014年，Tiezheng Ge
[3]等人提出在稀疏求解的过程中，可将其分解为两个子问题进行求解，通过将原优化问题 的超完备字典表示为两个规模较小的字典的笛卡尔积，并对其分别求解，将一个规模较大 的问题分解成了两个较小的子问题，大大降低了运算量，提升了运算速度。因此找到结构更 加合理的学习字典，是提升算法性能的一个重要突破口。
[0012] 深度图是表示场景中各个点相对于摄像机的距离的图像，即每个像素值表示场景 中某一点与摄像机之间的距离。在3D电视、增强实现和3D重建中，深度图像都有非常重要的 作用。目前随着RGB-D相机的发展，例如ToF相机和微软公司研发的Kinect，使得普通用户也 能同时获得彩色图像获得深度图像。但是由于用户经验不足或者设备本身的限制，获得的 深度图像往往存在噪声和深度值缺失等问题。因此获得高质量深度图是计算机视觉系统的 重要任务之一。由于深度图中的像素点记录的是场景中点与摄像机的距离，即场景中处于 同一平面上的点拥有相同的深度信息。彩色图是记录场景中各个点颜色信息的图像，根据 其性质可知同一平面可以存在很多不同的颜色。由于对应的深度和彩色图像之间的关联密 切，可以考虑在提升图像质量的方法中利用其相互关系来进一步提升效果。而通过增加彩 色图像的细节信息，利用低秩和回归模型来增强深度图像，取得了较好的实验结果。
[0013] 在本发明中，首先将对应的深度图和彩色图像作为整体来考虑，在求解过程中，主 要注重通过构造结构字典来提高深度图像和彩色图像的重建效果。在字典训练的过程中， 利用深度图像和彩色图像之间的逻辑对应关系和深度图像本身存在的相似关系，提升字典 训练的效率和质量。
【发明内容】
[0014] 本发明在收集和整理大量国内外相关资料的基础上，结合稀疏表示等相关理论， 针对深度图像与彩色图像之间存在的密切关联，分析数据之间的相关性，提出了一种基于 结构字典的稀疏表示深度图像重建算法，主要解决的技术问题包括结构字典的的设计与更 新，以及深度彩色图像联合重建。与普遍运用的无结构随机字典相比较，结构字典通过其深 度部分和彩色部分之间的逻辑关系对应，提取了深度彩色图像中的关键信息，压缩了字典 的维度，减小了运算复杂度，提高了深度图像的重建质量。
[0015] 为了实现上述目的，本发明采用的技术方案为一种基于结构字典的稀疏表示深度 图像重建算法，一个普通的稀疏表示优化求解问题可由如下公式表示：
[0016]
⑷
[0017] Y代表输入图像，D为字典，X是待求解的稀疏系数，λ为平衡求解精度与稀疏度之间 关系的参数。考虑图像Y由深度和彩色两部分组成，即
中心表示深度部分，Υ2表示 彩色部分，优化表达式可写成如下形式：
[0018]
(5)
[0019] 上述表达式可转化成如下形式来表示：
[0020]
[0021]
[0022]
[0023]
[0024] 由【背景技术】可知，同一场景所拍摄的深度图像中。同一平面的点具有相同的深度 信息，在对应的彩色图像中，同一平面的点则可以包含不同的彩色信息。根据深度图像的特 点，场景中同一平面上的点具有相同的深度信息，则可知该深度图像中只需要少量的深度 信息即可表示该图像所包含的的信息。基于这样的经验观测，假设在同一场景拍摄的深度 图像和彩色图像中，同一个深度信息可对应多个不同的彩色信息，即深度信息和彩色信息 之间存在一对多的关系。
[0025] 需要说明的是，此对应关系并不是线性关系而是逻辑对应关系，旨在利用深度图 像本身存在的具有大片深度值相同的区域的特点，找到对应彩色图中该区域所存在色彩值 的差异。利用彩色图像中更加丰富的信息，在训练过程中增加深度字典更新的准确程度。
[0028] 其中a为深度信息，b为彩色图像中对应位置的彩色信息，ω为平衡参数，mi是整体
[0026] 基于上述假设，Y1 = (Y1JIU, Y2 = 分别代表对应的深度和彩色图像样 本，a和b分别代表心和^的样本列，则a和b两者之间对的逻辑对应关系可以由如下矩阵来表 示：
[0027]
[0031 ] u和X之间的对应关系可用矩阵Ω来表达，g卩U= Ω X。通过探究得到关系矩阵Ω之 后，系数u便可根据公式(10)的稀疏解得到。通过交替求解(9)(10)，并更新字典DjPD2,将最 终训练完成的字典行组合，得到结构字典D。
【附图说明】
[0032] 图1为深度平均PSNR曲线图
[0033] 图2为彩色平均PSNR曲线图
[0034] 图3为本发明探究对应深度图像和彩色图像逻辑对应关系矩阵实施例流程图
[0035] 图4为本发明基于结构字典的稀疏表示深度图像重建实施例流程图
【具体实施方式】
[0036] 如图1-4所示，为了验证所提方法的有效性，在matlab R2012a下进行了基于稀疏 编码的"深度-彩色"结构字典构造和训练并对目标图像进行重建的模拟实验。在普通的重 建方法下，对使用无结构的随机字典(USRD)和结构字典(SD)两种方案进行了比较。实验结 果的客观评价采用峰值信噪比（Peak Signal to Noise Ratio，PSNR)度量，单位为分贝 (dB)〇
[0037]采用图像集Middlebury_Dataset进行实验，对图像集中的30组对应的深度和彩色 图像进行了重建。结果如表1所示。
[0038]表1通过不同的迭代次数训练字典重建的平均?3顺((^)，采样块8乂8
[0040]实验结果表明，当迭代次数相同，使用普通的稀疏求解算法时，无结构的随机字典 则需要在较多的迭代次数下才会达到最优效果，"深度-彩色"字典在较小的迭代次数即可 取得较稳定的实验结果，且与无结构随机字典相比显著提升了深度图像和彩色图像的重建 效果，获得了非常明显的PSNR增益，证明了 "深度-彩色"结构字典方法的有效性。
[0041 ] 实施例
[0042]探究对应深度和彩色图像逻辑对应关系矩阵Ω，具体包括：
[0043] 1)对对应深度和彩色图像进行采样
[0044] 利用普通采样算法对对应深度图像Y1和彩色图像Y2分别进行采样，得到深度样本 Xi，彩色样本X2。
[0045] 2)对深度样本进行聚类
[0046] 由于本发明将深度和彩色图像作为整体进行考虑，在采样完成后将深度和彩色样 本进行组合得到整体样本X，Sf
根据深度图像的特点，场景中同一平面上的点具 有相同的深度信息，则可知该在样本中只需要少量的深度信息即可抽取该图像的特征。因 此根据整体样本中的深度信息，利用普通聚类算法(如K-Means算法)对整体样本X进行聚类 操作，即聚类过程中计算每个样本列到聚类中心的距离是只考虑深度样本部分，彩色样本 部分只做对应的调整，保持与原始深度样本的位置一致而不参与任何有关聚类的计算。聚 类完成后得到深度样本
和彩色样本Xf' = [Xi,Xi,，以及每类 样本的数目m，i = l，2,...，m，m为类的数目。
[0047] 3)对每类彩色样本进行第二次聚类
[0048] 利用普通聚类算法对上一步骤操作完成的彩色样本每类彩色样本尤|4 =1,2, M 进行聚类。得到第i类的聚类中心;4;_,i = 1,2m,j = 1_,2,...&41为第1类聚类所得到类的 数目，其中每类的样本列的数目为qj，j = l，2, · · ·，pi。
[0049] 4)根据彩色样本每类内部的分类数目计算对应关系矩阵Ω
[0050] 聚类完成之后的每类彩色样本的聚类中心，即彩色图对应的深度图提取的深度信 息所对应的彩色信息。由于同一深度信息对应多种彩色信息，并且每类彩色信息与深度信 息的逻辑对应关系有强弱之分，因此采用系数β来描述不同彩色信息之间的比重。本发明中 采用加权值的方法来构造关系矩阵Ω。根据彩色样本每一类中的样本列的数目计算其加权 值，确定其与深度信息之间逻辑关系的比重。其中第类彩色样本中第k子类的加权值为： 是参数，根据经验值设定。根据加权值，则可得到第i 类的参类
n，总体的关系矩阵）
[0051 ]本发明结构字典训练和重建实施具体包括：
[0052] 1)利用普通稀疏求解算法(如0ΜΡ)求得彩色样本的稀疏系数y
[0053]利用OMP算法进行系数求解，得到稀疏系数y:y = argminy| |y| |i，s.t.D2y=X2。
[0054] 2)根据对应关系矩阵Ω求出对应深度样本的稀疏系数u
[0055] 由假设可知U= Ω X，根据该公式求得深度样本的系数系数u。
[0056] 3)利用普通字典更新算法根据系数y和u分别更新彩色字典D2和深度字典D 1
[0057] 4)对步骤1)_3)重复迭代直至收敛，得到训练完成的DllD2,将其组合得到结构字典 D即先求得彩色稀疏系数y，根据y与u的关系矩阵Ω求得深度系数u，根据分别更新彩色 和深度字典D 2, D1，利用更新完成后的字典再进行下一次迭代的稀疏求解。直至优化问题收 敛。"深度-彩色"结构字典D即将深度字典D1和彩色字典出进行逻辑对应，D = 。
[0058] 5)通过训练得到的字典D重建目标深度图像Y1和彩色图像Y2,包括稀疏求解和重建 两部分。利用OMP算法进行系数求解，得到稀疏系数Ot.:: a = 丨AtII1^LDa = Y,Y= ^ 〇 在结合信号的稀疏表达，Y= Da兰Da，重建出原始深度图像和彩色图像。也可利用OMP算 法分别求解深度和彩色的稀疏系数y和u :，ft = argminu||w||i, s. t. D1U = Y1J = 3卬丨11丨4丨丨7丨丨1,5丄02￥ = ￥2,结合稀疏表达￥1=:〇111兰010,￥ 2.= 027兰027重建出原始 深度图像和彩色图像。
[0059]需要说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽 管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然 可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改 后的技术方案脱离本发明技术方案的精神和范围。
【主权项】
1. 一种基于结构字典的稀疏表示深度图像重建算法，稀疏表示是一种信号表示方法， 即给定的信号可W被某个变换域内的基线性稀疏重构;变换域内的基的集合称之为字典； 为了使得信号的表示具有平移不变性，研究者又引入了冗余表示的概念，即要求信号在变 换域内表示系数的维度大于信号本身的维度，即"超完备"；通过寻找一组超完备基向量来 更高效的表示样本数据，将一个信号表示为一组冗余基的线性组合;在超完备字典下，信号 可W用几个基元的线性组合来表示信号本身，由于运种字典基元不在限定为正交完备的字 典，因此对信号的表达能力变得更强，而且通过训练得到的超完备字典能够更加自适应的 表达信号特性;具有存储能力大、具有联想记忆能力、使信号结构更加清晰等优点；在图像 去噪、图像超分辨率、图像分割，图像分类和人脸识别等领域都有着广泛的应用； 假设D=[di，d2，-，，dn]表示一个包含η个基元的超完备字典，一个信号y=[yi y2… yn]T表示成运些基元的线性组合，即C1) α = [αι 02…αη]τ是稀疏系数，该向量只包含很少的非零元素或者只有很少的几个远 大于零的元素;稀疏表示的优化问题如下：议) 通过求解(2)找到系数α和字典D来重建目标信号； 稀疏表示模型的求解包括两个部分，分别是字典训练(Training)和编码(Coding);字 典训练部分是在给定一系列图像样本X=[Xl，X2，…，Xn]的情况下，从样本中学习得到一组 基0=[山，(12，-，，山]，即字典；训练的过程是一个重复迭代的过程，目标函数为(3) 通过交替更改α和D使得目标函数最小；每次迭代分为两个步骤：1)固定字典di，i = 1， 2，..，〇，调整系数日.使目标函数最小，即求解1^曰33〇问题;2)固定系数日1，1 = 1，2，。'，11，调整 D，使目标函数最小，即求解凸QP问题;两个步骤交替执行直至收敛，此时得到的字典D即可 W良好表达样本信号的一组基;编码部分就是给定新的图像Y，由上部分训练得到的字典D， 通过求解Lasso问题获得稀疏向量α，该向量即输入图像Y的稀疏表达;通过y a Da重建目标 图像；目前常用的字典训练算法有MOD算法和KSVD算法； 其特征在于： 一个普通的稀疏表示优化求解问题可由如下公式表示：(4) Y代表输入图像，D为字典，X是待求解的稀疏系数，λ为平衡求解精度与稀疏度之间关系 的参数;考虑图像Υ由深度和彩色两部分组成，即其中Yi表示深度部分，Υ2表示彩色 部分，优化表达式可写成如下形式：C5) 上述表达式可转化成如下形式来表示：(6) 该问题可分解成两个子问题进行求解：同一场景所拍摄的深度图像中，同一平面的点具有相同的深度信息，在对应的彩色图 像中，同一平面的点则可W包含不同的彩色信息;根据深度图像的特点，场景中同一平面上 的点具有相同的深度信息，则可知该深度图像中只需要少量的深度信息即可表示该图像所 包含的的信息;基于运样的经验观测，假设在同一场景拍摄的深度图像和彩色图像中，同一 个深度信息可对应多个不同的彩色信息，即深度信息和彩色信息之间存在一对多的关系； 需要说明的是，此对应关系并不是线性关系而是逻辑对应关系，旨在利用深度图像本 身存在的具有大片深度值相同的区域的特点，找到对应彩色图中该区域所存在色彩值的差 异;利用彩色图像中更加丰富的信息，在训练过程中增加深度字典更新的准确程度； 基于上述假设，馬二术 =1，馬二iYzJLi分别代表对应的深度和彩色图像样本，曰和 b分别代表Yi和Y2的样本列，则a和b两者之间对的逻辑对应关系可W由如下矩阵来表示：其中a为深度信息，b为彩色图像中对应位置的彩色信息，ω为平衡参数，ΠΗ是 整体样本中的一组样本，1 < ΠΗ < η;令Xj二的X]'+l…Χηη]Τ, ? = 1.,…，打,y = 1,..,饥.j,，现J引入参数Ui，令，i = l，2，…，n，u=[山化…Un]T则（7)(8)可表示成如下形式：U和X之间的对应关系可用矩阵Ω来表达，即u= Ω X;通过探究得到关系矩阵Ω之后，系 数U便可根据公式（10)的稀疏解得到;通过交替求解(9)(10)，并更新字典化和化，将最终训 练完成的字典化和化进行组合，得到结构字典D。2.根据权利要求1所述的一种基于结构字典的稀疏表示深度图重建算法，其特征在于： 探究对应深度和彩色图像逻辑对应关系矩阵Ω，具体包括： 1) 对对应深度和彩色图像进行采样 利用普通采样算法对对应深度图像Yi和彩色图像Y2分别进行采样，得到深度样本XI，彩 色样本拉； 2) 对深度样本进行聚类 由于本发明将深度和彩色图像作为整体进行考虑，在采样完成后将深度和彩色样本进 行组合得到整体样本X，即根据深度图像的特点，场景中同一平面上的点具有相同 的深度信息，则可知该在样本中只需要少量的深度信息即可抽取该图像的特征；因此根据 整体样本中的深度信息，利用普通聚类算法(如K-Means算法)对整体样本X进行聚类操作， 即聚类过程中计算每个样本列到聚类中屯、的距离是只考虑深度样本部分，彩色样本部分只 做对应的调整，保持与原始深度样本的位置一致而不参与任何有关聚类的计算;聚类完成 后得到深度样本巧is = 1刮，乂12，...，巧^^和彩色样本乂鮮二片:^巧,巧，W及每类样本的 数目m，i = l，2，…，m，m为类的数目； 3) 对每类彩色样本进行第二次聚类 利用普通聚类算法对上一步骤操作完成的彩色样本每类彩色样本巧，i=l，2，...，m进行 聚类;得到第i类的聚类中屯、二1,2，...，m，j二1,2，...&:化为第1类聚类所得到类的数目， 其中每类的样本列的数目为qj，j = l，2,…，Pi; 4) 根据彩色样本每类内部的分类数目计算对应关系矩阵Ω 聚类完成之后的每类彩色样本的聚类中屯、，即彩色图对应的深度图提取的深度信息所 对应的彩色信息；由于同一深度信息对应多种彩色信息，并且每类彩色信息与深度信息的 逻辑对应关系有强弱之分，因此采用系数β来描述不同彩色信息之间的比重;本发明中采用 加权值的方法来构造关系矩阵Ω ;根据彩色样本每一类中的样本列的数目计算其加权值， 确定其与深度信息之间逻辑关系的比重；其中第类彩色样本中第k子类的加权值为：h是参数，根据经验值设定;根据加权值，则可得到第i 类的参数巧二...，wy，:i =1,…，m，总体的关系矩阵夫3.根据权利要求1所述的一种基于结构字典的深度图重建算法，其特征在于:基于结构 字典的稀疏表示深度图重建实施具体包括， 1) 利用普通稀疏求解算法求得彩色样本的稀疏系数y 利用OMP算法进行系数求解，得到稀疏系数y: y = argminy I I y I 11，S. t.化y =拉； 2) 根据对应关系矩阵Ω求出对应深度样本的稀疏系数u 由假设可知u= Ω X，根据该公式求得深度样本的系数系数U; 3) 利用普通字典更新算法根据系数y和U分别更新彩色字典化和深度字典化 4) 对步骤1)-3)重复迭代直至收敛，得到训练完成的化，将其组合得到结构字典D即 先求得彩色稀疏系数y，根据y与U的关系矩阵Ω求得深度系数U，根据y和U分别更新彩色和 深度字典化，Di，利用更新完成后的字典再进行下一次迭代的稀疏求解;直至优化问题收敛； "深度-彩色"结构字典加 P将深度字典化和彩色字典化进行逻辑对应5) 通过训练得到的字典D重建目标深度图像A和彩色图像Y2,包括稀疏求解和重建两部分； 利用OMP算法进行系数求解，得到稀疏系数α : α = afgBito.Ja|li,s.t..Da = Y;在结合信号 的稀疏表达，Y = Da呈D化重建出原始深度图像和彩色图像;也可利用OMP算法分别求解深 度和彩色的稀疏系数y和U:，沿=argmhijlwlli ,s.t. D'lU = Υι,?；' = a巧minyllylli ,s.t. 13巧=Υζ,结 合稀疏表达Yi = Di.u = Di〔i，Y2 = Dzy = 〇2p，iRlI出原始深度图像和彩色图像。
【文档编号】G06T7/00GK105844635SQ201610162303
【公开日】2016年8月10日
【申请日】2016年3月21日
【发明人】尹宝才, 尹海真, 施云惠, 丁文鹏
【申请人】北京工业大学