一种深度图超分辨方法
【技术领域】
[0001] 本发明涉及计算机视觉和图像处理领域，特别是涉及一种深度图超分辨方法。
【背景技术】
[0002] 深度图作为真实3D空间物体的位置的一种表示，在目标识别、立体医疗、3D重建 和立体视频等领域扮演着越来越重要的作用。尽管当前存在许多深度获取方法能够从自然 场景中获取深度信息形成深度图，但是获取的深度图其分辨率相当于与同一场景下拍摄的 彩色图的分辨率小很多，而且获取的深度图也有许多噪声，这主要是由于这些深度获取方 法使用的采集设备的感知芯片尺寸较小。这些缺点都极大的限制了基于深度信息的实际应 用的发展。
[0003] 深度图超分辨是解决上述问题的一个重要手段。深度图超分辨属于计算机视觉和 图像处理领域，是一个经典的图像处理问题，有着重要的学术和工业研究价值。深度图超分 辨的主要目标就是，输入低分辨率的深度图，能够在保证重构误差尽量小的情况下，保持比 较好的视觉效果，即获得较好的客观和主观质量。当前主流的深度图超分辨方法可以分为 两大类：基于引导图像插值的方法；基于稀疏表示的方法。
[0004] 基于引导图像插值的方法，其处理过程通常会使用一张高分辨率的彩色引导图 像，计算出目标深度图每一个像素点的值所应当满足的约束，之后进行最小二乘优化来求 解出高分辨率的深度图。但是，很多情况下，这类方法产生的结果会受到引导彩色图的干 扰，所得到的高分辨率深度图中有很多多余的纹理信息，而且速度较慢。基于稀疏表示的方 法，通常是通过建立训练集，训练出字典，之后通过目标深度图满足的稀疏约束，通过求解1 范数或者0范数问题来获得目标的高分辨率深度图。这类方法没有结合引导图图像，而且 不能很好地应对噪声问题。
【发明内容】
[0005] 本发明的主要目的在于针对现有技术的不足，提供一种处理速度快、质量高的深 度图超分辨方法。
[0006] 为实现上述目的，本发明采用以下技术方案：
[0007] -种深度图超分辨方法，包括训练步骤和超分辨处理步骤，其中：
[0008] 所述训练步骤包括：
[0009] (1)建立深度图训练集，获取高分辨率深度图集合并从所述高分辨率深度图 集合中提取得到高分辨率特征集合{沁卜对所述高分辨率深度图集合丨1>；}下采样 后再上采样得到低分辨率深度图集合·{巧}，从所述低分辨率深度图集合·[巧}中提取得到 低分辨率特征集合|允1;
[0010] (2)利用所述低分辨率特征集合训练得到低分辨率字典\并得到低分辨率特 征相应的重构系数集合X;利用所述高分辨率特征集合和所述重构系数集合X计算得 到高分辨率字典ah;
[0011] 所述超分辨处理步骤包括：
[0012] (3)输入待处理的低分辨率深度图D\，提取得到当前低分辨率图像块集合 并从所述当前低分辨率图像块集合提取得到当前低分辨率特征集合pi}，对于每一 个当前低分辨率特征/丨，输入无噪的高分辨率的引导彩色图cH，利用所述引导彩色图cH计 算得到每一个重构的高分辨率特征满足的权重约束W，结合所述低分辨率字典\和所 述高分辨率字典AH以及所述权重约束W并利用0范数求解得到重构系数α;
[0013] (4)使用所述重构系数α和所述高分辨率字典ΑΗ重建出每一个当前低分辨率特 征对应的重构的高分辨率特征#纟，再将所有重构的高分辨特征集合加上所述重 构的高分辨率特征丨^对应的当前低分辨率图像块集合得到所述重构的高分辨率特 征￥|相应的当前高分辨率图像块集合并将所有的当前高分辨图像块融合成一张 高分辨深度图d'h。
[0014] 本发明的有益效果包括：本发明提出的深度图超分辨方法结合了基于稀疏表示和 引导图插值的方法，利用本发明可获得充分利用了稀疏表示方法的快速性，还能够结合引 导图像的无噪性来进行引导插值，最终得到高分辨率且质量高的深度图。
【具体实施方式】
[0015] 以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的， 而不是为了限制本发明的范围及其应用。
[0016] 在本发明的实施例中，针对单张低分辨率的图像，提出一种深度图超分辨方法。根 据该方法，在训练步骤中，进行低分辨率字典\和高分辨率字典AH的训练。在超分辨处理 步骤（也即重构阶段）中，从输入的待处理的低分辨率深度图〇\中，提取当前低分辨率图 像块集合并由此提取得到其对应的当前低分辨率特征集合^1}，对于每一个当前低 分辨率特征，再输入无噪的高分辨率的引导彩色图CH，利用引导彩色图CH计算出每一个 重构的高分辨率特征Υ?满足的权重约束W，结合低分辨率字典\和高分辨率字典AH以及 权重约束W并利用0范数求解得到重构系数α。使用重构系数α和高分辨率字典AH重建 出每一个当前低分辨率特征对应的重构的高分辨率特征，再将所有重构的高分辨特 征集合{Λ}加上其对应的当前低分辨率图像块集合得到所有相应的当前高分辨率 图像块集合，融合所有的当前高分辨图像块形成一张高分辨深度图D' H。
[0017] 在本发明的一个优选实施例中，深度图超分辨方法包括以下步骤：
[0018] 训练步骤，包括：
[0019] (1)建立深度图训练集，获取高分辨率深度图集合，:并从高分辨率深度图集 合中提取得到高分辨率特征集合对高分辨率深度图集合下采样后再上采 样得到低分辨率深度图集合{巧}，从低分辨率深度图集合中提取得到低分辨率特征 集合pi卜
[0020] 在一个更优选的实施例中，具体来说，步骤（1)的步骤可以包括：
[0021] a)对高分辨率深度图集合使用插值算法进行下采样后再进行上采样处理得 到低分辨率深度图集合
[0022] b)从高分辨率深度图集合中提取高分辨率图像块集合，从低分辨率深 度图集合[/?}中的相应位置提取出低分辨率图像块集合ipU，再对高分辨率图像块集合 和低分辨率图像块集合进行特征提取以分别获得高分辨率特征J4和低分辨率 特征允，具体提取方法是：高分辨率特征为：
[0023]
(])
[0024] 对低分辨率图像块集合进行一阶水平方向、一阶竖直方向、二阶水平方向和 二阶竖直方向梯度特征提取，以获得低分辨率特征X为：
[0025]
P)
[0026] 其中，符号*表示卷积操作，匕和匕分别表示水平与竖直方向的一阶梯度高通滤 波器，&和f4分别表示水平与垂直方向二阶梯度高通滤波器。
[0027] (2)利用低分辨率特征集合训练得到低分辨率字典\并得到低分辨率特征相 应的重构系数集合X;利用高分辨率特征集合和重构系数集合X计算得到高分辨率字 典Ah〇
[0028] 在一个更优选的实施例中：
[0029] 低分辨率的字典\通过优化以下目标函数来获得：
[0030] (3)
[0031]
[0032] 其中&= ，ApX分别为低分辨率特征集合、低分辨率字典以及低分辨率特征 相应的重构系数集合，防-為义匕是重构误差项，| |xn| |q$L是系数0范数约束项。
[0033] 高分辨率字典AH使用最小二乘优化方法获得：
[0034]
(4)
[0035] 其中&=·['}，AH，X分别为高分辨率特征集合、高分辨率字典以及低分辨率特征 相应的重构系数集合，||Fff -為是重构误差项。
[0036] 超分辨处理步骤，包括：
[0037] (3)输入待处理的低分辨率深度图D\，提取得到当前低分辨率图像块集合 并从当前低分辨率图像块集合提取得到当前低分辨率特征集合，对于每一个当 前低分辨率特征少^，输入无噪的高分辨率的引导彩色图CH，利用引导彩色图CH计算得到每 一个重构的高分辨率特征满足的权重约束W，结合低分辨率字典\和高分辨率字典AH 以及权重约束W并利用0范数求解得到重构系数α。
[0038] 在一个更优选的实施例中，步骤（3)中从当前低分辨率图像块集合提取得到 当