基于改进的联合三边滤波器的深度图像超分辨重建方法与流程

本发明属于计算机视觉和图像处理领域，尤其涉及一种深度图像超分辨重建的方法。

背景技术

深度图像主要是用于记录场景中的物体到相机之间的距离信息，这些信息对机器人导航、增强现实、人体姿态估计等方面的应用和实现都至关重要。近年来，一些深度相机凭借其低成本和实时有效性受到了广泛的使用，如kinect和pmd(photonicmixerdevice)相机。但是，由于深度相机内部硬件系统的限制和外部环境的影响，导致直接获取的深度图像的分辨率有限，以至于不能满足一些方面的应用。若通过改善硬件系统来提高图像分辨率，成本较高并且难于实现，因此利用信号处理技术的深度图像超分辨重建的方法应运而生。

深度图像超分辨技术的主要目的是提高图像的分辨率，然而该问题是一个病态问题，一幅低分辨率的图像可能对应多幅高分辨率的图像。所以，这时提前获取一些先验信息对于深度图像的超分辨重建过程是相当重要的。根据先验信息来源的不同，当前深度图像超分辨重建的方法主要可以分为两类：基于示例学习的深度图像超分辨方法和基于彩色图像引导的深度图像超分辨方法。基于示例学习的深度图像超分辨方法是通过从外部大量数据集中学习一些先验信息，进而用于指导低分辨率深度图像的重建。而基于彩色图像的引导的方法是参考与低分辨率深度图像高配准的彩色图像中的高频信息，进而引导深度图像超分辨重建。

这两类方法都可以成功有效地提高深度图像的分辨率，但也存在一定的不足。基于示例学习的方法需要凭经验选取合适的外部数据集，并且对外部数据集有较强的依赖性；基于彩色图像引导的方法需要提前获取与低分辨率深度图像高度配准的彩色图像，若没有高配准的彩色图像该方法无法进行。所以，为了适应各方面实时应用的需求，现有方法中存在的一些不足，亟需被解决，使能够简单有效地提高深度图像的分辨率。

技术实现要素：

本发明的目的在于针对现有的一些深度图像超分辨方法对外部数据有较强的依赖和重建图像边缘锯齿或伪影的现象，提出一种基于改进的联合三边滤波器的深度图像超分辨重建的方法。该方法可以避免对外部数据集的依赖，并且可以有效地保持边缘信息的锐利性。

本发明为解决上述技术问题提供一种基于改进的联合三边滤波器的深度图像超分辨重建方法，该方法包括以下步骤：

s1：使用双三次插值算子以不同的采样因子对低分辨率测试图像插值放大，分别提取插值后的图像和低分辨测试图像的边缘图像，得到一个边缘图像金字塔；

s2：从图像金字塔中提取图像块，构成训练数据集；

s3：使用k-svd算法对训练数据集中的图像块进行学习，进而得到过完备字典；

s4：使用双三次插值算法将低分辨率测试图像放大到目标尺寸，使用冲击滤波对插值图像的锯齿边缘进行处理，并提取处理后的图像的边缘；

s5：通过字典中的原子对处理后的边缘图像进行稀疏表示，得到高质量的边缘图像；

s6：在高质量边缘引导下，对低分辨率测试图像进行联合三边滤波插值重建，从而得到高分辨率深度图像。

与现有的技术相比，本发明取得了如下的有益技术效果：

1)本发明不需要对外部数据集复杂的选取过程，避免了对外部数据集的依赖；

2)本发明不需要高配准的高分辨彩色图像的参考；

3)本发明不仅可以保持重建图像边缘的锐利性，而且可以有效地的抑制图像中的噪声。

附图说明

为了便于理解本发明的权利要求书的内容和具体的实施过程，一些附图被提供用于展现本发明的重建过程和重建效果。其中：

图1为本发明中基于改进的联合三边滤波器的深度图像超分辨方法的基本框架图；

图2为本发明中用于边缘图像稀疏重建的边缘图像金字塔；

图3为本发明与4种经典方法对低分辨率测试图像“bowling”在四倍因子下超分辨重建结果的展现；

图4为本发明与4种经典方法对测试图像“dove”在四倍采样因子下超分辨重建结果的展现。

具体实施方式

本发明提出基于改进的联合三边滤波器的深度图像超分辨重建方法。结合该发明对深度图像重建的基本框架图，图1对本发明的具体实施方法作详细的介绍：

s1：输入一张低分辨的测试图像dl，对其以i(i＝2,3,4)的采样因子进行插值放大，得到插值后的图像提取原始的低分辨率图像dl和插值后的图像的边缘图像和以构成四层的边缘图像金字塔t，构建的边缘金字塔如图2；

s2：从图像金字塔中提取图像块，构成训练数据集{pk}g：

{pk}g＝rtg(1)

其中，r是线性提取算子，用于提取图像块；tg是金字塔的低j层边缘图像；pk表示在图像金字塔第g层提取的第k个图像块；

s3：使用k-svd算法对训练数据集{pk}j中的图像块进行学习，进而得到过完备字典a,具体包括以下步骤：

其中l是稀疏度约束参数，qk是相对应于pk的稀疏表示的系数矩阵；

s4：使用双三次插值算子将低分辨率的测试图像dl，插值放大到目标尺寸，使用冲击滤波平滑处理插值后的图像的边缘，以便减少插值引起的锯齿，并提取滤波后的图像的边缘图像，得到低质量边缘图像el；

s5：使用训练的字典α对边缘图像el进行稀疏表示，构造出高质量边缘εh，该步骤中,利用图像块间的自相似性和边缘图像的稀疏性，通过字典中的原子对边缘图像el进行稀疏重建。具体包括以下步骤：

步骤1：从边缘图像εl中，提取大小为的图像块(k是图像块的索引)；

步骤2：相应的高质量图像块可以由训练好的字典a中原子的稀疏线性组合表示；

步骤3：最终的高质量边缘图像eh中提取的图像块应该尽可能的接近通过以下公式表示：

其中，rk是图像块提取算子，图像块的大小也是高质量边缘图像eh可以使用最小二乘法求得；

s6：使用改进的联合三边滤波器在高质量边缘图像eh的引导下，对低分辨率测试图像dl进行插值重建，从而得到期望的高分辨深度图像dh，该表达式为：

其中：dh(p)表示最终重建的高分辨图像p位置的像素值，kp一个正则化因子，ω表示以像素p为中心的领域窗口，dl(q↓)表示在输入的低分辨率测试图像dl中坐标q↓处的像素值，εh表示重构的高质量边缘，p↓和q↓分别表示像素p和q的坐标，fs(·)表示方差为σs像素之间的距离高斯函数，fg(·)表示方差为σg的梯度信息约束函数，ws是结构相似性索引，用于增强相邻领域区域的相干性，fr(·)表示一个二进制指示函数，用于判别两像素是否同一侧。

对于式4中，梯度信息约束函数fg(·)的具体计算过程如下：

假设在低分辨图像dl中像素p的坐标位置为(i,j)，首先计算在水平和垂直方向上一阶梯度的绝对值

如果在边缘附近的两像素位于不同的深度平面，它们也可能有相同的梯度分布，所以进一步计算了二阶梯度来解决该问题，表达式如下：

然后，和将被作为二维高斯函数fg(·)的输入来计算两像素间的权重。

对于式4中，结构相似性索引ws的计算过程如下：

结构相似性ssim是评价图像质量的重要指标，将该指标用于权重相邻领域可以达到较好的去噪效果。结构相似性索引ws由均值函数m(p,q)，标准方差函数σ(p,q)和结构相似性函数s(p,q)三部分组成。其表达式分别如下：

其中，c1，c2和c3是非负常量，用于避免分母为零的现象；μp和σp是以像素p为中心的邻域中所有像素的均值和标准方差；同理，μq和σq是以像素q为中心的邻域中像素的均值和标准方差，且像素q是以p为中心的领域窗口中的像素；σpq是两个邻域窗口的协方差。最终，结构相似性索引ws可以表示如下：

ws＝ssim(p,q)＝m(p,q)^ασ(p,q)^βs(p,q)^γ(12)

其中，α、β和γ为权重因子。

本发明对深度图像的重建效果可以通过以下实验进一步说明：

1、实验条件：

1)实验所用的深度图像来自于middledury图像集；

2)实验中的低分辨率测试图像由数据集中高分辨率图像下采样获得；

3)实验基于的编程平台为matlab2016a；

4)实验所用电脑的配置为intel(r)xeon(r)cpue5-2620v3@2.40h、64.0gbram、操作系统64位win8；

5)实验中采用峰值信噪比(psnr)，结构相似性(ssim)，均方根误差(rmse)和错误比(pe)4种客观评价指标对图像的重建结果进行评价。

6)实验中的一些参数是通过多次实验获得最小的rmse值而确定。

2、实验内容

在相同的条件下，四种经典的深度图像超分辨重建方法被提供与本发明的方法进行比较。这四种方法包括：timofte^【1】等人的改进的锚定邻域回归算法、kim^【2】等人的卷积神经网络的方法、yang^【3】等人的稀疏表示的方法、zeyde^【4】等人的稀疏表示的方法、xie^【5】等人的基于马尔科夫场重建边缘引导的方法。

本发明中方法参数的设定如表1所示：

表1rmse值比较(4倍重建)

其中，n表示提取图像块边长的平方值，ω表示在联合三边插值重建时的领域窗口大小，σs和σg分别表示高斯函数fs(·)和fg(·)的方差值，c1、c2和c3分别表示结构相似性索引计算中的非负常量，α、β和γ分别表示结构相似性索引计算中三个函数的权重。

表2-5展现了4种比较方法和本发明方法(ours)在4种客观评价指标上的重建效果。为了清晰的比较表格中的数值的优劣，下面分别对每个表格中重建效果排名前2的数值做了标记，加粗体的数值表示最优效果，下划线的数值效果次之。

表2rmse值比较(4倍重建)

表3ssim值比较(4倍重建)

表4psnr值比较(4倍重建)

表5pe值比较(4倍重建)

3、实验结果分析

为了清晰的阅读，我们对表格中重建效果排名前二的数值进行了标记。黑体加粗的数值表明是最好的重建结果，具有单下划线的数值次之。从表2和表4中的数值可以看出，在比较的方法中，本发明的方法对深度图像的重建效果的rmse值和psnr值在测试的九张图像中都能排名第一；同时，从表3和表5中也可以得到，在选取的所有测试图像中，本发明重建效果的ssim和pe值都能排名前二。

为了评估本发明方法重建后图像的视觉效果，在图3和图4中提供了测试图像‘bowling’和‘dove’的原始高分辨率图像和几种方法重建后的图像。其中，图3,4(a)是原始的高分辨图像；图3,4(b)是timofe^【1】方法重建的结果；图3,4(c)是kim^【2】方法重建的结果；图3,4(d)是zeyde^【4】方法重建的结果；图3,4(e)是xie^【5】方法重建的结果；图3,4(f)是本发明方法重建的结果；从这些图像中，可以观察到本发明方法重建的图像不仅可以避免产生模糊的伪影，而且有助于减少边缘附近的锯齿。

以上所述内容是根据较佳的实施方式对本发明所作的详细说明，但不能认定本发明的具体实施仅不局限于此。对于熟悉本发明技术领域的技术人员来说，在不脱离本发明所展现的技术范围内做出替换和修改，而且用途和效果相同时，都应涵盖在本发明的保护范围之内。

参考文献

1.timofte,r.,smet,v.d.,gool,l.v.:a+:adjustedanchoredneighborhoodregressionforfastsuper-resolution.in:asianconferenceoncomputervision，pp.111-126.singapore(2014).

2.kim,j.,kwon,l.j.,mu,l.k.:accurateimagesuper-resolutionusingverydeepconvolutionalnetworks.in:proceedingsoftheieeeconferenceoncomputervisionandpatternrecognition,pp.1646-1654.lasvegas,nv,unitedstates(2016).availableinhttp://doi.ieeecomputersociety.org/10.1109/cvpr.2016.182

3.yang,j.,wright,j.,huang,t.s.:imagesuper-resolutionviasparserepresentation.ieeetransactionsonimageprocessing19(11),2861-2873(2010).

4.zeyde,r.,elad,m.,protter,m.:onsingleimagescale-upusingsparse-representations.in:internationalconferenceoncurvesandsurfaces,711-730.springerberlinheidelberg(2010).

5.xie,j.,feris,r.s.,sun,m.t.:edge-guidedsingledepthimagesuperresolution.ieeetransactionsonimageprocessing25(1),428-438(2016)。