深度图增强方法和深度图增强装置与流程

本发明涉及图像增强技术领域，具体而言，涉及一种深度图增强方法和深度图增强装置。

背景技术：

随着普通用户消费级别深度摄像机的发展，深度图的应用变得越来越广泛而重要。深度图不仅对环境变化鲁棒，而且还能提供空间信息。因此，深度图在场景分类与识别、三维建模、行为检测、手势识别和人脸识别等领域有着重要的应用。然而，普通用户消费级别的深度摄像机采集到的原始深度图往往有严重的降质问题，包括过低的分辨率，噪声和信息丢失，这些问题极大地限制了对深度信息的利用。

因此，如何有效地增强深度图的结构和细节，提升深度图的视觉质量成为亟待解决的技术问题。

技术实现要素：

本发明旨在至少解决上述现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提出了深度图增强方法。

本发明的另一个目的在于提供一种深度图增强装置。

为实现上述目的，根据本发明的第一方面的实施例，提出了一种深度图增强方法，包括：对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。

根据本发明第一方面实施例的深度图增强方法，提出联合多种图像特征进行深度图图像增强，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，其中，如果仅利用单一的图像特征或者仅利用图像低层信息来增强图像，或者分别从多个方面进行多次增强，效果差强人意，本发明提出联合多种特征的方案进行深度图图像增强，其中第一联合特征和第二联合特征充分考虑了高层信息和低层信息，构建了准确的相似度准则，然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入算法，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，测试集中的低分辨率图像得到增强，例如，测试集图像是人脸图像时，则会使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行教导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。

根据本发明第一方面实施例的深度图增强方法，优选地，在对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征之前，还包括：接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。

在该实施例中，通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性并利用训练集对测试集进行监督训练；将待增强的低分辨率深度图和对应的高分辨率彩色图，放入测试集，进行有监督学习，从训练集获取增强图像的方法。

根据本发明第一方面实施例的深度图增强方法，优选地，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征，具体包括：根据训练集图像的高层语义信息，分解训练集图像，得到多个训练集子构件；将多个训练集子构件分别分割成多个训练集图像块；分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。

在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，例如，对于人脸图像来说，构件分解的步骤会将人脸图像分解成眼、嘴、鼻、面等子构件；然后将子构件分割成多个图像块，提取图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，联合考虑并利用这些图像块的多个图像特征信息构成第一联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征，具体包括：根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；将多个测试集子构件分别分割成多个测试集图像块；分别提取多个测试集图像块的所述多个图像特征信息构成所述第二联合特征；

其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。

在该实施例中，测试集中的低分辨率深度图需要被增强，与第一联合特征的提取步骤类似，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征，具体包括：

提取低频深度特征：

其中，y_l为低频深度特征，y是将高分辨率深度图图像块y进行下采再上采的低频结果；▽和▽²表示一阶和二阶导数，y_norm是归一化后的高分辨率深度图图像块y；

提取颜色特征：

y_c＝[I_norm；I_edge]

其中，y_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

y_p＝[u/W；v/H]

其中，y_p为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；

提取高频深度特征：

y_h＝[δy；▽y]

其中，y_h为高频深度特征，是高频信息，▽y是梯度信息；

组成第一联合特征[y_l,y_c,y_p,y_h]。

在该实施例中，指出了由多种图像特征构成的第一联合特征的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及训练集子构件的长和宽；高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征，具体包括：

提取深度特征：

其中，x_l为深度特征，是将高分辨率深度图图像块x进行上采的低频结果；▽和▽²表示一阶和二阶导数，x_norm是归一化后的低分辨率深度图图像块x；

提取颜色特征：

x_c＝[I_norm；I_edge]

其中，x_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

x_p＝[u/W；v/H]

其中，x_p为所述位置特征，(u,v)是x中心点的坐标，(W,H)是所述测试集子构件的长宽；

组成所述第二联合特征[x_l,x_c,x_p]。

在该实施例中，与第一联合特征的计算方法类似，不同之处在于，表示将高分辨率深度图图像块x进行上采的低频结果。从而提取出了测试集的基于颜色、深度和位置的第二联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，查找测试集图像在训练集图像的对应部分的最近邻，具体包括：对于每个输入的低分辨率深度图的深度特征x_l的每个部分的图像块根据距离公式，求出其在训练中的K个最近邻距离公式如下：

dist(x_l,y_l)＝||x_l-y_l||+w_c||x_c-y_c||+w_p||x_p-y_p||,

其中||·||是两个特征向量之间的欧几里得距离。

在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑高层和低层信息，构建了准确的相似度准则。

根据本发明第一方面实施例的深度图增强方法，优选地，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息，具体包括：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：

对应的高频特征和梯度特征部分用相同的重建系数α_i作用于K个最近邻对应的高频深度特征获得：

将所有得到的块的高频深度特征取平均，融合成深度图X_h的高频部分和梯度部分{δX,▽X}。

在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。

根据本发明第一方面实施例的深度图增强方法，优选地，所述利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像，具体包括：通过求解能量方程，将低频信息部分、高频信息部分和梯度信息部分结合，得到所述增强后的测试集图像，其中，所述求解能量方程的过程为：

X_h为增强后的高质量深度图。

在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。

根据本发明第一方面实施例的深度图增强方法，优选地，进一步包括：

将增强后的测试集图像进行显示。

在该实施例中，将增强后的图像显示在终端设备上，以供用户查看增强效果，满足用户的查看或预览需求。

根据本发明第二方面的实施例，还提出了一种深度图增强装置，其特征在于，包括：训练单元，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；测试单元，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；最近邻单元，基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；重建单元，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；优化单元，利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。

根据本发明第二方面实施例的深度图增强装置，提出联合多种图像特征进行深度图图像增强，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，其中，如果仅利用单一的图像特征或者仅利用图像低层信息来增强图像，或者分别从多个方面进行多次增强，效果差强人意，本发明提出联合多种特征的方案进行深度图图像增强，其中第一联合特征和第二联合特征充分考虑了的高层信息和低层信息，构建了准确的相似度准则，然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入算法，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，测试集中的低分辨率图像得到增强，例如，测试集图像是人脸图像时，则会使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行教导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。

根据本发明第二方面实施例的深度图增强装置，优选地，还包括：接收单元，接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；

接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。

在该实施例中，通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性并利用训练集对测试集进行监督训练；将待增强的低分辨率深度图和对应的高分辨率彩色图，放入测试集，进行有监督学习，从训练集获取增强图像的方法。

根据本发明第二方面实施例的深度图增强装置，优选地，训练单元，具体包括：第一语义单元，根据训练集图像的高层语义信息，分解训练集图像，得到多个集子构件；第一分割单元，将多个训练集子构件分别分割成多个训练集图像块；第一提取单元，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。

在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，例如，对于人脸图像来说，构件分解的步骤会将人脸图像分解成眼、嘴、鼻、面等子构件；然后将子构件分割成多个图像块，提取图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，联合考虑并利用这些图像块的多个图像特征信息构成第一联合特征。

根据本发明第二方面实施例的深度图增强装置，优选地，测试单元，具体包括：第二语义单元，根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；第二分割单元，将多个测试集子构件分别分割成多个测试集图像块；第二提取单元，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征；其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。

在该实施例中，测试集中的低分辨率深度图需要被增强，与第一联合特征的提取步骤类似，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。

根据本发明第二方面实施例的深度图增强装置，优选地，第一提取单元，具体用于：

提取低频深度特征：

其中，y_l为低频深度特征，是将高分辨率深度图图像块y进行下采再上采的低频结果；▽和▽²表示一阶和二阶导数，y_norm是归一化后的所述高分辨率深度图图像块y；

提取颜色特征：

y_c＝[I_norm；I_edge]

其中，y_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

y_p＝[u/W；v/H]

其中，y_p为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；

提取高频深度特征：

y_h＝[δy；▽y]

其中，y_h为高频深度特征，是高频信息，▽y是梯度信息；

组成所述第一联合特征[y_l,y_c,y_p,y_h]。

在该实施例中，指出了由多种图像特征构成的第一合特征的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及训练集子构件的长和宽；高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。

根据本发明第二方面实施例的深度图增强装置，优选地，第二提取单元，具体用于：

提取深度特征：

其中，x_l为深度特征，是将高分辨率深度图图像块x进行上采的低频结果；▽和▽²表示一阶和二阶导数，x_norm是归一化后的低分辨率深度图图像块x；

提取颜色特征：

x_c＝[I_norm；I_edge]

其中，x_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

x_p＝[u/W；v/H]

其中，x_p为位置特征，(u,v)是x中心点的坐标，(W,H)是测试集子构件的长宽；

组成第二联合特征[x_l,x_c,x_p]。

在该实施例中，与第一联合特征的计算方法类似，不同之处在于，表示将高分辨率深度图图像块x进行上采的低频结果。从而提取出了测试集的基于颜色、深度和位置的第二联合特征。

根据本发明第二方面实施例的深度图增强装置，优选地，最近邻单元，具体用于：对于每个输入的低分辨率深度图的深度特征x_l的每个部分的图像块根据距离公式，求出其在训练中的K个最近邻距离公式如下：

dist(x_l,y_l)＝||x_l-y_l||+w_c||x_c-y_c||+w_p||x_p-y_p||,

其中||·||是两个特征向量之间的欧几里得距离。

在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑高层和低层信息，构建了准确的相似度准则。

根据本发明第二方面实施例的深度图增强装置，优选地，重建单元，具体用于：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：

对应的所述高频特征和所述梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征获得：

将所有得到的块的高频深度特征取平均，融合成深度图Xh的高频部分和梯度部分{δX,▽X}。

在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。

根据本发明第二方面实施例的深度图增强装置，优选地，利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像，具体包括：求解如下所示的能量方程，将低频部分、高频部分和梯度部分结合，得到增强后的高质量深度图X_h：

在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。

根据本发明第二方面实施例的深度图增强装置，优选地，还包括：显示单元，将所述增强后的训练集图像进行显示。

在该实施例中，通过将增强后的测试集图像显示在终端设备上，满足用户的查看或预览需求。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了根据本发明的第一方面实施例的深度图增强方法的流程图；

图2示出了根据本发明第二方面实施例的深度图增强装置的示意框图；

图3示出了根据本发明实施例的深度图增强的演示图；

图4示出了根据本发明实施例的深度图增强的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

图1示出了根据本发明的第一方面实施例的深度图增强方法的流程图。

如图1所示，根据本发明的第一方面的实施例，提出了一种深度图增强方法，包括：步骤102，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；步骤104，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；步骤106，基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；步骤108，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；步骤110，利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。

根据本发明第一方面实施例的深度图增强方法，提出联合多种图像特征进行深度图图像增强，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，其中，如果仅利用单一的图像特征或者仅利用图像低层信息来增强图像，或者分别从多个方面进行多次增强，效果差强人意，本发明提出联合多种特征的方案进行深度图图像增强，其中第一联合特征和第二联合特征充分考虑了高层信息和低层信息，构建了准确的相似度准则，然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入算法，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，测试集中的低分辨率图像得到增强，例如，测试集图像是人脸图像时，则会使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行教导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。

根据本发明第一方面实施例的深度图增强方法，优选地，在对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征之前，还包括：接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。

在该实施例中，通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性并利用训练集对测试集进行监督训练；将待增强的低分辨率深度图和对应的高分辨率彩色图，放入测试集，进行有监督学习，从训练集获取增强图像的方法。

根据本发明第一方面实施例的深度图增强方法，优选地，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征，具体包括：根据训练集图像的高层语义信息，分解训练集图像，得到多个训练集子构件；将多个训练集子构件分别分割成多个训练集图像块；分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。

在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，例如，对于人脸图像来说，构件分解的步骤会将人脸图像分解成眼、嘴、鼻、面等子构件；然后将子构件分割成多个图像块，提取图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，联合考虑并利用这些图像块的多个图像特征信息构成第一联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征，具体包括：根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；将多个测试集子构件分别分割成多个测试集图像块；分别提取多个测试集图像块的所述多个图像特征信息构成所述第二联合特征；

其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。

在该实施例中，测试集中的低分辨率深度图需要被增强，与第一联合特征的提取步骤类似，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征，具体包括：

提取低频深度特征：

其中，y_l为低频深度特征，是将高分辨率深度图图像块y进行下采再上采的低频结果；▽和▽²表示一阶和二阶导数，y_norm是归一化后的高分辨率深度图图像块y；

提取颜色特征：

y_c＝[I_norm；I_edge]

其中，y_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

y_p＝[u/W；v/H]

其中，y_p为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；

提取高频深度特征：

y_h＝[δy；▽y]

其中，y_h为高频深度特征，是高频信息，▽y是梯度信息；

组成第一联合特征[y_l,y_c,y_p,y_h]。

在该实施例中，指出了由多种图像特征信息构成第一联合特征的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息，位置特征包括位置的中心坐标以及训练集子构件的长和宽，高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征，具体包括：

提取深度特征：

其中，x_l为深度特征，是将高分辨率深度图图像块x进行上采的低频结果；▽和▽²表示一阶和二阶导数，x_norm是归一化后的低分辨率深度图图像块x；

提取颜色特征：

x_c＝[I_norm；I_edge]

其中，x_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

x_p＝[u/W；v/H]

其中，x_p为所述位置特征，(u,v)是x中心点的坐标，(W,H)是所述测试集子构件的长宽；

组成所述第二联合特征[x_l,x_c,x_p]。

在该实施例中，指出了由多种图像特征构成的第二联合特征息包括的计算过程，其中，颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及测试集子构件的长和宽，从而提取出了基于颜色、深度和位置的第二联合特征。

根据本发明第一方面实施例的深度图增强方法，优选地，查找测试集图像在训练集图像的对应部分的最近邻，具体包括：对于每个输入的低分辨率深度图的深度特征x_l的每个部分的图像块根据距离公式，求出其在训练中的K个最近邻距离公式如下：

dist(x_l,y_l)＝||x_l-y_l||+w_c||x_c-y_c||+w_p||x_p-y_p||,

其中||·||是两个特征向量之间的欧几里得距离。

在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑高层和低层信息，构建了准确的相似度准则。

根据本发明第一方面实施例的深度图增强方法，优选地，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息，具体包括：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：

对应的高频特征和梯度特征部分用相同的重建系数α_i作用于K个最近邻对应的高频深度特征获得：

将所有得到的块的高频深度特征取平均，融合成深度图X_h的高频部分和梯度部分{δX,▽X}。

在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。

根据本发明第一方面实施例的深度图增强方法，优选地，利用全局优化方程结合所述高频信息、所述低频信息和所述梯度信息，得到增强后的测试集图像。具体包括：求解下面的能量方程，将低频部分、高频部分和梯度部分结合，便得到了增强后的高质量深度图X_h：

在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。

根据本发明第一方面实施例的深度图增强方法，优选地，进一步包括：

将增强后的测试集图像进行显示。

在该实施例中，通过将增强后的测试集图像显示在终端设备上，满足用户的查看和预览需求。

图2示出了根据本发明第二方面实施例的深度图增强装置的示意框图。

如图2所示，根据本发明第二方面的实施例，还提出了一种深度图增强装置200，其特征在于，包括：训练单元202，对训练集图像的多个图像特征信息进行提取，得到多个图像特征信息的第一联合特征；测试单元204，对测试集图像的多个图像特征信息进行提取，得到多个图像特征信息的第二联合特征；最近邻单元206，基于第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；重建单元208，根据查找到的最近邻，对测试集图像进行邻域嵌入，用以重建测试集图像的高频信息、低频信息和梯度信息；优化单元210，利用全局优化方程结合高频信息、低频信息和梯度信息，得到增强后的测试集图像。

根据本发明第二方面实施例的深度图增强装置，首先提取训练集图像的多个图像特征信息，得到多个图像特征信息的第一联合特征，并提取测试集图像的多个图像特征信息，得到多个图像特征信息的第二联合特征，第一联合特征和第二联合特征充分考虑了高层信息和低层信息，构建了准确的相似度准则；然后利用第一联合特征与第二联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；再根据查找到的最近邻，对测试集图像进行邻域嵌入，重建测试集图像的高频信息、低频信息和梯度信息；利用全局优化方程，并结合重建后测试集图像的高频信息、低频信息和梯度信息，最终得到增强后的测试集图像，使增强后的深度图更符合真实的物理结构，有效增强了深度图的结构和细节，提升了深度图的视觉质量。

根据本发明第二方面实施例的深度图增强装置200，优选地，还包括：接收单元212，接收高分辨率深度图和相关的高分辨率彩色图，用以组建训练集；接收低分辨率深度图和对应的高分辨率彩色图，用以组建测试集。

在该实施例中，在提取训练集图像的多个图像特征信息之前，需要组建好训练集以及待增强图像的测试集，以方便进行训练集图像以及测试集图像的多个图像特征信息的提取。通过接收高分辨率深度图和相关的高分辨率彩色图，来组建训练集；通过接收低分辨率深度图和对应的高分辨率彩色图，来组建测试集，保证训练集图像和测试集图像的深度图和对应彩色图的一致性。

据本发明第二方面实施例的深度图增强装置200，优选地，训练单元202，具体包括：第一语义单元2022，根据训练集图像的高层语义信息，分解训练集图像，得到多个集子构件；第一分割单元2024，将多个训练集子构件分别分割成多个训练集图像块；第一提取单元2026，分别提取多个训练集图像块的多个图像特征信息构成第一联合特征；其中，多个图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，训练集图像块包括高分辨率深度图图像块和相关的高分辨率彩色图图像块。

在该实施例中，根据训练集图像的高层语义信息和其对应的彩色图像，将训练集图像分解为多个训练集子构件，如分解成眼、嘴、鼻、面等；然后将每个训练集子构件分割成多个训练集图像块，提取多个训练集图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，并将这些图像块的多个图像特征信息构成第一联合特征。

根据本发明第二方面实施例的深度图增强装置200，优选地，测试单元204，具体包括：第二语义单元2042，根据测试集图像的高层语义信息，分解测试集图像，得到多个测试集子构件；第二分割单元2044，将多个测试集子构件分别分割成多个测试集图像块；第二提取单元2046，分别提取多个测试集图像块的多个图像特征信息构成第二联合特征；其中，多个图像特征包括颜色特征、深度特征和位置特征，测试集图像块包括低分辨率深度图图像块和对应的高分辨率彩色图图像块。

在该实施例中，根据测试集图像的高层语义信息和其对应的彩色图像，将测试集图像分解为多个测试集子构件，如分解成眼、嘴、鼻、面等；然后将每个测试集子构件分割成多个测试集图像块，提取多个测试集图像块的多个图像特征信息，这些图像特征包括颜色特征、高频深度特征、低频深度特征和位置特征，并将这些图像块的多个图像特征信息构成第二联合特征。

根据本发明第二方面实施例的深度图增强装置200，优选地，第一提取单元2026，具体用于：

提取低频深度特征：

其中，y_l为低频深度特征，是将高分辨率深度图图像块y进行下采再上采的低频结果；▽和▽²表示一阶和二阶导数，y_norm是归一化后的所述高分辨率深度图图像块y；

提取颜色特征：

y_c＝[I_norm；I_edge]

其中，y_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

y_p＝[u/W；v/H]

其中，y_p为位置特征，(u,v)是y中心点的坐标，(W,H)是训练集子构件的长宽；

提取高频深度特征：

y_h＝[δy；▽y]

其中，y_h为高频深度特征，是高频信息，▽y是梯度信息；

组成所述第一联合特征[y_l,y_c,y_p,y_h]。

在该实施例中，指出了训练集图像块的多种图像特征信息包括的具体信息，低频深度特征包括：和y_norm，表示将高分辨率深度图图像块y进行下采再上采得到的低频结果；▽和▽²表示一阶和二阶导数，y_norm表示归一化后的高分辨率深度图图像块y；颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及训练集子构件的长和宽；高频深度特征包括高频信息和梯度信息，从而提取出了基于颜色、深度和位置的第一联合特征。

根据本发明第二方面实施例的深度图增强装置200，优选地，第二提取单元2046，具体用于：

提取深度特征：

其中，x_l为深度特征，是将高分辨率深度图图像块x进行上采的低频结果；▽和▽²表示一阶和二阶导数，x_norm是归一化后的低分辨率深度图图像块x；

提取颜色特征：

x_c＝[I_norm；I_edge]

其中，x_c为颜色特征，I_norm是归一化的图像灰度，I_edge是高分辨率彩色图像的边缘信息；

提取位置特征：

x_p＝[u/W；v/H]

其中，x_p为位置特征，(u,v)是x中心点的坐标，(W,H)是测试集子构件的长宽；

组成第二联合特征[x_l,x_c,x_p]。

在该实施例中，指出了测试块的多种图像特征信息包括的具体信息，深度特征包括：表示将高分辨率深度图图像块x进行上采的低频结果；▽和▽²表示一阶和二阶导数，x_norm表示归一化后的低分辨率深度图图像块x；颜色特征包括归一化的图像灰度以及高分辨率彩色图像的边缘信息；位置特征包括位置的中心坐标以及测试集子构件的长和宽，从而提取出了基于颜色、深度和位置的第二联合特征。

根据本发明第二方面实施例的深度图增强装置200，优选地，最近邻单元206，具体用于：对于每个输入的低分辨率深度图的深度特征x_l的每个部分的图像块根据距离公式，求出其在训练中的K个最近邻距离公式如下：

dist(x_l,y_l)＝||x_l-y_l||+w_c||x_c-y_c||+w_p||x_p-y_p||,

其中||·||是两个特征向量之间的欧几里得距离。

在该实施例中，指出了查找测试集图像在训练集图像的对应部分的最邻近的距离公式，对于测试集输入的低分辨率人脸图片，在训练集中基于联合特征找到最近邻，联合特征充分考虑人脸的高层和低层信息，构建了准确的相似度准则。

根据本发明第二方面实施例的深度图增强装置200，优选地，重建单元208，具体用于：利用找到的最近邻，用邻域嵌入的方法获得图像的重建系数：

对应的所述高频特征和所述梯度特征部分用相同的重建系数αi作用于K个最近邻对应的高频深度特征获得：

将所有得到的块的高频深度特征取平均，融合成深度图Xh的高频部分和梯度部分{δX,▽X}。

在该实施例中，测试集图像在训练集图像中找到最邻近后，通过邻域嵌入的方法重建测试集图像的高频信息、低频信息和梯度信息，从而获得测试集图像的最终高频信息、低频信息和梯度信息，充分结合了高层语义信息和低层像素信息，有效地处理了深度图降质的问题。

根据本发明第二方面实施例的深度图增强装置200，优选地，优化单元210，具体地用于：通过求解能量方程，将低频信息部分、高频信息部分和梯度信息部分结合，得到所述增强后的测试集图像，其中，所述求解能量方程的过程为：

X_h为增强后的高质量深度图。

在该实施例中，在重建测试集图像的高频信息、低频信息和梯度信息后，利用统一的能量方程充分结合上述高层语义信息和低层像素信息，求解得到高质量深度图，有效地提升了深度图的质量。

根据本发明第二方面实施例的深度图增强装置200，优选地，还包括：显示单元214，将所述增强后的训练集图像进行显示。

在该实施例中，通过将增强后的测试集图像显示在终端设备上，提高了用户的视觉体验，满足了用户的需求。

图3示出了根据本发明实施例的深度图增强的演示图。

如图3所示，首先输入人脸深度图和彩色图像，根据训练集和测试集图像的高层语义信息，分别分解训练集图像和测试集图像，得到眼、嘴、鼻、面4个部分，提取训练集和测试集图像的眼、嘴、鼻、面4个部分的联合特征，基于训练集和测试集联合特征的相似性，查找测试集图像在训练集图像的对应部分的最近邻；根据查找到的最近邻，对测试集图像进行邻域嵌入，重建测试集图像的高频信息、低频信息和梯度信息，最终，利用全局优化方程结合重建后的高频信息、低频信息和梯度信息，得到增强后的深度图。使增强后的深度图更符合人脸的物理结构，有效增强了人脸深度图的结构和细节，提升了人脸深度图的视觉质量。总体上，本发明设置训练集对测试集的图像处理方法进行指导，利用机器学习提高测试集增强图像的能力，重建低分辨率深度图缺失的信息，并增强了低分辨深度图的整体质量。

图4示出了根据本发明实施例的深度图增强的流程图。

如图4所示，根据本发明实施例的深度图像增强方法的主要过程包括：步骤402，输入低分辨率人脸深度图和高分辨率彩色图像，构建出测试集；步骤404，对低分辨率人脸深度图和高分辨率彩色图像进行人脸构件分解，并将每个构件分解成图像块，此步骤中，先考虑高层语义信息将测试集的人脸深度图根据人脸器官的特征划分为构件，然后对每个构建再进一步分解得到便于采集联合特征的图像块；步骤406，提取输入图像的联合特征，此步骤提取多种图像特征，联合考虑多种图像特征；步骤408，调用训练集中高分辨率人脸深度图和高分辨率彩色图像，构成测试集；步骤410，对训练集中高分辨率人脸深度图和高分辨率彩色图像进行人脸构件分解，并将每个构件分解成图像块；步骤412，提取训练集中图像的联合特征；步骤414，对于输入深度的图像块，使用联合特征在训练集中找该图像块的最近邻；步骤416，用邻域嵌入的方法重建输入深度的图像块的高频信息和梯度信息；步骤418，使用全局优化方程结合低频、高频信息和梯度信息输出增强后的人脸梯度图。

以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，结合颜色、深度和位置信息的联合特征充分考虑人脸的高层和低层信息，并使用全局优化方程结合高频、低频和梯度信息，对深度图的降质问题具有鲁棒性，可以有效地增强人脸深度图的结构和细节，提升深度图视觉质量。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减，本发明实施例系统中的单元可以根据实际需要进行合并、划分和删减。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。