一种单目深度估计算法、系统、设备及存储介质的制作方法

本发明实施例涉及图像深度估计技术领域，具体涉及一种单目深度估计算法、系统、设备及存储介质。

背景技术：

深度估计是计算机视觉从图像中估计场景深度信息的基本问题。深度估计为一些视觉应用，如图像合成、场景识别、姿势估计和机器人技术提供了重要的几何线索。目前对于多目视图图像或视频序列，有各种效果显著的深度估计技术。但是，现有方法无法实现单目图像的深度估计。

技术实现要素：

为此，本发明实施例提供一种单目深度估计算法、系统、设备及存储介质，以解决目前图像深度估计技术无法实现单目图像的是深度估计的技术问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，提供了一种单目深度估计算法，所述算法包括：接收单目输入图像i，获取所述输入图像i的原始深度图d；基于所述原始深度图d构建若干不同分辨率级别的普通深度图dn，其中，n为分辨率级别；基于所述普通深度图dn构建每一分辨率级别的相对深度图rn；利用每一分辨率级别的所述普通深度图dn和所述相对深度图rn分别获取每一分辨率级别的普通深度细节图fn和相对深度细节图fn；利用每一分辨率级别的所述普通深度细节图fn和所述相对深度细节图fn分别计算每一分辨率级别细节图的平均深度分量；及根据所述每一分辨率级别的细节图的平均深度分量重建最佳深度图。

进一步地，所述普通深度图的构建方法包括：计算所述原始深度图d的几何平均值g(d)，以所述原始深度图d的几何平均值g(d)作为最低分辨率级别的普通深度图d0；及利用最低分辨率级别的普通深度图d0通过相邻分辨率级别的普通深度图的卷积递推算法获取每一分辨率级别的普通深度图dn。

进一步地，所述相对深度图的构建方法包括：根据相邻分辨率级别的普通深度图dn-1和dn构建稀疏比较矩阵pn,n-1；利用交替最小二乘法als算法，将稀疏比较矩阵pn,n-1恢复为稠密比较矩阵及通过对所述稠密比较矩阵的左向量矩阵进行归一化和重塑处理来重建每一分辨率级别的相对深度图。

进一步地，利用每一分辨率级别的所述普通深度图dn获取每一分辨率级别的所述普通深度细节图fn，包括：利用低一级分辨率级别的第一预设上采样操作矩阵un-1对低一级分辨率级别的普通深度图dn-1进行第一上采样操作u；及利用每一分辨率级别的所述普通深度图dn与第一上采样操作后的低一级分辨率级别的普通深度图d′n-1在元素方向上做哈达玛除法得到每一分辨率级别的所述普通深度细节图fn。

进一步地，利用每一分辨率级别的所述相对深度图rn分别获取每一分辨率级别的所述相对深度细节图fn，包括：利用低一级分辨率级别的第二预设上采样操作矩阵u′n-1对低一级分辨率级别的相对深度图rn-1进行上第二上采样操作u′；及利用每一分辨率级别的所述相对深度图rn与第二上采样操作后的低一级分辨率级别的相对深度图r′n-1在元素方向上做哈达玛除法得到每一分辨率级别的所述相对深度细节图fn。

进一步地，利用每一分辨率级别的所述普通深度细节图fn和所述相对深度细节图fn分别计算每一分辨率级别细节图的平均深度分量，包括：利用所述普通深度细节图fn计算预定分辨率级别的所述普通深度图dn各自对应的若干不同分辨率级别细节图的普通深度分量；利用所述相对深度细节图fn计算预定分辨率级别的所述相对深度图rn各自对应的若干不同分辨率级别细节图的相对深度分量；利用每一相同分辨率级别的普通深度分量和相对深度分量的分别计算平均值，得到每一对应分辨率级别细节图的平均深度分量。

根据本发明实施例的第二方面，提供了一种单目深度估计系统，所述系统包括：图像输入模块，用于接收单目输入图像i；原始深度图获取模块，用于获取所述输入图像i的原始深度图d；普通深度图构建模块，用于基于所述原始深度图d构建若干不同分辨率级别的普通深度图dn，其中，n为分辨率级别；相对深度图构建模块，用于基于所述普通深度图dn构建每一分辨率级别的相对深度图rn；普通深度细节图获取模块，用于利用每一分辨率级别的所述普通深度图dn获取每一分辨率级别的普通深度细节图fn；相对深度细节图获取模块，用于利用每一分辨率级别的所述相对深度图rn分别获取每一分辨率级别的相对深度细节图fn；平均深度分量计算模块，用于利用每一分辨率级别的所述普通深度细节图fn和所述相对深度细节图fn分别计算每一分辨率级别细节图的平均深度分量；及最佳深度图重建模块，用于根据所述每一分辨率级别的细节图的平均深度分量重建最佳深度图。

进一步地，所述原始深度图获取模块由一个编码器形成，所述普通深度图构建模块和所述相对深度图构建模块分别由若干对解码器形成；所述编码器采用densenet-bc卷积神经网络模型，所述densenet-bc卷积神经网络模型包括：一个卷积层、一个最大池化层、三对密集块和过渡层；每对解码器包括：用于构建所述普通深度图dn的普通深度图解码器和用于构建所述相对深度图rn的相对深度图解码器，每个解码器包括：一个密集块、至少一个全条带掩码块；所述每个相对深度图解码器还包括一个交替的最小二乘层，所述解码器采用了densenet-bc的最后一个密集块。

根据本发明实施例的第三方面，提供了一种单目深度估计设备，所述设备包括：处理器和存储器；存储器用于存储一个或多个程序指令；处理器，用于运行一个或多个程序指令，用以执行如上一种掘进机运行监测算法中的任一算法步骤。

根据本发明实施例的第四方面，提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令，一个或多个程序指令用于执行如上一种单目深度估计算法中的任一算法步骤。

本发明实施例具有如下优点：本发明实施例针对单目图像，提出了一种基于相对深度图的单目深度估计方案；首先，利用卷积神经网络，估计了原始深度图以及若干不同分辨率级别的普通深度图；其次，根据成对比较矩阵的rank-1性质，从选择性估计数据中恢复相对深度图；第三，将普通深度图和相对深度图分解成多个深度分量，并对分解成的多个深度分量进行优化重组，以重建最佳深度图。实验结果表明，本发明实施例具有良好的深度估计性能。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引申获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明实施例提供的一种单目深度估计系统的逻辑结构示意图；

图2中为本发明实施例提供的普通深度图构建模块和相对深度图构建模块逻辑结构示意图；

图3为本发明实施例提供的一种单目深度估计算法的流程示意图；

图4为本发明实施例提供的相对深度图的构建方法的流程示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及算法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例针对单幅图像，提出了一种单目深度估计算法、系统、设备及存储介质。本实施例中提出了相对深度的概念，并基于成对比较矩阵的rank-1性质构建相对深度图；利用深度图分解和深度分量组合的方式实现单目图像的深度估计。

参考图1，本发明实施例提供的一种单目深度估计系统包括：所述系统包括：图像输入模块01，用于接收单目输入图像i；原始深度图获取模块02，用于获取所述单目输入图像i的原始深度图d；普通深度图构建模块03，用于基于所述原始深度图d构建若干不同分辨率级别的普通深度图dn，其中，n为分辨率级别；相对深度图构建模块04，用于基于所述普通深度图dn构建每一分辨率级别的相对深度图rn；普通深度细节图获取模块05，用于利用每一分辨率级别的所述普通深度图dn获取每一分辨率级别的普通深度细节图fn；相对深度细节图获取模块06，用于利用每一分辨率级别的所述相对深度图rn分别获取每一分辨率级别的相对深度细节图fn；平均深度分量计算模块07，用于利用每一分辨率级别的所述普通深度细节图fn和所述相对深度细节图fn分别计算每一分辨率级别细节图的平均深度分量；及最佳深度图重建模块08，用于根据所述每一分辨率级别的细节图的平均深度分量重建最佳深度图。

参考图2，以预定分辨率级别为3≤n≤7，原始深度图获取模块02由一个编码器形成，编码器从输入图像i中提取深度特征，编码器处理图像会产生低分辨率、高级别的特征。编码器采用densenet-bc卷积神经网络模型，所述densenet-bc卷积神经网络模型包括：一个卷积层(conve1)、一个最大池化层(poole1)、三对密集块(densee2、densee3、densee4)和过渡层(transe2、transe3、transe4)，总的来说，给定一个224×224的rgb图像，编码器生成一个大小为8×8且具有1056个通道的特征图。普通深度图构建模块03和相对深度图构建模块04分别由若干对解码器形成，若干对解码器使用编码器传来的深度特征来重建普通深度图dn和相对深度图rn；本实施例中，每对解码器包括：用于构建所述普通深度图dn的普通深度图解码器和用于构建所述相对深度图rn的相对深度图解码器，每个解码器包括：一个密集块、至少一个全条带掩码块(wholestripmaskingblock，简称wsm)；如图3所示，有五对解码器，有五个普通深度图解码器的密集块(densed1、densed2、densed3、densed4、densed5)和五个相对深度图解码器的密集块(densed6、densed7、densed8、densed9、densed10)，所述每个相对深度图解码器还包括一个交替的最小二乘层(alternatingleastsquareslayer，简称als)，如图3所示，本实施例中上述五个相对深度图解码器的密集块(densed6、densed7、densed8、densed9、densed10)分别对应交替的最小二乘层(alsd6、alsd7、alsd8、alsd9、alsd10)，所有解码器均采用densenet-bc的最后一个密集块。

参考图3，本发明实施例公开的一种单目深度估计算法包括：接收单目输入图像i，获取所述输入图像i的原始深度图d；基于所述原始深度图d构建若干不同分辨率级别的普通深度图dn，其中，n为分辨率级别；基于所述普通深度图dn构建每一分辨率级别的相对深度图rn；利用每一分辨率级别的所述普通深度图dn和所述相对深度图rn分别获取每一分辨率级别的普通深度细节图fn和相对深度细节图fn；利用每一分辨率级别的所述普通深度细节图fn和所述相对深度细节图fn分别计算每一分辨率级别细节图的平均深度分量；及根据所述每一分辨率级别的细节图的平均深度分量重建最佳深度图。

具体地，设输入图像为r×c大小的图像，r是图像横向尺寸，c是图像纵向尺寸。获取输入图像i的原始深度图d后，要重建图像i的最佳深度图，就需要获取原始深度图d的普通深度图dn以及相对深度图rn。

本发明实施例中，所述普通深度图的构建方法包括：计算所述原始深度图d的几何平均值g(d)，以所述原始深度图d的几何平均值g(d)作为最低分辨率级别的普通深度图d0；及利用最低分辨率级别的普通深度图d0通过相邻分辨率级别的普通深度图的卷积递推算法获取每一分辨率级别的普通深度图dn。

进一步地，原始深度图d的几何平均值g(d)的计算公式如下所示：

其中，d(i,j)是原始深度图d中第(i,j)个像素的深度。i∈r，j∈c，i和j分别表示的原始深度图d中像素点的横向坐标和纵向坐标。由于原始深度图d的几何平均值g(d)等于最低分辨率级别的普通深度图d0，因此，以原始深度图d的几何平均值g(d)作为最低分辨率级别的普通深度图d0。在获取最低分辨率级别的普通深度图d0的前提下，通过相邻分辨率级别的普通深度图的卷积递推算法获取每一分辨率级别的普通深度图dn，相邻分辨率级别的普通深度图的卷积递推算法公式如下：

其中，dn(i,j)是普通深度图dn中第(i,j)个像素的普通深度，k,l代表两个变量，k,l∈[0,1]。由于普通深度图dn的尺寸为2ⁿ×2ⁿ，因此，普通深度图dn-1的尺寸为2^n-1×2^n-1，可知普通深度图dn-1的尺寸与普通深度图dn的尺寸相差四倍，上述相邻分辨率级别的普通深度图的卷积递推算法公式表明：普通深度图dn-1与四个卷积核卷积运算分别得到四个不同的卷积结果，即四个相应深度，取四个卷积结果的乘积，得到普通深度图dn。即普通深度图dn中的深度是普通深度图dn-1中四个相应深度的乘积。

通过上述相邻分辨率级别的普通深度图的卷积递推算法公式可得到普通深度图d1到普通深度图dn。

具体地，全条带掩码块(wholestripmaskingblock，简称wsm)利用最低分辨率级别的普通深度图d0通过相邻分辨率级别的普通深度图的卷积递推算法获取每一分辨率级别的普通深度图dn，主要是对编码器输入进来的特征图大小进行扩展。目标普通深度图dn的分辨率级别决定了全条带掩码块的数量，分辨率级别越高，全条带掩码块的数量越多。如图3所示，普通深度图d3和相对深度图r3的解码器中没有全条带掩码块，因为普通深度图d3和相对深度图r3的分辨率为8×8，与编码器输出的特征图(原始深度图d)分辨率相等，无通过相邻分辨率级别的普通深度图的卷积递推算法处理。普通深度图d4和相对深度图r4的解码器各有一个全条带掩码块(wsmd2-1和wsmd7-1)，普通深度图d5和相对深度图r5的解码器各有两个全条带掩码块(wsmd3-1、wsmd3-2和wsmd8-1、wsmd8-2)，普通深度图d6和相对深度图r6的解码器各有三个全条带掩码块(wsmd4-1、wsmd4-2、wsmd4-3和wsmd9-1、wsmd9-2、wsmd9-3)，直到普通深度图d7和相对深度图r7的解码器各有四个全条带掩码块(wsmd5-1、wsmd5-2、wsmd5-3、wsmd5-4和wsmd10-1、wsmd10-2、wsmd10-3、wsmd10-4)。最终，普通深度图d7和相对深度图r7的解码器分别使用四个全条带掩码块(wsmd5-1、wsmd5-2、wsmd5-3、wsmd5-4和wsmd10-1、wsmd10-2、wsmd10-3、wsmd10-4)将编码器输入进来的8×8(2³×2³)大小的特征图扩展到了128×128(2⁷×2⁷)分辨率的目标特征图(普通深度图d7)。

参考图4，所述相对深度图的构建方法包括：根据相邻分辨率级别的普通深度图dn-1和dn构建稀疏比较矩阵pn,n-1；利用交替最小二乘法als算法，将稀疏比较矩阵pn,n-1恢复为稠密比较矩阵及通过对所述稠密比较矩阵的左向量矩阵进行归一化和重塑处理来重建每一分辨率级别的相对深度图。

在图2中，底部相对深度图r3、相对深度图r4、相对深度图r5、相对深度图r6、相对深度图r7的解码器分别用于估算相对深度图r3、相对深度图r4、相对深度图r5、相对深度图r6、相对深度图r7，本实施例中，如上所述，3≤n≤7。相对深度图r4是两个相邻分辨率级别的普通深度图dn和dn-1的像素普通深度的比值，参考图4，相对深度图rn重建如下：

构建稀疏比较矩阵pn,n-1：3≤n≤7的相对深度图rn，我们定义稀疏比较矩阵pn,n-1为通过普通深度图dn中像素的深度与普通深度图dn-1中像素的深度进行比较。稀疏比较矩阵pn,n-1公式如下所示：

其中，表示普通深度图dn中第2²ⁿ个像素的深度，是普通深度图dn-1中第2^2(n-1)个像素的深度的倒数，t表示矩阵转置操作；

将稀疏比较矩阵pn,n-1填充为稠密比较矩阵并恢复相对深度图rn：本实施例中由最小二乘层(alsd6、alsd7、alsd8、alsd9、alsd10)分别利用交替最小二乘法als算法，将稀疏比较矩阵pn,n-1恢复为稠密比较矩阵然后由最小二乘层(alsd6、alsd7、alsd8、alsd9、alsd10)分别通过对所述稠密比较矩阵的左向量矩阵进行归一化和重塑处理来重建每一分辨率级别的相对深度图。具体地，参考图4，交替最小二乘法als算法是首先找出两个低维的左向量矩阵p和右向量矩阵q，使得它们的乘积是原始矩阵。s表示稀疏比较矩阵pn,n-1中的一组位置(r′,c′)，r′是普通深度图dn中第r′个像素的深度。c′是普通深度图dn中第c′个像素的深度。左向量矩阵p和右向量矩阵q分别表示大小为2²ⁿ和2^2(n-1)的低维矩阵。重复交替执行如下两步：

在每一步中，都满足凸条件，并且很容易得到右向量矩阵q或左向量矩阵p的闭式解。因此，该算法得到了左向量矩阵p和右向量矩阵q的收敛解以及近似值：

因此，得出了稀疏比较矩阵pn,n-1的稠密比较矩阵其中，和分别为稠密比较矩阵的左向量矩阵和右向量矩阵。

从图4可以看出，以稀疏比较矩阵p4,3为例，稀疏比较矩阵p4,3中只估计出相对深度中的一部分，还缺少一些相对深度，通过稀疏比较矩阵p4,3估计出相对深度的缺失项需要填充。针对这个缺失问题，本发明实施例中采用交替最小二乘法als算法将稀疏比较矩阵pn,n-1恢复为稠密比较矩阵归一化和重塑稠密比较矩阵的左向量矩阵来重建每一分辨率级别的相对深度图rn。

进一步地，本发明实施例中，利用每一分辨率级别的所述普通深度图dn获取每一分辨率级别的所述普通深度细节图fn，包括：利用低一级分辨率级别的第一预设上采样操作矩阵un-1对低一级分辨率级别的普通深度图dn-1进行第一上采样操作u；及利用每一分辨率级别的普通深度图dn与第一上采样操作后的低一级分辨率级别的普通深度图d′n-1在元素方向上做哈达玛除法得到每一分辨率级别的所述普通深度细节图fn。

在典型的普通深度图dn中，低分辨率级别的普通深度图dn-1占主导地位，低分辨率级别的普通深度图dn-1中包含低频信息。低频信息比高频信息对深度重建的影响更大。低分辨率级别的普通深度图dn-1通过消除普通深度图dn中的细节信息获得，fn表示普通深度细节图fn。我们定义第一上采样操作u，通过第一预设上采样操作矩阵un-1能使低分辨率级别的普通深度图dn-1的大小在水平和垂直方向上翻倍，获得第一上采样操作后的低一级分辨率级别的普通深度图d′n-1。根据上述描述，可得，每一分辨率级别的所述普通深度细节图fn的算法公式如下：

其中，表示两个矩阵的哈达玛除法，即元素方向的除法。

同样地，利用每一分辨率级别的所述相对深度图rn分别获取每一分辨率级别的所述相对深度细节图fn，包括：利用低一级分辨率级别的第二预设上采样操作矩阵u′n-1对低一级分辨率级别的相对深度图rn-1进行上第二上采样操作u′；及利用每一分辨率级别的所述相对深度图rn与第二上采样操作后的低一级分辨率级别的相对深度图r′n-1在元素方向上做哈达玛除法得到每一分辨率级别的所述相对深度细节图fn。其中，每一分辨率级别的所述相对深度细节图fn的算法公式如下：

其中，表示两个矩阵的哈达玛除法，即元素方向的除法。

进一步地，利用每一分辨率级别的所述普通深度细节图fn和所述相对深度细节图fn分别计算每一分辨率级别细节图的平均深度分量，包括：利用所述普通深度细节图fn计算预定分辨率级别的所述普通深度图dn各自对应的若干不同分辨率级别细节图的普通深度分量；利用所述相对深度细节图fn计算预定分辨率级别的所述相对深度图rn各自对应的若干不同分辨率级别细节图的相对深度分量；利用每一相同分辨率级别的普通深度分量和相对深度分量的分别计算平均值，得到每一对应分辨率级别细节图的平均深度分量。

具体地，普通深度图dn的深度分量公式如下：

其中，logun(d0)和分别表示对最低分辨率级别的普通深度图d0和普通深度细节图fi(n取i时)进行第一上采样操作u后的取对数操作。

同样，相对深度图rn的深度分量公式如下：

其中，表示对最低分辨率级别的相对深度细节图fi(n取i时)进行第一上采样操作u后的取对数操作。

本实施例中，以普通深度图dn和相对深度图rn预定分辨率级别3≤n≤7为例，先通过原始深度图d的几何平均值g(d)的计算公式计算得出最低分辨率级别的普通深度图d0，然后由相邻分辨率级别的普通深度图的卷积递推算法公式递推可得普通深度图d1至普通深度图d7，获取普通深度图d1至普通深度图d7后，便可通过对所述稠密比较矩阵的左向量矩阵进行归一化和重塑处理来重建得到相对深度图r1至相对深度图r7，有了普通深度图d0至普通深度图d7，利用每一分辨率级别的所述普通深度细节图fn的算法公式计算可得普通深度细节图f1至普通深度细节图f7，同理，有了相对深度图r1至相对深度图r7，利用每一分辨率级别的所述相对深度细节图fn的算法公式计算可得相对深度细节图f1至相对深度细节图f7。利用普通深度细节图f1至普通深度细节图f7计算预定分辨率级别3≤n≤7的普通深度图d3至普通深度图d7各自对应的若干不同分辨率级别细节图的普通深度分量。即，普通深度图d3对应计算得到普通深度细节图f1至普通深度细节图f3的深度分量，普通深度图d4对应计算得到普通深度细节图f1至普通深度细节图f4的深度分量；普通深度图d5对应计算得到普通深度细节图f1至普通深度细节图f5的深度分量；普通深度图d6对应计算得到普通深度细节图f1至普通深度细节图f6的深度分量；普通深度图d7对应计算得到普通深度细节图f1至普通深度细节图f7的深度分量；利用相对深度细节图f1至相对深度细节图f7计算预定分辨率级别3≤n≤7的相对深度图r3至相对深度图r7各自对应的若干不同分辨率级别细节图的相对深度分量；即，相对深度图r3对应计算得到相对深度细节图f1至相对深度细节图f3的深度分量，相对深度图r4对应计算得到相对深度细节图f1至相对深度细节图f4的深度分量；相对深度图r5对应计算得到相对深度细节图f1至相对深度细节图f5的深度分量；相对深度图r6对应计算得到相对深度细节图f1至相对深度细节图f6的深度分量；相对深度图r7对应计算得到相对深度细节图f1至相对深度细节图f7的深度分量；利用每一相同分辨率级别的普通深度分量和相对深度分量的分别计算平均值，得到每一对应分辨率级别细节图的平均深度分量，例如，对于分辨率级别n＝1，利用普通深度图d3至普通深度图d7的普通深度细节图f1的深度分量以及相对深度图r3至相对深度图r7的相对深度细节图f1的深度分量计算平均值，得到分辨率级别n＝1的细节图的平均深度分量，同理，依次计算获得分辨率级别n＝2至7的细节图的平均深度分量，如下表1所示：

表1：3≤n≤7时普通深度图dn和相对深度图rn的所需计算深度分量列表

3≤n≤7时普通深度图dn和相对深度图rn的所需计算深度分量如表1所示，由普通深度图dn的深度分量公式可知，无论n取值为多少，计算普通深度图dn的深度分量时，都需要最低分辨率级别的普通深度图d0。当n＝3时，计算普通深度图dn的深度分量公式中的会用到普通深度细节图f1、普通深度细节图f2、普通深度细节图f3，当n＝7时，普通深度图dn的深度分量公式中的会用到普通深度细节图f1、普通深度细节图f2、普通深度细节图f3、普通深度细节图f4、普通深度细节图f5、普通深度细节图f6、普通深度细节图f7。计算相对深度图rn的深度分量时，不需要最低分辨率级别的普通深度图d0，因此，相对深度图rn对应的最低分辨率级别的普通深度图d0为空。

一般情况下，普通深度图能很好地重建整体深度分布，而相对深度图更适合于精细细节的估计。此外，根据分辨率，每个相对深度图都能可靠地估计一定比例的深度信息。因此，通过在多个分辨率下组合这些分量图，获得了一个可信的深度图。

仍然以预定分辨率级别3≤n≤7为例，如上所述，估计了预定分辨率级别3≤n≤7的普通深度图dn和相对深度图rn，多达10个深度图，如表1所示，每个深度图都被分解成深度分量。由于每个深度分量都有多个候选分量，本发明实施例通过在对数域中对它们进行平均值组合来获得最优估计。然后，使用这些每一对应分辨率级别细节图的平均深度分量重建生成最佳深度图。

本发明实施例在nyuv2数据集上评估所提算法。输入图像包括室内视频图像，由空间分辨率为480×640的rgb图像和对应的用microsoftkinect设备获取的深度图组成。使用所有训练序列来训练所提出的算法，并使用654个测试rgbd图像进行评估。此外，还有效地将测试图像裁剪到空间分辨率为427×561。

对于深度图实验结果用了rmse、精确度δ、spearman’sρ三个评估指标。rmse(rootmeansquarederror)叫做均方根误差，计算公式为和di分别表示像素i的估计深度值和其对应的groundtruth深度值，n是深度图中的像素数。该公式是用真实值减去预测值，然后平方之后求和平均再开方，rmse的目的是使预测结果更逼近真实值，用来衡量预测结果同真值之间的偏差。

精确度量(％correct)：t(threshold)是域值，精确度越高，说明预测的深度值与真实深度值越接近。目前大多采用三个不同的域值：1.25，1.25²，1.25³。

spearman’sρ(斯皮尔曼相关系数)，它评价和di的相关性，当和di完全单调相关时，也就是预测结果与真实值越相近时，斯皮尔曼相关系数ρ则为+1或-1。

本发明实施例中使用nestrov方法优化网络参数，将初始学习率，动量和权重衰减分别设置成10^-5，0.9，10^-4，并根据重复移位余弦函数调整学习率，把余弦函数的周期设为1/4epoch。

用两步来训练网络，首先，我们用一个解码器训练编码器，该解码器如图2所示生成普通深度图d3。其次，在固定好编码器参数后，我们训练每一个解码器。除了相对深度图r7解码器的batchsize是2，其余的解码器batchsize均为4。

如下表2将本发明实施例公开的算法与其它算法在nyuv2数据集上的对比。有些算法使用不同的方法进行深度图裁剪和性能测量。因此，为了公平比较，本发明实施例中采用的是最常用的评价方法。对于其他算法，性能分数直接从论文中摘录，表3为表2中所提其他算法性能分数的公开论文列表。

表2：nyuv2测试数据的性能比较列表

表2中，黑体字标记的数据是最好的结果，仅次于最好结果的是下划线标注的数据。

表3：表2中所提其他算法性能分数的公开论文列表

从表2可以看出，在δ<1.25度量中，本发明实施例所提出的算法分别获得第三和第二最佳性能。特别是，本发明实施例所提出的算法提供了一个明显高于传统算法的ρ。这意味着，本发明实施例所提出的算法通过估计包含顺序信息的相对深度图以及普通深度图，更准确地预测像素的深度顺序。

本发明实施例提出了一种利用相对深度图进行种单目深度估计算法、系统、设备及存储介质。首先，设计了编码器-解码器网络，该网络具有多个解码器模块，用于估计不同尺度下的相对深度和普通深度。为了降低复杂性，我们使用als算法从选择性估计数据中恢复了整个相对深度图。最后，通过深度图分解和深度分量组合重构出最佳深度图。实验证明，该算法具有最好的性能，相对深度图在保持场景深度顺序方面比普通深度图更有效。

与上述实施例相对应的，本发明实施例还提供了一种单目深度估计设备，所述设备包括：处理器和存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行如上所介绍的一种单目深度估计算法。

与上述实施例相对应的，本发明实施例还提供了一种计算机存储介质，该计算机存储介质中包含一个或多个程序指令。其中，一个或多个程序指令用于执行如上所介绍的一种单目深度估计算法。

在本发明实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecific工ntegratedcircuit，简称asic)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以实现或者执行本发明实施例中的公开的各算法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的算法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述算法的步骤。

存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。

其中，非易失性存储器可以是只读存储器(read-onlymemory，简称rom)、可编程只读存储器(programmablerom，简称prom)、可擦除可编程只读存储器(erasableprom，简称eprom)、电可擦除可编程只读存储器(electricallyeprom，简称eeprom)或闪存。

易失性存储器可以是随机存取存储器(randomaccessmemory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，简称sram)、动态随机存取存储器(dynamicram，简称dram)、同步动态随机存取存储器(synchronousdram，简称sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlinkdram，简称sldram)和直接内存总线随机存取存储器(directrambusram，简称drram)。

本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。