一种景深图获取方法及装置与流程
本发明涉及计算机领域，具体涉及了一种景深图获取方法及装置。
背景技术：
随着科学技术的发展，用户对于照片的要求越来越高。比如通过物理技术提升分辨率，提升色彩对比度等手段以提升用户的感知。
现有技术中，获取景深信息往往通过特殊的摄像头、双目摄像头或者激光测距等设备的获取方法，其设备成本较高。另外，当前构建景深图像的相关算法存在特征提取结构单一的问题，使得提取到的特征信息较为有限，不利于构建复杂的三维图像。
技术实现要素：
本发明实施例提供了一种智能景深图获取方法及装置，通过使用本发明提供的方法，能够基于普通摄像头获取到的单张图像，通过在深度学习网络架构中设置多尺度、多层次的特征提取器，获取景深图像信息。
本发明第一方面公开了一种景深图获取方法，所述方法包括：
获取单张目标图像；
构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。
其中，可选的，所述神经网络包括n层，每层包括级联的主特征提取器、提取及融合模块以及融合输出器，其中，n为大于1的正整数；
第一层的主特征提取器用于对所述目标图像进行特征提取，并将得到的特征图输出给第二层的主特征提取器以及所述第一层的提取及融合模块及融合输出器；
所述第一层的提取及融合模块对用于所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的提取及融合模块及融合输出器；
第i层的主特征提取器用于对第i-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给第i+1层的主特征提取器以及所述第i层的提取及融合模块及融合输出器，其中，i为整数且1＜i＜n；
所述第i层的提取及融合模块用于对所述第i-1层的提取及融合模块输出的特征图以及所述第i层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i层的融合输出器以及所述第i+1层的提取及融合模块及融合输出器；
第n层的主特征提取器用于对第n-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第n层的提取及融合模块及融合输出器；
所述第n层的提取及融合模块用于对所述第n-1层的提取及融合模块输出的特征图以及所述第n层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n层的融合输出器；
所述第n层的融合输出器用于对所述第n层的主特征提取器输出的特征图、所述第n层的提取及融合模块输出的特征图以及所述第n-1层的提取及融合模块输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n-1层的融合输出器；
所述第i层的融合输出器用于对所述第i层的主特征提取器输出的特征图、所述第i层的提取及融合模块输出的特征图、所述第i-1层的提取及融合模块输出的特征图以及所述第i+1层的融合输出器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i-1层的融合输出器；
所述第一层的融合输出器用于对所述第一层的主特征提取器输出的特征图、所述第一层的提取及融合模块输出的特征图以及所述第二层的融合输出器输出的特征图进行特征提取及融合，以得到所述目标图像的景深图。
另外，需要指出的是，级联是指多个元器件或功能模块呈直线串联，且前一个元器件或功能模块的输出作为后一个元器件或功能模块的输入；另外，景深图是指可以表示出拍摄场景内中的每一个物体距离摄像头的距离的图像。
其中，需要指出的是，第j层的提取及融合模块包括n+1-j个辅助特征提取器，其中，j为整数且1≤j≤n；
所述第一层的第一个辅助特征提取器用于对所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的第二至第n个辅助特征提取器及融合输出器以及所述第二层的第一个辅助特征提取器；
所述第一层的第k个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第k-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的第k+1至第n个辅助特征提取器及融合输出器以及所述第二层的第k个辅助特征提取器，其中，k为整数1＜k＜n；
所述第一层的第n个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第n-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的融合输出器。
其中，可选的，所述第m层的第一个辅助特征提取器用于对所述第m层的主特征提取器输出的特征图进行特征提取以获取第一特征图；接收第m-1层的第一个辅特征提取器输出的第二特征图，将所述第一特征图与所述第二特征图进行融合以获取第三特征图，将所述第三特征图输出给所述第m层的第二至第n个辅助特征提取器及融合输出器以及所述第m+1层的第一个辅助特征提取器，其中，m为正整数且1<m<n-1，n为整数且n＝n+1-m；
所述第m层的第x个辅助特征提取器用于对所述第m层的主特征提取器以及第一至第x-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第m层的第k+1至第n个辅助特征提取器及融合输出器以及所述第m+1层的第k个辅助特征提取器，其中，x为整数且1＜x＜n。
其中，可选的，所述第n-1层的第一个辅助特征提取器用于对所述第n-1层的主特征提取器输出的特征图进行特征提取以获取第四特征图；接收第n-2层的第一个辅特征提取器输出的第五特征图，将所述第四特征图与所述第五特征图进行融合以获取第六特征图，将所述第六特征图输出给所述第n-1层的融合输出器。
本发明的第二方面公开了一种景深图获取装置，所述装置包括获取单元和构建单元；
所述获取单元，用于获取单张目标图像；
所述构建单元，用于构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。
其中，所述神经网络包括n层，每层包括级联的主特征提取器、提取及融合模块以及融合输出器，其中，n为大于1的正整数；
第一层的主特征提取器用于对所述目标图像进行特征提取，并将得到的特征图输出给第二层的主特征提取器以及所述第一层的提取及融合模块及融合输出器；
所述第一层的提取及融合模块对用于所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的提取及融合模块及融合输出器；
第i层的主特征提取器用于对第i-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给第i+1层的主特征提取器以及所述第i层的提取及融合模块及融合输出器，其中，i为整数且1＜i＜n；
所述第i层的提取及融合模块用于对所述第i-1层的提取及融合模块输出的特征图以及所述第i层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i层的融合输出器以及所述第i+1层的提取及融合模块及融合输出器；
第n层的主特征提取器用于对第n-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第n层的提取及融合模块及融合输出器；
所述第n层的提取及融合模块用于对所述第n-1层的提取及融合模块输出的特征图以及所述第n层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n层的融合输出器；
所述第n层的融合输出器用于对所述第n层的主特征提取器输出的特征图、所述第n层的提取及融合模块输出的特征图以及所述第n-1层的提取及融合模块输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n-1层的融合输出器；
所述第i层的融合输出器用于对所述第i层的主特征提取器输出的特征图、所述第i层的提取及融合模块输出的特征图、所述第i-1层的提取及融合模块输出的特征图以及所述第i+1层的融合输出器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i-1层的融合输出器；
所述第一层的融合输出器用于对所述第一层的主特征提取器输出的特征图、所述第一层的提取及融合模块输出的特征图以及所述第二层的融合输出器输出的特征图进行特征提取及融合，以得到所述目标图像的景深图。
其中，第j层的提取及融合模块包括n+1-j个辅助特征提取器，其中，j为整数且1≤j≤n；
所述第一层的第一个辅助特征提取器用于对所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的第二至第n个辅助特征提取器及融合输出器以及所述第二层的第一个辅助特征提取器；
所述第一层的第k个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第k-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的第k+1至第n个辅助特征提取器及融合输出器以及所述第二层的第k个辅助特征提取器，其中，k为整数1＜k＜n；
所述第一层的第n个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第n-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的融合输出器。
其中，可选的，所述第m层的第一个辅助特征提取器用于对所述第m层的主特征提取器输出的特征图进行特征提取以获取第一特征图；接收第m-1层的第一个辅特征提取器输出的第二特征图，将所述第一特征图与所述第二特征图进行融合以获取第三特征图，将所述第三特征图输出给所述第m层的第二至第n个辅助特征提取器及融合输出器以及所述第m+1层的第一个辅助特征提取器，其中，m为正整数且1<m<n-1，n为整数且n＝n+1-m；
所述第m层的第x个辅助特征提取器用于对所述第m层的主特征提取器以及第一至第x-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第m层的第k+1至第n个辅助特征提取器及融合输出器以及所述第m+1层的第k个辅助特征提取器，其中，x为整数且1＜x＜n。
其中，可选的，所述第n-1层的第一个辅助特征提取器用于对所述第n-1层的主特征提取器输出的特征图进行特征提取以获取第四特征图；接收第n-2层的第一个辅特征提取器输出的第五特征图，将所述第四特征图与所述第五特征图进行融合以获取第六特征图，将所述第六特征图输出给所述第n-1层的融合输出器。
本发明第三方面公开了一种存储介质，所述存储介质中存储有程序代码，当所述程序代码被运行时，所述第一方面的方法会被执行；
本发明第四方面公开了一种图像融合的装置，所述装置包括处理器和收发器，其中，第二方面所述的收发功能可通过所述收发器实现，第二方面所述的逻辑功能(即逻辑单元所具体的功能)可由处理器实现；
本发明第五方面公开了一种计算机程序产品，所述计算机程序产品中包含有程序代码；当所述程序代码被运行时，所述第一方面的方法会被执行。
可以看出，本发明提供的实施例中公开了一种景深图获取方法。在本发明提供的实施例中的，获取单张目标图像；构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。通过使用本发明提供的方法，能够基于普通摄像头获取到的单张图像，通过在神经网络中设置多尺度、多层次的特征提取器提取每层的特征图像，然后将多个特征图像进行融合以获取具有多尺度、多层次的景深图像，从而方便用户利用景深图像进行三维建模或仿真，进而为用户基于单张图像进行复杂的三维图像处理提供了便利。同时，本发明通过对单张图像处理获取景深图像的方式大大降低了设备成本。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种图像融合的网络架构示意图；
图1a为本发明实施例提供的一种深度残差网络示意图；
图2为本发明的实施例提供的一种景深预测图；
图3为本发明实施例提供的一种景深图获取方法的流程示意图；
图4为本发明实施例提供的一种景深图获取装置的结构示意图；
图5为本发明实施例提供的一种景深图获取装置的物理结构示意图。
具体实施方式
本发明实施例提供了一种景深图获取方法及装置，所述方法包括：获取单张目标图像；构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。通过使用本发明提供的方法，能够基于普通摄像头获取到的单张图像，通过在神经网络中设置多尺度、多层次的特征提取器提取每层的特征图像，然后将多个特征图像进行融合以获取具有多尺度、多层次的景深图像，从而方便用户利用景深图像进行三维建模或仿真，进而为用户基于单张图像进行复杂的三维图像处理提供了便利。同时，本发明通过对单张图像处理获取景深图像的方式大大降低了设备成本。
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明说明书、权利要求书和附图中出现的术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先，需要指出的是，本发明获取的单张目标图像可以是rgb图像、灰度图像、或者二值化图像等图像类型，本实施例提出了一种基于普通摄像头获取到的单张图像，通过在深度学习网络架构中设置多尺度、多层次的特征提取器，解决在技术背景中提到的针对普通摄像头获取到的单张图像难以提取到丰富图像特征的问题。理论上该技术可应用于个人电脑(pc)，也可应用于小型设备上，包含但不限于android\ios等移动设备。其中，rgb图是指对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加得到的图。rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
如图1所示的网络结构图(该网络结构图只是示意图，本发明并不限定图像层数和辅特征提取器的个数)，该图中主要包括三个环节：第一是对目标图像进行图像预处理，以使得目标图像符合主特征提取器的要求；第二是利用主特征提取器和辅特征提取特征图；第三就是针对提取的特征图进行融合。
举例来说，主特征提取器为resnet50结构，被称为深度残差网络，针对图像进行特征提取。具体的，特征提取是为了提取图像中的物体纹理、物体轮廓、物体与物体的边缘等信息。特征提取的方式是通过样本输入通过各层特征提取器进行学习的结果。另外，所述主特征提取器还可以是alexnet结构(以alex命名的机器学习算法)或vgg结构(该结构是牛津大学的oxfordvisualgeometrygroup提出的机器学习算法)，本发明在此不做限定。
如图1a所示的深度残差网络示意图，由于网络的深度影响模型的分类和识别效果，例如，常规的网络堆叠到一定深度时会出现网络层越深，梯度消失的现象越明显，使得网络的分类效果不佳的问题。而深度残差网络结构可以在加深网络层的同时防止梯度消失，以实现较佳的分类效果。如图1a所示，深度残差网络是带有跳跃结构的。举例来说，假定某段神经网络的输入是x，期望输出是h(x)，即h(x)是期望的复杂潜在映射，如果是要学习这样的模型，则训练难度会比较大；另外，如果已经学习到较饱和的准确率(或者当发现下层的误差变大时)，那么接下来的学习目标就转变为恒等映射的学习，也就是使输入x近似于输出h(x)，以保持在后面的层次中不会造成精度下降。在该深度残差网络结构图中，通过“shortcutconnections(捷径连接)”的方式，直接把输入x传到输出作为初始结果，输出结果为h(x)＝f(x)+x，当f(x)＝0时，那么h(x)＝x，也就是上面所提到的恒等映射。于是，resnet相当于将学习目标改变了，不再是学习一个完整的输出，而是目标值h(x)和x的差值，也就是所谓的残差f(x):＝h(x)-x，因此，后面的训练目标就是要将残差结果逼近于0，使到随着网络加深，准确率不下降。这种残差跳跃式的结构，打破了传统的神经网络n-1层的输出只能给n层作为输入的惯例，使某一层的输出可以直接跨过几层作为后面某一层的输入，其意义在于为叠加多层网络而使得整个学习模型的错误率不降反升的难题提供了新的方向。
举例来说，图像预处理是指针对输入的图像进行预处理以满足深度残差残差网络resnet50的输入。具体的，图像预处理实质对图像做了图像的缩放与剪裁。
举例来说，所述辅特征提取器用于将同层的前一个特征提取器提取的特征图、来自下层的经过长采样得到的特征图、以及来自上层的经过下采样得到的特征图进行融合以获取新的特征图。
举例来说，辅特征提取器包含若干个卷积结构，作用在于将图中来自处于同层的前一个特征提取器提取的特征图和来自上层特征经过下采样得到的特征图融合，形成新的特征图。比如图1辅特征提取器的个数为4个，那么1-4为相同结构，包含相同尺寸和数量的卷积核。其中，辅特征提取器结构为包含两个卷积层和一个激活层的结构。卷积核尺寸为3×3。
如图1所述，在本实施例中图像特征采集的网络结构分为4层，每层会使用一个主特征提取器和若干辅特征提取器，从图1所示的第一层网络到第四层网络的辅特征提取器的数量逐层递减，例如，第一层的辅特征提取器为4个、第二层的辅特征提取器为3个、第三层的辅特征提取器为2个以及第四层的辅特征提取器为1个。需要指出的是，第二层的辅特征提取器是复用第一层4个中的任意3个辅特征提取器。同理，第三层也是复用第一层4个中的任意2个辅特征提取器，后续不再一一列举。特征图4_0、特征图3_2、特征图2_3、特征图1_4以及特征图0_5分别对应着由主特征提取器提取到的特征图逐层与辅特征提取器提取到的特征图融合的结果。而特征图0_5即为最终得到的景深预测图(如图2所示的景深预测图像)。融合的方式是层相加，相加之后经过两次3×3的卷积的处理，以及经过一次激活层的处理，然后将处理结果送至上一层，并与与上一层的图像特征融合。其中，需要指出的是的，针对图2，可以简单理解为距离离摄像头越近的物体其颜色显示越深，越远则越浅。
请参阅图3，图3是本发明一个实施例提供的一种景深图获取方法的流程示意图。其中，如图3所示，本发明的一个实施例提供的一种景深图获取方法包括以下内容：
s101，获取单张目标图像；
可以理解的是，本实施例的执行主体可以是智能手机、穿戴设备、具备摄像功能的电子设备、或个人电脑等设备。其中，本实施例以执行主体为智能手机来举例说明。
其中，需要指出的是，目标图像可以是从网络上下载的，接收其他电子设备发送的，也可以是通过镜头拍摄的。
其中，所述目标图像可以为单张rgb图像。
s102，构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。
其中，景深图是指可以表示出拍摄场景内中的每一个物体距离摄像头的距离的图像。
其中，需要指出的是，所述神经网络包括n层，每层包括级联的主特征提取器、提取及融合模块以及融合输出器，其中，n为大于1的正整数；其中，级联是指多个元器件或功能模块呈直线串联，且前一个元器件或功能模块的输出作为后一个元器件或功能模块的输入；
其中，需要指出的是，其中，神经网络包含的层数越多，提取到的特征越丰富，但是随着特征提取次数的增多，特征图的尺寸越来越小，此时再进行特征提取就提取不到有效的特征；且特征提取器越多，网络参数越多，会导致网络的速度、对硬件的需求就越高，带来成本的增加。而如果选择特征提取器的减少，模型速度和成本会下降，但是模型的准确度会因提取到了较少的特征图而下降因此，确定分层数量可以是根据执行主体自身的能力来确定，也可以是系统默认的，也可以是人工选择的。在此不做限制。后续会选择具体的分层进行举例说明。
另外，还需要指出的是，构建神经网络之前，所述方法还包括：判断所述目标图像的尺寸是否超过阈值；若所述目标图像的尺寸超过阈值时，对所述目标图像进行预处理，以得到处理过的目标图像。
另外，需要指出的是，所述主特征提取器用于提取所述目标图像中以下至少一种信息：物体纹理、物体轮廓、物体与物体的边缘。
具体的，每层主特征提取器、提取及融合模块以及融合输出器的作用如下：
第一层的主特征提取器用于对所述目标图像进行特征提取，并将得到的特征图输出给第二层的主特征提取器以及所述第一层的提取及融合模块及融合输出器；所述第一层的提取及融合模块对用于所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的提取及融合模块及融合输出器；
第i层的主特征提取器用于对第i-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给第i+1层的主特征提取器以及所述第i层的提取及融合模块及融合输出器，其中，i为整数且1＜i＜n；所述第i层的提取及融合模块用于对所述第i-1层的提取及融合模块输出的特征图以及所述第i层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i层的融合输出器以及所述第i+1层的提取及融合模块及融合输出器；第n层的主特征提取器用于对第n-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第n层的提取及融合模块及融合输出器；
所述第n层的提取及融合模块用于对所述第n-1层的提取及融合模块输出的特征图以及所述第n层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n层的融合输出器；
所述第n层的融合输出器用于对所述第n层的主特征提取器输出的特征图、所述第n层的提取及融合模块输出的特征图以及所述第n-1层的提取及融合模块输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n-1层的融合输出器；
所述第i层的融合输出器用于对所述第i层的主特征提取器输出的特征图、所述第i层的提取及融合模块输出的特征图、所述第i-1层的提取及融合模块输出的特征图以及所述第i+1层的融合输出器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i-1层的融合输出器；
所述第一层的融合输出器用于对所述第一层的主特征提取器输出的特征图、所述第一层的提取及融合模块输出的特征图以及所述第二层的融合输出器输出的特征图进行特征提取及融合，以得到所述目标图像的景深图。
另外，进一步需要指出的是，第j层的提取及融合模块包括n+1-j个辅助特征提取器，其中，j为整数且1≤j≤n；
具体的，每层的辅特征提取器的作用如下所示：
所述第一层的第一个辅助特征提取器用于对所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的第二至第n个辅助特征提取器及融合输出器以及所述第二层的第一个辅助特征提取器；
所述第一层的第k个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第k-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的第k+1至第n个辅助特征提取器及融合输出器以及所述第二层的第k个辅助特征提取器，其中，k为整数1＜k＜n；
所述第一层的第n个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第n-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的融合输出器。
另外，进一步需要指出的是，所述第m层的第一个辅助特征提取器用于对所述第m层的主特征提取器输出的特征图进行特征提取以获取第一特征图；接收第m-1层的第一个辅特征提取器输出的第二特征图，将所述第一特征图与所述第二特征图进行融合以获取第三特征图，将所述第三特征图输出给所述第m层的第二至第n个辅助特征提取器及融合输出器以及所述第m+1层的第一个辅助特征提取器，其中，m为正整数且1<m<n-1，n为整数且n＝n+1-m；
所述第m层的第x个辅助特征提取器用于对所述第m层的主特征提取器以及第一至第x-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第m层的第k+1至第n个辅助特征提取器及融合输出器以及所述第m+1层的第k个辅助特征提取器，其中，x为整数且1＜x＜n。
另外，进一步需要指出的是，所述第n-1层的第一个辅助特征提取器用于对所述第n-1层的主特征提取器输出的特征图进行特征提取以获取第四特征图；接收第n-2层的第一个辅特征提取器输出的第五特征图，将所述第四特征图与所述第五特征图进行融合以获取第六特征图，将所述第六特征图输出给所述第n-1层的融合输出器
另外，需要指出的是，多尺度是指每层获取的融合图像的尺寸不同。举例来说，比如一共分为3层，m＝n-1；其中n为层数，m为辅特征提取器的数量。根据上述公式可知，辅特征提取器的数量为2。目标图像的长度与度分别为x和y；每经过一次主特征提取器的处理，长与宽就会缩放至原图像的1/2。也就是说第一层的原始图像的长和宽分别为x/2和y/2(该原始图为经过该层主特征提取器处理过的图像)；同理，第二层的原始图像的长和宽分别为x/4和y/4；同理，第3层的原始图像的长和宽分别为x/8和y/8。由于第三层为最后一层，那么该长和宽分别为x/8和y/8的原始图像为第三层的特征图像。第二层对应的辅特征提取器为1个；第一层对应的辅特征处理器为两个。可以理解的是，辅特征提取器的数量随着层数的增加逐渐递减。第一层的辅特征提取器会对同层的已提取的特征图进行处理。举例来说，比如第一层的辅特征提取器编号分别为1和2。那么辅特征提取器1需要对原始图进行处理以获取特征图1；接下来就需要将第一层的原始图和特征图1输入到辅特征提取器2中进行处理以获取特征图2。根据特征图2和第二层的特征图就可以获取第一层的特征图。由于第二层只有一个辅特征器提取器，该特征提取器会将第二层的原始图以及第一层的特征图1输入进去以获取特征图3，然后根据特征图3和第三层的原始图和特征图2获取第二层的特征图。需要指出的是，每层图像特征的提取方式是有差异的，本实施例中以一个主特征提取器和四个辅特征提取器、分为5层，包括四次特征提取来举例说明。如图1所示，图1中针对每个特征提取器进行了编号，其中0_0，1_0，2_0，3_0以及4_0用于标识主特征提取器，剩余的标记均为辅特征提取器。需要指出的是，从0_0，1_0，2_0，3_0以及4_0的特征图像其长和宽逐次变为原来的
另外，针对图像融合，举例来说，例如1_2这里，其输入是1_0的特征图、1_1的特征图(这两个和1_2特征图的长和宽是一样的)和0_2的的特征图(0_2的特征到1_2经过一次下采样使得图像长宽变为一半)。除了最上面的0_x层(x＝0,1,2,3,4,5)外，针对其他所有中间的特征提取器，其输入都是同一层左侧所有的特征提取器的输出特征图和上一层对应的特征图经过下采样之后。另外，需要指出的是，融合的方式是通道相加。
再举例来说，针对特征提取器1_4，它的输入是(1_0,1_1,1_2,1_3和经过下采样的0_4和经过上采样的2_3)。而位于最上面的层，比如0_5,它的输入就是(0_0,0_1,0_2,0_3,0_4和经过上采样的1_4)。也就是说，所以主特征提取器的部分就是利用resnet进行第一次特征提取，后面的辅特征提取器实际上是使主特征提取的特征图变得更加丰富，然后进行融合输出到后面的计算。
另外，需要指出的是，下采样的使用的是最大池化的方法，上采样使用的是双线性插值法。上述两种方法较为常用，在此不做详细介绍。
另外，需要进一步指出的是，浅层的特征提取器提取的是位置、形状、大小等特征；其中，可以理解的是，例如前n/2层的特征提取器都可以理解为浅层的特征提取器。而深层的特征提取器是基于预设的特征矩阵对上层特征采样和本层特征采样进行处理后得到的特征。其中，可以理解的是，例如后n/2层的特征提取器都可以理解为深层的特征提取器。比如浅层提取的特征图对应的是第一层提取的特征图，而深层提取的特征图是剩余的其它层提取的特征图。再比如，比如浅层提取的特征图对应的是前两层提取的特征图，而深层提取的特征图是剩余的其它层提取的特征图。
可以看出，通过本发明实施例公开的技术方案，获取单张目标图像；构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。通过使用本发明提供的方法，能够基于普通摄像头获取到的单张图像，通过在神经网络中设置多尺度、多层次的特征提取器提取每层的特征图像，然后将多个特征图像进行融合以获取具有多尺度、多层次的景深图像，从而方便用户利用景深图像进行三维建模或仿真，进而为用户基于单张图像进行复杂的三维图像处理提供了便利。同时，本发明通过对单张图像处理获取景深图像的方式大大降低了设备成本。
请参阅图4，图4是本发明的一个实施例提供的一种图像融合的结构示意图。其中，如图4所示，本发明的一个实施例提供的一种景深图获取装置200，其中，该装置200包括获取单元201和构建单元202；
获取单元201，用于获取单张目标图像；
构建单元202，用于构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。
其中，所述神经网络包括n层，每层包括级联的主特征提取器、提取及融合模块以及融合输出器，其中，n为大于1的正整数；
第一层的主特征提取器用于对所述目标图像进行特征提取，并将得到的特征图输出给第二层的主特征提取器以及所述第一层的提取及融合模块及融合输出器；
所述第一层的提取及融合模块对用于所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的提取及融合模块及融合输出器；
第i层的主特征提取器用于对第i-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给第i+1层的主特征提取器以及所述第i层的提取及融合模块及融合输出器，其中，i为整数且1＜i＜n；
所述第i层的提取及融合模块用于对所述第i-1层的提取及融合模块输出的特征图以及所述第i层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i层的融合输出器以及所述第i+1层的提取及融合模块及融合输出器；
第n层的主特征提取器用于对第n-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第n层的提取及融合模块及融合输出器；
所述第n层的提取及融合模块用于对所述第n-1层的提取及融合模块输出的特征图以及所述第n层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n层的融合输出器；
所述第n层的融合输出器用于对所述第n层的主特征提取器输出的特征图、所述第n层的提取及融合模块输出的特征图以及所述第n-1层的提取及融合模块输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n-1层的融合输出器；
所述第i层的融合输出器用于对所述第i层的主特征提取器输出的特征图、所述第i层的提取及融合模块输出的特征图、所述第i-1层的提取及融合模块输出的特征图以及所述第i+1层的融合输出器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i-1层的融合输出器；
所述第一层的融合输出器用于对所述第一层的主特征提取器输出的特征图、所述第一层的提取及融合模块输出的特征图以及所述第二层的融合输出器输出的特征图进行特征提取及融合，以得到所述目标图像的景深图。
其中，第j层的提取及融合模块包括n+1-j个辅助特征提取器，其中，j为整数且1≤j≤n；
所述第一层的第一个辅助特征提取器用于对所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的第二至第n个辅助特征提取器及融合输出器以及所述第二层的第一个辅助特征提取器；
所述第一层的第k个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第k-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的第k+1至第n个辅助特征提取器及融合输出器以及所述第二层的第k个辅助特征提取器，其中，k为整数1＜k＜n；
所述第一层的第n个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第n-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的融合输出器。
其中，所述第m层的第一个辅助特征提取器用于对所述第m层的主特征提取器输出的特征图进行特征提取以获取第一特征图；接收第m-1层的第一个辅特征提取器输出的第二特征图，将所述第一特征图与所述第二特征图进行融合以获取第三特征图，将所述第三特征图输出给所述第m层的第二至第n个辅助特征提取器及融合输出器以及所述第m+1层的第一个辅助特征提取器，其中，m为正整数且1<m<n-1，n为整数且n＝n+1-m；
所述第m层的第x个辅助特征提取器用于对所述第m层的主特征提取器以及第一至第x-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第m层的第k+1至第n个辅助特征提取器及融合输出器以及所述第m+1层的第k个辅助特征提取器，其中，x为整数且1＜x＜n。
其中，所述第n-1层的第一个辅助特征提取器用于对所述第n-1层的主特征提取器输出的特征图进行特征提取以获取第四特征图；接收第n-2层的第一个辅特征提取器输出的第五特征图，将所述第四特征图与所述第五特征图进行融合以获取第六特征图，将所述第六特征图输出给所述第n-1层的融合输出器。
其中，上述单元可以用于执行上述任一实施例所描述方法，具体描述详见实施例1对所述方法的描述，在此不再赘述。
与上述图3、图4所示的实施例一致的，请参阅图5，图5是本申请实施例提供的一种电子设备300的结构示意图，如图所示，所述电子设备300包括应用处理器310、存储器320、通信接口330以及一个或多个程序321，其中，所述一个或多个程序321被存储在上述存储器320中，并且被配置由上述应用处理器310执行，当所述一个或多个程序321被运行时，处理器310执行以下操作：
获取单张目标图像；
构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。
其中，可选的，所述神经网络包括n层，每层包括级联的主特征提取器、提取及融合模块以及融合输出器，其中，n为大于1的正整数；
第一层的主特征提取器用于对所述目标图像进行特征提取，并将得到的特征图输出给第二层的主特征提取器以及所述第一层的提取及融合模块及融合输出器；
所述第一层的提取及融合模块对用于所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的提取及融合模块及融合输出器；
第i层的主特征提取器用于对第i-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给第i+1层的主特征提取器以及所述第i层的提取及融合模块及融合输出器，其中，i为整数且1＜i＜n；
所述第i层的提取及融合模块用于对所述第i-1层的提取及融合模块输出的特征图以及所述第i层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i层的融合输出器以及所述第i+1层的提取及融合模块及融合输出器；
第n层的主特征提取器用于对第n-1层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第n层的提取及融合模块及融合输出器；
所述第n层的提取及融合模块用于对所述第n-1层的提取及融合模块输出的特征图以及所述第n层的主特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n层的融合输出器；
所述第n层的融合输出器用于对所述第n层的主特征提取器输出的特征图、所述第n层的提取及融合模块输出的特征图以及所述第n-1层的提取及融合模块输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第n-1层的融合输出器；
所述第i层的融合输出器用于对所述第i层的主特征提取器输出的特征图、所述第i层的提取及融合模块输出的特征图、所述第i-1层的提取及融合模块输出的特征图以及所述第i+1层的融合输出器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第i-1层的融合输出器；
所述第一层的融合输出器用于对所述第一层的主特征提取器输出的特征图、所述第一层的提取及融合模块输出的特征图以及所述第二层的融合输出器输出的特征图进行特征提取及融合，以得到所述目标图像的景深图。
另外，需要指出的是，级联是指多个元器件或功能模块呈直线串联，且前一个元器件或功能模块的输出作为后一个元器件或功能模块的输入；另外，景深图是指可以表示出拍摄场景内中的每一个物体距离摄像头的距离的图像。
其中，需要指出的是，第j层的提取及融合模块包括n+1-j个辅助特征提取器，其中，j为整数且1≤j≤n；
所述第一层的第一个辅助特征提取器用于对所述第一层的主特征提取器输出的特征图进行特征提取，并将得到的特征图输出给所述第一层的第二至第n个辅助特征提取器及融合输出器以及所述第二层的第一个辅助特征提取器；
所述第一层的第k个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第k-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的第k+1至第n个辅助特征提取器及融合输出器以及所述第二层的第k个辅助特征提取器，其中，k为整数1＜k＜n；
所述第一层的第n个辅助特征提取器用于对所述第一层的主特征提取器以及第一至第n-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第一层的融合输出器以及所述第二层的融合输出器。
其中，可选的，所述第m层的第一个辅助特征提取器用于对所述第m层的主特征提取器输出的特征图进行特征提取以获取第一特征图；接收第m-1层的第一个辅特征提取器输出的第二特征图，将所述第一特征图与所述第二特征图进行融合以获取第三特征图，将所述第三特征图输出给所述第m层的第二至第n个辅助特征提取器及融合输出器以及所述第m+1层的第一个辅助特征提取器，其中，m为正整数且1<m<n-1，n为整数且n＝n+1-m；
所述第m层的第x个辅助特征提取器用于对所述第m层的主特征提取器以及第一至第x-1个辅助特征提取器输出的特征图进行特征提取及融合，并将得到的特征图输出给所述第m层的第k+1至第n个辅助特征提取器及融合输出器以及所述第m+1层的第k个辅助特征提取器，其中，x为整数且1＜x＜n。
其中，可选的，所述第n-1层的第一个辅助特征提取器用于对所述第n-1层的主特征提取器输出的特征图进行特征提取以获取第四特征图；接收第n-2层的第一个辅特征提取器输出的第五特征图，将所述第四特征图与所述第五特征图进行融合以获取第六特征图，将所述第六特征图输出给所述第n-1层的融合输出器。
可以看出，通过本发明实施例公开的技术方案，获取单张目标图像；构建神经网络，所述神经网络用于对所述目标图像进行多次特征提取及融合，以得到所述目标图像的景深图。通过使用本发明提供的方法，能够基于普通摄像头获取到的图像，通过在神经网络中设置多尺度、多层次的特征提取器提取每层的特征图像，然后将多个特征图像进行融合以获取具有多尺度、多层次的景深图像，从而方便用户利用景深图像进行三维建模或仿真，进而为用户基于单张图像进行复杂的三维图像处理提供了便利。同时，本发明通过对单张图像处理获取景深图像的方式大大降低了设备成本。
在本发明的另一个实施例中，公开了一种存储介质，所述存储介质中存储有程序代码，当所述程序代码被运行时，前述方法实施例中的方法会被执行。
在本发明的另一个实施例中，公开了一种计算机程序产品，所述计算机程序产品中包含有程序代码；当所述程序代码被运行时，前述方法实施例中的方法会被执行。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！