基于多尺度特征的点云与图片融合方法、装置及其设备与流程

本发明涉及计算机视觉领域，尤其涉及一种基于多尺度特征的点云与图片融合方法、装置及其设备。

背景技术：

目前，人们对自动驾驶安全问题的关注，使得自动驾驶领域的3d目标检测研究成为了热点。相对于2d目标检测，3d目标检测需要检测出2d目标检测所没有要求的深度信息，因此雷达传感器获得的包含深度信息的点云数据成为了3d目标检测的数据来源之一。然而，由于点云数据往往是稀疏的，并且不能传达丰富的纹理信息，使得检测算法不能很好地达到预期的效果。而与点云数据相比，图片数据虽然无法表示深度信息，但是可以表示丰富的纹理信息，在这种情况下，设计可以有不错效果的同时利用点云数据与图片数据进行3d目标检测的算法成为了一个急待解决的问题。

然而，现有的点云数据与图片融合方法往往采用如线性相加或取平均值的方法进行处理，处理方法过于简单并且数据间无交互，如此，现有方法在对3d目标定位与方向预测方面均存在定位效果不佳，预测精准度不高等问题。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于多尺度特征的点云与图片融合方法及其装置，旨在能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

本发明解决上述技术问题所采用的技术方案如下：

本发明的第一方面提供一种基于多尺度特征的点云与图片融合方法，该方法包括：

通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作；

将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征；

将点云特征与图片特征经所述第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作；

将经所述跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作；

将经所述第二次卷积操作获得的特征进行逐元素取平均融合，得到新的融合特征；

将经所述第二次卷积操作获得的特征进行逐元素取平均融合后得到新的融合特征进行第三次卷积操作，并作为数据融合的最终输出特征。

在一些实施例中，所述所述通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作的步骤还包括：

同时控制卷积层输出的特征图个数，对应数学公式为：

其中“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果；

代表不同卷积层的权重参数；该权重参数经网络学习自动获得；

“im1、pc1、im2、pc2”代表不同卷积层的输入特征；

“b1im1、b1pc1、b1im2、b1pc2”代表不同卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

在一些实施例中，所述将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征包括：

将组内特征抽象程度相同分为一组，组间特征抽象程度不同分为一组；

对应数学公式即为：

其中“b,h,w,i”为非负整数，代表张量下标序数。

在一些实施例中，所述将点云特征与图片特征经第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作包括对应数学公式：

其中“b,h,w,i”为非负整数，代表张量下标序数，

“m,n,k”为正整数，

不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。

在一些实施例中，所述将经跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作还包括步骤：

同时控制卷积层输出的特征图个数，对应数学公式为：

其中“y1、y2、y3、y4”代表不同卷积层的输出结果；

“w1^t、w2^t、w3^t、w4^t”代表不同卷积层的权重参数；该权重参数经网络学习自动获得；

代表不同卷积层的输入特征；

“b1、b2、b3、b4”代表不同卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

在一些实施例中，所述将经第二次卷积操作获得的特征进行逐元素取平均融合，得到新的融合特征公式为：

其中“b,h,w,i”为非负整数代表张量下标序数。

在一些实施例中，所述卷积层卷积核大小为1*1，步长为1，同时控制卷积层输出的特征图个数为8。

在一些实施例中，所述方法还可包括：将所述经第二次卷积操作获得的特征进行逐元素取平均融合后得到新的融合特征进行第三次卷积操作，并作为数据融合部分的最终输出特征，对应公式即为：

y6＝σ(w6^ty5+b6)20；

其中“y6”代表卷积层的输出结果；

“w6^t”代表卷积层的权重参数；该权重参数经网络学习自动获得；

“y5”代表卷积层的输入特征；

“b6”代表卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

本发明的第二方面还提供一种基于多尺度特征的点云与图片融合装置，应用于上述任一项所述的基于多尺度特征的点云与图片融合方法，所述装置包括：

特征提取模块，用于通过提取特征网络获得点云特征与图片特征；

第一次卷积模块，用于将点云特征与图片特征分别通过一卷积层进行第一次卷积操作；

分组融合模块，用于将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征；

跳跃融合模块，用于将点云特征与图片特征经第一次卷积操作后输出结果和经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合；

线性融合模块，用于对跳跃连接后的特征图进行线性融合操作；

第二次卷积模块，用于将经跳跃连接，并进行线性融合后获得的特征图分别经过卷积层做第二次卷积操作；

平均融合模块，用于将经第二次卷积操作获得的特征进行逐元素取平均融合，得到新的融合特征；

第三次卷积模块，将经第二次卷积操作获得的特征进行逐元素取平均融合得到新的融合特征进行第三次卷积操作，并作为数据融合的最终输出特征。

本发明的第三方面还提供一种基于多尺度特征的点云与图片融合设备，包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述方法中的步骤。

本发明实施例提供的一种基于多尺度特征的点云与图片融合方法、装置及其设备能加强点云特征与图片特征的交互，而且在特征交互的同时，能保持单个传感器获取网络特征的独立性；本发明实施例所述方法采用非线性的融合方法能增强特征的表现力；在非线性的融合方法框架下加入灵活的线性融合方式，利用快捷连接提高特征的利用率，从而能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

附图说明

图1为本发明实施例的基于多尺度特征的点云与图片融合算法的可视化模型图；

图2为本发明实施例基于多尺度特征的点云与图片融合方法流程图；

图3为本发明实施例基于多尺度特征的点云与图片融合装置结构框图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对于现有技术中对点云与图片融合方法往往采用如线性相加或取平均值的方法进行处理，处理方法过于简单并且数据间无交互，对3d目标定位与方向预测方面均存在定位效果不佳，预测精准度不高的问题，本发明提出一种基于多尺度特征的点云与图片融合方法、装置及其设备，能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性，从而提高使用该技术应用到相关领域的安全性能。

名义定义及解释：

本发明实施例中所提及的卷积层为2d卷积且已封装了tensorflow(表示张量流)中的2d卷积层与激活层relu。

卷积层初始参数采用0均值，1方差的高斯分布的初始化方式。

卷积层的输出特征图数会综合考虑融合数据中点云特征图数与图片特征图数的比率；并且融合数据再与单传感器获取的网络特征数据进行再次融合的特征图数比率能有效得到控制。在本实施例中，所述单传感器用来采集图像，从而在图像上提取网络特征数据。

需要说明的是：本发明中点云特征与图片特征的处理方法相同，均需要进行抽象处理，在此将pc用来表示点云特征，im用来表示图片特征，不同的数字用来表示不同的抽象处理程度，相同的数字则说明抽象程度相同。抽象程度这里主要是指经过的卷积层数，抽象程度不同指经过的卷积层数不同；抽象程度相同指经过的卷积层数相同。例如，im1与pc1表示抽象程度相同；im2与pc2表示抽象程度相同；而im1与im2则表示抽象程度不同；pc1与pc2表示抽象程度不同。

实施例一：

本发明提供的一种基于多尺度特征的点云与图片融合方法，请参阅图1，其为本发明实施例所提出的基于多尺度特征的点云与图片融合算法的可视化模型图，请参阅图2，本发明实施例所述方法具体包括以下步骤：

s1通过提取特征网络获得至少两组点云特征与图片特征，将获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作，同时控制卷积层输出的特征图个数。

具体地，通过特征提取网络获得的不同抽象程度的点云特征与图片特征，本实施例中，点云特征与图片特征分别为im1、im2、pc1、pc2(pc代表点云特征；im代表图片特征。相同数字表示两类特征抽象程度相同，不同数字表示两类特征抽象程度不同)；将获得的两组点云特征与图片特征分别通过一个卷积层进行卷积操作，得到四类新的特征im1’、im2’、pc1’、pc2’，同时控制卷积层输出的特征图个数，对应数学公式为：

其中“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果；

代表不同卷积层的权重参数；该权重参数经网络学习自动获得；

“im1、pc1、im2、pc2”代表不同卷积层的输入特征；

“b1im1、b1pc1、b1im2、b1pc2”代表不同卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

其中，卷积层卷积核大小都为1*1，步长都为1，所述卷积层输出的特征图个数为8。

s2将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征。

具体地，将s1中点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，即组内特征抽象程度相同分为一组，组间特征抽象程度不同分为一组；然后再对每组两类特征做逐元素取平均融合，得到融合后的两类特征impc1与impc2，对应图1中的左边两个对应数学公式即为：

其中“b,h,w,i”为非负整数，代表张量下标序数。

s3将点云特征与图片特征经第一次卷积操作后的输出结果以及经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合操作。

具体地，将im1’与impc2；im2’与impc1；pc1’与impc2；pc2’与impc1通过跳跃连接，并进行线性融合做concatenation操作，对应图1中的数学公式即为：

其中“b,h,w,i”为非负整数，代表张量下标序数；

“b,h,w”中b对应网络训练时的超参数值大小(需根据实际情况设定一个整数值)；

h,w分别对应特征图的长和宽，同样可以根据实际情况设定为某个整数值；

i对应特征图的个数，同样可以根据实际情况设定为某个整数值；

b,h,w,i均无明确范围限定，且一旦设计网络结构确定，其值才能确定。

“m,n,k”为正整数，不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。

s4将经跳跃连接，并进行线性融合后获得的特征图分别经过一卷积层做第二次卷积操作。

具体地，将s3获得的特征图分别经过一个卷积层做第二次卷积操作，共得到四类新的特征，同时控制卷积层输出的特征图个数，对应数学公式为：

其中“y1、y2、y3、y4”代表不同卷积层的输出结果；

“w1^t、w2^t、w3^t、w4^t”代表不同卷积层的权重参数；该权重参数经网络学习自动获得；

代表不同卷积层的输入特征；

“b1、b2、b3、b4”代表不同卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

在本实施例中，所述卷积层卷积核大小都为1*1，步长都为1，同时控制卷积层输出的特征图个数都为8。

s5将经第二次卷积操作获得的四类特征进行逐元素取平均融合，得到新的融合特征。

具体地，将s4中获得的四类特征一起做逐元素取平均融合，得到新的融合特征，对应图1中最右边的对应数学公式即为：

其中“b,h,w,i”为非负整数，代表张量下标序数。

s6将所述经第二次卷积操作获得的四类特征进行逐元素取平均融合后得到新的融合特征进行第三次卷积操作，并作为数据融合的最终输出特征。

具体地，将s5获得的新的融合特征经过一个卷积层做第三次卷积操作，并作为数据融合部分的最终输出特征，对应公式即为：

y6＝σ(w6^ty5+b6)20；

其中“y6”代表卷积层的输出结果；

“w6^t”代表卷积层的权重参数；该权重参数经网络学习自动获得；

“y5”代表卷积层的输入特征；

“b6”代表卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

其中，卷积层卷积核大小都为1*1，步长都为1，所述卷积层输出的特征图个数为8。

上述步骤s1-s6的模型数学公式表现形式为：

注：f[l+1]表示l+1层的网络的特征，不同的下标代表不同的输入特征源(输入特征源指f后紧跟着的“()”内的内容)；

f[l]im2表示图片的第l层网络特征，输入源为im2；

f[l]pc2表示点云的第l层网络特征，输入源为pc2；

操作符为c:concatenate(线性融合操作)或m:element-wisemean(元素平均值)；

l表示卷积的层数序号；

k表示为小于l的正整数。

本发明实施例所述方法针对现有融合算法比较简单且数据间无交互的问题进行改进，包括强化点云与图片数据间的交互同时强调数据的独立性、采用表现力更强的非线性融合方式，同时利用线性融合方式做灵活的特征拼接处理，通过小尺度的卷积核做特征整合处理。本发明所提出的基于多尺度特征的点云与图片融合方法经试验验证在3d目标物体定位精确性与方向预测准确性方面效果均优于现有的融合方法。

本发明实施例所述基于多尺度特征的点云与图片融合方法能加强点云特征与图片特征的交互，而且在特征交互的同时，能保持单个传感器获取网络特征的独立性；本发明实施例所述方法采用非线性的融合方法能增强特征的表现力；在非线性的融合方法框架下加入灵活的线性融合方式，利用快捷的跳跃连接提高特征的利用率，从而能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

实施例二

本发明实施例还提供一种基于多尺度特征的点云与图片融合装置，请参阅图3，所述装置包括如下模块：

特征提取模块10，第一次卷积模块20、分组融合模块30、跳跃连接模块40、线性融合模块50、第二次卷积模块60、平均融合模块70以及第三次卷积模块80。

所述特征提取模块10，用于通过提取特征网络获得点云特征与图片特征。

所述第一次卷积模块20，用于将所述获得的点云特征与图片特征分别通过一卷积层进行第一次卷积操作，同时控制卷积层输出的特征图个数。

具体地，通过特征提取模块10获得至少两组点云特征与图片特征；然后将获得的点云特征与图片特征分别通过所述第一次卷积模块20(两类特征抽象程度不同)进行卷积操作，同时控制卷积层输出的特征图个数。点云特征与图片特征分别为im1、im2、pc1、pc2(pc代表点云特征；im代表图片特征；相同数字表示两类特征抽象程度相同，不同数字表示两类特征抽象程度不同)；将获得的两组点云特征与图片特征分别通过一个卷积层进行卷积操作，得到四类新的特征im1’、im2’、pc1’、pc2’，同时控制卷积层输出的特征图个数，对应数学公式为：

其中“im1'、pc1'、im2'、pc2'”代表不同卷积层的输出结果；

代表不同卷积层的权重参数；该权重参数经网络学习自动获得；

“im1、pc1、im2、pc2”代表不同卷积层的输入特征；

“b1im1、b1pc1、b1im2、b1pc2”代表不同卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

其中，卷积层卷积核大小都为1*1，步长都为1，所述卷积层输出的特征图个数为8。

所述分组融合模块30，用于将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，再对每组两类特征分别做逐元素取平均融合，得到融合后的两类特征。

具体地，将点云特征与图片特征经过第一次卷积操作后输出的结果特征根据抽象程度进行分组，即组内特征抽象程度相同分为一组，组间特征抽象程度不同分为一组；然后再对每组两类特征做逐元素取平均融合，得到融合后的两类特征impc1与impc2，对应图1中的左边两个对应数学公式即为：

其中“b,h,w,i”为非负整数代表张量下标序数。

所述跳跃融合模块40，用于将点云特征与图片特征经第一次卷积操作后输出结果和经过分组并逐元素取平均融合操作后获得的特征图进行一次跳跃连接，并进行线性融合。

具体地，将im1’与impc2；im2’与impc1；pc1’与impc2；pc2’与impc1通过跳跃连接，并进行线性融合做concatenation操作，对应图1中的公式即为：

其中“b,h,w,i”为非负整数，代表张量下标序数；

“b,h,w”中b对应网络训练时的超参数值大小(需根据实际情况设定一个整数值)；

h,w分别对应特征图的长和宽，同样可以根据实际情况设定为某个整数值；

i对应特征图的个数，同样可以根据实际情况设定为某个整数值；

b,h,w,i均无明确范围且一旦设计网络结构确定，其值才能确定。

“m,n,k”为正整数，不同公式中“b,h,w”变化范围相同，“i”的变化范围不同。

所述线性融合模块50，用于对跳跃连接后的特征图进行线性融合操作。

所述第二次卷积模块60，用于将经跳跃连接，并进行线性融合后获得的特征图分别经过卷积层做第二次卷积操作。

具体地，将s3获得的特征图分别经过一个卷积层做第二次卷积操作，共得到四类新的特征，同时控制卷积层输出的特征图个数，对应数学公式为：

其中“y1、y2、y3、y4”代表不同卷积层的输出结果；

“w1^t、w2^t、w3^t、w4^t”代表不同卷积层的权重参数；该权重参数经网络学习自动获得；

代表不同卷积层的输入特征；

“b1、b2、b3、b4”代表不同卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

在本实施例中，所述卷积层卷积核大小都为1*1，步长都为1，同时控制卷积层输出的特征图个数都为8。

所述平均融合模块70，用于将经第二次卷积操作获得的四类特征进行逐元素取平均融合，得到新的融合特征。

具体地，将将经第二次卷积操作获得的四类特征一起做逐元素取平均融合，得到新的融合特征，对应图1中最右边的对应数学公式即为：

其中“b,h,w,i”为非负整数，代表张量下标序数。

所述第三次卷积模块80，将经第二次卷积操作获得的四类特征进行逐元素取平均融合得到新的融合特征进行第三次卷积操作，并作为数据融合的最终输出特征。

具体地，将s5获得的特征经过一个卷积层做第三次卷积操作，并作为数据融合部分的最终输出特征，对应数学公式即为：

y6＝σ(w6^ty5+b6)20；

其中“y6”代表卷积层的输出结果；

“w6^t”代表卷积层的权重参数；该权重参数经网络学习自动获得；

“y5”代表卷积层的输入特征；

“b6”代表卷积层的偏置；该偏置参数经网络学习自动获得；

“σ”代表激活函数，对应函数max{0,x}。

其中，卷积层卷积核大小都为1*1，步长都为1，所述卷积层输出的特征图个数为8。

本发明实施例所述基于多尺度特征的点云与图片融合装置能加强点云特征与图片特征的交互，而且在特征交互的同时，能保持单个传感器获取网络特征的独立性；本发明实施例通过所述第一卷积模块20、第二卷积模块60、第三卷积模块80和跳跃连接模块40能增强特征的表现力；通过线性融合模块50在非线性的融合方法框架下加入灵活的线性融合方式，利用快捷的跳跃连接模块40能有效提高特征的利用率，从而能精确地对目标物体进行定位及方向预测，以提高对目标物体定位及方向预测的精准性。

实施例三：

根据本发明的一个实施例提供的一种基于多尺度特征的点云与图片融合设备，该设备包括处理器、计算机可读存储介质以及在所述计算机可读存储介质上存储的计算机程序，所述计算机程序被处理器执行时实现上述基于多尺度特征的点云与图片融合方法中的步骤，具体步骤如实施例一中描述所述，在此不再赘述。

本实施例中的存储器可用于存储软件程序以及各种数据。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

根据本实施例的一个示例，上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。该存储介质包括但不限于磁碟、优盘、光盘、只读存储记忆体(read-onlymemory，rom)等。

以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。