基于三维卷积神经网络的点云配准方法与流程

文档序号:15560979发布日期:2018-09-29 02:14阅读:1786来源:国知局

本发明涉及计算机视觉领域,特别涉及一种基于三维卷积神经网络的点云配准方法。



背景技术:

由于光学扫描系统的有限可见性,导致单视角扫描存在由遮挡造成扫描盲区,要得到完整模型往往需要对物体进行多视角扫描,因此对于得到的多视角点云数据模型,需要确定一个合适的坐标变换,将各个视角下的点云配准到同一坐标系下,从而得到完整的模型。点云配准技术可描述为两视角点云之间的坐标系之间的变换,包括旋转变换与平移变换。

点云配准中应用的最广泛的算法是icp算法(iterativeclosestpoint,最近点迭代),该算法在待配准点云比较接近时配准效果良好,在没有初始配准的情况下,容易收敛于局部最小化,且其效率不高,计算的复杂度随着点云的规模增大而显著提高。

为了解决icp算法的问题,许多学者在此基础上提出了粗配准的方法。粗配准主要有两类:一类是基于几何特征,如fpfh算法(fastpointfeaturehistograms,快速点特征直方图);一类是基于投票机制,如ransac算法(randomsampleconsensus,随机采样一致)。但不管是哪一类算法,都存在效率低下且精度不高的问题,使得点云配准的鲁棒性较差、效率低等且无法为精配准提供一个良好的初值。因此,本发明提出了一种基于三维卷积神经网络的点云配准方法,通过三维卷积神经网络来学习提取点云模型的特征点,再结合配准算法得到配准参数,从而提高点云配准的效率与鲁棒性。



技术实现要素:

为了克服现有点云配准技术的效率较低、鲁棒性较差的不足,本发明提供了一种基于三维卷积神经网络的点云配准方法,以解决点云配准算法的效率以及鲁棒性问题。

为了实现上述目的,本发明采用的技术方案为:

一种基于三维卷积神经网络的点云配准方法,包括如下步骤:

1)获取训练点云模型和待配准目标点云模型,计算其在观测方向上的深度图像;

2)构建三维卷积神经网络模型,设定训练参数和损失函数,使用获取的数据集来训练网络,得到训练好的三维卷积神经网络模型;

3)通过训练好的三维卷积神经网络模型来提取目标模型两视角下点云的特征点;

4)根据提取到的特征点通过配准算法来计算两视角点云之间的配准参数。

进一步,所述步骤(2),具体包括如下步骤:

(2.1)构建一个三维卷积神经网络模型,整个三维卷积神经网络的层包括四个部分;第一部分由一个卷积层和一个池化层组成,其中输入3d块的大小为30×30×30,卷积层经过64个大小为3×3×3的卷积核和relu激活函数处理,输出特征为30×30×30×64,池化层中将每2×2×2的体素合为一个体素并取其中的最大值,输出特征大小为15×15×15×64;

第二部分由一个卷积层组成,其中输入特征的大小为15×15×15×64,每个卷积层经过128个大小为3×3×3的卷积核和relu激活函数处理,输出特征为13×13×13×128;

第三部分由两个卷积层组成,其中输入特征的大小为13×13×13×128,每个卷积层经过256个大小为3×3×3的卷积核和relu激活函数处理,输出特征为9×9×9×256;

第四部分由四个卷积层组成,其中输入特征的大小为9×9×9×256,每个卷积层经过512个大小为3×3×3的卷积核和relu激活函数处理,输出特征大小为1×1×1×512;

(2.2)确定三维卷积神经网络的参数,将训练集中的图片以一个场景为一个批次载入三维卷积神经网络模型进行训练,每1000次迭代保存一次数据。

进一步,所述步骤(2.2)中使用基于能量模型的对比损失函数,对于输入的两个样本对a1和a2,通过神经网络训练,得到特征向量mw(a1)和mw(a2),进行相似度判断,用能量函数如等式(1)所示,进行比较:

ew(a1,a2)=||mw(a1)-mw(a2)||(1)

上式中,a1和a2表示一对样本,w为样本对共享权重;当样本对为同类时,ew越大,损失越大,即关于ew递增;当样本对为异类时,ew越大,损失越小,即关于ew递减;因此,对比损失函数的定义如下:

其中,l(w,(b,a1,a2)i)=(1-b)ls(w,(b,a1,a2)i)+bli(w,(b,a1,a2)i),(b,a1,a2)表示一个样本对,共n个样本对,b=1表示同类样本对,其损失是b=0表示异类样本对,其损失是

与现有技术相比,本发明的优点在于:通过三维卷积神经网络来提取目标物体的特征点,降低了特征点的误识率以及提取特征点的时间,从而提高了点云配准的效率与精度,能够为精配准提供一个良好的初值。同时本发明具有良好的鲁棒性,可以在低分辨率、遮挡等条件不同的情况下准确的提取出点云的特征点。

附图说明

图1本发明算法的流程图;

图2本发明中三维卷积神经网络结构图;

图3本发明算法大卫模型点云配准效果图其中,a)为配准前,b)为经三维卷积神经网络提取到的特征点,c)为配准后;

图4本发明算法兔子模型点云配准效果图,a)为配准前,b)为经三维卷积神经网络提取到的特征点,c)为配准后。

具体实施方式

下面结合附图和实施方式对本发明作进一步说明:

参照图1~图4,一种基于三维卷积神经网络的点云配准方法,包括如下步骤:

1)获取训练点云模型和待配准目标点云模型,计算其在观测方向上的深度图像;

2)构建三维卷积神经网络模型,设定训练参数和损失函数,使用获取的数据集来训练网络,得到训练好的三维卷积神经网络模型,参见图2,具体包括如下步骤:

(2.1)构建一个三维卷积神经网络模型,整个三维卷积经网络的层包括四个部分;第一部分由一个卷积层和一个池化层组成,其中输入3d块的大小为30×30×30,卷积层经过64个大小为3×3×3的卷积核和relu激活函数处理,输出特征为30×30×30×64,池化层中将每2×2×2的体素合为一个体素并取其中的最大值,输出特征大小为15×15×15×64;

第二部分由一个卷积层组成,其中输入特征的大小为15×15×15×64,每个卷积层经过128个大小为3×3×3的卷积核和relu激活函数处理,输出特征为13×13×13×128;

第三部分由两个卷积层组成,其中输入特征的大小为13×13×13×128,每个卷积层经过256个大小为3×3×3的卷积核和relu激活函数处理,输出特征为9×9×9×256;

第四部分由四个卷积层组成,其中输入特征的大小为9×9×9×256,每个卷积层经过512个大小为3×3×3的卷积核和relu激活函数处理,输出特征大小为1×1×1×512;

(2.2)确定三维卷积神经网络的参数,将训练集中的图片以一个场景为一个批次载入三维卷积神经网络模型进行训练,每1000次迭代保存一次数据。

进一步,步骤(2.2)中使用基于能量模型的对比损失函数,对于输入的两个样本对a1和a2,通过神经网络训练,得到特征向量mw(a1)和mw(a2),进行相似度判断,用能量函数如等式(1)所示,进行比较:

ew(a1,a2)=||mw(a1)-mw(a2)||(1)

上式中,a1和a2表示一对样本,w为样本对共享权重;当样本对为同类时,ew越大,损失越大,即关于ew递增;当样本对为异类时,ew越大,损失越小,即关于ew递减;因此,对比损失函数的定义如下:

其中,l(w,(b,a1,a2)i)=(1-b)ls(w,(b,a1,a2)i)+bli(w,(b,a1,a2)i),(b,a1,a2)表示一个样本对,共n个样本对,b=1表示同类样本对,其损失是b=0表示异类样本对,其损失是

3)通过训练好的三维卷积神经网络模型来提取目标模型两视角下点云的特征点,参见图3(b)、图4(b);

4)根据提取到的特征点通过配准算法来计算两视角点云之间的配准参数,参见图3(c)、图4(c)。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1