点云数据匹配方法、装置、电子设备及计算机存储介质与流程

文档序号:25220134发布日期:2021-05-28 14:21阅读:来源:国知局

技术特征:

1.一种点云数据匹配方法,其特征在于,包括:

获取待匹配的第一点云数据和第二点云数据,对于所述第一点云数据和所述第二点云数据中的每一点云数据,所述每一点云数据中包括多个三维点的位置信息和属性信息;

获取所述第一点云数据对应的第一二维数据,所述第一二维数据包括与所述第一点云数据中的多个三维点对应的多个二维点的位置信息和属性信息;

获取所述第二点云数据对应的第二二维数据,所述第二二维数据包括与所述第二点云数据中的多个三维点对应的多个二维点的位置信息和属性信息;

基于所述第一二维数据,确定所述第一点云数据中的各第一三维关键点,并获取每个所述第一三维关键点的关键点特征,所述关键点特征包括纹理特征和空间结构特征;

基于所述第二二维数据,确定所述第二点云数据中的各第二三维关键点,并获取每个所述第二三维关键点的关键点特征;

基于各所述第一三维关键点的关键点特征和各所述第二三维关键点的关键点特征,对各所述第一三维关键点和各所述第二三维关键点进行匹配,得到匹配结果。

2.根据权利要求1所述的方法,其特征在于,对于一个所述三维点,所述属性信息包括反射强度信息或颜色信息中的至少一项。

3.根据权利要求1所述的方法,其特征在于,所述基于所述第一二维数据,确定所述第一点云数据中的各第一三维关键点,包括:

提取所述第一二维数据中各二维点的相关信息,所述相关信息包括关键点信息和显著性信息,对于每个所述二维点,所述关键点信息表征了该二维点是二维关键点的可能性,所述显著性信息表征了该二维点在所述第一二维数据中各二维点的显著程度;

基于各所述二维点对应的关键点信息和显著性信息,确定各所述二维点中的二维关键点;

将所述第一点云数据中与确定出的各所述二维关键点对应的各三维点,确定为各所述第一三维关键点。

4.根据权利要求3所述的方法,其特征在于,所述基于各所述二维点对应的关键点信息和显著性信息,确定各所述二维点中的二维关键点,包括:

对于每个所述二维点,基于所述二维点对应的关键点信息和显著性信息,确定所述二维点的重要程度;

基于各所述二维点的重要程度,确定出各所述二维点中的二维关键点。

5.根据权利要求1所述的方法,其特征在于,对于所述每一点云数据,还包括:

基于所述点云数据对应的二维数据,提取所述二维数据中各二维点的特征描述信息;

确定所述第一点云数据中每个第一三维关键点所对应的纹理特征,包括:

对于每一所述第一三维关键点,将与所述第一三维关键点对应的二维关键点的特征描述信息,作为所述第一三维关键点所对应的纹理特征。

6.根据权利要求1所述的方法,其特征在于,确定所述第一点云数据中每个第一三维关键点所对应的空间结构特征,包括:

对于每个所述第一三维关键点,基于所述第一点云数据中位于该第一三维关键点设定范围内的点云数据,确定所述第一三维关键点对应的空间结构特征。

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述获取所述第一点云数据对应的第一二维数据,包括:

对所述第一点云数据进行投影,得到所述第一点云数据对应的投影图像,将所述投影图像作为所述第一二维数据;

其中,所述投影图像中的各像素点对应于所述第一二维数据中的各二维点,每个像素点的像素值对应于所述第一二维数据中的二维点的属性信息。

8.根据权利要求1至6中任一项所述的方法,其特征在于,所述获取所述第一点云数据对应的第一二维数据,包括:

按照空间位置关系,将所述第一点云数据划分为至少两个点云网格;

分别获取每个点云网格对应的二维数据,所述第一点云数据对应的第一二维数据包括各所述点云网格对应的二维数据;

所述基于所述第一点云数据对应的第一二维数据,确定所述第一点云数据中的各第一三维关键点,包括:

对于每个所述点云网格,基于所述点云网格中对应的二维数据,确定所述点云网格对应的二维关键点;

将各所述点云网格对应的各二维关键点所对应的各三维点作为所述第一点云数据中的各所述第一三维关键点。

9.根据权利要求7所述的方法,其特征在于,所述获取所述第一点云数据对应的第一二维数据,包括:

根据所述第一点云数据中各三维点的位置信息,确定所述第一点云数据对应的法线方向;

基于所述法线方向,确定所述第一点云数据的投影方向;

按照所述投影方向对所述第一点云数据进行投影,得到所述第一点云数据对应的第一二维数据。

10.根据权利要求1至6中任一项所述的方法,其特征在于,所述基于各所述第一三维关键点的关键点特征和各所述第二三维关键点的关键点特征,对各所述第一三维关键点和各所述第二三维关键点进行匹配,得到匹配结果,包括:

对于每一所述第一三维关键点,基于该第一三维关键点对应的纹理特征和空间结构特征,确定该第一三维关键点对应的融合特征;

对于每一所述第二三维关键点,基于该第二三维关键点对应的纹理特征和空间结构特征,确定该第二三维关键点对应的融合特征;

基于各所述第一三维关键点对应的融合特征,以及各所述第二三维关键点对应的融合特征,确定各所述第一三维关键点和各所述第二三维关键点对应的匹配点对,所述匹配结果包括各三维关键点对应的匹配点对。

11.根据权利要求1至6中任一项所述的方法,其特征在于,所述匹配结果包括各所述第一三维关键点和各所述第二三维关键点对应的匹配点对,所述方法还包括:

基于各所述第一三维关键点和各所述第二三维关键点对应的匹配点对,确定所述第一点云数据和所述第二点云数据对应的位姿估计结果。

12.根据权利要求10所述的方法,其特征在于,对于所述每一点云数据,获取所述点云数据中的各三维关键点的空间结构特征,以及基于每一三维关键点对应的纹理特征和空间结构特征,确定所述三维关键点对应的融合特征,是通过神经网络模型实现的;

所述神经网络模型包括空间特征提取网络和融合网络,其中,所述神经网络模型是通过以下方式训练得到的:

获取训练数据,所述训练数据包括多个带有标签的点云数据对,每个点云数据对中包括样本点云数据和参考点云数据,对于一个点云数据对,所述标签表征了所述点云数据对中的两个点云数据之间的匹配关系;

对于所述训练数据中的每一点云数据,确定所述点云数据中的三维关键点,并获取各所述三维关键点的纹理特征;

对于每一所述点云数据中的每一所述三维关键点,将该点云数据中位于该三维关键点设定范围内的点云数据输入至空间特征提取网络,得到所述三维关键点的空间结构特征,并将所述三维关键点的纹理特征和空间结构特征输入至融合网络,得到所述三维关键点对应的融合特征;

对于每一所述点云数据对,基于该点云数据对中样本点云数据中三维关键点的融合特征与参考点云数据中三维关键点的融合特征的匹配度,确定出所述参考点云数据中与所述样本点云数据的每一三维关键点相匹配的三维关键点;

基于确定出的各所述点云数据对中相匹配的各三维关键点之间的匹配度,确定所述神经网络模型对应的训练损失函数,所述训练损失函数的值表征了各所述点云数据对的标签对应的匹配关系和匹配度之间的差异性;

若所述训练损失函数收敛,则将收敛时对应的模型作为最终的神经网络模型,若不收敛,则调整所述神经网络模型的模型参数,并基于所述训练数据对所述神经网络模型进行训练。

13.一种点云数据处理装置,其特征在于,包括:

点云数据获取模块,用于获取待匹配的第一点云数据和第二点云数据,对于所述第一点云数据和所述第二点云数据中的每一点云数据,所述每一点云数据中包括多个三维点的位置信息和属性信息;

第一二维数据获取模块,用于获取所述第一点云数据对应的第一二维数据,所述第一二维数据包括与所述第一点云数据中的多个三维点对应的多个二维点的位置信息和属性信息;

第二二维数据获取模块,用于获取所述第二点云数据对应的第二二维数据,所述第二二维数据包括与所述第二点云数据中的多个三维点对应的多个二维点的位置信息和属性信息;

第一关键点特征确定模块,用于基于所述第一二维数据,确定所述第一点云数据中的各第一三维关键点,并获取每个所述第一三维关键点的关键点特征,所述关键点特征包括纹理特征和空间结构特征;

第二关键点特征确定模块,用于基于所述第二二维数据,确定所述第二点云数据中的各第二三维关键点,并获取每个所述第二三维关键点的关键点特征;

点云匹配模块,用于基于各所述第一三维关键点的关键点特征和各所述第二三维关键点的关键点特征,对各所述第一三维关键点和各所述第二三维关键点进行匹配,得到匹配结果。

14.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-12中任一项所述的方法。

15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-12中任一项所述的方法。


技术总结
本申请公开了一种点云数据匹配方法、装置、电子设备及计算机存储介质,涉及人工智能、自动驾驶、地图、定位及云技术领域,该方法包括:对于待匹配的第一点云数据和第二点云数据中的任一点云数据,获取该点云数据对应的二维数据,基于该二维数据确定出该点云数据中每个三维关键点所对应的纹理特征和空间结构特征,基于第一点云数据中各第一三维关键点的关键点特征和第二点云数据中各第二三维关键点的关键点特征(纹理特征和空间结构特征),得到匹配结果。根据本申请的方法,在对第一点云数据和第二点云数据进行匹配时,考虑到三维关键点对应的纹理特征和空间结构特征,从而使得匹配结果更加准确。

技术研发人员:辛喆;易世春
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2021.04.23
技术公布日:2021.05.28
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1