基于全局和部件匹配的小样本点云物体识别方法、系统及介质

本发明涉及三维点云物体识别的，特别涉及一种基于全局和部件匹配的小样本点云物体识别方法、系统及介质。

背景技术：

1、近年来，人工智能及相关产业正迅速发展壮大，成为学术界、工业界以及世界各国政府关注的焦点，人工智能研究和产业是现如今重大课题之一。点云在人工智能领域有着广泛的应用，如自动驾驶汽车、智能医疗影像、机器人等。点云物体识别作为点云领域的一个重要任务，受到学术界和工业界的广泛关注和研究。目前，基于深度神经网络的方法取得了一定的效果，但它们普遍依赖使用大量的点云数据进行训练。在真实的应用场景中，由于点云数据复杂和收集难度大，为获取大量目标类别的点云数据需要耗费高昂的成本。因此，如何设计并训练一个适用于小样本点云物体识别模型是一个亟待解决的难题。

技术实现思路

1、本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于全局和部件匹配的小样本点云物体识别方法、系统及介质，本发明设计了一个小样本点云物体识别模型，通过在全局、部件两个层级上对点云进行相似性比较，有效解决了现有方法在数据量不足限制下性能差的问题，实现了小样本点云物体精准识别。

2、为了达到上述目的，本发明采用以下技术方案：

3、第一方面，本发明提供了一种基于全局和部件匹配的小样本点云物体识别方法，包括以下步骤：

4、构建小样本点云物体识别数据集，所述数据集包括基类数据集和新类数据集；所述基类数据集用于构建小样本点云物体识别任务在情景训练模式下更新网络参数；所述新类数据集用于构建小样本点云物体识别任务验证模型的小样本点云物体识别性能；

5、利用小样本点云物体识别数据集构建小样本点云物体识别任务，所述小样本点云物体识别任务包括基类小样本点云物体识别任务和新类小样本点云物体识别任务，每个任务包括支持集和查询集，利用所述支持集的信息学会对查询集点云的识别；

6、构建点云物体识别网络模型，所述点云物体识别网络模型包括点云特征提取器、点云全局匹配模块、点云部件匹配模块和匹配融合模块；所述点云特征提取器用于提取支持集和查询集中点云的特征；所述点云全局匹配模块用于计算查询集中点云与支持类的全局匹配概率；所述点云部件匹配模块用于计算查询集中点云与支持类的部件匹配概率；所述匹配融合模块融合全局匹配概率和部件匹配概率，得到查询集中点云和支持类的匹配概率；

7、利用基类小样本点云物体识别任务训练点云物体识别网络模型，采用交叉熵损失函数作为目标函数，利用随机梯度下降法迭代训练点云物体识别网络模型参数直至收敛，得到训练好的点云物体识别网络模型；

8、利用新类小样本点云物体识别任务验证点云物体识别网络模型的性能，输入训练好的点云物体识别网络模型，得到预测结果。

9、作为优选的技术方案，所述构建小样本点云物体识别任务，具体为：

10、小样本点云物体识别任务包括支持集s和查询集q，所述支持集s包括n个目标类别以及每个目标类别的k个已标注样本；所述查询集q包括t个待预测的样本，所述点云物体识别网络模型根据支持集s提供的信息学习对n个目标类别的识别，从而对查询集q的t个待预测样本做出准确预测。

11、作为优选的技术方案，所述点云特征提取器采用dgcnn网络，所述支持集和查询集共享同一个点云特征提取器，将支持集和查询集中点云输入特征提取器，得到支持集中点云特征和查询集中点云特征

12、作为优选的技术方案，所述计算查询集中点云与支持类的全局匹配概率，具体为：

13、在支持集和查询集的每个点云上进行全局最大池化运算，得到每个点云的全局特征向量；

14、计算支持集中所有类别的点云的平均特征向量作为支持集的原型特征向量；

15、对于查询集的每个点云，基于全局特征向量和原型特征向量计算查询集中点云与支持集中的点云的余弦相似度作为全局相似度；

16、在所有的全局相似度上进行softmax运算，得到查询集中点云与支持类的全局匹配概率。

17、作为优选的技术方案，所述计算查询集中点云与支持类的部件匹配概率，具体为：

18、将每个点云划分成l个部件，对任意点云使用最远点采样法选出l个中心点，每个中心点与该任意点云最近的(h-1)个邻居点构成一个部件；该部件的特征向量定义为中心点和所有邻居点的平均特征向量，将每个点云表示成一个部件集合z；

19、将支持类部件集合定义为基于支持集构成的部件集合的并集

20、计算基于查询集构成的部件集合与支持类部件集相似度

21、在所有的部件相似度值上使用softmax运算得到支持类部件匹配概率

22、作为优选的技术方案，所述融合全局匹配概率和部件匹配概率，得到查询集中点云和支持类的匹配概率，具体为：

23、查询集中点云和支持类的匹配概率定义为支持类的全局匹配概率和支持类的部件匹配概率的加权值pt,n：

24、

25、其中，w是部件匹配概率的权重。

26、作为优选的技术方案，所述采用交叉熵损失函数作为目标函数，利用随机梯度下降法迭代训练点云物体识别网络模型参数直至收敛，具体为：

27、训练点云物体识别网络模型的目标函数loss：

28、

29、其中表示模型对样本的预测值，表示的真实类别标签；

30、计算loss对点云物体识别网络模型参数的梯度。

31、第二方面，本发明提供了一种基于全局和部件匹配的小样本点云物体识别系统，应用于所述的基于全局和部件匹配的小样本点云物体识别方法，包括数据集构建模块、任务构建模块、模型构建模块、模型训练模块及任务执行模块；

32、所述数据集构建模块，用于构建小样本点云物体识别数据集，所述数据集包括基类数据集和新类数据集；所述基类数据集用于构建小样本点云物体识别任务在情景训练模式下更新网络参数；所述新类数据集用于构建小样本点云物体识别任务验证模型的小样本点云物体识别性能；

33、所述任务构建模块，用于利用小样本点云物体识别数据集构建小样本点云物体识别任务，所述小样本点云物体识别任务包括基类小样本点云物体识别任务和新类小样本点云物体识别任务，每个任务包括支持集和查询集，利用所述支持集的信息学会对查询集点云的识别；

34、所述模型构建模块，用于构建点云物体识别网络模型，所述点云物体识别网络模型包括点云特征提取器、点云全局匹配模块、点云部件匹配模块和匹配融合模块；所述点云特征提取器用于提取支持集和查询集中点云的特征；所述点云全局匹配模块用于计算查询集中点云与支持类的全局匹配概率；所述点云部件匹配模块用于计算查询集中点云与支持类的部件匹配概率；所述匹配融合模块融合全局匹配概率和部件匹配概率，得到查询集中点云和支持类的匹配概率；

35、所述模型训练模块，用于利用基类小样本点云物体识别任务训练点云物体识别网络模型，采用交叉熵损失函数作为目标函数，利用随机梯度下降法迭代训练点云物体识别网络模型参数直至收敛，得到训练好的点云物体识别网络模型；

36、所述任务执行模块，用于利用新类小样本点云物体识别任务验证点云物体识别网络模型的性能，输入训练好的点云物体识别网络模型，得到预测结果。

37、第三方面，本发明提供了一种电子设备，所述电子设备包括：

38、至少一个处理器；以及，

39、与所述至少一个处理器通信连接的存储器；其中，

40、所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于全局和部件匹配的小样本点云物体识别方法。

41、第四方面，本发明提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行时，实现所述的基于全局和部件匹配的小样本点云物体识别方法。

42、本发明与现有技术相比，具有如下优点和有益效果：

43、(1)本发明针对现有点云物体识别模型在数据不足条件下性能差的问题，提出了一种基于全局和部件匹配的小样本点云物体识别方法，通过在全局、部件两个层次上对点云进行相似性匹配，实现小样本点云物体精准识别；

44、(2)本发明利用基类小样本点云物体识别任务所提供支持集和查询集作为输入迭代训练点云物体识别网络模型，并利用新类小样本点云物体识别任务所提供的支持集和查询集验证模型性能，并获取预测结果，解决了点云数据复杂和收集难度大，为了获取大量目标类别的点云数据需要耗费高昂的成本的问题。