基于关系特征的三维室内物体检测方法

本发明属于计算机视觉及人工智能，涉及基于关系特征的三维室内物体检测方法。

背景技术：

1、作为室内场景三维重建的重要步骤，物体检测需要充分学习物体对象的形状特征，借助先进的算法以及神经网络，利用边界框的方法来将场景中的物体检测出来，从而对每一个物体进行定位并提取其语义信息。因此，点云物体检测技术具有重要的研究意义和广泛的应用前景。

2、当前最常用的基于点云数据的物体检测网络是由charles等人于2019年提出的votenet网络框架。该网络一经提出，就在多个数据集上，于多个评价指标中取得了sota(state-of-the-art)的效果，所以受到了点云领域研究者们的广泛关注。

3、votenet网络虽然在当时取得了很好的效果，但是它仍然存在着许多不足之处，比如特征提取部分采用的是pointnet++网络，其在特征降维部分的方法并没有很好地保留关键特征；其次，在种子点向物体中心投票这一环节中，没有区分前景点与背景点，忽略了背景点对结果的影响；最后在生成物体的提议阶段，忽略了物体之间的特定关系及组合的特征。

技术实现思路

1、本发明的目的是提供基于关系特征的三维室内物体检测方法，有效地提高了点云物体检测的精度。

2、本发明采用的技术方案是，基于关系特征的三维室内物体检测方法，具体按照以下步骤实施：

3、步骤1，通过嵌入了融合卷积池化层的sa层对输入的点云进行下采样以及特征提取，再使用fp层对点云进行上采样以及特征优化，最终得到多个具有高维特征的种子点；

4、步骤2，通过一个mlp让种子点向可能的物体中心进行投票，从而得到初始投票点，再通过一个权重模块对投票点的特征进行优化，得到最终的投票点；

5、步骤3，使用sa层对投票点进行聚类，生成物体的初步提议；然后将初步提议输入到空间关系模块中，把得到的提议间的空间关系特征与提议特征拼接起来，再输入到mlp中进行训练得到优化后的提议特征；最后通过3d nms方法剔除置信度低的物体提议，即得到最终的物体包围盒，完成点云物体检测。

6、本发明的特点还在于，

7、步骤1具体为：

8、步骤1.1，点云下采样：使用最远点采样法在输入的点云数据中采样到m个点；

9、步骤1.2，点云分组：以这m个点为中心，接着使用球查询方法在每个中心点附近寻求s个点，从而组成m个局部区域；

10、步骤1.3，获取局部点云特征：通过mlp来对各个局部区域进行特征提取与升维，得到了具有局部分组特征的点云数据；

11、步骤1.4，池化操作：将步骤1.3得到的点云数据分别输入到平均池化层和最大池化层，分别获取各个局部区域特征的平均值以及最大值；

12、步骤1.5，卷积操作：将步骤1.4得到的两个结果分别先用一层1×1的卷积提取特征，再进行数据批量标准化操作，然后用整流线性单位函数对特征优化，接着再经过一层1×1的卷积处理，最终得到了两个提取到更深层特征的点云；

13、步骤1.6，特征聚合：将步骤1.5得到的两个点云的特征进行相加，则完成了sa1层的点云下采样以及特征提取；

14、步骤1.7，多个sa层进行特征提取：将经过每个sa层处理后得到的点云作为下一个sa层的输入，重复执行步骤1.1-1.6，依次完成sa2层、sa3层以及sa4层的点云下采样以及特征提取；

15、步骤1.8，点云上采样以及特征优化：将经过sa4层处理后得到的点云及其特征通过两个连续的fp层进行点云上采样以及特征的优化，最终得到的点云中的点，即为具有高维特征的种子点。

16、步骤2具体为：

17、步骤2.1，预测物体中心点：将种子点都输入到mlp中，每个种子点都通过mlp来投票出一个物体中心点，mlp输出的结果为每个种子点距离所投票中心点的坐标偏移量和特征偏移量；

18、步骤2.2，获取初始投票点：将原始的种子点的坐标和特征加上mlp输出的坐标偏移量和特征偏移量，从而得到初始投票点的坐标和特征；

19、步骤2.3，计算投票点和种子点权重：将投票点及其特征v和种子点及其特征s分别输入到权重函数中进行处理，根据每个投票点以及种子点属于前景点的概率为其分配不同的权重，最终得到了投票点权重vw和种子点权重sw；

20、步骤2.4，优化投票点特征：用投票点权重vw和种子点权重sw来对投票点特征v进行优化，从而得到经过权重模块优化后的最终的投票特征，其中优化函数为：

21、

22、步骤2.3所使用的权重函数为：

23、w(x)＝sigmoid(convmodule(x))       (i)

24、

25、步骤3具体为：

26、步骤3.1，通过最远点采样法在得到的投票点中采样h个点；

27、步骤3.2，以这h个点为中心，接着通过球查询方法在中心点附近寻找邻居并聚合特征，就得到了h个具有高维特征的物体初步提议；

28、步骤3.3，物体支撑关系判断：支撑关系是指垂直方向上相邻，根据两个物体提议之间的相对高度以及在xoy平面上投影的交并比与所设置的阈值的大小关系，判断每个候选提议pi是否与其他提议具有支撑关系；

29、步骤3.4，物体附着关系判断：附着关系是指水平方向上相邻，根据两个物体提议的水平方向的距离以及在x轴和y轴这两个垂直方向的投影最大交并比与所设置的阈值的大小关系，判断每个候选提议pi是否与其他提议具有附着关系；

30、步骤3.5，特征拼接：将提议特征与空间关系特征进行拼接，然后输入到mlp中进行训练，得到具有场景物体空间关系特征的提议；

31、步骤3.6，将步骤3.5得到的物体提议进行置信度的排序，将置信度低的提议过滤掉，剩下的物体提议就是整个网络预测出来的物体包围盒。

32、步骤3.5采用交叉熵损失函数来计算关系模块的损失：

33、

34、其中yi,k表示第i个样本的结果中第k个标签的真实值，pi,k表示第i个样本的结果中第k个标签的预测值，n表示共有n个样本，k表示每个样本中有k个标签。

35、本发明的有益效果是：

36、本发明基于关系特征的三维室内物体检测方法，该方法在特征提取阶段，深入地学习了点与点之间的关系特征，提出了一个融合卷积池化模块，使得模型能够捕捉到更多点云场景中的邻域关键特征；在投票阶段，受到注意力机制的启发，根据点与物的关系，将点云划分为前景点与背景点，并设计出一个投票权重模块来降低背景点对检测结果的影响；然后，通过学习物与物之间的空间关系，在生成物体提议后，根据物体关系对提议进行筛选，剔除可能性较低的物体组合，从而提高物体检测准确率。

技术特征：

1.基于关系特征的三维室内物体检测方法，其特征在于，具体按照以下步骤实施：步骤1，通过嵌入了融合卷积池化层的sa层对输入的点云进行下采样以及特征提取，再使用fp层对点云进行上采样以及特征优化，最终得到多个具有高维特征的种子点；步骤2，通过一个mlp让种子点向可能的物体中心进行投票，从而得到初始投票点，再通过一个权重模块对投票点的特征进行优化，得到最终的投票点；步骤3，使用sa层对投票点进行聚类，生成物体的初步提议；然后将初步提议输入到空间关系模块中，把得到的提议间的空间关系特征与提议特征拼接起来，再输入到mlp中进行训练得到优化后的提议特征；最后通过3d nms方法剔除置信度低的物体提议，即得到最终的物体包围盒，完成点云物体检测。

2.根据权利要求1所述的基于关系特征的三维室内物体检测方法，其特征在于，步骤1具体为：

3.根据权利要求1所述的基于关系特征的三维室内物体检测方法，其特征在于，所述步骤2具体为：

4.根据权利要求3所述的基于关系特征的三维室内物体检测方法，其特征在于，所述步骤2.3所使用的权重函数为：

5.根据权利要求1所述的基于关系特征的三维室内物体检测方法，其特征在于，所述步骤3具体为：

6.根据权利要求5所述的基于关系特征的三维室内物体检测方法，其特征在于，所述步骤3.5采用交叉熵损失函数来计算关系模块的损失：

技术总结
本发明公开了基于关系特征的三维室内物体检测方法，在特征提取阶段，深入学习了点与点之间的关系特征，提出了一个融合卷积池化模块，使得模型能够捕捉到更多点云场景中的邻域关键特征；在投票阶段，受到注意力机制的启发，根据点与物的关系，将点云划分为前景点与背景点，并设计出一个投票权重模块来降低背景点对检测结果的影响；然后，通过学习物与物之间的空间关系，在生成物体提议后，根据物体关系对提议进行筛选，剔除可能性较低的物体组合，从而提高物体检测准确率。

技术研发人员：宁小娟,黄磊,巩亮,苏浩楠,肖照林,金海燕
受保护的技术使用者：西安理工大学
技术研发日：
技术公布日：2024/1/15