技术特征：
1.一种在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，包括如下步骤：获取待标注的rgb-d样本序列；根据rgb-d样本采集位置序列构建se(3)位姿图，并利用rgb-d样本之间的匹配关系构建采样位置之间的空间约束，进而优化se(3)位姿图，得到rgb-d样本优化后的采集位置序列；基于优化后的采集位置序列，将rgb-d样本序列融合为全局3d地图；采用人工标注的方式，在全局3d地图中进行物体标注；根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐标中的位姿，得到在每个采集位置，即rgb-d样本下各物体的位姿，进而与物体类别和尺寸一起构成rgb-d样本下的物体标签。2.根据权利要求1所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，在获取所述待标注的rgb-d样本序列之后，所述点云中物体快速标注方法第一步：通过构建和优化se(3)位姿图，实现对环境的三维重建。3.根据权利要求1或2所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述根据rgb-d样本采集位置序列构建se(3)位姿图，包括：se(3)位姿图具体如下：其中，和ε分别是顶点vertex和边edge的缩写；是se(3)位姿图中待优化的变量，是所有rgb-d样本的采集位置序列集合；ε是优化问题的约束集，每个约束表示两个顶点s
*
和点之间的空间约束；设定rgb-d样本序列q＝{f
i
|i＝1
…
n}，其中f
i
是一个rgb-d样本，包括一个rgb彩色图像i
i
和一个与深度图像等价的3d点云d
i
,f
i
＝(i
i
,d
i
)；采集位置序列为p＝{s
i
∣i＝0,
…
,n}，s
i
是一个3d空间6自由度位置和姿态点，用se(3)变量表示。4.根据权利要求3所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述利用rgb-d样本之间的匹配关系构建采样位置之间的空间约束，进而优化se(3)位姿图，得到rgb-d样本优化后的采集位置序列，包括：通过点云配准确定采集位置对之间的空间约束：其中，〈p,q〉表示d
★
和之间的点对，s
′
＊
和分别是s
＊
和的初始值，作为变量e的初始值；通过下面的方程预测采集位置s
★
和之间的偏移量：根据上述空间约束条件和预测偏移量，得到se(3)位姿图的优化目标如下：
其中，x＝{s1,s2,
…
,s
n
}是待优化参数的向量，每个为一个误差项的信息矩阵；使用g2o解决上述优化问题并获得优化的采集位置序列5.根据权利要求4所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述基于优化后的采集位置序列x
*
，将rgb-d样本序列融合为全局3d地图，包括：将所有rgb-d样本转换到世界坐标系中：所有rgb-d样本都表示在同一个世界坐标系中，共同构成了环境的3d地图m:6.根据权利要求5所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述采用人工标注的方式，在全局3d地图中进行物体标注，包括：将上述三维地图m载入进行物体标注的软件，并进行人工物体标注；对于任意一个物体o
j
，物体形状用一个3d bounding box表示，物体标签格式如下：其中，c
j
是物体的类别，s
j
＝[w
j
,l
j
,h
j
]是3d-bbox的大小，bbox的大小，是物体在世界坐标系中的位姿。7.根据权利要求6所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述根据标注结果，将各物体在世界坐标系中的位姿转换为对应采集位置的传感器坐标中的位姿，即得到各样本中各物体的位姿，进而获得与rgb-d样本相对应的物体标签，包括：采用如下矩阵，将物体o
j
在世界坐标系中的位姿表达为如下矩阵形式：其中，是物体在世界坐标系中的位置，是欧拉角等价的三维空间旋转矩阵；然后，基于各rgb-d样本f
i
优化后的采集位置将物体o
j
在全局坐标系下的位姿转换到采集时刻传感器坐标中的位姿：
上述位姿旋转矩阵包含绕x轴和y轴的微小旋转，所以通过旋转矩阵与欧拉角之间的两次变换，将旋转矩阵简化如下：这里，rot2euler表示获取一个旋转矩阵等价的欧拉角，euler2rot表示获取欧拉角等价的一个旋转矩阵；最终，得到rgb-d样本f
i
中物体o
j
的位姿矩阵如下：最终，通过上述方法自动获取解析后的物体标签如下：其中，其中，为物体o
j
在rgb-d样本中的向量形式的位姿。8.根据权利要求7所述的在三维重建辅助下进行点云中物体快速标注的方法，其特征在于，所述在三维重建辅助下进行点云中物体快速标注的方法还包括标签验证的步骤，具体如下：针对一个rgb-d帧f
i
，使用open3d点云分割技术获取位于标签内的子点云计算子点云的最小凸包体积s
j
；根据表示物体o
j
的3d-bbox的体积v
j
判断标签的有效性：其中，v
j
＝w
j
·
l
j
·
h
j
，表示是物体形状3d-bbox的体积；r是子点云最小凸包的体积与3d-bbox的体积之比，表示在当前rgb-d样本下，存在物体o
j
及其标签的可信度，仅当时，标签是有效的，并被接受为rgb-d样本f
i
中一个物体o
j
的标签。
技术总结
本发明涉及人工智能领域，具体涉及一种在三维重建辅助下进行点云中物体快速标注的方法，在获取待标注的RGB-D样本序列后，该方法根据RGB-D样本的3D采集位置序列和RGB-D样本间点云匹配关系构建一个SE(3)位姿图，在完成位姿图优化后，基于优化后的RGB-D样本采集位置序列，该方法将RGB-D样本融合为一个全局的3D地图，并在该3D地图中进行人工物体标注。然后，根据优化后的各RGB-D样本采集位置，将世界坐标系下的物体标签自动转换至各RGB-D样本坐标系。得到每个RGB-D样本下各物体的位姿以及标签。对于环境中的每一个真实物体，该方法只需要进行一次人工标注，就可以自动得到物体在不同RGB-D样本中的物体标签，能够大幅减少人工标注的工作量。标注的工作量。标注的工作量。
技术研发人员：郭帅 石磊 闻媛 胡亚洲 刘起东 姜晓恒 徐明亮
受保护的技术使用者：郑州大学
技术研发日：2022.11.23
技术公布日：2023/3/31