地表属性分类数据集构建方法及系统

本发明涉及自动驾驶，具体涉及一种环境感知与机体感知融合的地表属性分类数据集构建方法及系统。

背景技术：

1、自动驾驶技术在国防安全及交通运输领域有着重要的应用需求。基于环境感知和机体感知的地表属性分类是关键技术之一，可以提高无人平台自动驾驶的安全性和在复杂场景的自主机动能力。然而相关成熟的研究较少。已有研究采用监督学习的方法来训练环境感知和机体感知模型，在特征层或决策层进行融合。这类方法依赖大量的标注数据集。目前已公开的数据集规模非常有限，且未发现有数据集构建方法的报道。

2、复杂场景中利用激光雷达、摄像头等环境感知数据，可以对无人平台前方区域的地表属性进行分类识别，从而预先判断可通过性及通过代价，在此基础上建立安全的驾驶策略。相比激光雷达，摄像头采集的视觉图像具有丰富的纹理特征，被广泛采用。然而复杂场景中地表特征多样，动态变化，且随着光照、季节、天候等影响，基于视觉的方法缺乏足够的鲁棒性和环境自适应能力。另一方面，利用无人平台的轮速编码器、加速度计等机体感知传感器，可以接触式地感受地表属性带来的影响，在无人平台通过中直接获得地表反馈，且对于环境动态变化、光照、季节、天候等不敏感，具有较强的鲁棒性。然而机体感知数据简单，地表属性分类能力有限。

3、深度学习的方法是目前地表属性分类的主要方法，且表现出比传统机器学习优异的性能。然而这类方法依赖大量的标注数据集。目前已公开的地表属性分类数据集规模非常有限，且均为在特定地表环境下进行的片段化的数据采集和标注，数据样本简单，不体现真实环境的复杂性。如何利用在复杂真实环境中连续采集的机体感知与环境感知数据，对其进行标注并制作数据集，未发现有相关的报道。

技术实现思路

1、本发明的目的在于提供一种环境感知与机体感知融合的地表属性分类数据集构建方法及系统，为研制地表属性分类模型，并在复杂动态及多样环境中验证算法性能提供数据基础，以解决上述背景技术中存在的至少一项技术问题。

2、为了实现上述目的，本发明采取了如下技术方案：

3、一方面，本发明提供一种地表属性分类数据集构建方法，包括：

4、利用在复杂真实环境中无人平台连续运动，同步采集无人平台的机体感知数据与环境感知数据；

5、利用无人平台位置姿态与传感器几何参数，为每一段机体感知数据自动关联图像块，实现对采集的环境感知数据与机体感知数据进行关联；

6、利用部分人工标注后的所述关联后的数据，半自动生成数据样本，构建环境感知与机体感知数据集；

7、进行批量化的样本可视化、检查与编辑，得到地表属性分类数据集。

8、可选的，机体感知数据包括惯性测量单元采集的三个自由度的加速度计、三个自由度的角速度、轮速、无人平台驾驶过程中的控制量；每种数据均为简单的时序数据；环境感知数据包括三维激光雷达数据、摄像头拍摄的视频数据。

9、可选的，利用无人平台位置姿态与传感器几何参数，为每一段机体感知数据自动关联对应的图像块，包括：

10、无人平台在t-1时刻观测到前方区域并采集图像帧it-1；

11、无人平台在t时刻通过该区域，坐标位置为pt；通过中采集到加速度计、轮速机体感知数据的时序列vt；

12、将坐标点pt反投影到图像帧it-1，得到其中为pt在it-1的投影点，勾无人平台在t-1时刻的位置姿态的矩阵表示，tcam为无人平台坐标系到图像坐标系的转换矩阵；

13、以为中心，按预先设计好的大小切去图像块pt-1，t，从而<pt-1，t，vt>为关联的环境感知与机体感知数据。

14、可选的，无人平台位姿包括，利用卫星定位、惯性导航、轮速编码器、同时定位与地图创建slam方法推算出无人平台在每个时刻的位置和姿态数据。

15、可选的，环境感知与机体感知数据集构建，包括：

16、对机体感知数据按固定长度分段；

17、对任意一段机体感知数据vt，根据前述数据关联方法，投影到it-k...it-1图像帧，生成关联数据

18、基于对应的视觉图像块，人工赋予标签at；

19、得到一组样本其中每个vt均与关联，所有样本数据均有共同的语义标签at。

20、可选的，样本可视化、检查与编辑，包括：

21、每一帧图像it被关联有vt+1...vt+k段机体感知数据，将vt+1...vt+k投影到it，可以系统地检查并编辑错误标注的样本；

22、对有问题的样本，检索出进行可视化；

23、修改标签或对错误关联的样本进行删除。

24、第二方面，本发明提供一种地表属性分类数据集构建系统，包括：

25、采集模块，用于利用在复杂真实环境中无人平台连续运动，同步采集无人平台的机体感知数据与环境感知数据；

26、关联模块，用于利用无人平台位置姿态与传感器几何参数，为每一段机体感知数据自动关联图像块，实现对采集的环境感知数据与机体感知数据进行关联；

27、构建模块，用于利用部分人工标注后的所述关联后的数据，半自动生成数据样本，构建环境感知与机体感知数据集；

28、可视化编辑模块，用于进行批量化的样本可视化、检查与编辑，得到地表属性分类数据集。

29、第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的环境感知与机体感知融合的地表属性分类数据集构建方法。

30、第四方面，本发明提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的环境感知与机体感知融合的地表属性分类数据集构建方法。

31、第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的环境感知与机体感知融合的地表属性分类数据集构建方法的指令。

32、本发明有益效果：利用在复杂真实环境中连续采集的机体感知与环境感知数据，对其进行少量的人工标注即可高效的制作大量数据集，为研制地表属性分类模型，在复杂动态及多样环境中验证算法性能提供数据基础。

33、本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。

技术特征：

1.一种地表属性分类数据集构建方法，其特征在于，包括：

2.根据权利要求1所述的地表属性分类数据集构建方法，其特征在于，机体感知数据包括惯性测量单元采集的三个自由度的加速度计、三个自由度的角速度、轮速、无人平台驾驶过程中的控制量；每种数据均为简单的时序数据；环境感知数据包括三维激光雷达数据、摄像头拍摄的视频数据。

3.根据权利要求1所述的地表属性分类数据集构建方法，其特征在于，利用无人平台位置姿态与传感器几何参数，为每一段机体感知数据自动关联对应的图像块，包括：

4.根据权利要求3所述的地表属性分类数据集构建方法，其特征在于，无人平台位姿包括，利用卫星定位、惯性导航、轮速编码器、同时定位与地图创建slam方法推算出无人平台在每个时刻的位置和姿态数据。

5.根据权利要求3所述的地表属性分类数据集构建方法，其特征在于，环境感知与机体感知数据集构建，包括：

6.根据权利要求5所述的地表属性分类数据集构建方法，其特征在于，样本可视化、检查与编辑，包括：

7.一种地表属性分类数据集构建系统，其特征在于，包括：

8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求1-6任一项所述的地表属性分类数据集构建方法。

9.一种计算机设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求1-6任一项所述的地表属性分类数据集构建方法。

10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求1-6任一项所述的地表属性分类数据集构建方法的指令。

技术总结
本发明提供一种地表属性分类数据集构建方法及系统，属于自动驾驶技术领域，利用在复杂真实环境中无人平台连续运动，同步采集无人平台的机体感知数据与环境感知数据；利用无人平台位置姿态与传感器几何参数，为每一段机体感知数据自动关联图像块，实现对采集的环境感知数据与机体感知数据进行关联；利用部分人工标注后的关联后的数据，半自动生成数据样本，构建环境感知与机体感知数据集；进行批量化的样本可视化、检查与编辑，得到地表属性分类数据集。本发明利用在复杂真实环境中连续采集的机体感知与环境感知数据，对其进行少量的人工标注即可高效的制作大量数据集，为研制地表属性分类模型，在复杂动态及多样环境中验证算法性能提供数据基础。

技术研发人员：赵卉菁,谢睿,周昊天,李鸿泽,周武根,查红彬
受保护的技术使用者：北京大学
技术研发日：
技术公布日：2024/3/31