工程机械局部作业场景动态三维重构方法及系统

本发明涉及多目标识别领域，特别涉及一种工程机械局部作业场景动态三维重构方法及系统。

背景技术：

1、工程机械是装备工业的重要组成部分，从工业时代开始在助力基础设施建设，推动社会进步等方面发挥着不可或缺的作用。现如今，传统工程机械由于作业时存在着劳动强度高、作业环境恶劣、作业工况复杂等问题逐渐无法满足现代工程施工种类的多样性需求。

2、对局部工程机械作业场景的环境感知，除了需要获取静态的非结构化地形信息，也要关注场景中的工程机械等动态信息。在人工操作工程机械作业过程中，操作人员用眼睛观察施工环境和其他工程机械，保证施工的安全和高效。自主作业的工程机械应该具有较高的智能水平，同样需要具备对作业现场的车辆、人员等监控、跟踪、以及危险预警等能力，以取代人类操作员来实现这一过程。相较于城市开放道路中的巨大车流量，工程机械多作业于较封闭的野外场景，且具有驾驶任务固定的特点，因此只需关注工程机械的运动状态以及相互遮挡的情况，降低了工程机械动态信息获取的难度。此后，中国发明专利cn114842144a提出一种双目视觉三维重构方法与系统，根据路径压缩算法和特征线得到特征点，再对特征点进行配对得到特征点匹配对，最后根据特征点匹配对进行三维重构，但该专利所取的特征点比较少，应用场景不大。

技术实现思路

1、本发明的目的是在于克服现有技术问题，提出一种工程机械局部作业场景动态三维重构方法及系统，首先结合改进的yolov4算法，对双目相机进行标定，获取较为准确的内外参数，再利用sgbm算法进行双目立体匹配，并采用wls滤波获取高精度视差图，搭建双目立体视觉测距平台，实现对动态目标的自动识别和测距定位；对自动识别的目标进行点云组合滤波使框架适应室外非结构化地形环境，并在orb-slam2的基础上采用多线程和关键帧在cpu上实时构建稠密点云地图和八叉树地图，再根据地面方程求取相机安装参数，实现地面分割与占据栅格地图构建；通过改进的yolov4算法和orb-slam2稠密建图系统相结合，提高系统的定位准确度，再构建平截头体与三维kd-tree去除虚假点云，保证三维地图的准确性，实现工程机械三维作业场景重构。

2、本发明采用如下技术方案：

3、一方面，一种工程机械局部作业场景动态三维重构方法，包括：

4、s101，获取双目图像，对双目相机标定，进行立体匹配获取视差图，结合改进的yolov4算法对双目图像中的工程机械动态目标进行自动识别和测距定位；

5、s102，构建实时稠密建图的双目视觉slam框架；对自动识别的工程机械动态目标进行点云组合滤波使双目视觉slam框架适应室外非结构化地形环境，并在orb-slam2的基础上采用多线程和关键帧，在cpu上实时构建稠密点云地图和八叉树地图；根据地面方程求取相机安装参数，实现地面分割与二维栅格地图构建；

6、s103，将改进的yolov4算法和orb-slam2稠密建图相结合以进行定位，并构建平截头体与三维kd-tree去除虚假点云，实现工程机械三维作业场景重构。

7、优选的，所述s101，具体包括：

8、s1011，获取双目图像，对相机进行标定，获取相机内外参数；

9、s1012，利用sgbm算法对双目相机获取的图像进行立体匹配，并结合wls滤波获取视差图，搭建双目立体视觉测距平台；

10、s1013，基于改进的yolov4算法从双目相机获取的图像中检测出工程机械动态目标物体，将目标物体检测框的中心坐标作为目标物体的中心坐标，将该中心坐标信息传入至搭建的双目立体视觉测距平台中，获取目标物体距离相机的距离，实现对工程机械动态目标的识别与定位。

11、优选的，所述s1011中，对相机进行标定，具体包括：

12、a，制作黑白棋盘标定板：选择格数为9*6的黑白棋盘标定板，每个小格的规格尺寸为25mm*25mm，将选好的棋盘格打印在a4纸上后贴于水平光滑的背板上完成标定板的制作；

13、b，棋盘图像采集：采集时标定板和相机成像平面呈小于45度的角度，以使左右相机均完整显示标定板上的棋盘图像；同时旋转移动标定板，使其处于相机窗口的各种不同边缘处，获取图像畸变信息，最后在拍摄采集时保持棋盘静止；

14、c，检测图像角点：检测每一张标定图像中的角点，并用圆圈将所有检测到的角点进行标记；

15、d，求解相机内外参数：在成功检测出图像的角点后，结合matlab双目标定工具箱进行初始化，并初步计算出相机的内参数；接着将初步计算出的内参进行优化，在此基础上求解出相机的外参数。

16、优选的，所述s1013中，基于改进的yolov4算法从双目相机获取的图像中检测出工程机械动态目标物体，具体包括：

17、a，使用k-means算法初始化目标候选框；

18、b，使用焦点损失函数对改进的yolov4网络结构进行训练获得训练好的yolov4网络结构；

19、c，使用训练好的yolov4网络结构检测出目标物体。

20、优选的，所述改进的yolov4网络结构包括：对输入数据提取特征的主干网络、将主干网络提取到的特征进行融合采样并传输到检测网络的颈部结构以及负责检测的头部结构；

21、所述主干网络为cspdarknet53，主干网络中卷积层的激活函数为mish激活函数；

22、所述颈部结构包括空洞卷积层。

23、优选的，所述空洞卷积层包括空洞率超参数，定义了卷积核中填充0的个数；

24、空洞率为1为普通卷积，不同卷积核的空洞卷积的感受野计算方式如下：

25、k′＝k+(k-1)(d-1)

26、其中，k'表示等效卷积核大小；k表示空洞卷积的卷积核大小；d表示空洞率；

27、rfi+1＝rfi+(k-1)×si

28、其中，rfi+1表示当前层的感受野；rfi表示上一层的感受野；si表示之前所有层的步长乘积。

29、优选的，所述s102，具体包括：

30、s1021，对自动识别的目标进行点云组合滤波使框架适应室外非结构化地形环境；点云组合滤波包括体素滤波、直通滤波和统计滤波；

31、首先创建一个能包围整个输入点云数据的3d体素网格，随后根据设置的分辨率将该3d体素网格分割成不同的小型体素网格，而每个体素网格中的所有点云都会被其质心所取代；经过体素滤波后，点云数据得以轻量化和均匀化；

32、接着使用直通滤波器滤除指定维度方向上的特定点云；进行点云滤除时，直通滤波器指定x、y和z轴三个维度方向，通过遍历某个方向上所有的点云，保留值域范围内点云；

33、最后使用统计滤波过滤远离其他点云的离群点；通过统计滤波计算一定区域内点云的统计量，均值、方差和中位数等统计量来估计点云的概率分布，从而识别和去除噪声和异常值；统计量包括均值、方差和中位数；

34、s1022，在orb-slam2的基础上采用多线程和关键帧在cpu上实时构建稠密点云地图和八叉树地图；

35、构建稠密点云地图的过程包括：首先通过选取orb-slam2中的关键帧进行双目立体匹配进而获取点云，并根据双目恢复点云以及非结构地形的特点对点云滤波，最后通过关键帧的位姿将点云转换到世界坐标系下再进行拼接获取稠密点云地图；

36、构建八叉树地图的过程包括：基于稠密点云地图，将整个最大空间细分为八份小空间，再对这八份小空间进行同样的细分，直到最后的空间大小达到预设的建模精度，停止细分；

37、s1023，通过ransac方法获取地面平面方程和相机的安装参数后，对八叉树地图进行地面分割再投影获取二维占据栅格地图。

38、优选的，所述s103，具体包括：

39、s1031，双目相机获得外部图像后，将双目相机的图像传入目标检测算法对动态目标进行检测，同时将双目图像输入到orb-slam2算法进行特征点提取；若图像中出现目标物体，将目标的位置信息和类别信息输出到orb-slam2中，进行特征点剔除，完成相机位姿估计的优化；

40、当改进的yolov4算法检测到目标后，将动态目标的类别信息和目标框信息以字符串的形式发送给orb-slam2算法处理，随后判断提取的特征点是否处于目标框内；若处于框内，则认为是动态特征点并剔除；

41、其中目标检测算法为图像输入到yolov4改进算法中进行识别并输出预测信息；

42、orb-slam2算法为对图像进行orb特征点提取，结合预测信息对特征点剔除，得到位姿估计；

43、s1032，构建平截头体与三维kd-tree去除虚假点云；获取到上一时刻全局点云和当前帧点云的重叠区域后，提取出上一时刻全局点云中的虚假点云轨迹并去除；

44、kd-tree将数据按照维度划分，通过维度查询到最接近的点，其具体的查找流程如下：

45、a，从根节点开始比较，计算两点之间的距离值，同时判断当前维度值与根节点的大小；若当前维度值小于根节点则选择左节点继续比较，反之则选择右节点进行比较；

46、b，不断重复步骤a，直至找寻到叶子节点，并挑选出最近距离；

47、c，利用最近距离与其他超平面的距离来判断是否继续访问其他节点，如果最近距离大于其他超平面的距离，则继续访问其他节点；若其他节点存在距离更近的点，更新最近距离；

48、d，重复上述过程，直到比最近距离还近的节点都访问过，则结束搜索。

49、另一方面，一种工程机械局部作业场景动态三维重构系统，包括：

50、测距定位模块，用于获取双目图像，对双目相机标定，进行立体匹配获取视差图，结合改进的yolov4算法对双目图像中的工程机械动态目标进行自动识别和测距定位；

51、稠密地图构建模块，用于构建实时稠密建图的双目视觉slam框架；对自动识别的工程机械动态目标进行点云组合滤波使双目视觉slam框架适应室外非结构化地形环境，并在orb-slam2的基础上采用多线程和关键帧，在cpu上实时构建稠密点云地图和八叉树地图；根据地面方程求取相机安装参数，实现地面分割与二维栅格地图构建；

52、动态三维重构模块，用于将改进的yolov4算法和orb-slam2稠密建图相结合以进行定位，并构建平截头体与三维kd-tree去除虚假点云，实现工程机械三维作业场景重构。

53、与现有技术相比，本发明的有益效果如下：

54、(1)本发明实现了动态环境下工程机械局部作业场景的定位与三维重构；首先针对复杂工程机械局部作业场景下的多目标检测存在检测物密集、遮挡等导致检测难度大、漏检等问题，提出了一种改进的yolov4算法的多目标检测方法，并构建了基于双目立体视觉和目标检测的自动识别测距方法，实现工程机械局部作业场景中动态目标的测距定位功能；然后基于视觉slam技术实现了工程机械局部非结构化地形的实时稠密建图与定位，通过为orb-slam2增加了稠密建图线程，完成双目相机的跟踪与建图，并根据非结构化地形的特点设计了组合滤波算法，该滤波算法增加了点云的均匀性，并去除了点云的离群点、噪声点，保证稠密建图的准确性；最后通过unix domain socket的进程通讯方式将改进yolov4目标检测算法与orb-slam2相结合，实现工程机械局部作业场景中动态特征点的剔除，提高了系统的定位精度；

55、(2)本发明为动态环境下工程机械局部作业场景的环境感知应用提供了有效的解决方案。