一种基于机器视觉的机场特种车辆避障方法

1.本发明属于机场特种车辆在地勤服务任务中自主障碍物检测领域，特别涉及一种基于视觉融合的特种车辆避障防撞方法。


背景技术：

2.进入21世纪以来，我国从机场建设规划、航空网络布局、航空运输服务等多方面全面推进我国民航业的发展。机场特种车辆作为机场地面重要保障设备之一，主要任务是为航空器提供地面保障服务，是保证航班有条不紊起飞的重要因素。然而在机场环境中，所有车辆在执行任务时全程依靠人工操作、人工指挥从而不可避免的出现人为操作不当发生车辆与航空器之间产生摩擦导致飞机受损的情况，因此机场特种车辆自主避障技术是未来航空业安全发展的必要技术。
3.车辆的避障技术分为三个部分：目标检测、目标追踪和路径规划。目标检测也称运动障碍物检测，主要是通过摄像头或者雷达对运动场景实时监测，对捕获到的图像数据进行分析以得到障碍物信息。但是由于特种车辆在机场环境中作业时要求高精度、高安全性以及高运行成本，因此继续采用人工操作和人工指挥的方法是不可取的。目前常见的车载传感器有毫米波雷达，激光雷达，超声波雷达，红外传感器和摄像机，每种传感器都发挥着各自的优势。基于计算机视觉的摄像机和激光雷达融合是最常见的，摄像头获得的数据是二维图像，具有分辨率高、成本低的优势，缺点是无法获取准确的三维信息，而雷达传感器的优点就是能够获取准确的三维数据信息，但是缺点是数据不具备高分辨率且设备成本高，将两种传感器的优势融合使得任务完成结果既基于数据的高分辨率又基于准确的三维场景信息。f-pointnet和sifrnet模型是基于决策和特征层的融合，这种融合的主要思想是通过一种数据生成物体的候选框，然后将候选框与另外一种数据相结合生成最终的物体检测结果。contfuse和pointpainting模型是基于特征层的融合，具有比前者更高的准确度。而上述两种类型的融合技术都是基于数据层的融合，都存在精度和效率有限的问题。


技术实现要素：

4.本发明采用任务层融合的思路，对图像和点云数据分别进行特征提取，最后将特征融合以完成检测任务。为了切合大规模机场场景的实际情况，使用randla-net模型处理百万数量级的点云数据，同时为了提高处理效率，使用resnet(残差神经网络)作为2d特征提取方法，然后二者在cnn融合模型下实现3d bounding box(3d边缘框)预测，提高障碍物检测精度，从而实现特种车辆避障。
5.为实现上述目的，本发明的技术方案为：
6.一种基于机器视觉的机场特种车辆避障方法，包括以下步骤：
7.s1.对机场场景仿真，使用摄像机和激光雷达采集数据信息；
8.s2.对传感器收集到的点云数据进行预处理；
9.s3.针对点云数据采用randla-net模型直接处理训练数据集并对其进行特征提
取；
10.s4.使用残差神经网络resnet对rgb图像进行特征提取；
11.s5.融合两种类型数据，通过对这些特征组合抽象，输出目标对象的3d边界框，检测障碍物信息，实现避障。
12.进一步的，所述步骤s1具体为：
13.s11.使用unity3d软件建立120m*120m的机场实时场景图，将三维场景以.obj格式导出；
14.s12.将场景图导入blensor软件，选用velodyne 64线的激光雷达，调整扫描距离为120m，将获取的点云数据保存为.pcd文件；
15.s13.将单目摄像机和激光雷达调整至相同角度，采集图像，作为实验需要的输入数据；
16.s14.将.pcd文件导入cloudcompare软件，给场景中物体添加label标签，保存为.txt文本文件，作为实验需要的输入数据。
17.进一步的，所述步骤s2具体为：
18.s21.对场景进行网格采样，将整个场景均匀划分为若干个立方体，对每个立方体内的点进行采样，这里选取的网格边长为0.04体素，在每一个网格中采用随机选取一个点的策略，所有采样后的数据用来训练模型；假设原始场景具有n个点，则随机采样后选取了n个点；
19.s22.对n个采样点的x，y，z三维坐标进行平移，使得x，y，z均大于等于0，对rgb颜色参数进行归一化操作(rgb这三个参数的取值范围是0-255，一个实施例r/255，g/255，b/255)；
20.s23.对每一个场景中下采样后的点坐标建立kdtree，其作用是代替传统的knn算法，以便查找邻近点，达到使用下采样点预测原始点的目的。
21.进一步的，所述步骤s3具体为：
22.s31.基于欧式距离获取s23中每个采样点最近的k个邻近点,其中采样点的三维坐标表示为pi，k个邻近点的三维坐标集合表示为{p
i1
…
p
ik
…
p
ik
}；
23.s32.将采样点的三维坐标pi，邻近点k的三维坐标p
ik
，相对坐标(p
i-p
ik
)以及欧式距离‖p
i-p
ik
‖连接形成相对点位置编码，编码后的相对点位置坐标用表示，计算公式为：
24.s33.将邻近点k的三维坐标p
ik
对应的特征与编码后的相对点位置坐标连接到一起得到新的点特征，为了避免有用信息丢失，将输出的邻近点特征向量聚合在一起表示为采样点i的局部几何特征集合计算公式为：
25.s34.由于k个邻近点距离中心点的相对位置存在差异，采用注意力机制来自动学习和聚合邻近点特征集中的有用信息；g(
·
)是一个由多层感知机组成的共享函数，为每个点学习一个单独的分值，称为注意力得分计算公式为：式中：w为共享多层感知机的可学习权值；最终得到的每个采样点i的特征表示为所有邻域点特征和注意力
得分加权求和，计算公式为：
26.s35.为了保留点云的整体细节，充分展现全局特征，将步骤s31-s34重复两次，将感受野由k个邻近点扩展到k2个领近点，相比于直接增大k近邻搜索中的k值而言，这对增大每个点的感受野以及促进邻域点之间的特征传播来讲是一种更加廉价高效的方式。
27.进一步的，所述步骤s4具体为：
28.s41.网络的输入为224*224*3，经过特征提取的5次卷积计算，特征图大小为224/25*224/25，因此输出为7*7*2048，然后池化层将其转化成一个特征向量。
29.进一步的，所述步骤s5具体为：
30.s51.将步骤s34和s41得到的特征向量作为输入，以3d点作为密集的空间锚点，经过若干个全连接层后预测每一个点到附近盒角落位置的空间偏移；
31.s52.使用损失函数回归点云中每一个点的空间偏移量，损失函数l包括地面实框与预测框的偏移损失函数、得分损失函数l
score
、空间变换正则化损失函数l
stn
，损失函数l的计算公式为：式中：n表示采样点的个数，是地面实况框角落位置和第i个输入点之间的偏移量，包含预测的偏移量；
32.s53.得分函数损失l
score
用来让网络学习点到最近目标框的空间偏移量，有两个评分函数，分别为监督评分损失和非监督评分损失；监督评分损失训练网络预测一个点是否在目标框内，将第i个输入点的偏移回归损失表示为二进制分类损失表示为则监督评分损失函数l
score1
的计算公式为：其中：n表示采样点的个数，mi∈{0，1}，用于表示第i个输入点是否在目标边界框中；无监督评分损失是为了让网络直接了解哪些点可能给出最佳假设，训练网络的目的是为了产生良好预测的点分配高可信度，公式中包括两个相互竞争的损失项，其中：角落预测误差的得分与置信度ci成比例，则无监督评分损失函数l
score2
的计算公式为：其中：n表示采样点的个数,ω是权重因子，取值为0.1；
33.s54.选取得分高的点为预测结果，得到物体的3d边界框。
34.与现有技术相比，本发明具有以下有益效果：
35.本发明将融合后的多维度特征信息首次应用于民航安全领域，通过识别障碍物，实现机场特种车辆的安全避障。先对机场场景仿真，使用单目摄像机和velodyne 64线激光雷达采集数据信息；然后对点云数据进行预处理，使用randla-net模型对训练数据集进行特征提取，并采用卷积神经网络resnet对rgb图像进行特征提取；最后使用融合网络将两种类型的特征作为输入，通过组合并抽象这些特征，输出目标对象的3d边界框，检测障碍物信息，实现避障。本发明的好处在于对图片数据和点云数据特征提取之后再融合，这种做法极大的保留了2d和3d数据信息，故可以提高目标检测的准确性；同时实验表明，randla-net模型使用的随机采样方法，既保留了点云数据的局部特征又减少了计算成本。
附图说明
36.图1为本发明的流程图。
37.图2为randla-net对点云数据进行特征提取的流程图。
具体实施方式
38.下面结合实施例对本发明作更进一步的说明。
39.如图1和2所示，一种基于机器视觉的机场特种车辆避障方法，包括以下步骤：
40.s1.对机场场景仿真，使用摄像机和激光雷达采集数据信息；
41.s11.使用unity3d软件建立120m*120m的机场实时场景图，将三维场景以.obj格式导出；
42.s12.将场景图像导入blensor软件，选用velodyne 64线的激光雷达，调整扫描距离为120m，将获取的点云数据保存为.pcd文件；
43.s13.将单目摄像机和激光雷达调整至相同角度，采集图像，作为实验需要的输入数据；
44.s14.将.pcd文件导入cloudcompare软件，给场景中物体添加label(标签)，保存为.txt文本文件，作为实验需要的输入数据。
45.s2.对传感器收集到的点云数据进行预处理；
46.s21.对场景进行网格采样，将整个场景均匀划分为若干个立方体，对每个立方体内的点进行采样，这里选取的网格边长为0.04体素，在每一个网格中采用随机选取一个点的策略，所有采样后的数据用来训练模型；假设原始场景具有n个点，则随机采样后选取了n个点；
47.s22.对n个采样点的x，y，z三维坐标进行平移，使得x，y，z均大于等于0，对rgb颜色参数进行归一化操作(rgb这三个参数的取值范围是0-255，作为一个实施例其具体取值可以为r/255，g/255，b/255)；
48.s23.对每一个场景中下采样后的点坐标建立kdtree，其作用是代替传统的knn算法，以便查找邻近点，达到使用下采样点预测原始点的目的。
49.s3.针对点云数据采用randla-net模型直接处理训练数据集并对其进行特征提取；
50.s31.基于欧式距离获取s23中每个采样点最近的k个邻近点,其中采样点的三维坐标表示为pi，k个邻近点的三维坐标集合表示为{p
i1
…
p
ik
…
p
ik
}；
51.s32.将采样点的三维坐标pi，邻近点k的三维坐标p
ik
，相对坐标(p
i-p
ik
)以及欧式距离‖p
i-p
ik
‖连接形成相对点位置编码，编码后的相对点位置坐标用表示，计算公式为：
52.s33.将邻近点k的三维坐标p
ik
对应的特征与编码后的相对点位置坐标连接到一起得到新的点特征，为了避免有用信息丢失，将输出的邻近点特征向量聚合在一起表示为采样点i的局部几何特征集合计算公式为：
53.s34.由于k个邻近点距离中心点的相对位置存在差异，采用注意力机制来自动学
习和聚合邻近点特征集中的有用信息；g(
·
)是一个由多层感知机组成的共享函数，为每个点学习一个单独的分值，称为注意力得分计算公式为：式中：w为共享多层感知机的可学习权值；最终得到的每个采样点i的特征表示为所有邻域点特征和注意力得分加权求和，计算公式为：
54.s35.为了保留点云的整体细节，充分展现全局特征，将步骤s31-s34重复两次，将感受野由k个邻近点扩展到k2个领近点，相比于直接增大k近邻搜索中的k值而言，这对增大每个点的感受野以及促进邻域点之间的特征传播来讲是一种更加廉价高效的方式。
55.s4.使用残差神经网络resnet对rgb图像进行特征提取；
56.s41.网络的输入为224*224*3，经过特征提取的5次卷积计算，特征图大小为224/25*224/25，因此输出为7*7*2048，然后池化层将其转化成一个特征向量。
57.s5.融合两种类型数据，通过组合并抽象这些特征，输出目标对象的3d边界框，测障碍物信息，实现避障。
58.s51.将步骤s34和s41得到的特征向量作为输入，以3d点作为密集的空间锚点，经过若干个全连接层后预测每一个点到附近盒角落位置的空间偏移；
59.s52.使用损失函数回归点云中每一个点的空间偏移量，损失函数l包括地面实框与预测框的偏移损失函数、得分损失函数l
score
、空间变换正则化损失函数l
stn
，损失函数l的计算公式为：式中：n表示采样点的个数，是地面实况框角落位置和第i个输入点之间的偏移量，包含预测的偏移量；
60.s53.得分函数损失l
score
用来让网络学习点到最近目标框的空间偏移量，有两个评分函数，分别为监督评分损失和非监督评分损失；监督评分损失训练网络预测一个点是否在目标框内，将第i个输入点的偏移回归损失表示为二进制分类损失表示为则监督评分损失函数l
score1
的计算公式为：其中：n表示采样点的个数，mi∈{0，1}，用于表示第i个输入点是否在目标边界框中；无监督评分损失是为了让网络直接了解哪些点可能给出最佳假设，训练网络的目的是为了产生良好预测的点分配高可信度，公式中包括两个相互竞争的损失项，其中：角落预测误差的得分与置信度ci成比例，则无监督评分损失函数l
score2
的计算公式为：其中：n表示采样点的个数,ω是权重因子，取值为0.1；
61.s54.选取得分高的点为预测结果，得到物体的3d边界框。
62.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，在不脱离本发明的精神和原则的前提下，本领域普通技术人员对本发明所做的任何修改、等同替换、改进等，均应落入本发明权利要求书确定的保护范围之内。