一种多特征融合的矿区粉尘滤除方法与流程

1.本发明涉及矿区环境中进行粉尘滤除的自动化系统，更具体地涉及一种利用多特征融合的矿区粉尘滤除方法。


背景技术：

2.21世纪以来，以车载激光雷达无人驾驶技术为支撑，实现矿区工作高度自动化，是发展的重要课题。然而，高浓度的粉尘，恶劣的环境，对无人矿车的激光雷达传感器提出了更高的挑战。利用新兴技术，解决矿区粉尘问题，实现矿区自动化工作，显得十分重要。
3.现有粉尘分析方法包括使用传感器检测并返回信息，可与数据样本进行比较，以识别粉尘。然而，矿区复杂多样，恶劣的工作环境，使得多传感的稳定工作受限，而且当部分传感器出现问题时，整个系统的可靠性不能得到保障；矿区粉尘密度高，使用现有分析方法,仍然不能实现所期望的滤除效果；当车辆到达新的环境时，依赖于数据样本的现有方法对于粉尘的处理能力就会减弱。
4.基于此，本领域需要一种能够适应新的环境，且在高浓度的粉尘，恶劣的环境能够稳定准确地进行粉尘自动滤除的新的融合方法。


技术实现要素：

5.为了解决上述现有技术中的问题，为克服现有技术的不足，本发明的实施方式提供了一种多特征融合的矿区粉尘滤除方法，以提高矿车，特别是无人矿车，在特殊场景的工作效率。
6.根据本发明的实施方式提供的一种多特征融合的矿区粉尘滤除方法，包括以下步骤：
7.s1:在回波检测模块通过传感器获取点云数据，同一束激光光线产生多次回波信号，通过分析每一束激光光线对应的不同回波的点云数据判断障碍物的穿透特性，分析多次回波获得输出点云数据；
8.s2:将所述输出点云数据输入点云语义检测模块中的点云语义检测网络，学习特征，构建并输出点云数据；
9.s3:将点云语义检测模块输出的点云数据输入强度检测模块，进行强度分析获得分析结果；
10.s4:将强度分析后的分析结果输入感知模块，感知模块处理后输出感知结果，将该感知结果作为最终目标点云输入后处理模块，并由后处理模块进行曲率分析，输出决策级结果。
11.在可选的实施方式中，所述步骤s1可进一步包括以下步骤：
12.s1-1:使用激光雷达传感器获取回波数据，对激光雷达传感器获取的两次回波数据进行分析，使用飞行时间测距法tof(time of flight)进行测距，其中距离d为：
13.d＝(v*t)/2,
14.其中v表示光速，t表示飞行时间，d表示障碍物的距离,
15.对于同一时刻的双回波，测得距离分别为d1和d2，其距离差值s为：
16.s＝|d
2-d1|
17.将距离差值s与阈值进行比较，如果s》阈值，保留较远处的激光数据，否则否则如果s《阈值，则保留最强回波信号的数据，所保留的回波信号数据为输出点云数据。
18.在可选的实施方式中，所述步骤s2可进一步包括以下步骤：
19.s2-1:通过激光雷达传感器采集矿区的工作车辆在不同场景下粉尘的点云数据，经过回波检测模块输出得到的输出点云数据，进行数据库制作，作为训练数据；
20.s2-2:将传感器采集的点云数据进行球面映射，将回波检测模块输出的点云数据映射至伪图像中，包括
21.设空间中某一点的坐标为p＝(x,y,z)，传感器的垂直感受野用f
down
和f
up
表示，f
down
和f
up
分别为垂直感受野的竖直方向的最大值和最小值，点p对应的像素坐标系的坐标(u，v)表示为:
[0022][0023]
其中，r为p到原点的距离，f是传感器的垂直感受范围且f＝|f
down
|+|f
up
|，f
down
和f
up
分别为垂直感受野的竖直方向的最大值和最小值，w和h分别表示伪图像的宽度和高度，最终获取三维坐标与像素坐标系的映射关系，即空间任意点p与像素坐标系下坐标(u,v)的对应关系，通过此关系，将x,y,z,intensity,r，存放在像素坐标系对应位置，形成w*h*5的伪图像，其中intensity表示反射强度；
[0024]
s2-3：通过上下文特征提取层对所述w*h*5的伪图像进行处理获取更全面的特征信息；
[0025]
s2-4:编码器使用空洞卷积实现对获取的更全面的特征信息的降采样并输入反编码器，反编码器通过反卷积操作实现对所述特征信息的上采样得到反编码器结果，输出层对反编码器结果进行1*1的卷积，将通道数修改为和实际类别相符，并输出具有点云类别信息的点云。
[0026]
在可选的实施方式中，所述步骤s3可进一步包括以下步骤：
[0027]
s3-1：将点云语义检测模块输出的点云数据输入强度检测模块，强度检测模块对所述点云数据进行有效区域划分，要求
[0028]-15≤x≤15，同时
[0029]-15≤y≤15，
[0030]
其中，x、y是表示点云的坐标，以此方式遍历有效范围内的点云，如果该点云的反射强度在粉尘的反射强度阈值区间内则抛弃该点云，否则保留该点云，从而获得强度分析的分析结果。
[0031]
在可选的实施方式中，所述步骤s4可进一步包括以下步骤:
[0032]
s4-1：获得所述分析结果，后处理模块进行进一步处理，对所述分析结果中的任一点p，获取n-1(n》3)个最近点，对该n个离散点进行去中心化，并求解其协方差矩阵，
[0033]
设n个离散点的坐标数据为
[0034][0035]
求各个方向上的坐标的均值
[0036][0037]
去中心化后的结果为
[0038][0039]
构建协方差矩阵
[0040][0041]
其中，x、y、z为三维空间点在三个方向上的坐标，n为点的数量，d为构建协方差矩阵c的中间变量，c为协方差矩阵，
[0042]
s4-2：对所述协方差矩阵c进行奇异值分解，获得特征值λ0、λ1、λ2，λ0为最小特征值，λ1为第二大特征值，λ2为最大特征值，使用曲面变分得到各个点的近似曲率δ
[0043]
δ＝λ0/(λ0+λ1+λ2)，
[0044]
设最终的感知结果点云为s＝si(i＝1,2
…
,n),其中，si为感知结果目标点云，对si求解点云曲率的均值，对均值较大的结果进行滤除，从而对障碍物进行判断，滤除扬尘，实现决策级滤除粉尘。本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法与现有技术相比至少具有以下有益效果。
[0045]
1.通过分析激光雷达的光学特性，以及粉尘的物理特性，本发明针对矿区的工作环境，提出了利用双回波粉尘滤除的方法。使用多回波粉尘滤除方法，如双回波粉尘滤除方法，可以将具有穿透性质的粉尘进行直接滤除，可以应对矿区生活区等粉尘较少的场景，这也提高了语义检测模块的运算速度。
[0046]
2.粉尘具有不规则的特征，更加需要整体上下文的语义理解，本发明中在点云语义检测模块的上下文特征提取时应用残差空洞卷积，对不同感受野的特征进行融合，使得模型能够学习整体和局部的信息。同时空洞卷积可以实现增加特征的同时不减少特征图的分辨率，使得点云语义分割更加精准，在点云的表示方法上，使用球面映射，将点云映射为2d伪图像，提高了运算速度。
[0047]
3.曲率是对感知结果的决策级滤波，使得最终障碍物输出再一次得到保证。曲率方法是对聚类后的点云进行特征分析，目的在于体现粉尘的杂乱特性。使用pca的方法，对点云数据进行奇异值分解，利用变分的思想，对点云的曲率进行估计，最终达到描述点云杂乱程度的目的，这是离散程度表示的一种新形势，对于高浓度粉尘具有更好的识别作用。
[0048]
4.本发明针对矿区环境恶劣，激光雷达的高性能无法体现的问题，提出了一种多特征融合的方法。点云语义分割与多种特征相结合的方法，增加了算法的鲁棒性，以应对矿
区多变的物理环境，当到达一个新环境时，在回波，曲率，反射强度等方面，仍然能够很好的应对现场复杂的环境。
[0049]
通过参考附图和以下说明，本发明的其它装置、设备、系统、方法、特征和优点将是明显的。包括在本说明书中的所有的另外的这种系统、方法、特征和优点都在本发明的范围内，且由所附权利要求保护。
附图说明
[0050]
通过参考附图可更好地理解本发明。图中的构件不应视作按比例绘制，重点应放在示出本发明的原理上。
[0051]
图1示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中粉尘对双回波影响示意图。
[0052]
图2示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中pca超平面拟合示意图。
[0053]
图3示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中轿车，矿卡，粉尘的点云数据的曲率对比图。
[0054]
图4示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中的前处理模块的处理流程示意图。
[0055]
图5示出了根据本发明的实施方式所提供的实施多特征融合的矿区粉尘滤除方法的系统中点云语义检测模块的结构和流程示意图。
[0056]
图6示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中后处理模块进行后处理曲率分析的流程示意图。
具体实施方式
[0057]
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要注意的是，除非另有说明，本发明使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
[0058]
以下参考附图对根据本发明的实施方式进行详细说明。
[0059]
图1示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中粉尘对双回波影响示意图。图2示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中pca超平面拟合示意图。图3示出了轿车，矿卡，粉尘的点云数据的曲率对比图。如图所示，考虑到激光雷达有着高频率，高精度的特性，在根据本发明的一个实施方式所提供的多特征融合的矿区粉尘滤除方法中，使用激光雷达传感器来进行粉尘检测。
[0060]
关于双回波技术，激光雷达的测距技术包括三角测距，飞行时间测距(time of flight)等方法。飞行时间测距的工作原理为：激光发射器发射激光，激光遇障碍物反射，再由激光接收器接受，从而获取障碍物位置。由于光线的反射与介质材质，距离等因素有关，所以激光接收器可以接收到多次激光回波，如图1所示。粉尘具有穿透的特性，通过分析回波的特性，获取此物体是粉尘还是固态障碍物。
[0061]
在本发明的实施方式中，使用深度学习语义分割技术，实现对点云的语义级理解。本发明将点云通过球面映射形成2d伪图像作为点云的表征，相对于体素化方法，将点云映射到二维图像在网络中运算速度更快。粉尘具有各种不同的形状，感受野的选取对全面、整体的上下文信息十分重要。扩大感受野的一种简单的方法是扩大卷积核的宽度，但这也带来计算量的开销，本发明的实施方式中的网络使用残差空洞卷积实现对上下文的特征提取，然后通过编码器与解码器，以及输出层，最终实现点云语义级的分割。
[0062]
曲率描述曲面一点处的弯曲程度，由于粉尘的悬浮特性，受到粉尘穿透性质影响，粉尘的激光点云形态会呈现出杂乱，凹凸不平的特性。利用pca的思想，对点云样本进行去中心化，然后对去中心化后数据的协方差矩阵进行奇异值分解，求解出特征值。最小特征值所对应的特征向量是点云数据的拟合平面的法向量，如图2所示。点云数据在某一点的曲率可近似为在该点的曲面变分，以此对感知结果的障碍物点云进行近似曲率分析，分离出灰尘点云。不同物体曲率对比的结果如图3所示，其中x轴代表的是样本序号，y轴代表的是感知结果曲率的平均值。从中可以看出，粉尘物体的曲率偏大，这与现实的杂乱性质相符合。
[0063]
点云数据除了xyz信息，还包括反射强度信息，反射强度一般与激光脉冲的波长，介质表面的明暗程度以及质地，传输距离等有关，反射介质越亮，反射率越高。虽然反射强度与多种因素有关，但当在同一区域时，可以近似认为反射强度只与介质表面相关，通过建立材料与其反射强度的对应关系，达到粉尘滤除的关系。
[0064]
图4示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法中的前处理模块的处理流程示意图。图5示出了根据本发明的实施方式所提供的实施多特征融合的矿区粉尘滤除方法的系统中点云语义检测模块的结构和流程示意图。图6示出了根据本发明的实施方式所提供的多特征融合的矿区粉尘滤除方法后中后处理模块进行曲率分析的处理流程示意图。参考图4-6，其中图4示出了下方步骤s1,s2,s3中的回波检测模块，点云语义分割模块，强度检测模块流程等,图5示出了下方步骤s2中的点云语义分割模块的模型结构图，图6为步骤s4中的后处理模块的结构。根据本发明的实施方式提供了一种多特征融合的矿区粉尘滤除方法，包括以下步骤。
[0065]
s1:在回波检测模块通过传感器获取点云数据，同一束激光光线产生多次回波信号，通过分析每一束激光光线对应的不同回波点云数据判断障碍物的穿透特性，分析多次回波获得输出点云数据。
[0066]
s2:将所述输出点云数据输入点云语义检测模块中的点云语义检测网络，学习特征，构建并输出点云数据。学习特征是语义分割的一部分，语义分割后每一个点云点带有了语义信息。
[0067]
s3:将点云语义检测模块输出的点云数据输入强度检测模块，进行强度分析获得分析结果。
[0068]
s4:将强度分析后的分析结果输入感知模块，感知模块处理后输出感知结果，将该感知结果作为最终目标点云输入后处理模块，并由后处理模块进行曲率分析，输出决策级结果。
[0069]
在可选的实施方式中，所述步骤s1可以进一步包括以下步骤。
[0070]
s1-1:对传感器采集的两次回波数据进行分析。在该实施方式中，传感器使用激光雷达传感器。应理解，在其它实施方式中，根据需要可使用其它合适的传感器。
[0071]
表格1-1
[0072]
回波第一次回波第二次回波距离d1d2[0073]
在该实施方式中，测距方法可使用飞行时间测距法tof(time of flight)进行测量，距离d＝(v*t)/2,其中v表示光速，t表示飞行时间，d表示障碍物的距离。对于同一时刻的双回波，测得的距离分别为d1和d2，如以上表格1-1所示，其距离差值为：
[0074]
s＝|d
2-d1|。
[0075]
将距离差值s与预先设定的阈值进行比较，如果s》阈值，表明此次出现了穿透的现象，则保留较远处的激光数据(即，较远处的回波信号数据)，否则如果s《阈值，表明两次回波的距离相近，则保留最强回波信号的数据，所保留的回波信号数据为输出点云数据。所述阈值的大小设定与实际车辆的高度有关，且可反映障碍物的穿透特性。
[0076]
使用双回波或者多次回波粉尘滤除方法，可以将具有穿透性质的粉尘进行直接滤除，可以应对矿区生活区等粉尘较少的场景，这也有利于提高语义检测模块的运算速度和处理效率。
[0077]
参考图5，在可选的实施方式中，所述步骤s2可以进一步包括以下步骤。
[0078]
s2-1:通过传感器采集矿区的工作车辆在不同场景下粉尘的点云数据，经过回波检测模块输出得到的输出点云数据，进行数据库制作，作为训练数据。在该实施方式中，传感器使用激光雷达传感器。应理解，在其它实施方式中，根据需要可使用其它合适的传感器。
[0079]
s2-2:将传感器采集的点云数据输入点云语义检测模块，在点云语义检测模块对点云数据进行球面映射，将回波检测模块输出的点云数据映射至伪图像中，包括
[0080]
设空间中某一点的坐标为p＝(x,y,z)，传感器的垂直感受野用f
down
和f
up
表示，f
down
和f
up
分别为垂直感受野的竖直方向的最大值和最小值，点p对应的像素坐标系的坐标(u，v)表示为:
[0081][0082]
其中，r为p到原点的距离，f是传感器的垂直感受范围且f＝|f
down
|+|f
up
|，w和h分别表示伪图像的宽度和高度，最终获取3维坐标与像素坐标系的映射关系，即空间任意点p与像素坐标系下坐标(u,v)的对应关系，通过此关系，将x,y,z,intensity,r，存放在像素坐标系对应位置，形成w*h*5的伪图像。其中intensity表示反射强度，是点云点的一个属性，不同材质的反射强度不同。
[0083]
s2-3：在s2-2中形成的所述w*h*5的伪图像，通过点云语义检测网络的上下文特征提取层获取更全面的特征信息。具体地，可在上下文特征提取层使用残差空洞卷积进行上下文语义特征提取。可选地，残差空洞卷积可使用1*1和5*5的卷积核进行空洞卷积运算，然后将卷积的结果进行残差求和，最终使得所述伪图像学习到了全局和局部的信息。
[0084]
s2-4:编码器使用空洞卷积实现对获取的更全面的特征信息的降采样并输入反编码器，反编码器通过反卷积操作实现对所述特征信息的上采样得到反编码器结果，输出层对反编码器结果进行1*1的卷积，将通道数修改为和实际类别相符，并输出具有点云类别信
息(可以通过带标签表示)的点云。该输出的具有点云类别信息的点云为输出的点云数据。在该步骤中，输出的点云类别包含粉尘点云和非粉尘点云,然后可经过softmax(激活函数)层获取点云的类别概率，判断每一个点是粉尘的概率并进行滤除。其中，将特征信息的数据输入点云语义检测网络后，各个点云语义检测网络输出的结果为高维度的特征。
[0085]
在该步骤中，将点云赋予了类别信息，将识别为障碍物(即，非扬尘)的点云点进行强度分析，进一步滤除扬尘点。进一步地，粉尘具有不规则的特征，更加需要整体上下文的语义理解，本发明的该实施方式中在点云语义检测模块的上下文特征提取时应用残差空洞卷积，对不同感受野的特征进行融合，使得模型能够学习整体和局部的信息。同时空洞卷积可以实现增加特征的同时不减少特征图的分辨率，使得点云语义分割更加精准，在点云的表示方法上，使用球面映射，将点云映射为2d伪图像，有效提高了运算速度。
[0086]
在可选的实施方式中，所述步骤s3可进一步包括以下步骤。
[0087]
s3-1：将点云语义检测模块输出的点云数据输入强度检测模块，强度检测模块对激光点云(即，所述点云数据)进行有效区域划分，要求-15≤x≤15同时-15≤y≤15，其中，x、y是表示点云的坐标。以此方式遍历所述点云数据中有效范围内的点云，如果该点的反射强度在粉尘的反射强度阈值区间内则抛弃该点，否则保留该点，从而获得强度分析的分析结果。此步骤的目的是由于同一反射介质反射强度与距离变化有关，粉尘的反射强度特性稳定在有效区域内部。在该实施方式中，上述-15≤x≤15，-15≤y≤15是优选的范围值，在其它实施方式中，根据需要可以选择其它合适的范围值。
[0088]
在可选的实施方式中，所述步骤s4可以进一步包括以下步骤。
[0089]
由于点云由孤立点构成，使用pca(principal component analysis主成分分析)估计点云中每一个点的曲率。对每一个点查找n-1(n》3)个邻接点，对其使用pca+曲面变分的方法估计曲率。此处n》3的目的为至少三个点才能确定一个平面。
[0090]
s4-1：获得所述分析结果，后处理模块进行进一步处理，对所述分析结果中的任一点p，获取n-1(n》3)个最近点，对该n个离散点(即，点p以及其n-1个最近的点)进行去中心化，并求解其协方差矩阵。
[0091]
设n个离散点的坐标数据为
[0092][0093]
求各个方向上的坐标的均值
[0094][0095]
去中心化后的结果为
[0096][0097]
构建协方差矩阵
[0098][0099]
其中，x、y、z为三维空间点在三个方向上的坐标，n为点的数量，d为构建协方差矩阵c的中间变量，c为协方差矩阵。
[0100]
s4-2：对所述协方差矩阵c进行奇异值分解，获得特征值λ0、λ1、λ2。λ0为最小特征值，λ1为第二大特征值，λ2为最大特征值，使用曲面变分：δ＝λ0/(λ0+λ1+λ2)，得到各个点的近似曲率δ。设最终的感知结果点云为s＝si(i＝1,2
…
,n),其中，si为感知结果目标点云，对si求解点云曲率的均值，对均值较大的结果进行滤除，从而对障碍物进行判断，滤除扬尘，从而实现决策级滤除粉尘。该均值较大则说明离散程度高，为扬尘点云。
[0101]
该步骤s4中，通过聚类得到目标障碍物(一个障碍物对应一个点云簇)，分析障碍物是否为扬尘，并将其滤除。
[0102]
应理解，前述仅说明了根据本发明的一些实施方式，可进行改变、修改、增加和/或变化而不偏离所公开的实施方式的范围和实质，该实施方式是示意性的而不是限制性的。此外，所说明的实施方式涉及当前考虑为最实用和最优选的实施方式，其应理解为实施方式不应限于所公开的实施方式，相反地，旨在覆盖包括在该实施方式的实质和范围内的不同的修改和等同设置。此外，上述说明的多种实施方式可与其它实施方式共同应用，如，一个实施方式的方面可与另一个实施方式的方面结合而实现再另一个实施方式。另外，任何给定组件的各独立特征或构件可构成另外的实施方式。
[0103]
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。