适用于双桥转向无驾驶室矿用作业车辆的主动感知系统

1.本发明涉及自动驾驶技术领域，具体地涉及一种适用于双桥转向无驾驶室矿用作业车辆的主动感知系统。


背景技术：

2.近年来，随着人工智能和新一代信息技术快速发展推动了自动驾驶关键技术进一步完善。而露天矿区由于其道路封闭性、环境相对简单等特点，成为自动驾驶快速落地的场景之一。但现有的矿区自动驾驶流程存在以下问题：首先，由于驾驶室占用矿车空间，使矿车单次作业量难以提升；其次，矿用车辆在装卸载区需要频繁掉头，导致矿区作业效率下降；同时，由于矿车体积大，车辆上下坡、转弯时盲区多，导致车辆自动驾驶感知系统感知性能下降。
3.自动驾驶关键技术具体可分为环境感知、规划决策和跟踪控制三大技术，其中，环境感知系统作为自动驾驶系统的基础，是自动驾驶系统必不可缺的环节之一。双桥转向车辆具备前后两个转向桥，使车辆无需倒车、转向便捷，适用于矿区无人驾驶系统能提高矿区作业效率。
4.双桥转向车辆不区分车辆前后向，适用于双桥转向的自动驾驶车辆感知系统应至少包括两种行驶模式：前向前行模式与后向前行模式，目前并未有对双桥转向车辆感知系统的相关研究。
5.同时，当前自动驾驶感知系统大多为被动感知，固定的传感器探测范围有限，本系统所提出的基于决策规划反馈车辆转角与可行驶区域结合、基于坡度传感器自适应改变传感器感知角度的方法，有效减小了感知盲区，提高了感知系统感知能力。
6.另外，目标融合模块通过贝叶斯估计算法对风险进行评估，反馈控制计算的信息熵以降低自动驾驶车辆的行驶风险，提高感知系统的可靠性与安全性。
7.中国专利公开号cn113665500a，发明名称为《全天候作业的无人驾驶运输车环境感知系统及方法》，主要提供了一种全天候作业的无人驾驶运输车环境感知系统及方法，通过多传感器融合的方法实现全天候作业的无人驾驶运输车辆的环境感知系统。该系统主要针对结构化道路进行多传感器二维栅格地图构建，并通过决策级融合生成二维融合栅格地图。该发明仅通过融合算法对结构化道路环境进行感知建图，并未对感知硬件系统进行优化，可行驶区域提取后只能对车头前方道路进行感知，对于矿区运输多转弯、多上下坡环境感知缺乏实用性及实时性。本发明提出的自适应感知系统通过自适应改变传感器检测方向，对矿区转弯、满载上下坡时的盲区进行补盲，以确保矿区自动驾驶安全可靠。
8.中国专利公开号cn113551662a，发明名称为《应用于自动驾驶车辆的感知方法、动态感知装置、以及自动驾驶车辆》，主要提供了一种动态感知系统，通过综合数据与感兴趣区域数据融合以提高感知性能。该动态感知系统通过综合数据确定感兴趣区域，从而确定可动传感器的转动方向，该方法主要针对城市结构化道路动态感知优化，且基于综合数据的传感器转动具有局限性，不能适应于矿区双桥转向自动驾驶作业车辆作业于矿区道路。
本发明提出的自适应感知系统通过可行驶区域与规划回馈信息，精准控制传感器转动方向，对矿区转弯、满载上下坡时的盲区进行补盲，以确保矿区自动驾驶安全可靠。


技术实现要素：

9.本发明的目的在于克服现有技术的缺点与不足，提供一种适用于双桥转向车辆的自动驾驶感知系统，提高矿区作业效率，解决现有自动驾驶感知系统转弯、上下坡时感知盲区大、风险高的问题。本发明采用以下技术方案：
10.一种适用于双桥转向无驾驶室矿用作业车辆的主动感知系统，包括：环境感知建图模块、单帧目标检测模块、多帧数据关联模块、云控制平台、决策规划模块和车辆控制模块；
11.环境感知建图模块建立三维感知地图，并通过标注非结构化道路边界提取感兴趣区域；
12.单帧目标检测模块对单帧数据进行各传感器检测模块的检测工作，其中包含但不限于欧式聚类的毫米波雷达检测、深度学习算法的激光雷达检测和深度学习算法的相机检测；
13.多帧数据关联模块通过计算各传感器的信息熵，并通过采集各检测目标的标记、速度、距离等指标预测该目标的风险指数，风险指数反馈作用于信息熵，最终决定障碍物状态；
14.云控制平台用以接收所感知的环境数据，并传输给决策规划模块；
15.决策规划模块通过相应规划算法确定车辆速度、坡度、转角，传递给车辆控制模块进行车辆控制，同时将以上信息回馈用以自适应控制各个传感器的转动方向，以增大有效感知探测范围；
16.车辆控制模块根据行驶模式与传感器的综合信息，主动调整为前向前行模式与后向前行模式。
17.进一步，双桥转向自动驾驶矿用车辆具有前向前行模式与后向前行模式：前向前行模式是将车身前部传感器作为主传感器，当车辆满载状态下从装载区行驶到卸载区时，启动前向前行模式；后向前行模式将车身尾部传感器作为主传感器，当车辆空载状态下从卸载区行驶到装载区时，启动后向前行模式。
18.进一步，包括相同配置的前向传感器部件与后向传感器部件，传感器部件至少包括坡度传感器、gnss/imu、激光雷达、相机、毫米波雷达和各传感器的转动角度接收模块和转动角度控制模块。
19.进一步，所述环境感知建图模块包括设备安装及标定模块，点云地图生成模块和可行驶区域提取模块：
20.设备安装及标定模块：将两套激光雷达、毫米波雷达、相机分别对应安装在双桥转向自动驾驶矿用车辆的车身前部与尾部，gnss/imu和坡度传感器安装于车身上，对激光雷达和gnss/imu进行标定，获取车身坐标系与世界坐标系的位置关系；
21.点云地图生成模块：以第一个路径点的gps为原点，建立局部世界地图；输入gps与激光雷达数据通过激光雷达与车辆gnss/imu标定信息确定转换矩阵，进而将各个时刻的点云gps信息转换到世界坐标系中，并通过对点云进行前端icp匹配和后端ekf滤波优化处理，
最终形成局部点云地图；
22.可行驶区域提取模块：基于点云法向量提取非结构化道路边界，区分较为竖直的地面法向量和较为倾斜的挡墙法向量，通过法向量的朝向特征提取行驶边界，进而生成可行驶区域。
23.进一步，所述单帧目标检测模块包括获取数据模块、自适应角度转动模块、欧式聚类提取毫米波雷达检测目标信息模块、深度学习算法提取激光雷达检测目标信息模块和深度学习算法提取相机检测目标信息模块：
24.获取数据模块：接收可行驶区域点云信息、车辆速度、坡度和转角信息、获取毫米波雷达、激光雷达、相机输出的数据；
25.自适应角度转动模块：根据车辆的转角信息结合可行驶区域点云信息，确定传感器转动角度，通过转动角度控制模块控制各个传感器的转动角度；车身倾斜或重心偏移时根据坡度传感器的输出值确定传感器的转动角度，对车辆俯仰角导致的视野盲区进行补偿；
26.欧式聚类提取毫米波雷达检测目标信息模块：可行驶区域去除地面信息后，对道路上点云进行欧式聚类，具体为随机选取目标点，当前点距离小于阈值时，将其放入簇中，否则选择另外的点进行判断，不断重复直到没有小于阈值的点存在，输出聚类的结果；
27.深度学习算法提取激光雷达检测目标信息模块：首先将原始点云在俯视图角度上切割成网格，对三维点云pillar化，并将每个pillar内的点云用9维向量表示，将点云输入到pointnet特征提取网络生成二维伪图像，将伪图片输入到2d cnn中进一步提取点云特征，最后通过ssd检测头进行boundingbox回归，输出障碍物的位置和朝向；
28.深度学习算法提取相机检测目标信息模块：首先使用马赛克数据增强，改变真值目标大小与位置，将增强的图片输入网络中利用focus模块统一图片大小，再通过改进的残差网络提取图片深层语义信息和浅层空间信息，最后通过特征金字塔网络在三个尺度下精准检测目标类别及位置。
29.进一步，所述多帧数据关联模块，包括目标融合模块和风险等级预测模块：
30.目标融合模块：根据单帧目标检测信息生成检测目标列表，通过贝叶斯的方法对各传感器输出目标特征进行融合，得到该目标的一致性解释；计算当给定的假设hi为真值时，传感器的观测特征e的似然概率p(e|hi)，比较观测值与预定的阈值thi、期望目标的数量、特征匹配及特征匹配的质量，分析上述数据以确定似然函数的值，利用该值代表目标aj的置信度；
31.风险等级预测模块：以目标速度、自身车身速度、标签值、目标相对于车身位置作为评判准则，采用专家系统将各个相关因素输入到推理机中，推理机通过知识库中的算法及相关规则反复推理，当专家系统输出该目标的风险评分大于风险等级阈值时，认为检测危险等级高同时主动更新该目标aj的置信度。
32.本发明与现有技术相比所具有的有益效果：
33.提出了一种适用于双桥转向无驾驶室矿用作业车辆的主动感知系统，针对双桥转向车辆特性、矿区环境进行模式设计，对于矿区作业车辆提出两种模式，通过设置各模式下的转向机制，以提高矿区工作效率及稳定性。
34.提出了一种基于决策规划反馈信息的感知方法，该反馈信息主要包括车辆转角信
息、坡度传感器，有效减小了车辆在转弯、上下坡时的感知盲区，提高了感知系统感知能力。
35.提出了一种贝叶斯融合算法，通过使用专家系统进行风险评估，根据得到的风险等级，主动感知检测目标，提高目标的置信度，以降低自动驾驶车辆的行驶风险，提高感知系统的可靠性与安全性。
36.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
37.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。
38.图1：主动感知系统总体架构图；
39.图2：车身俯仰角对传感器感知范围影响示意图；
40.图3：阿克曼转向几何原理图；
41.图4：车身横摆角对传感器感知范围影响示意图；
42.图5：步进电机控制系统图；
43.图6：贝叶斯算法流程图；
44.图7：多帧目标关联模块算法流程图。
具体实施方式
45.在车辆行驶过程中，感知系统可根据行驶模式与传感器综合信息，主动调整前后轮转向，例如：当车辆满载时，上坡货物下移，车辆前部重量小于后部重量，车辆后倾，容易出现转向过度问题，自适应调整为后轮转向；下坡货物前移，车辆前部重量大于后部重量，容易出现转向不足问题，自适应调整为前轮转向。适用于双桥转向自动驾驶矿用车辆的自适应感知系统设置如下模块：
46.(1)感知建图模块：
47.步骤一：设备安装及标定
48.将两套激光雷达、毫米波雷达、相机分别对应安装在双桥转向自动驾驶作业车辆车身前部与尾部，gnss/imu、坡度传感器安装在车身上，对激光雷达与gnss/imu进行标定，获取车身坐标系与世界坐标系位置关系；
49.步骤二：点云地图生成
50.以第一个路径点的gps为原点，建立局部世界地图。同步输入gps与激光雷达数据，将各时刻车辆的gps转化到世界坐标系中，通过激光雷达与车辆imu标定信息确定转换矩阵，进而将各个时刻的点云gps信息转换到世界坐标系中，将各个时刻的点云进行前端icp匹配，后端使用ekf滤波优化处理，最终形成局部点云地图。
51.步骤三：可行驶区域提取
52.基于点云法向量提取非结构化道路边界，地面法向量较为竖直，而挡墙的法向量较为倾斜，通过法向量的朝向特征进行边界的获取，生成可行驶区域。
53.(2)单帧目标检测模块：
54.步骤一：获取数据
55.接收可行驶区域点云信息、车辆转角信息、坡度传感器信息、获取毫米波雷达、激
光雷达、相机输出的数据。
56.步骤二：自适应角度转动
57.1)当规划模块持续输出车辆转角信息时，结合可行驶区域点云信息对比，确定传感器转动角度，通过传感器转动控制器控制传感器转动相应角度；
58.当当前可行驶区域与预期可行驶区域匹配度连续小于阈值时，即：
[0059][0060][0061]
其中，i为当前时刻，mi为当前时刻可行驶区域与预期可行驶区域匹配度，m
x
为匹配阈值，sn为当前可行驶区域面积，s
p
为预期可行驶区域面积，满足上式时，认为前向传感器满足转向条件，可进行转向；
[0062]
以车辆安全刹车距离为基础的转角推导方法与行驶路面附着系数、天气情况等条件有关，由于矿区地面颠簸，天气不定，该方法推导出来的转角波动大，并不适用，本发明专利使用直接基于几何关系的转角推导方式：
[0063]
设车辆右转时，若左轮转角为θ
l
，右轮转角为θr，传感器到左右前轮轴线交点处转角为θ
x
；k为转向左右前轮转轴的对地轮距，l为汽车同一侧前后轮转轴对地轴距；车辆左右前轮转轴到传感器距离为l，传感器应转角度为θ，根据阿克曼汽车转向定律可知：
[0064][0065]
如图3所示：
[0066][0067][0068]
传感器到左右前轮轴线交点处转角为θ
x
为：
[0069][0070]
对应传感器发射源转弯半径为：
[0071][0072]
a、b、c——传感器发射源到前左右轮转轴距离、后左右轮转轴距离、传感器发射源位置；
[0073]
x——传感器发射源至右轮距离；
[0074]
l——左右前轮转轴到传感器距离；
[0075]
l——机车轴间距；
[0076]
o——机车的瞬时转弯圆心；
[0077]
h——机车的瞬时转弯圆心到右轮的距离；
[0078]
d——传感器轴线与对应车轮拟行驶轨迹线的切点。
[0079]
由图4可知：
[0080][0081]
由四边形内角和定理可知：
[0082]
∠bcd+∠bod＝π
[0083]
且：
[0084]
∠bcd+θ＝π
[0085]
所以：
[0086]
θ＝∠bod＝θ
x
+∠aod＝θ
x
+∠aoc+∠cod
[0087]
由勾股定理可知：
[0088]
ob2＝oa
2-ab2＝r
x2-l2[0089]
oc2＝ob2+bc2＝r
x2-l2+(l+l)2＝r
x2
+l2+2ll
[0090]
其中，r
x
为机车顺时转弯圆心到传感器发射源的半径，对于∠cod：
[0091][0092]
对于∠aoc，根据余弦定理可知：ac＝l；
[0093][0094]
则传感器转角θ为：
[0095][0096]
根据感知系统提前改变角度，减少延迟误差并带入时间变量t，可以求得该处传感器自适应转动角度的函数：
[0097]rx
θ(t)＝∫v(t)dt
[0098]
其中，v(t)为决策规划模块输出的速度函数；
[0099]
带入可得最终传感器自适应转动角度函数：
[0100][0101]
2)当道路遇到稍大石块或水坑时，或车辆满载上下坡时，会导致车辆前倾或重心后移，坡度传感器输出坡度，根据输出的坡度值确定传感器转动角度，通过传感器转动控制器控制传感器转动补偿因车辆俯仰角导致的视野盲区；
[0102]
由图2可知，θy为车辆前倾传感器应调整角度(定义向上调整为正值，向下调整为负值)，α为坡度传感器输出的车辆前倾角度，当车身重心下沉时，传感器感知位置相应下降，β为因车辆重心下降而导致的传感器感知的下降点到理应感知位置点的夹角：
[0103]
θy＝-α-β
[0104]
由于α较小，近似可以得到：
[0105][0106]
其中，h为车辆前倾传感器高度变化量，w为传感器与车辆重心距离的水平分量；
[0107]
由几何关系可以得到：
[0108][0109]
w为传感器有效感知距离，因此可得：
[0110][0111]
自适应转动传感器由小型步进电机带动，认为步进电机控制系统为二阶惯性环节加一个纯滞后环节，步进电机控制系统图如图5所示；
[0112]
图5中，n(s)为步进电机控制系统的输入脉冲数，y(s)为步进电机控制系统的输出角度。步进电机控制系统的传递函数为：
[0113][0114]
其中k为系统的静态增益，t为系统时间常数，τ为纯滞后时间。
[0115]
建立前传感器的数学模型，使用最小二乘法进行系统辨识，设时不变动态过程的数学模型为：
[0116]
a(z-1
)z(k)＝b(z-1
)u(k)+n(k)
[0117]
式中，u(k)和z(k)为系统的输入量和输出量；n(k)为噪声，a(z-1
)和b(z-1
)为多项式，其中：
[0118][0119]
使用{u(k),z(k)；k＝1,
···
,l}序列，估计出多项式a(z-1
)和b(z-1
)中的未知系数。
[0120]
定义：
[0121][0122]
则可将初始的时不变动态过程的数学模型转化为标准的最小二乘格式：
[0123]
z(k)＝h
t
(k)θ+n(k)k＝1,2,
···
,l
[0124]
上式又可以写成一个线性方程组，其矩阵格式为：
[0125]zl
＝h
l
θ+n
l
[0126]
式中：
[0127]
[0128][0129]
则最小二乘法准则函数j(θ)可取为：
[0130]
j(θ)＝(z
l-h
l
θ)i
l
(z
l-h
l
θ)
[0131]
其中，i
l
为加权矩阵，一般取为正定对角阵。通过极小化j(θ)，可以求出系数θ的估计值
[0132][0133]
其中为所求的最小二乘法的估计值。当得到系统的输入输出值之后，利用上式即可一次获得对应系数的估计值。
[0134]
为建立传感器转角控制系统的数学模型，需要使用最小二乘法进行系统辨识，因此需要对步进电机控制系统的传递函数进行拉普拉斯反变换，且假定汽车控制系统的输入为常数值x，可得到拉普拉斯变换后的关系式：
[0135][0136]
式中，y(t)为y(s)的拉普拉斯反变换，n为控制系统的输入脉冲数。为分离出k、τ、t三个待定系数，对两端求积分得：
[0137][0138]
令则上式可简化为：
[0139][0140]
其中ts为采样周期，k为正整数；
[0141]
整理得：
[0142][0143]
令得：
[0144]
[0145][0146]
bx＝a
[0147]
x＝(b
t
b)-1bta[0148]
上式中，等号右边仅与控制系统的输入输出、采样时间有关，这些量可以根据实验得到，等号左边为待定系数。
[0149]
建立状态空间模型，模型使用的步进电机控制系统的传递函数为：
[0150][0151]
状态空间模型建立部分的程序如下：
[0152]
nump＝[0,0,2.93]；
[0153]
denp＝[1.77,1,0]；
[0154]
gp＝tf(nump,denp)；
[0155]
[nump,denp]＝pade(0.06,1)；％纯延迟部分使用一阶pade近似
[0156]
g＝gp*tf(nump,denp)；％重构近似函数
[0157]
[num,den]＝tfdata(g,’v’)；％提取近似传函的分子和分母多项式系数向量
[0158]
[a,b,c,d]＝tf2ss(num,den)；％转换为状态空间模型
[0159][0160]
y＝[0
ꢀ‑
1.6554 55.1789]x
[0161]
步骤三：欧式聚类提取毫米波雷达检测目标信息
[0162]
可行驶区域去除地面信息后，对道路上点云进行欧式聚类。具体做法为随机选取目标点，当当前点距离小于阈值时，将其放入簇中，否则选择另外的点进行判断，不断重复直到没有小于阈值的点存在，输出聚类的结果。
[0163]
步骤四：深度学习算法提取激光雷达检测目标信息
[0164]
首先将原始点云在俯视图角度上切割成网格，对三维点云pillar化，并对每个pillar内的点云用9维向量表示，使用pointnet对点云进行特征提取，生成二维伪图像。将伪图片输入到2d cnn中进一步提取点云特征。最后，通过ssd检测头进行boundingbox回归，输出障碍物的位置和朝向。
[0165]
步骤五：深度学习算法提取相机检测目标信息
[0166]
首先使用马赛克数据增强，改变真值目标大小与位置。将马赛克增强后的图片输入网络中，经过focus模块统一图片大小，再通过改进的残差网络darknet提取图片深层语义信息和浅层空间信息，最后通过特征金字塔网络在三个尺度下精准检测目标类别及位置。
[0167]
(3)多帧目标关联
[0168]
步骤一：目标融合
[0169]
根据单帧目标检测信息生成检测目标列表，通过贝叶斯的方法对各传感器输出目
标特征进行融合，得到该目标的一致性解释；计算当给定的假设hi为真值时，传感器的观测特征e的似然概率p(e|hi)，比较观测值与预定的阈值thi、期望目标的数量、特征匹配及特征匹配的质量，分析这些数据以确定似然函数的值，用该值代表目标aj的置信度；
[0170]
步骤二：风险等级预测
[0171]
以目标速度、自身车身速度、标签值、目标相对于车身位置等因素为评判准则。首先建立基于知识的专家系统，本发明所述专家系统包括知识库、全局数据库及推理机。其中知识库包含既定事实、算法及启发式规则，全局数据库用以暂时缓存输入、中间、输出的结果，推理机用以推理目标危险等级。
[0172]
专家系统通过将各个相关因素输入到推理机中，推理机通过知识库中的算法及相关规则反复推理相关目标风险等级，最终输出最优目标风险等级。设置风险等级阈值h
th
，当专家系统输出该目标的风险评分大于阈值时，认为检测危险等级高。根据目标的风险评分，主动更新该目标aj的概率反馈作用于步骤二，实现目标主动风险感知功能；
[0173]
当目标的风险等级大于风险阈值时：
[0174]hi
》h
th
[0175]
其中，hi为目标风险等级，h
th
为风险等级阈值；
[0176]
将目标风险等级输入专家系统，专家系统主动分析大于风险阈值的目标，提高目标的置信度：
[0177]aj
＝aj+(1-aj)hi[0178]
其中，aj为目标输入的置信度，hi为风险等级提高系数，由专家系统不断吸收先验知识迭代更新而来。
[0179]
进一步地，本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例所述的方法。
[0180]
以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。
[0181]
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。
[0182]
本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0183]
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。