一种矿山辅助运输机器人无人驾驶装置及其使用方法

1.本发明涉及矿山辅助机器人技术领域，具体是一种面向视觉感知的矿山辅助运输机器人无人驾驶装置及其使用方法。


背景技术：

2.辅助运输设备是煤矿开采过程中长距离运输系统的的重要组成部分，现有辅助运输设备如轨道运输车受限于人工驾驶，存在运输效率低，风险隐患高的问题，研究并设计辅助运输机器人无人驾驶装置及方法能够进一步解放人力，提升矿山智能化水平，具有重要的现实价值。
3.现阶辅助运输设备无人驾驶方案主要集中在对机器人的改造，专利号为202110250724.1，名称为“一种基于uwb技术的矿用电机车无人驾驶系统”的发明专利采用uwb、超声波、红外集激光雷达传感器为感知手段，可以对环境进行全方位的感知，但是没有设计精细的控制策略；专利号为202110268014.1，名称为“一种矿用无人驾驶电机车的智能控制装置、方法及电机车”，设计了具体的控制策略，但是缺少环境感知手段与具体的装置描述；专利号为202110366179.2，名称为“一种无驾驶舱式井下无人驾驶电机车及其控制方法”，以ccd摄像头与毫米波雷达作为感知手段，根据障碍物识别指定了辅助运输设备控制策略且给出了具体的装置，但是受限于单一工控机的低算力并缺少精细的轨道识别手段，无法对辅助运输设备进行精细的速度控制。总的来说，现有技术存在环境感知能力差、缺少细粒度速度控制策略的问题，同时受限于井下特殊工况对能耗与发热量的限制，传统单工控机计算单元存在算力受限的问题，整体智能化水平偏低。


技术实现要素：

4.针对上述现有技术存在的问题，本发明提供一种面向视觉感知的矿山辅助运输机器人无人驾驶装置及其使用方法，依赖智能视觉感知实现细粒度井下轨道运输机器人的自动驾驶，并且利用神经网络精简算法及现场可编程门阵列部署方法，提高机器人算力水平。
5.为实现上述目的，本发明设计一种矿山辅助运输机器人无人驾驶装置，包括视觉感知装置、计算控制系统和轮式驱动平台；所述轮式驱动平台的承载框架为轮式驱动底盘(13)，所述轮式驱动底盘(13)底部设置有车轮(10)，所述车轮(10)由可调速驱动电机(14)驱动，所述车轮(10)上设置有制动装置(16)、车速传感器(15)，所述视觉感知装置部署在轮式驱动底盘(13)前端，通过数据线将视觉信号传输到计算控制系统，所述计算控制系统部署在轮式驱动底盘(13)中部；所述视觉感知装置包括单目摄像头(4)、双目摄像头(3)、照明装置(2)，所述单目摄像头(4)倾斜安装在轮式驱动底盘(13)的顶部，用于识别轨道(18)的两条轨道线，所述双目摄像头(3)设置在轮式驱动底盘(13)的前部，用于获取深度信息、记录行车数据、并对障碍物进行识别，所述照明装置(2)用于为单目摄像头(4)、双目摄像头(3)提供光源；所述计算控制系统包括现场可编程门阵列(5)、工控机(8)、plc控制箱(9)，所述现场可编程门阵列(5)与单目摄像头(4)、双目摄像头(3)相连用于采集视觉信息并运行
智能识别算法，将轨道识别结果(17)以及障碍物识别结果(19)传递到工控机(8)中，所述工控机(8)用于综合处理轨道识别结果(17)、障碍物识别结果(19)与车速传感器(15)获取的车速信息，生成车速控制指令传递到plc控制箱(9)，所述plc控制箱(9)用于根据收到的指令发出控制信号到可调速驱动电机(14)和制动装置(16)，控制机器人运行。
6.进一步的，所述轮式驱动底盘(13)上设置有用于保护计算控制系统的计算设备保护滑门(7)，所述轮式驱动底盘(13)内设有由蓄电池(11)、电池配电箱(12)构成的蓄电池供电模组，所述蓄电池供电模组用于为机器人各个部分供电，所述轮式驱动底盘(13)的前部设有防撞横梁(1)。
7.进一步的，所述现场可编程门阵列(5)、工控机(8)、plc控制箱(9)均采用防爆外壳；所述现场可编程门阵列(5)、工控机(8)、plc控制箱(9)下方设有散热装置(6)。
8.本发明还提供一种矿山辅助运输机器人无人驾驶装置的使用方法，具体包括以下步骤：
9.(a)进行轨道线识别，具体包括：利用单目摄像头(4)采集轨道图像信号传输到现场可编程门阵列(5)中，解析并获取单帧图像i，宽度为w，高度为h，单帧图像i经序列化后输入到经过修剪的轨道线检测神经网络计算单元，识别结果为一系列分类问题c＝{c
i,j
|i∈[1,l],j∈[1,j]}的分类结果y，l为轨道线数目，j为参与分类的行数，i用于指定识别的轨道，j用于指定行的位置，y为one-hot编码，轨道线的实际位置为g为分类器的类别，对应轨道线所在的列数，现场可编程门阵列(5)将轨道识别结果(17)经数据线传输至工控机(8)；
[0010]
(b)进行障碍物识别，具体包括：利用双目摄像头(3)采集轨道图像信号传输到现场可编程门阵列(5)中，解析并生产图像i
l
和ir，对应左右两个图像，经左右图像校正后，i
l
和ir经序列化后输入到以resnet-18为基准网络且经过修剪的yolox神经网络计算单元，识别结果为h
×
w个识别单元，识别单元包括类别信息、框坐标和iou置信度信息，经极大值抑制算法选择后，大于一定置信度θ
iou
的识别单元即为2d障碍物识别结果o
l
和or，经立体匹配算法sgbm，计算视差d＝x(o
l
)-x(or)，获得障碍物的距离信息d，构建最终拥有距离信息的障碍物识别结果(19)，现场可编程门阵列(5)将障碍物识别结果(19)经数据线传输至工控机(8)；
[0011]
(c)控制速度调节，具体包括：利用工控机(8)收集轨道识别结果(17)、障碍物识别结果(19)以及车速传感器(15)所采集的车速信息进行自适应速度控制和紧急制动控制，自适应速度控制首先在满足实际速度v小于路段最大限制速度vm，然后根据单目摄像头(4)的位姿计算出当前时刻车辆运行的两条轨迹预测a1和a2，并与两条识别的轨迹y1和y2配准，计算a1和y1当前时刻的切线的夹角a2和y2当前时刻的切线的夹角自适应计算机车转弯临界速度vc，v车速应控制在min(vm,vc)以内，经plc控制箱(9)下放速度控制指令到可调速驱动电机(14)，紧急制动控制则根据实际运行速度v，计算紧急制动距离区间[ds,d
l
]对应不同制动策略，如检测到据障碍物识别结果(19)，根据距离信息d启用合适的制动控制策略，经plc控制箱(9)下放指令到制动装置(16)，避免机车与人员、异物等障碍物发生碰撞。
[0012]
进一步的，步骤(a)中修剪的轨道线检测神经网络计算单元是以resnet-18为特征提取网络，以行分类器为识别器进行压缩简化，所述resnet-18由18层卷积基本单元组成，
以残差模块为卷积层组织方式，所述行分类器由1个卷积层与2个线性层组成。
[0013]
进一步的，以resnet-18为特征提取网络，以行分类器为识别器进行压缩简化具体包括：通过结构重构将resnet-18的残差分支分配到每一个卷积单元convi中，精度回复训练后获得无通道干涉的模型用于模型剪枝，模型剪枝的通道重要性评估ξ＝n(γ)+n(β)，其中n为下式：
[0014][0015]
γ和β是每个通道对应的归一化计算的缩放与移动参数，μ为γ和β的代指，m
l
(μ)是所有通道中μ前30％的均值，m(μ)所有通道中μ的均值。
[0016]
进一步的，步骤(b)中修剪的yolox神经网络计算单元是以resnet-18替换原始yolox-s网络中的骨干网络来修改识别模块中障碍物的类别，所述识别模块由三路卷积层构成，分别用以每个像素点的预测类别、识别框位置与iou置信度。
附图说明
[0017]
图1是本发明装置测视整体结构示意图；
[0018]
图2是本发明装置底部整体结构示意图；
[0019]
图3是本发明装置俯视运行示意图；
[0020]
图4是本发明方法控制流程图；
[0021]
图5是本发明神经网络压缩简化部署流程图。
[0022]
图中：1、防撞横梁，2、照明装置，3、双目摄像头，4、单目摄像头，5、现场可编程门阵列，6、散热装置，7、计算设备保护滑门，8、工控机，9、plc控制箱，10、车轮，11、蓄电池，12、电池配电箱，13、轮式驱动底盘，14、可调速驱动电机，15、车速传感器，16、制动装置，17、轨道识别结果，18、轨道，19、障碍物识别结果。
具体实施方式
[0023]
下面结合附图本发明作进一步说明。
[0024]
如图1至图3所示，本实施例提供一种矿山辅助运输机器人无人驾驶装置包括视觉感知装置、计算控制系统和轮式驱动平台；轮式驱动平台承载框架为轮式驱动底盘13，视觉感知装置部署在轮式驱动底盘13前端且固定在轮式驱动底盘13内部，防止损坏，通过数据线将视觉信号传输到计算控制系统，计算控制系统部署在轮式驱动底盘13中部，轮式驱动底盘13上设置有位于计算控制系统上方的计算设备保护滑门7，轮式驱动底盘13内设有蓄电池11与电池配电箱12构成的蓄电池供电模组，所述蓄电池供电模组为机器人各个部分供电，轮式驱动底盘13底部设用四个车轮10，车轮10由可调速驱动电机14驱动，可调速驱动电机14分两组水平部署在车体地盘中轴线且设有减震装置，每个车轮旁均设有制动装置16用于紧急制动，四个制动装置16相互关联，每个车轮10旁设有车速传感器15，轮式驱动底盘13前部设有防撞横梁1，以保护视觉感知装置；
[0025]
本实例的可调速驱动电机14、制动装置16、车速传感器15、车轮10、蓄电池11、电池配电箱12、计算设备保护滑门7采用本领域技术人员所熟知的现有结构，在此不再作详细描述，他们相关之间的连接方式，以及他们与轮式驱动底盘13连接方式均采用本领域技术人员所熟知的现有连接方式，在此不作具体描述。
[0026]
视觉感知装置包括单目摄像头4、双目摄像头3以及照明装置2，单目摄像头4以一定倾斜角度通过支架固定在车体13的顶部，用于识别轨道18的两条轨道线，双目摄像头3横向军中设置在车体13前部，用于获取深度信息、记录行车数据、并对障碍物进行识别，以及照明装置2部署在双目摄像头3与防撞横梁1之间，为单目摄像头4、双目摄像头3提供光源，视觉感知装置采集视觉信号并传递到可编程门阵列5中；
[0027]
计算控制系统包括现场可编程门阵列5、工控机8以及plc控制箱9，现场可编程门阵列5与单目摄像头4、双目摄像头3直接相连，采集视觉信息并运行智能识别算法，将轨道识别结果17以及障碍物识别结果19传递到工控机8中，工控机8综合处理轨道识别结果17、障碍物识别结果19与车速传感器15获取的车速信息，生成车速控制指令传递到plc控制箱9，plc控制箱9根据收到的指令发出控制信号到可调速驱动电机14和制动装置16，控制机器人运行。
[0028]
现场可编程门阵列5、工控机8以及plc控制箱9下方设有散热装置6，外部均设有防爆外壳，单目摄像头4、双目摄像头3、照明装置2、现场可编程门阵列5、工控机8、plc控制箱9、可调速驱动电机14以及制动装置16均与电池配电箱12相连，使用蓄电池11供电；上述结构或设备均为本领域技术人员所熟知的现有产品或结构，在此不作详细描述，其相关之间的连接方式也采用本领域技术人员所熟知的现有控制连接方式，在此不作具体描述。
[0029]
如图4所示，本实例提供一种面向视觉感知的矿山辅助运输机器人无人驾驶方法：具体包括以下步骤：
[0030]
(a)进行轨道线识别：单目摄像头4采集轨道图像信号传输到现场可编程门阵列5中，解析并获取单帧图像i，宽度为w，高度为h，单帧图像i经序列化后输入到经过修剪的轨道线检测神经网络计算单元，识别结果为一系列分类问题c＝{c
i,j
|i∈[1,l],j∈[1,j]}的分类结果y，l为轨道线数目，j为参与分类的行数，i用于指定识别的轨道，j用于指定行的位置，y为one-hot编码，轨道线的实际位置为g为分类器的类别，对应轨道线所在的列数，现场可编程门阵列5将轨道识别结果17经数据线传输至工控机8；
[0031]
(b)进行障碍物识别：双目摄像头4采集轨道图像信号传输到现场可编程门阵列5中，解析并生产图像i
l
和ir，对应左右两个图像，经左右图像校正后，i
l
和ir经序列化后输入到以resnet-18为基准网络且经过修剪的yolox神经网络计算单元，识别结果为h
×
w个识别单元，识别单元包括1个类别信息、4个框坐标和1个iou置信度信息，经极大值抑制算法选择后，大于一定置信度θ
iou
的识别单元即为2d障碍物识别结果o
l
和or，经立体匹配算法sgbm，计算视差d＝x(o
l
)-x(or)，x为识别结果的水平坐标，结合相机位姿参数可计算障碍物的距离信息d，构建最终拥有距离信息的障碍物识别结果19，现场可编程门阵列5将障碍物识别结果19经数据线传输至工控机8；
[0032]
(c)采取速度调节策略：工控机8收集并综合轨道识别结果17、障碍物识别结果19
以及车速传感器15所采集的车速信息，根据相应的速度控制策略控制机车运行，主要包括自适应速度控制和紧急制动控制，自适应速度控制首先在满足实际速度v小于路段最大限制速度vm，然后根据单目摄像机的位姿计算出当前时刻车辆运行的两条轨迹预测a1和a2，并与两条识别的轨迹y1和y2配准，计算a1和y1当前时刻的切线的夹角a2和y2当前时刻的切线的夹角自适应计算机车转弯临界速度vc，v车速应控制在min(vm,vc)以内，经plc控制箱9下放速度控制指令到可调速驱动电机14，紧急制动控制则根据实际运行速度v，计算紧急制动距离区间[ds,d
l
]对应不同制动策略，如检测到据障碍物识别结果19，根据距离信息d启用合适的制动控制策略，经plc控制箱9下放指令到制动装置16，避免机车与人员、异物等障碍物发生碰撞；
[0033]
其中的轨道线检测神经网络以resnet-18为特征提取网络，以行分类器为识别器，resnet-18由18层卷积基本单元组成，以残差模块为卷积层组织方式，行分类器由1个卷积层与2个线性层组成，经压缩简化后，该神经网络中不包含批归一化层(bn)与残差结构，仅包含卷积层、线性层以及非线性激活层，基于yolox改造的障碍物检测神经网络用resnet-18替换原始yolox-s网络中的骨干网络，修改识别模块中障碍物的类别，识别模块由三路卷积层构成，分别用以每个像素点的预测类别、识别框位置与iou置信度；
[0034]
如图5所示，模型压缩简化方法通过结构重构将resnet-18的残差分支分配到每一个卷积单元convi中，精度回复训练后获得无通道干涉的模型用于模型剪枝，模型剪枝的通道重要性评估ξ＝n(γ)+n(β)，其中n为下式：
[0035][0036]
γ和β是每个通道对应的归一化计算的缩放与移动参数，μ为γ和β的代指，m
l
(μ)是所有通道中μ前30％的均值，m(μ)所有通道中μ的均值，方法仅保留ξ值高于一定比例的通道，经精度恢复训练获得修剪后的模型，然后通过结构重参数化，将多分支无损转化成单分支模型，模型压缩简化方法适用于以resnet-18为骨干网路的神经网络，仅包含卷积层、线性层以及非线性激活层三种算子，通过在现场可编程门阵列5实现对应算子并进行权重赋值，完成神经网络的现场可编程门阵列部署，与传统单一工控机架构不同，现场可编程门阵列可以较低的功耗运行高算力任务，分担工控机运行压力的同时提高机器人智能感知水平。
[0037]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。