一种无人收获机的避障控制方法和系统与流程

1.本发明涉及信息技术领域，尤其涉及一种无人收获机的避障控制方法和系统。


背景技术：

2.目前的收获机械无人驾驶是基于导航与静态障碍物绕行策略下的路径规划，虽然能够识别静态障碍物，但是对于动态的障碍物无法准确识别，对动态障碍物识别存在缺失，也就无法完全做到无人化收获作业。现有的农机无人驾驶避障技术主要应用于拖拉机犁地等作业场景，地块相对开拓，由于“耕种管收”不同环节的环境差异性，对于主动避障技术的研究基本应用于无人驾驶拖拉机，相应的系统不适用于收获机械的作业环境，现有的技术方案无法适用于小麦、玉米、水稻等收获场景，收获作物对于雷达等障碍物识别及判断影响较为明显，毫米波雷达无法识别障碍物种类。


技术实现要素：

3.本发明所要解决的技术问题是针对现有技术的不足，提供一种无人收获机的避障控制方法和系统。
4.本发明解决上述技术问题的技术方案如下：一种无人收获机的避障控制方法，包括：通过双目摄像头实时采集无人收获机预设区域的图像数据；根据所述图像数据获取目标动态障碍物的深度值；通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物的识别结果信息；将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值；根据所述同步后的识别结果信息和深度值，控制无人收获机进行对应的避障响应机制。
5.本发明的有益效果是：本方案通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物的识别结果信息，将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值，根据所述同步后的识别结果信息和深度值，控制无人收获机进行对应的避障响应机制，可以适用于小麦、玉米、水稻等收获机械的主动避障，有效拓展了目前现有的只能应用于拖拉机等作业场景的辅助驾驶、只能用于对于静态障碍物的避障及路径规划的避障方法。
6.解决了辅助驾驶过程中人为干预因素较多、不安全等问题，真正实现了全程无人化收获作业。通过建立人—机—平台一体化网联的信息交互模式，解决了目前避障技术单机化、智能化水平不高等问题。
7.通过系统的智能化决策，解决了现有的辅助驾驶过程中人为干预因素较多、不安全等问题，同时通过系统的自我保护机制，确保了安全冗余设计，保证了系统运行的稳定性
与安全性。
8.进一步地，所述根据所述图像数据获取目标动态障碍物的深度值，具体包括：通过特征匹配数据对所述图像数据中的左视图灰度图像和右视图灰度图像进行关联；通过关联后的图像数，结合时差算法和三角测量算法，获得视差图；根据所述视差图获得目标动态障碍物的深度值。
9.进一步地，还包括：通过构建包括多种动态障碍物图像信息的训练数据库；通过所述训练数据库中的多种动态障碍物图像信息对yolov5模型进行训练，获得训练后的yolov5模型。
10.进一步地，还包括：通过数据增强方法扩大所述训练数据库中的训练数据量。
11.进一步地，还包括：将所述训练后的yolov5模型移植到无人收获机中的核心计算单元中，通过tensorrt工具对yolov5模型进行优化，获得优化后的yolov5模型；所述通过训练后的yolov5模型对所述图像数据进行处理，具体包括：通过优化后的yolov5模型对所述图像数据进行处理。
12.进一步地，还包括：根据所述识别结果信息发出报警信号；根据所述报警信号控制所述无人收获机的报警装置发出声光报警；并控制所述无人收获机的控制行走电磁阀进行停车动作；其中，所述无人收获机还包括：报警装置和控制行走电磁阀。
13.进一步地，还包括：当识别到所述目标动态障碍物从预设区域移除时，则解除所述报警信号，并控制所述报警装置停止声光报警。
14.本发明解决上述技术问题的另一种技术方案如下：一种无人收获机的避障控制系统，包括：图像采集模块、深度值计算模块、识别模块、同步模块和控制模块；所述图像采集模块用于通过双目摄像头实时采集无人收获机预设区域的图像数据；所述深度值计算模块用于根据所述图像数据获取目标动态障碍物的深度值；所述识别模块用于通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物的识别结果信息；所述同步模块用于将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值；所述控制模块用于根据所述同步后的识别结果信息和深度值，控制无人收获机进行对应的避障响应机制。
15.本发明的有益效果是：本方案通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物的识别结果信息，将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值，根据所述同步后的识别结果信息和深度值，控
制无人收获机进行对应的避障响应机制，可以适用于小麦、玉米、水稻等收获机械的主动避障，有效拓展了目前现有的只能应用于拖拉机等作业场景的辅助驾驶、只能用于对于静态障碍物的避障及路径规划的避障方法。
16.解决了辅助驾驶过程中人为干预因素较多、不安全等问题，真正实现了全程无人化收获作业。通过建立人—机—平台一体化网联的信息交互模式，解决了目前避障技术单机化、智能化水平不高等问题。
17.通过系统的智能化决策，解决了现有的辅助驾驶过程中人为干预因素较多、不安全等问题，同时通过系统的自我保护机制，确保了安全冗余设计，保证了系统运行的稳定性与安全性。
18.进一步地，所述深度值计算模块具体用于通过特征匹配数据对所述图像数据中的左视图灰度图像和右视图灰度图像进行关联；通过关联后的图像数，结合时差算法和三角测量算法，获得视差图；根据所述视差图获得目标动态障碍物的深度值。
19.进一步地，还包括：模型训练模块，用于通过构建包括多种动态障碍物图像信息的训练数据库；通过所述训练数据库中的多种动态障碍物图像信息对yolov5模型进行训练，获得训练后的yolov5模型。
20.进一步地，还包括：数据集扩大模块，用于通过数据增强方法扩大所述训练数据库中的训练数据量。
21.进一步地，还包括：优化模块，用于将所述训练后的yolov5模型移植到无人收获机中的核心计算单元中，通过tensorrt工具对yolov5模型进行优化，获得优化后的yolov5模型；所述识别模块具体用于通过优化后的yolov5模型对所述图像数据进行处理。
22.进一步地，还包括：控制模块，用于根据所述识别结果信息发出报警信号；根据所述报警信号控制所述无人收获机的报警装置发出声光报警；并控制所述无人收获机的控制行走电磁阀进行停车动作；其中，所述无人收获机还包括：报警装置和控制行走电磁阀。
23.进一步地，所述控制模块具体用于当识别到所述目标动态障碍物从预设区域移除时，则解除所述报警信号，并控制所述报警装置停止声光报警。
24.本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。
附图说明
25.图1为本发明的实施例提供的一种无人收获机的避障控制方法的流程示意图；图2为本发明的其他实施例提供的一种无人收获机的避障控制系统的流程示意图；图3为本发明的实施例提供的收获机械无人驾驶主动避障系统结构示意图；图4为本发明的实施例提供的收获机械无人驾驶主动避障方法示意图；图5为本发明的实施例提供的收获机械无人驾驶主动避障系统原理图；
图6为本发明的实施例提供的收获机械无人驾驶主动避障系统控制逻辑图。
具体实施方式
26.以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。
27.如图1所示，为本发明实施例提供的一种无人收获机的避障控制方法，包括：通过双目摄像头实时采集无人收获机预设区域的图像数据；需要说明的是，基于双目立体视觉生成的深度图，实现立体成像点云距离检测算法，和基于深度学习的yolov5目标检测算法，能够实时获取目标动态障碍物的深度信息和检测信息。
28.根据所述图像数据获取目标动态障碍物的深度值；需要说明的是，深度信息是通过相机拍摄获取左右摄像头的左视图和右视图灰度图像，通过关联左右视图，并利用两个摄像头之前的视差和三角测量算法感知物体的视差信息，从而得到视差图，根据视差图获得深度信息。具体算法为，位置视差为同名点在左视图列坐标减去右视图列坐标的像素。根据视差图与深度图的直接换算关系：，可以得到图像的点云深度信息，其中为深度，为视差，为基线长度（相机间距），为焦距，和分别为左右视图主点的列坐标，从而得到图像每个有效像素点的深度值。通过深度值，可以确定障碍物的距离，例如设定安全范围7米以内，则深度值，需要在10-20米，根据深度值，调控后续无人收获机的减速。
29.检测信息为采集到的rgb图实时图像。
30.通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物的识别结果信息；需要说明的是，在某一实施例中，根据采集到的rgb图实时图像，在rgb图像摄像机实时采集上使用基于yolov5的深度学习算法，获得目标动态障碍物的识别结果信息。
31.将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值；其中识别结果可以为障碍物分类结果信息。
32.需要说明的是，通过rgb图像（图像信息）与深度图（点云信息）时间戳同步，由于二者运算时间不同需要进行时间同步，对齐匹配并直接获取到目标障碍物的深度值信息和检测信息，根据检测信息识别障碍物类别，根据深度信息判断出障碍物离无人收割机的距离。
33.根据所述同步后的识别结果信息和深度值，控制无人收获机进行对应的避障响应机制。
34.需要说明的是，根据输出障碍物分类结果信息、深度值信息，根据这两个信息确定障碍物和位置。根据不同深度值做出不同的响应机制。
35.本方案通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物
的识别结果信息，将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值，根据所述同步后的识别结果信息和深度值，控制无人收获机进行对应的避障响应机制，可以适用于小麦、玉米、水稻等收获机械的主动避障，有效拓展了目前现有的只能应用于拖拉机等作业场景的辅助驾驶、只能用于对于静态障碍物的避障及路径规划的避障方法。
36.解决了辅助驾驶过程中人为干预因素较多、不安全等问题，真正实现了全程无人化收获作业。通过建立人—机—平台一体化网联的信息交互模式，解决了目前避障技术单机化、智能化水平不高等问题。
37.通过系统的智能化决策，解决了现有的辅助驾驶过程中人为干预因素较多、不安全等问题，同时通过系统的自我保护机制，确保了安全冗余设计，保证了系统运行的稳定性与安全性。
38.可选地，在一些实施例中，所述根据所述图像数据获取目标动态障碍物的深度值，具体包括：通过特征匹配数据对所述图像数据中的左视图灰度图像和右视图灰度图像进行关联；通过关联后的图像数，结合时差算法和三角测量算法，获得视差图；根据所述视差图获得目标动态障碍物的深度值。
39.可选地，在一些实施例中，还包括：通过构建包括多种动态障碍物图像信息的训练数据库；通过所述训练数据库中的多种动态障碍物图像信息对yolov5模型进行训练，获得训练后的yolov5模型。
40.可选地，在一些实施例中，还包括：通过数据增强方法扩大所述训练数据库中的训练数据量。
41.在某一实施例中，数据增强方法，如采用对图像进行旋转、平移、增大缩小、随机剪裁然拼接，以生成新图像扩大数据库的数据量，并采用主干网络进行障碍物的特征提取，有效的在彩色图像上将目标障碍物进行准确的识别及对于检测到的信息进行分类判断，识别出如：人、农机等动态障碍物分组。
42.可选地，在一些实施例中，还包括：将所述训练后的yolov5模型移植到无人收获机中的核心计算单元160中，通过tensorrt工具对yolov5模型进行优化，获得优化后的yolov5模型；需要说明的是，将包括所述训练后的yolov5模型的识别方法输入到无人收获机中的核心计算单元160，使用核心计算单元160内的tensorrt工具对于yolov5的深度学习算法模型进行加速现有算法，即英伟达系统自带现有加速算法），优化模型处理时间，提高模型检测效率。对经过核心计算单元160处理输出后的深度值信息位置信息进行判断，建立对于不同距离信息下不同的系统响应机制，如障碍物在5-10m内感知系统向无人驾驶发送停车报文信号，障碍物在10-20m内发送减速慢行信号等。同时识别到动态障碍物后的系统相应结果通过can总线发送，各子系统接收到相应的报警信息及信号后进行相应动作。
43.所述通过训练后的yolov5模型对所述图像数据进行处理，具体包括：通过优化后的yolov5模型对所述图像数据进行处理。
44.可选地，在一些实施例中，还包括：根据所述识别结果信息发出报警信号；根据所述报警信号控制所述无人收获机的报警装置110发出声光报警；并控制所述无人收获机的控制行走电磁阀170进行停车动作；其中，所述无人收获机还包括：报警装置和控制行走电磁阀。
45.可选地，在一些实施例中，还包括：当识别到所述目标动态障碍物从预设区域移除时，则解除所述报警信号，并控制所述报警装置110停止声光报警。
46.在一些实施例中，如图4所示，无人收获机的主动避障可以包括：双目立体视觉摄像头130采集收获机前视图像数据，输入到核心计算单元160进行算法分析及处理，识别出动态障碍物，通过系统对于车辆状态的判断，输出相应报警信号到can总线。导航单元接收到报警信号后，将信号传递给智能显示单元140，智能显示单元140将相关报警信息通过5g传递给云平台，云平台接收到信息后通过手机app或pc端的方式将报警信息显示给用户。同时整车控制单元150接受到报警信号后，控制收获机上安装的报警装置110进行声光报警，控制行走电磁阀170进行停车动作。当动态障碍物移除后，或用户远程强制解除报警信息，系统重新对车辆状态及环境进行判定。判定安全后，整车控制单元150控制行走电磁阀170进行行走动作，同时关闭报警装置110，导航单元控制智能显示单元140，在平台上解除报警信号。
47.同时系统具有保护机制，当导航单元、双目立体视觉摄像头130、can网络通讯异常时，会发送系统异常信号，强制控制整机停车，保护收获机在无人驾驶模式下的安全性。本主动避障系统同时建立用户—收获机—平台三方一体化网联模式，用户可通过手机app或pc端即可查看并控制车辆在无人收获情况下的整车安全状态，真正实现收获机智能化无人作业场景。
48.本发明提出了一种适用于小麦、玉米、水稻等收获机械的主动避障系统，解决并拓展了目前现有的只能应用于拖拉机等作业场景的辅助驾驶、只能用于对于静态障碍物的避障及路径规划的避障方法。
49.本发明的主动避障系统是对于现有的基于导航路径规划下的辅助驾驶的安全保护机制，真正实现了收获机械智能化无人作业场景。
50.本发明的建立用户—收获机—平台三方一体化网联模式，解决了目前避障技术单机化、智能化水平不高等问题。
51.本发明通过系统的智能化决策，解决了现有的辅助驾驶过程中人为干预因素较多、不安全等问题，同时通过系统的自我保护机制，确保了安全冗余设计，保证了系统运行的稳定性与安全性。
52.本技术方案不局限于收获小麦、玉米、水稻等场景，可以移植应用与收获场景相似的拖拉机等各类农用机械；主动避障系统架构所使用的各单元、模块如：核心计算单元160、智能显示单元140、整车控制单元150、导航控制单元120等着重于功能实现，不局限于某一特定的规格型号产品。
53.在另一实施例中，如图6所示，收获机械无人驾驶主动避障系统控制逻辑图，无人驾驶主动避障系统在确认导航单元、双目摄像头、整车can通信正常后开始工作。双目摄像头采集到的数据输入到核心计算单元160进行算法处理，当检测到动态障碍物后检测车辆
工作状态，当车辆为行走状态时发出信号，通过显示单元、导航单元控制收获机停车，同时将报警信号传递至平台。当障碍物移除后，检测车辆工作状态，若为停车状态，发出信号控制收获机继续前进。可以通过平台强制解除报警信号，通过显示单元、导航单元将信息传递至整车控制收获机继续前进。同时系统设置心跳检测保护机制，当无法接收到双目摄像头持续发送的心跳信号后，判定通讯异常，控制收获机停车。
54.在某一实施例中，如图2所示，一种无人收获机的避障控制系统，包括：图像采集模块1101、深度值计算模块1102、识别模块1103、同步模块1104和控制模块1105；所述图像采集模块1101用于通过双目摄像头实时采集无人收获机预设区域的图像数据；所述深度值计算模块1102用于根据所述图像数据获取目标动态障碍物的深度值；所述识别模块1103用于通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物的识别结果信息；所述同步模块1104用于将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值；所述控制模块1105用于根据所述同步后的识别结果信息和深度值，控制无人收获机进行对应的避障响应机制。
55.本方案通过训练后的yolov5模型对所述图像数据进行处理，获得目标动态障碍物的识别结果信息，将所述识别结果信息和所述深度值进行时间戳同步，输出同步后的识别结果信息和深度值，根据所述同步后的识别结果信息和深度值，控制无人收获机进行对应的避障响应机制，可以适用于小麦、玉米、水稻等收获机械的主动避障，有效拓展了目前现有的只能应用于拖拉机等作业场景的辅助驾驶、只能用于对于静态障碍物的避障及路径规划的避障方法。
56.解决了辅助驾驶过程中人为干预因素较多、不安全等问题，真正实现了全程无人化收获作业。通过建立人—机—平台一体化网联的信息交互模式，解决了目前避障技术单机化、智能化水平不高等问题。
57.通过系统的智能化决策，解决了现有的辅助驾驶过程中人为干预因素较多、不安全等问题，同时通过系统的自我保护机制，确保了安全冗余设计，保证了系统运行的稳定性与安全性。
58.可选地，在一些实施例中，所述深度值计算模块1102具体用于通过特征匹配数据对所述图像数据中的左视图灰度图像和右视图灰度图像进行关联；通过关联后的图像数，结合时差算法和三角测量算法，获得视差图；根据所述视差图获得目标动态障碍物的深度值。
59.可选地，在一些实施例中，还包括：模型训练模块，用于通过构建包括多种动态障碍物图像信息的训练数据库；通过所述训练数据库中的多种动态障碍物图像信息对yolov5模型进行训练，获得训练后的yolov5模型。
60.可选地，在一些实施例中，还包括：数据集扩大模块，用于通过数据增强方法扩大所述训练数据库中的训练数据量。
61.可选地，在一些实施例中，还包括：优化模块，用于将所述训练后的yolov5模型移
植到无人收获机中的核心计算单元160中，通过tensorrt工具对yolov5模型进行优化，获得优化后的yolov5模型；所述识别模块具体用于通过优化后的yolov5模型对所述图像数据进行处理。
62.可选地，在一些实施例中，还包括：控制模块1105，用于根据所述识别结果信息发出报警信号；根据所述报警信号控制所述无人收获机的报警装置110发出声光报警；并控制所述无人收获机的控制行走电磁阀170进行停车动作；其中，所述无人收获机还包括：报警装置和控制行走电磁阀。
63.可选地，在一些实施例中，所述控制模块具体用于当识别到所述目标动态障碍物从预设区域移除时，则解除所述报警信号，并控制所述报警装置110停止声光报警。
64.在一些实施例中，如图3所示及如图5所示，主动避障装置包括：在收获机驾驶室内前部安装双目立体视觉摄像头130，采集并输出收获机前视图像数据。在驾驶室控制箱内安装核心计算单元160，接收双目摄像头输出的图像数据并进行算法处理，识别出动态障碍物信息，并输出报警信号。在驾驶室副座椅下方安装整车控制单元150，接收指令控制整车动作。在驾驶室外顶部安装导航控制单元120，对于收获机无人驾驶进行路径规划等并进行避障的决策与判断。在驾驶室顶部安装报警装置110，接收信号后进行报警。行走机构采用行走电磁阀170进行控制，控制整车动作。在驾驶室内部扶手箱上安装智能显示单元140，用于收获机与云平台的智能网联通讯与人机交互。
65.可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部可选实施方式。
66.需要说明的是，上述各实施例是与在先方法实施例对应的产品实施例，对于产品实施例中各可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。
67.在一些实施例中，目前现有的无人驾驶农机对于静态障碍物的处理机制为人工打点，规划无人驾驶路径进行绕行，对于动态障碍物实施主动避障，在对于动态障碍物的检测及处理中，根据所使用的传感器种类可以将障碍物检测分为基于超声波、毫米波雷达、激光雷达、机器视觉以及多传感器融合等方法的相关技术。
68.基于激光雷达的避障系统，在拖拉机上加装自动导航系统，平台搭载激光雷达、北斗等传感器用来感知外界环境，其中，激光雷达感知障碍物信息，北斗系统获取拖拉机位置信息，并基于激光雷达所感知的障碍物信息进行路径规划，该系统目前适用于对于静态障碍物的处理，激光雷达无法对于障碍物进行有效判断，在规划路径上有遮挡即判定为障碍物进行绕行。
69.机器视觉避障方法是使用摄像头与超声波、毫米波雷达结合，通过摄像头输入的图像进行障碍物识别，通过超声波或毫米波进行测距，但是使用超声波或毫米波雷达测距同样会产生对于玉米、水稻、小麦等作物误判为障碍物的情况，同时无法将障碍物和图像识别结果很好的进行匹配对应，影响对于障碍物的判断。
70.读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示
意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
71.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。
72.上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
73.以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。