一种甘蔗收获机运行状态的识别预测方法

1.本发明涉及一种甘蔗收获机运行状态的识别预测方法。


背景技术：

2.我国甘蔗种植主要是在南方的丘陵地区，环境复杂，种植区域雨水较多、易受台风影响，甘蔗倒伏情况严重，对于甘蔗收获机负载匹配问题具有极大的挑战。
3.目前甘蔗收获机智能化程度不高，在作业时仅仅依靠操作工人经验判断机器的运行状态，正确率低，难以实现外负载和动力匹配合理，同时也不利于甘蔗收获机械化的发展，甘蔗收获机运行状态与收割甘蔗密度、倒伏情况密切相关，过密、有倒伏都会使收获机关键部位过载，造成物流通道堵塞、收割质量差、机器行驶困难等情况。
4.针对上述问题，现有技术主要从当前收获机某个关键系统的压力等方面进行分析从而对其调整，多数只针对甘蔗收获机某一系统的研究，且是在已发生重载等恶劣情况下进行的调节，机器其他动力系统仍保持不变，智能化程度不高，对甘蔗收获机整机系统匹配和运行状态智能识别预测的研究不足。


技术实现要素：

5.为解决上述技术问题，本发明提供了一种甘蔗收获机运行状态的识别预测方法，该甘蔗收获机运行状态的识别预测方法可使得收获机液压系统动力输出和外负载匹配合理，避免出现重载、轻载情况，实现自适应预测控制，智能化水平得到大幅度的提高。
6.本发明通过以下技术方案得以实现。
7.本发明提供的一种甘蔗收获机运行状态的识别预测方法，包括如下步骤：
8.①
平台的搭建及数据处理：从固定安装在收获机车体上的激光雷达获取点云数据；对相机进行标定以消除相机畸变；对相机与雷达联合标定，实现图像在空间上的同步，并将雷达采集的点云数据和相机传感器时间信息进行匹配；对相机采集到的图像数据进行去噪、增强处理；对雷达采集的点云数据进行坐标系变换，使处理后点云数据的roi区域与图像数据的区域相同。
9.②
目标检测：基于甘蔗特征对yolov5s模型进行改进，提高视觉检测的速率、准确性和鲁棒性；
10.③
视觉与雷达融合检测：为应对收获机复杂多变的作业环境，基于雷达与视觉融合检测甘蔗，将点云数据生成的雷达预测框，与视觉预测框进行关联度匹配，准确识别收获机前方收割甘蔗及其位置，避免甘蔗遗漏。
11.④
匹配分类：采用广义回归神经网络模型对识别甘蔗预测框与收获机运行状况匹配分类，识别预测框为雷达和视觉融合检测甘蔗得到；
12.⑤
预测工况：基于匹配的收获机运行状况分类结果决策甘蔗收获机的关键部位输出。
13.所述关键部位包括行走系统、刀盘系统、风机系统。
14.所述步骤
①
中，对相机与雷达联合标定为，求解相机像素平面的齐次坐标和点云数据坐标系的齐次坐标之间的变换矩阵m。
15.所述步骤
①
中，对雷达采集的点云数据进行坐标系变换为，将雷达采集的点云数据通过变换矩阵m进行三维至二维图像坐标系变换投影到相机图像数据上。
16.所述激光雷达是固态激光雷达。
17.所述步骤
①
中将雷达采集的点云数据和相机传感器时间信息进行匹配采用ros message_filters。
18.所述改进的yolov5s模型为bcsp模块、混合空间金字塔池化h-spp、注意力机制和diou柔性非极大值抑制soft-diou-nms的改进
19.所述注意力机制采用将空间注意机制与通道注意机制相结合的卷积块注意机制。
20.所述广义回归神经网络模型为基于果蝇算法改进得到。
21.所述收获机运行状况分类为：
22.a.i类：当收获机前方甘蔗倒伏成0-30
°
或150
°‑
180
°
时，收获机工况最为恶劣，易出现堵塞情况；
23.b.ii类：当收获机前方甘蔗倒伏成30
°‑
60
°
或120
°‑
150
°
时，收获机工况较为恶劣，易出现重载情况；
24.c.iii类：当收获机前方甘蔗倒伏成60
°‑
75
°
或105
°‑
120
°
时，收获机工况一般，偶尔出现重载情况；
25.d.vi类：当收获机前方甘蔗与地面为75
°‑
105
°
时，收获机工况较为好，收获机运行正常。
26.e.v类：当收获机前方甘蔗密度稀疏，且与地面为75
°‑
105
°
时，收获机工况为轻载。
27.本发明的有益效果在于：可实时判断前方作业情况，识别收获机即将运行状态，即适应预测工况，控制系统通过该信息提前实时控制行驶液压系统、刀盘液压系统和风机系统等系统的输出，使得收获机液压系统动力输出和外负载匹配合理，避免出现重载、轻载情况，实现自适应预测控制，智能化水平得到大幅度的提高。
附图说明
28.图1是本发明至少一种实施方式的流程示意图；
29.图2是本发明中yolov5s模型至少一种实施方式的模型结构示意图；
30.图3是本发明中yolov5s模型至少一种实施方式的bcsp模型结构改进示意图；
31.图4是本发明中yolov5s模型至少一种实施方式的h-spp模型结构示意图；
32.图5是雷达和视觉融合检测算法框架图；
33.图6是本发明中广义回归神经网络模型至少一种实施方式的流程示意图；
具体实施方式
34.下面进一步描述本发明的技术方案，但要求保护的范围并不局限于所述。
35.实施例1
36.如图1～6所示的一种甘蔗收获机运行状态的识别预测方法，包括如下步骤：
37.①
平台的搭建及数据处理：从固定安装在收获机车体上的激光雷达获取点云数
据；对相机进行标定以消除相机畸变；对相机与雷达联合标定，实现图像在空间上的同步，并将雷达采集的点云数据和相机传感器时间信息进行匹配；对相机采集到的图像数据进行去噪、增强处理；对雷达采集的点云数据进行坐标系变换，使处理后点云数据的roi区域与图像数据的区域相同
38.②
目标检测：基于甘蔗特征对yolov5模型进行改进，提高视觉检测的速率、准确性和鲁棒性。
39.③
视觉与雷达融合检测：为应对收获机复杂多变的作业环境，基于雷达与视觉融合检测甘蔗，将点云数据生成的雷达预测框，与视觉预测框进行关联度匹配，准确识别收获机前方收割甘蔗及其位置，避免甘蔗遗漏。
40.④
匹配分类：采用广义回归神经网络模型对识别甘蔗预测框与收获机运行状况匹配分类，识别预测框为雷达和视觉融合检测甘蔗得到；
41.⑤
预测工况：基于匹配的收获机运行状况分类结果决策甘蔗收获机的关键部位输出。
42.实施例2
43.基于实施例1，所述关键部位包括行走系统、刀盘系统、风机系统。
44.实施例3
45.基于实施例1，所述步骤
①
中，对相机与雷达联合标定为，求解相机像素平面的齐次坐标和点云数据坐标系的齐次坐标之间的变换矩阵m。
46.实施例4
47.基于实施例1，所述步骤
①
中，对雷达采集的点云数据进行坐标系变换为，将雷达采集的点云数据通过变换矩阵m进行三维至二维图像坐标系变换投影到相机图像数据上。
48.实施例5
49.基于实施例1，所述激光雷达是固态激光雷达。
50.实施例6
51.基于实施例1，所述步骤
①
中将雷达采集的点云数据和相机传感器时间信息进行匹配采用ros message_filters。
52.实施例7
53.基于实施例1，所述改进的yolov5模型为bcsp模块、混合空间金字塔池化(h-spp)、注意力机制和diou柔性非极大值抑制(soft-diou-nms)的改进。
54.实施例8
55.基于实施例7，所述注意力机制采用将空间注意机制与通道注意机制相结合的卷积块注意机制。
56.实施例9
57.基于实施例1，所述广义回归神经网络模型为基于果蝇算法改进得到。
58.实施例10
59.基于实施例1，所述收获机运行状况分类为：
60.a.i类：当收获机前方甘蔗倒伏成0-30
°
或150
°‑
180
°
时，收获机工况最为恶劣，易出现堵塞情况；
61.b.ii类：当收获机前方甘蔗倒伏成30
°‑
60
°
或120
°‑
150
°
时，收获机工况较为恶劣，
80.式中，矩阵k为相机的内参矩阵，相机生产商已给出或由相机标定实验求解，r，t分别为相机外参矩阵中的旋转矩阵和平移向量，由联合标定实验求解。
81.进一步的，需要通过ros message_filters中的时间同步器完成雷达数据和相机传感器时间信息匹配，使得各传感器在识别和检测甘蔗在同一时间进行。
82.2)对图像数据和点云数据进行预处理
83.结合甘蔗收获机作业环境，只采集收获机前方待收割甘蔗区域，剔除对收获机工况无影响的区域，如例如天空区域、收获机侧方区域，缩小检测范围，提高检测实时性。
84.对相机采集到的视频数据转换成图像数据，经过去噪、增强等处理方式提高识别准确性，从而利用算法进行后续的融合检测。对雷达采集的点云数据通过变换矩阵m进行三维至二维图像坐标系变换，确保雷达数据处理后的roi区域与图像的区域相同，从而确定收割甘蔗的位置信息和状态信息，同时采用voxelgrid滤波器对点云进行降采样处理，适当减少噪点，提升效率的同时，保持足够的点云数量。
85.步骤二：基于甘蔗特征对yolov5s模型进行改进完成目标检测任务
86.基于改进的yolov5s模型的目标检测算法检测收割甘蔗，将步骤二采集处理的大量图片数据进行yolov5s模型识别训练，利用改进的卷积神经网络yolov5s模型进行特征提取和检测甘蔗。yolov5s模型检测模型专为光学图像检测而设计，并不完全适用于收获机检测甘蔗，所以针对检测甘蔗的特点，对yolov5s模型进行bcsp模块、混合空间金字塔池化(h-spp)、注意力机制和diou柔性非极大值抑制(soft-diou-nms)的改进，其改进网络结构如图2所示，采取的具体改进措施为：
87.1)收获机检测甘蔗对检测模型的准确性、实时性和轻量级要求较高，需要对其进行轻量化改进。具体做法为：将yolov5s模型的骨干网络包含的四个bcsp模块进行优化处理，消除原bcsp模块桥分支上的卷积层，将bcsp模块的输入特征图与另一个深度分支的输出特征图直接相连，有效减少了模块中的参数数量，将改进的bcsp模块命名为bcsp_2，并代替原骨干网络中的四个bcsp模块，改进示意图如图3所示。
88.2)在对检测模型轻量化后，检测准确性不可避免受到影响，所以采用混合空间金字塔池化(h-spp)模块代替原spp模块，进一步增强网络的全局上下文信息提取能力，感知特征图的局部和全局内容，并重视甘蔗的特征。h-spp模块聚合了不同内核大小(分别为5
×
5、9
×
9和13
×
13)的最大池化层和平均池化层生成的特征图，如图4所示。输入特征图f
in
经过cbl模块精炼后，同时执行不同内核大小的最大池以生成三个局部感受野特征图，并执行不同内核大小的平均池以生成三个全局感受野特征图，并将生成的6个特征图与cbl模块精炼结果合成最终特征图。具体定义为：
[0089][0090]
式中，conv 1
×1表示1
×
1卷积操作，maxpool表示最大池操作(内核大小分别为5
×
5、9
×
9和13
×
13)，avgpool表示平均池操作(内核大小分别为5
×
5、9
×
9和13
×
13)，表示连接操作。
[0091]
3)为提高甘蔗特征提取和检测能力，基于注意力机制改进yolov5s模型，在骨干网络输出后引入cbam(convolutional block attention mechanism，卷积块注意机制)机制，更详细地分配和处理收割甘蔗图片区域，融合特征。其核心目的是从甘蔗图片信息中心中选择对收获机工况影响最大的关键信息，而忽略如杂草、脱落甘蔗叶等其他相对不重要的
信息。
[0092]
cbam将空间注意机制(spatial attention module，sam)与通道注意机制(channel attention module，cam)相结合，在很小的时间成本内实现精度的大幅提高，cbam的模块包含在改进的yolov5s网络结构图中的虚线框中。cbam模块的核心包括椭圆框中的通道注意模块和方框中的空间注意模块，对于cbam机制中的cam模块，首先对对输入的h
×w×
c特征图f
in
分别进行均值池和最大池，得到两个1
×1×
c特征图，然后依次传输到多层感知器(mlp)，在两个特征图之间进行元素相加，然后通过sigmoid函数激活合成的通道信息，得到通道权重特征图，即通道权重矩阵mc，将原始输入f
in
与mc进行元素相乘得到can模块输出特征图f(c
×w×
h)。
[0093]
sam模块的输入为cam的输出，输入特征图f(c
×w×
h)首先进行平均池和最大池以获得两个h
×w×
1特征图，然后对其进行通道拼接，再经过7
×
7卷积，维数为减小到h
×w×
1，最后通过sigmoid函数生成空间注意力特征图，即空间权重矩阵ms，将其与模块的输入f相乘，以获得最终生成的特征f
out
(h
×w×
c)。
[0094]
以上可以定义为：
[0095]fout
＝f
in
⊙
mc⊙ms
[0096][0097][0098]
式中，σ表示sigmod激活函数，
⊙
表示逐元素乘法，表示逐元素求和，表示连接操作，maxpool为最大池化操作，avgpool为平均池化操作，mlp表示通道编码器，f7×7表示卷积核的大小为7
×
7的空间编码器。
[0099]
4)原yolov5s使用的diou_nms考虑了边界框不重合、边界框中心距等因素，但没有考虑置信度得分，对于重叠程度高的多个目标容易出现漏检情况，其计算公式为：
[0100][0101]
式中si为当前类别的置信度得分，iou为预测框和基准框的交并比，rdiou为diou损失函数的惩罚项，μ表示所有预测框中置信度最高的那个框，bi表示当前类别中所有被比较的预测框，ε表示人为设定的阈值，一般取0.5，ρ2(b,b
gt
)是预测框和真实框的中心点的欧氏距离，c为预测框和真实框最小外接矩形的对角线距离。
[0102]
但甘蔗种植过密时，甘蔗之间重叠度较高，diou_nms容易出现漏检现象，对后续的分类预测工况工作造成极大的消极影响，所以采用diou柔性非极大值抑制(soft-diou-nms)进行改进，不仅通过重合程度进行筛选，同时还考虑置信度得分，其计算公式为：
[0103][0104]
soft-diou-nms在重叠程度小于阈值时和普通非极大值抑制是一样的，唯一区别是在重叠程度大于阈值时还要考虑置信度得分，这样即便是重叠程度很高的多根甘蔗也能更完整识别出来。
[0105]
步骤三：基于雷达和视觉融合检测甘蔗收获机前方待收割甘蔗
[0106]
单独依靠视觉检测不足以应对甘蔗种植的复杂环境，面对雷雨、大雾等恶劣天气，基于雷达和视觉融合检测可以充分利用传感器各自的优势，准确识别收获机正前方作业区域甘蔗，提高检测精度和鲁棒性，保证处理所得数据信息与收获机工况相关。
[0107]
雷达和视觉融合检测算法框架如图5所示，具体方法为：
[0108]
1.基于上述改进的yolov5s模型进行检测甘蔗，生成视觉检测的预测框坐标，定义视觉预测框面积为sc。
[0109]
2.将预处理后的甘蔗点云数据通过三维至二维变换矩阵m投影到相机图像数据上即得到雷达目标框，将雷达目标框依据甘蔗特征按一定比例放大得到检测甘蔗的图像感兴趣区域roi，生成雷达检测的预测框坐标，同时获得检测甘蔗与收获机的距离。根据坐标系之间的转换关系，所测甘蔗在图像中生成的雷达检测预测框的位置和大小为：
[0110][0111]
式中，(r，θ)为雷达检测的甘蔗目标位置，(x1，y1)是雷达检测反射到图像区域的中心点，从γ为甘蔗的宽高比，w为甘蔗宽度，(x2，y2)为预测框左上顶点坐标，f为镜头焦距，w和h分别为预测框宽度和高度，d为甘蔗与雷达之间的距离，c是光在真空中的传播速率，约为2.99792458
×
108m/s，t为激光在大气空间中的飞行时间。
[0112]
3.采用信息融合关联算法判断雷达与机器视觉检测的预测框的关联度，关联度越高，两个预测框区域内的目标为同一目标的概率越大，若关联成功，则将视觉检测预测框输出作为融合算法的最终检测目标，若关联失败，则使用adaboost分类器对关联失败的预测框再一次检测。雷达与视觉预测框关联度表示为：
[0113]
|xro-xco|＝δx0＜ε1[0114]
|yro-yco|＝δy0＜ε2[0115]
s/sc＝ε＜ε3[0116]
式中，(xro，yro)为雷达检测预测框的矩阵中心坐标，(xco，yco)为视觉检测预测框的矩阵中心坐标，ε1、ε2和ε3为阈值，s为两个预测框重合的面积。
[0117]
进一步的，对于关联失败的雷达检测预测框，若分类器检测结果为有甘蔗，则表明视觉检测算法漏检，输出该雷达预测框作为融合算法的最终检测目标；若检测结果为无甘蔗，则表明是雷达检测算法误检。
[0118]
对于关联失败的视觉检测预测框，若分类器检测结果为有甘蔗，则表明雷达检测算法漏检，输出该视觉检测预测框作为融合算法的最终检测目标；若检测结果为无甘蔗，则表明是视觉检测算法误检。
[0119]
步骤四：基于果蝇算法改进的广义回归神经网络对预测框与收获机运行状况匹配分类
[0120]
由于甘蔗收获机工况与收割甘蔗的数量以及倒伏等情况有极大的相关性，识别检测甘蔗的预测框即可代表甘蔗数量及姿态，预测框的长宽比可初步估算甘蔗与地面夹角，所以对步骤三检测识别的甘蔗预测框进行分类即可完成收获机工况的分类任务，且相比于对图像分类，处理速度能有极大提高。通过大量的收割试验，可以将收获机与收割姿态对应的运行状态可分为五类，五类运行状态都有相对应的预测框数量及其特征：
[0121]
①
i类：当收获机前方甘蔗倒伏成0—30
°
或150
°‑
180
°
时，收获机工况最为恶劣，易出现堵塞情况；
[0122]
②
ii类：当收获机前方甘蔗倒伏成30
°‑‑
60
°
或120
°‑
150
°
时，收获机工况较为恶劣，易出现重载情况；
[0123]
③
iii类：当收获机前方甘蔗倒伏成60
°‑‑
75
°
或105
°‑
120
°
时，收获机工况一般，偶尔出现重载情况；
[0124]
④
vi类：当收获机前方甘蔗与地面为75
°‑
105
°
时，收获机工况较为好，收获机运行正常。
[0125]
⑤
v类：当收获机前方甘蔗密度稀疏，且与地面为75
°‑
105收获机工况为轻载。
[0126]
采集足够多的图片完成目标检测，提取甘蔗预测框相应特征，并分为五类情况进行foa-grnn模型训练和测试。使用果蝇算法(foa)为广义回归神经网络的核参数寻找最佳光滑因子，分类结果的预测值和实际值的均方根误差(rmse)作为foa优化的目标函数，最佳光滑因子σ代替foa中的味道浓度判定值si，则此时位置浓度函数为smelli＝function(si)＝rmse(σ)，foa-gnss分类器流程图如图6所示，具体步骤步骤为：
[0127]
1)将步骤三识别出的预测框特征分为10份，其中9分为训练集训练模型，1份为测试集作为正样本测试结果。
[0128]
2)通过foa算法对训练集进行grnn模型训练，找出gnrr模型最优平滑因子σ。
[0129]
3)将果蝇种群最终找出的最优光滑因子σ替换到grnn的网络架构中，并将测试样本替换训练集输入到优化后的grnn模型，即可得到分类结果。
[0130]
步骤五：在收获机搭建目标检测及分类系统预测工况，决策甘蔗收获机行走、刀盘、风机等关键部位输出，解决载荷匹配和速度稳定性问题
[0131]
在甘蔗收获机运行中使用检测模型及foa-grnn分类模型对前方甘蔗状态进行分类识别，提前预测收获机运行状态，若判断为i-iii三种情况，则适当降低收获机前进速度、提高刀盘切断速度和风机转动速度等关键部位输出，使得甘蔗切入速度不小于收获机的前进速率；若判断为vi情况，收获机运行正常保持现有速度和输出功率；若判断为v情况，收获机为轻载情况，能量利用率低，适当提高前进速度。最终实现收获机外负载与动力匹配合
理，提高甘蔗收获机收获稳定性以及能量利用率。t+1时刻的前进速率υ和输出功率p变化函数为：
[0132][0133][0134]
式中，wi为不同情况下的速度权重，wi∈(-1，1)，运行正常时取0。ki为不同情况下的功率权重，ki∈(-1，1)，运行正常时取0。