基于计算机视觉与车辆动力学融合的无人驾驶采棉机负荷估计方法

本发明涉及无人驾驶，特别是涉及一种基于计算机视觉与车辆动力学融合的无人驾驶采棉机负荷估计方法。

背景技术：

1、无人驾驶采棉机在实际应用中面临着一些问题，其中，根据采棉的负荷信息合理地规划作业时行走的车速是保证高效率采棉的关键。棉花由于撒种不均匀以及生长因素影响，同一垄线不同区域的棉花密度是不均匀的。在无人驾驶采棉机采棉的过程中，在棉花密度高的区域如果车速快会造成棉花漏采以及堵塞采头等问题，在棉花密度低的区域，如果车速慢，导致喂入量较低，就会拖慢采棉速度。此外，不合适的行走速度也会降低采净率、提高采杂率。因此，在无人驾驶采棉机采棉的过程中，设计一套方案，预估出采棉的负荷，来合理地规划行走车速，兼顾采棉的质量与效率是一个关键的问题。

2、此前，对于预估农机的负荷来调整车速的方法已经有很多种，有基于控制的、基于视觉的，但存在诸如滞后性、不能实时适应棉花密度变化等不足。

3、基于plc控制的联合收割机行走速度自调整控制系统会监测脱粒滚筒轴、籽粒搅龙轴等转速信号以及收割机行走车速驱动电机的传动扭矩信号。通过综合判断，输出相应的步进电机动作，以调节收割机的行走速度。采用的模糊控制技术能够根据检测到的力矩、转速等信号判断机器是否过载，如果过载则降低车速。(刘林,郑玉卿,王超君.基于s7—200全喂入联合收割机行走速度自调整系统研究[j].中国农机化学报,2016,37(10):27-32)这种方法不能预先规划好行走速度，在超过额定负载时，才会调整车速，因此存在一定的滞后性。

4、基于机器视觉的收割机自动控制系统根据作物图像中的谷粒信息计算作物密度，依照设定的喂入量对收割机行走速度进行相应的调节。(蔡雯.基于机器视觉的自动收割机控制系统分析与研究[j].农机化研究,2018,40(11):199-202207)。这种方式只考虑了视觉一种对行走速度的影响因素，并且需要提前预置喂入量，如果运用到采棉过程中不能很好地实时适应喂入量的动态变化。

5、基于机器视觉结合变论域和模糊pid控制算法，通过最大类间方差法提取棉花特征，测算单位面积棉花产量和采棉机采净率，然后构建采棉机采净率梯度边界、变论域模糊pid控制模型和采棉机作业液压调速数学模型。(钟春发,倪向东,韩双蔓等.基于机器视觉采棉机作业速度控制与仿真分析[j].液压与气动,2022,46(02):72-81.)。论文采用otsu自适应阈值算法，计算复杂度过高，对控制器性能要求较高，并且使用在线识别方式，存在一定的延迟。在采棉过程中可能不会快速地调整车速。

6、基于速度自适应的采棉机自动跟行控制系统，将行偏差作为控制器的输入，控制器根据采摘机的速度在线调整pid参数，然后调整后轮的角度，使得采摘机的头部能够自动与棉行对齐，能够较好地适应棉花采摘机行走速度的变化。但是当棉株间断距离较长时，容易跑偏，影响控制效果。这种方式只适用于棉花连续的情况，鲁棒性不强。(he c,wu c,lin,et al.research on auto-follow row assist technology of cotton picker withadaptive speed[c]//202140th chinese control conference(ccc).ieee,2021:3840-3844.)

7、综上，目前需要克服的问题主要有：棉花密度会有变化，需要设计一套方法，适应不同的环境，实时识别棉花密度。但仅仅是通过视觉一种途径还不够，因为视觉方式易受环境影响，并且单视觉方案对采棉负荷的估计精确度不高，还应该结合其他因素共同判断。为了克服上述问题，本发明提出了一种基于计算机视觉与车辆动力学融合的无人驾驶采棉机负荷估计算法。该算法通过视觉识别采棉机前方的棉花密度，结合由于采棉产生的阻力，估算实时的采棉负载，作为规划车速算法的参考因素之一。

技术实现思路

1、本发明的目的是针对现有技术中存在的无人驾驶采棉机行驶过程中面临的速度规划问题，而提供一种基于计算机视觉与车辆动力学融合的无人驾驶采棉机负荷估计方法。

2、为实现本发明的目的所采用的技术方案是：

3、一种基于计算机视觉与车辆动力学融合的无人驾驶采棉机负荷估计方法，包括以下步骤：

4、步骤1，将两条垄线之间的部分划分为多个连续的梯形区域；

5、步骤2，在步骤1得到的多个梯形区域中提取其中一个区域的图片；

6、步骤3，将步骤2提取到的图片转化为灰度图像；

7、步骤4，将步骤3得到的灰度图像进行二值化处理，得到二值化图像；

8、步骤5，对步骤4得到的二值化图像进行形态学开运算以除去细小噪声；

9、步骤6，统计步骤5得到的图像的白色棉花区域的像素点作为目标像素，计算目标像素所占比例a；

10、步骤7，构建车速的观测器，计算由于采棉受到的阻力

11、步骤8，对进行归一化处理；

12、步骤9，将步骤8得到的归一化处理的与步骤6得到的a进行加权融合，计算无人驾驶采棉机负荷w。

13、在上述技术方案中，所述步骤1中，梯形区域通过以下步骤划分：

14、步骤s1，两条垄线分别表示为l1:y＝m1x+b1和l2:y＝m2x+b2；

15、步骤s2，将两条垄线之间的区域划分成等高的n个梯形区域；

16、步骤s3，计算分割点的参数值：

17、

18、其中，ti表示第i个分割点的参数值，i是从0到n的整数，分割点为梯形四个顶点的其中一个点；

19、步骤s4，计算分割点的坐标：将参数值代入直线的参数方程，计算分割点的坐标；

20、对于直线l1，其参数方程为：

21、

22、对于直线l2，其参数方程为：

23、

24、其中，和是直线l1上两个已知点的坐标，和是直线l2上两个已知点的坐标；

25、对于第i个分割点，其坐标为(xi,yi)，可将参数ti代入l1或l2的参数方程得到；

26、步骤s5，由第i个以及第i+1个分割点的坐标，以及l1或l2的参数方程计算梯形区域的四个顶点的坐标。

27、在上述技术方案中，所述步骤4中，二值化处理时，将像素值大于阈值的设置为255代表白色棉花区域，小于阈值的设置为0表示非棉花区域。

28、在上述技术方案中，所述步骤6中，目标像素所占比例a为白色棉花区域的像素点的总和/白色棉花区域与非棉花区域的像素点的总和。

29、在上述技术方案中，所述步骤7中，车速观测器为：其中，m为采棉机质量，为观测到的采棉机加速度，fdrive为采棉机驱动力，θ为采棉机仰角，mgsinθ为坡阻，f为滚动阻力系数，mgf为滚动阻力，vm为车速的观测器估计值，v为车速测量值，为由于采棉造成的阻力,β1为人为设定的观测器增益，β1(vm-v)为其他扰动。

30、在上述技术方案中，

31、fdrive＝g(θpedal,v)

32、

33、β2为人为设定的观测器增益，θpedal是踏板的角度。

34、在上述技术方案中，所述步骤8中，通过

35、

36、对进行“最大-最小归一化”操作，将其数值映射到[0,1]范围，为的归一化数值。

37、在上述技术方案中，所述步骤9中，

38、w＝a*α+b*β

39、其中：a为步骤6得到的目标像素所占比例，α为视觉判断棉花密度的权重,β为车辆动力学分析得到的采棉时受到的阻力的权重，α+β＝1。

40、与现有技术相比，本发明的有益效果是：

41、本发明融合了视觉与动力学，可以精确、稳定地估计采棉负荷，为车速的规划提供了参考依据，在实际采棉过程中可兼顾采棉质量与效率。