一种无人驾驶采棉机垄线识别方法及其应用

本发明涉及无人驾驶采棉机，特别是涉及一种无人驾驶采棉机垄线识别方法及其应用。

背景技术：

1、在传统的棉花采摘过程中，人工操作存在着一系列问题，包括劳动强度大、效率低下、危险性等。为了提高生产效率、减少人为误差、弥补劳动力短缺，无人驾驶采棉机应运而生。

2、然而，无人驾驶采棉机在实际作业中面临着如下的挑战，即棉花垄线的表现特征随季节的变化而变化，从播种、生长到成熟，每个时间段有着不同程度识别难度同时棉花成熟期的垄线数据比较有限，导致棉花垄线识别的数据集比较有限；在采棉机采棉过程由于棉花本身的颜色和生长密度等因素，如果利用传统的识别算法很难达到一个准确的识别效果。由于棉花的生长周期较长和在不同阶段垄线识别难度不同需要制备相应的数据集进行标注训练，制作数据集如何来确保垄线识别出更象一条直线且能应对棉花不同生长周期的识别难度，从而根据识别出的棉花垄线来进行准确的路径规划，减少对棉花的不必要机械损害，从而提高采摘效率。

3、在农业机械中进行垄线的检测已经有一些方法。传统计算机视觉方法依赖于计算机技术，如边缘检测、图像分割、特征提取等。通过分析图像中的垄线特征来进行识别，这种算法相对简单易于理解不需要大量的标注数据，但是这种方法对于复杂的垄线形状和环境变化不敏感。深度学习方法利用深度神经网络来学习图像特征并进行垄线识别，这种方法具有较高的识别准确性，但是依赖大量的数据集进行训练，模型比较复杂。

4、《基于hough变换和fisher准则的垄线识别算法》（中国图象图形学报,2007,(12):2164-2168.）采用传统计算机方法研究了基于早期油菜垄田导航的视觉系统，通过 hough变换直接提取单垄线。针对hough 变换提取多直垄段的缺陷，提出了基于 hough 变换和fisher准则函数优化的多垄识别模型。其试验结果表明，该算法能够避免较大杂草、断垄等影响，系统具有较高准确性、鲁棒性和适应性。但其算法计算量较大，还需改进。

5、《基于直线检测技术的垄线识别方法研究》（哈尔滨工程大学,2015.）采用深度学习方法提出的基于直线检测技术的垄线识别方法研究虽然基于改进的垂直投影法解决单垄线识别问题实现了多垄线识别，但是没有加入模型自适应优化，无法解决让模型自适应棉田识别的问题。

6、利用3d雷达识别垄线采用混合方法（goetz kt, soitinaho r, oksanen t.ploughing furrow recognition for onland ploughing usinga 3d-lidar sensor.computers&electronics in agriculture. 2023;210:n.pag. doi:10.1016/j.compag.2023.107941）可以达到86%以上的垄线识别率，但是无法解决模型的自适应优化和提高准确率。

7、此外，农业领域中，垄线的位置和形状通常受到一定的物理约束和规律的限制，例如植被的生长模式、土壤的性质等。这些物理约束和规律可以为垄线检测提供重要信息，但传统方法往往难以充分整合这些信息。

技术实现思路

1、本发明的目的是针对现有垄线识别方法无法满足无人驾驶采棉机应用需求的缺陷，而提供一种无人驾驶采棉机垄线识别方法，该方法基于物理信息神经网络pinn，是一种多时间尺度融合和迁移学习的无人驾驶采棉机垄线识别方法。

2、本发明的另一个目的，是提供上述无人驾驶采棉机垄线识别方法在路径规划中的应用。

3、为实现本发明的目的所采用的技术方案是：

4、一种无人驾驶采棉机垄线识别方法，包括以下步骤：

5、步骤1：采集春季和夏季的棉田图片，并对棉田图片中的垄线进行标注，组合成春夏季垄线数据集；

6、步骤2：建立垄线识别算法模型，并应用步骤1建立的春夏季垄线数据集进行训练；

7、步骤3：采集秋季和冬季的棉田图片，并对棉田图片中的垄线进行标注，组合成秋冬季垄线数据集；

8、步骤4：采集采棉作业过程中的棉田图片，并将其输入训练好的垄线识别算法模型进行识别，输出识别结果；

9、步骤5：将步骤3获得的秋冬季垄线数据集和步骤4获得的识别结果与步骤1的春夏季垄线数据集合并，组成扩充数据集；使用扩充数据集对步骤2训练好的垄线识别算法模型进行优化训练；

10、步骤6：采棉作业过程中，应用优化后的垄线识别算法模型进行垄线识别；同时持续获取采棉作业过程中的棉田图片，重复步骤4和步骤5，不断扩充数据集，对垄线识别算法模型不断优化，实现垄线识别算法模型的自适应改进。

11、在上述技术方案中，步骤2中，所述垄线识别算法模型包括输入层、隐藏层、激活函数、输出层、损失函数和优化器。

12、在上述技术方案中，所述隐藏层采用sigmoid激活函数。

13、在上述技术方案中，所述损失函数包括数据误差项和物理误差项。

14、在上述技术方案中，所述损失函数如公式（2）至公式（4）所示：

15、   （2）

16、 （3）

17、    （4）

18、 其中， 表示总损失函数；表示数据误差项，表示垄线图片标注后标注框中心点坐标，表示垄线图片标注后标注框中心点坐标，表示垄线图片标注后标注框宽度，表示垄线图片标注后标注框高度，表示垄线图片识别后标注框中心点坐标，表示垄线图片识别后标注框中心点坐标，表示垄线图片识别后标注框宽度，表示垄线图片识别后标注框高度；

19、其中，表示物理误差项，采用二维多项式表示垄线的形状，以图片左下角为坐标原点，其中表示该点在图片上的实际横坐标，表示该点在图片上的实际纵坐标，其中表示该图所识别的垄线点集合中的一个点中的横纵坐标；和为该图所识别的垄线对应直线方程的参数；表示该图片识别出的垄线的集合；表示该图上所识别的所有点的集合。

20、在上述技术方案中，所述优化器采用adam优化器。

21、在上述技术方案中，步骤4中，训练好的垄线识别算法模型通过云平台下发到无人驾驶采棉机；

22、无人驾驶采棉机上的摄像头采集采棉作业过程中的棉田图片，并将其输入训练好的垄线识别算法模型进行识别，输出识别结果，并将识别结果上传至云平台。

23、在上述技术方案中，步骤5中，优化训练次数采用自递增的模式，将每次训练得到的模型直接用于验证，对验证的结果进行可视化显示，通过对比每次训练后的结果来确定当下数据集所对应的最佳训练迭代次数。

24、本发明的另一方面，无人驾驶采棉机垄线识别方法在路径规划中的应用。

25、在上述技术方案中，无人驾驶采棉机上配置有惯导装置和触觉传感器；所述惯导装置获取无人驾驶采棉机的位姿信息；所述触觉传感器获取采棉作业过程中采头的压力电信号；路径规划过程中，将所述无人驾驶采棉机垄线识别方法识别的垄线位置与位姿信息和压力电信号进行融合，实现路径规划的实时调整。

26、与现有技术相比，本发明的有益效果是：

27、1.本发明提供的无人驾驶采棉机垄线识别方法，采用基于物理信息神经网络的垄线识别算法模型，该模型在一定程度上减少对标注数据的需求，因为它们利用了物理方程来辅助学习，从而提高了垄线识别的准确性；

28、2.本发明提供的无人驾驶采棉机垄线识别方法，其采用的基于物理信息神经网络的垄线识别算法模型具有自适应性，可以在不同的农田环境中进行适应和优化。这意味着无人驾驶采棉机不需要在每个农田中重新调整参数或规则，而可以根据具体的环境特征自动调整，提高了系统的鲁棒性和适应性；

29、3.本发明提供的无人驾驶采棉机垄线识别方法，通过数据迁移学习和采用将模型识别后的图片扩充数据集解决数据集有限和模型自适应优化问题从而优化提高采摘效率，减少损害。随着这一技术的不断发展和完善，可以期待无人驾驶采棉机发挥越来越重要的作用，为农业生产带来更大的效益和可持续性。