基于神经网络的果园视觉导航路径提取方法与系统

本发明涉及果园视觉自主导航的技术领域，尤其是指一种基于神经网络的果园视觉导航路径提取方法与系统。

背景技术：

我国作为世界上最大的水果生产国之一，水果产业已经成为我国农村经济发展的重要支柱和农民收入的主要来源，特别是在岭南地区，热带水果占据着很大的经济效益。随着人工智能和科技的不断发展，我国正朝着“精准农业”发展，精准农业的发展带动了农业机械向着自动化、智能化发展，自主导航技术作为智能农机装备的关键技术之一，极大地提高了农业机械的田间作业品质和作业效率，有效地降低了农机手的劳动强度。目前，自主导航技术可应用于耕种、灌溉、除草、施肥等生产中，研究自主导航控制技术具有重要意义。导航系统包括环境感知、路径规划和导航控制三部分，其中首要解决问题是环境感知。环境感知技术主要有全球导航卫星系统gnss、机器视觉、激光雷达、毫米波雷达、多传感器融合等。但相比其它的感知技术，视觉导航技术凭借其探测信息广、获取信息完整和价格低廉的特点，是目前主流的导航方法之一，广泛应用于自动驾驶中的局部路径规划问题，该技术的关键在于通过图像处理的方法对导航路径进行可靠、稳定地识别，进而引导农业机械的行进。现有果园环境中，采用传统的图像处理方法易受果树形态不一、环境背景复杂以及光照条件变化等因素的干扰，急需解决。

技术实现要素：

本发明的第一目的在于克服现有技术的缺点与不足，提供一种基于神经网络的果园视觉导航路径提取方法，基于segnet深度学习神经网络模型将果园路况图像转化为路况掩码区图像，在路况掩码区图像的基础上完成果园视觉导航路径提取，通过深度学习的方式提高了果园导航路径识别的准确率，为视觉导航任务提供有效参考。

本发明的第二目的在于提供一种基于神经网络的果园视觉导航路径提取系统。

本发明的第一目的通过下述技术方案实现：基于神经网络的果园视觉导航路径提取方法，包括以下步骤：

s1、利用微软kinect2深度相机进行数据采集，拍摄大量果园路况图像；

s2、利用程序对步骤s1采集的数据进行预处理，包括数据增强、语义分割和生成标签图像；

s3、基于tensorflow框架搭建segnet深度学习神经网络模型，该segnet深度学习神经网络模型包括编码部分和解码部分，且编码与解码之间呈一种对称关系；

s4、训练已经搭建成功的segnet深度学习神经网络模型，训练前设置模型参数，包括单次迭代样本数、丢弃率、初始学习率、学习率衰减系数为、最小学习率和训练周期；

s5、基于训练成功的segnet深度学习神经网络模型识别果园路况信息，生成路况掩码区并保存对应特征，从保存的路况掩码区中提取左右侧边缘信息点，利用左右侧边缘信息点的特征进行导航路径拟合。

进一步，所述步骤s1包括以下步骤：

s101、微软kinect2深度相机通过支架安装于履带底盘车上盖，横向位于履带底盘车箱体中轴线，拍摄方向为机体前方；

s102、图像采集时通过施加固定的pwm脉冲于履带底盘车的控制电机，让履带底盘车匀速行驶，模拟履带底盘车的正常作业状态；

s103、微软kinect2深度相机通过usb数据线与笔记本连接，在履带底盘车匀速行驶过程中采集果园路况数据图像并及时存储于笔记本电脑中。

进一步，所述步骤s2包括以下步骤：

s201、使用labelme软件对采集的果园路况图像进行语义分割，将每一张图像中的路况区域标注，生成对应的标签图像；

s202、对标签图像和原始图像在图像坐标系中做数据增强处理，包括：①原始图像和标签图像都需要旋转90度、180度、270度；②原始图像和标签图像都需要在图像坐标系沿y轴做镜像处理；③原始图像做模糊处理；④原始图像做光照调整处理；⑤原始图像做增加噪声处理；

s203、基于预处理后的图像，随机选取一些图像制作果园路况数据集。

进一步，在步骤s3，在win10系统下，基于tensorflow框架搭建segnet深度学习神经网络模型，该segnet深度学习神经网络模型包括编码部分和解码部分；编码部分由4层上采样组成，其用于提取特征并保存池化索引，通过改动vgg-16模型的前13层卷积网络来实现，与vgg-16不同的是，segnet深度学习神经网络模型删除了vgg-16的全连接层，并多了一步保存maxpooling索引的操作，使segnet深度学习神经网络模型框架变小，更容易训练；解码部分由4层下采样组成，是一个反卷积的过程，通过反卷积使得图像分类后特征得以重现并还原到图像原始尺寸，最后使用softmax函数输出不同分类的最大值，得到最终分割图。

进一步，在步骤s4，在win1064位操作系统下，训练搭建成功的segnet深度学习神经网络模型，训练前设置模型参数，其中单次迭代样本数为4，丢弃率为0.5，初始学习率为0.001，学习率衰减系数为0.1，最小学习率为1×10^-4，进行50个周期的训练；通过观察准确率和损失率确保模型的准确性，其中segnet深度学习神经网络模型训练和验证的准确率随训练周期的增加逐渐提高，并慢慢向“1”收敛；segnet深度学习神经网络模型训练损失率和验证损失率，随着周期次数的增加不断下降，收敛于“0”为最佳效果。

进一步，所述步骤s5包括以下步骤：

s501、从预处理后的数据中随机选取果园路况图像，利用训练成功的segnet深度学习神经网络模型识别果园路况特征，将图像中周围背景与果园路况区域分离，得到需要的路况掩码区域，最后将对应的路况掩码区域保存；

s502、将得到的路况掩码区域经过二值化处理后，能够让路况区域的像素变为255即为白色，环境区域的像素变为0即为黑色；逐行扫描图像像素，对于某个位置本身像素值为255，如果其前一个位置像素值为0，下一个位置的像素值为255，则认为该位置点为左侧边缘信息点；同理，某个位置本身像素值为255，如果其前一个位置像素值为255，下一个位置的像素值为0，则认为该位置点为右侧边缘信息点；这样就能够找到处于同一行上左右侧边缘信息点，将它们对应的像素坐标分别记录下来；

s503、处理完一张图像的路况掩码区域后，将会得到左右侧边缘信息点的一组像素坐标数据，分别遍历各组数据，将对应行上的左右侧边缘信息点像素坐标加权平均，左右侧权重均为0.5，即可得到同一行上的路况拟合中点坐标；

其中，第i个拟合中点坐标表达式为：

式中，(xi,m,yi,m)为第i个拟合中点像素坐标，(xi,l,yi,l)为第i个左侧边缘信息点像素坐标，(xi,r,yi,r)为第i个右侧边缘信息点像素坐标；

s504、将所有的拟合中点像素坐标保存下来，然后以像素点的横坐标为自变量，以纵坐标作为因变量，把左右侧边缘信息点和拟合中点在原图上用画图函数画出，即可得到需要的路况左右边界线以及提取的路况导航路径。

本发明的第二目的通过下述技术方案实现：基于神经网络的果园视觉导航路径提取系统，包括：

图像采集模块，用于采集果园路况信息，制作神经网络训练的数据集，这部分需要微软kinect2深度相机、履带底盘车和笔记本电脑硬件设备，其中微软kinect2深度相机固定在履带底盘车上，通过usb数据线和笔记本电脑通讯，相机每隔一秒的采样时间保存一幅果园路况图像；

图像预处理模块，基于图像采集模块的数据集制作训练的图像数据，剔除拍照模糊的图像，利用程序对挑选的图像进行数据增强，包括反转、模糊化、噪声处理和光照调整，突出果园路况明显的特征信息；然后使用labelme软件对增强后的图像进行路况标注，生成标签图像；

神经网络模型模块，用于训练图像，提取果园路况信息，生成路况掩码区域；其中，基于tensorflow框架搭建segnet深度学习神经网络模型，不断调整模型参数，使模型的效果达到最佳，所述segnet深度学习神经网络模型的评价标准是准确性和损失率，其中准确性需要趋近于“1”，损失率需要趋近于“0”；利用训练好的segnet深度学习神经网络模型预测图像预处理模块处理后的图像，看最终的训练效果并生成路况掩码区域加以保存；

提取导航路径模块，基于保存的路况掩码区域，使用逐行扫描像素点的方式提取左右侧边缘信息点，将对应行上的左右侧边缘信息点加权平均，得到同一行上的拟合中点，其中左右权重为0.5；根据左右侧边缘信息点以及拟合中点，利用画图函数在原图上画出，得到需要的路况左右边界线以及提取的路况导航路径。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明基于神经网络，提高了复杂多变的果园路况图像的识别率，成功提取每张图像的导航路径。

2、搭建简单的segnet深度学习神经网络模型，通过训练与测试将果园路况与背景环境分离，让农业机器人准确地识别路况信息并生成路况掩码区，然后基于二值化路况掩码区提取左右侧边缘信息点，拟合路况中线，能够顺利提取需要的导航路径。

3、本发明的技术流程能够避免传统方法识别果园路况图像准确率低，提取导航路径失败的问题，提高了农业机器人在果园中导航地实时性与准确性。

附图说明

图1为本发明方法的流程图。

图2为本发明系统的架构图。

图3为路况左右边界线以及拟合的导航路径提取流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

在实施之前需要一定的设备基础，具体设备如下表所示：

参见图1所示，本实施例所提供的基于神经网络的果园视觉导航路径提取方法，包括以下步骤：

s1、利用微软kinect2深度相机进行数据采集，拍摄大量果园路况图像，通过usb数据线传入并存储于笔记本电脑中，具体过程如下：

s101、微软kinect2深度相机通过支架安装于履带底盘车上盖，横向位于履带底盘车箱体中轴线，拍摄方向为机体前方；

s102、图像采集时通过施加固定的pwm脉冲于履带底盘车的控制电机，让履带底盘车匀速行驶，模拟履带底盘车的正常作业状态；

s103、微软kinect2深度相机通过usb数据线与笔记本连接，在履带底盘车匀速行驶过程中采集果园路况数据图片并及时存储于笔记本电脑中。

s2、利用程序对步骤s1采集的数据进行预处理，包括数据增强、语义分割和生成标签图像，具体过程如下：

s201、使用labelme软件对采集的果园路况图像进行语义分割，将每一张图像中的路况区域标注，生成对应的标签图像；

s202、对标签图像和原始图像在图像坐标系中做数据增强处理，包括：①原始图像和标签图像都需要旋转90度、180度、270度；②原始图像和标签图像都需要在图像坐标系沿y轴做镜像处理；③原始图像做模糊处理；④原始图像做光照调整处理；⑤原始图像做增加噪声处理；

s203、基于预处理后的图像，随机选取一定图像制作果园路况数据集。

s3、在win10系统下，基于tensorflow框架搭建segnet深度学习神经网络模型，该segnet深度学习神经网络模型包括编码部分和解码部分，编码与解码之间呈一种对称关系；编码部分由4层上采样组成，其用于提取特征并保存池化索引，通过改动vgg-16模型的前13层卷积网络来实现，与vgg-16不同的是，segnet深度学习神经网络模型删除了vgg-16的全连接层，并多了一步保存maxpooling索引的操作，使segnet深度学习神经网络模型框架变小，更容易训练；解码部分由4层下采样组成，是一个反卷积的过程，通过反卷积使得图像分类后特征得以重现并还原到图像原始尺寸，最后使用softmax函数输出不同分类的最大值，得到最终分割图。

s4、在win1064位操作系统下，训练已经搭建成功的segnet深度学习神经网络模型。训练前设置模型参数，其中单次迭代样本数为4，丢弃率为0.5，初始学习率为0.001，学习率衰减系数为0.1，最小学习率为1×10^-4，进行50个周期的训练；通过观察准确率和损失率确保预测模型的准确性，其中模型训练和验证的准确率随训练周期的增加逐渐提高，并慢慢向“1”收敛；模型训练损失率和验证损失率，随着周期次数的增加不断下降，收敛于“0”为最佳效果。

s5、参见图3所示，基于训练成功的segnet深度学习神经网络模型识别果园路况信息，生成路况掩码区并保存对应特征，从保存的路况掩码区中提取左右侧边缘信息点，利用左右侧边缘信息点的特征进行导航路径拟合，具体过程如下：

s501、从预处理后的数据中随机选取果园路况图像，利用训练成功的segnet深度学习神经网络模型识别果园路况特征，将图像中周围背景与果园路况区域分离，得到需要的路况掩码区域，最后将对应的路况掩码区域保存；

s502、将得到的路况掩码区域经过二值化处理后，能够让路况区域的像素为255(即为白色)，环境区域的像素为0(即为黑色)。逐行扫描图片像素，对于某个位置本身像素值为255，如果其前一个位置像素值为0，下一个位置的像素值为255，则可认为该位置点为左侧边缘信息点；同理，某个位置本身像素值为255，如果其前一个位置像素值为255，下一个位置的像素值为0，则可认为该位置点为右侧边缘信息点，这样就可以找到处于同一行上左右侧边缘信息点，将它们对应的像素坐标分别记录下来；

s503、处理完一张图片的路况掩码区域后，将会得到左右侧边缘信息点的一组像素坐标数据，分别遍历各组数据，将对应行上的左右侧边缘信息点像素坐标加权平均，左右侧权重均为0.5，即可得到同一行上的道路拟合中点坐标；

其中，第i个拟合中点坐标表达式为：

式中，(xi,m,yi,m)为第i个拟合中点像素坐标，(xi,l,yi,l)为第i个左侧边缘信息点像素坐标，(xi,r,yi,r)为第i个右侧边缘信息点像素坐标。

s504、将所有的拟合中点像素坐标保存下来，然后以像素点的横坐标为自变量，以纵坐标作为因变量，把左右侧边缘信息点和拟合中点在原图上用画图函数画出，即可得到需要的路况左右边界线以及提取的路况导航路径。

参见图2所示，本实施例也提供了一种基于神经网络的果园视觉导航路径提取系统，包括：

图像采集模块，用于采集果园路况信息，制作神经网络训练的数据集，这部分需要微软kinect2深度相机、履带底盘车和笔记本电脑硬件设备，其中微软kinect2深度相机固定在履带底盘车上，通过usb数据线和笔记本电脑通讯，相机每隔一秒的采样时间保存一幅果园路况图像；

图像预处理模块，基于图像采集模块的数据集制作训练的图像数据，剔除拍照模糊的图像，利用程序对挑选的图像进行数据增强，包括反转、模糊化、噪声处理和光照调整，突出果园路况明显的特征信息；然后使用labelme软件对增强后的图像进行路况标注，生成标签图像；

神经网络模型模块，用于训练图像，提取果园路况信息，生成路况掩码区域；其中，基于tensorflow框架搭建segnet深度学习神经网络模型，不断调整模型参数，使模型的效果达到最佳，所述segnet深度学习神经网络模型的评价标准是准确性和损失率，其中准确性需要趋近于“1”，损失率需要趋近于“0”；利用训练好的segnet深度学习神经网络模型预测图像预处理模块处理后的图像，看最终的训练效果并生成路况掩码区域加以保存；

提取导航路径模块，基于保存的路况掩码区域，使用逐行扫描像素点的方式提取左右侧边缘信息点，将对应行上的左右侧边缘信息点加权平均，得到同一行上的拟合中点，其中左右权重为0.5；根据左右侧边缘信息点以及拟合中点，利用画图函数在原图上画出，得到需要的路况左右边界线以及提取的路况导航路径。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。