一种基于在线视频检测的苹果识别方法

本发明涉及图像识别，尤其是一种基于在线视频检测的苹果识别方法。

背景技术：

1、精准快速的果实识别是未来机器人自动化和智能化发展的一个重要瓶颈。基于深度学习的目标识别是目前果实检测的一个重要方法，但是在果园环境下面临光照、遮挡等问题，并且检测严重依赖于硬件，需要较高的费用。另一方面，目前果实检测针对的对象都是图像，考虑到后期将会结合机械臂完成果实采摘的任务，因此在线的视频检测将会变得更有意义。

技术实现思路

1、本发明要解决的技术问题是提供一种基于在线视频检测的苹果识别方法，能够解决现有技术的不足，通过使用更加轻便的网络，即用少的网络层结构、参数、计算量，解决果实在线识别过程中的精度和速度问题。

2、为解决上述技术问题，本发明所采取的技术方案如下。

3、一种基于在线视频检测的苹果识别方法，包括以下步骤：

4、s1：基于相机获取苹果识别的在线视频；

5、s2：进行图像处理得到高清晰度视频信息；

6、s3：进行果实特征提取，以提高检测速度和精度；

7、s4：进行图像大小裁剪；

8、s5：对网络空间进行特征提取，在深度和广度方面对网络特征提取进行加强；

9、s6：加强网络浅层和深层交互，提取特征图信息；

10、s7：对网络进行可视化输出及输出的网络性能参数的调整，构建网络的结构；

11、s8：利用网络训练权重文件并基于该权重输出识别结果。

12、作为优选，步骤s1中，基于robot operation system搭建基于zed相机包提取在线视频信息流并对果实进行检测。

13、作为优选，步骤s2中，在果园环境下提取果实训练数据集，对图形进行镜像翻转、调亮及调暗，增加数据集数量；基于高斯滤波进行图像平滑处理，基于二值化方法进行图像强度处理。

14、作为优选，步骤s3中，构建多路并行深度可分离模块进行果实特征提取，采用重参数化理论和深度可分离技术，多路并行深度可分离模块由上下两层组成，上层采用identity、3*3的卷积模块和1*1的卷积模块组成，用于加强提取网络特征，并提升网络提取的感受野，下层采用identity、1*1的模块组成，用于拓展网络的通道数。

15、作为优选，步骤s4中，构建并行深度可分离下采样模块进行图像大小裁剪；并行深度可分离下采样模块由两层组成，第一层用于对网络层进行下采样，采用两个并行maxpool2d，第二层采用两个并列的3*3调整网络通道数，用于通道拓展。

16、作为优选，步骤s5中，采用simsppf网络对图像空间特征进行提取，采用csp模块将提取特征进行合并。

17、作为优选，步骤s6中，在主干特征提取网络的多个提取层将提取后的体征作为一支输出特征，在后续加强特征提取层逐层进行利用concat函数连接到加强特征网络中。

18、作为优选，步骤s7中，对网络的调整包括在网络后端加载grad-cam网络层进行网络可视化，根据可视化结果可以看到的网络识别依据位置改善训练的结果并调整网络结构。

19、作为优选，步骤s8中，构建卷积神经网络进行训练得到权重参数，并将相机识别节点、卷积神经网络融合进robot operation system中，并基于zed相机在线检测得到果实识别结果。

20、采用上述技术方案所带来的有益效果在于：本发明公开了一种快速准确苹果识别的方法，通过使用更加轻便的网络，即用少的网络层结构、参数、计算量，提高了果实在线识别过程中的精度和速度，解决了野外环境下苹果受到遮挡、光照影响难以在线准确快速识别的问题。

技术特征：

1.一种基于在线视频检测的苹果识别方法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s1中，基于robot operation system搭建基于zed相机包提取在线视频信息流并对果实进行检测。

3.根据权利要求2所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s2中，在果园环境下提取果实训练数据集，对图形进行镜像翻转、调亮及调暗，增加数据集数量；基于高斯滤波进行图像平滑处理，基于二值化方法进行图像强度处理。

4.根据权利要求3所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s3中，构建多路并行深度可分离模块进行果实特征提取，采用重参数化理论和深度可分离技术，多路并行深度可分离模块由上下两层组成，上层采用identity、3*3的卷积模块和1*1的卷积模块组成，用于加强提取网络特征，并提升网络提取的感受野，下层采用identity、1*1的模块组成，用于拓展网络的通道数。

5.根据权利要求4所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s4中，构建并行深度可分离下采样模块进行图像大小裁剪；并行深度可分离下采样模块由两层组成，第一层用于对网络层进行下采样，采用两个并行maxpool2d，第二层采用两个并列的3*3调整网络通道数，用于通道拓展。

6.根据权利要求5所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s5中，采用simsppf网络对图像空间特征进行提取，采用csp模块将提取特征进行合并。

7.根据权利要求6所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s6中，在主干特征提取网络的多个提取层将提取后的体征作为一支输出特征，在后续加强特征提取层逐层进行利用concat函数连接到加强特征网络中。

8.根据权利要求7所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s7中，对网络的调整包括在网络后端加载grad-cam网络层进行网络可视化，根据可视化结果可以看到的网络识别依据位置改善训练的结果并调整网络结构。

9.根据权利要求8所述的基于在线视频检测的苹果识别方法，其特征在于：步骤s8中，构建卷积神经网络进行训练得到权重参数，并将相机识别节点、卷积神经网络融合进robotoperation system中，并基于zed相机在线检测得到果实识别结果。

技术总结
本发明公开了一种基于在线视频检测的苹果识别方法，包括以下步骤：S1：基于相机获取苹果识别的在线视频；S2：进行图像处理得到高清晰度视频信息；S3：进行果实特征提取，以提高检测速度和精度；S4：进行图像大小裁剪；S5：对网络空间进行特征提取，在深度和广度方面对网络特征提取进行加强；S6：加强网络浅层和深层交互，提取特征图信息；S7：对网络进行可视化输出及输出的网络性能参数的调整，构建网络的结构；S8：利用网络训练权重文件并基于该权重输出识别结果。本发明能够改进现有技术的不足，通过使用更加轻便的网络，即用少的网络层结构、参数、计算量，解决果实在线识别过程中的精度和速度问题。

技术研发人员：张立杰,李娜,张延强,姜海勇,安楠,陈广毅,高笑
受保护的技术使用者：河北农业大学
技术研发日：
技术公布日：2024/2/29