基于机器学习的农药喷洒检测方法
【专利摘要】本发明属于数字图像处理及模式识别【技术领域】，具体为一种基于机器学习的农药喷洒检测方法。本发明先在农业作业场景的监控视频中，获取大量务农人员背着农药箱和不背农药箱进行走动的视频,采用较适合刚性物体检测的方法检测农药箱；从视频中各抽取部分图片作为样本，对每个抽取的图片中的农药箱图像进行特征提取，将这些特征组合成特征向量；然后对每幅特征向量用Adaboost的方法进行级联训练，形成一个Adaboost级联分类器，然后将大量的包含或不包含农药箱的图像用该分类器检测图像中是否存在农药箱。本发明具有高实时性和高易实施性，解决了需要实体考察才能判断是否有人在喷洒农药以及农药喷洒效果的弊端。
【专利说明】基于机器学习的农药喷洒检测方法
【技术领域】
[0001]本发明属于数字图像处理及模式识别【技术领域】，具体涉及农业视频监控中的农药喷洒检测方法。
【背景技术】
[0002]农药喷洒检测作为一门跨学科的前沿技术，融合了农业的农药喷洒，计算机行业的图像处理、模式识别、人工智能等多种不同领域的理论知识。在农业场景自动检测和监控农药喷洒领域中有着广阔的应用前景，对农药喷洒检测方法的研究具有重要的实际意义和理论价值。
[0003]农药喷洒检测是在农业场景中检测是否有务农人员在特定区域喷洒农药。在农药喷洒检测方法的研究上，大致有两种思路:一是依赖于务农人员的安排，首先需要务农人员每次在喷洒农药之前进行登记，然后再进行喷洒活动。这种方法不仅繁琐，而且容易忘记了登记，导致不可预料的后果；二是不依赖于先验知识，通过对农药箱进行特征提取，检测监控画面中是否存在农药箱来判断是否有务农人员进行农药的喷洒。围绕这两种思路，产生了一些农药喷洒检测的方法。但迄今为止，农药喷洒检测的实用性、准确性和实时性仍未得到有效的解决。农药喷洒检测有如下几种常用的方法:
1、人工检测
目前最常见的农药喷洒检测方法是人工方法，通常是务农人员根据自己的实际情况来判断是否进行农药喷洒；但每次都需要记录，略为繁琐，不便于管理，而且容易忘记；
2、图像处理技术检测
图像处理技术可以分析植农药箱图像的颜色、纹理等信息，从而快速和准确地检测是否进行农药喷洒，但如果背景跟农药箱比较相似，区分难度比较大，在实际监控场景中光照也容易对图像质量产生影响，影响农药喷洒检测的准确率。
[0004]以上这些农药喷洒检测算法，是比较常用和有效的方法，但都没有特别通用的算法。对于不同的环境，光照，不同的作业背景，效果千差万别。在实际的农药喷洒检测应用中，需要特别区分和选择。
【发明内容】
[0005]本发明的目的在于提供一种具有较好普适性的基于机器学习的农药喷洒检测方法，其能够对不同的作业场景，不同的环境，使用相同的方法进行农药喷洒检测，同时方法具有实用性、准确性和实时性。
[0006]本发明提出的基于机器学习的农药喷洒检测方法，具体步骤如下:
(1)获取农业场景中务农人员背着农药箱喷洒农药的图像
首先在农业场景监控的视频数据中，获取务农人员背着农药箱喷洒农药的图像和工作人员不背农药箱进行走动的图像，将两种图像作为正负样本，组成样本库。
[0007]( 2 )提取图像特征，组成特征向量对于样本库中的带有农药箱的图像提取农药箱的Haar特征；
Haar特征:基于灰度图，特征数量取决于训练样本图像和矩阵大小，通过大量的具有比较明显的haar特征(矩形)的农药箱图像，用模式识别的方法训练出级联分类器。
[0008](3)使用Adaboost训练级联分类器
将步骤(2)所述的Haar特征进行多特征融合，将这些特征线性组合成为一个特征向量，将样本库中所有的农药箱图像的特征向量用Adaboost进行级联训练，即针对不同的训练集训练同一个分类器(弱分类器)，然后把这些不同训练集上的得到的分类器联合起来，构成一个最终的强分类器；
训练系统总体框架，由“训练部分”和“补充部分”构成。依据系统框架，该训练系统可分为以下几个模块:
a.以农药箱/非农药箱样本集为输入，在给定的矩形特征原型下，计算样本积分图，并获得矩形特征值，获得特征集；
b.以特征集为输入，根据给定的弱学习算法，确定阈值，由矩形特征生成对应的弱分类器，获得弱分类器集；
c.以弱分类器集为输入，在训练检出率和误判率限制下，挑选最优弱分类器，使用Adaboost算法训练强分类器；
d.以强分类器集为输入，将其组合为级联部分；
e.补充部分:以非农药箱图片集为输入，组合强分类器为临时的级联分类器，筛选并补充非农药箱样本。
[0009]训练系统框架模型如图4所示。
[0010]训练完成后，得到上述融合的特征向量的级联分类器模型。
[0011](4)对于待检测的农药箱图像，重复步骤(2)
将待检测的农药箱图像按步骤(2)提取特征，然后将这些特征组合成为一个特征向量。
[0012](5)将步骤(4)得到的特征向量使用步骤(3)训练出的级联分类器模型进行分类将待检测的每幅图像的特征向量通过步骤(3)训练出的级联分类器进行计算，计算农
药箱识别的概率，判断图像中是否存在农药箱。
[0013]本发明的积极效果是:
(1)效率高:在视频监控的应用中，实时性是重要的要求之一；本发明能实现对实时监控画面中进行连续计算，实时检测出画面中农药箱的存在。
[0014](2)准确度高:由于农业场景以及不同光线的差异，农药箱的表征各不相同；本发明能针对不同场景不同环境通过机器学习的方法减少上述差异对检测准确度的影响，具有较高的实用性。
[0015](3)便于操作:本发明方法可以配合开发相应的人机界面友好的软件，结合架设在田间地头的摄像头，农户或检测人员只用通过鼠标点击即可完成农药箱检测；避免了人工手动登记等繁琐又容易出错的操作步骤。
【专利附图】
【附图说明】
[0016]图1是本发明基于机器学习的农药箱检测方法的流程框图。
[0017]图2是农药箱的正样本。[0018]图3是农药箱的负样本。
[0019]图4是本发明的训练系统框架模型。
【具体实施方式】
[0020]以下结合附图解释本发明基于机器学习的农药喷洒检测方法的【具体实施方式】，但是应该指出，本发明的实施不限于以下的实施方式。
[0021]实施例1:本发明方法的具体运算步骤如附图1所示，首先在大量农业场景的监控视频中，获取大量正常生长的植物叶片和发生病虫害的植物叶片，采用随机抽样的策略从正常生长的植物叶片和发生病虫害的植物叶片中各抽取部分图片作为样本，对每幅叶片图像提取特征(包括颜色特征、HSV特征、边缘特征和H0G特征)，将这些特征组合成特征向量；然后对每幅叶片图像的特征向量用SVM的机器学习方法进行训练，训练后形成一个分类器，然后将大量的植物叶片图像用这个分类器进行检测，检测植物叶片是否发生病虫害。
[0022](1)获取农业场景中务农人员背着农药箱喷洒农药的图像
从农业场景中获取的大量视频图像，采用随机抽样的策略选取样本，共选出7358张图像，分为存在农药箱和不存在农药箱两类，作为正负样本，其中不存在农药箱的样本5126张，正样本2232张。
[0023]( 2 )提取图像特征，组成特征向量
对于样本库中的带有农药箱的图像提取农药箱的Haar特征，边缘特征。
[0024]Haar特征:基于灰度图，特征数量取决于训练样本图像和矩阵大小，通过大量的具有比较明显的haar特征(矩形)的农药箱图像用模式识别的方法训练出级联分类器。
[0025](3)使用Adaboost训练级联分类器
将步骤(2)所述的特征进行多特征融合，将这些特征线性组合成为一个特征向量，将样本库中所有的农药箱图像的特征向量用Adaboost进行级联训练，基本思想是针对不同的训练集训练同一个分类器(弱分类器)，然后把这些不同训练集上的得到的分类器联合起来，构成一个最终的强分类器。训练系统总体框架，由“训练部分”和“补充部分”构成；依据系统框架，该训练系统可分为以下几个模块:
a.以样本集为输入，在给定的矩形特征原型下，计算样本积分图，并获得矩形特征值；
b.以特征集为输入，根据给定的弱学习算法，确定阈值，由矩形特征生成对应的弱分类器，获得弱分类器集；
c.以弱分类器集为输入，在训练检出率和误判率限制下，挑选最优弱分类器，使用Adaboost算法训练强分类器；
d.以强分类器集为输入，将其组合为级联部分；
e.补充部分:以非农药箱图片集为输入，组合强分类器为临时的级联分类器，筛选并补充非农药箱样本。
[0026]训练完成后，得到上述融合的特征向量的分类器模型。
[0027](4)将待检测的农药箱图像按步骤(2)提取特征，然后将这些特征组合成为一个特征向量。
[0028](5)将步骤(4)得到的特征向量使用步骤(3)训练出的分类器模型进行分类将待检测的每幅图像的特征向量通过步骤(3)训练出的分类器进行计算，计算农药箱识别的概率，判断图像中是否存在农药箱。
[0029]其中，步骤(3 )的级联分类器是一个模型文件，由程序调用，并在内部进行计算，最终返回该目标是农药箱的概率。
【权利要求】
1.一种基于机器学习的农药喷洒检测方法，其特征在于具体步骤如下： (1)获取农业场景中务农人员背着农药箱喷洒农药的图像 首先在农业场景监控的视频数据中，获取务农人员背着农药箱喷洒农药的图像和工作人员不背农药箱进行走动的图像，将两种图像作为正负样本，组成样本库； (2)提取图像特征，组成特征向量 对于样本库中的带有农药箱的图像提取农药箱的Haar特征； Haar特征：基于灰度图，特征数量取决于训练样本图像和矩阵大小，通过大量的具有比较明显的haar特征矩形的农药箱图像，用模式识别的方法训练出级联分类器； (3)使用Adaboost训练级联分类器 将步骤（2)所述的Haar特征进行多特征融合，将这些特征线性组合成为一个特征向量，将样本库中所有的农药箱图像的特征向量用Adaboost进行级联训练，即针对不同的训练集训练同一个分类器即弱分类器，然后把这些不同训练集上的得到的分类器联合起来，构成一个最终的强分类器； 训练系统总体框架，由“训练部分”和“补充部分”构成；依据系统框架，该训练系统可分为以下几个模块： a.以农药箱、非农药箱样本集为输入，在给定的矩形特征原型下，计算样本积分图，并获得矩形特征值，获得特征集； b.以特征集为输入，根据给定的弱学习算法，确定阈值，由矩形特征生成对应的弱分类器，获得弱分类器集； c.以弱分类器集为输入，在训练检出率和误判率限制下，挑选最优弱分类器，使用Adaboost算法训练强分类器； d.以强分类器集为输入，将其组合为级联部分； e.补充部分：以非农药箱图片集为输入，组合强分类器为临时的级联分类器，筛选并补充非农药箱样本； 训练完成后，得到上述融合的特征向量的级联分类器模型； (4)对于待检测的农药箱图像，重复步骤（2) 将待检测的农药箱图像按步骤（2)提取特征，然后将这些特征组合成为一个特征向量; (5)将步骤（4)得到的特征向量使用步骤（3)训练出的级联分类器模型进行分类 将待检测的每幅图像的特征向量通过步骤（3)训练出的级联分类器进行计算，计算农药箱识别的概率，判断图像中是否存在农药箱。
【文档编号】G06K9/62GK103699907SQ201410002727
【公开日】2014年4月2日 申请日期:2014年1月4日 优先权日:2014年1月4日
【发明者】冯瑞, 李斌, 蒋龙泉 申请人:复旦大学