一种基于多特征及支持向量机的植物病虫害检测方法与流程

本发明涉及图像处理、机器学习技术领域，具体涉及一种基于多特征及支持向量机的植物病虫害检测方法。

背景技术：

我国是一个自然灾害、尤其是农作物病虫害频繁发生的农业大国，农作物病虫灾害种类多、频度高、危害大，是农业增产和农产品质量提高的重要制约因素。诊治植物病虫害关系到农业生产安全、农产品质量安全以及生态环境安全，所以植物病虫害检测方法的研究具有非常重要的理论价值和实际意义。

植物病虫害检测作为一门跨学科的前沿技术，融合了农业的植物生长，计算机行业的图像处理、人工智能、机器学习、模式识别等多种不同领域的理论知识。在农业大棚植物病虫害检测领域中有着广阔的应用前景。

植物病虫害检测是判断农业大棚里的植物的叶片在生长过程中是否发生病虫害。在植物病虫害检测方法的研究上，大致有两种思路：一是实际采集相应的植物叶片样本，对植物病虫害进行机理分析，判断其是否具有病虫害；二是利用人工智能、机器学习等计算机分析手段，结合专家数据库，建立植物叶片病虫害模型，实现植物叶片病虫害的检测。

围绕上述这两种思路，产生了一系列植物病虫害检测的方法。传统的植物病虫害检测是由农户或检测员根据实际种植经验实地观测或看照片完成的，虽然具有很高的识别率与识别速度，但是成本高，且人工工作量大、覆盖面不足，因此实现自动化检测对标准化和规范化管理都有重要的意义。第二种方法是化学检测，化学检测主要用于实验室，利用植物叶片的化学成份分析识别病虫害，具有准确可靠的优点，但由于检测设备昂贵，操作复杂，安装调试困难，检测时间长，对普通农户来说不太适用，并没有普遍推广使用。第三种技术是光谱技术检测，光谱图像分析技术是利用光学、化学计量学、计算机技术、光谱数据处理和数据关联技术的综合，实现植物叶片的病虫害分析。光谱能够直接反映分子内部结构和运动状态，特征性强，灵敏度高，在工、农业和科学研究中广泛应用，但这种技术容易受到环境水分的影响。第四种方法是图像处理技术检测，图像处理技术通过分析植物叶片图像的颜色、纹理等信息，从而检测是否有病虫害发生，但由于病虫害种类繁多，图像质量受关照影响较大等原因，无法达到令人满意的检测精度。

目前也存在一些方法用于植物病虫害的检测，如国内郑永军和吴刚等基于模糊模式的蝗虫图像识别方法，采用低空机载蝗虫预警系统技术，使用数码相机采集蝗虫图像，对蝗虫区域和背景的rgb分量平均值进行对比分析，选用超g绝对值法进行灰度转换,实现蝗虫与背景分离。通过面积统计对比，确定单个蝗虫的面积和周长特征，建立单个蝗虫模糊集和粘连重叠蝗虫区域模糊集，采用最大隶属度原则可以判定蝗虫连通区域为单个蝗虫或是存在图像粘连重叠，用模糊识别方法对单个和粘连重叠的区域分别计算数量。还有浙江大学赵芸的基于高光谱和图像处理技术的油菜病虫害早期监测方法和机理研究，以受主要病害菌核病和主要虫害菜青虫危害后的油菜植株为研究对象，提出一套受害油菜叶片关键信息的提取方法：根据病斑像素的高光谱数据提取叶片受病害时长信息；通过将残余叶片复原，获取叶片受虫害程度信息；将数字图像处理技术与高光谱成像技术结合，提取受虫害叶片的完整叶脉，使得对叶脉的研究在不健康叶片上也能展开。国外的ai-hiaryh和bani-ahmads在2011年提出了一种快速且准确识别和分类植物病虫害的方法，在图像分割阶段之后连续添加了两个步骤，在识别了大多数有色像素之后，使用otsu方法计算特定阈值来掩盖这些像素，然后将边界上的受影响的对象的像素完全清除掉，实验结果表明，该算法可以成功地检测和分类检查的疾病，精度在83％和94％之间。温长吉和王生生等在基于改进蜂群算法优化神经网络的玉米病害图像分割一文中，提出一种脉冲耦合神经网络图像分割算法，该算法以最大香农熵和最小交叉熵加权线性组合作为蜂群算法收益度评价函数，通过引入尺度因子调整引领蜂和跟随蜂的解搜索策略，改进后人工蜂群算法与脉冲耦合神经网络相结合,实现网络参数的自动优化调节。在rgb色彩子空间上将该算法用于一组玉米常见病害彩色图像分割，并借鉴利用彩色图像合并策略得到最终病害分割结果。张静、王双喜、董晓志等研究植物病害图像中叶片纹理特征值的提取方法，通过对温室黄瓜斑疹病和角斑病的处理研究发现，利用灰度共生矩阵方法提取出来的惯性值是识别这两种病害较好的特征参量之一。

以上这些植物病虫害检测方法，是比较常用和有效的方法，上述这些方法在一定程度上解决了植物病虫害诊治问题，然而由于植物病虫害种类繁多，应用环境复杂，应用条件受限等问题为检测方法的有效实施带来了很大难度，其实用性和准确性仍不尽如人意。对于不同的环境、光照、病虫害类型，检测效果千差万别。在实际的病虫害检测应用中，需要区分和选择。

无人机即无人驾驶飞机(unmannedaerialvehicle，uav)。它自20世纪初诞生以来，至今已有80多年历史。特别是在电子和航空技术飞速发展的推动下，无人机的发展受到了各国的重视。近年来无人机在民用领域的应用日益广泛，相关技术日渐成熟。民用领域无人机主要以搭载视频传输和数字相机这两类设备为主，数字相机拍摄主要用于城镇、开发区、厂矿等小规模的测绘，其优点是飞行高度低、受天气影响小且精度高。除此之外，无人机作为一种低空探测的平台在科研领域也被广泛使用。因此，无人机在农作物的病虫害防治方面应用前景广阔。

技术实现要素：

本发明的目的在于对已有技术存在的缺陷，提供一种基于多特征及支持向量机的植物病虫害检测方法，对无人机采集到的植物图像预处理后，取其颜色特征、hsv特征、纹理特征、形状特征，送入支持向量机，以实现对植物生长过程中可能出现的病虫害的检测。将多特征融合和支持向量机结合，检测植物病虫害图像，本发明能够对不同的植物，不同的病虫害种类，使用相同的方法进行植物病虫害检测，同时方法具有实时性、准确性、实用性。

为达到上述目的，本发明采用如下技术方案：

一种基于多特征及支持向量机的植物病虫害检测方法，具体步骤如下：

1)图像采集及传输，获取农业场景中大量植物叶片的图像，组成样本集；

2)对于步骤1)中取得的图像进行预处理，包括中值滤波降噪和直方图均衡化；

3)从全部样本中选取一部分构成训练样本集，其余的构成测试样本集；分别对训练样本集中的正常叶片的图像和病虫害叶片的图像做两类标记，作为正负样本；

4)分别从训练样本集和测试样本集的叶片图像中提取多特征，组成特征向量；

5)使用支持向量机训练分类器；

6)提取大量待检测植物叶片图像的多特征，组成特征向量；

7)使用步骤5)训练出的分类器对待检测植物叶片图像进行分类，计算待检测植物叶片分属两类的概率，判断待检测植物叶片是否发生病虫害。

所述步骤1)中的图像采集及传输，具体步骤为：

(1-1)通过安置于无人机上的arm开发板，控制一体式云台相机同步或异步采集农业场景中植物叶片图像，并存储在sd卡中；

(1-2)将arm开发板中的qt程序作为客户端，通过无线模块将采集的图像通过tcp/ip协议里的socket套接字传输到服务器端；客户端将图像以字节流的形式传输到服务器端，服务器端再将字节流转换为图像。

所述步骤3)中对训练样本集中的图像做两类标记，分别给所有图像标以正确的标签，正常图像标记为0，病虫害图像标记为1。

所述步骤2)中的图像预处理，具体步骤为：

(2-1)对图像采用3×3中值滤波降噪，将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值；

(2-2)对图像采用直方图均衡化处理，扩展像原取值的动态范围，提高对比度和灰度色调的变化，使图像更加清晰。

所述步骤4)中的提取多特征包括颜色特征、hsv特征、纹理特征、形状特征，具体步骤为：

(4-1)对预处理后的图像做颜色特征提取，颜色特征中的颜色用rgb色彩模型来表示，获取图像每个像素点绿色分量的像素值构造颜色直方图，并进行量化、归一化，从而得到图像的颜色特征；

(4-2)对预处理后的图像做hsv特征提取，首先将rgb色彩模型转换为hsv色彩模型，分别构造色调、饱和度、亮度直方图，并分别进行量化、归一化，从而获得图像的hsv特征；

(4-3)对预处理后的图像做纹理特征提取，将预处理后的图像通过gabor滤波器处理，在不同方向上获取相关特征，并对其量化、归一化，从而得到图像的纹理特征；

(4-4)采用加权平均法将植物叶片图像进行灰度化处理，然后对图像采用3×3中值滤波降噪，接着采用最大类间差方法otsu进行阈值分割剔除背景，最后提取偏心率、圆形性、弯曲能量、曲率特征、圆形度指标、方向角这六个相对特征值作为形状特征。

所述步骤5)中的分类器训练，具体步骤为：

(5-1)将步骤4)中获得的训练集数据送入libsvm分类器中，使用libsvm工具的easy.py交叉验证寻找最优参数，从而构造最优性能的训练模型；

(5-2)将步骤4)中获得的测试集数据送入分类器预测函数，从而得到训练模型预测的准确率。

与现有技术相比，本发明的积极效果是：

(1)效率高：本发明通过农业大棚中的工业相机采集图像，之后的图像传输、特征提取、模型训练、分类均是在计算机中完成，不需要实地人工去拍摄或人工判断，大大提高了病虫害检测的效率。

(2)准确度高：由于农业场景以及不同植物的差异，病虫害的表征各不相同；本发明能针对不同场景不同植物通过机器学习的方法减少上述差异对检测精确度的影响，具有很高的实用性。

(3)便于操作：本发明方法可以配合开发相应的人机界面友好的软件，结合假设在农业大棚里的工业相机，农户或检测人员只要通过点击鼠标即可完成病虫害检测；避免了光谱方法或化学方法复杂的操作步骤。

(4)系统一体化高：本发明将植物叶片图像的获取、传输、预处理、特征提取、训练和分类包含到一个系统中，一体化水平极高，打破了以往各自研究某些步骤的局面。

附图说明

图1为本发明农业场景中智能图像采集的硬件工作环境图。

图2为本发明基于支持向量机机器学习的植物病虫害检测方法的流程框图。

图3为无人机与服务器之间通信的流程图。

图4为正常生长的植物叶片颜色特征直方图。

图5为发生病虫害的植物叶片颜色特征直方图。

图6为正常生长的植物叶片的hsv各特征显示图。

图7为正常生长的植物叶片的纹理特征。

图8为发生病虫害的植物叶片的纹理特征。

图9为svm模型的学习过程。

具体实施方式

以下结合附图对本发明的具体实施例做进一步的说明，但是应该指出，本发明的不限于以下的实施方式。

如图1所示为本发明农业场景中智能图像采集的硬件工作环境图。如图2所示，一种基于多特征及支持向量机的植物病虫害检测方法，首先通过搭载arm开发板的无人机通过usb-uart接口连接无人机飞控中心，通过一体式云台相机采集大量正常生长的植物叶片图像和发生病虫害的植物叶片图像，并保存到sd卡中，通过tcp/ip协议将图像传输到服务器，采用随机样本的策略从正常生长的植物叶片图像和发生病虫害的植物叶片图像中各抽取部分图片作为样本，对每幅叶片图像提取特征向量，包括颜色特征、hsv特征、纹理特征，将这些特征组合成特征向量；然后对每幅叶片图像用支持向量机的机器学习方法进行训练，训练后形成一个分类器，最后将植物叶片图像用这个分类器进行分类，检测植物叶片是否发生病虫害；具体步骤如下：

1、实现图像采集、传输的具体步骤如下：

1)通过安置于无人机上的arm开发板控制数字相机自动采集图像。

通过安置于大疆经纬m100无人机上的arm开发板自动采集图像。arm开发板搭载linux系统，通过c++编写的qt客户端控制工业相机自动采集图像。共采集893张植物图像。

2)arm开发板的客户端利用tcp/ip协议的socket套接字传输图像。

客户端利用tcp/ip协议的socket套接字传输图像，具体步骤如流程图3所示。采用随机抽样的策略选取样本，共选出548张植物样本图像，分为正常生长图像和发生病虫害图像两类，作为正负样本，其中负样本262张，正样本286张。客户端和服务器端之间通过三次握手协议建立连接，所谓的三次握手即对每次发送的数据量是怎样跟踪进行协商，从而使数据段的发送和接收同步，根据所接收到的数据量而确定的数据确认数及数据发送、接收完毕后何时撤销联系，并建立虚连接。具体来说，第一次握手：建立连接时，客户端发送syn包(syn＝j)到服务器，并进入syn_sent状态，等待服务器确认；syn：同步序列编号(synchronizesequencenumbers)。第二次握手：服务器收到syn包，必须确认客户的syn(ack＝j+1)，同时自己也发送一个syn包(syn＝k)，即syn+ack包，此时服务器进入syn_recv状态。第三次握手：客户端收到服务器的syn+ack包，向服务器发送确认包ack(ack＝k+1)，此包发送完毕，客户端和服务器进入established(tcp连接成功)状态，完成三次握手。完成三次握手，客户端与服务器开始传送数据，客户端将图像以字节流的形式传输到服务器端，服务器端再将字节流转换为图像。

2、对植物病虫害图像检测方法具体步骤如下：

1)获取农业场景中大量植物叶片的图像，确定样本

首先在农田中通过步骤1获取植物叶片的图像，等概率抽取其中部分植物叶片，将其分为正常生长和发生病虫害两类，作为正负样本，组成样本库。

2)对植物图像进行预处理

首先对图像采用3×3中值滤波降噪，将每一像素点的灰度值设置为该点某领域窗口内所有像素点灰度值的中值。之后再对图像采用直方图均衡化处理，扩展像原取值的动态范围，提高了对比度和灰度色调的变化，使图像更加清晰。

3)提取多特征，组成特征向量

从植物正负样本叶片图像中提取植物的颜色特征、hsv特征、纹理特征、形状特征。

颜色特征：获取每个像素点绿色分量的像素值(0-255)构造颜色直方图，然后进行量化、归一化，从而得到图像的颜色特征。如图4、5所示，这分别是正常生长的植物叶片和发生病虫害的植物叶片的颜色特征直方图。

hsv特征：hsv分别代表色调、饱和度、亮度，每个像素点色调取值范围是0度-359度，每个像素点饱和度、亮度取值范围是0.0-1.0，首先将rgb颜色空间转换为hsv颜色空间，构造色调、饱和度、亮度直方图，并分别进行量化、归一化，从而获得图像的hsv特征。如图6所示，是正常生长的植物叶片的hsv各特征显示图。

特别的，hsv三个颜色通道的量化过程，本发明采用的是非等间隔量化，在将rgb颜色空间转换为hsv颜色空间后，对h、s、v三个分量按照人的颜色感知进行非等间隔量化，这里把h通道像素值量化成8个量级，s通道和v通道像素值量化成3个量级，最后把这三个分量表示成一个一维的特征向量hist，其公式为：

hist＝9hh+3hs+hv

这样，h、s、v三个分量就在这个一维特征上分布开来，色调权重为9，饱和度权重为3，亮度权重为1，这种权重取值方法大大减少了亮度对图像分类结果的影响。同时，饱和度对分类结果的影响也有一定程度的减少，这使得颜色分布不同的图像能被很好的区分开来。

纹理特征：在图像处理与图像分析领域，gabor滤波器已经得到了成功的应用。gabor滤波器的一个优越性在于它满足“不确定性原理”所确定的有效持续时间和有效频域带宽获得的下限，这就意味着gabor滤波器可以同时在时域和频域获得最佳的局部化。gabor滤波器的另一个优越性在于它是带通的，与人类视觉接收模型相吻合。

gabor函数由gabor首先定义，在一般情况下，其公式为：

复数部分：

实数部分：

虚数部分：

式中：x'＝xcosθ+ysinθ和y'＝-xsinθ+ycosθ，公式中：λ表示正弦函数波长，θ表示gabor核函数的方向，表示相位偏移，σ表示高斯函数的标准差，γ表示空间的宽高比。

用gabor函数形成的二维gabor滤波器具有在空间域和频率域同时取得最优局部化的特征，因此能够很好地描述对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息。gabor滤波器的频率和方向表示接近人类视觉系统对于频率和方向的表示，并且它们常被用于纹理表示和描述。在图像处理领域，gabor滤波器是一个用于边缘检测的线性滤波器。在空间域，一个2维的gabor滤波器是一个正弦平面波和高斯核函数的乘积。gabor滤波器是自相似的，也就是说，所有gabor滤波器都可以从一个小波经过膨胀和旋转产生。将预处理后的图像通过gabor滤波器处理，在不同方向上获取相关特征，并对其量化、归一化，从而得到图像的纹理特征。如图7、8所示，这分别是正常生长的植物叶片和发生病虫害的植物叶片的纹理特征图。

形状特征：提取叶片的形状特征，首先采用加权平均法将植物叶片图像进行灰度化处理，其公式为：

g＝0.299r+0.587g+0.114b

式中：g为灰度值，r、g、b分别为rgb图像中的红、绿、蓝3个分量的值。然后对图像采用3×3中值滤波降噪，接着采用最大类间差方法otsu进行阈值分割剔除背景，这是一种自适应的阈值确定的方法，按图像的灰度特性，将图像分成背景和目标两部分。之后再提取相对特征值作为叶片的形状特征。

对于叶片形状特征而言，由于不同种类叶片的大小乃至同种叶片的大小都可能存在这较大的差异，因而如叶片长、宽、面积和周长这样的绝对性形状特征参数就不适合用作分类依据。选用的形状特征参数应当具有旋转、比例、平移不变性，是属于rst(rotation-scale-translation)不变性的无量纲几何特征参数，所以采用相对特征值作为分类的依据，首先定义几个量的说明：一是质心的坐标(x,y)，其公式为：

式中：n表示目标图像中像素的总个数，xi表示各像素的横坐标，yi表示各像素的纵坐标。二是(p,q)阶中心矩，其公式为：

式中：xi为目标图像的横坐标，yi为目标图像的纵坐标。三是面积、周长的计算方法，面积的计算方法为计算整幅图像中目标像素的个数。周长的计算方法为将每个像素看作是点，则每个点的上、下、左、右的临近点距离为1，斜线方向的距离为根据8方向链码计算偶数号链码数为ne，奇数号链码数为no。周长为p，其公式为：

采用相对特征值作为分类器分类的依据，相对特征参数如下：一是偏心率e，其公式为式中：rmax为质心到边界的最大距离，rmin为质心到边界的最小距离。二是圆形性(紧凑性)circularity，其公式为：

式中：l为目标图像的周长，s为目标图像的面积，区域的形状参数与1差异越大，其形状与圆形的差别就越大。三是弯曲能量，其公式为：

式中：p为周长，kn＝φn+1-φn，φn为边界曲率，其公式为：

目标图像边界点的坐标为(xn,yn)，弯曲能量的值能够描述边界弯曲程度。四是曲率特征curvature，其公式为：

根据8方向链码的原理，沿边界像素点记录链码值，当两像素的后者链码值与前者链码值差值为-2或6时，则产生一个凹外角，当差值为-7、-6、1、2时，则产生一个凸外角，则曲率特征可作为相对特征参数。五是圆形度指标roundness，其公式为：

式中：area为目标图像的面积，number为边界的像素点数，distance其公式为：

式中：(xi,yi)为目标图像像素点的坐标，(x,y)为质心坐标。六是方向角，即惯量最小的矩的轴的角度，其公式为：

式中：μ1,1、μ2,0、μ0,2分别为(1，1)阶、(2，0)阶、(0，2)阶中心矩。

4)使用支持向量机训练分类器

将步骤3)所述的特征进行多特征融合，将正负样本图像的特征向量用支持向量机进行训练，支持向量机分类器的表达式为：

式中：xi表示训练数据i，yi表示训练数据的标签值，αi表示训练数据i的拉格朗日乘子，支持向量机最常采用的是径向基函数-高斯核函数，即：

式中：x1表示空间中任一点，x2为核函数中心，σ为函数的宽度参数。支持向量机的基本目标是求取在原特征空间或映射空间中使两类样本间隔最大的线性分类器，其算法为在对偶空间中求解一个有约束的凸二次规划问题。实际使用时，对于病虫害图像，将多特征输入到支持向量机中，依据分类结果判断是否为病虫害图像。支持向量机原输出为距离值，本发明中将最终输出结果用sigmoid函数转化为预测概率值，计算方式为：

式中：p为最终输出的预测概率值，d为支持向量机预测的距离值。另外需要说明的是，在本发明的研究过程中，遇到了样本数不均衡，即正常图像数目远多于病虫害图像的情况，同时在实际应用中更加注重的是漏检(即病虫害图像错误检测为正常图像)少，而误检(即正常图像错误检测为正常图像)可以在降低漏检的情况下适量提高。面对这些情况，我们在训练分类器时，使训练病虫害图像的数目合理的高于正常图像一些，这样能在一定程度上降低漏检率并解决样本数目不均衡的问题。训练效果不好时，使用libsvm工具的easy.py交叉验证寻找最优参数。训练完成后，得到上述融合特征的分类器模型。如图9所示，是svm模型的学习过程。

5)提取大量待检测植物叶片图像的多特征

将需要进行病虫害检测的大量植物叶片图像按步骤3)提取特征，组成特征向量。并将其保存为.txt文档。

6)使用步骤4)训练出的分类器进行分类

载入步骤4)中训练得到的分类器模型文件，将步骤5)中需要检测的植物叶片的特征向量和模型做svm-predict函数的参数传入进行计算，计算该植物叶片分属两类的概率，从而判断植物叶片是否发生病虫害；本次植物病虫害检测的准确率为90.43％(312/345)。