基于生成式对抗网络模型和IOS平台的植物叶片识别系统的制作方法

本发明涉及植物叶片识别技术领域，尤其是涉及一种基于生成式对抗网络模型和ios平台的植物叶片识别系统。

背景技术：

地球上存在众多的植物物种，由于植物的种类繁多，除非具有相关专业知识，否则很难记忆并识别多种植物，因此植物自动识别技术的研究具有重大意义。由于叶片是植物的重要器官，并且能反映出植物的重要特征，因此往往作为植物识别的重要判别依据。

目前，植物物种识别方法主要有三种：

(1)人工贴上的物种标签：这是大部分植物园或公园采取的为方便游客识别植物物种的一种方法，即，将刻有植物相关信息的标签牌贴于植物枝干上供游客阅读。此方法存在着耗费人力物力、传达信息较少、表达不醒目以及标签易被腐蚀等先天性不足，限于此，仅在收费或者受保护的景区得以普及；

(2)人工贴上的二维码：此方法可视为方法(1)的升级版，是物种标现代电子技术发展相结合的产物，游客通过扫描贴于植物枝干上的二维码，接入互联网即可获得丰富的植物物种信息，该方法克服了方法(1)中的传递信息少的缺点，但仍存在着耗费人力物力和标签易被腐蚀等缺点，仅在极少数园区得以实施，目前仍处于试验阶段；

(3)专业的植物分类学工作者的研究：这是最传统的植物分类学研究方法，研究者们通过采集标本和人工测量，并结合经验知识和书本指导对标本进行分类，这种方法工作量巨大，并且需要大量专业知识，只能在科研领域得以实施。

以上三种方法由于自身的缺陷都未能够得到普及，目前市场上并没有一种方便快捷并且代价小的植物物种识别方法。

图像识别问题是计算机视觉领域内的一个重要问题，传统的图像识别方法主要在于，首先基于原始图像提取出各种特征，然后将得到的特征输入到各种分类器中进行识别。再将图像识别涉及到视角不同、物体大小变化、物体形变、遮挡、光照强度变化等问题，难以用人为设计的图像特征描述，因此传统方法的识别精度普遍不高。卷积神经网络是一种前馈神经网络，由多个卷积层、池化层、全连接层等网络层结构组成，能够充分利用输入数据的二维结构，在图像领域有出色表现，相比于其他深度学习结构，更适合用于解决图像识别等相关问题。

深度学习在诸多领域取得了巨大成功，受到了广泛关注。神经网络能够再次焕发青春的原因有几个方面。首先，大数据的出现已经在很大程度上缓解了训练中过拟合的问题。例如imagenet训练集拥有上百万已标注的图像。其次，各种硬件的飞速发展提供了非常强大的计算能力，甚至出现了专门用于深度学习的硬件设备，使得训练大规模的神经网络成为可能。最后，近年来在网络模型架构，神经网络参数的初始化，模型训练方法以及激活函数的选择等方面出现了很多研究成果，使得深度网络模型在趋于深度化的同时能够减少网络模型的参数，大大提高深度网络模型的训练速度和识别精度。

近年来，随着深度学习技术的飞速发展，国内外相关工作者在植物叶片识别领域取得了丰厚的成果。例如，使用植物叶片的纹理和形状两种特征来对其进行识别，使用gabor滤波和灰度共生矩阵提取纹理特征，而使用curvelet变换系数与不变矩阵来提取叶片边缘的形状特征。再如，一种基于概率神经网络(pnn)的图像处理方法，通过提取图像特征并正交变换成五种变量输入pnn。再如，采用多种不同的卷积神经网络模型对植物进行了识别训练，或使用cnn+svm和cnn+softmax两种模型或利用cnn+svm，并采用一个16层的vgg-net卷积神经网络模型对植物样本进行训练与测试。

虽然深度学习在植物叶片识别领域中，在有标签数据上表现良好，然而数据标注却要花费大量人力物力，如何采用半监督学习，在不影响实验结果的情况下去节约人力成本，去利用无标签数据十分值得研究。在植物叶片识别领域，部分植物的样本采集非常困难，而传统的深度学习方法，如卷积神经网络，通常只能判断植物所属类别，而对数据集无法补充或培训，如何采用生成的数据来补充培训数据集，以降低开发成本就显得尤为重要。因此开发一种基于深度学习的应用于植物叶片的识别系统至关重要。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于生成式对抗网络模型和ios平台的植物叶片识别系统。

本发明的目的可以通过以下技术方案来实现：

基于生成式对抗网络模型和ios平台的植物叶片识别系统，包括ios客户端和服务器端，服务器端与ios客户端通过无线网络互相连接。所述的ios客户端获取植物叶片图像，并对植物叶片图像进行预处理，处理后的植物叶片图像通过ios客户端的人机交互页面选取本地识别路径或服务器端识别路径，所述的ios客户端对本地识别路径请求调用自身网络模型进行植物叶片识别；所述的服务器端在收到服务器端识别路径的请求后，对由ios客户端无线发送的预处理后的植物叶片图像调用基于分段损失加权的生成式对抗网络进行识别。

所述的ios客户端包括：

图像采集模块、图像上传模块、客户端数据存储模块、人机交互页面和客户端网络通信模块，所述的人机交互界面与图像采集模块、图像上传模块分别连接，所述的图像处理模块分别与图像采集模块、图像上传模块、图像识别模块、人机交互界面、客户端数据存储模块和客户端网络通信模块连接，所述的图像上传模块与客户端数据存储模块连接，所述的客户端网络通信器与服务器端连接。图像处理模块用于对图像采集模块及图像上传模块的植物叶片图像进行处理，图像识别模块用于对ios客户端本地的图片进行快速识别。

所述的服务器端包括一台对外联网的流量分发服务器，以及用于根据一定的分发规则对请求分别进行发放的多个工作服务器，各个工作服务器分别设有各自的从属备份服务器，所述的流量分发服务器设有备份服务器。

用户发出的请求首先全部转发到一台高性能流量分发服务器，高性能流量分发服务器会根据当前服务器集群中各个服务器的运行状态来将用户请求分配到相对空闲的工作服务器上进行处理，以维持整个集群处于相对平衡的状态。另一方面为了保持集群的容错性，即在部分工作服务器发生故障的情况下整个集群仍然能够正常运作，通过主从复制技术来为集群中的高性能工作服务器提供容错支持，即为集群中负责请求转发的高性能流量分发服务器配备一台从属备份服务器，该从属备份服务器负责监视负责请求转发的高性能流量分发服务器的运行状态，当负责请求转发的高性能流量分发服务器发生机器故障时，该从属备份服务器开始接管请求转发的相关工作，从而增加整个集群的容错性能。

本发明系统进行植物叶片识别的具体步骤包括：

1)ios客户端获取叶片图像并对图像采取交互式的方式进行图片复杂背景去除流程。具体地，ios客户端通过拍摄植物叶片或图像选取本地存储的植物叶片图像进行植物叶片图像采集，采集的图像上传至图像处理模块进行复杂背景的分割处理。

进一步地，ios客户端获取叶片图像并对图像采用srn-deblurnet网络结构进行植物叶片图像背景分割处理。

2)用户根据需求在人机交互页面选取识别途径，若选择本地快速识别步骤，则执行步骤3)，若选择服务器端识别步骤，则执行步骤4)。

3)用户选择本地快速识别后，人机交互页面将控制信号下发至图像识别模块，图像识别模块调用部署的模型对步骤1)处理后的植物叶片图像直接进行识别，并通过人机交互页面展示出识别结果。

进一步地，所述的图像识别模块通过部署在ios客户端的轻量级网络模型mobilenet进行识别。

4)用户选择服务器端识别后，人机交互页面将控制信号下发至图像处理模块，图像处理模块对图片进行压缩，随后人机交互页面发送请求至服务器端，并将压缩后的图像通过无线网络传输到服务器端。对图片进行压缩的具体内容为：

选取一个阈值，采用sr针对植物叶片图像进行压缩，当prepsnr大于预定阈值时，将图像下采样并解码后进行srcnn滤波。

5)服务器端接收ios客户端传来的图片后，调用部署在服务器的基于分段损失加权的生成式对抗网络模型进行植物叶片识别，并返回结果至ios客户端的人机交互页面。基于分段损失加权的生成式对抗网络模型进行植物叶片识别的具体内容为：

控制gan在不同的训练阶段采用不同形式的损失，训练前期以第二种形式损失函数为主，训练过程中，真实样本和生成样本出现重叠，当重叠到达切换参数点后，再切换到以第一种形式损失函数为主。

与现有技术相比，本发明具有以下有益效果：

1)本发明系统利用半监督生成式对抗模型的图片分类能力，通过引入时间参数，使生成器在不同的训练阶段采用不同的损失函数，js散度即可发挥良性作用；为了给生成器足够的梯度，引入额外的特征级均方差损失与对抗损失进行加权，将该模型用于半监督图像分类，可在一定程度上避免模式崩溃，并达到良好的识别效果，从而有效识别客户端上传的植物叶片图片，并精确地将识别结果返回；

2)本发明设有本地快速识别功能，通过使用mobilenet这一轻量级模型，利用mobilenet分类器的图像分类效果，能够迅速进行本地植物叶片图像的识别，识别效率高；

3)对于服务器端的精准植物叶片识别过程，本发明在服务器端应用一种基于分段损失加权的生成式对抗网络，通过改变生成器与鉴别器的训练过程，以及引入真实样本与生成样本之间的特征级损失，使训练过程更加稳定，一定程度上能够改善模型的模式崩溃现象；且该模型改善了鉴别器的性能，使提取到的特征更加鲁棒。

附图说明

图1为本发明系统实现植物叶片识别的流程示意图；

图2为本发明服务器端的架构示意图；

图3为基于分段损失加权的生成式对抗网络进行识别的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

本发明涉及一种基于生成式对抗网络模型和ios平台的植物叶片识别系统，用以根据植物的叶片的图像进行植物物种识别并对识别进行反馈，本发明系统提供本地快速识别以及服务器端精准识别两种植物叶片的识别功能，该系统包括通过无线网络互相连接的ios客户端和服务器端。

ios客户端包括图像采集模块、图像上传模块、图像处理模块、图像识别模块、人机交互界面、客户端数据存储模块和客户端网络通信模块，人机交互界面与图像采集模块、图像上传模块连接，图像处理模块分别与图像采集模块、图像上传模块、人机交互界面、客户端数据存储模块和客户端网络通信模块连接，图像处理模块连接图像识别模块，图像上传模块与客户端数据存储模块连接，客户端网络通信器与服务器端连接。图像处理模块用于对ios客户端本地的图片(即图像采集模块及图像上传模块的植物叶片图像)进行预处理。图像识别模块用于对ios客户端本地的图片进行快速识别。

服务器端用于对ios客户端发送来的植物叶片图像进行精准识别。服务器端包括流量分发服务器、备份服务器和多个工作服务器，备份服务器与流量分发服务器相互连接，多个工作服务器分别连接流量分发服务器。

用户发出的请求首先全部转发到一台高性能流量分发服务器，高性能流量分发服务器会根据当前服务器集群中各个服务器的运行状态来将用户请求分配到相对空闲的工作服务器上进行处理，以维持整个集群处于相对平衡的状态。另一方面为了保持集群的容错性，即在部分工作服务器发生故障的情况下整个集群仍然能够正常运作，通过主从复制技术来为集群中的高性能工作服务器提供容错支持，即为集群中负责请求转发的高性能流量分发服务器配备一台从属备份服务器，该从属备份服务器负责监视负责请求转发的高性能流量分发服务器的运行状态，当负责请求转发的高性能流量分发服务器发生机器故障时，该从属备份服务器开始接管请求转发的相关工作，从而增加整个集群的容错性能。

如图1所示，本发明系统实现植物叶片识别的具体步骤包括：

步骤1、ios客户端获取叶片图像并对图像采取交互式的方式进行图片复杂背景去除流程。

ios客户端可通过图像采集模块进行植物叶片的拍摄，也可利用图像上传模块选择客户端数据存储模块中的某植物叶片图像，拍摄图片后或选择图像后将图像上传至图像处理模块进行复杂背景的分割处理。优选地，本发明采用srn-deblurnet网络结构进行植物叶片图像背景分割处理，其以在不同尺度上从输入图像下采样的一个模糊图像序列为输入，然后得到一组对应的锐利图像。在全分辨率下的锐利图像即为最终输出，便于后续处理及图片清晰化。背景分割处理为现有技术，在此不过多赘述。

步骤2、用户可根据自己的需求在人机交互页面进行识别途径的任意选择。即选择本地快速识别步骤或服务器端精准识别步骤。

步骤3、当用户选择本地快速识别后，人机交互页面将控制信号下发至图像识别模块，图像识别模块将调用部署的模型对步骤1处理后的植物叶片直接识别，并快速的在人机交互页面展示出识别结果。

本地快速识别，即通过部署在ios客户端的轻量级网络模型mobilenet进行识别。利用轻量级网络模型mobilenet进行识别为现有技术，在此不过多赘述。

步骤4、服务器精准识别，即通过部署在服务器的网络模型，基于分段损失加权的生成式对抗网络进行识别。当用户选择服务器端精准识别时，人机交互页面将控制信号下发至图像处理模块，图像处理模块将对图片进行压缩来保证数据传输的高效性。然后人机交互页面发送请求，将压缩后的图像通过客户端网络通信模块传输到服务器端。

具体地，图片压缩的操作为：假设图像中有明显的目标和背景，则其灰度直方图呈双峰分布，当灰度级直方图具有双峰特性时，选取两峰之间的谷对应的灰度级作为阈值。如果背景的灰度值在整个图像中可以合理地看作为恒定，而且所有物体与背景都具有几乎相同的对比度，那么，可以选取一个阈值，采用sr(超分辨率)针对植物叶片图像进行压缩。当prepsnr(peaksignaltonoiseratio，峰值信噪比)大于预定阈值时，图像被下采样到(0.5w，0.5h)并且在解码之后进行srcnn滤波。

步骤5、服务器端在接收到ios客户端传来的图片后，会调用部署在工作服务器上的模型，进行识别并返回结果。算法上，本发明采用一种基于分段损失加权的生成式对抗网络进行精准识别。该网络在传统半监督式生成式对抗网络的基础上，控制gan在不同的训练阶段采用不同形式的损失。训练前期以第二种形式损失函数为主，随着训练的进行，真实样本和生成样本就能够有所重叠，当到达切换参数点之后，再切换到以第一种形式损失函数为主，此时js散度就可以发挥良性作用，从而避免生成器梯度消失和模式崩溃。具体识别的流程图如图3所示。图片经过背景分割、形态学处理后，通过深度卷积层进行特征提取，后通过半监督式生成式对抗网络的分类器进行分类识别，后输出分类结果。

当用户选择本地快速识别后，系统将调用部署在手机端的模型对植物叶片直接识别并快速的展示出识别结果。而当用户选择云端精准识别功能时，系统将对图片进行压缩来保证数据传输的高效性。然后发送请求将图片传输到服务器端。服务器端在接收到客户端传来的图片后，会调用部署在服务器上的模型，进行识别并通过网络协议返回结果。本监督学习和损失加权的机制作用于深度gan模型下效果显著。所提模型在icl植物叶片数据集拥有较好的识别效果，相比于resnet50基础网络模型准确率提高4.77％。

最终的实验结果显示该发明能够有效地处理ios客户端提交图片，并将识别后的精确的识别结果返回到ios客户端的人机交互页面，并提高植物叶片的识别精度。

本发明系统利用半监督生成式对抗模型的图片分类能力，通过引入时间参数，使生成器在不同的训练阶段采用不同的损失函数，js散度即可发挥良性作用；为了给生成器足够的梯度，引入额外的特征级均方差损失与对抗损失进行加权，将该模型用于半监督图像分类，可在一定程度上避免模式崩溃，并达到良好的识别效果，从而有效识别客户端上传的植物叶片图片，并精确地将识别结果返回。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。