基于深度学习的牧草图像识别方法

本发明涉及牧草图像识别，具体为基于深度学习的牧草图像识别方法。

背景技术：

1、草地资源的合理利用是我国生态文明建设和发展的基础。虽然草地资源是可再生资源，我国资源相对也很丰富，但是由于管理不善引起的粗放经营和过度放牧，以及气候等其他因素，造成草产量下降，草地资源严重退化，水土流失，沙尘暴爆发的频率增高等生态问题，形势严峻。内蒙古自治区拥有约7880万公顷的草场资源，然而因过度放牧造成草场面积逐年退化。此前，草地牧草的识别和评估工作主要通过生态科技工作人员实地目测和丈量实现。人工测量工作强度大、费时费力、不可重复，而且准确度也难以保障，因此，对草地进行“互联网+草业”集约化管理势在必行。“互联网+草业”是保护与合理利用草地资源以及生态环境，实现资源可持续发展战略的重要途径。

2、“互联网+草业”是指草产业与互联网、云计算、大数据等技术性相结合的过程。旨在提高草产业组织化程度、提高草产品交易效率、降低交易成本。“互联网+”的本质是传统产业的信息化、数据化、在线化。该理念的提出最早见于2012年11月的第5届移动互联网博览会。2015年3月5日，国家提出制定“互联网+”行动计划，推动移动互联网、云计算、大数据、物联网等与现代制造业结合，促进电子商务、工业互联网和互联网金融健康发展，引导互联网企业拓展国际市场。实现农业生产全过程的信息感知、智能决策、自动控制和精准管理，是未来发展现代化农业的基本方向。而在具体的实施层面，农业信息化将会是“互联网+农业”未来发展的3个主要方向。草地是农业行业的一个重要领域，在“互联网+农业”的基本标准和规范框架下，构建面向草地生态系统现代化管理平台，计算机技术、网络通信技术、人工智能技术、大数据、云计算与草业科学、地理学、生态学等多种基础学科，对草地生态系统的环境要素、生物要素以及经济要素进行检测、管理与控制。“互联网+草业”研究是信息技术应用于草地生态系统管理的新兴研究方向，具有重要的理论研究和实践应用价值。

3、草地图像是“互联网+”的一个主要来源，其包括遥感图像和数码图像等，从海量图像中提取主要的草地信息，用于的数字化平台建设，是草地数字化最重要的环节。目前，利用图像识别和模式识别技术实现“互联网+草地”的研究工作相对较少，方法也较为单一。研究人员主要利用遥感图像与地理信息技术对草地资源与生态环境的宏观调查与动态监测，实现草地作物产量的预测、草地病虫害的预警以及草地退化的监测等。基于遥感技术的草原数字化研究，具有宏观性、可重复性和客观性等特点，可以对草地资源与生态遥感监测，直接获取草地数据，利用大数据技术分析其经济效益。然而，遥感技术主要有三方面不足，第一，图像的获取方式，遥感图像主要通过卫星或航空飞机远距离拍摄，所以图像采集成本较高，普及程度较低、解读性较差，仅是草地研究海量数据库中极小一部分，难以利用云计算和大数据处理技术。第二，遥感图像不能从微观角度捕获草地信息，例如单株牧草的生长状况，群落牧草的成分分析等，不能构建完整的“互联网+草地”系统。第三，遥感图像所需存储空间极大，数据中存在大量冗余信息，在图像存储、处理、传输、显示等环节皆受限制。因此，单凭遥感技术实现“互联网+草地”具有一定的局限性和片面性。

4、国内外研究现状及发展动态基于牧草图像的识别技术可以从微观尺度对单株牧草识别及群落牧草分类及监测等。利用图像采集设备获取一幅或多幅目标图像，然后让计算机模拟人的视觉功能，从中提取信息，进行处理、分析和测量，并对测量结果进行定性分析，给出定量结果，做出相应决策的一门新兴技术。近年来，机器视觉发展迅速，在农业领域已有大量研究，如杂草分类、病虫害控制、农作物生长监控、农产品质量监测、植被覆盖度检测等。计算机视觉成功应用于上述研究方面，实现精准农业。这些研究的对象是利用数码相机、摄像头等日益普及的数码设备获取到的数字图像，其低成本、精度高、效率高等优点。其中较为典型的研究有：

5、江苏大学的毛罕平教授团队在对植物叶片病虫害识别诊断进行研究，使用数码摄像机采集棉花田间图片，经过背景分割，提取特征进行杂草识别，以此为依据给出施药信息与策略，提高了棉田自动化管理水平与生产效率。2020年8月15日，毛罕平教授围绕加速项目实施进度，强化关键核心技术攻关，着力突破“卡脖子”技术，加强成果凝练，在短期内尽快产出标志性成果，同时做好成果转化与推广；

6、浙江工业大学芦亚亚等人利用计算机视觉系统对自然场景下果蔬图像进行分割识别，解决果蔬在自然光照、阴影、被遮挡以及背景色相似的情况下的果实中心点定位的问题，为实现机器人自动采摘奠定基础；

7、韩安太等人运用压缩感知理论进行农业害虫分类，利用害虫训练样本构造训练样本矩阵，通过求解l1范数意义下的最优化问题实现害虫测试样本的稀疏分解，由于稀疏分解结果中包含了明确的分类信息，可直接用于害虫分类.利用该方法对12类储粮害虫和110类常见害虫进行分类，在4种不同试验条件下，分类准确率分别达到92.9418％、98.2877％、78.8651％和61.5938％；

8、paarth等人将迁移学习应用于alexnet卷积神经网络，对病害叶片和健康叶片共10种类别的番茄叶片进行分类研究。使用14529张番茄叶片病害图像作为验证集，对alexnet卷积神经网络模型结构进行迁移，利用在imagenet图像数据集上训练成熟的alexnet模型和其参数对番茄叶片病害识别。采用迁移学习所建立的病害分类模型对10种类别的番茄叶片分类，平均准确率可达到95.62％。郭小倩等人基于卷积神经网络提出一种多尺度识别模型，结合番茄病害叶片图像特点，去除局部响应归一化层、修改全连接层、设置不同尺度卷积核提取特征，该模型对番茄叶部病害及每种病害早中晚期的平均识别准确率达到92.7％，能够满足生产实践中病害图像识别需求；

9、moru等人利用机器视觉技术对针芽形绿茶外形观品质进行定量评审。提取成品茶图像的9个颜色特征和6个纹理特征，然后通过与专家感官评分进行关联分析，明确了与感官品质显著相关的特征变量。采用偏最小二乘法(pls)、极限学习机(elm)和强预测器集成算法(elm-adaboost)3种多元校正方法，分别建立了高效的基于工艺或图像特征的针芽形绿茶外形感官的量化评价模型，进一步提升了模型的精度和泛化能力；

10、王雅婷等人以内蒙古乌审旗为研究区，采用水云模型去除地表稀疏植被覆盖的影响，提取全极化影像裸土后向散射系数，建立后向散射系数数据库，采用lut法模拟地表有效粗糙度参数，构建基于支持向量回归的土壤水分反演模型，并系统地对比分析了不同极化方式的后向散射系数作为数据源的土壤水分反演结果。

11、以上研究都是将计算机视觉技术、模式识别与农业相结合，针对特定农作物与其相应的生长环境，提取作物植株可区分特征，提高农业生产的效率与效益。然而，对于草业科学，由于许多草种的叶面积较小且草种之间相似度较高，即使在人眼的观察下也不容易分辨，识别难度较大。针对天然草原草种的识别研究，尤其是可见光图像的研究鲜有报道，能够查到的基于草地图像的研究仅有以下几例：

12、韩丁等人选择羊草、鹅绒委陵菜、阿尔泰狗娃花和冷蒿四种内蒙古乌兰察布市荒漠化草原的典型牧草，对牧草图像进行颜色、形状特征提取。采用高清照相机采集尺寸、形状、大小各不相同的牧草图像，提取9种rgb颜色一、二、三阶矩特征与6种宽长比等形状特征，四种牧草平均识别率为82.5％，降低计算成本、提升识别效率；

13、王敬轩等人利用图像处理技术，依据植物叶片图像的形状特征对14种豆科牧草进行分类。首先提取叶片轮廓，然后计算叶片的矩形度、横纵轴比、圆形度等8个几何特征和7个不变矩特征作为全局特征，并将叶缘粗糙度作为局部特征，利用pnn和bpn进行分类，识别率分别达到85％和82.4％。系统可以实现自动的牧草分类，而无需人工干预，识别效率和自动化程度均有所提高。但是，提取的特征多数是基于形态与几何结构，它们在不同的生长阶段和生长季节均有明显变化，因此基于形态特征的识别方法正确分类率较低，不能满足实际要求；

14、就禾本科牧草图像而言，其含有大量的几何结构信息，同时还含有大量的纹理、颜色信息，如无芒雀麦和光穗冰草中底纹、颜色、形状等特征，可以直接通过计算机视觉和模式识别进行分析和提取，用于自动分类与识别。牧草图像主要包括近距离拍摄的牧草植株。群落景观图像，它们可从微观尺度精确地判断牧草种类、群落成分分析、计算对应的草地生物信息，与宏观尺度的遥感图像集成更为完整的草地数字信息系统。由于这类图像可以直接使用数码相机采集，具有便携、高效、成本低等优势，采集后可传输到计算机中进行存储和处理，减少了误差引入环节，适用于野外草地数据采集，提高图像处理的效率，为科研人员获取草地信息的拓展新途径；

15、深度学习是hinton等人2006年提出的多隐层的神经网络，通过“逐层预训练”克服深度神经网络的训练难度，具有较好分类特性。“互联网+草业”又掀起了神经网络研究新高潮。在大数据、云计算等前提下，可以通过大量的训练样本，提高识别的准确性。近几年，imagenet图像分类竞赛中，深度学习总是名列前茅，许多学者将深度学习与其他方法融合应用于实际场景中，取得了令人满意的效果，人们将深度学习方法成功应用于图像识别中，其在图像识别中具有巨大优势。google在2015年年底开源了内部使用的深度学习框架tensorflow。tensorflow在图形分类、音频处理和自然语言处理等场景下都有丰富的应用。最近流行的keras框架底层默认使用tensorflow.tensorflow的流行让深度学习门槛变得越来越低，tensorflow支持python和c++两种编程语言，只要学过python和机器学习，入门和使用神经网络模型非常简单。不论多复杂的多层神经网络模型，都可以用python来实现。即使项目使用其他语言编程也没问题，使用跨语言的grpc或者http服务就可以访问使用tensorflow训练好的智能模型。目前研究大多是针对特定农作物与其相应的生长环境例如基于深度学习的白菜田杂草分割、基于深度学习的白菜田杂草分割等，农作物与杂草的形态、几何结构等特征均有明显变化，采用深度学习可以提高杂草的识别，定位，在不同环境下都能精确地识别出杂草，识别准确率为大大提高，但是天然牧草中既有草原牧草又有田间杂，二者之间相似度较高。而且，牧草图像采集大都在野外，草地的自然环境干扰因素较多，例如风噪、采集光强骤变等，都会降低图像质量。草牧数据量大，种类繁多，提取分类信息比较困难，以及相机的自动调焦等操作会引起明显的尺度变化，这些因素都会直接影响分类精度。因此采用深度学习方法通过多层神经网络训练，提取到的特征鲁棒性较强，图像的位移、旋转以及尺度变化具有不变性特征，有利于实现草地牧草的自动分类。将深度学习与传统的识别算法结合，如子空间算法、流形学算法、小波变换、云模型等，提升草地牧草的分类性能，实现草地牧草的自动分类。

16、综上所述，计算机视觉和模式识别技术在草业的研究仅处于起步阶段，研究范围受限、研究深度浅显、缺乏系统性和专业性，部分环节需要专家干预，自动化程度较低，分析效率以及精度都有很大的提升空间。虽然可借鉴计算机视觉在农作物应用方面的成功经验，但由于牧草的生长环境、形态、特性、图像采集等方面与农作物有明显不同，只可部分借鉴，不能全盘照端。因此深入研究基于深度学习的牧草分类有重要理论和应用价值。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了基于深度学习的牧草图像识别方法，解决了目前利用计算机视觉和模式识别技术对牧草识别还在初步研究阶段，存在自动化较低，分析效率和精度不够的问题。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：基于深度学习的牧草图像识别方法，具体包括以下步骤：

5、s1.牧草图像数据库的建立

6、根据牧草种类的不同、生长环境以及生长季节的实际情况确定不同的采样方案，进行采集牧草图像，并在此基础上建立牧草图像数据库；

7、s2.多形态特征挖掘及融合

8、针对无芒雀麦、光辉冰草、蒙古冰草、老芒麦和豆科苜蓿这5类禾本科牧草，研究其表征各类牧草的颜色特征、形态特征和纹理特征，然后提取牧草的整体特征和局部特征，寻找特征信息变化规律及其之间的相关性，兼顾特征信息的相似性，去除冗余特征，将区分为最强的特征进行融合，建立多形态特征融合算法，并对算法的有效性进行分析；

9、s3.牧草分类算法

10、根据牧草图像自身特点采用tensorflow+inceptionv3框架的深度学习算法，输入融合后的特征，动态调整loss值，创建多个variable同时绑定cpu，inceptionv3modules中设置filtersize；

11、s4.景观图像群落分析

12、群落图像内含有不同种类的牧草，通过群落图像，可以分析草地的健康状态、草地的密度、盖度信息，对图像的具体操作包括去噪、分割，提取颜色、纹理特征，并结合深度学习神经网络，分析群落牧草的组成。

13、优选的，所述步骤s1中数据库中包括单株牧草图像数据库、实验样方牧草图像数据库、草原上牧草群落图像数据库，并且这些图像数据用于分类识别实验。

14、优选的，所述步骤s3中添加激活函数可以获得更多的disentangled features，通过低维嵌入完成空间聚合，不会有太多损失甚至没有损失，平衡网络的宽度和深度，同时，结合云模型以及传统分类识别算法，重点研究尺度不变、旋转不变和位移不变特征的提取方法，提高分类精度。

15、基于牧草图像识别方法的实施方法，具体包括以下步骤：

16、1).选择实验样地

17、选择温带荒漠草原与典型草原作为实验样地，然后在实验样地上选取大量样本，通过计算机视觉与深度学习分析牧草草地的可见光图像，提取各种特征，选择多特征融合策略，获取牧草种类、分布、密度、盖度重要数据，建立可见光图像与牧草分类和分析数据的对应关系，实现自动分析数据；

18、2).传统方法测定草地相关指标

19、草地密度、盖度、高度的测定；

20、3).牧草图像采集系统与图像数据库

21、实施基于数码相机与ccd工业相机的图像采集系统和牧草图像数据库，基于数码相机与ccd工业相机的图像采集系统中；

22、4).单株牧草图像分类识别

23、通过底层特征，研究不同空间、不同层次、不同视角的特征信息对牧草的显著的可区分性，寻找特征之间的相关性，去除冗余特征，选择合适的数据挖掘和融合策略将区分为强的特征挖掘出来并融合；

24、5).群落图像的分析

25、将经典的分割算法如阈值、区域、聚类及分水岭算法用于草地图像，再针对其特点，结合形态学、融合策略方法，对分割算法进行出改进，使其适于群落图像分割的实际需要，在此基础上，进行特征提取，分析群落组成；

26、6).建立图像特征与草地相关指标的对应关系

27、将提取到的特征值和传统方法测定的草地相关指标进行分析，建立两者之间的数学模型，通过对图像的分割计算草地盖度，并与常规测定结果对比，验证方法的有效性。

28、优选的，所述步骤3)中基于数码相机与ccd工业相机的图像采集系统中图像采集系统分别采用商用数码相机和工业ccd相机。

29、(三)有益效果

30、本发明提供了基于深度学习的牧草图像识别方法。具备以下有益效果：

31、本发明提供了基于深度学习的牧草图像识别方法，本发明针对牧草图像开展牧草分类研究，通过app实现实时在线分析禾本科牧草种类、动态分析群落牧草的密度、盖度的指标，同时利用深度学习实现牧草分类识别算法，牧草图像采集环境复杂，图像中含有大量噪声干扰，项目拟提出基于tensorflow+inceptionv3框架的深度学习的牧草分类识别算法，为解决牧草分类识别提供了新思路与新方法，并且建立单株牧草图像与群落图像的对应关系，建立群落图像分析数学模型，获取群落密度、盖度草地监测指标，实现自动获取草地数据，而将“互联网+”与草业相结合，利用计算机视觉与深度学习，丰富研究领域的内容。