一种基于级联编码器与解码器的多任务作物与杂草语义分割方法

本发明属于农学图像分割领域，具体地讲，设计一种基于级联编码器与解码器的多任务作物与杂草语义分割方法，在作物和杂草尺寸较小的无人机图像上能够有效地分割出作物与杂草，部署在智能除草机器人可以精确地找到目标杂草并精准地使用除草剂，以解决除草剂的浪费和化学药剂的大量残留等一系列问题。

背景技术：

1、我国是一个人口数量庞大的国家，粮食是第一要务，因此作为第一产业的农业必定得到高度重视。在农业生产过程中，农田杂草是影响粮食作物丰产丰收的重要因素。杂草生长周期短，繁殖速度快，在获取水，阳光和土壤营养方面与作物竞争激烈，对作物的产量和品质造成严重的负面影响，所以杂草控制已然是全球化问题，也是农业生产方面面临的巨大挑战；

2、常规的除草有两种方向：第一种是机械化除草，通常用于杂草相对集中的区域，可以选择合适的除草工具去除杂草。但是机械化除草弊端是对于作业面积巨大的田地，其除草成本高昂。第二种是化学方法除草，依赖喷洒化学药剂来杀死目标杂草，保留作物。化学方法除草也是目前主流的除草方式，具有省工、省时、方便、高效等优点，化学方法除草主要是喷洒除草剂，除草剂是社会、经济、技术和农业生产发展到一个较高水平和历史阶段的产物，是人们为谋求高效率、高效益农业的重要生产资料，是高效优质农业的必要物质基础。近年来，随着农村经济条件的改善和高效优质农业的发展，除草剂的应用与生产发展迅速。然而，除草剂产品不同于其他一般性商品，除草剂应用技术性强，它的应用效果受到作物、杂草、剂量、环境等诸多方面因素的影响。除草剂喷洒不均匀会导致杂草集中的区域除草效果一般，杂草稀疏的区域会造成除草剂的浪费和化学药剂的大量残留，影响作物的生长，甚至导致作物死亡；

3、随着智慧农业技术的发展，针对化学药剂除草方法的弊端，许多研究者提出自动杂草检测系统，实现对杂草的精准使用除草剂，以节约成本，并且减少化学药剂的残留。为了支持智能除草机器人可以精确地找到目标杂草，并且精准地使用除草剂，对作物及杂草的语义分割是不可避免的。其中使用无人机监测农田和绘喷洒除草剂是一种流行方法，因为它们灵活、节省成本、易于操作，并且不像地面车辆那样通过土壤造成挤压影响田地；

4、在作物与杂草语义分割的研究实验中，很少有研究者使用无人机图像进行分割任务，因为杂草容易无序生长，并且可能在农作物之间蔓延，这可能导致重叠和遮挡。其次，在作物与杂草映射中存在歧义，因为它们在颜色和纹理上相似，因此很难将作物与杂草从背景中区分出来。并且由于无人机图像中作物与杂草尺寸较小，容易影响分割效果；

5、本发明设计了一种级联编码器与解码器的多任务语义分割方法，将分割植物与背景和作物与杂草的逐像素分类任务分别以不同的网络完成，适用于作物与杂草尺寸较小的无人机图像完成分割任务。

技术实现思路

1、本发明的目的在于设计一种适用于无人机图像的作物与杂草语义分割网络，在作物与杂草尺寸较小的图像中也能达到不错的分割效果；

2、为了实现上述目的，本发明所采用的技术方案是：

3、基于多注意力机制的轻量化作物与杂草语义分割方法通过如下步骤实现：

4、步骤一，使用级联编码器与解码器作为主体结构进行多任务语义分割，分为model1与model2，其中model1提取植物（包括作物与杂草）的特征与边界信息，并且输出结果为只包含两类像素值的二值化特征图。将model1的输出结果与原始输入做逐像素乘积并作为model2的原始输入。model2对作物与杂草进行逐像素分类，并输出最终分割结果。model1与model2的网络结构与目标函数分别设计，以更好地完成不同的分割任务；

5、步骤二，针对model1的分割任务为二分类任务，结合显著目标检测的方法，使用反向门控注意力模块（reverse gated attention block，rga）代替model1中解码器的部分标准卷积conv模块（conv2d+bn+gelu）。rga模块适用于二分类分割任务，可以使网络更加关注前景以外的边缘部分，从而使得最终结果局部细节更加出色；

6、步骤三，针对model2的分割任务为作物与杂草的逐像素分类，结合作物与杂草语义信息分类难度较高的特点，使用通道外部注意力模块（channel external attentionblock，cea）代替深层网络中的部分标准卷积conv模块（conv2d+bn+gelu），cea模块可以挖掘整个数据集的潜在关系，提供强大的正则化作用，提高注意力机制的泛化能力，并且使各通道间的信息交互，可以更好地整合信息。并且针对作物与杂草信息较小，容易由于卷积层的叠加而丢失空间信息这一特点，在跳跃连接中加入坐标注意力模块（coordinateattention block，ca）。ca模块不仅考虑了通道信息，还考虑了方向相关的位置信息，并且解决了提取空间特征的长程依赖问题；

7、步骤四，将model1与model2级联，在公开数据集weedmap上规定训练方法进行训练，得出最佳训练结果；

8、以下为各个步骤的详细说明：

9、1. 在步骤一中，model1与model2均为五层u型编码器与解码器结构。其中model1分割任务为植物（包括作物与杂草）和背景，为二分类语义分割任务，故设计其输出分割结果为二值化图（背景区域像素为0，目标区域像素为1）。将model1的分割结果与原始输入图像做逐像素乘积得到model2的输入图像，即model2的输入图像为滤除背景等干扰的原始输入图像。model2的分割任务为作物与杂草的逐像素分类，并输出最终分割结果。model1与model2的目标函数分别设计，以适应不同的分割任务。其中model1中使用dice loss作为主损失，使用更适合二分类分割任务的binary crossentropy loss作为辅助损失。model2中使用dice loss作为主损失，使用更适合类不平衡的多目标任务的focal loss作为辅助损失；

10、2.在步骤二中，在步骤二中，首先将大小为c1*h*w的解码器特征图经过sigmoid激活函数，然后将得到的特征图进行“1-”操作得到大小为c1*h*w的反向注意力权重特征图，然后与大小为c1*h*w的编码器输出特征图进行元素乘积操作后再经过二维卷积得到大小为c1*h*w的特征图x。将大小为c1*h*w的编码器输出特征图经过二维卷积得到大小为c1*h*w的特征图y，将特征图y经过sigmoid激活函数后与y进行素乘积操作得到大小为c1*h*w的特征图z,最后将特征图z与特征图x做add操作后经过二维卷积得到大小为c2*h*w的输出特征图；

11、3. cea模块的实现步骤为首先给定一个大小为c1*h*w的输入特征图，然后分为两条支路，第一支路步骤为经过1*1卷积reshape运算以后特征图大小变为c1*hw，使用memoryunit k将特征图的通道数扩展成原来的4倍得到大小为4 c1*hw的特征图，然后再应用memory unit v恢复特征图尺寸为c1*hw，再进行reshape操作恢复到原始特征图尺寸c1*h*w，最后通过1*1卷积得到输出特征图x。第二支路步骤为经过全局平均池化层gap后特征图大小变为c1*1*1，然后通过一维卷积来实现跨通道间的信息交互，交互完成后特征图大小为c1*1*1，最后与原始输入特征图做元素乘积运算得到输出特征图y。将特征图x与特征图y做add操作并加入原始输入特征图的残差连接得到大小为c1*h*w的输出特征图，最后经过二维卷积得到大小为c2*h*w的输出特征图。ca模块的实现步骤为首先使用分解的全局平均池化在水平坐标和垂直坐标对每个通道进行编码，得到大小为c*h*1与c*1*w的特征图，进行concat操作并经过二维卷积后得到大小为c*1*（h+w）的特征图，之后经过split操作后得到大小为c*h*1与c*1*w的特征图，并对其分别经过二维卷积后再经过sigmoid激活函数得到大小为c*h*1与c*1*w的特征图。最后将得到的特征图与输入特征图做元素乘积操作得到大小为c*h*w的输出特征图；

12、4. 在步骤四中，model1编码器由五层标准卷积conv模块（conv2d+bn+gelu）组成，第一层解码器为标准卷积conv模块，其余四层由rga模块组成。model2前两层编码器由标准卷积conv模块组成，其余三层由cea模块组成，前三层解码器由cea模块组成，其余两层由标准卷积conv模块组成。将此网络在公开数据集weedmap上规定条件（优化器adamw，学习率调度器cosineannealinglr）下进行训练，得出最佳训练结果；

13、本发明提出方法的主要优点有：（1）基于级联编码器与解码器的多任务语义分割网络结构可以分散分割任务以适应不同的任务要求，可以有效提高分割精度。（2）rga模块可以使网络更加关注前景以外的边缘部分，提高分割结果的局部细节。（3）cea模块可以挖掘整个数据集的潜在关系，提供强大的正则化作用，提高注意力机制的泛化能力，并可以整合各通道信息。（4）ca模块在整合通道信息中加入了对方向相关的位置信息的获取，并且解决了提取空间特征的长程依赖问题。