基于卷积神经网络提取多维度扩展特征的稻田杂草识别方法与流程

本发明属于智能农业机械识别领域，具体涉及一种基于卷积神经网络提取多维度扩展特征识别稻田杂草方法。

背景技术：

稻田杂草对水稻的生长及产量会产生重要的影响，除草作业是必须且及时进行的工作。目前，人力除草已逐渐淘汰，喷洒化学除草剂会带来的环境污染，残留在水稻上的除草剂也会危害人类的健康，从可持续发展角度是不可取。机械除草，凭借其优势近年来迅速发展，机械除草设备也被广泛被研究。但如何实现稻田杂草的精确识别以及达到实时性要求的识别速度，是必须解决的关键技术之一。

当前杂草识别研究中，基于机器视觉的识别方法被广泛使用。张小龙、李先锋等人根据作物和杂草在图像中所呈现出的不同颜色、纹理和形态特征对杂草进行区别，该类方法能够基本实现作物与杂草的有效识别，但识别准确率偏低，无法达到实际应用的需要。赵鹏、李慧等利用神经网络和svm等，将提取到的图像特征记录为数据向量的形式，利用这些数据对模型进行训练，训练后的模型能够对不同的特征数据进行分类，实现作物与杂草的识别，该类方法能够达到较高的识别准确率，不足之处在于识别的准确率依赖于人工设计，而且对于图像的预处理有一定程度的要求，因此在实际应用中识别效果并不稳定。赵川源，王璨等人采用双目视觉技术提取图像目标的高度特征，利用融合高度、形态和纹理特征的svm模型识别作物与杂草，获得了较为稳定的高识别准确率。不足之处在于特征提取方法较为复杂，实时性差。

总结发现，自然且多样化的特征表达能够提高识别模型的准确率和稳定性，但依然存在以下两个主要问题。一方面，人工设计的特征提取难以获得最接近目标自然属性的特征表达，所得特征的识别能力有限。另一方面，图像的预处理效果对识别结果存在重要影响，尤其是作物与杂草交叠的分割处理，对于交叠程度较大的目标，常难以分割或在不影响其各自特征表达的情况下进行分割，造成实际识别准确率和稳定性的降低。

为解决上述两个主要问题，本发明提出基于卷积神经网络提取多维度扩展特征识别稻田杂草方法，利用卷积神经网络从训练集中提取特征，克服了人工提取特征的不足，减少了复杂的图像预处理过程；利用多维度扩展能获得大量、具有相关性的图像，减少了卷积神经网络能过拟合的可能，而且特征表达效果更好。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提供了基于卷积神经网络提取多维度扩展特征识别稻田杂草方法。本发明通过下述方案实现：一种基于卷积神经网络提取多维度扩展特征稻田杂草识别方法，其特征在于：首先通过多维度采集和多步骤扩展，获得大量、具有相关性的训练集；其次基于卷积神经网络对稻田杂草特征进行提取和筛选；然后对mlp分类器进行训练与检测；最终迁移学习后的mlp分类器对稻田杂草的种类、位置进行预测。所述的多维度扩展，可看作从多个不同维度采集杂草图像以及旋转、平移、剪裁、放缩、噪声处理步骤扩展，获得大量、具有相关性的图像的过程；所述的卷积神经网络，可看作通过梯度下降的方法，不断从低层到高层提取和筛选特征的结构。

所述的稻田杂草识别方法，其特征在于：包括以下步骤，

步骤一、在不同视角下，通过多维度采集稻田杂草图像，并作像素压缩统一处理，获得更贴近稻田杂草生活环境的图像，并按1:1比例分为训练集和检测集。

步骤二、通过多步骤扩展以及归一化处理训练集，获得大量、具有相关性的图像，使用相关性的图像训练卷积神经网络能减少过拟合的可能，而且特征表达效果更好。

步骤三，基于多通道卷积神经网络提取多维度扩展图像特征作为识别的依据，提取多维度扩展图像特征，因不受主观因素影响，所以接近稻田杂草自然属性特征。

步骤四、使用多维度扩展图像对mlp分类器进行训练，获得强大的mlp稻田杂草分类器。

步骤五、先对检测集进行扩充，然后对mlp分类器的准确率和识别时间进行检测，确定mlp分类器的性能参数。

步骤六、迁移学习提高图像分类的准确率，迁移学习后的mlp分类器，能实现对稻田杂草种类、位置的预测。

所述的稻田杂草识别方法，其特征在于：所述的多维度采集图像是从杂草的正上方、正方以及两者之间45°侧方三个维度，采集同一杂草三个维度的图像。

所述的稻田杂草识别方法，其特征在于：所述的多步骤扩展处理包括，旋转、平移、剪裁、放缩和噪声处理，获得大量、具有相关性图像训练集；所述的旋转处理，具体过程设置多个预选角度，并根据每个预选角度对训练集中的每个图像进行旋转，获得多幅杂草图像扩展训练集的数量；所述的平移处理，具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行上下左右平移操作，获得多幅杂草图像扩展训练集的数量；所述的剪裁处理具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行剪裁操作，获得多幅杂草图像扩展训练集的数量；所述的放缩处理，具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行放缩操作，获得多幅杂草图像扩展训练集的数量；所述的噪声处理，具体过程预设高斯白噪声参数，并根据预设的高斯白噪声参数对训练集中的每个图像中加入噪音，获得多幅杂草图像扩展训练集的数量。

所述的稻田杂草识别方法，其特征在于：所述的多通道卷积神经网络，分别有三个具有相同结构的卷积神经网络组成，每个卷积神经网络都由两个全连接层以及两个卷积层和两个池化层交替组成。

所述的稻田杂草识别方法，其特征在于：所述的卷积层的作用，建立每一个输出的特征图与上一层的几个特征图的卷积关系，提取的杂草特征在下一层结合形成更高一级的杂草特征；在卷积层进行特征提取后，对输出的特征图进行特征选择和信息过滤。

所述的稻田杂草识别方法，其特征在于：所述的全连接层，可看作卷积层和池化层对杂草图像特征提取和筛序后的逻辑回归分类。

所述的稻田杂草识别方法，其特征在于：所述的mlp分类器，即多层感知器，由一个2层神经网络组成，可对杂草图像中像素的类别进行预测。

所述的识别稻田杂草方法，其特征在于：所述的迁移学习，就是要把在特定训练集上训练得到的“知识”成功运用到新的杂草识别之中。

所述的稻田杂草识别方法，其特征在于：本发明解决了目前多数杂草识别方法中，靠人工提取特征难以获得接近杂草自然属性特征，图像预处理对识别结果有重要影响的问题。本发明使杂草识别的准确率、稳定性和实时性上获得提升，为杂草识别发展提供参考，为研制智能稻田除草设备奠定基础，具有推广应用的意义。

本发明与现有技术相比具有以下的有益效果：

(1)本发明采用多维度扩展，获得了大量、具有相关性的稻田杂草图像。

(2)本发明克服了机器视觉杂草识别方法时靠人工提取特征难以获得接近杂草自然属性的问题和图像预处理对识别结果有影响的缺点。

(3)本发明使杂草识别的准确率、稳定性和实时性获得提升。本发明为智能稻田除草机械的研制奠定了基础，具有推广应用的价值。

附图说明

图1为本发明作业流程图。

图2为本发明图像多维度采集示意图。

图3为本发明卷积神经网络结构示意图。

具体实施方式:

为了使本发明目的、技术方案和优点更加明白清楚，以下结合附图表及实施例对本发明做进一步详细说明。应当理解，此处所描述的具体实例仅用于解释本发明，而不用于限定本发明。一种基于卷积神经网络提取多维度扩展特征稻田杂草识别方法，其特征在于：首先通过多维度采集和多步骤扩展，获得大量、具有相关性的训练集；其次基于卷积神经网络对稻田杂草特征进行提取和筛选；然后对mlp分类器进行训练与检测；最终迁移学习后的mlp分类器对稻田杂草的种类、位置进行预测。所述的多维度扩展，可看作从多个不同维度采集杂草图像以及旋转、平移、剪裁、放缩、噪声处理步骤扩展，获得大量、具有相关性的图像的过程；所述的卷积神经网络，可看作通过梯度下降的方法，不断从低层到高层提取和筛选特征的结构。

所述的稻田杂草识别方法，其特征在于：包括以下步骤：

步骤一、在不同视角下，通过多维度采集稻田杂草图像，并作像素压缩统一处理，获得更贴近稻田杂草生活环境的图像，并按1:1比例分为训练集和检测集。

步骤二、通过多步骤扩展以及归一化处理训练集，获得大量、具有相关性的图像，使用相关性的图像训练卷积神经网络能减少过拟合的可能，而且特征表达效果更好。

步骤三，基于多通道卷积神经网络提取多维度扩展图像特征作为识别的依据，提取多维度扩展图像特征，因不受主观因素影响，所以接近稻田杂草自然属性特征。

步骤四、使用多维度扩展图像对mlp分类器进行训练，获得强大的mlp稻田杂草分类器。

步骤五、先对检测集进行扩充，然后对mlp分类器的准确率和识别时间进行检测，确定mlp分类器的性能参数。

步骤六、迁移学习提高图像分类的准确率，迁移学习后的mlp分类器，能实现对稻田杂草种类、位置的预测。

所述的稻田杂草识别方法，其特征在于：所述的多维度采集图像是从杂草的正上方、正方以及两者之间45°侧方三个维度，采集同一杂草三个维度的图像。

所述的稻田杂草识别方法，其特征在于：所述的多步骤扩展处理包括，旋转、平移、剪裁、放缩和噪声处理，获得大量、具有相关性图像训练集。

所述的稻田杂草识别方法，其特征在于：所述的旋转处理，具体过程设置多个预选角度，并根据每个预选角度对训练集中的每个图像进行旋转，获得多幅杂草图像扩展训练集的数量。

所述的稻田杂草识别方法，其特征在于：所述的平移处理，具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行上下左右平移操作，获得多幅杂草图像扩展训练集的数量。

所述的稻田杂草识别方法，其特征在于：所述的剪裁处理具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行剪裁操作，获得多幅杂草图像扩展训练集的数量。

所述的稻田杂草识别方法，其特征在于：所述的放缩处理，具体过程先预设像素个数，并根据预设像素个数对训练集中的每个图像进行放缩操作，获得多幅杂草图像扩展训练集的数量。

所述的稻田杂草识别方法，其特征在于：所述的噪声处理，具体过程预设高斯白噪声参数，并根据预设的高斯白噪声参数对训练集中的每个图像中加入噪音，获得多幅杂草图像扩展训练集的数量。

所述的稻田杂草识别方法，其特征在于：所述的多通道卷积神经网络，分别有三个具有相同结构的卷积神经网络组成，每个卷积神经网络都由两个全连接层以及两个卷积层和两个池化层交替组成。

所述的稻田杂草识别方法，其特征在于：所述的卷积层的作用，建立每一个输出的特征图与上一层的几个特征图的卷积关系，提取的杂草特征在下一层结合形成更高一级的杂草特征。

所述的稻田杂草识别方法，其特征在于：所述的池化层的作用，在卷积层进行特征提取后，对输出的特征图进行特征选择和信息过滤。

所述的稻田杂草识别方法，其特征在于：所述的全连接层，可看作卷积层和池化层对杂草图像特征提取和筛序后的逻辑回归分类。

所述的稻田杂草识别方法，其特征在于：所述的mlp分类器，即多层感知器，由一个2层神经网络组成，可对杂草图像中像素的类别进行预测。

所述的识别稻田杂草方法，其特征在于：所述的迁移学习，就是要把在特定训练集上训练得到的“知识”成功运用到新的杂草识别之中。

下述一种具体的作业方案：如图1所示，基于卷积神经网络提取多维度扩展特征识别稻田杂草方法，具体包括以下步骤：

步骤一、在不同图像背景和光照条件下，优选地，背景包括有水、泥土、阴影和秸秆，光照条件有太阳直射、斜射、阴天和多云。如图2所示，优选地，分别从杂草的正上方、正方以及两者之间45°侧方三个维度，采集华南稻区常规恶性杂草三个维度的图像。优选地，杂草包括空心莲子草、丁香蓼、鳢肠、野慈姑、稗草、千金子，总共72幅图像。为了加快建模过程、提高识别效率，优选地，把图像的分辨率统一压缩为为320×240。并随机按1:1比例把图像分为训练集a(36幅)和检测集b(36幅)。

步骤二、对训练集a进行旋转操作，优选地，预选角度为±30°，±60°，训练集a分别旋转±30°，±60°扩展训练集获得图像a1-a4。对训练集a进行平移操作，优选地，预选平移的像素为10个像素，训练集a分别向上下左右平移各10个，扩展训练集获得图像a5-a8。对训练集a进行剪裁操作，优选地，预选剪裁的像素为10个像素，训练集a分别向上下左右剪裁10个像素，扩展训练集获得图像a9-a12。对训练集a进行放缩操作，优选地，预选剪裁的像素为10个像素，训练集a分别放缩±2倍，扩展训练集获得图像a13-a16。对训练集a进行噪声处理，优选地，分别向训练集a加入均值为0，方差分别0.01和0.02高斯白躁声，扩展训练集获得图像a17、a18。由上述多步骤扩展获得a1-a18的图像(648幅)，更多的样本参与训练能够减少卷积神经网络过拟合的可能、加强稳定性。为了卷积神经网络提高提取特征的效率，对a、a1-a18(680幅)作归一化处理。

步骤三、构建多通道卷积神经网络中3个结构相同的卷积神经网络，每个卷积神经网络的结构如图3所示，由两个全连接层以及两个卷积层和两个池化层交替组成。每个通道的卷积神经网络操作如下：对于每幅图：

1)在卷积层1，先通过16个卷积核大小为7×7的卷积操作，然后使用激活函数sigmoid进行激活操作。

2)在池化层1，采用2×2最大池化法，获得特征图1。

3)在卷积层2，先通过64个卷积核大小为7×7的卷积操作，然后使用激活函数sigmoid进行激活操作。

4)在池化层2，采用2×2最大池化法，获得特征图2。

5)再经过两个全连接层逻辑回归，获得一张特征图fi。通过上述多通道卷积神经网络，能生成特征图f1、f2、f3，通过融合生成多维度扩展特图f作为杂草识别的依据。

步骤四、在完成多维度扩展特征提取后，多维度扩展特图f输入到mlp分类器，对其进行训练。

步骤五、把检测集b随机分为b1-b4份，并对b1-b4扩充，然后对训练完对mlp分类器的准确率和识别时间进行检测，确定mlp分类器的性能参数。

步骤六、把检测好mlp分类器进行迁移学习，最终实现对稻田杂草种类、位置的预测。

上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。