本发明涉及一种图像分割方法，具体涉及一种基于改进全卷积神经网络的植物叶片分割方法。
背景技术：
植物是生态系统的重要组成部分，植物鉴定和植物病害识别是植物保护的一项重要工作。植物叶片分割通旨在定位图像中的叶片区域并提取，以减少背景物体干扰，是植物鉴定和植物病害识别中的重要步骤。叶片的分割效果对后续的特征提取和模式识别工作会产生直接的影响，因此叶片的精确分割提取问题受到广泛关注。
对于植物叶片的分割，现有的方法主要分为基于阈值的分割和基于聚类的分割，阈值分割有最小误差法、最大类间方差法(otsu)和最大熵法。otsu作为典型的阈值分割法，能够自动选取最佳分割阈值，实现较为简单，但在前景灰度分布范围较大时效果欠佳。聚类算法主要通过计算区域之间颜色的相似度，对相似颜色进行聚类，但在前景和背景颜色差异较小时，很难提取出前景目标。由于受外部环境因素影响较大，现有的一些方法存在误分割现象，这对后续识别过程的开展会产生不利影响，故提出一种自动、精确的分割方法是必要的。
技术实现要素：
本发明的主要目的在于克服现有技术中的不足，提供一种能准确地将植物叶片从背景中分割出来的方法，对叶片中包含与背景颜色相似的病斑、光照不均或阴影部分，能克服其干扰并准确地提取完整叶片。为解决上述技术问题，本发明采用的技术方案是：
一种基于改进全卷积神经网络的图像分割方法，包括如下步骤：
(1)试验数据获取与处理；
(2)构建全卷积神经网络；
(3)训练全卷积神经网络；
(4)采用训练好的全卷积神经网络进行叶片分割。
所述过程(1)具体包括下述步骤：
在选择试验样本时考虑样本的复杂多样性，如图片集中的图片尺寸不一致，拍摄光照强度不均匀，图片中有黑色阴影等，选择部分病斑的颜色与背景色相似的病害叶片。
选用plantvillage工程(www.plantvillage.org)中的6种植物共2203张叶片图片作为试验数据，其中包含5种植物的健康叶片图片和2种植物的病害叶片图片。
通过专业图像标注工具标注图像，得到叶片与背景分别标注为1和0的二值图。将标注图像按4：1的比例随机分成训练集和测试集，得到1762张训练图片和441张测试图片。
所述过程(2)具体包括下述步骤：
选取vgg-16分类模型作为基础模型，构建全卷积神经网络。
所述全卷积神经网络包含迁移学习参数层和非迁移学习的参数层。其中迁移学习的参数层有第一层卷积层c1，其包含conv1_1、conv1_2，第二层卷积层c2，其包含conv2_1、conv2_2,第三层卷积层c3，其包含conv3_1、conv3_2、conv3_3,第四层卷积层c4，其包含conv4_1、conv4_2、conv4_3。非迁移学习的参数层为卷积层c5、c6、c7，反卷积层d5、d6、d7。卷积层c1使用的卷积核大小为3×3，步长为1，共64个卷积核。卷积层c2使用的卷积核大小为3×3，步长为1，共128个卷积核。卷积层c3使用的卷积核大小为3×3，步长为1，共256个卷积核。卷积层c4使用的卷积核大小为3×3，步长为1，共512个卷积核。卷积层c5、c6、c7对特征进行非线性映射，使用的卷积核大小均为1×1，步长为1，共2个卷积核。反卷积层d5使用的卷积核大小为16×16，步长为8，共2个卷积核。反卷积层d6使用的卷积核大小为8×8，步长为4，共2个卷积核。反卷积层d7使用的卷积核大小为4×4，步长为2，共2个卷积核。在反卷积层后连接裁剪层，用于将采样后的特征图裁剪为原图尺寸，最后使用softmax层计算损失值。
上述全卷积神经网络设计为3个模型，分别是direct-fcn8s，direct-fcn4s，direct-fcn2s，其中8、4、2分别是指反卷积层使用的步长。direct-fcn8s迁移c1至conv4-3参数后，连接c5和d5输出预测结果。direct-fcn4s迁移c1至conv3-3参数后，连接c6和d6输出预测结果。direct-fcn2s迁移c1至conv2-2参数后，连接c7和d7输出预测结果。
所述过程(3)具体包括下述步骤：
将获取的试验原图与标签图片一一对应，按照caffe深度学习框架的输入形式将图片放入至对应文件夹，其中标签图片需转换成matlab矩阵形式，另外建立train.txt与val.txt文件，分别包含训练集和测试集所有图片的名称。
在gpu环境下，设置训练的批量大小为1，使用随机梯度下降算法学习模型参数，固定学习率为1e-05，正则化系数设定为0.0005，并设置随机梯度下降的动量项为0.99。训练和测试图片批量大小设为1，训练迭代1762次批量，即遍历一次训练集(epoch)进行一次测试，遍历一遍测试集需441次测试迭代，最大迭代176200次(100次epoch)。
评价模型性能，参考国际公认的语义分割评价指标，取分割的类别平均准确率(meanacc)和平均区域重合度(meanintersectionoverunion,meaniou)作为分割精度指标，另外还考虑模型内存参数需求(模型本身所占计算机存储空间的大小)以及平均单张图片分割时间(随机抽取了35张测试图片，分别在仅有cpu和gpu状态下运行分割程序，取单张图片分割时间的平均值)。
meanacc＝(1/ncl)∑inii/ti(1)
meaniou＝(1/ncl)∑inii/(ti+∑jnji-nii)(2)
其中，ncl表示分割的类别数，ti＝∑jnij表示类别i的总像素数，nii表示类别i预测为i的像素数,nji表示类别j预测为i的像素数。
所述过程(4)具体包括下述步骤：
配置caffe深度学习框架环境，读取需要进行图像分割的叶片图像，通过python语句调用以.caffemodel为后缀的训练后模型文件，前向传播后计算得到图像类别1(即叶片)的概率分布图，取概率0.5作为阈值，大于0.5则将其判别为叶片，否则判别为背景，在程序中将类别为1处的像素值赋值为255，类别为0处的像素值赋值为0。经过模型分割后生成以白色为前景(叶片)、黑色为背景的二值图像。
本发明的有益效果：
本发明使用改进全卷积神经网络分割植物叶片，训练过后的模型能有效克服叶片表面的光照不均、阴影以及病斑的影响，避免欠分割和过分割的现象，模型参数量小，可以满足实时的要求，并得到准确完整的植物叶片分割结果。
附图说明
图1为本发明中的改进后全卷积神经网络的结构图。
图2为改进模型分割精度与迭代次数关系图。
图3为不同方法对部分测试样本的分割结果。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
本发明提出的一种基于改进全卷积神经网络的植物叶片分割方法，包括如下步骤：
(1)试验数据获取与处理
(2)构建全卷积神经网络
(3)训练全卷积神经网络
(4)使用训练好的全卷积神经网络模型实现叶片分割
所述过程(1)具体包括下述步骤：
在选择试验样本时考虑样本的复杂多样性，如图片集中的图片尺寸不一致，拍摄光照强度不均匀，图片中有黑色阴影等，选择部分病斑的颜色与背景色相似的病害叶片。
选用plantvillage工程(www.plantvillage.org)中的6种植物共2203张叶片图片作为试验数据，其中包含5种植物的健康叶片图片和2种植物的病害叶片图片。
通过专业图像标注工具labelme标注图像，得到叶片与背景分别标注为1和0的二值图。将标注图像按4：1的比例随机分成训练集和测试集，得到1762张训练图片和441张测试图片。
所述过程(2)具体包括下述步骤：
如图1所示，选取vgg-16分类模型作为基础模型，构建全卷积神经网络。
所述全卷积神经网络包含迁移学习参数层和非迁移学习的参数层。其中迁移学习的参数层有第一层卷积层c1，包含conv1_1、conv1_2，第二层卷积层c2，包含conv2_1、conv2_2,第三层卷积层c3，包含conv3_1、conv3_2、conv3_3,第四层卷积层c4，包含conv4_1、conv4_2、conv4_3。非迁移学习的参数层包含卷积层c5、c6、c7，反卷积层包含d5、d6、d7。卷积层c1使用的卷积核大小为3×3，步长为1，共64个卷积核。卷积层c2使用的卷积核大小为3×3，步长为1，共128个卷积核。卷积层c3使用的卷积核大小为3×3，步长为1，共256个卷积核。卷积层c4使用的卷积核大小为3×3，步长为1，共512个卷积核。卷积层c5、c6、c7对特征进行非线性映射，使用的卷积核大小均为1×1，步长为1，共2个卷积核。反卷积层d5使用的卷积核大小为16×16，步长为8，共2个卷积核。反卷积层d6使用的卷积核大小为8×8，步长为4，共2个卷积核。反卷积层d7使用的卷积核大小为4×4，步长为2，共2个卷积核。在反卷积层后连接裁剪层，用于将上采样后的特征图裁剪为原图尺寸，最后使用softmax层计算损失值。
上述全卷积神经网络设计成3个模型，分别是direct-fcn8s，direct-fcn4s，direct-fcn2s，其中8、4、2分别是指反卷积层使用的步长。图1为本发明中的改进后全卷积神经网络的结构图。direct-fcn8s迁移c1至conv4-3参数后，连接c5和d5输出预测结果。direct-fcn4s迁移c1至conv3-3参数后，连接c6和d6输出预测结果。direct-fcn2s迁移c1至conv2-2参数后，连接c7和d7输出预测结果。
所述过程(3)具体包括下述步骤：
将获取的试验原图与标签图片一一对应，按照caffe深度学习框架的输入形式将图片放入至对应文件夹，其中标签图片需转换成matlab矩阵形式，另外建立train.txt与val.txt文件，分别包含训练集和测试集所有图片的名称。
在gpu环境下，设置训练的批量大小为1，使用随机梯度下降算法学习模型参数，固定学习率为1e-05，正则化系数设定为0.0005，并设置随机梯度下降的动量项为0.99。训练和测试图片批量大小设为1，训练迭代1762次批量，即遍历一次训练集(epoch)进行一次测试，遍历一遍测试集需441次测试迭代，最大迭代176200次(100次epoch)。
评价模型性能，参考国际公认的语义分割评价指标，取分割的类别平均准确率(meanacc)和平均区域重合度(meanintersectionoverunion,meaniou)作为分割精度指标，另外还考虑模型内存参数需求(模型本身所占计算机存储空间的大小)以及平均单张图片分割时间(随机抽取了35张测试图片，分别在仅有cpu和gpu状态下运行分割程序，取单张图片分割时间的平均值)。
meanacc＝(1/ncl)∑inii/ti(1)
meaniou＝(1/ncl)∑inii/(ti+∑jnji-nii)(2)
其中ncl表示分割的类别数，ti＝∑jnij表示类别i的总像素数，nii表示类别i预测为i的像素数,nji表示类别j预测为i的像素数。
图2为本发明采用8倍、4倍以及2倍上采样倍数模型的分割精度随迭代次数增大的变化趋势图。可见，经过1次迭代训练后，模型的类别平均准确率与平均区域重合度分别能达到98％和96％以上，当迭代次数继续增加时，各模型的类别平均准确率与平均区域重合度均有提升。
表1为各模型的性能比较，可见，本发明中的各模型精度均能达到较高值，其中采用4倍上采样的模型direct-fcn4s精度优于采用2倍和8倍的上采样模型，类别平均准确率与平均区域重合度分别可达99.099％和98.204％。其内存参数需求仅占6.90mb，缩小为原始模型skip-fcn8s-4096的1/77。此外，仅有cpu和gpu状态下direct-fcn4s模型分割平均单张图片分割时间仅为3.89s和0.06s，是skip-fcn4s-4096模型分割时间的九分之一。
表1
将本发明方法(direct-fcn4s和原始模型skip-fcn8s-4096)与k-means聚类法以及阈值法otsu分割方法进行对比。在测试集中随机选出4张图片，图3为不同方法下的分割效果示例图，第一行原图是樱桃健康叶片图片，背景较简单，包含较少阴影部分，三种方法分割效果都较好；第二行原图是蓝莓健康叶图片，叶片图片包含大块阴影部分的同时表面的光照强度不同，通过观察结果，发现所列的两种传统方法对阴影部分处理效果好，但是对于叶片表面光照较强的部分处理效果较差，易将其误分为背景。与前面两张例图不同的是，第三、四行的原图片分别是土豆晚疫病和辣椒细菌性斑点病图片，叶片表面的病斑颜色与叶片正常部分差异较大，呈现的颜色与背景较相似。k-means与otsu分割法对病斑部分的误分割率高，导致叶片完整特征信息丢失，而本发明的最优模型和原始模型都能实现叶片完整分割。实验表明，传统分割方法对于简单背景的叶片的分割效果较好，k-means与otsu方法属于非学习方法，分割效果易受环境因素的影响，而本发明通过学习先验知识，能自动获取图片的特征，对复杂图片处理鲁棒性好，可以实现复杂图片的自动分割。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。