一种植物叶片分割方法与流程

1.本发明涉及图像处理技术领域，尤其是一种植物叶片分割方法。


背景技术：

2.近年来，人们对采用非接触方法获取植物表型信息越来越感兴趣。叶片是植物表型的重要部分，获取叶片信息最重要的一环就是对二维叶片图像进行分割。对一幅图片中的多个叶片进行实例分割，目的是检测和描绘每一幅图片中出现的不同叶片，并计算出每一片叶片的掩码，是植物表型探索的一个热点研究方向。
3.目前基于深度学习的方法已经用于植物叶片分割领域，但是现阶段叶片分割中还是存在叶片相互遮挡的现象，造成分割精度低，现有技术无法满足植物叶片的精确分割。


技术实现要素：

4.本发明人针对上述问题及技术需求，提出了一种植物叶片分割方法，本发明的技术方案如下：
5.一种植物叶片分割方法，包括：
6.构建样本数据集，样本数据集中包括若干幅带真实标签的样本图像；
7.将样本图像输入卷积神经网络中，卷积神经网络包括backbone网络、rpn网络和若干个级联的叶片分割模块，每个叶片分割模块包括roialign网络和head网络，每个head网络包括分类分支、分割分支和检测分支；backbone网络对输入的样本图像进行特征提取得到样本特征图并分别输入各个植物叶片分割模块的roialign网络，rpn网络从输入的样本图像中提取得到提案框并输入第一个叶片分割模块的roialign网络；每一个roialign网络从样本特征图中提取输入的提案框对应的对齐特征图送入head网络，head网络的分类分支对接收到的对齐特征图进行图像分类得到叶片分类分数，head网络的分割分支对接收到的对齐特征图进行图像分割得到叶片分割结果，head网络的检测分支基于iou阈值对接收到的对齐特征图进行检测并得到更新后的提案框送入下一个叶片分割模块的roialign网络；各个叶片分割模块中的iou阈值按照级联顺序依次递增；
8.将每一个样本图像经由卷积神经网络的各个叶片分割模块分别输出的叶片分类分数、提案框和叶片分割结果与其真实标签进行对比，调整卷积神经网络的网络参数，利用样本数据集基于卷积神经网络训练得到植物叶片分割模型；
9.将待分割图像输入植物叶片分割模型，得到对待分割图像的叶片分割结果。
10.进一步的，得到对待分割图像的叶片分割结果，包括：
11.将植物叶片分割模型的最后一个叶片分割模块输出的提案框输入各个叶片分割模块的roialign网络，roialign网络从待分割图像的特征图中提取输入的提案框对应的对齐特征图送入head网络，由各个head网络的分类分支和分割分支分别输出对应的叶片分类分数和叶片分割结果，选取叶片分类分数最高的叶片分割模块所输出的叶片分割结果作为待分割图像的叶片分割结果。
12.进一步的，待分割图像包括不同尺度的图像，则将待分割图像输入植物叶片分割模型，得到对待分割图像的叶片分割结果，包括：
13.将待分割图像的不同尺度的图像分别输入到植物叶片分割模型进行分割，得到不同尺度对应的叶片分割结果；
14.将不同尺度对应的叶片分割结果统一到同一尺度并进行去重计算，得到待分割图像的叶片分割结果。
15.进一步的，分割分支包括4层3
×
3全卷积层、注意力机制模块和2层3
×
3全卷积层，则head网络的分割分支对接收到的对齐特征图进行图像分割得到叶片分割结果，包括：
16.4层3
×
3全卷积层对输入的对齐特征图进行特征提取，得到新的对齐特征图并送入注意力机制模块；注意力机制模块对接收到的新的对齐特征图进行边缘增强，得到边缘增强后的新的对齐特征图并送入2层3
×
3全卷积层；2层3
×
3全卷积层对边缘增强的新的对齐特征图进行边缘特征提取和图像分割，得到叶片分割结果。
17.进一步的，样本数据集中样本图像包括原始图像以及原始图像经数据增强处理后的图像，数据增强处理包括图像镜像对称、图像旋转和图像尺度变换中的至少一种。
18.进一步的，backbone网络对输入的样本图像进行特征提取得到样本特征图，包括：
19.backbone网络采用滑动窗口的形式对输入的样本图像进行特征提取，得到h*w*c的样本特征图，其中h为特征图高度，w为特征图宽度，c为特征图通道数量。
20.进一步的，对齐特征图为尺度相同的的特征图，尺度为s*s*c，其中s为对齐后特征图的高度与宽度，c为对齐后特征图的通道数量。
21.进一步的，叶片分割模块的数量为2～4个。
22.本发明的有益技术效果是：
23.本发明公开了一种植物叶片分割方法，针对叶片分割领域出现的叶片遮挡的问题，在植物叶片分割模型中采用采用级联的叶片分割模块逐步提升head网络的阈值，得到高质量的提案框与多数量的正样本，减少一个提案框中包含多个叶片的可能性，从而解决叶片相互遮挡时造成的检测错误；同时，本发明在head网络中引入注意力机制模块来对分割分支进行改进，利用该模块对分割分支的特征进行加权，增强叶片边缘特征信息，提高对叶片边缘的分割效果；进一步的，本发明还采用多尺度分割策略，将待分割叶片的不同尺度的图像输入模型中进行分割，利用不同尺度的特征进行融合，增强了对尺寸过小的叶片的检测与分割结果。
附图说明
24.图1是本发明植物叶片分割方法实施例的流程图；
25.图2是本发明植物叶片分割方法实施例的分割分支流程图；
26.图3是本发明植物叶片分割方法实施例的多尺度分割方法流程图；
27.图4是本发明植物叶片分割方法实施例的分割结果图。
具体实施方式
28.下面结合附图对本发明的具体实施方式做进一步说明。
29.本发明公开了一种植物叶片分割方法，包括：
30.构建样本数据集，样本数据集中包括若干幅带真实标签的样本图像，优选的，样本数据集中的样本图像包括原始图像以及原始图像经数据增强处理后的图像，数据增强处理包括图像镜像对称、图像旋转和图像尺度变换中的至少一种；
31.将样本图像输入卷积神经网络中，卷积神经网络包括backbone网络、rpn网络和若干个级联的叶片分割模块，其中叶片分割模块的数量优选2～4个；每个叶片分割模块包括roialign网络和head网络，每个head网络包括分类分支、分割分支和检测分支；backbone网络对输入的样本图像进行特征提取得到样本特征图并分别输入各个植物叶片分割模块的roialign网络，rpn网络从输入的样本图像中提取得到提案框并输入第一个叶片分割模块的roialign网络；每一个roialign网络从样本特征图中提取输入的提案框对应的对齐特征图送入head网络，其中，对齐特征图是指尺度相同的的特征图，尺度为s*s*c，s为对齐后特征图的高度与宽度、c为对齐后特征图的通道数量；head网络的分类分支对接收到的对齐特征图进行图像分类得到叶片分类分数，head网络的分割分支对接收到的对齐特征图进行图像分割得到叶片分割结果，head网络的检测分支基于iou阈值对接收到的对齐特征图进行检测并得到更新后的提案框送入下一个叶片分割模块的roialign网络；各个叶片分割模块中的iou阈值按照级联顺序依次递增；
32.将每一个样本图像经由卷积神经网络的各个叶片分割模块分别输出的叶片分类分数、提案框和叶片分割结果与其真实标签进行对比，调整卷积神经网络的网络参数，利用样本数据集基于卷积神经网络训练得到植物叶片分割模型；
33.将待分割图像输入植物叶片分割模型，得到对待分割图像的叶片分割结果，优选的，将植物叶片分割模型的最后一个叶片分割模块输出的提案框输入各个叶片分割模块的roialign网络，roialign网络从待分割图像的特征图中提取输入的提案框对应的对齐特征图送入head网络，由各个head网络的分类分支和分割分支分别输出对应的叶片分类分数和叶片分割结果，选取叶片分类分数最高的叶片分割模块所输出的叶片分割结果作为待分割图像的叶片分割结果。
34.优选的，待分割图像包括不同尺度的图像，则将待分割图像输入植物叶片分割模型，得到对待分割图像的叶片分割结果，包括：
35.将待分割图像的不同尺度的图像分别输入到植物叶片分割模型进行分割，得到不同尺度对应的叶片分割结果；
36.将不同尺度对应的叶片分割结果统一到同一尺度并进行去重计算，得到待分割图像的叶片分割结果。
37.优选的，分割分支包括4层3
×
3全卷积层、注意力机制模块和2层3
×
3全卷积层，则head网络的分割分支对接收到的对齐特征图进行图像分割得到叶片分割结果，包括：
38.4层3
×
3全卷积层对输入的对齐特征图进行特征提取，得到新的对齐特征图并送入注意力机制模块；注意力机制模块对接收到的新的对齐特征图进行边缘增强，得到边缘增强后的新的对齐特征图并送入2层3
×
3全卷积层；2层3
×
3全卷积层对边缘增强的新的对齐特征图进行边缘特征提取和图像分割，得到叶片分割结果
39.可选的，backbone网络采用滑动窗口的形式对输入的样本图像进行特征提取，得到h*w*c的样本特征图，其中h为特征图高度，w为特征图宽度，c为特征图通道数量。
40.在一个实施例中，该植物叶片分割方法包括：
41.构建样本数据集，样本数据集中包括若干幅带真实标签的样本图像，样本图像包括原始图像以及原始图像经数据增强处理后的图像，数据增强处理包括图像镜像对称、图像旋转和图像尺度变换中的至少一种；
42.将样本图像输入卷积神经网络中，卷积神经网络包括backbone网络、rpn网络和三个级联的叶片分割模块，每个叶片分割模块包括roialign网络和head网络，每个head网络包括分类分支、分割分支和检测分支；backbone网络采用滑动窗口的形式对输入的样本图像进行特征提取得到尺度为h*w*c的样本特征图并分别输入各个植物叶片分割模块的roialign网络，其中h为特征图高度、w为特征图宽度、c为特征图通道数量，backbone网络包含但不限于resnet50、resnet101、resnext50、resnext101、resnext152，并结合特征金字塔(fpn)网络实现特征提取；rpn网络从输入的样本图像中提取得到提案框并输入第一个叶片分割模块的roialign网络；每一个roialign网络从样本特征图中提取输入的提案框对应的对齐特征图送入head网络，其中对齐特征图为尺度相同的特征图，尺度为s*s*c、s为对齐后特征图的高度与宽度、c为对齐后特征图的通道数量；head网络的分类分支对接收到的对齐特征图进行图像分类得到叶片分类分数，head网络的分割分支对接收到的对齐特征图进行图像分割得到叶片分割结果，head网络的检测分支基于iou阈值对接收到的对齐特征图进行检测并得到更新后的提案框送入下一个叶片分割模块的roialign网络；其中，第一个叶片分割模块中的iou阈值为0.5，第二个叶片分割模块中的iou阈值为0.6，第三个叶片分割模块中的iou阈值为0.7。
43.将每一个样本图像经由卷积神经网络的三个叶片分割模块分别输出的叶片分类分数、提案框和叶片分割结果与其真实标签进行对比，调整卷积神经网络的网络参数，利用样本数据集基于卷积神经网络训练得到植物叶片分割模型；
44.将待分割图像输入植物叶片分割模型，将植物叶片分割模型的第三个叶片分割模块输出的提案框输入三个叶片分割模块的roialign网络，roialign网络从待分割图像的特征图中提取输入的提案框对应的对齐特征图送入head网络，由三个head网络的分类分支和分割分支分别输出对应的叶片分类分数和叶片分割结果，选取叶片分类分数最高的那个叶片分割模块所输出的叶片分割结果作为待分割图像的叶片分割结果。
45.优选的，待分割图像包括不同尺度的图像，如图3所示，则将待分割图像输入植物叶片分割模型，得到对待分割图像的叶片分割结果，包括：
46.将待分割图像的不同尺度的图像分别输入到植物叶片分割模型进行分割，得到不同尺度对应的叶片分割结果；
47.将不同尺度对应的叶片分割结果统一到同一尺度并进行去重计算，得到待分割图像的叶片分割结果。
48.在一个实施例中，在head网络中引入注意力机制模块对分割分支进行改进，该注意力机制模块采用通道注意力senet，如图2所示，分割分支包括4层3
×
3全卷积层、注意力机制模块和2层3
×
3全卷积层，则head网络的分割分支对接收到的对齐特征图进行图像分割得到叶片分割结果，包括：
49.4层3
×
3全卷积层对输入的对齐特征图进行特征提取，得到新的对齐特征图并送入注意力机制模块；注意力机制模块对接收到的新的对齐特征图进行边缘增强，得到边缘增强的新的对齐特征图并送入2层3
×
3全卷积层；2层3
×
3全卷积层对边缘增强的新的对齐
特征图进行边缘特征提取和图像分割，得到叶片分割结果。
50.其中，注意力机制模块分为a分支和b分支，b分支用于特征压缩与权重调整，然后与原始特征a分支进行融合，从而增强图像边缘特征。可选的，注意力机制模块的参数c＝256，t＝16。
51.在一个实施例中，采用cvppp(computer vision problems in plant phenotyping)2017植物叶片分割数据集进行训练，该数据集由4个不同的子数据集组成，分别为a1、a2、a3和a4，每个子数据集包含不同物种与尺寸的图像，采用a1～a5数据集作为测试数据，其中a5为a1
‑
a4数据集的合并，以a5的分割结果来说明a1
‑
a4数据集的分割性能。cvppp给出了该数据集分割准确性的评价标准symmetric best dice(sbd)。计算sbd前需要首先计算best dice(bd)，bd计算方式如下：
[0052][0053]
其中，|
·
|表示求叶片的像素数量，是图像l
a
的所有分割区域，是图像l
b
的所有分割区域。
[0054]
sbd的计算分为两步，第一步对每个预测结果找到一个最佳的真值标签进行匹配，第二步针对每一个真值标签找到一个最佳的预测结果进行匹配，两个步骤相互独立，sbd得分取第一步和第二步的最小值，其计算方式如下：
[0055]
sbd(l
ar
,l
gt
)＝min{bd(l
ar
,l
gt
),bd(l
gt
,l
ar
)}；
[0056]
其中，l
gt
是真值标签，l
ar
是通过算法得到的预测分割结果。sbd含义是每一片叶片的平均分割准确性，其值越高代表分割准确性越好。
[0057]
|dic|的含义是预测叶片数量减去真实叶片数量的绝对值，该值越小代表计数结果与实际的越相近。
[0058]
根据cvppp数据集计算得到本发明的植物叶片分割方法的sbd指标为90.3％，|dic|平均叶片计数指标为0.877，对每个数据集的分割结果如表1所示。从表1可以看出，本发明提出的方法在保证分割准确性的同时也保证了叶片计数的准确性。
[0059]
表1 cvppp 2017数据集sbd与|dic|指标
[0060][0061]
根据本发明的植物叶片分割方法得到的部分分割结果如图4所示，由于本发明采用级联的叶片分割模块逐步提升head网络的阈值，减少了一个提案框中包含多个叶片的可能性，从而解决了叶片相互遮挡时造成的检测错误的问题；在head网络中引入注意力机制模块来对分割分支进行改进，利用该模块对分割分支的特征进行加权，使得边缘特征更加明显，提高了对叶片边缘的分割效果；并且在叶片尺寸过小的情况下，采用多尺度分割策略，将待分割叶片的不同尺度的图像同时输入模型中进行分割，利用不同尺度的特征进行融合，从而有效检测出小尺寸叶片。
[0062]
以上所述的仅是本技术的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。