一种基于MaskR-CNN图像分割的番茄果实内部形态表型采集方法

一种基于mask r-cnn图像分割的番茄果实内部形态表型采集方法
技术领域
1.本发明属于番茄果实高通量表型技术领域，尤其涉及一种基于maskr-cnn图像分割的番茄果实内部形态表型采集方法。


背景技术：

2.番茄是世界上消费最广泛的蔬菜之一，不仅有多种食用形式，含有大量的维生素a、c和番茄红素，还能起到降低患癌症等疾病风险的作用。由于其遗传多样性和商业价值，番茄也是果实发育研究的模式物种。番茄果实的内部形态重点关注心室及果皮的指标，是番茄种质资源考察及育种应用的重要参考内容，因此，番茄果实内部形态表型的高通量采集具有重要意义。
3.目前番茄果实所有表型数据的采集主要依赖人工测量、记录，存在较大的误差和不一致性，面对大量的番茄种子资源、亲本、f1等，这些数据的采集需要花费大量的人力、物力，并且可靠性较差，重复性差。现有表型批量化采集工具无法完全满足番茄育种工作对果实表型的规模化采集需求，尤其体现在果实内部形态表型上。因此，亟需开发细致的番茄果实内部形态表型高通量采集工具，满足番茄种质资源大规模表型性状挖掘需求，提升育种水平和效率。
4.高通量表型技术是指利用成像传感、图像处理和深度学习等技术，快速获取大批量植株表型信息的一种技术方法，对提高植物表型采集的效率和准确性、加速新品种选育都有显著的促进作用。多样的植物表型性状信息主要以影像为载体获取，获取方式包括但不限于各类成像设备，如数码相机、多光谱/高光谱相机、激光雷达设备等。目前，在植物高通量表型获取技术和平台中，可见光成像仍然是实现表型采集与分析的主要途径。利用深度学习和图像识别技术，可以从图像中识别出目标区域，提取数量、分布、长度、面积和颜色等感兴趣特征，从而实现高通量的表型信息采集。
5.基于可见光图像的主流图像分割方法包括fast r-cnn、mask r-cnn、 deeplab等，其特点在于需要大量标注数据用于模型训练，以实现准确的图像目标识别。此类方法被用于多种作物的多样表型信息采集中，例如黄瓜果实大小和颜色、甜瓜大小和外形、桃果实尺寸和外形、梨果实尺寸大小等。可见光成像的主要优点是成像率高、成本低、操作简单，较为适合构建一个轻量化、低成本的表型采集系统，且可以满足番茄果实内部形态表型的高通量采集。


技术实现要素：

6.为解决现有技术存在的缺陷，提供一种基于mask r-cnn图像分割的番茄果实内部形态表型采集方法，通过拍摄大量番茄果实横切面图像并标注果实心室区域，利用mask r-cnn深度学习方法训练番茄心室图像分割模型，获取果实心室数量及面积大小。进一步根据心室及果实轮廓，获取番茄果皮厚度，为番茄育种及种质资源挖掘提供基础数据。
7.技术方案如下：
8.一种基于mask r-cnn图像分割的番茄果实内部形态表型采集方法，包括以下步骤：
9.步骤一：从番茄果实横向最宽处切开果实，将切面置于色温6000k的标准光环境下拍摄图像，多个番茄果实同时拍摄，拍摄的果实数量不少于200 个。
10.步骤二：准备图像分割标注数据集，采用labelme图像标注工具将所有果实横切图像中的每个番茄果实心室标记为单独的多边形区域。
11.步骤三：为防止r-cnn过拟合或发散，对标记图像进行数据增强，数据增强方法包括对图像进行90
°
、180
°
、270
°
旋转，垂直、水平镜像、0.1 至4倍的线性插值缩放，以及图像高斯模糊。经过数据增强后，标注数据集的数据量将扩充为原来的24倍，随后按照70％训练集、20％验证集、10％测试集的方式随机划分标注数据集。
12.步骤四：根据训练集的标注区域，应用特征金字塔网络(fpn)提取识别目标的颜色、纹理等特征信息，应用区域候选网络(rpn)对齐标注目标区域 (roi)，生成提取候选框。
13.步骤五：不断将提取候选框内的特征信息输入cnn卷积层，并设置边界框回归损失为损失函数进行迭代训练，以优化精确率p、召回率r和f1分数为目标，完成mask r-cnn模型的训练与验证,其公式如下；
[0014][0015][0016][0017]
其中tp、fp和fn分别表示正确识别的目标、错误识别的目标和未能识别的目标。
[0018]
步骤六：实现番茄心室图像分割后，心室数量和心室面积占比即可直接获取。根据番茄果实轮廓及其心室轮廓，确定各轮廓的几何中心，从果实轮廓中心向各心室轮廓中心做射线，与各心室轮廓外侧和果实轮廓形成一对交点，计算每对交点间距离，其均值记为番茄果皮厚度。
[0019]
有益效果：
[0020]
本发明采用标准光环境拍照方式批量采集番茄果实横切面图像，基于人工标准，应用mask r-cnn图像分割方法构建番茄果实心室分割模型，结合图像识别技术高通量采集番茄果实心室数量、心室面积占比、果皮厚度指标，减少番茄果实内部形态表型采集工作中的人工操作和随机误差，提高番茄品种考种数据的准确性和可靠性。
附图说明
[0021]
图1为基于mask r-cnn图像分割的番茄果实内部形态表型采集流程示意图；
[0022]
图2为一份番茄果实a横切面图像；
[0023]
图3为一份番茄果实a其中一个果实的心室标注图；
[0024]
图4为一份番茄果实b的横切面图像；
[0025]
图5为一份番茄果实c的横切面图像；
[0026]
图6为一份番茄果实d的横切面图像；
[0027]
图7为一份番茄果实e的横切面图像；
[0028]
图8为一份番茄果实f的横切面图像。
具体实施方式
[0029]
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明中的技术方案进行清楚、完整地描述。
[0030]
根据图1所示，一种基于mask r-cnn图像分割的番茄果实内部形态表型采集方法，包括以下步骤：
[0031]
步骤一：从番茄果实横向最宽处切开果实，将切面置于色温6000k的标准光环境下拍摄图像，多个番茄果实同时拍摄，拍摄的果实数量不少于200 个。
[0032]
步骤二：准备图像分割标注数据集，采用labelme图像标注工具将所有果实横切图像中的每个番茄果实心室标记为单独的多边形区域。
[0033]
步骤三：为防止r-cnn过拟合或发散，对标记图像进行数据增强，数据增强方法包括对图像进行90
°
、180
°
、270
°
旋转，垂直、水平镜像、0.1 至4倍的线性插值缩放，以及图像高斯模糊。经过数据增强后，标注数据集的数据量将扩充为原来的24倍，随后按照70％训练集、20％验证集、10％测试集的方式随机划分标注数据集。
[0034]
步骤四：根据训练集的标注区域，应用特征金字塔网络(fpn)提取识别目标的颜色、纹理等特征信息，应用区域候选网络(rpn)对齐标注目标区域 (roi)，生成提取候选框。不断将提取候选框内的特征信息输入cnn卷积层，并设置边界框回归损失为损失函数进行迭代训练，完成mask r-cnn模型在训练集、验证集上的训练与验证。
[0035]
步骤五：采用精确率(p)、召回率(r)和f1分数，作为检测分割模型在测试集中泛化识别效果的指标：
[0036][0037][0038][0039]
其中tp、fp和fn分别表示正确识别的目标、错误识别的目标和未能识别的目标。
[0040]
步骤六：实现番茄心室图像分割后，心室数量和心室面积占比即可直接获取。根据番茄果实轮廓及其心室轮廓，确定各轮廓的几何中心，从果实轮廓中心向各心室轮廓中心做射线，与各心室轮廓外侧和果实轮廓形成一对交点，计算每对交点间距离，其均值记为番茄果皮厚度。
[0041]
应用上述基于mask r-cnn图像分割的番茄果实内部形态表型采集方法，即可自动准确地采集其他番茄果实内部形态表型指标。
[0042]
实施例1
[0043]
根据图2-3所示，基于mask r-cnn图像分割的番茄果实内部形态表型采集方法
[0044]
步骤一：将300张标准光环境下拍摄的番茄果实横切面图像用于心室标注，经过数据增强形成数据集，应用mask r-cnn图像分割模型训练番茄果实心室分割模型。
[0045]
步骤二：如图3所示，应用上述模型识别图像中的番茄心室，图3中显示的番茄果实有3个心室，心室面积占比29.67％，果皮厚度6.94mm。
[0046]
实际测量得到心室3个，果皮厚度7.00mm，误差小于1％，结果与实际测量值相符。
[0047]
步骤三至六：根据图2所示，图像中4个番茄为同一品种不同样品，进一步计算图像中全部番茄果实的内部形态表型，得到内部形态表型指标均值：心室数量2.5，心室面积占比27.25％，果皮厚度7.35mm。
[0048]
实际测量得到4个果实共有心室10个，平均2.5个/果实，即tp＝10， fp＝fn＝0，p＝1.00，r＝1.00，f1＝1.00；果皮厚度7.41mm，误差小于1％，结果与实际测量结果相符。
[0049]
实施例2
[0050]
根据图4所示，
[0051]
步骤一：将300张标准光环境下拍摄的番茄果实横切面图像用于心室标注，经过数据增强形成数据集，应用mask r-cnn图像分割模型训练番茄果实心室分割模型。
[0052]
步骤二：应用上述模型识别图像中的番茄心室，图4中显示的3个番茄果实分别有2、3、2个心室，整体心室面积占比27.83％，果皮厚度7.05mm。
[0053]
实际测量得到心室分别有2、3、2个，果皮厚度7.08mm，误差小于1％，结果与实际测量值相符。
[0054]
步骤三至六：图像中3个番茄为同一品种不同样品，进一步计算图像中全部番茄果实的内部形态表型，得到内部形态表型指标均值：心室数量2.33，心室面积占比27.83％，果皮厚度7.08mm。
[0055]
实际测量得到3个果实共有心室7个，平均2.33个/果实，即tp＝7，fp＝fn＝0，p＝1.00，r＝1.00，f1＝1.00；果皮厚度7.08mm，误差小于1％，结果与实际测量结果相符。
[0056]
实施例3
[0057]
根据图5-8所示，
[0058]
步骤一：将300张标准光环境下拍摄的番茄果实横切面图像用于心室标注，经过数据增强形成数据集，应用mask r-cnn图像分割模型训练番茄果实心室分割模型。
[0059]
步骤二：应用上述模型识别共50份番茄果实横切面图像中的番茄心室。图5-8展示了四份番茄果实横切面图像，每份图像包含4个番茄果实，识别得到所有番茄果实共有737个心室，漏识别(fn)14个心室,误识别(fp) 11个心室，正确识别(tp)726个心室。
[0060]
计算得到p＝0.9851,r＝0.9812，f1＝0.9831，该识别结果与实际情况非常接近。
[0061]
步骤三至六：进一步计算50份番茄果实横切面图像中全部番茄果实的心室面积占比和果皮厚度，得到各指标均值：心室面积占比29.78％，果皮厚度 6.58mm。
[0062]
实际测量得到果皮厚度均值6.72mm，误差小于3％，该结果与实际测量结果相符。
[0063]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。