基于深度堆叠卷积神经网络的植物细胞器分割方法及系统

1.本发明涉及植物细胞技术领域，特别是涉及一种基于深度堆叠卷积神经网络的植物细胞器分割方法及系统。


背景技术：

2.植物细胞中含有多种细胞器，包括细胞核、线粒体、叶绿体、液泡、高尔基体等。这些细胞器与细胞中各种大分子组件错综复杂地组织起来，以满足细胞的生命活动需求。细胞核是真核细胞中最重要的细胞结构，是细胞的遗传与代谢的调控中心，一般的细胞失去细胞核后很快就会死亡。线粒体、叶绿体、液泡等细胞器承担着细胞的各种生命活动功能，比如叶绿体提供了植物光合作用的场所，线粒体则是产生能量供细胞进行生命活动。
3.植物体在基因变异、外界胁迫等情况下，细胞器的形状、大小、数量会发生变化。例如，细胞死亡通常伴随着细胞质含量的逐渐减少、液泡溶解以及细胞器吞噬的发生。线粒体形态变化反映细胞能量供给情况和多重代谢过程。因此，准确描绘细胞器并识别形态变化对于理解植物细胞行为和正常的植物组织发育具有极大意义。
4.随着深度学习技术的发展，图像分割领域获得了巨大突破，加速了对图像信息的挖掘。传统的机器视觉方法难以解决复杂背景下的物体分割。在图像分割领域，mask r-cnn、fcn、segnet、unet等模型以及其衍生模型已经能够在大多数场景完成特定任务。但是，对于细胞中错综复杂的细胞器结构以及环境，简单的分割模型难以完成任务。因此，需要一种新的方法来实现细胞器的分割任务。


技术实现要素：

5.本发明的目的是一种基于深度堆叠卷积神经网络的植物细胞器分割方法及系统，可实现细胞图像中的细胞器分割。
6.为实现上述目的，本发明提供了如下方案：
7.第一方面，本发明提供了一种基于深度堆叠卷积神经网络的植物细胞器分割方法，包括：
8.获取待分割的植物叶组织细胞图像；
9.将所述植物叶组织细胞图像输入到植物细胞器识别模型中，以确定所述植物叶组织细胞图像中各种细胞器的面积以及每种所述细胞器的数量；
10.所述植物细胞器识别模型是根据深度神经网络模型和植物样本数据确定的；其中，所述深度神经网络模型为包含编码网络、语义分割网络和实例分割网络的网络模型；所述语义分割网络和所述实例分割网络均包括解码部分；所述编码网络的内部叠加有多个深度可分离卷积层。
11.可选的，所述获取待分割的植物叶组织细胞图像，具体包括：
12.采用透射电子显微镜获取待分割的植物叶组织细胞图像。
13.可选的，所述将所述植物叶组织细胞图像输入到植物细胞器识别模型中，以确定
所述植物叶组织细胞图像中各种细胞器的面积以及每种所述细胞器的数量，具体包括：
14.将所述植物叶组织细胞图像输入到植物细胞器识别模型中，以确定所述植物叶组织细胞图像中各个细胞器的种类信息以及每种所述细胞器的位置信息；
15.基于所述各个细胞器的种类信息以及每种所述细胞器的位置信息，确定各种细胞器的面积以及每种所述细胞器的数量。
16.可选的，所述植物细胞器识别模型的确定过程为：
17.构建深度神经网络模型；所述深度神经网络模型的输入端为编码网络的输入端；所述编码网络的输出端分别连接所述语义分割网络和所述实例分割网络的解码部分；所述深度神经网络模型的第一输出端为所述语义分割网络的输出端；所述深度神经网络模型的第二输出端为所述实例分割网络的输出端；
18.构建植物样本数据；所述植物样本数据为带有标记的样本数据；所述标记包括细胞器的种类信息以及每个细胞器所在的位置信息；
19.利用所述植物样本数据训练所述深度神经网络模型进行训练，确定植物细胞器识别模型。
20.可选的，所述构建植物样本数据，具体包括：
21.采用透射电子显微镜获取采集各种植物的叶片组织细胞图像数据；
22.使用labelme软件对植物的叶片组织细胞图像数据中的各个细胞器进行位置信息标注，基于人工方式对各个细胞器的种类信息进行标注，进而确定植物样本数据。
23.可选的，还包括：
24.基于python的pyqt5模块编写细胞器识别软件；所述细胞器识别软件为设置有植物细胞器识别模型的识别软件；
25.所述细胞器识别软件具有图像输入功能、模型预测功能、图像输出功能和结果保存功能。
26.可选的，还包括：
27.搭建plantorgan hunter网页；所述plantorgan hunter网页与设置有植物细胞器识别模型的远程服务器连接；
28.所述plantorgan hunter网页具有图像输入功能、模型预测功能、图像输出功能和结果保存功能。
29.第二方面，本发明提供了一种基于深度堆叠卷积神经网络的植物细胞器分割系统，包括：
30.图像获取模块，用于获取待分割的植物叶组织细胞图像；
31.细胞器的面积及数量确定模块，用于将所述植物叶组织细胞图像输入到植物细胞器识别模型中，以确定所述植物叶组织细胞图像中各种细胞器的面积以及每种所述细胞器的数量；
32.所述植物细胞器识别模型是根据深度神经网络模型和植物样本数据确定的；其中，所述深度神经网络模型为包含编码网络、语义分割网络和实例分割网络的网络模型；所述语义分割网络和所述实例分割网络均包括解码部分；所述编码网络的内部叠加有多个深度可分离卷积层。
33.第三方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行
所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。
34.第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
35.根据本发明提供的具体实施例，本发明公开了以下技术效果：
36.本发明基于包含编码网络、语义分割网络和实例分割网络的网络模型实现了各类细胞器的快速分割，有利于分析植物亚细胞结构的表型变化。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明一种基于深度堆叠卷积神经网络的植物细胞器分割方法的流程示意图；
39.图2为本发明一种基于深度堆叠卷积神经网络的植物细胞器分割方法的整体流程图；
40.图3为本发明实施例中编码网络的结构示意图；
41.图4为本发明实施例中语义分割网络的结构示意图；
42.图5为本发明实施例中深度可分离卷积模块的结构示意图；
43.图6为本发明实施例中实例分割网络的结构示意图；
44.图7为本发明实施例中基于depthunet模型的预测结果示意图。
45.图8为本发明一种基于深度堆叠卷积神经网络的植物细胞器分割系统的结构示意图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.基于深度学习模型的细胞器分割技术存在着分割准确率不高、泛化性弱、数据集有限等问题。unet模型在分割领域应用广泛，而对于细胞中较大的细胞器unet模型存在信息丢失的情况，因此堆叠多个深度可分离卷积模块获取更大感受野以保留更多信息和加强模型对大目标的检测。鉴于此，本发明提供了一种基于深度堆叠卷积神经网络的植物细胞器分割方法及系统，可实现细胞图像中的细胞器分割。
48.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
49.实施例一
50.参见图1，本实施例提供了一种基于深度堆叠卷积神经网络的植物细胞器分割方
法，包括：
51.步骤101：获取待分割的植物叶组织细胞图像。
52.步骤102：将所述植物叶组织细胞图像输入到植物细胞器识别模型中，以确定所述植物叶组织细胞图像中各种细胞器的面积以及每种所述细胞器的数量。
53.所述植物细胞器识别模型是根据深度神经网络模型和植物样本数据确定的；其中，所述深度神经网络模型为包含编码网络、语义分割网络和实例分割网络的网络模型；所述语义分割网络和所述实例分割网络均包括解码部分；所述编码网络的内部叠加有多个深度可分离卷积层。
54.其中，步骤101，具体包括：
55.采用透射电子显微镜获取待分割的植物叶组织细胞图像。
56.步骤102，具体包括：
57.将所述植物叶组织细胞图像输入到植物细胞器识别模型中，以确定所述植物叶组织细胞图像中各个细胞器的种类信息以及每种所述细胞器的位置信息。
58.基于所述各个细胞器的种类信息以及每种所述细胞器的位置信息，确定各种细胞器的面积以及每种所述细胞器的数量。
59.优选地，所述植物细胞器识别模型的确定过程为：
60.构建深度神经网络模型；所述深度神经网络模型的输入端为编码网络的输入端；所述编码网络的输出端分别连接所述语义分割网络和所述实例分割网络的解码部分；所述深度神经网络模型的第一输出端为所述语义分割网络的输出端；所述深度神经网络模型的第二输出端为所述实例分割网络的输出端。
61.构建植物样本数据；所述植物样本数据为带有标记的样本数据；所述标记包括细胞器的种类信息以及每个细胞器所在的位置信息。
62.利用所述植物样本数据训练所述深度神经网络模型进行训练，确定植物细胞器识别模型。
63.进一步地，所述构建植物样本数据，具体包括：
64.采用透射电子显微镜获取采集各种植物的叶片组织细胞图像数据；
65.使用labelme软件对植物的叶片组织细胞图像数据中的各个细胞器进行位置信息标注，基于人工方式对各个细胞器的种类信息进行标注，进而确定植物样本数据。
66.进一步地，本实施例还包括：
67.基于python的pyqt5模块编写细胞器识别软件；所述细胞器识别软件为设置有植物细胞器识别模型的识别软件。
68.所述细胞器识别软件具有图像输入功能、模型预测功能、图像输出功能和结果保存功能。
69.进一步地，本实施例还包括：
70.搭建plantorgan hunter网页；所述plantorgan hunter网页与设置有植物细胞器识别模型的远程服务器连接。
71.所述plantorgan hunter网页具有图像输入功能、模型预测功能、图像输出功能和结果保存功能。
72.实施例二
73.参见图2，本实施例提供的基于深度堆叠卷积神经网络的植物细胞器分割方法包括以下步骤：
74.步骤201：利用高分辨率透射电镜图像采集植物叶片组织细胞图像数据。
75.步骤202：使用labelme软件对植物叶片组织细胞图像数据中的线粒体、叶绿体、液泡、细胞核等细胞器进行标注。
76.步骤203：构建包含语义分割网络和实例分割网络的深度神经网络模型，即depthunet模型，所述depthunet模型用于识别植物细胞器。
77.步骤204：基于pyqt5编写细胞器识别软件plantorgan hunter。
78.步骤205：完成plantorgan hunter网页编写，模型部署。
79.步骤206：通过软件和网页可输入植物细胞图片信息，计算细胞中各细胞器的像素数量，进而计算出各细胞器在细胞中的总量占比。
80.上述技术方案中，实现了植物细胞器的快速分割，具有操作简单，模型运行成本低，速度快等特点，有效克服了传统机器视觉面对复杂的细胞图像分割困难，需要手动调整以及耗时耗力的缺点。
81.作为一种优选地实施方式，本实施例所述的步骤201具体包括：
82.在4℃下，将各种植物叶组织样本固定在用0.2m磷酸盐缓冲液(ph7.2)缓冲的2.5％戊二醛中过夜，接着在4℃下用2％四氧化锇后固定3小时。样品用磷酸盐缓冲液彻底洗涤，并通过一系列丙酮浓度脱水，然后包埋在epon812树脂中。聚合后，使用超薄切片机(leicauc-7)对树脂块进行切片，接着用醋酸双氧铀和柠檬酸铅溶液染色。使用透射电子显微镜(h-7650，hitachi)进行显微观察，加速电压为80kv。
83.作为一种优选地实施方式，本实施例所述的步骤203中，所述神经网络模型depth unet包括编码结构和解码结构，编码结构用于输出五个不同分辨率的特征层；
84.语义分割网络的第一阶段为解码结构，第二阶段在解码结构网络后直接输出语义分割结果。
85.所述实例分割网络包括pred模块、mask模块和category模块。实例分割网络最后一层输出两个分支，分别是类别预测分支和mask预测分支。其中mask模块用于预测各细胞器的instance mask，category模块负责预测各细胞器的语义类别。
86.所述实例分割网络先对分辨率最小的o5层解码，再层层而上，实例分割网络中pred模块主要负责特征提取，在最后一层输出两个分支，分别由mask分支中的mask模块输出识别目标的mask模板，由category分支的category模块输出识别目标所属的类别。
87.作为一种优选地实施方式，本实施例所述的步骤203中，采用人工标记每个样本的细胞器作为监督训练的标签，然后将标记好的图像送入构建的神经网络进行训练，得到神经网络模型。
88.本实施例采用深度学习的方法，建立植物细胞器自动分割模型，实现细胞器面积估算。本实施例提出新的图像分割算法框架-基于策略搜索的注意力机制的级联式实例分割算法，该算法融合了语义分割和实例分割，能从植物细胞图像中提取细胞器的掩码，同时能将不同种类的细胞器分割为一个个单独对象，实现了细胞器分类和面积估计。
89.作为一种优选地实施方式，本实施例所述的步骤204中，基于python语言和pyqt5编写了plantorgan hunter软件。该软件可实现将植物细胞的图像信息输入训练好的深度
学习模型，输出预测完成的图像和各类细胞器数量、面积信息。
90.作为一种优选地实施方式，本实施例所述的步骤205中，将深度学习模型部署在远程服务器中，通过plantorgan hunter网页，可实现将植物细胞的图像信息输入到远程服务器中，输出预测完成的图像和各类细胞器形态和面积信息。
91.作为一种优选地实施方式，本实施例所述的步骤206中，将植物细胞器的图像信息输入，通过深度学习模型输出预测结果，通过图像中的比例尺信息计算各个细胞器的面积大小和在细胞中的占比。
92.实施例三
93.本实施例提供的基于深度堆叠卷积神经网络的植物细胞器分割方法包括以下步骤：
94.步骤s1，采集各种植物的叶组织细胞图像。
95.实验对象包括：梨、油菜、山茶、草莓、拟南芥、苜蓿、小麦、水稻、大豆、番茄、黄瓜、棉花、百合和油菜。
96.具体采集过程：首先在4℃下，将植物叶组织样本固定在用0.2m磷酸盐缓冲液(ph7.2)缓冲的2.5％戊二醛中并过夜；其次在4℃下用2％四氧化锇后固定3小时。然后样品用磷酸盐缓冲液彻底洗涤，并通过一系列丙酮浓度脱水，接着包埋在epon812树脂中。聚合后，使用超薄切片机(leicauc-7)对树脂块进行切片，再接着用醋酸双氧铀和柠檬酸铅溶液染色。最后使用透射电子显微镜(h-7650，hitachi)进行显微观察，加速电压为80kv，获取到各种植物的叶组织细胞图像。
97.步骤s2，使用labelme软件对步骤s1中获取的各种植物的叶组织细胞图像进行标记，即对叶绿体、线粒体、细胞核和液泡分别打上标签，生成json格式的标签文件。
98.步骤s3，在训练图像分割算法时，将叶组织细胞图像的rgb三个通道归一化到0-1，加速图像分割算法的训练。为训练图像分割算法，需要先人工标记各个种类的细胞器以作为监督训练的标签，然后将标记好的叶组织细胞图像送入构建的神经网络模型以进行训练，利用训练好的神经网络模型即可实现各类细胞器的分割，进而得到细胞器的数量以及其面积。
99.本实施例的神经网络模型为编码-解码结构，将语义分割网络和实例分割网络结合在一起，使神经网络模型能同时完成两个任务。
100.a)编码网络如图3所示，其中，黑色箭头表示3
×
3卷积操作，黑色弯箭头表示深度可分离卷积(depth-wise separable convolution)，空白右箭头表示步长为2的深度可分离卷积操作，每个空白下箭头代表着跳跃连接(skip connect)。
101.编码网络参考了xception模型的做法，引入深度可分离卷积层，如图4所示，每一层先进行depthwise(逐通道卷积)卷积操作，对输入的每一个通道(channel)分别进行3
×
3卷积操作，将结果concat(拼接)后，再进行pointwise(逐点卷积)卷积，对concat(拼接)的结果进行1
×
1卷积操作。这样分别学习空间相关性和通道相关性，加快了模型收敛速度、准确率更高。同时，引入步长为2
×
2的深度可分离卷积层来代替传统unit模型常使用的pooling layer(池化层)，pooling layer在全局通道上并没有区别，而通过卷积代替池化，能在多通道之间呈现差异，有利于模型训练。
102.在第四层中，叠加了多个深度可分离卷积层，通过多个3
×
3的卷积核叠加，可以获
得更大的感受野，能够感受尺寸大的物体，对识别细胞中较大的细胞器有所帮助。
103.最后输出5个不同分辨率的特征层，分别命名为o1、o2、o3、o4、o5。
104.b)参见图5，在语义分割网络，每个黑色左箭头包含了一次反卷积(deconvolution)，其他符号同上。横向的跳跃连接(skip connect)将对应分辨率的编码输出和解码层拼接(concat)进行细节补充，这种技巧在unet和vnet等编码解码结构中广泛使用。
105.c)参见图6，实例分割网络同语义分割解码网络类似都是自下而上计算，先对分辨率最小的o5层解码，再层层而上，神经网络模型中的pred(预测)模块主要负责提取特征，在最后一层输出两个分支，分别由mask(掩膜)分支中的mask模块输出识别目标的mask模板，由category分支的category(类别)模块输出识别目标所属的类别。
106.步骤s4，基于python的pyqt5模块编写的细胞器识别软件plantorgan hunter，该软件实现了图像输入、模型预测、图像输出、结果保存等功能，通过模型接口，将待分割图片输入到模型中，利用算法分割各类细胞器，计算每个图像中各类细胞器的像素数，然后根据比例尺计算各类细胞器的面积。
107.步骤s5，搭建了plantorgan hunter网页，将模型部署到远程服务器中，在网页中即可实现图像输入、模型预测、结果输出与保存等功能。将图片上传到网页中，网页获取图像信息，发送给远程服务器的模型，利用算法分割各类细胞器，计算每个图像中各类细胞器的像素数，然后根据比例尺计算各类细胞器的面积。
108.步骤s6，将待分割植物细胞图像输入，通过软件或网页实现输出，参见图7。
109.上述结果表明，本发明的方法能够实现植物细胞器的识别与分割，具有良好的应用前景。
110.实施例四
111.参见图8，本实施例提供了一种基于深度堆叠卷积神经网络的植物细胞器分割系统，包括：
112.图像获取模块801，用于获取待分割的植物叶组织细胞图像。
113.细胞器的面积及数量确定模块802，用于将所述植物叶组织细胞图像输入到植物细胞器识别模型中，以确定所述植物叶组织细胞图像中各种细胞器的面积以及每种所述细胞器的数量。
114.所述植物细胞器识别模型是根据深度神经网络模型和植物样本数据确定的；其中，所述深度神经网络模型为包含编码网络、语义分割网络和实例分割网络的网络模型；所述语义分割网络和所述实例分割网络均包括解码部分；所述编码网络的内部叠加有多个深度可分离卷积层。
115.此外，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如实施例一所述的方法。
116.本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如实施例一所述的方法。
117.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说
明即可。
118.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。