基于知识引导的肺部病理细胞多分类方法、设备及介质

本发明涉及肺部病理细胞分类，特别涉及基于知识引导的肺部病理细胞多分类方法、设备及介质。

背景技术：

1、通过肺部细胞病理图像对于肺部细胞进行癌症亚型分类是目前的研究热点。通过微创的方式获取病理细胞进行鉴别的方法能够实现与需要通过切除病灶组织的金标准组织病理方法相近的性能。

2、目前，病理细胞多分类方法研究多是基于经典的分类框架实现，在多分类的情况下取得的分类性能有待提高。例如，teramoto等人使用了对抗神经网络改善病理细胞采样困难导致的数据量过少问题并使用了深度神经网络用于分类，在四分类上达到了71％的总体分类准确率。yang等人使用了inceptionv3网络在五分类的任务上达到了75.03％的分类准确率。

3、上述方法都是基于神经网络自动进行特征提取用于图像的分类，而并没有将临床知识等对于病理细胞分类任务具有关联关系的先验知识引入分类任务中。如果能在保留神经网络自动提取特征的基础上，将临床诊断的先验知识引入网络结构中辅助分类，有可能能够提升分类的准确性。在这一方面，一种方法是基于传统图像处理方法对于图像先进行复杂的预处理。dholey等人利用了直方图均衡以及k-means聚类等方式先进行细胞核定位，然后利用分水岭算法与随机游走分割算法进行细胞的分割以此作为引导，最终利用ann与svm进行肺部细胞的类别诊断。另一种方法是基于分割网络与分类网络的联合，分割网络用于细胞的分割以便于特征的提取，随后利用分类网络进行细胞亚型的区分。zhou等人利用了基于轮廓的分割网络cia-net用于细胞的分割，随后利用细胞的形态描述符，如偏心率、周长、核强度标准差等作为提取的特征输入到图卷积神经网络中进行亚型分类。

4、上述方法虽然利用了形态学信息作为额外的引导知识，但是分类网络之前的处理过程复杂度过高，并且一定程度上依赖人工特征的提取，如果能简化前处理过程并将特征的筛选由神经网络自发的完成，那么不仅能够提升分类网络效率，也有助于提升分类的准确率。

技术实现思路

1、为了实现本发明的上述目的和其他优点，本发明的第一目的是提供一种基于知识引导的肺部病理细胞多分类方法，包括以下步骤：

2、将肺部病理细胞图像作为输入被同时送入双分支分类网络的两个分支中；其中，双分支分类网络的两个分支为图卷积空间拓扑信息分支和纹理卷积特征分支，所述图卷积空间拓扑信息分支用于利用细胞间的关系作出分类引导，所述纹理卷积特征分支用于由浅层的图像纹理特征作为细胞形状与边缘的信息引导分类；

3、将两个分支生成的特征向量进行拼接；

4、通过多层感知机根据拼接后的特征向量生成最终的分类结果。

5、进一步地，所述图卷积空间拓扑信息分支包括多尺度图和交叉注意力图卷积。

6、进一步地，所述纹理卷积特征分支包括纹理滤波器和卷积模块。

7、进一步地，所述多尺度图采用图像块级别的图构建，通过不同尺寸的图像块大小捕获不同类型的细胞、细胞团、细胞簇作为图节点，以预训练的深度残差网络提取的特征作为初始的节点特征。

8、进一步地，所述交叉注意力图卷积通过自注意力机制和边缘检测注意力机制对具有更高分类相关性的节点赋予更高的权重。

9、进一步地，所述纹理滤波器用于提取图像的daubechies特征与gabor特征，并经由层数较少的卷积层进行特征的提炼。

10、进一步地，所述卷积模块包括残差模块和通道注意力模块，所述残差模块用于保留对分类有积极意义的浅层信息，所述通道注意力模块自适应的对更具分类相关性的特征维度进行权值调整。

11、进一步地，所述多层感知机为三层带有softmax分类层的多层感知机。

12、本发明的第二目的是提供一种电子设备，包括：存储器，其上存储有程序代码；处理器，其与所述存储器连接，并且当所述程序代码被所述处理器执行时，实现一种基于知识引导的肺部病理细胞多分类方法。

13、本发明的第三目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现一种基于知识引导的肺部病理细胞多分类方法。

14、与现有技术相比，本发明的有益效果是：

15、本发明提供基于知识引导的肺部病理细胞多分类方法、设备及介质，在保留神经网络自动提取特征的基础上，将临床诊断的先验知识引入网络结构中辅助分类，能够提升分类的准确性；并且能够简化前处理过程并将特征的筛选由神经网络自发的完成，不仅能够提升分类网络效率，也有助于提升分类的准确率，即实现了在简化前处理过程的同时提升了肺部病理细胞分类的准确性。

16、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

技术特征：

1.一种基于知识引导的肺部病理细胞多分类方法，其特征在于，包括以下步骤：

2.如权利要求1所述的一种基于知识引导的肺部病理细胞多分类方法，其特征在于：所述图卷积空间拓扑信息分支包括多尺度图和交叉注意力图卷积。

3.如权利要求1所述的一种基于知识引导的肺部病理细胞多分类方法，其特征在于：所述纹理卷积特征分支包括纹理滤波器和卷积模块。

4.如权利要求2所述的一种基于知识引导的肺部病理细胞多分类方法，其特征在于：所述多尺度图采用图像块级别的图构建，通过不同尺寸的图像块大小捕获不同类型的细胞、细胞团、细胞簇作为图节点，以预训练的深度残差网络提取的特征作为初始的节点特征。

5.如权利要求4所述的一种基于知识引导的肺部病理细胞多分类方法，其特征在于：所述交叉注意力图卷积通过自注意力机制和边缘检测注意力机制对具有更高分类相关性的节点赋予更高的权重。

6.如权利要求3所述的一种基于知识引导的肺部病理细胞多分类方法，其特征在于：所述纹理滤波器用于提取图像的daubechies特征与gabor特征，并经由层数较少的卷积层进行特征的提炼。

7.如权利要求6所述的一种基于知识引导的肺部病理细胞多分类方法，其特征在于：所述卷积模块包括残差模块和通道注意力模块，所述残差模块用于保留对分类有积极意义的浅层信息，所述通道注意力模块自适应的对更具分类相关性的特征维度进行权值调整。

8.如权利要求1所述的一种基于知识引导的肺部病理细胞多分类方法，其特征在于：所述多层感知机为三层带有softmax分类层的多层感知机。

9.一种电子设备，其特征在于，包括：存储器，其上存储有程序代码；处理器，其与所述存储器连接，并且当所述程序代码被所述处理器执行时，实现如权利要求1～8任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现如权利要求1～8任一项所述的方法。

技术总结
本发明提供基于知识引导的肺部病理细胞多分类方法、设备及介质，该方法包括以下步骤：将肺部病理细胞图像作为输入被同时送入双分支分类网络的两个分支中；其中，双分支分类网络的两个分支为图卷积空间拓扑信息分支和纹理卷积特征分支；将两个分支生成的特征向量进行拼接；通过多层感知机根据拼接后的特征向量生成最终的分类结果。本发明在保留神经网络自动提取特征的基础上，将临床诊断的先验知识引入网络结构中辅助分类，能够提升分类的准确性；并且能够简化前处理过程并将特征的筛选由神经网络自发的完成，不仅能够提升分类网络效率，也有助于提升分类的准确率，即实现了在简化前处理过程的同时提升了肺部病理细胞分类的准确性。

技术研发人员：戴亚康,耿辰,龚伟,戴斌,李凤美,周志勇
受保护的技术使用者：中国科学院苏州生物医学工程技术研究所
技术研发日：
技术公布日：2024/3/27