基于全局特征和局部特征的组织切片分类方法和系统与流程

本技术涉及图像处理，特别是涉及基于全局特征和局部特征的组织切片分类方法和系统。

背景技术：

1、病理诊断是疾病诊断的金标准，而病理诊断需要依赖于病理切片的观察。通常医生需要借助显微镜来观察病理切片，通过移动玻片逐视野进行诊断。随着切片的数字化，医生可以通过切片的扫描获得数字图像，从而借助电脑观察切片情况。对于组织病理切片来说，其40x镜下图像尺寸巨大，每张图像包含上亿个像素点，需要综合病理图像所有局部特征的诊断来达到阅片的目的。为了利用计算机来辅助阅片，也需要将一张切片切成很多个局部特征图像，（也可以称为补丁），才能输入模型进行训练。

2、针对组织病理的诊断（分类）问题，现有的有监督学习技术方案主要有2种标注方式，一种是精细的区域轮廓分割，一种则是局部特征图像类别的标注。前者标注精细，需要花费更多的时间和成本，而后者标注相对简单，只需要借助标注工具打标签即可。在后一种标注方式的情况下，一般的做法是构建一个分类网络，通过输入局部特征图像,输出分类类别，训练各种不同的网络以达到网络学习的目的，最后选择全切片数字图像中最有代表性的局部特征图像或者整合所有局部特征图像的类别来表示当前切片的类别。中国专利申请号为：202210980903 .5 提出肿瘤微环境感知模块将当前局部特征图像的周边相邻的c圈小图像块特征提取出来并进行融合，其将相邻图像块堆叠并卷积获得了特征，进行了特征融合，但并没有保留全切片在原始维度上的全局结构特征，也就是说这种做法以及常规的分类网络均忽视了全局特征，尤其对于组织病理图像来说，首先需要了解全局组织特特征，再结合少量局部特征和细胞形态信息，才能捕获到最佳的切片类别。

3、目前，分类网络忽视了全局视野和组织切片的全局特征，只有少量局部特征和细胞形态信息，更没能将这种组织切片的全局特征很好地融合到局部特征当中，不能达到最佳的观察状态，导致病理组织切片分类精确度低。

技术实现思路

1、本技术实施例提供了一种基于全局特征和局部特征的组织切片分类方法和系统，以至少解决相关技术中病理组织切片分类精确度低的问题。

2、第一方面，本技术实施例提供了一种基于全局特征和局部特征的组织切片分类方法，所述方法包括：

3、将全切片数字图像输入分类模型中，获取全局特征；

4、将所述全切片数字图像中的局部特征图像输入分类模型中，获取局部特征；

5、通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征，

6、基于所述融合特征，通过所述分类模型中的池化层和全连接层处理，输出局部组织切片标签；

7、基于所述局部组织切片标签，选取目标局部组织切片标签，确定组织切片类别。

8、在一实施例中通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征，包括：

9、将所述全局特征与所述局部特征进行点乘操作，获取第一特征；

10、将池化处理后的所述全局特征与所述局部特征进行矩阵乘法操作，获取第二特征；

11、将所述局部特征、所述第一特征和所述第二特征进行拼接，获取第三特征；

12、将所述第三特征依次进行卷积层、挤压-激励层和卷积层的特征重组操作，获取融合特征。

13、在一实施例中所述分类模型包括：

14、第一支路，所述第一支路依次包括调整尺寸、卷积、池化、阶段层、最大池化和全连接层操作，其中，所述第一支路输入为所述全切片数字图像，输出为组织切片类别；

15、第二支路，所述第二支路依次包括卷积、池化、阶段层、注意力机制融合模块、最大池化和全连接层操作，其中，所述第二支路输入为局部特征图像和全切片数字图像，输出为局部组织切片标签，所述注意力机制融合模块用于将所述第一支路的全局特征和所述第二支路的局部特征进行融合，所述第一支路的输出通过所述局部组织切片标签得到。

16、在一实施例中，在将全切片数字图像输入分类模型中之前，所述方法包括：

17、获取全切片数字图像及全切片数字图像中的局部特征图像，其中对所述局部特征图像进行分类标注；

18、基于阈值分割方法筛选包含组织区域的所述局部特征图像；

19、基于病案号对所述全切片数字图像和包含组织区域的所述局部特征图像划分训练集、验证集和测试集；

20、对所述训练集的全切片数字图像和所述局部特征图像进行数据扩增处理；

21、基于扩增处理后的所述训练集对所述分类模型进行训练；

22、基于所述验证集对训练后的所述分类模型进行验证，得到训练好的所述分类模型；

23、基于所述测试集对训练好的所述分类模型进行测试，得到测试结果。

24、在一实施例中，所述基于扩增处理后的所述训练集对所述分类模型进行训练，包括：

25、第一阶段，将所述全切片数字图像和全局组织切片标签作为训练样本，对所述分类模型的第一支路进行训练；

26、第二阶段，将局部特征图像作为训练样本，对所述分类模型的第二支路进行训练，输出所述局部组织切片标签，其中，所述分类模型的第一支路中的卷积、池化和阶段层的参数不变；

27、第三阶段，将局部特征图像和全切片数字图像作为训练样本，对第一支路和第二支路进行训练，输出所述局部组织切片标签，其中，所述分类模型的第一支路中的最大池化层和全连接层的参数不变。

28、在一实施例中，基于阈值分割方法筛选包含组织区域的所述局部特征图像；

29、获取所述局部特征图像的像素灰度值；

30、响应于所述像素灰度值大于或等于预设值，筛选出包含组织区域的所述局部特征图像。

31、在一实施例中，基于所述验证集对训练后的所述分类模型进行验证，得到训练好的所述分类模型，包括：

32、基于所述验证集对所述分类模型进行验证，响应于所述分类模型达到预设迭代次数或所述验证集损失超出预设值，得到训练好的分类模型。

33、第二方面，本技术实施例提供了一种基于全局特征和局部特征的组织切片分类系统，所述系统包括获取全局特征模块、获取局部特征模块、获取融合特征模块、获取局部组织切片标签模块和确定组织切片类别模块；其中：

34、所述全局特征模块，用于将全切片数字图像输入分类模型中，获取全局特征；

35、所述获取局部特征模块，用于将所述全切片数字图像中的局部特征图像输入分类模型中，获取局部特征；

36、所述获取融合特征模块，用于通过注意力机制将所述全局特征和所述局部特征进行融合，获取融合特征；

37、所述局部组织切片标签模块，基于所述融合特征，通过所述分类模型中的池化层和全连接层处理，输出局部组织切片标签；

38、所述确定组织切片类别模块，用于基于所述局部组织切片标签，选取目标局部组织切片标签，确定组织切片类别。

39、第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的一种基于全局特征和局部特征的组织切片分类方法。

40、第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的一种基于全局特征和局部特征的组织切片分类方法。

41、本技术实施例提供的基于全局特征和局部特征的组织切片分类方法和系统至少具有以下技术效果。

42、通过将全切片数字图像输入分类模型中，获取全局特征，将全切片数字图像中的局部特征图像输入分类模型中，获取局部特征，通过注意力机制将全局特征和局部特征进行融合，获取融合特征，基于融合特征，通过分类模型中的池化层和全连接层处理，输出局部组织切片标签，基于所述局部组织切片标签，选取目标局部组织切片标签，确定组织切片类别。通过注意力机制将组织切片全局特征和组织切片局部特征进行融合，实现了对病理组织切片类别的预测，解决相关技术中病理组织切片分类精确度低的问题，提高了病理组织切片分类的精确度。

43、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。