一种可解释的癌症病理切片图像识别方法、装置及计算机设备

1.本发明属于医学图像处理领域，具体涉及一种可解释的癌症病理切片图像识别方法、装置及计算机设备。


背景技术：

2.随着全切片扫描技术的发展，大量组织切片被扫描为全视野数字病理切片(wholeslide image,wsi)，以数字化的形式存储，通过使用机器学习算法、深度学习算法等人工智能(artificial intelligence，ai)方法，将计算机运用于病理切片分析之中，能够借助计算机的算力优势在大量wsi上进行学习，并使用训练所得的模型对wsi进行分析，将结果可视化后辅助医生进行诊断，从而充分利用wsi中包含的丰富图像信息。
3.目前，利用ai方法对病理切片分析的过程中，主要是将扫描获得的高分辨率的癌症肿瘤切片作为数据集以一种弱监督的方式训练模型，最后通过模型能够对一张病例切片的肿瘤类型进行预测打分，并且能生成每张切片的注意力得分，根据得分可以来判断肿瘤的最有可能的来源的位置。
4.然而，在ai医疗中，合格的分析识别系统必须是透明的、可解释的、可理解的，这样才能获得病人和医生的信任。分析识别系统的可解释性即为对应的神经网络模型可解释性，而解释就是需要使用某种语言来描述和注解。对于神经网络模型在实践中经常会有预测的错误，但是这种错误的来源是不清楚的，需要解释这种错误，从而有助于解决这种错误改进模型。同时将端到端的深度学习模型从医学癌症切片推测出癌症发病位置以及癌症类型的结果使用到临床诊断结果存在局限性问题，这些局限性问题大部分也是源于黑匣子模型取法可解释性。


技术实现要素：

5.为解决以上现有技术存在的问题，本发明提出了一种可解释的癌症病理切片图像识别方法、装置及计算机设备，给出了一种基于人机交互学习的病理切片癌症可解释判别模型，改进了传统的模型，提供了一种新的模型可解释框架，改进的模型可解释框架包括p1、p2、p3和p4四个部分，p1为对高分辨率医学图像进行处理，p2为高分辨率医学图像的训练过程，p3为基于人机交互学习的可解释学习，p4为对可解释结果的稀疏学习，通过四个部分来优化癌症病理切片图像识别结果和可解释结果。
6.在本发明的第一方面，本发明提供了一种可解释的癌症病理切片图像识别方法，所述方法包括：
7.获取癌症病理切片的高分辨率医学图像，对其进行预处理划分为统一尺寸的图像块；并将来自于预测训练集、解释训练集和测试集的高分辨率医学图像对应处理为第一图像块、第二图像块和第三图像块；
8.将所述图像块输入到预训练的特征提取网络中，提取出每个图像块的特征向量；
9.将第一图像块的特征向量输入到预设的图像识别网络中，预训练所述预设的图像识别网络；
10.将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图；
11.利用稀疏表示方法优化第一可解释热力图，并对优化后的第一可解释热力图进行判断；
12.将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络；
13.或者，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络；
14.将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。
15.在本发明的第二方面，本发明还提供了一种可解释的癌症病理切片图像识别装置，其用于实现如本发明第一方面所述的一种可解释的癌症病理切片图像识别方法，所述装置包括：
16.图像采集模块，用于获取癌症病理切片的高分辨率医学图像；
17.图像处理模块，用于将获取的癌症病理切片的高分辨率医学图像进行预处理并划分为统一尺寸的图像块；
18.特征提取模块，用于将所述图像块输入到预训练的特征提取网络中，提取出每个图像块的特征向量；
19.预训练模块，用于将第一图像块的特征向量输入到预设的图像识别网络中，预训练所述预设的图像识别网络；
20.图像优化模块，用于将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图，利用稀疏表示方法优化第一可解释热力图，并对优化后的第一可解释热力图进行判断；
21.重训练模块，用于将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络；或者，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络；
22.图像识别模块，用于将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。
23.在本发明的第三方面，本发明还提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以实现如本发明第一方面所述的识别方法中所执行的操作。
24.本发明的有益效果：本发明首先对高分辨率的医学图像进行处理，使其能够在传统的标准图像识别网络模型或者改进的模型中进行训练和预测；其次，在保证ai决策模型分类准确率高的基础上，本发明提高了图像识别网络模型的可解释能力，使得预测出的可解释热力图能够反映高分辨率医学图像的分类识别效果以及可解释效果；同时对比其他提高可解释能力的技术，本发明在训练过程中引入了可解释热力图的解释区域对应的专业知识，从而对模型的解释能力进行优化。最后，在提高模型可解释能力的基础上，使用基于稀
疏表示的方法，优化了模型可解释能力的表达。本发明又可以基于这些优化效果，提高对于医学图像在模型分类中的可信程度，能够更加准确地判别模型对医学图像的分类依据以及该医学图像中的癌症位置。
附图说明
25.图1为本发明实施例中一种可解释的癌症病理切片图像识别方法流程图；
26.图2为本发明实施例中的一种图像识别网络的修正框图；
27.图3为本发明实施例的图像识别模型的训练框图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。图1为一种可解释的癌症病理切片图像识别方法流程图，如图1所示，所述方法包括：
29.101、获取癌症病理切片的高分辨率医学图像，对其进行预处理划分为统一尺寸的图像块；
30.在本发明实施例中，所述癌症病理切片的高分辨率医学图像可以是现有医学图像数据库中的数据集，也可以是在医院等场景下采集的高分辨率医学图像。
31.需要说明的是，这里的高分辨率医学图像可以是ct图像、mri图像或者us图像。而高分辨率医学图像具体可以是结肠图像、肺部图像、胃部图像、脑部图像、肝脏图像或者心脏图像等，本发明对此不作具体的限定。
32.为了优化癌症肿瘤图像的识别效果和可解释效果，本发明相较于传统技术还将训练集划分为预测训练集和解释训练集；利用预测训练集和解释训练集对图像识别网络进行优化训练，一部分预测训练集主要用于网络训练，目的在于使模型预测正确，另一部分解释训练集主要用于训练网络注意力方向，目的在于使模型解释正确；除此以外，本发明还将识别过程所采用的待测医学图像称之为测试集，为了方便叙述，本实施例中可以忽略验证集，本领域技术人员可以根据实际需要选择是否需要设置验证集，这并不应理解为对本发明的限定。
33.本发明实施例将现有的医学图像数据库中的高分辨率医学图像为例进行介绍，然而这并不应理解为对本发明的限定；假设从tcga和cptac数据库中下载医学图像数据集，一共得到5类癌症肿瘤切片，同时可以得到每张癌症肿瘤对应的患者信息，包括性别以及原发转移信息。具体的，从tcga和cptac数据库中一共得到结肠癌1328张、卵巢癌1272张、子宫内膜癌1647张、食管癌867张以及头颈癌1210张共6324张癌症切片。每张癌症肿瘤对应的患者信息中的性别信息，在训练时作为补充信息与特征向量进行合并。
34.在本发明实施例中，介绍了另一种医学图像的预处理方式，无论是针对医学图像识别的场景还是医学图像训练的场景，首先需要对不满足识别场景后者训练场景的医学图像进行剔除。具体地，首先获取癌症病理切片的高分辨率医学图像，接下来需要分别判断每个癌症病理切片的高分辨率医学图像是否满足训练场景或者识别场景，最后对于不满足这
些场景的癌症病理切片的高分辨率医学图像进行剔除。
35.当然，在实际应用中，如果在癌症病理切片的高分辨率医学图像集合中混入一下非ct图像，也需要将这些癌症病理切片的高分辨率医学图像进行剔除，又或者癌症病理切片的高分辨率医学图像本身由于存储等问题造成损坏，同样需要将这些癌症病理切片的高分辨率医学图像进行剔除。在校验过程中，还可以通过训练图片分类模型，对进行脑部区域与其他区域的区分，或者采用图片像素统计分布的方式确定该高分辨率医学图像是否为脑部区域。
36.除此以外，由于拍摄角度、拍摄位置等影响，在采集的原始医学图像中，大多数都是含噪图像，这些噪声的存在对医学图像分析与处理的影响很大，增加了对图像细节进行识别和分析处理的难度。因此，本发明实施例中可以选择合适的图像去噪技术，消除或减少图像中的噪声，以降低对医学图像后续处理过程中的不利影响。
37.由于高分辨率医学图像不能通过标准模型训练，因此本发明还根据图像分割算法，将癌症肿瘤细胞从背景图中切割出来，将癌症肿瘤分割为所需尺寸的多个图像块patch，一张完整的高分辨率医学图像包含多个patch，将分割结果保存至文件，其文件内容为分割结果在高分辨率医学图像中的坐标。
38.102、将所述图像块输入到预训练的特征提取网络中，提取出每个图像块的特征向量；
39.在本发明实施例中，将标准模型中的全连接层去除只保留卷积层，使每一个高分辨率医学图像的多个图像块分别通过该预训练的特征提取网络，得到(n,d)维的向量，其中n为patch的数量，其意义在于由于高分辨率医学图像不能通过标准模型训练，所以通过将其分割的patch作为其像素提取特征向量，最后将训练结果保存至文件，其文件内容包括patches在高分辨率图像中的坐标，及其对应的特征向量。
40.可以理解的是，在本发明实施例中，所述标准模型指的是传统的图像识别网络，例如resnet残差网络、cnn卷积神经网络、transformer等其他标准模型，以及其他的改进的标准模型如densenet、googlenet等。
41.其中，由于本发明实施例中将高分辨率医学图像划分为训练集和测试集，而训练集中又包含预测训练集和解释训练集，所以这里的图像块也对应分为预测图像块、解释图像块和测试图像块，为了方便叙述，本发明的第一图像块即对应预测图像块，第二图像块即对应解释图像块，第三图像块即对应测试图像块。
42.103、将第一图像块的特征向量输入到预设的图像识别网络中，预训练所述预设的图像识别网络；
43.在本发明实施例中，利用第一图像块的特征向量来预训练预设的图像识别网络，其中所述预设的图像识别网络是现有的图像识别网络，使得所述图像识别网络能够尽可能正确地识别出高分辨率医学图像的分类结果。
44.104、将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图；
45.在本发明实施例中，利用第二图像块的特征向量继续训练预训练完成后的图像识别网络，与传统可解释热力图根据图像像素的注意力分数进行解释不同，高分辨率医学图像的可解释热力图，主要根据模型对于图像块的注意力分数进行解释，也就是说高分辨率
的可解释热力图是通过对第二图像块的注意力分数进行解释。
46.105、利用稀疏表示方法优化第一可解释热力图，并对优化后的第一可解释热力图进行判断；
47.在本发明实施例中，在生成可解释热力图之后，使用了基于稀疏表示的方法，将原本的第一可解释热力图中的解释区域进一步的稀疏化，优化了解释结果。其稀疏学习的第一损失函数，主要用于提高注意力高的区域的分数，并同时降低注意力低的区域的分数，该第一损失函数表示为：
[0048][0049]
其中，l(x)表示第一损失函数，x表示当前癌症病理切片中所有图像块的分数，n表示当前癌症病理切片中图像块个数，xn表示第n个图像块的分数，则表示当前癌症病理切片中所有图像块的分数的均值，表示第一可解释热力图整体的初始分数均值，其中对于所有图像块的分数，进行了归一化处理，并使用最小化损失函数方法对损失函数进行优化，再通过迭代训练得到最优的损失结果。
[0050]
在本发明实施例中，本发明还基于人机交互学习的思想来优化识别效果和可解释效果，即通过对图像识别网络进行训练，网络模型会提供三种训练结果包括：预测错误，解释错误；预测正确，解释正确；预测正确，解释错误。本发明主要修改模型中第三种训练结果，当出现其他两类结果时，依然由网络进行训练，出现第三种训练结果时，交由医学专家判断网络解释错误位置，并根据医学专家判断，更改对应位置的图像块，医学专家判断的解释错误一共有两种结果，一种是图像块所在位置注意力分数较高，说明模型注意力根据错误位置预测；另一种是图像块所在位置注意力分数较低，说明模型的判断忽视了该位置的图像块。所以需要根据两种结果修改图像块。最终实现对第一可解释热力图的优化。
[0051]
图2是本发明实施例中的一种图像识别网络的修正框图，如图2所示，在本发明实施例中，训练集图像输入到ai预测模型中即图像识别网络中，通过训练集图像本身的真实标签值来判断分类结果是否正确，如果分类结果不准确，则需要返回重新训练ai预测模型，直至预测的分类结果达到一定正确率后，则可以将分类结果对应的可解释热力图进行判断，如果解释区域不正确，则需要重新修正ai预测模型，否则直接输出解释结果即可，下面将结合步骤106a和步骤106b对图像识别网络的修正过程进行进一步说明：
[0052]
106a、将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络；
[0053]
在本发明实施例中，通过上述判断，可以识别出第一可解释图的错误区域，将该错误区域作为训练样本中的反例，也即是将该第二图像块的特征向量取0或者取反例，再将该第二图像块所属的癌症肿瘤数据结合第一图像块，重新训练图像识别网络，修改图像识别网络的可解释方向。
[0054]
举个例子，由于第二图像块的特征向量中，包括解释错误的特征向量，所以需要对解释错误的特征向量使用反例，也就是对第k个解释错误的第二图像块的特征向量取0向量然后再将该0向量作为该第二图像块的特征向量与
其他数据共同训练。
[0055]
106b、或者，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络；
[0056]
在本发明实施例中，通过上述判断，可以识别出第一可解释图的错误区域，将第一可解释热力图的错误部分对应的图像块设置掩码，再将该图像块所属的癌症肿瘤数据送入图像识别网络进行训练，利用第二损失函数优化所述图像识别网络，从而修改图像识别网络的可解释方向。对于使用掩码及新设计的第二损失函数，使用掩码对patch级别的注意力进行优化，其表达式为：
[0057][0058]
其中，l(θ,f,y,a)表示第二损失函数，θ是网络参数，f是输入特征向量，y是真实标签值，a是掩码矩阵，a∈{0,1}n×d，n表示当前癌症病理切片中图像块个数，k表示标签类别数，d表示输入特征向量的维度，y
nk
表示第n个图像块第k个标签真实值，表示第n个图像块第k个标签预测值，a
nd
表示第n个图像块的第d维掩码，f
nd
表示第n个图像块的第d维输入特征向量，λ1和λ2是正则化因子；θi表示第i层网络参数。
[0059]
举个例子，由于第二图像块的特征向量中，包括解释错误的特征向量，所以需要对所有特征向量使用掩码和新设计的第二损失函数，其中对于s个解释错误的第二图像块的特征向量其掩码a
expfalse
∈{1}s×d，对于t个解释正确的第二图像块的特征向量其掩码a
exptrue
∈{0}
t
×d。
[0060]
107、将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。
[0061]
在本发明实施例中，对待识别的高分辨率医学图像进行处理，即可得到该待识别的高分辨率医学图像的分类结果以及可解释结果，其中，待识别的高分辨率医学图像的预处理过程、特征提取过程与模型的训练过程一致，因此，这里是直接将待识别的第三图像块的特征向量作为输入，得出第三图像块的分类结果和可解释结果，即为对应的待识别的高分辨率医学图像的分类结果以及可解释结果。
[0062]
通过结果步骤103～106对预测训练集和解释训练集的训练，可以得到预测正确、解释正确的图像识别网络模型，即预测正确率与初始模型正确率相似但解释正确率高的模型。当用户使用模型对癌症病理切片的高分辨率医学图像进行预测时，使用本发明的基于人机交互学习的图像识别网络后，通过对模型使用医学领域的知识实现数据与知识的双向交互，能够提升神经网络模型的可解释性，以及用户对模型的信任程度。
[0063]
图3为本发明实施例的图像识别模型的训练框图，如图3所示，整个图像识别的训练过程包括先利用预测训练集作为输入，对输入的预测训练集进行数据预处理，将预处理后的预测训练集来训练图像识别网络，同时也会生成可解释热力图，对可解释热力图进行稀疏化表示，将稀疏化表示后的可解释热力图交给医学专家进行判断，能够更新解释训练集，将解释训练集中解释错误的数据并入预测训练集中继续训练，重新训练图像识别网络，
最终得到解释正确且预测正确的网络模型。
[0064]
本发明实施例中，还提供了一种可解释的癌症病理切片图像识别装置，所述装置包括：
[0065]
图像采集模块，用于获取癌症病理切片的高分辨率医学图像；
[0066]
图像处理模块，用于将获取的癌症病理切片的高分辨率医学图像进行预处理并划分为统一尺寸的图像块；
[0067]
特征提取模块，用于将所述图像块输入到预训练的特征提取网络中，提取出每个图像块的特征向量；
[0068]
预训练模块，用于将第一图像块的特征向量输入到预设的图像识别网络中，预训练所述预设的图像识别网络；
[0069]
图像优化模块，用于将第二图像块的特征向量输入到预训练后的图像识别网络中，输出第一可解释热力图，利用稀疏表示方法优化第一可解释热力图，并对优化后的第一可解释热力图进行判断；
[0070]
重训练模块，用于将判断为错误的第一可解释热力图的错误部分替换为反例，重新训练所述图像识别网络；或者，将判断错误的第一可解释热力图的错误部分提供掩码，利用第二损失函数修正错误的可解释热力图，重新训练所述图像识别网络；
[0071]
图像识别模块，用于将第三图像块的特征向量输入到重新训练后的图像识别网络中，输出第二可解释热力图。
[0072]
本技术实施例还提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，该计算机程序用于执行前述各个实施例所述的一种可解释的癌症病理切片图像识别方法中的任意一种实施方式。
[0073]
本技术实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种图像处理方法中的任意一种实施方式。
[0074]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0075]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0076]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0077]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0078]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(英文全称：read-onlymemory，英文缩写：rom)、随机存取存储器(英文全称：random access memory，英文缩写：ram)、磁碟或者光盘等各种可以存储程序代码的介质。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：rom、ram、磁盘或光盘等。
[0079]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。