乳腺癌HER2状态预测方法和靶向药治疗反应预测方法

本发明属于智慧医疗，具体涉及一种乳腺癌her2状态预测方法和靶向药治疗反应预测方法。

背景技术：

1、乳腺癌是一种发生率和死亡率较高的病症，往往通过多种致癌因子提高基因突变的可能性，从而导致细胞增殖失控。her2是在人类乳腺癌中高度表达的一种蛋白质，当her2的表达超过正常水平，称之为her2阳性。her2阳性乳腺癌与her2阴性乳腺癌相比，具有更高的增殖率和更不良的预后。因此，准确判断her2的状态对乳腺癌患者的治疗和预后具有重要意义。

2、测定her2状态有许多方法，包括免疫组化(ihc)、原位杂交(ish)和pcr等。其中，免疫组化是临床实践中判断her2阴性/阳性状态常用的方法。her2免疫组化技术的标准，是以荧光原位杂交(fish)或银染ish作为对照的。这些技术可以对her2基因的倍数和拷贝数进行定量，从而确定其状态。如果her2基因的拷贝数比正常倍数高(通常是大于等于2.2拷贝)并且表达量高(3+，即膜染色强度非常明显)，则被认为是her2阳性；如果her2基因的拷贝数比正常倍数低(通常是小于等于1.8拷贝)并且表达量低(0-1+，即几乎没有膜染色)，则被认为是her2阴性。但是，实际应用中，由于样本的质量、抗体的特异性、ihc技术的差异等因素，ihc结果的准确性不尽相同，造成识别结果不准。

3、癌症患者her2的阳性/阴性状态不同，临床治疗决策也不同。例如，对于her2阳性患者，曲妥珠单抗±帕妥珠单抗(hp)双靶治疗方案针对不同的患者被采纳。有研究发现，在her2阳性患者中近30％的患者通过曲妥珠单抗联合帕妥珠单抗(hp)双靶治疗后就可达到pcr(完全缓解)，但部分患者进行相应治疗后仍有病情进展，需调整治疗方案进一步治疗。在实际的临床医疗中，会存在曲妥珠单抗±帕妥珠单抗(hp)治疗对某些her2阳性患者无效的情况，这使得患者不但承受巨大的财务负担，更重要的是治疗药物对患者会造成二次伤害，同时因延误有效的治疗时间而可能导致癌细胞在原始基础上的进一步增殖和扩散，从而给患者带来更坏的预后。

4、早期疗效评估及后续治疗策略的制订是当前实施新辅助治疗的一个重要目的，即通过新辅助治疗进行体内药敏研究，在全疗程新辅助治疗后筛选出未完全缓解(non-pcr)的患者予以辅助强化治疗，从而改善患者的整体预后。然而医学专家对于如何准确预测全疗程新辅助治疗后的pcr还未形成共识。

技术实现思路

1、本发明的目的在于提供一种乳腺癌her2状态预测方法，用以解决采用现有技术中的方法进行her2阳性/阴性状态识别造成的识别不准的问题，本发明的目的在于还提供了一种靶向药治疗反应预测方法，用以解决直接对患者采用靶向药的治疗方案，由于治疗方案无效造成的对患者二次伤害和患者治疗费用较高的问题。

2、为解决上述技术问题，本发明提供了一种面向数字病理图像的乳腺癌her2状态预测方法，包括如下步骤：

3、1)构建分类预测模型，所述分类预测模型包括特征嵌入和类代理；所述特征嵌入包括预处理模块、特征提取模块、投影模块和门控注意力模块，所述预处理模块用于识别输入图像中的组织区域并将提取的组织区域切分为多个图像块，所述特征提取模块用于每个图像块的特征，所述投影模块用于将多尺度特征投影为d维单位超球体中的单位向量，所述门控注意力模块用于将投影模块输出的所有单位向量进行融合处理，生成特征嵌入表示；所述类代理用于为每一个her2状态分类类别学习一个特征向量，并称为类代理，以及在预测时，通过度量待分类的病理图像的特征嵌入表示与每个类代理之间的相似度以得到分类结果，分类类别包括her2阳性和her2阴性；

4、2)利用关于乳腺癌her2状态的病理图像数据集对构建的分类预测模型进行训练，利用训练后的分类预测模型对待分类的病理图像进行her2状态分类预测。

5、上述技术方案的有益效果为：本发明设计一种基于类代理的弱监督多示例学习模型，即分类预测模型，该分类预测模型为每个类别自动学习唯一的类代理，在分类决策时，通过度量病理图像的特征嵌入表示与每个类代理之间的相似度便可实现her2状态的精确预测。而且，该模型无需病理专家为全玻片病理图像做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块做标注，减轻了对病理专家详尽标注病理图像的过度依赖性，解决了病理图像的极端尺寸而导致大部分典型的深度学习算法无法直接训练的问题，并在公开病理数据集上验证了所提出模型的优越性。

6、进一步地，所述特征提取模块提取的特征为多尺度特征，包括基干网络，且基干网络为resnet101网络，将resnet101网络中stage3和stage4两个阶段提取的特征进行拼接处理作为输出的多尺度特征。

7、上述技术方案的有益效果为：融合多尺度特征来表示图像块，解决了不同尺度下示例特征的差异和局限性，实现特征之间的信息互补，丰富了示例的特征表示。

8、进一步地，所述投影模块包括批量标准化操作、微调层和l2标准化操作，所述批量标准化操作用于对输入进行批量标准化处理得到特征矩阵，所述微调层用于利用权重矩阵将特征矩阵投影到d维空间中得到投影矩阵，所述l2标准化操作用于对微调层的输出进行l2标准化处理得到标准化矩阵，标准化矩阵中的每一行均为一个单位向量。

9、进一步地，所述门控注意力模块包括三个注意力层，三个注意力层分别被三个权重矩阵va、ua和wa参数化，用于为每个单位向量分配权重，并对分别的权重进行dropout操作得到每个单位向量对应的注意力分数，进而利用每个单位向量对应的注意力分数对每个单位向量进行加权求和，以实现所述融合处理。

10、进一步地，训练分类预测模型时所使用的损失函数为：

11、

12、

13、其中，loss′表示总损失值；loss表示am-softmax损失值；c表示分类的类别数目；yi表示类标签；sc表示病理图像属于类别c的概率；表示病理图像属于类别yi的概率；ε表示用于防止模型过拟合的超参数，0<ε<1；μ和τ分别表示用于表示不同类别分类边界处的分隔的超参数和用于为分类良好的样本产生更高的梯度的超参数。

14、上述技术方案的有益效果为：首先，在softmax损失函数的基础上，通过在类与类之间的分类边界处增加一定的可加性间隔来约束不同类别样本在特征空间中的分布，即am-softmax损失函数，其次，在损失函数am-softmax中引入标签平滑操作，可以增强模型的泛化性。

15、进一步地，所述相似度为余弦相似度。

16、进一步地，所述预处理模块用于采用如下方法识别输入图像中的组织区域：首先将输入图像由rgb图像转为hsv色彩空间，进而针对hsv色彩空间的饱和度通道，采用大津法计算背景区域和组织区域的分割阈值，根据该分割阈值对输入图像中的组织区域进行加深；然后采用canny算子进行组织边缘检测。

17、上述技术方案的有益效果为：将canny算子和大津法相结合，可以防止出现仅利用canny算子检测时出现较弱的边缘检测不出来的现象以及仅利用大津法出现的检测不全的现象。

18、进一步地，采用canny算子进行组织边缘检测后，还需进行均值滤波和删除小区域连通区域。

19、上述技术方案的有益效果为：可以有效去除噪声影响。

20、进一步地，一个图像块中的组织面积大于该图像块面积的设定倍数，所述倍数的取值范围为70％～90％。

21、为解决上述技术问题，本发明还提供了一种靶向药治疗反应预测方法，包括如下步骤：

22、1)构建分类预测模型，所述分类预测模型包括特征嵌入和类代理；所述特征嵌入包括预处理模块、特征提取模块、投影模块和门控注意力模块，所述预处理模块用于识别输入图像中的组织区域并将提取的组织区域切分为多个图像块，所述特征提取模块用于每个图像块的特征，所述投影模块用于将多尺度特征投影为d维单位超球体中的单位向量，所述门控注意力模块用于将投影模块输出的所有单位向量进行融合处理，生成特征嵌入表示；所述类代理用于为每一个状态分类类别学习一个特征向量，并称为类代理，以及在预测时，通过度量待分类的病理图像的特征嵌入表示与每个类代理之间的相似度以得到分类结果；

23、2)利用关于靶向药反应预测的her2阳性病理图像数据集对构建的分类预测模型进行训练，得到训练后的靶向药反应分类预测模型，分类类别包括完全缓解和非完全缓解；利用训练后的靶向药反应分类预测模型对待分类的her2阳性病理图像进行靶向药反应分类预测。

24、上述技术方案的有益效果为：设计一种基于类代理的弱监督多示例学习模型，即靶向药反应分类预测模型，该分类预测模型为每个类别自动学习唯一的类代理，在分类决策时，通过度量病理图像的特征嵌入表示与每个类代理之间的相似度便可实现靶向药反应的精确预测。而且，该模型无需病理专家为全玻片病理图像做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块做标注，减轻了对病理专家详尽标注病理图像的过度依赖性。特别地，对于患者而言，预测药物治疗的有效性可以辅助医生对患者治疗方案的制定和调整，避免因对药物无效治疗而给患者身体带来的伤害，并有效减少不良治疗的费用支出。

25、进一步地，获取所述her2阳性病理图像的手段为：利用乳腺癌her2状态的病理图像数据集对构建的分类预测模型进行训练，得到训练后的her2状态分类预测模型，分类类别包括her2阳性和her2阴性；利用训练后的her2状态分类预测模型对待分类的病理图像进行her2状态分类预测，得到her2阳性病理图像。

26、上述技术方案的有益效果为：设计一种基于类代理的弱监督多示例学习模型，即her2状态分类预测模型，该分类预测模型为每个类别自动学习唯一的类代理，在分类决策时，通过度量病理图像的特征嵌入表示与每个类代理之间的相似度便可实现her2状态的精确预测。而且，该模型无需病理专家为全玻片病理图像做详尽的像素级(pixel-level)标注，也无需为切分的每个图像块做标注，减轻了对病理专家详尽标注病理图像的过度依赖性。

27、进一步地，所述特征提取模块提取的特征为多尺度特征，且基干网络为resnet101网络，将resnet101网络中stage3和stage4两个阶段提取的特征进行拼接处理作为输出的多尺度特征。

28、上述技术方案的有益效果为：融合多尺度特征来表示图像块，解决了不同尺度下示例特征的差异和局限性，实现特征之间的信息互补，丰富了示例的特征表示。

29、进一步地，所述投影模块包括批量标准化操作、微调层和l2标准化操作，所述批量标准化操作用于对输入进行批量标准化处理得到特征矩阵，所述微调层用于利用权重矩阵将特征矩阵投影到d维空间中得到投影矩阵，所述l2标准化操作用于对微调层的输出进行l2标准化处理得到标准化矩阵，标准化矩阵中的每一行均为一个单位向量。

30、进一步地，所述门控注意力模块包括三个注意力层，三个注意力层分别被三个权重矩阵va、ua和wa参数化，用于为每个单位向量分配权重，并对分别的权重进行dropout操作得到每个单位向量对应的注意力分数，进而利用每个单位向量对应的注意力分数对每个单位向量进行加权求和，以实现所述融合处理。

31、进一步地，训练分类预测模型时所使用的损失函数为：

32、

33、

34、其中，loss′表示总损失值；loss表示am-softmax损失值；c表示分类的类别数目；yi表示类标签；sc表示病理图像属于类别c的概率；表示病理图像属于类别yi的概率；ε表示用于防止模型过拟合的超参数，0<ε<1；μ和τ均表示超参数。

35、上述技术方案的有益效果为：首先，在softmax损失函数的基础上，通过在类与类之间的分类边界处增加一定的可加性间隔来约束不同类别样本在特征空间中的分布，即am-softmax损失函数，其次，在损失函数am-softmax中引入标签平滑操作，可以增强模型的泛化性。

36、进一步地，所述相似度为余弦相似度。

37、进一步地，所述预处理模块用于采用如下方法识别输入图像中的组织区域：首先将输入图像由rgb图像转为hsv色彩空间，进而针对hsv色彩空间的饱和度通道，采用大津法计算背景区域和组织区域的分割阈值，根据该分割阈值对输入图像中的组织区域进行加深；然后采用canny算子进行组织边缘检测。

38、上述技术方案的有益效果为：将canny算子和大津法相结合，可以防止出现仅利用canny算子检测时出现较弱的边缘检测不出来的现象以及仅利用大津法出现的检测不全的现象。

39、进一步地，采用canny算子进行组织边缘检测后，还需进行均值滤波和删除小区域连通区域。

40、上述技术方案的有益效果为：可以有效去除噪声影响。

41、进一步地，一个图像块中的组织面积大于该图像块面积的设定倍数，所述倍数的取值范围为70％～90％。