软组织肿瘤病理自动评分方法及系统

本发明涉及图像处理，具体为软组织肿瘤病理自动评分方法及系统。

背景技术：

1、近年来，软组织肿瘤的发病率不断攀升，目前已知的病理组织学类型已有百余种。软组织肿瘤的命名体系复杂，不同类型肿瘤之间常有相似的组织形态学，通常需要大量的免疫组织化学染色以及分子检测辅助判断，这些都给病理医生带来巨大的挑战，给患者带来过度的经济负荷，也容易延误临床病情和处置。从根本上，对于一个软组织肿瘤是良性还是恶性的区分，直接关系到外科手术的策略、患者的预后和随诊，以及系统化治疗的选择，这些都需要病理医生在初诊观察苏木精伊红(h&e)染色组织切片时，即做出相对明确的诊断方向。但是，大部分病理医生对软组织肿瘤的诊断经验远远不足，对手术切除标本h&e染色切片下的形态特征识别及切缘情况判断不够准确，对术前小活检标本和术中冰冻标本的形态学特征更是难以清晰区分。当下，迫切需要高鲁棒性和准确性的人工智能算法模型来辅助病理医生诊断。本发明即针对软组织肿瘤病理切片实现多组织学类型的良恶性自动评分，辅助病理医生提升诊断效率和精度。

技术实现思路

1、本发明提供了一种软组织肿瘤病理自动评分方法及系统，其特征在于，所述方法包括：

2、步骤1，准备有特征代表性的软组织肿瘤的良恶性病例，构建模型训练所需的数据集sin；

3、步骤2，基于数据集sin及对应的良恶性信息训练深度学习模型m；

4、步骤3，准备目标测试的软组织肿瘤病例，并计算其前景图谱f；

5、步骤4，计算目标病例的滑窗图像块x的前景占比f(x)，并基于深度学习模型m计算图像块的恶性得分m(x)；

6、步骤5，计算不同模式下(大肿瘤良恶性对比评分/小肿瘤恶性评分)的病理数字全切片的良恶性评分并输出软组织肿瘤的诊断结果。

7、具体地，在步骤1中，所述准备有特征代表性的软组织肿瘤的良恶性病例，构建模型训练所需的数据集sin，包括：选择具有特征代表性的良恶性软组织肿瘤病例组织若干，石蜡包埋或者冰冻后进行切片，使用苏木精伊红等染料染色，通过扫描仪扫描获取多级倍率的病理数字图像若干，而后在肿瘤内部以一定步长有重叠地裁剪边长为l的图像块x，良性肿瘤的nb张图像块构成良性数据集恶性肿瘤的nm张图像块构成恶性数据集良恶性数据集共同构成模型训练所需的数据集sin＝sbe∪sma，每个图像块的标签与所属软组织肿瘤的组织学类型一致；

8、具体地，在步骤2中，所述基于数据集sin及对应的良恶性信息训练深度学习模型m，包括：以步骤1中的数据集sin中的图像块为输入信息，以图像块对应的标签为监督信息，选择合适的损失函数和深度学习网络结构，训练深度学习模型，得到收敛后的推理模型m，用于度量与训练过程中使用的两个良恶性数据集的相似程度；

9、具体地，在步骤3中，所述准备目标测试的软组织肿瘤病例，计算目标测试病例的前景图谱f，包括：选择目标测试的软组织肿瘤病例，该病例既可以是步骤1中的数据集sin所囊括的组织学类型，也可以是没有出现过的不同器官的、不同组织学类型的软组织肿瘤病例，并扫描成计算机可处理的高分辨率数字图像x；而后，将高分辨率的待测软组织肿瘤病理数字图像x降采样至合适的分辨率，通过二值化算法过滤掉大面积无组织背景，包括但不限于大津法(otsu二值化算法)、灰度阈值二值化、转换至hsv或lab颜色空间后阈值二值化、基于深度学习卷积神经网络的背景过滤算法等，得到低分辨率的前景图谱，而后上采样映射到高分辨率图像，得到与病理数字图像x等尺寸的前景图谱f；

10、具体地，在步骤4中，所述计算目标病例的滑窗图像块x的前景占比f(x)，并基于深度学习模型m计算图像块的恶性得分m(x)，包括：按照设定步长有重叠地按照步骤1中的边长l裁剪待测软组织肿瘤病理数字图像x，所得nt个小尺寸图像块x构成待测数据集合而后，计算集合st中每一个图像块x所对应前景图谱f中相同区域范围内的前景像素数目f，获得图像块x的前景占比f(χ)＝f/l2×100％；将集合st中每一个图像块x输入到步骤2中所训练的收敛后的深度推理模型m，得到图像块x所对应的良恶性度量结果m(x)；

11、具体地，在步骤5中，所述计算不同模式下(大肿瘤良恶性对比评分/小肿瘤恶性可能性评分)的病理数字全切片的良恶性评分并输出软组织肿瘤的诊断结果，包括：将步骤4中推理所得的每一个图像块x的良恶性度量结果m(x)通过sigmoid、softmax等归一化函数约束到取值范围[0，1]，得到n[m(x)]，归一化后的取值越大则表示图像块x恶性的可能性越大，而后基于归一化后的恶性概率n[m(x)]计算大肿瘤良恶性对比评分模式和小肿瘤恶性评分模式下的病理数字全切片的良恶性评分并输出软组织肿瘤的诊断结果；

12、具体地，在步骤5中，所述大肿瘤良恶性对比评分模式，包括：针对待测目标切片x所裁剪的若干个小尺寸图像块x，基于步骤4的前景占比f(x)和步骤5的归一化后的恶性概率n[m(x)]，在大肿瘤良恶性对比评分模式下，计算较大肿瘤全切片的良恶性区域对比评分sstt-1，计算方式为sstt-1＞0，sstt-1取值越大表示包含恶性肿瘤可能性越大且恶性肿瘤在切片中的面积占比越大，系统输出sstt-1和良恶性诊断参考意见；

13、具体地，在步骤5中，所述小肿瘤恶性可能性评分模式，包括：针对待测目标切片x所裁剪的若干个小尺寸图像块x，将n[m(x)]大于阈值t图像块视为正样本，其余视为负样本，获得正样本连通域集合set(c)，假设set(c)中每一个连通域c包含nstt-2个小尺寸图像块，计算每一个连通域c的恶性肿瘤评分而后较小肿瘤全切片的恶性肿瘤存在可能性评分为sstt-2＝max[sstt-2(c)]，sstt-2∈[0，100％]，sstt-2取值越大表示包含恶性肿瘤可能性越大，系统输出sstt-2和恶性肿瘤是否存在的诊断参考意见。

14、本发明针对现阶段软组织肿瘤苏木精伊红染色的病理图像难以通过肉眼快速分辨良恶性而不得不依赖免疫组化检测的现象，以及现阶段深度学习模型训练必须覆盖待测病例的所有可能的组织学类型的局限性，从有限种类的软组织肿瘤组织学类型出发，设计针对不同肿瘤大小的恶性肿瘤评分模式，成本低、速度快、精度高，有效辅助病理医生进行软组织肿瘤良恶性诊断。

技术特征：

1.软组织肿瘤病理自动评分方法及系统，其特征在于，所述方法包括以下步骤：

2.如权利要求1所述的软组织肿瘤病理自动评分方法及系统，其特征在于，在步骤1中，所述准备有特征代表性的软组织肿瘤的良恶性病例，构建模型训练所需的数据集sin，具体为：选择具有特征代表性的良恶性软组织肿瘤病例组织若干，石蜡包埋或者冰冻后进行切片，使用苏木精伊红等染料染色，通过扫描仪扫描获取多级倍率的病理数字图像若干，而后在肿瘤内部以一定步长有重叠地裁剪边长为l的图像块x，良性肿瘤的nb张图像块构成良性数据集恶性肿瘤的nm张图像块构成恶性数据集良恶性数据集共同构成模型训练所需的数据集sin＝sbe∪sma，每个图像块的标签与所属软组织肿瘤的组织学类型一致。

3.如权利要求1所述的软组织肿瘤病理自动评分方法及系统，其特征在于，在步骤2中，所述基于数据集sin及对应的良恶性信息训练深度学习模型m，具体为：以步骤1中的数据集sin中的图像块为输入信息，以图像块对应的标签为监督信息，选择合适的损失函数和深度学习网络结构，训练深度学习模型，得到收敛后的推理模型m，用于度量与训练过程中使用的两个良恶性数据集的相似程度。

4.如权利要求1所述的软组织肿瘤病理自动评分方法及系统，其特征在于，在步骤3中，所述准备目标测试的软组织肿瘤病例，计算目标测试病例的前景图谱f，具体为：选择目标测试的软组织肿瘤病例，该病例既可以是步骤1中的数据集sin所囊括的组织学类型，也可以是没有出现过的不同器官的、不同组织学类型的软组织肿瘤病例，并扫描成计算机可处理的高分辨率数字图像x。而后，将高分辨率的待测软组织肿瘤病理数字图像x降采样至合适的分辨率，通过二值化算法过滤掉大面积无组织背景，包括但不限于大津法(otsu二值化算法)、灰度阈值二值化、转换至hsv或lab颜色空间后阈值二值化、基于深度学习卷积神经网络的背景过滤算法等，得到低分辨率的前景图谱，而后上采样映射到高分辨率图像，得到与病理数字图像x等尺寸的前景图谱f。

5.如权利要求1所述的软组织肿瘤病理自动评分方法及系统，其特征在于，在步骤4中，所述计算目标病例的滑窗图像块x的前景占比f(x)，并基于深度学习模型m计算图像块的恶性得分m(x)，具体为：依据设定步长有重叠地按照步骤1中的边长l裁剪待测软组织肿瘤病理数字图像x，所得nt个小尺寸图像块x构成待测数据集合而后，计算集合st中每一个图像块x所对应前景图谱f中相同区域范围内的前景像素数目f，获得图像块x的前景占比f(χ)＝f/l2×100％。将集合st中每一个图像块x输入到步骤2中所训练的收敛后的深度推理模型m，得到图像块x所对应的良恶性度量结果m(x)。

6.如权利要求1所述的软组织肿瘤病理自动评分方法及系统，其特征在于，在步骤5中，所述计算不同模式下(大肿瘤良恶性对比评分/小肿瘤恶性可能性评分)的病理数字全切片的良恶性评分并输出软组织肿瘤的诊断结果，具体为：将步骤4中推理所得的每一个图像块x的良恶性度量结果m(x)通过sigmoid、softmax等归一化函数约束到取值范围[0，1]，得到n[m(x)]，归一化后的取值越大则表示图像块x恶性的可能性越大，而后基于归一化后的恶性概率n[m(x)]计算大肿瘤良恶性对比评分模式和小肿瘤恶性评分模式下的病理数字全切片的良恶性评分并输出软组织肿瘤的诊断结果。

7.如权利要求6所述的软组织肿瘤病理自动评分方法及系统，其特征在于，所述大肿瘤良恶性对比评分模式，包括：针对待测目标切片x所裁剪的若干个小尺寸图像块x，基于步骤4的前景占比f(x)和步骤5的归一化后的恶性概率n[m(x)]，在大肿瘤良恶性对比评分模式下，计算较大肿瘤全切片的良恶性区域对比评分sstt-1，计算方式为sstt-1>0，sstt-1取值越大表示包含恶性肿瘤可能性越大且恶性肿瘤在切片中的面积占比越大，系统输出sstt-1和良恶性诊断参考意见。

8.如权利要求6所述的软组织肿瘤病理自动评分方法及系统，其特征在于，所述小肿瘤恶性可能性评分模式，包括：针对待测目标切片x所裁剪的若干个小尺寸图像块x，将n[m(x)]大于阈值t图像块视为正样本，其余视为负样本，获得正样本连通域集合set(c)，假设set(c)中每一个连通域c包含nstt-2个小尺寸图像块，计算每一个连通域c的恶性肿瘤评分而后较小肿瘤全切片的恶性肿瘤存在可能性评分为sstt-2＝max[sstt-2(c)]，sstt-2∈[0，100％]，sstt-2取值越大表示包含恶性肿瘤可能性越大，系统输出sstt-2和恶性肿瘤是否存在的诊断参考意见。

技术总结
本发明提供了一种软组织肿瘤病理自动评分方法及系统。所述方法包括：准备有特征代表性的软组织肿瘤的良恶性病例，构建模型训练所需的数据集；基于数据集及对应的良恶性信息训练深度学习模型；准备目标测试的软组织肿瘤病例，并计算其前景图谱；计算目标病例的滑窗图像块的前景占比，并基于深度学习模型计算图像块的恶性概率；计算不同模式(大肿瘤良恶性对比评分/小肿瘤恶性评分)下的病理数字全切片的恶性评分并输出结果。本发明的方案在训练评分系统的核心模型时不需要采集软组织肿瘤的所有组织学类型，所构建的自动评分方法及系统可在不参考免疫组化结果的情况下，仅依靠苏木精伊红染色的病理切片智能评价软组织肿瘤的良恶程度，在病理医生诊断过程中起到快速、便捷、精确的智能辅助效果。

技术研发人员：孟竹,郭丽梅,赵志诚
受保护的技术使用者：北京邮电大学
技术研发日：
技术公布日：2024/1/13