一种自动确认浸润性乳腺癌区域系统的制作方法

本发明涉及医学图像处理技术领域，尤其涉及一种自动确认浸润性乳腺癌区域系统。

背景技术：

乳腺癌正在成为威胁全球女性健康的主要疾病，乳腺癌术后免疫组化检查已经成为肿瘤分子分型、治疗决策和预后预测的核心标准。现有人工镜下阅片方式的不可重复性与个体化精准诊疗对阅片准确性的迫切需求产生了矛盾，因此，研发人工智能辅助分析工具显得尤为重要。

he染色是组织学上常用的染色方法，也常用于乳腺癌病理组织的染色，苏木精染液呈碱性，伊红染液呈酸性。由于组织或者细胞中各组成成分对酸性或者碱性的亲和力以及染色性质不同，染色后会呈现不同层次的颜色。肿瘤细胞的细胞核大小形态不一，在低倍图下可见因肿瘤细胞聚团形成的癌巢。

某些浸润性癌(特别是浸润性筛状癌和腺样囊性癌)的生长方式类似导管原位癌。而且，有些浸润性癌会在间质内形成边界清楚的病变或圆形细胞巢，诊断时极容易被误判为导管原位癌。绝大多数dcis区域形态是一个类圆形闭合曲线，但dcis累及小叶，特别是累及硬化性腺病时，其结构与浸润性癌相似，这给dics区域的自动化检测带来了很大的挑战。

现有两种方案：

方案1：直接在免疫组化染色图像上做idc区域的分割，优点在于不需要进行多片染色，不需要配准直接出结果，但是其准确性得不到保证；

方案2：直接在he染色图像上做idc区域的分割，然后与ihc图像做配准，这种方案缺点在于对于idc和dcis中极其相似的类型无法做出准确判断，导致漏检和假阳。

技术实现要素：

本发明旨在提供一种能够自动在ihc染色的wsi图像上确定idc区域的系统。

为达到上述目的，本发明是采用以下技术方案实现的：

一种自动确认浸润性乳腺癌区域系统，包括：

数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出he染色的wsi图像、p63染色的wsi图像以及ihc染色的wsi图像；

智能分析模块，用于对数据准备模块所输出的wsi图像进行处理，最终在已完成ihc染色的wsi图像上确定idc区域；

所述智能分析模块包括：

癌巢区域确定模块，用于从he染色的wsi图像上确定癌巢区域；

dcis区域确定模块，用于从p63染色的wsi图像上确定dcis区域；

单模多源图像配准模块，用于将he染色的wsi图像、p63染色的wsi图像以及ihc染色的wsi图像三者在同一坐标系中配准；

多源数据融合模块，用于将癌巢区域确定模块、dcis区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在ihc染色的wsi图像上确定idc区域。

优选的，所述染色制片流程为标准组织切片制片流程，所述数字化成像通过支持病理切片数字化扫描的仪器来完成。

优选的，所述癌巢区域确定模块的运行包括以下步骤：

步骤a1：训练一个癌巢分割模型网络，提取he染色wsi图像1倍图中的有效组织轮廓，映射到he染色wsi图像40倍图中，并提取对应的有效组织区域；

步骤a2：将所提取的有效组织区域按照重叠128个像素的方式重叠采样，并将重叠采样后的图像裁剪成若干个1024*1024的patch；

步骤a3：将步骤a2所得到的patch输入一个gan组成的超分辨率重建的网络，得到超分辨率重建生成的patch；

步骤a4：将超分辨率重建生成的patch输入一个训练完成的癌巢分割模型网络，对每一个patch生成一个二值图像mask；

步骤a5：对于每个生成的mask图像按照其原始的坐标裁剪，再进行图像的拼接；

步骤a6：对拼接完成的整个有效组织区域的mask进行形态学操作，开运算，再进行二值图像中轮廓的分层级操作，得到包含层级关系的若干个轮廓区域；

步骤a7：将所得到的轮廓区域等比例缩放回40倍的he染色wsi图像中，并绘制所分割出来的癌巢区域轮廓。

进一步的，所述癌巢分割模型网络为fcn语义分割深度卷积神经网络。

进一步的，步骤a5中所述的拼接的方式是采取逻辑或操作。

优选的，所述dcis区域确定模块的运行包括以下步骤：

步骤b1：输入p63染色的wsi图像，对p63染色的wsi图像进行分析，选择p63染色的wsi图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域；

步骤b2：建立dcis分割模型网络，所述dcis分割模型网络包括一个语义分割网络，由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数；

步骤b3：将loss2作用于loss1得到loss；

步骤b4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。

进一步的，所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。

优选的，所述单模多源图像配准模块的配准输出结果为癌巢区域确定模块的输出结果以及dcis区域确定模块的输出结果两者映射到ihc染色wsi图像的几何变换参数，所述几何变换参数包括旋转中心坐标、旋转角以及两个维度上的变换尺度。

进一步的，多源数据融合模块的输入为癌巢区域确定模块的输出结果、dcis区域确定模块的输出结果以及所述几何变换参数，所述多源数据融合模块的输出结果为ihc染色的wsi图像上idc区域的多边形标记。

本发明具有以下有益效果：

1、本发明整体系统自动运行，端到端确定idc区域，人为干预少，减少了工作人员的主观因素带来的影响；

2、本发明通过整体系统对于图像的数字化处理，解决了传统镜片下阅片的不可重复性问题；

3、某些浸润性癌(特别是浸润性筛状癌和腺样囊性癌)的生长方式类似导管原位癌，而且有些浸润性癌会在间质内形成边界清楚的病变或圆形细胞巢，诊断时极容易被误判为导管原位癌；反过来，导管原位癌累及小叶，特别是累及硬化性腺病时，其结构也与浸润性癌非常像；直接在he上进行区域分割极易弄混导致漏检和假阳，本发明通过从p63染色图像中分割出dcis区域，无论从科学性和准确性上都优于直接使用he染色图像确定idc区域。

附图说明

图1为本发明系统框图；

图2为he染色的wsi图像；

图3为p63染色的wsi图像；

图4为单模多源图像配准模块的配准图示；

图5为步骤a1提取有效组织示意图；

图6为步骤a2重叠采样示例图；

图7为步骤a2有效组织区域重叠裁剪示意图；

图8为generator生成器结构示意图；

图9为超分辨率重建示意图；

图10为分割mask示意图；

图11为分割效果示意图；

图12为癌巢区域确定模块的运行算法流程示意图；

图13为语义分割网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

首先通过下表进行符号说明：

如图1，一种自动确定浸润性乳腺癌区域系统，包括：

数据准备模块，用于对来源于同一个乳腺肿瘤组织的输入数据以此进行染色制片流程以及数字化成像，输出he染色的wsi图像、p63染色的wsi图像以及ihc染色的wsi图像；所述染色制片流程为标准组织切片制片流程，所述数字化成像通过支持病理切片数字化扫描的仪器来完成。

智能分析模块，用于对数据准备模块所输出的wsi图像进行处理，最终在已完成ihc染色的wsi图像上确定idc区域。

所述智能分析模块包括：

癌巢区域确定模块，用于从he染色的wsi图像上确定癌巢区域。具体地，所述癌巢区域确定模块的运行包括以下步骤：

步骤a1：训练一个癌巢分割模型网络，提取he染色wsi图像1倍图中的有效组织轮廓，映射到he染色wsi图像40倍图中，并提取对应的有效组织区域，如图5所示；所述癌巢分割模型网络为fcn语义分割深度卷积神经网络。

步骤a2：将所提取的有效组织区域按照重叠128个像素的方式重叠采样，如图6所示，并将重叠采样后的图像裁剪成若干个1024*1024的patch，如图7所示。

步骤a3：将步骤a2所得到的patch输入一个gan组成的超分辨率重建的网络，得到超分辨率重建生成的patch。网络的生成器,采用了三种不同类型的插值方式：最近邻、双线性以及双三次插值。如图8所示，网络进行采样，其结构如下表所示：

gan模型网络结构(生成器)

在进行多个卷积操作后进行融合操作,最终输出生成的图像。判别器则采用一般的判别器即可。该网络的目的是进一步提升图像的分辨率至80倍，如图9所示。单个patch的尺寸变为2048*2048，其可视化精度相比与传统的插值算法，具有更好的可视化效果，并且使得医生可以在更高的分辨率下，分析病灶区域。

步骤a4：将超分辨率重建生成的patch输入一个训练完成的癌巢分割模型网络，对每一个patch生成一个二值图像mask。

步骤a5：对于每个生成的mask图像按照其原始的坐标裁剪，再进行图像的拼接。拼接的方式是采取逻辑或操作，即设前景为1，背景为0，如果在同一坐标点上，像素有一个为1，结果取1，否则为0。

步骤a6：对拼接完成的整个有效组织区域的mask进行形态学操作，开运算，卷积核为5*5(长*宽)的矩形，如图10所示，再进行二值图像中轮廓的分层级操作，得到包含层级关系的若干个轮廓区域。

步骤a7：将所得到的轮廓区域等比例缩放回40倍的he染色wsi图像中，并绘制所分割出来的癌巢区域轮廓，其最终显示效果如图11所示。

整个癌巢区域确定模块的运行算法流程如图12所示。

本发明还包括dcis区域确定模块，用于从p63染色的wsi图像上确定dcis区域。如图2所示，其中红色实线圈为idc区域，；绿色虚线圈为dcis区域；如图3所示，左边为p63染色的乳腺组织，右图为对应的dcis区域。具体地，所述dcis区域确定模块的运行包括以下步骤：

步骤b1：输入p63染色的wsi图像，对p63染色的wsi图像进行分析，选择p63染色的wsi图像中目标的整体特征和目标的局部特征，并将整体特征制作成所对应的两个标签，所述两个标签分别为标签1和标签2，标签1所对应的是目标的整体特征，标签2所对应的是目标的局部特征，标签1表示原位癌区域，标签2表示原位癌的边界区域。

步骤b2：建立dcis分割模型网络，所述dcis分割模型网络包括一个语义分割网络，如图13所示，所述语义分割网络由编码器和解码器两部分构成，语义分割网络对64×64、128×128以及256×256三种大小的特征图进行合并。语义分割网络由两个任务共享所述语义分割网络，所述两个任务分别为主任务及辅助任务，所述主任务由标签1监督学习，所述辅助任务由标签2监督学习，然后通过所述语义分割网络输出预测图像并通过两个任务分别计算得出loss1以及loss2，loss1由主任务计算得出，loss2由辅助任务计算得出，loss1为目标的整体区域损失函数，loss2为目标的局部区域损失函数。loss1及loss2由下列公式表示：

其中，y1^(i,j)表示标签1的图像位置(i,j)处的值，y2^(i,j)表示标签2的图像位置(i,j)处的值，表示预测图像位置(i,j)处的值，m和n分别表示图像的宽和高，β1是标签1中目标区域的损失权重，α1是标签1中背景区域的损失权重，β2是标签2中目标区域的损失权重。通过不同程度增大或减小α1、β1和β2，可以实现不同程度的各区域特征的增强或减弱。

步骤b3：将loss2作用于loss1得到loss。这一步骤可以实现局部特征作用于整体特征，使网络兼顾目标的整体的特征和局部特征，提高网络性能；所述loss为loss1和loss2线性相加的结果且作为整体网络的损失。通过以下计算公式将loss2作用于loss1上得到loss：

loss＝loss1+β2·loss2

其中，β2是标签2中目标区域的损失权重。

步骤b4：保持目标区域权重为1，增强背景区域的权重，增强目标局部区域的权重，输出结果。

本发明还包括单模多源图像配准模块，用于将he染色的wsi图像、p63染色的wsi图像以及ihc染色的wsi图像三者在同一坐标系中配准；ki67、er、pr、her2在这里统称为ihc，如图4所示，ori_ki-67、ori_er、ori_pr、ori_her-2、ori_he、ori_p63分别为原始朝向的宏观图，a、b、c、d分别为以各宏观图为模板的he配准图，e、f、g、h分别为以各宏观图为模板的p63配准图。所述单模多源图像配准模块的配准输出结果为癌巢区域确定模块的输出结果以及dcis区域确定模块的输出结果两者映射到ihc染色wsi图像的几何变换参数，所述几何变换参数包括旋转中心坐标、旋转角以及两个维度上的变换尺度。

本发明还包括多源数据融合模块，用于将癌巢区域确定模块、dcis区域确定模块以及单模多源图像配准模块三者的输出结果进行融合并最终在ihc染色的wsi图像上确定idc区域。多源数据融合模块的输入为癌巢区域确定模块的输出结果、dcis区域确定模块的输出结果以及所述几何变换参数，所述多源数据融合模块的输出结果为ihc染色的wsi图像上idc区域的多边形标记。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。