一种HER2免疫组化图像自动判别方法及系统与流程

本发明属于医疗病理分析技术领域，涉及一种运用计算机图像处理技术分析病理图像的方法，具体涉及一种her2免疫组化图像自动判别方法及系统。

背景技术：

免疫组化技术由于其成本相对较低、染色切片易于保存和使用常规光学显微镜被广泛应用于肿瘤的病理诊断领域，可供病理医生给出综合准确判断。正确检测和评定乳腺癌的her2蛋白表达和基于扩增状态对乳腺癌的临床治疗和预后判断极为重要。目前国内外一般采用免疫组织化学(ihc)法检测her2受体蛋白表达状态，应用荧光原位杂交和显色原位杂交法检测her2基因扩增水平。her2免疫组化检测评估结果分为四种，其中-、+为阴性，+++为阳性、++为可疑。乳腺癌标本一般可先经ihc检测，检测结果为3+者，可作为建议患者接受曲妥珠单抗等药物治疗的依据；检测结果2+者需重复ihc检查或者荧光原位杂交和显色原位杂交法检测或者送去其他质量有保证的实验室进行检测。

传统病理诊断中，需要病理医生根据免疫组化图像中的阳性区域的细胞数目及染色强度做出半定量判定，对病理医生的专业经验要求较高，且病理诊断结果易受医生主观影响。随着计算机的快速发展，为了提高病理学家判读her2免疫组化图像的效率，尽可能的减少不同病理医生的主观差异性，使用计算机分析her2免疫组化图像是一大研究热门。

现有研究中通过分析her2免疫组化图像主要包括三个阶段：图像预处理、图像特征提取构建特征向量、构建分类器。由于病理图像数字化扫描设备的缺少，使得获取到的病理图像数据仅仅是切片标本中的一部分，使得最终计算机分析给出的结果并不能很好地对当前病理切片做出辅助诊断，仍然需要医生再次复核得到相应病理诊断结果，同时构建的分类器存在再学习训练代价太大等问题，在计算机辅助诊断时未能很好地考虑对照区域的信息，并不适宜在临床病理诊断进行推广。

技术实现要素：

针对现有研究中her2免疫组化图像判别技术中由于上述缺点造成的临床不易推广使用等问题，本发明提出了一种her2免疫组化图像自动判别方法，可以自动提取全切片数字化图像中的有效组织图像及对照组阳性图像，然后将其切分成互不重叠的小图像后，经过神经网络模型确认小图像的判断结果构建结果伪彩色图像，经由图像后处理后确定当前切片中阳性细胞的比例，从而做出相应病理结果诊断。同时提出一种基于上述her2免疫组化图像自动判别方法的系统，用于录入相应病理切片信息、辅助医生快速完成her2免疫组化结果判读并生成相应her2免疫组化检测结果报告。

本发明的方法所采用的技术方案是：一种her2免疫组化图像自动判别方法，其特征在于，包括以下步骤：

步骤1：提取全切片数字化图像imageslide中低倍放大图像lowmagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；

步骤2：阳性对照区域提取得到阳性掩码图像positivemask；

步骤3：有效组织区域提取得到组织掩码图像tissuemask；

步骤4：根据阳性掩码图像positivemask和组织掩码图像tissuemask在全切片数字化图像imageslide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像contrastimages，有效组织图像validimages，有效组织图像总数记为numall；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；

步骤5：将阳性对照图像contrastimages送入预设神经网络模型，当输出结果为阳性的比例超过预设值percenthigh时转至步骤7，否则转至步骤6；

步骤6：将当前阳性对照图像contrastimages随机划分为新增训练集和验证集，从现有的her2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过percenthigh停止训练，保存为新神经网络模型；

步骤7：将有效组织图像validimages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图fakeimage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；

步骤8：统计检测结果为3的图像数目记为强着色数目strongnum，检测结果为2的图像数目记为中等着色数目mediannum，检测结果为1的图像数目记为微着色数目weaknum，检测结果为0的图像数目记为无着色数目nonum；当strongnum/numall超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当nonum/numall>90％时，表示基本无着色，检测结果为-；当mediannum/numall>10％且strongnum/numall<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。

本发明的系统所采用的技术方案是：一种her2免疫组化图像自动判别系统，其特征在于：包括低倍图像提取模块、阳性对照区域提取模块、有效组织区域提取模块、高倍图像提取模块、阳性对照测试模块、预设模型优化模块、分析模块、结果可视化模块、数据回传模块和报告生成模块；

所述低倍图像提取模块，用于提取全切片数字化图像imageslide中低倍放大图像lowmagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像；

所述阳性对照区域提取模块，用于阳性对照区域提取得到阳性掩码图像positivemask；

所述有效组织区域提取模块，用于有效组织区域提取得到组织掩码图像tissuemask；

所述高倍图像提取模块，用于根据阳性掩码图像positivemask和组织掩码图像tissuemask在全切片数字化图像imageslide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像contrastimages，有效组织图像validimages，有效组织图像总数记为numall；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像；

所述阳性对照测试模块，用于将阳性对照图像contrastimages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值percenthigh时转至步骤7，否则转至步骤6；

所述预设模型优化模块，用于将当前阳性对照图像contrastimages随机划分为新增训练集和验证集，从现有的her2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过percenthigh停止训练，保存为新神经网络模型；

所述分析模块：将有效组织图像validimages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图fakeimage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；

所述分析模块，还用于统计检测结果为3的图像数目记为强着色数目strongnum，检测结果为2的图像数目记为中等着色数目mediannum，检测结果为1的图像数目记为微着色数目weaknum，检测结果为0的图像数目记为无着色数目nonum；当strongnum/numall超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当nonum/numall>90％时，表示基本无着色，检测结果为-；当mediannum/numall>10％且strongnum/numall<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+；

所述结果可视化模块，用于显示有效组织区域的图像经过预设模型后生成的结果伪彩色图像，方便病理医生直观快速复核计算机辅助诊断结果；

所述数据回传模块，用于将医生复核后无误的结果及相关结果标记图像回传到服务器存档以及扩充相关her2免疫组化标记图像数据库方便后期进一步研究和挖掘相关有效信息；

所述报告生成模块，用于生成her2免疫组化结果相关报告并存档。

本发明和以前的技术相比，具有如下优点和显著优势：

本发明针对全切片图像从低倍放大视野图像粗分割后到高倍放大视野图像分析，可以完整的利用到整个切片组织的信息，同时粗分割可以准确定位对照区域及有效组织区域，增加了对照区域信息的利用并且有效减少切片中无效区域，加快计算机分析全切片的速度。本发明通过预设的神经网络模型高效准确的对待检测组织区域图像进行分类，利用分类结果可视化伪彩色图像及相关统计量帮助病理医生快速准确复核her2免疫组化结果，优化病理医生诊疗效率，更适宜于在临床上进行推广使用。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例全切片数字化图像的低倍放大图像；

图3-a为本发明实施例中给定低倍放大图像从rgb颜色空间转换到hsv颜色空间后的明度图像；

图3-b为本发明实施例的给定低倍放大图像转换为明度图像后二值化得到的明度二值图像；

图3-c为本发明实施例的给定低倍放大图像得到的阳性候选图像；

图4-a为本发明实施例的给定低倍放大图像得到的阳性区域闭合椭圆图像；

图4-b为本发明实施例的给定低倍放大图像得到的阳性区域填充图像；

图4-c为本发明实施例中给定低倍放大图像得到的阳性区域彩色图像；

图5-a为本发明实施例中给定低倍放大图像得到的阳性区域二值图像；

图5-b为本发明实施例中给定低倍放大图像得到的阳性掩码图像；

图5-c为本发明实施例中给定低倍放大图像得到的阳性膨胀区域图像；

图6-a为本发明实施例中给定低倍放大图像得到的有效组织区域图像；

图6-b为本发明实施例中给定低倍放大图像得到的有效二值图像；

图6-c为本发明实施例中给定低倍放大图像得到的有效组织掩码图像；

图7为本发明实施例中给定全切片图像中阳性对照区域的部分阳性对照示意图；

图8为本发明实施例中给定全切片图像中有效组织区域的部分待检测区域示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1，本发明提供的一种her2免疫组化图像自动判别方法，包括以下步骤：

步骤1：提取全切片数字化图像imageslide中低倍放大图像lowmagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像。

步骤2：阳性对照区域提取得到阳性掩码图像positivemask(图5-b)；

具体实现包括以下子步骤：

步骤2.1：将低倍放大图像lowmagnification从rgb颜色空间转换到hsv颜色空间，得到明度图像valueimage(图3-a)；

步骤2.2：将明度图像valueimage二值化得到明度二值图像valuebw(图3-b)；

步骤2.3：计算明度二值图像valuebw中所有连通域的面积area及其最小凸多边形面积convexarea；

步骤2.4：遍历明度二值图像valuebw中所有连通域，当其convexarea/area<预设值limit(本实施例取值为4)时，去除该连通域；最终得到阳性候选图像positivecandidate(图3-c)

步骤2.5：由于阳性候选图像positivecandidate中，类圆外圈多数情况没有闭合，采用椭圆拟合得到其闭合椭圆图像closeimage(图4-a)；

步骤2.6：对闭合椭圆图像closeimage进行孔洞填充，得到填充图像fillimage(图4-b)；

步骤2.7：将低倍放大图像lowmagnification中填充图像fillimage为0的像素值清零，去除阳性对照区之外的区域得到阳性区域图像positivergb(图4-c)；

步骤2.8：阳性区域图像positivergb二值化得到二值图像positivebw(图5-a)；

步骤2.9：将二值图像positivebw后处理，保留面积在预设区间[low,high](本实施例取值为[500,50000])中的连通域得到阳性掩码图像positivemask(图5-b)。

步骤3：有效组织区域提取得到组织掩码图像tissuemask(图6-c)；

具体实现包括以下子步骤：

步骤3.1：对阳性区域图像positivergb做半径为r(本实施例取值为5)的圆形结构元素的形态学膨胀操作得到膨胀区域dilateimage(图5-c)；

步骤3.2：将低倍放大图像lowmagnification中膨胀区域dilateimage为1的像素值清零，去除阳性对照区域得到有效组织区域图像validrgb(图6-a)；

步骤3.3：将有效组织区域图像validrgb二值化得到有效二值图像validbw(图6-b)；

步骤3.4：将有效二值图像validbw后处理，去除上下左右切片边缘的噪点及面积小于预设值s(本实施例取值为500)的噪点后，用膨胀操作平滑，得到组织掩码图像tissuemask(图6-c)。

步骤4：根据阳性掩码图像positivemask和组织掩码图像tissuemask在全切片数字化图像imageslide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像contrastimages，有效组织图像validimages，有效组织图像总数记为numall；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像。

步骤5：将阳性对照图像contrastimages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值percenthigh时转至步骤7，否则转至步骤6；其中，percenthigh取值为95％。

本实施例中预设神经网络模型为四分类，神经网络模型结构如下：卷积层、卷积层、池化层、卷积层、卷积层、池化层、卷积层、池化层、卷积层、池化层、全连接层、dropout、softmax。输入图像大小归一化到256*256，四分类的结果中，0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色。第一次训练集使用数据数量如下——(0,6000)、(1,3000)、(2,2000)、(3,8000)。数据增强方法包括：镜像、[0,45,90,135,180]旋转、平移。通过数据增强使得每一类别的图像数量均等，在训练过程中使用在线增强方法：镜像、0-360°旋转、平移、噪声来防止训练过拟合。保留验证集效果最好的模型作为预设分类模型。

步骤6：将当前阳性对照图像contrastimages随机划分为新增训练集和验证集，从现有的her2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过percenthigh停止训练，保存为新神经网络模型；

步骤7：将有效组织图像validimages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图fakeimage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；

步骤8：统计检测结果为3的图像数目记为强着色数目strongnum，检测结果为2的图像数目记为中等着色数目mediannum，检测结果为1的图像数目记为微着色数目weaknum，检测结果为0的图像数目记为无着色数目nonum；当strongnum/numall超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当nonum/numall>90％时，表示基本无着色，检测结果为-；当mediannum/numall>10％且strongnum/numall<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。

本实施例还提供了一种her2免疫组化图像自动判别系统，包括低倍图像提取模块、阳性对照区域提取模块、有效组织区域提取模块、高倍图像提取模块、阳性对照测试模块、预设模型优化模块、分析模块、结果可视化模块、数据回传模块和报告生成模块；

低倍图像提取模块，用于提取全切片数字化图像imageslide中低倍放大图像lowmagnification；其中，低倍放大图像指的是全切片图像中分辨率最小、包含完整切片视野、大约物镜放大倍数为2的图像。

阳性对照区域提取模块，用于阳性对照区域提取得到阳性掩码图像positivemask；

有效组织区域提取模块，用于有效组织区域提取得到组织掩码图像tissuemask；

高倍图像提取模块，用于根据阳性掩码图像positivemask和组织掩码图像tissuemask在全切片数字化图像imageslide中分别提取高倍放大图像，互不重叠的取出长宽为width*height的小图像，分别记为阳性对照图像contrastimages，有效组织图像validimages，有效组织图像总数记为numall；其中，高倍图像指的是全切片图像中分辨率较高、大约物镜放大倍数为40的图像。

阳性对照测试模块，用于将阳性对照图像contrastimages送入预设神经网络模型进行测试，当输出结果为阳性的比例超过预设值percenthigh时转至步骤7，否则转至步骤6；其中，percenthigh取值为95％。

预设模型优化模块，用于将当前阳性对照图像contrastimages随机划分为新增训练集和验证集，从her2免疫组化标记图像数据库中随机抽取等数量的阴性图像和新增训练集混合，随机打乱后再训练预设神经网络模型，当验证集阳性准确率超过percenthigh停止训练，保存为新神经网络模型；

分析模块，用于将有效组织图像validimages送入最新神经网络模型，将检测结果为0的图像所在区域、检测结果为1的图像所在区域、检测结果为2的图像所在区域、检测结果为3的图像所在区域分别用不同的颜色标识，生成检测结果伪彩色图fakeimage；其中0表示细胞无着色，1表示细胞轻微着色，2表示细胞中等完全膜阳性，3表示细胞强度完全膜染色；

分析模块，还用于统计检测结果为3的图像数目记为强着色数目strongnum，检测结果为2的图像数目记为中等着色数目mediannum，检测结果为1的图像数目记为微着色数目weaknum，检测结果为0的图像数目记为无着色数目nonum；当strongnum/numall超过10％时，表示超过10％的细胞呈现强着色，检测结果为+++；当nonum/numall>90％时，表示基本无着色，检测结果为-；当mediannum/numall>10％且strongnum/numall<10％时，表示超过10％的细胞呈现中等着色，检测结果为++；其他检测结果为+。

结果可视化模块，用于显示有效组织区域的图像经过预设模型后生成的结果伪彩色图像，方便病理医生直观快速复核计算机辅助诊断结果；

数据回传模块，用于将医生复核后无误的结果及相关结果标记图像回传到服务器存档以及扩充相关her2免疫组化标记图像数据库方便后期进一步研究和挖掘相关有效信息；

报告生成模块，用于生成her2免疫组化结果相关报告并存档。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。