宫颈液基薄片图像之炎性细胞消除方法与流程

本发明属于医疗影像技术领域，特别涉及一种宫颈液基薄片图像之炎性细胞消除方法。

背景技术：

基于宫颈液基薄层计算的细胞制片，在制作和沉淀过程中，无法排除炎性细胞(主要包括淋巴细胞和巨噬细胞)的存在。而过多炎性细胞的情况(比如掩盖大于75％的上皮细胞)，将导致样片被鉴定为不合格样本，无法进入下一步的早期病变和癌症细胞诊断，也很难作为样本进行学习和展示，如图1所示的宫颈液基薄片图像，是中倍、传统thinprep制片，炎性细胞覆盖大于75％的上皮细胞，被判读为不满意样本。即使是被判别为合格的样片，也有大量的炎性细胞覆盖细胞质与细胞核，同样影响医师辨别诊断，如图2所示的图像是中倍、液基thinprep制片，炎性细胞遮盖50％～75％的上皮细胞，仍判读为满意样本。

目前对于宫颈液基薄片图像的处理方法可以有2种，对于炎性细胞大面积覆盖的情况，通常采用化学方法消除。而基于数字图像的处理，通常不涉及消除或标注出这种细胞。例如，

对于，化学方法消除炎性细胞，如果炎性细胞的覆盖率过高，可以将剩余样本用冰醋酸混合液(cytolyt)处理后再次制片评判样本质量的满意度，但是这种情况对于处理血液过多的样本效果较佳，炎性细胞不够明显。且制作成本和等待时间都会增强[1]。

对于，基于数字图像的处理，采用计算机软件处理显微镜图像，计算除去特定的噪音在很多领域有所研究应用，但是未涉及除去炎性细胞后，对于留下的空白区域，如何自然填补上期望的自然的背景色，而非单一颜色不自然的填补，或者补上错误的内容。

参考文献

[1]赵澄泉、周先荣、隋龙、杨敏等主编，宫颈癌筛查及临床处理，北京科学技术出版社，2017。

[2]ronneberger,o.,fischer,p.,brox,t.:u-net:convolutionalnetworksforbiomedicalimagesegmentation.in:navab,n.,hornegger,j.,wells,w.m.,frangi,a.f.eds.)miccai2015partiii.lncs,vol.9351,pp.234–241.springer,chamcal(2015).https://doi.org/10.1007/978-3-319-24574-4_28

[3]simonyan,k.,zisserman,a.:verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arxive-printsarxiv:1409.1556v6(2014)

[4]russakovsky,o.,deng,j.,su,h.,krause,j.,etal.:imagenetlargescalevisualrecognitionchallenge.int.j.comput.vis.115(3),211–252(2015).https://doi.org/10.1007/s11263-015-0816-y

[5]barnes,c.,shechtman,e.,finkelstein,a.,goldman,d.b.:patchmatch:arandomizedcorrespondencealgorithmforstructuralimageediting.acmtransactionsongraphics-tog28(3),24(2009)

技术实现要素：

本发明实施例提供一种宫颈液基薄片图像之炎性细胞消除方法，目的在于解决现有的消除宫颈液基薄片中炎性细胞方法的缺陷。

本发明实施例之一，一种宫颈液基薄片图像之炎性细胞消除方法，

接收宫颈液基薄片数字图像；

提取所述宫颈液基薄片数字图像中炎性细胞轮廓，采用深度卷积神经网络，通过宫颈液基薄片数字图像样本对所述深度卷积神经网络模型进行训练，并根据所述炎性细胞轮廓生成炎性细胞掩膜；

将被识别出的炎性细胞，在掩膜区域扩张上做到成团连接，根据深度卷积神经网络判别的信心值，融合更多的背景模糊区域，以更新炎性细胞掩膜；

将炎性细胞掩膜替换为宫颈液基薄片数字图像底色。

本发明实施例使用数字图像处理的方法，无需利用化学药剂，不存在新材料的损耗和重新制片的成本，也无需相对较长的重新制片等待时间。在数字图像上去掉大部分炎性细胞，生成样片既会不影响病理医师肉眼观看和最终确诊癌细胞，也不影响部分医院将采取的机器自动阅片方式。并且无论是人眼识别还是机器识别，这样的排除干扰物都只会提高精确度，降低假阳性，并且不会影响真正的病变或癌细胞的存在与识别。与化学的方法相比，这种处理的时间快(在先进gpu设备上，基于深度学习在数分钟内完成识别)，且去除的更为干净。本发明的用途在人工阅片和自动阅片上都有优点。炎性细胞的存在，本身就会对宫颈液基薄片样片的质量造成影响，或废弃为不合格样片，或给机器自动阅片和医师诊疗带来困扰。之前已有的方案都是化学的方法去除，成本高。而采取的数字图像处理成本微乎其微。从人工阅片的角度，避免了医生费力在炎性细胞中用肉眼来寻找癌细胞。从机器自动阅片上来说，在细胞检测识别操作中，有效避免这类成团细胞被识别成不正常的细胞核，从而降低了假阳性，提高了机器学习的精度。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1宫颈液基薄片图像示例图。

图2宫颈液基薄片图像示例图。

图3根据本发明实施例之一的宫颈液基薄片图像样本标注示意图。

图4根据本发明实施例之一的炎性细胞定位与预测网络示意图。

图5根据本发明实施例之一的采用四分类的掩膜mask来显示被识别和标注炎性细胞示意图。

图6根据本发明实施例之一的在神经网络阈值调整后预测的炎性细胞成团分割效果图。

图7根据本发明实施例之一的经过神经网络定位识别炎性细胞后，经形态学调整最终确认掩膜区域的示意图。

图8为根据本发明实施例之一的改进的patchmatch搜索区域减小示意图。

图9根据本发明实施例之一的改进的patchmatch方法相比原有patchmatch在补色上的优势图。

图10根据本发明实施例之一的炎性细胞消除结果对比图。

具体实施方式

根据一个或者多个实施例，对于宫颈液基薄片图像中的炎性细胞，可以采用以下步骤：

步骤1，接收宫颈液基薄片图像；

步骤2，检测宫颈液基薄片图像中的炎性细胞，并将其覆盖区域生成掩膜；

步骤3，根据形态学进行区域调整，对上一步骤得出的掩膜区进行调整，去除错误纳入的细胞核、细胞质，融入更多的边缘区域；

步骤4，在掩膜区间确定之后，根据计算补入炎性细胞所在的背景色，而非用单一颜色或错误修补而造成新的问题；

步骤5，输出消除了炎性细胞的宫颈液基薄片图像。

其中主要的步骤是步骤2、3和4，分别包括识别定位炎性细胞、校订调整掩膜区域和计算填充掩膜区域。

以下对于炎性细胞的消除方法进行详细描述。

对于输入的带有炎性细胞的宫颈细胞显微镜数字图像进行读取后，用深度卷积神经网络提取炎性细胞轮廓，对于炎性细胞所在的像素点，覆盖生成掩膜(mask)，随后对识别出来的炎性细胞区域基于数学形态学进行调整来去除错误定位的炎性细胞以及融入边缘模糊不清的更多的炎性细胞像素，来作为新的炎性细胞的掩膜图像，最后将原有的炎性细胞的掩膜图像更新为原来的底色(或为扫描片底色，或为其覆盖的细胞的颜色，或为边界上的多种颜色组合)而使得图像整体自然。其实现具体步骤叙述如下。

1，对于炎性细胞的定位和分割。

首先进行样本标注，在病理医师的指导下，标注出来四种分类，即炎性细胞，细胞核，细胞质与背景，作为标注样本进行训练。训练的样本覆盖浅层鳞状细胞、中间层鳞状细胞、副基底层鳞状细胞、宫颈腺细胞(蜂窝状、分泌型、栅栏状)、炎性细胞、低度鳞状上皮内病损、高度鳞状上皮内病损、癌细胞(鳞状细胞癌、非典型子宫管腺细胞、子宫内膜腺)等等。其中炎性细胞作为单独的一类分割出来见图3-h，而其他的细胞均包括细胞核与细胞质的分开标注(a)-(g)，具体如图3所示。herlev和hemlbc标注的七种宫颈细胞子类(a)-(g)，以及常见的可划分为正常细胞范畴的炎性细胞(h)。其中，正常细胞为：3-a浅层鳞状细胞，3-b中间层鳞状细胞，3-c副基底层鳞状细胞，3-d宫颈腺细胞；病变细胞为：3-e低度鳞状上皮内病损，3-f高度鳞状上皮内病损，3-g癌细胞。我们区别出来这些子类细胞的目的在于它们不能被认为是炎性细胞而从图像中删除。

将标注的炎性细胞、细胞核、细胞质和背景作为训练数据输入。在分类网络上结合u-net和vggnet-16(vgg-16)生成能够处理数据，并输出预定效果的新网络。u-net为医疗图像分割网络网络包括编码器和解码器，保留解码器部分并对编码器部分用上述改进的vgg-16实现。vgg-16相比之前的网络，采取了小卷积核(3x3)和最大池化(2x2)，包括含有权重信息的13个卷积层和3个全连接层，以及不含有权重信息的5个池化层。随着每层卷积层的增加，图像高、宽减半，而通道数翻倍。因vgg-16在分辨多种图像、细小图像上的特征提取和分类的优越性，采用在大数据集imagenet上训练好的vgg-16的权重信息，采取了其中12个卷积层和4个池化层，并去除最后的全连接层，来输出4分类图像，如图4所示。图4-a基于vgg16编码器层设定示意图，4-b基于u-net的宫颈细胞四分类架构设计示意图。

将标注好的炎性细胞、细胞核、细胞质与背景数据集在基于改进的vgg-16进行迁移学习。网络采取五层结构，具体结构如图4-b所示。在特征提取过程中，编码器底下的两层在上层冻住(frozen)的情况下基于标注的数据集完成微调，而上面三层采取vgg-16初始权重。在最后一个卷积层中，将预计结果进行四分类，分别为细胞核、细胞质、炎性细胞和背景。基于上述网络识别结果如图5所示，5-a是宫颈细胞原图，显示了炎性细胞和细胞核。5-b是四分类示意图，显示了细胞质和背景部分，5-c的浅色区域为炎性细胞掩膜区，深色区域为其他内容。当炎性细胞出现在细胞质或者背景区域时(即当前像素判断为细胞质或背景区域的可能性高时)，适量扩大炎性细胞区域使其成团连接，这样消除的更为干净。

图6是神经网络阈值调整后预测的炎性细胞成团分割效果图。图6-a为不含病变细胞在阈值调整之前的分割效果，图6-b为不含病变细胞在阈值调整之前的分割效果,图6-c为图6-a经过边缘平滑和调整之后的效果,图6-d为图6-b经过边缘平滑和调整之后的效果。

2，校订调整掩膜区域，进行成团连接。

由于细胞之间的高度相似性，任何一种基于神经网络的定位分割方法都无法100％识别出所有的炎性细胞，因此本步骤基于形态学进行进一步调整。在基于液基薄片的显微镜宫颈细胞图像中，炎性细胞一个显著特征是成团聚集，因此进一步去除炎性细胞、减少混在成团细胞中的将来被识别成病变细胞的假阳性炎性细胞，可以通过神经网络分类的阈值调整和数学形态学的膨胀扩张来解决。由于无论基于何种数字图像处理方式，甚至医师手工标注，都存在至少1-2个像素的偏差，因此在生成掩码的时候，将细胞边缘像素向掩膜区外进行适当扩大(一个膨胀效果)，可以更好地覆盖炎性细胞所在区域。图7所示为经形态学调整结果。7-a为原图，7-b为神经网络信心度取值灰度图(深色为不确定的地方，即通常的边界区)，7-c为四分类图(圆圈内为错误判断成炎性细胞的)，7-d为神经网络输出的炎性细胞掩膜图，7-e为经过形态学腐蚀去除错认为炎性细胞的结果，7-f为经过膨胀融入边界像素的更新的掩膜图。

3，计算填充掩膜区域,从而在数字图像中消除炎性细胞的影响。

识别炎性细胞后，需要将这些区域继续用数字图像处理的方法填补为其原有的背景色，否则覆盖在其他细胞上的炎性细胞被去除后会留下来漏洞区。而填充上也应做到过度自然而非单一色彩填表。应用已有的方法patchmatch(对于不规则区域用周围类似模式预测填充)并进行改进，对炎性细胞覆盖的部分进行自动修补。由于炎性细胞形状不规则，基于patchmatch方法，在掩膜mask覆盖的区域周围寻找最相近的像素块而非单一像素值来代替掩膜区，使得图像视觉效果更为自然。相比原patchmatch算法的随机匹配搜索领域为整张图像，本算法仅在周围40个像素内寻找匹配像素(根据细胞直径范围实验而得)。在原有patchmatch方法上进行特定模式初始化以及缩小搜索范围。其对原patchmatch改进点包括：

1)mask区域的初始化值改为背景色，而不是随机值，以更接近绝大多数炎性细胞存在于背景的事实。

2)随机匹配的范围缩小到仅寻找mask区域范围内的40个像素。

3)在基于patchmatch的方式生成下采样金字塔时，忽略颜色类似炎性细胞的深色区域，用其他浅色代替，避免再次将掩膜区域填充为炎性细胞或者细胞核。

改进的patchmatch的搜索范围方式(上述第2条)如图8所示，8-a为原patchmatch全图匹配，8-b为提出的缩小搜索区域。改进的选择性填充方式在效果上(上述第3条)如图9所示，w为搜索范围(40像素点)，9-a为原图，9-b为识别的炎性细胞被掩膜覆盖图，9-c为原来的patchmatch将漏掉的像素点补成个细胞核的错误图，9-d为方案中避免采用炎性细胞深色像素值生成的效果图。最终生成结果如图10所示。通过上述三个步骤，炎性细胞得以从原图自然去除，达到化学去除的效果，并且效果上相比化学方式能去除更多的炎性细胞。图10展示了炎性细胞去除的结果图。10-a为病变细胞的样片原图，10-b为最终去除结果。经大量实验发现对于正常细胞，炎性细胞的过滤更好，因此而产生的假阳性更少。

值得说明的是，虽然前述内容已经参考若干具体实施方式描述了本发明创造的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。