本发明涉及计算机技术领域，尤其涉及一种用于处理宫颈细胞图像的方法和装置。
背景技术：
液基细胞学检查是采用薄层液基细胞检测thin-cytologictest(tct)检测宫颈细胞并进行细胞学分类。tct从根本上解决了常规脱落细胞制片假阴性率高、丢失细胞率高和涂片质量差等技术难题，使宫颈癌的阳性检出率达95％以上，它是目前国际上较先进的一种宫颈癌细胞学检查技术。
在tct检查中，具体的步骤是临床医师用专门的采集器采集子宫颈细胞样本，然后将采集器置入装有细胞保存液的小瓶中进行漂洗，这样就获得了几乎全部的细胞样本。患者的细胞样本瓶就被送往实验室，经由全自动细胞检测仪将样本分散并过滤，以减少血液、粘液及炎症组织的残迹，这样就得到了一个薄薄的保存完好的细胞层，以备进一步的显微检测。病理医生通过显微镜镜对宫颈细胞涂片进行观察，并根据bethesda(tbs)报告系统对细胞样本做出数据分类。
现有的子宫颈细胞学bethesda报告系统采用描述性分类，包括如下四类：无上皮内病变或恶性病变、来源于子宫外的各种肿瘤、腺细胞异常、鳞状细胞异常。其中鳞状细胞异常又进一步分为如下四类：低级别鳞状上皮内病变、高级别鳞状上皮内病变、鳞状细胞癌、非典型鳞状细胞。而“非典型鳞状细胞”又分为如下两类：无明确诊断意义的非典型鳞状细胞(asc-us)、非典型鳞状细胞不除外高度鳞状上皮内病变。其中asc-us的具体情况还分为两类：倾向于反应性、没有其它特征。asc-us这一例子突显出病理学家面对细胞学或组织学标本常不能做出完全分类决定的困难处境。
现有方案在技术上至少存在如下缺陷：
(1)目前采用子宫颈细胞学bethesda报告系统标准，其中对鳞状上皮内病变的不同种类和级别使用描述性语言，通常需要比较细胞和细胞核的大小，观察染色程度以及均匀度等，这些指标往往很难定量，依赖阅片者的主观判定；
(2)对宫颈细胞涂片的信息提取工作主要依赖阅片者的经验，具有主观性强、一致性差、精确度低等缺点；
(3)人工阅片是对宫颈细胞样本在显微镜下观察，通过不停的调整物镜的放大倍数和逐步扫描切片，具有费时费力，容易漏诊的缺点。
技术实现要素：
有鉴于此，本发明实施例提供一种用于处理宫颈细胞图像的方法和装置，能够解决人工阅片分类工作的一致性差、精确度低、准确度不高等技术问题。
为实现上述目的，根据本发明实施例的第一个方面，提供了一种用于处理宫颈细胞图像的方法，包括：步骤s1：获取范例图像，然后获取所述范例图像对应的范例图像标定信息；步骤s2：根据所述范例图像和所述范例图像标定信息生成样本集；步骤s3：根据所述样本集进行深度学习网络的训练和参数优化，得到卷积神经网络模型；步骤s4：利用所述卷积神经网络模型对测试图像进行测试，检出目标区域。
可选地，所述深度学习网络的训练采用前馈卷积网络，其产生固定大小的边界框集合和框中对象类别的分数，接着采用非最大化抑制步骤产生最终检测。
可选地，所述深度学习网络的训练满足如下特征：将6个卷积特征层添加到截断的基础网络的末尾；对于具有p个通道的大小为m×n的特征层，使用3×3×p卷积核卷积操作，其中p，m，n为自然数；对于在给定位置的k个框中每个框，计算c类分数和相对于原始默认框的4个偏移量，对于m×n特征图产生(c+4)k×m×n个输出。
为实现上述目的，根据本发明实施例的第二个方面，提出了一种用于处理宫颈细胞图像的装置，包括：标定模块，用于获取范例图像，然后获取所述范例图像对应的范例图像标定信息；采样模块，用于根据所述范例图像和所述范例图像标定信息生成样本集；深度学习模块，用于根据所述样本集进行深度学习网络的训练和参数优化，得到卷积神经网络模型；测试模块，用于利用所述卷积神经网络模型对测试图像进行测试，检出目标区域并且得到分类结果。
可选地，所述深度学习模块中采用前馈卷积网络，其产生固定大小的边界框集合和框中对象类别的分数，接着采用非最大化抑制步骤产生最终检测。
可选地，所述深度学习模块中，深度学习网络满足如下特征：截断的基础网络的末尾具有6个卷积特征层；对于具有p个通道的大小为m×n的特征层，使用3×3×p卷积核卷积操作，其中p，m，n为自然数；对于在给定位置的k个框中每个框，计算c类分数和相对于原始默认框的4个偏移量，对于m×n特征图产生(c+4)k×m×n个输出。
为实现上述目的，根据本发明实施例的第三个方面，提出了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明的方法。
为实现上述目的，根据本发明实施例的第四个方面，提出了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明的用于处理宫颈细胞图像的方法。
上述发明中的任一个实施例采用深度学习的技术实现图像的自动分类，提高了工作效率，降低了失误概率。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的用于处理宫颈细胞图像的方法的主要步骤的示意图；
图2(a)是根据本发明实施例的粗标定范例图，图2(b)是根据本发明实施例的细标定范例图；
图3是根据本发明实施例的用于处理宫颈细胞图像的装置的主要模块的示意图；
图4是用来实现本发明实施例的用于处理宫颈细胞图像的方法的电子设备的硬件结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
由上文可知，现有技术主要是依靠经验丰富的医生人工阅片诊断，具体是指医生对组织样本在显微镜下观察，通过不停的调整物镜的放大倍数和逐步扫描切片，具有费时费力的缺点。另外，对组织切片的诊断主要依赖阅片者的经验，具有主观性强、一致性差、精确度低、准确性差(例如乳腺癌的淋巴结转移中的小转移很难被发现，容易被漏诊)等缺点。
本发明旨在提出一种人工智能的用于处理宫颈细胞图像的处理方法以及处理装置，采用基于卷积神经网络的深度监督学习下的机器学习模型，开发计算机辅助诊断算法，对tct液基涂片中的鳞状上皮细胞进行检测和分类，达到自动识别非典型鳞状细胞和鳞状上皮内病变的目的。从而解决现有技术中的人工处理中的主观性强、一致性差、精确度低、准确性差的问题。具有客观公正，重复性好，精确度高，准确度好，省时省力的优点。
图1是根据本发明实施例的用于处理宫颈细胞图像的方法的主要步骤的示意图。如图1所示，该实施例的方法主要包括如下步骤s1至步骤s4。
步骤s1：获取范例图像，然后获取范例图像对应的范例图像标定信息。需要说明的是，本发明实施例的范例图像为宫颈液基细胞范例涂片对应的数字图像。
“获取范例图像”的具体过程可以为：使用全切片数字扫描仪，将宫颈液基细胞范例实物涂片转化为高分辨率的数字图像，数字图像更易于被存储和被计算机处理分析。
“获取范例图像对应的范例图像标定信息”具体可以是指本发明的图像处理装置记录医生输入的关于范例图像的标定内容。该标定内容即图像的某些位置对应的描述性标签。标定可以分为粗标定和细标定。
(1)粗标定。粗标定发生在实物涂片转化为数字化图像之前。粗标定是指医生在显微镜下在宫颈液基细胞实物涂片上用标记笔将病灶区域勾画出来，得到粗标定轮廓线。粗标定是为了初步锁定标记区域，以便于在细标定阶段更快地找到目标。
(2)细标定。细标定发生在实物涂片转化为数字图像之后。细标定是指医生在计算机上对数字图像的粗标定轮廓线内部做更细致的标定处理。标定处理的内容具体是：将病灶区域的病变细胞进行勾画，同时对勾画的细胞加上标签，表明细胞的类型。标签可以包括：非典型鳞状细胞-意义不明确(atypicalsquamouscellsofundeterminedsignificance，asc-us)，非典型鳞状细胞-不除外高级别鳞状上皮内病变(atypicalsquamouscells–cannotexcludehsil，asc-h)，低级别鳞状上皮内病变(low-gradesquamousintraepitheliallesion，lsil)，高级别鳞状上皮内病变(high-gradesquamousintraepitheliallesion，hsil)，萎缩细胞。
例如，图2(a)和图2(b)分别示出了粗标定结果和细标定结果。图2(a)中的黑色粗体标记即粗标定结果，圈出了病灶区域。图2(b)是图2(a)中央局部的放大结果。图2(b)中进一步做出了细标定，圈出了细胞，并旁加上了该细胞的类型以及标定区域的长度和面积。
步骤s2：根据范例图像和范例图像标定信息生成样本集。
首先需要预先设定样本规格，例如可以是500像素×500像素尺寸的图像块(imagepatch)，然后在范例图像中进行图像块采样。样本集分为两部分数据：一部分的样本为包括正常的鳞状上皮细胞的图像块样本，即正样本；另一部分为步骤s1得到的标签属性为多种病变鳞状上皮细胞的图像块样本，即负样本。需要说明的是，这些负样本中的病变细胞包括单个标定细胞或是标定细胞群。如果是标定细胞群，可以将标定细胞群整体作为样本，加入到样本集中。
步骤s3：根据样本集进行深度学习网络的训练和参数优化，得到卷积神经网络模型。
具体地，先将步骤s2得到的样本集按照预设比例随机分为训练样本集和测试验证样本集。例如可以采用80％的数据作为训练样本，20％为验证样本。训练样本用来训练模型，验证样本用来调节模型的参数。然后根据训练样本集获取深度神经网络的参数模型，得到针对非典型鳞状细胞和鳞状上皮内病变的识别模型，然后根据验证样本集进行模型优化。
非典型鳞状细胞和鳞状上皮内病变分类模型基于深度学习卷积神经网络。在检测阶段，神经网络的输入为已标定的不同种类的细胞或是细胞群，这些细胞和细胞群单独存放在一个长方形框内，作为训练网络模型的真实样本(groundtruth)。同时，考虑不同尺度的特征图上采用不同长宽比的长方形框实现神经网络的卷积计算。对于每一个长方形框里包含的数据，计算形状的偏移，和属于每个细胞学分类的概率值。在训练的阶段，将这些同长宽比的长方形框和真实样本数据进行匹配，其中有些长方形框和真实样本数据有很好的匹配，那么这些长方形框作为训练集中的正样本，剩下匹配度低的长方形框作为训练集中的负样本。具体的深层神经网络模型的设计如下。
深度学习网络的训练采用前馈卷积网络，其产生固定大小的边界框集合和框中对象类别的分数，接着采用非最大化抑制步骤产生最终检测。可以使用经典的vgg-16网络作为基础，然后向网络添加辅助结构，以实现多尺度特征图检测。例如可以将6个卷积特征层添加到截断的基础网络的末尾。这些层尺寸逐渐减小，得到多个尺度检测的预测值。检测的卷积模型对于每个特征层是不同的。每个添加的特征层(或可选的基础网络的现有特征层)可以使用一组卷积滤波器产生固定的预测集合。对于具有p个通道的大小为m×n的特征层，使用3×3×p卷积核卷积操作，产生类别的分数或相对于默认框的坐标偏移。在每个应用卷积核运算的m×n大小位置处，产生一个输出值。边界框偏移输出值是相对于默认框测量，默认框位置则相对于特征图。将一组默认边界框与顶层网络每个特征图单元关联。默认框对特征图作卷积运算，使得每个框实例相对于其对应单元格的位置是固定的。在每个特征映射单元中，我们预测相对于单元格中的默认框形状的偏移，以及每个框中实例的每类分数。具体来说，对于在给定位置的k个框中每个框，计算c类分数和相对于原始默认框的4个偏移量。这使得在特征图中的每个位置需要总共(c+4)×k个滤波器，对于m×n特征图产生(c+4)k×m×n个输出。该默认框类似于fasterr-cnn中使用的anchorboxes，但本发明将其应用于不同分辨率的特征图中。在多个特征图中使用不同的默认框形状，可以有效地离散可能的输出框形状空间。
在训练阶段，需要建立真实标签和默认框之间的对应关系。对于每个真实标签框，应从默认框中进行选择。这些默认框随位置、纵横比和比例而变化。启始时，匹配每个真实标签框与默认框最好的jaccard重叠。这是原始multibox使用的匹配方法，它确保每个真实标签框有一个匹配的默认框。与multibox不同，匹配默认框与真实标签jaccard重叠高于阈值(0.5)的默认框。添加这些匹配简化了学习问题：它使得有多个重叠默认框时网络预测获得高置信度，而不是要求它选择具有最大重叠的那个。
大多数卷积网络通过加深层数减小特征图的大小。这不仅减少计算和存储消耗，而且还提供一定程度的平移和尺寸不变性。为了处理不同的对象尺寸，本发明将图像转换为不同的尺寸，然后单独处理每个尺寸，然后组合结果。然而，通过用单个网络中的若干不同层的特征图来进行预测，可以得到相同的效果，同时还在所有对象尺度上共享参数。使用来自较低层的特征图可以提高语义分割质量，因为较低层捕获到输入对象的更精细的细节。同时，添加从高层特征图下采样的全局文本可以帮助平滑分割结果。在实验中，可以同时使用低层和高层的特征图进行检测预测。例如，可以在框架中使用的两个示例特征图(8×8和4×4)。需要说明的是，实践中技术人员可以灵活使用更多具有相对小的计算开销的特征图。
步骤s4：利用卷积神经网络模型对测试图像进行测试，检出目标区域及其分类结果。需要说明的是，测试图像优选采用独立于范例涂片图像的崭新图像数据，这样可以保证测试样本集与训练样本集的交集为空。独立的测试样本集可以保证细胞分类模型测试结果的准确性和得到的分类模型的鲁棒性。步骤s4可以具体包括如下的步骤s41和步骤s42。
步骤s41：将测试图像分成多个测试图像块，然后将多个测试图像块输入细胞分类模型，得到各个测试图像块对应的细胞分类结果。所谓“各个测试图像块对应的细胞分类结果”就是指各个测试图像块对应的细胞分类的概率值。在一个图像块中，所识别的非正常细胞样本都有对应的所属不同分类的概率值。如果同一个图像块中有多类非正常细胞，则将最大概率值对应的分类作为该细胞或是细胞团的分类。
步骤s42：根据各个测试图像块对应的细胞分类结果，采用投票策略进行统计，得到测试图像分类结果。具体地：根据步骤s41得到的所有的测试图像块的细胞分类结果，采用投票和多数原则，统计测试图像中所有测试图像块中细胞或是细胞团的个数，含有最多数目的细胞或是细胞团所属的分类类别为该测试图像的最终分类。
本发明实施例的方法采用深度学习技术实现图片自动分类；解决人工阅片的一致性差、精确度低等缺点；提高了医生的工作效率，同时降低了由于医生经验不足而发生的错误概率。
图3是根据本发明实施例的用于处理宫颈细胞图像的装置的主要模块的示意图。如图3所示，该实施例的装置主要包括标定模块301、采样模块302、深度学习模块303和测试模块304。
标定模块301用于获取范例图像，然后获取范例图像对应的范例图像标定信息。需要说明的是，本发明实施例的范例图像为宫颈液基细胞范例涂片对应的数字图像。“获取范例图像”的具体过程可以为：使用全切片数字扫描仪，将宫颈液基细胞范例实物涂片转化为高分辨率的数字图像，数字图像更易于被存储和被计算机处理分析。“获取范例图像对应的范例图像标定信息”具体可以是指本发明的图像处理装置记录医生输入的关于范例图像的标定内容。该标定内容即图像的某些位置对应的描述性标签。标定可以分为粗标定和细标定。具体细节可以参考上文中关于本发明的处理方法的描述。
采样模块302用于根据范例图像和范例图像标定信息生成样本集。采样模块302中需要预先设定样本规格，例如可以是500像素×500像素尺寸的图像块(imagepatch)，然后在范例图像中进行图像块采样。样本集分为两部分数据：一部分的样本为包括正常的鳞状上皮细胞的图像块样本，即正样本；另一部分为步骤s1得到的标签属性为多种病变鳞状上皮细胞的图像块样本，即负样本。需要说明的是，这些负样本中的病变细胞包括单个标定细胞或是标定细胞群。如果是标定细胞群，可以将标定细胞群整体作为样本，加入到样本集中。
深度学习模块303用于根据样本集进行深度学习网络的训练和参数优化，得到卷积神经网络模型。其中，深度学习模块303中可以采用前馈卷积网络，其产生固定大小的边界框集合和框中对象类别的分数，接着采用非最大化抑制步骤产生最终检测。以及，深度学习模块303中，深度学习网络满足如下特征：截断的基础网络的末尾具有6个卷积特征层；对于具有p个通道的大小为m×n的特征层，使用3×3×p卷积核卷积操作，其中p，m，n为自然数；对于在给定位置的k个框中每个框，计算c类分数和相对于原始默认框的4个偏移量，对于m×n特征图产生(c+4)k×m×n个输出。具体细节可以参考上文中关于本发明的处理方法的描述。
测试模块304用于利用卷积神经网络模型对测试图像进行测试，检出目标区域及其分类结果。具体细节可以参考上文中关于本发明的处理方法的描述。
根据本发明的实施例，本发明还提供了一种电子设备和一种可读存储介质。
本发明的电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行本发明所提供的处理宫颈细胞图像的方法。
本发明的计算机可读存储介质，计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行本发明所提供的处理宫颈细胞图像的方法。
下面参考图4，其示出了适于用来实现本申请实施例的电子设备400的结构示意图。图4示出的终端仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图4所示，终端400包括中央处理单元(cpu)401，其可以根据存储在只读存储器(rom)402中的程序或者从存储部分408加载到随机访问存储器(ram)404中的程序而执行各种适当的动作和处理。在ram403中，还存储有系统400操作所需的各种程序和数据。cpu401、rom402以及ram403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
以下部件连接至i/o接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至i/o接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(cpu)401执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括发送模块、获取模块、确定模块和第一处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，发送模块还可以被描述为“向所连接的服务端发送图片获取请求的模块”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被处理器执行时实现本发明提出的图像处理方法。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。