宫颈细胞图像中异常细胞图像识别方法、装置与流程

1.本公开涉及图像处理技术领域，特别是涉及一种宫颈细胞图像中异常细胞图像识别方法、装置。


背景技术：

2.宫颈癌是一种常见妇科恶性肿瘤，其发病率在女性恶性肿瘤中居第二位，仅次于乳腺癌。宫颈癌的早期发现和干预治疗可有效避免其发生与发展。作为发现宫颈癌及癌前病变的主要方法，宫颈细胞学检查可大大降低发病率和死亡率。由于缺乏大量的经过严格训练又具有丰富经验的病理细胞学诊断医生，目前我国难以满足开展大规模高水平的宫颈癌普查需求。
3.随着人工智能技术的发展及其在医学影像领域的广泛应用，出现了通过计算机视觉技术实现计算机辅助自动化诊断筛查宫颈细胞中病理细胞，即异常细胞的方式，可以大幅提高宫颈癌前病变的检出率。
4.然而，目前的传统的通过计算机视觉技术进行筛查宫颈细胞中异常细胞的方式，缺乏有效的计算机辅助阅片系统，筛查出异常细胞后还需要通过专业知识人工进行识别且未能较好地对异常细胞的提取结果提供可解释性依据。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种无需人工识别和确定宫颈细胞图像中异常细胞图像，且能够对异常细胞的提取结果提供可解释性依据的宫颈细胞图像中异常细胞图像识别方法、装置。
6.第一方面，本公开提供了一种宫颈细胞图像中异常细胞图像识别方法，所述方法包括：
7.将多尺度宫颈细胞图像输入至预先训练得到的多尺度融合网络，所述多尺度宫颈细胞包括同一宫颈细胞图像的不同尺寸；
8.通过多尺度融合网络提取所述多尺度宫颈细胞图像中每个尺度的宫颈细胞图像的关键节点特征；
9.通过伯塞斯达分级系统确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果；
10.将每个尺度的宫颈细胞图像中异常细胞图像的分级结果进行融合，输出宫颈细胞图像中异常细胞图像以及分级结果中级别最高的异常细胞图像。
11.在其中一个实施例中，所述通过多尺度融合网络提取所述多尺度宫颈细胞图像中每个尺度的宫颈细胞图像的关键节点特征，包括：
12.通过所述多尺度融合网络中第一尺度网络的残差网络提取所述多尺度宫颈细胞图像中第一尺度宫颈细胞图像的特征；
13.根据所述第一尺度宫颈细胞图像的特征并通过所述第一尺度网络的图卷积池化
网络得到第一尺度宫颈细胞图像的关键节点特征；
14.根据所述第一尺度宫颈细胞图像的关键节点特征对应的图像块的感兴趣区域确定所述多尺度宫颈细胞图像中第二尺度宫颈细胞图像的输入图像区域；
15.将所述输入图像区域输入至所述多尺度融合网络的第二尺度网络中；
16.通过所述第二尺度网络的残差网络提取所述输入图像区域的特征；
17.根据所述输入图像区域的特征并通过所述第二尺度网络的图卷积池化网络得到所述输入图像区域的关键节点特征。
18.在其中一个实施例中，所述通过所述多尺度融合网络中第一尺度网络的残差网络提取所述多尺度宫颈细胞图像中第一尺度宫颈细胞图像的特征，之前还包括：
19.对所述第一尺度宫颈细胞图像进行二值分割，去除所述第一尺度宫颈细胞图像中无宫颈细胞的背景区域，并将去除无宫颈细胞的背景区域后的所述第一尺度宫颈细胞图像进行分割为若干无重合的大小相同的图像块。
20.在其中一个实施例中，所述通过所述多尺度融合网络中第一尺度网络的残差网络提取所述多尺度宫颈细胞图像中第一尺度宫颈细胞图像的特征，包括：
21.将若干无重合的大小相同的所述图像块输入至所述第一尺度网络的残差网络中，得到每块图像块的特征，所述残差网络的激活函数采用线性整流函数，且所述残差网络包括卷积层和残差模块。
22.在其中一个实施例中，所述根据所述第一尺度宫颈细胞图像的特征并通过所述第一尺度网络的图卷积池化网络得到第一尺度宫颈细胞图像的关键节点特征，包括：
23.根据每块图像块的特征和每块图像块在第一尺度宫颈细胞图像中的位置信息构建第一尺度宫颈细胞图像的数字切片结构图，得到节点特征；
24.计算所述节点特征之间的l1距离，通过所述l1距离构建邻居节点特征，得到与所述节点特征对应的第一邻接矩阵；
25.通过图卷积网络更新所述节点特征表示方式；
26.通过单层神经网络得到更新所述节点的特征表示方式后的关键节点特征。
27.在其中一个实施例中，所述通过图卷积网络更新所述节点特征表示方式，包括：
28.根据所述第一邻接矩阵对每个所述节点特征的邻居节点特征进行采样；
29.根据聚合函数聚合采样后得到的所述邻居节点特征的信息，得到通过向量表示的所述节点特征。
30.在其中一个实施例中，所述根据所述第一邻接矩阵对每个所述节点特征的邻居节点特征进行采样，包括：
31.在所述节点特征的邻居节点特征数量小于预设的节点采样数量的情况下，通过有放回抽样方法进行采样；
32.在所述节点特征的邻居节点特征数量大于预设的节点采样数量的情况下，通过无放回的抽样方法进行采样；
33.得到所述预设的节点采样数量的第一节点特征。
34.在其中一个实施例中，所述根据聚合函数聚合所述邻居节点特征的信息，包括：
35.通过参数共享的线性变换矩阵对采样后得到的所述第一节点特征进行线性变换；
36.对进行线性变换后的所述第一节点特征进行自注意力操作，得到所述第一节点特
征之间的权重值；
37.将所述权重值进行降序排序，获取排名前第一预设数量的权重值；
38.通过归一化函数对所述第一预设数量的权重值进行归一化，并利用归一化后的所述权重值融合对应的所述第一节点特征，得到通过向量表示的所述节点特征。
39.在其中一个实施例中，所述通过单层神经网络得到更新所述节点的特征表示方式后的关键节点特征，包括：
40.通过自注意力操作得到通过向量表示的所述节点特征的注意力权重值；
41.获取在预设的第一范围内的注意力权重值对应的通过向量表示的所述节点特征；
42.根据所述注意力权重值、归一化函数对通过向量表示的所述节点特征进行更新，得到更新所述节点的特征表示方式后的关键节点特征。
43.在其中一个实施例中，所述多尺度融合网络，采用包括下述方式训练得到：
44.构建多尺度融合网络的训练数据集和测试数据集，所述训练数据集和测试数据集中均包括设置有标注信息的宫颈细胞图像，所述标注信息是通过宫颈细胞图像中预先标注的异常细胞确定的；
45.通过所述训练数据集和测试数据集以及预先设置的分类损失函数训练多尺度网络，得到多尺度融合网络。
46.在其中一个实施例中，所述分类损失函数的计算公式为：
[0047][0048]
其中，为第一尺度网络的交叉熵损失函数；为第二尺度网络的交叉熵损失函数；第一尺度网络的交叉熵损失函数和第二尺度网络的交叉熵损失函数为：
[0049][0050]
其中，为宫颈细胞图像中的标注信息，k为所述关键节点特征的数量，y
i*
为进行计算得到的宫颈细胞图像中预测的标注信息。
[0051]
在其中一个实施例中，所述通过伯塞斯达分级系统确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果，包括：
[0052]
通过多尺度融合网络的全连接网络和归一化指数函数对每个尺度的宫颈细胞图像的关键节点特征根据伯塞斯达分级系统进行分级判断，确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果。
[0053]
第二方面，本公开还提供了一种宫颈细胞图像中异常细胞图像识别装置。
[0054]
所述装置包括：
[0055]
图像输入模块，用于将多尺度宫颈细胞图像输入至预先训练得到的多尺度融合网络，所述多尺度宫颈细胞包括同一宫颈细胞图像的不同尺寸；
[0056]
关键节点特征提取模块，用于通过多尺度融合网络提取所述多尺度宫颈细胞图像中每个尺度的宫颈细胞图像的关键节点特征；
[0057]
分级结果确定模块，用于通过伯塞斯达分级系统确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果；
[0058]
分级结果融合模块，用于将每个尺度的宫颈细胞图像中异常细胞图像的分级结果进行融合，输出宫颈细胞图像中异常细胞图像以及级别最高的异常细胞图像的分级结果对应的宫颈细胞图像区域。
[0059]
第三方面，本公开还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0060]
第四方面，本公开还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0061]
第五方面，本公开还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0062]
上述宫颈细胞图像中异常细胞图像识别方法、装置，通过多尺度融合网络对不同尺寸的宫颈细胞图像进行提取关键节点特征，能够确定宫颈细胞图像中细胞区域，进而对该关键节点特征利用伯塞斯达分级系统确定细胞区域中对应的异常细胞图像和分级结果，然后将不同尺度的宫颈细胞图像对应的分级结果进行融合，能够更加精确地确定异常细胞图像以及对应的分级结果。而最后将宫颈细胞图像中异常细胞图像以及分级结果中级别最高的异常细胞图像进行输出，因为使用的伯塞斯达分级系统进行识别异常细胞图像和确定分级结果，所以能够对确定的异常细胞图像的分级结果提供可解释性依据。
附图说明
[0063]
图1为一个实施例中宫颈细胞图像中异常细胞图像识别方法的应用环境示意图；
[0064]
图2为一个实施例中宫颈细胞图像中异常细胞图像识别方法的流程示意图；
[0065]
图3为一个实施例中s204步骤的流程示意图；
[0066]
图4为一个实施例中多尺度融合网络的结构示意图；
[0067]
图5为一个实施例中残差网络的架构示意图；
[0068]
图6为一个实施例中s304步骤的流程示意图；
[0069]
图7为一个实施例中采样流程示意图；
[0070]
图8为一个实施例中聚合流程示意图；
[0071]
图9为一个实施例权重值计算示意图；
[0072]
图10为一个实施例中s608步骤的流程示意图；
[0073]
图11为一个实施例中自注意力操作示意图；
[0074]
图12为一个实施例中宫颈细胞图像中异常细胞图像识别装置的结构示意框图；
[0075]
图13为一个实施例中计算机设备的内部结构示意图。
具体实施方式
[0076]
为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
[0077]
需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0078]
目前针对宫颈细胞辅助识别异常细胞已出现一些方法，如：一种智能辅助阅片方法，该方法依赖于诊断医师来对切片内的细胞进行浏览并检查细胞的病变性，若细胞病变可疑程度到达一定阈值，则请求远程专家复核检查，该方法虽然在一定程度上提高了阅片效率，但需要较大的人工干预，并不能很好地释放病理学专家资源。再如：一种宫颈细胞液基涂片人工智能辅助阅片系统，该方案首先对宫颈细胞进行分割，然后进行分级识别得到诊断结果，该系统虽然效率更高，但其采用的细胞核分割方法为传统的活动轮廓模型，该模型使用严格的算法，需要较大人工干预及专业知识，适用场景有限，且该阅片系统仅在分级结果有冲突时，提供细胞标注图，让阅片医师决定最终分级结果，不能很好地对每个分级结果提供可解释性依据。
[0079]
综上，目前针对宫颈细胞辅助识别异常细胞需要通过专业知识和人工进行识别，且不能对识别到的异常细胞提供可解释性的依据。
[0080]
因此，为解决上述问题，本公开实施例提供了一种宫颈细胞图像中异常细胞图像识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理或存储的宫颈细胞图像数据和其他数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102将需要进行识别异常细胞的多尺度宫颈细胞图像输入至服务器104中预先训练得到的多尺度融合网络，其中多尺度宫颈细胞图像可以包括不同尺寸的同一个需要识别异常细胞的宫颈细胞图像。也可以是服务器104获取终端102中的多尺度宫颈细胞图像，并将多尺度宫颈细胞图像输入至其中的多尺度融合网络中。服务器104通过其中的多尺度融合网络提取每个尺度的宫颈细胞图像的关键节点特征。提取出关键节点特征之后，服务器104再通过伯塞斯达分级系统确定提取出的关键节点特征的中对应的宫颈细胞图像中异常细胞图像的分级结果。确定出异常细胞的分级结果后，服务器104将每个尺度的宫颈细胞图像中的异常细胞图像的分级结果进行融合，融合后服务器104输出需要识别异常细胞的宫颈细胞图像中的异常细胞图像，以及分级结果中级别的最高的异常细胞图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。需要说明的是，该方案也可单独通过终端或者服务器来实现。
[0081]
在一个实施例中，如图2所示，提供了一种宫颈细胞图像中异常细胞图像识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
[0082]
s202，将多尺度宫颈细胞图像输入至预先训练得到的多尺度融合网络，所述多尺度宫颈细胞包括同一宫颈细胞图像的不同尺寸。
[0083]
其中，宫颈细胞图像通常可以是包含了若干宫颈细胞的图像。多尺度融合网络通
常可以是能够提取出宫颈细胞图像中异常细胞图像和对异常细胞图像确定分级结果的网络。
[0084]
具体地，将获取到的多尺度宫颈细胞图像输入至在服务器104中预先训练得到的多尺度融合网络中。其中多尺度宫颈细胞图像可以包括了同一个宫颈细胞图像的不同尺寸，本领域技术人员可以根据具体应用场景选择设置宫颈细胞图像的尺寸，在本实施例中不进行限制。
[0085]
在一些实施方式中，尺寸可以包括：10
×
10尺寸的宫颈细胞图像、20
×
20尺寸的宫颈细胞图像等。
[0086]
s204，通过多尺度融合网络提取所述多尺度宫颈细胞图像中每个尺度的宫颈细胞图像的关键节点特征。
[0087]
其中，关键节点特征通常可以是保留了每个尺度的宫颈细胞图像的关键节点对应的特征。关键节点通常可以代表了每个尺度的宫颈细胞图像较为关键位置的图像块，通常可以用来代表宫颈细胞图像中包含了细胞图像的图像块。
[0088]
具体地，将多尺度宫颈细胞图像中每个尺度的宫颈细胞图像输入至多尺度融合网络中，通过多尺度融合网络中不同的子网络提取不同尺度的宫颈细胞图像中的关键节点特征，得到每个尺度的宫颈细胞图像的关键节点特征。
[0089]
s206，通过伯塞斯达分级系统确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果。
[0090]
其中，伯塞斯达分级系统可以是tbs(the bethesda system)分级系统。通过tbs分级系统能够确定异常细胞图像的分级结果，分级结果的重要度由低到高可以包括：宫颈细胞的nilm(negative for intraepithelial lesion or malignancy)未见上皮内病变细胞或恶性细胞、asc-us(非典型鳞状细胞)、asc-h(非典型鳞状细胞)、lsil(鳞状上皮内低度病变)、hsil(鳞状上皮内高度病变)、scc(鳞状细胞癌)等。
[0091]
具体地，得到每个尺度的关键节点特征中，通过伯塞斯达分级系统确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像。进而通过识别出的异常细胞图像以及伯塞斯达分级系统确定该异常细胞图像对应的分级结果。
[0092]
s208，将每个尺度的宫颈细胞图像中异常细胞图像的分级结果进行融合，输出宫颈细胞图像中异常细胞图像以及分级结果中级别最高的异常细胞图像。
[0093]
具体地，上述得到了每个尺度的宫颈细胞图像中异常细胞的分级结果，将每个尺度的宫颈细胞图像中异常细胞的分级结果进行融合，通过融合不同尺度下的分级结果逐渐聚焦到关键区域，能得到更准确的分级结果，并统计多尺度融合网络中各个子网络中确定的不同尺度的宫颈细胞图像中异常细胞的分级结果，并将该分级结果生成分布直方统计图，以及最大的尺度下最高级别的分级结果对应的异常细胞图像。
[0094]
在一些实施方式中，如每个尺度的宫颈细胞图像中异常细胞图像的分级结果的集合分别为：y1、y2、y3，y1、y2、y3中分别包括了若干个分级结果，将y1、y2、y3中的若干分级结果进行融合，从而逐渐聚焦到关键区域，得到更准确的分级结果。每个关键节点特征对应一个分级结果，取所有分级结果中最高级别的分级结果，如例如，关键节点特征包含asc-us、lsil、hsil三种分类结果，则最高癌变级别为hsil；若关键节点特征包括nilm、hsil、scc，则最高癌变级别为scc。
[0095]
上述宫颈细胞图像中异常细胞图像识别方法，通过多尺度融合网络对不同尺寸的宫颈细胞图像进行提取关键节点特征，能够确定宫颈细胞图像中细胞区域，进而对该关键节点特征利用伯塞斯达分级系统确定细胞区域中对应的异常细胞图像和分级结果，然后将不同尺度的宫颈细胞图像对应的分级结果进行融合，能够更加精确地确定异常细胞图像以及对应的分级结果。而最后将宫颈细胞图像中异常细胞图像以及分级结果中级别最高的异常细胞图像进行输出，因为使用的伯塞斯达分级系统进行识别异常细胞图像和确定分级结果，所以能够对确定的异常细胞图像的分级结果提供可解释性依据。
[0096]
在一个实施例中，所述通过所述多尺度融合网络中第一尺度网络的残差网络提取所述多尺度宫颈细胞图像中第一尺度宫颈细胞图像的特征，之前还包括：
[0097]
对所述第一尺度宫颈细胞图像进行二值分割，去除所述第一尺度宫颈细胞图像中无宫颈细胞的背景区域，并将去除无宫颈细胞的背景区域后的所述第一尺度宫颈细胞图像进行分割为若干无重合的大小相同的图像块。
[0098]
其中，二值分割图像分割是图像分割中的一种算法，计算简单，不受图像亮度和对比度的影响，是按图像的灰度特性，将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，因此可以通过方差将前景和背景区域进行分割开，从而将宫颈细胞图像中无细胞的白色背景区域去除。
[0099]
在本实施例中，通过使用二值分割，能够将无细胞的背景区域去除，减少无细胞背景区域造成的干扰，能够更加准确的识别异常细胞对应的图像。
[0100]
在一个实施例中，如图3和图4所示，所述通过多尺度融合网络提取所述多尺度宫颈细胞图像中每个尺度的宫颈细胞图像的关键节点特征，包括：
[0101]
s302，通过所述多尺度融合网络中第一尺度网络的残差网络提取所述多尺度宫颈细胞图像中第一尺度宫颈细胞图像的特征。
[0102]
其中，残差网络可以是一种卷积神经网络，容易优化，并且能够通过增加深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
[0103]
具体地，通过多尺度融合网络中第一尺度网络中的残差网络提取第一尺度宫颈细胞图像的特征。
[0104]
s304，根据所述第一尺度宫颈细胞图像的特征并通过所述第一尺度网络的图卷积池化网络得到第一尺度宫颈细胞图像的关键节点特征。
[0105]
其中，图卷积池化网络可以是对特征构建对应的节点特征，然后通过图卷积网络更新节点特征的表示方式，最后简化宫颈细胞图像的图结构，仅保留关键的更新节点特征表示方式后的节点特征的网络。图卷积池化网络中可以包括图卷积网络和图池化网络。图卷积网络可以更新节点特征的表示方式。图池化网络可以保留关键的更新节点特征表示方式后的节点特征。
[0106]
具体地，得到第一尺度的宫颈细胞图像的特征之后，通过第一尺度网络中的图卷积池化网络基于宫颈细胞图像的特征和节点位置信息构建第一尺度的宫颈细胞图像的特征对应的节点特征，然后图卷积池化网络中的图卷积网络更新节点特征的表示方式，将表示方式变为通过向量的表示方式，继续通过图卷积池化网络中图池化网络将更新节点特征
表示方式后的节点特征投影到1维向量，通过该1维向量可以得到第一尺度的宫颈细胞图像的关键节点特征。
[0107]
s306，根据所述第一尺度宫颈细胞图像的关键节点特征对应的图像块的感兴趣区域确定所述多尺度宫颈细胞图像中第二尺度宫颈细胞图像的输入图像区域。
[0108]
其中，感兴趣区域是roi(region of interest)区域，通常是机器视觉、图像处理中，将第一尺度的细胞图像关键节点对应的图像块以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。
[0109]
具体地，获取第一尺度的宫颈细胞图像的关键节点特征，找到与关键节点特征对应的图像块，确定图像块中感兴趣区域。在第二尺度宫颈细胞图像中找到与感兴趣区域相对应的区域，该区域可以为输入图像区域。
[0110]
s308，将所述输入图像区域输入至所述多尺度融合网络的第二尺度网络中。
[0111]
s310，通过所述第二尺度网络的残差网络提取所述输入图像区域的特征。
[0112]
s312，根据所述输入图像的特征并通过所述第二尺度网络的图卷积池化网络得到所述输入图像区域的关键节点特征。
[0113]
具体地，将输入图像区域输入至第二尺度网络中的步骤与第一尺度宫颈细胞图像在第一尺度网络中的操作类似。先对输入图像区域进行分割为若干无重合大小相同的图像块。将大小相同的图像块输入第二尺度网络中。
[0114]
提取输入图像区域的特征方法与上述提取第一尺度宫颈细胞图像的特征方法相同，得到输入图像区域的关键节点特征的方法与上述得到第一宫颈细胞图像的关键节点特征的方法相同，均在此不再进行赘述。
[0115]
在本实施例的另一个实施方式中，多尺度融合网络中还可以包括第三尺度网络。
[0116]
根据输入图像区域的关键节点特征对应的图像块的感兴趣区域确定所述多尺度宫颈细胞图像中第三尺度宫颈细胞图像的输入图像区域，该第三尺度宫颈细胞图像的输入图像区域可以记为第一图像区域。
[0117]
将第一图像区域输入至多尺度融合网络的第三尺度网络中。
[0118]
通过所述第三尺度网络中的残差网络提取所述第一图像区域的特征。
[0119]
根据第一图像的特征并通过所述第三尺度网络的图卷积池化网络得到所述第一图像区域中的关键节点特征。
[0120]
关于另一个实施方式中的具体实施步骤可以参见上述方法中的限定，在此不进行赘述。
[0121]
在一些实施方式中，例如：第一尺度宫颈细胞图像i首先进行二值分割，切分成大小相同的图像块{i1,i2,i3...in}；然后通过第一尺度网络中残差网络提取特征，并基于提取的图像特征及图像块位置信息构建数字切片结构图，图的节点特征可以为x＝{x1,
…
,xn}；然后图卷积网络对构建的数字切片结构图进行训练得到优化后的节点特征，接着图池化网络基于数字切片结构图进行训练得到池化后的图结构，得到关键节点特征；第一尺度网络的输入为第一尺度宫颈细胞图像，第二尺度网络的输入为第一尺度网络中池化后根据关键节点特征得到的roi区域在第二尺度宫颈细胞图像中对应的区域，第三尺度网络的输入为第二尺度网络中池化后根据第二尺度网络得到关键节点特征的roi区域在第三尺度的宫颈细胞图像中对应的区域。分别通过第一尺度网络、第二尺度网络和第三尺度网络得到
对应的不同尺度的宫颈细胞图像的关键节点特征。
[0122]
需要说明的是，此处仅仅以三种尺度网络进行提取三种不同尺寸的宫颈细胞图像的关键节点特征进行举例，本领域技术人员可根据实际情况对上述提到的不同尺度网络进行增加或删除，具体使用多少个不同尺度的网络在本公开的实施例中不进行限制，能根据需求达到提取不同尺度的宫颈细胞图像中关键节点特征即可。
[0123]
本实施例中，通过图卷积池化网络中图卷积网络，能够更新节点特征的表示方式，进而能够捕获宫颈细胞图像的图像块之间的相互依赖关系，从而获取宫颈细胞图像的全局信息和关联信息。通过图卷积池化网络中图池化网络，能够保留宫颈图像的关键节点特征，能够简化宫颈细胞图结构，去除不相关的节点特征，减少不相关的节点特征对确定异常细胞图像时造成的干扰。通过使用不同尺度的网络能够提取不同尺寸的宫颈细胞图像，进一步提升确定异常细胞图像时的准确性。
[0124]
在一个实施例中，所述通过所述多尺度融合网络中第一尺度网络的残差网络提取所述多尺度宫颈细胞图像中第一尺度宫颈细胞图像的特征，包括：
[0125]
将若干无重合的大小相同的所述图像块输入至所述第一尺度网络的残差网络中，得到每块图像块的特征，所述残差网络的激活函数采用线性整流函数，且所述残差网络包括卷积层和残差模块。
[0126]
其中，线性整流函数通常可以为relu函数，是一种人工神经网络中常用的激活函数。
[0127]
具体地，将进行二值分割后得到的若干无重合的大小相同的第一尺度宫颈细胞图像的图像块输入至残差网络中，通过残差网络对每块图像块提取特征得到每块图像块的特征。如图5所示，为残差网络的架构示意图，输入图像i可以为若干无重合大小相同的图像块。将每个图像块依次经过卷积层、残差模块1、残差模块2、残差模块3和残差模块4，输出图像特征x，x可以包括每个图像块的特征。其中卷积层为7
×
7卷积层，其中，步长为2，64维度的卷积核。残差模块1可以包括3
×
3卷积层、64维度的卷积核、其中，步长为2。残差模块2可以包括3
×
3卷积层、128维度的卷积核，其中步长为2。残差模块3可以包括3
×
3卷积层、256维度的卷积核，其中步长为2。残差模块4可以包括3
×
3卷积层、512维度的卷积核，其中步长为2。
[0128]
在本实施例中，使用残差网络解决网络的深度增加从而带来的梯度消失的问题，而将残差网络中使用relu函数，能够实现计算复杂度低，简化计算过程，同时可引入稀疏性。
[0129]
在一个实施例中，如图6所示，所述根据所述第一尺度宫颈细胞图像的特征并通过所述第一尺度网络的图卷积池化网络得到第一尺度宫颈细胞图像的关键节点特征，包括：
[0130]
s602，根据每块图像块的特征和每块图像块在第一尺度宫颈细胞图像中的位置信息构建第一尺度宫颈细胞图像的数字切片结构图，得到节点特征。
[0131]
其中，数字切片结构图可以是将第一尺度宫颈细胞图像转换为数据形式的结构图。
[0132]
具体地，提取出每块第一尺度宫颈细胞图像的图像块的特征之后，获取每块图像块在第一尺度宫颈细胞图像中的位置信息，根据每块图像块的特征和每块图像块的位置信息构建第一尺度宫颈细胞图像的数字切片结构图。根据构建出的数字切片结构图得到图中
各个对应节点特征。
[0133]
在一些实施方式中，当提取到的每块图像块的特征为x＝{x1,
…
,xn}，确定每个图像块在第一尺度宫颈细胞图像中的位置信息为p＝{p1,
…
,pn}，根据每块图像块的特征和位置信息构建数字切片结构图，根据数字切片结构图确定其中各个对应节点的特征，得到各节点的特征为：xi＝[xi||pi],xi∈rf；
[0134]
其中，rf指图像块的特征x所在的f维实数向量空间，||代表特征每块图像块的特征x与位置信息p的拼接操作。
[0135]
s604，计算所述节点特征之间的l1距离，通过所述l1距离构建邻居节点特征，得到与所述节点特征对应的第一邻接矩阵。
[0136]
其中，l1距离可以是曼哈顿距离，可以是节点特征之间的绝对值。
[0137]
具体地，计算每个两个节点特征之间的l1距离，选择每个节点特征计算出的相似度最高的10％的l1距离对应的节点特征作为该节点的邻居节点特征，节点特征之间的l1距离为对应位置元素相减然后取绝对值，最后求和。
[0138]
当两个节点越相似时，l1距离越小。根据邻居节点特征构建与该节点特征对应的第一邻接矩阵。
[0139]
在一些实施方式中，计算各个节点特征xi＝[xi||pi],xi∈rf，之间的l1距离，如计算x1和x2至xn之间的l1距离，则通过公式其中，可以是xi的节点和对应位置p进行拼接后得到的xi节点特征，需要说明的后续中的xi可以指拼接后得到的节点特征。得到x1至xn每两个特征之间的l1距离，对计算得到的所有的l1距离进行升序排序，获取前10％的l1距离对应的x1邻居节点特征。根据x1邻居节点特征构建邻接矩阵，每个节点对应的构建的邻接矩阵可以为：n＝{n
ij
},n∈rn×n，其中，i∈[1,
…
,n],j∈[1,
…
,n]。其中，若xi与xj相邻则n
ij
可以为1，否则可以为0。
[0140]
需要说明是，此处仅仅以获取前10％的l1距离对应的邻居节点特征进行举例，本领域技术人员可根据实际情况设置不同的条件选择获取的l1距离对应的邻居节点，能够表示出两个节点特征相接近即可。
[0141]
s606，通过图卷积网络更新所述节点特征表示方式。
[0142]
其中，图卷积网络可以是能够对宫颈细胞图像中的图数据进行卷积操作的网络。
[0143]
将每个节点特征和节点特征对应的邻接矩阵输入至图卷积网络中，通过图卷积网络更新节点特征的表示方式。
[0144]
s608，通过单层神经网络得到更新所述节点的特征表示方式后的关键节点特征。
[0145]
其中，单层神经网络是一种将输入数据空间线性划分的网络。
[0146]
具体地，通过单层神经网络实现自注意力机制，通过自注意力机制中的自注意力操作将更新所述节点的特征表示方式后的节点特征进行筛选，保留关键的更新表示方式后的节点特征，得到关键节点特征。该关键节点特征可以是更新表示方式后的节点特征。
[0147]
在本实施例中，通过图卷积网络更新优化每个节点特征的表示方式，能够获得对宫颈细胞图像的节点特征足够的表达能力，可用于捕获图像块之间的相互依赖关系，从而获取全局信息和关联信息。并且通过单层神经网络实现注意力机制能够保留宫颈细胞图像中的关键节点特征，进而去除无用的或者不关键的节点特征。
[0148]
在一个实施例中，所述通过图卷积网络更新所述节点特征表示方式，包括：
[0149]
根据所述第一邻接矩阵对每个所述节点特征的邻居节点特征进行采样。
[0150]
其中，采样可以是抽取第一邻接矩阵中的一定数量的节点特征的方法。
[0151]
具体地，获取每个节点特征对应的第一邻接矩阵，获取对应的第一邻接矩阵中的邻居节点特征，对邻接矩阵中的邻居节点特征进行采样。
[0152]
根据聚合函数聚合采样后得到的所述邻居节点特征的信息，得到通过向量表示的所述节点特征。
[0153]
其中，聚合函数通常可以是计算邻居节点特征的之间权重，并将权重和邻居节点特征进行融合的函数。
[0154]
具体地，通过聚合函数计算采样后得到的每个邻居节点特征的权重，通过聚合函数将每个邻居节点特征的权重和邻居节点特征进行融合，得到通过向量表示的所述邻居节点特征。
[0155]
在一些实施方式中，输入为节点特征首先根据邻接矩阵对图中每个节点的邻居节点特征进行采样，然后根据聚合函数聚合采样后得到的邻居节点特征的信息，从而得到图中各节点特征更新后的通过向量表示的邻居节点特征
[0156]
在本实施例中，通过对每个节点特征的邻居节点特征进行采样，能够获取每个节点特征相关联的邻居节点特征，进而对这些相关联的邻居节点特征进行聚合，能够获得对宫颈细胞图像的节点特征足够的表达能力，可用于捕获图像块之间的相互依赖关系，从而获取全局信息和关联信息。
[0157]
在一个实施例中，如图7所示，所述根据所述第一邻接矩阵对每个所述节点特征的邻居节点特征进行采样，包括：
[0158]
s702，在所述节点特征的邻居节点特征数量小于预设的节点采样数量的情况下，通过有放回抽样方法进行采样；
[0159]
s704，在所述节点特征的邻居节点特征数量大于预设的节点采样数量的情况下，通过无放回的抽样方法进行采样；
[0160]
s706，得到所述预设的节点采样数量的第一节点特征。
[0161]
其中，有放回抽样方法可以是在逐个抽取个体时，每次被抽到的个体放回总体中后，再进行下次抽取的抽样方法。无放回的抽样方法可以是在逐个抽取个体时，每次被抽到的个体不放回总体中参加下一次抽取的方法。预设的节点采样数量可以是采样邻居节点特征的数量，本领域技术人员可以根据实际情况设置不同的节点采样数量，节点采样数量在本实施例中不进行限制。
[0162]
具体地，当需要采样的节点特征对应第一邻接矩阵中邻接节点特征的数量小于预设的节点采样数量的情况下，可以使用有放回的抽样方法，每次从该第一邻接矩阵中抽取一个邻居节点特征，抽取后记录该邻居节点特征并将该邻接节点特征放回。直至抽取到的邻居节点特征的数量为预设的节点采样数量，进而可以将该通过有放回的抽样方法得到的预设的节点采样数量的邻居节点特征记为第一节点特征。
[0163]
当需要采样的节点特征对应第一邻接矩阵中邻接节点特征的数量大于预设的节点采样数量的情况下，可以使用无放回的抽样方法每次从该第一邻接矩阵中抽取一个邻居节点特征，抽取后记录该邻居节点特征并将该邻接节点特征从抽取的第一邻接矩阵中删除，直至去除直至抽取到的邻居节点特征的数量为预设的节点采样数量，进而可以将该通过无放回的抽样方法得到的预设的节点采样数量的邻居节点特征记为第一节点特征。
[0164]
第一节点特征的数量可以为预设的节点采样数量。
[0165]
在一个实施例中，如图8所示，所述根据聚合函数聚合所述邻居节点特征的信息，包括：
[0166]
s802，通过参数共享的线性变换矩阵对采样后得到的所述第一节点特征进行线性变换。
[0167]
其中，线性变换矩阵可以是一种特殊矩阵，指该矩阵可以通过线性变换得到。线性变换通常可以是线性空间到其自身的线性映射。
[0168]
s804，对进行线性变换后的所述第一节点特征进行自注意力操作，得到所述第一节点特征之间的权重值。
[0169]
其中，自注意力操作可以是确定第一节点特征的重要程度的操作。权重值可以代表每两个第一节点特征之间的重要程度。
[0170]
s806，将所述权重值进行降序排序，获取排名前第一预设数量的权重值。
[0171]
s808，通过归一化函数对所述第一预设数量的权重值进行归一化，并利用归一化后的所述权重值融合对应的所述第一节点特征，得到通过向量表示的所述节点特征。
[0172]
其中，归一化函数可以是softmax函数，它是逻辑函数的一种推广，它能将一个含任意实数的k维向量“压缩”到另一个k维实向量中，使得每一个元素的范围都在(0，1)之间，并且所有元素的和为1。
[0173]
具体地，为了获得足够的表达能力，将第一节点特征转换为表达能力更高层次的特征，首先需要使用参数共享的线性变换矩阵对上述得到的预设的节点采样数量的第一节点特征分别进行线性变换。然后对线性变换后的每个第一节点特征进行自注意力操作，从而得到每两个第一节点特征之间的权重值，该权重值表示了两个第一节点之间对应的重要程度。自注意力操作可以采用单层网络实现，且激活函数可以为leakyrelu。根据权重值的大小对权重值进行降序排序，获取降序排序后排名前第一预设数量的权重值。需要说明的是，此处的第一预设数量本领域技术人员可根据实际场景进行设置，在本实施例中不进行限制。而获取排名靠前的权重值，该权重值能够证明两个节点特征之间的相关程度较大。然后通过softmax函数对获取到的第一预设数量的权重值进行归一化，得到归一化后的权重值，将归一化后的权重值和对应的第一节点特征进行融合，得到了通过向量表示的节点特征，该向量表示的节点特征可以是第一节点特征。
[0174]
在一些实施方式中，首先使用参数共享的线性变换矩阵对第一节点特征进行线性变换。然后进行线性变换后得到的每个第一节点特征进行自注意力操作，如图9所示，计算得到第一节点特征之间的权重值e
ijl
＝a(w
l
x
il
,w
l
x
jl
)，该权重值可以表示第一节点特征xj对第一节点特征xi之间的重要程度。其中，自注意
力操作可以使用单层网络来实现，单层网络的网络参数可以为激活函数可以使用leakyrelu，所以权重值可以表示为：然后可以对得到的权重值进行降序排序，可以获取排序后排名前第一预设数量的权重值，该第一预设数量通常情况下小于等于预设的节点采样数量。然后通过softmax函数对获取的权重值进行归一化，得到归一化后的权重值。
[0175]
然后利用归一化后的权重值融合对应的第一节点特征，更新第一节点特征的表示方式。更新后的第一节点特征的表示方式可以为：
[0176]
在本实施例中，线性变换中使用参数共享能够带来较强的灵活性，减少计算量，提高效率。并且通过自注意力操作后，获取较大的权重值能够获取关联信息较强的节点特征，进而确定对应的图像块之间的关联关系，且通过softmax函数对获取的权重值进行归一化，能够优化每个节点的特征表示，能够获得足够的表达能力。
[0177]
在一个实施例中，如图10所示，所述通过单层神经网络得到更新所述节点的特征表示方式后的关键节点特征，包括：
[0178]
s1002，通过自注意力操作得到通过向量表示的所述节点特征的注意力权重值。
[0179]
s1004，获取在预设的第一范围内的注意力权重值对应的通过向量表示的所述节点特征。
[0180]
s1006，根据所述注意力权重值、归一化函数对通过向量表示的所述节点特征进行更新，得到更新所述节点的特征表示方式后的关键节点特征。
[0181]
其中，归一化函数通常可以是sigmoid函数。sigmoid函数常被用作神经网络的激活函数，可以将变量映射到0，1之间。
[0182]
具体地，通过自注意力操作得到通过向量表示的每个节点特征对应的注意力权重值。为了尽可能的保留宫颈细胞图像中的关键的特征，所以获取在预设的第一范围内的注意力权重值。该预设的第一范围通常情况下能够得到数值较大的注意力权重值。最终通过归一化函数对得到的预设的第一范围的注意力权重值进行归一化，将预设的第一范围的注意力权重值变为一维矩阵，将一维矩阵与对应的通过向量表示的节点特征进行相乘，得到更新所述节点的特征表示方式后的关键节点特征。
[0183]
在一些实施方式中，如图11所示，通过自注意力操作对通过向量表示的节点特征进行计算，得到注意力权重值θ
attl+1
＝a
pool
x
l+1
，θ
attl+1
∈rn，为了保留关键特征，此处的预设的第一范围可以是注意力权重值最大的10％，进一步的，令则idx
l+1
＝rank(θ
attl+1
,k)，
其中rank(
·
,k)可以表示为返回最大的k个索引，x
l+1
(idx
l+1
,:)可以表示为对原x
l+1
根据索引idx
l+1
进行了特征抽取。抽取后可以得到关键节点特征。最终根据注意力权重对节点特征进行更新其中用sigmoid归一化函数对权重进行了归一化，1n∈rn是元素全为1的1维矩阵，
⊙
为按元素相乘的矩阵相乘操作。基于上述方式，还可以计算出通过向量表示的关键节点特征的邻接矩阵对应关键节点特征的邻接矩阵，可以为：n
l+2
＝n
l+1
(idx
l+1
,idx
l+1
)。
[0184]
需要说明的是，此处也可以通过自注意力操作计算未通过向量表示的节点特征，从而得到未通过向量表示的关键节点特征。将未通过向量表示的关键节点特征和通过向量表示节点特征进行匹配，从而得到通过向量表示的关键节点特征。
[0185]
在本实施例中，通过自注意力操作能够计算各个节点特征的注意力权重值，而通过预设的第一范围能够确定较大的注意力权重值，从而保留关键的节点特征，最后可以通过关键的节点特征聚焦宫颈细胞图像中关键的区域，提高对宫颈细胞图像中异常细胞图像的识别率。
[0186]
在本实施例中，所述多尺度融合网络，采用包括下述方式训练得到：
[0187]
构建多尺度融合网络的训练数据集和测试数据集，所述训练数据集和测试数据集中均包括设置有标注信息的宫颈细胞图像，所述标注信息是通过宫颈细胞图像中预先标注的异常细胞确定的；
[0188]
通过所述训练数据集和测试数据集以及预先设置的分类损失函数训练多尺度网络，得到多尺度融合网络。
[0189]
其中，标注信息可以包括癌变细胞标注框及细胞的癌变类别信息，可以得到宫颈细胞图像中任意病理区域的癌变信息。
[0190]
在本实施例中，通过设置有标注信息的宫颈细胞图像的训练数据集和测试数据集，训练多尺度融合网络完成后，能够通过多尺度融合网络确定宫颈细胞图像中异常细胞的分级结果，无需基于人工经验进行识别，且分类损失函数能够减少训练产生的误差。
[0191]
在一个实施例中，所述分类损失函数的计算公式为：
[0192][0193]
其中，为第一尺度网络的交叉熵损失函数；为第二尺度网络的交叉熵损失函数；第一尺度网络的交叉熵损失函数和第二尺度网络的交叉熵损失函数可以为：
[0194][0195]
其中，为宫颈细胞图像中的标注信息，k为关键节点特征的数量，y
i*
为进行计算得到的宫颈细胞图像中预测的标注信息。
[0196]
在本实施例的另一个实施方式中，所述分类损失函数的计算公式还可以为：
[0197][0198]
其中，为第一尺度网络的交叉熵损失函数；为第二尺度网络的交叉熵损失函数；为第三尺度网络的交叉熵损失函数；第一尺度网络的交叉熵损失函数、第二尺度网络的交叉熵损失函数、和第三尺度网络的交叉熵损失函数可以为：
[0199][0200]
其中，为宫颈细胞图像中的标注信息，k为所述关键节点特征的数量，y
i*
为进行计算得到的宫颈细胞图像中预测的标注信息。
[0201]
需要说明的是，此处的标注信息可以指异常细胞图像，也可以是异常细胞图像的分级结果。
[0202]
在本实施例中，通过使用不同的联合每个多尺度融合网络中不用管尺度网络损失函数，能够更好的引导多尺度融合网络的训练过程，提高识别异常细胞图像的准确性。
[0203]
在一个实施例中，所述通过伯塞斯达分级系统确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果，包括：
[0204]
通过多尺度融合网络的全连接网络和归一化指数函数对每个尺度的宫颈细胞图像的关键节点特征根据伯塞斯达分级系统进行分级判断，确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果。
[0205]
其中，全连接网络通常可以将把所有多尺度融合网络中每个尺度的网络的输入与输出连接起来的网络。
[0206]
具体地，采用全连接网络及softmax层对关键节点特征根据伯塞斯达分级系统进行宫颈细胞图像的nilm、asc-us、asc-h、lsil、hsil、scc分级判断，得到分级结果。
[0207]
在本实施例中，通过全连接网络及softmax层能够确定宫颈细胞的分级结果，无需基于人工的经验识别，从而确定分级结果。
[0208]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0209]
基于同样的发明构思，本公开实施例还提供了一种用于实现上述所涉及的宫颈细胞图像中异常细胞图像识别方法的宫颈细胞图像中异常细胞图像识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个宫颈细胞图像中异常细胞图像识别装置实施例中的具体实施方式可以参见上文中对于宫颈细胞图像中异常细胞图像识别方法的实施例，在此不再赘述。
[0210]
在一个实施例中，如图12所示，提供了一种宫颈细胞图像中异常细胞图像识别装置1200，包括：图像输入模块1202、关键节点特征提取模块1204、分级结果确定模块1206、分级结果融合模块1208，其中：
[0211]
图像输入模块1202，用于将多尺度宫颈细胞图像输入至预先训练得到的多尺度融合网络，所述多尺度宫颈细胞包括同一宫颈细胞图像的不同尺寸。
[0212]
关键节点特征提取模块1204，用于通过多尺度融合网络提取所述多尺度宫颈细胞图像中每个尺度的宫颈细胞图像的关键节点特征。
[0213]
分级结果确定模块1206，用于通过伯塞斯达分级系统确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果。
[0214]
分级结果融合模块1208，用于将每个尺度的宫颈细胞图像中异常细胞图像的分级结果进行融合，输出宫颈细胞图像中异常细胞图像以及分级结果中级别最高的异常细胞图像。
[0215]
在所述装置的一个实施例中，所述关键特征提取模块包括：第一特征提取模块、第一图卷积池化模块、输入图像区域确定模块、第二尺度网络输入模块、第二特征提取模块、第二图卷积池化模块，其中：
[0216]
第一特征提取模块，用于通过所述多尺度融合网络中第一尺度网络的残差网络提取所述多尺度宫颈细胞图像中第一尺度宫颈细胞图像的特征。
[0217]
第一图卷积池化模块，用于根据所述第一尺度宫颈细胞图像的特征并通过所述第一尺度网络的图卷积池化网络得到第一尺度宫颈细胞图像的关键节点特征。
[0218]
输入图像区域确定模块，用于根据所述第一尺度宫颈细胞图像的关键节点特征对应的图像块的感兴趣区域确定所述多尺度宫颈细胞图像中第二尺度宫颈细胞图像的输入图像区域。
[0219]
第二尺度网络输入模块，用于将所述输入图像区域输入至所述多尺度融合网络的第二尺度网络中。
[0220]
第二特征提取模块，用于通过所述第二尺度网络的残差网络提取所述输入图像区域的特征。
[0221]
第二图卷积池化模块，用于根据所述输入图像区域的特征并通过所述第二尺度网络的图卷积池化网络得到所述输入图像区域的关键节点特征。
[0222]
在所述装置的一个实施例中，所述装置还包括：二值分割模块，用于对所述第一尺度宫颈细胞图像进行二值分割，去除所述第一尺度宫颈细胞图像中无宫颈细胞的背景区域，并将去除无宫颈细胞的背景区域后的所述第一尺度宫颈细胞图像进行分割为若干无重合的大小相同的图像块。
[0223]
在所述装置的一个实施例中，第一特征提取模块还用于将若干无重合的大小相同的所述图像块输入至所述第一尺度网络的残差网络中，得到每块图像块的特征，所述残差网络的激活函数采用线性整流函数，且所述残差网络包括卷积层和残差模块。
[0224]
在所述装置的一个实施例中，所述第一图卷积池化模块包括：节点特征计算模块、邻接矩阵构建模块、图卷积模块、图池化模块，其中：
[0225]
节点特征计算模块，用于根据每块图像块的特征和每块图像块在第一尺度宫颈细胞图像中的位置信息构建第一尺度宫颈细胞图像的数字切片结构图，得到节点特征。
[0226]
邻接矩阵构建模块，用于计算所述节点特征之间的l1距离，通过所述l1距离构建邻居节点特征，得到与所述节点特征对应的第一邻接矩阵。
[0227]
图卷积模块，用于通过图卷积网络更新所述节点特征表示方式。
[0228]
图池化模块，用于通过单层神经网络得到更新所述节点的特征表示方式后的关键节点特征。
[0229]
在所述装置的一个实施例中，所述图卷积模块包括：采样模块和聚合模块；
[0230]
采样模块，用于根据所述第一邻接矩阵对每个所述节点特征的邻居节点特征进行采样。
[0231]
聚合模块，用于根据聚合函数聚合采样后得到的所述邻居节点特征的信息，得到通过向量表示的所述节点特征。
[0232]
在所述装置的一个实施例中，采样模块包括：有放回采样模块、无放回采样模块；
[0233]
有放回采样模块，用于在所述节点特征的邻居节点特征数量小于预设的节点采样数量的情况下，通过有放回抽样方法进行采样，得到所述预设的节点采样数量的第一节点特征。
[0234]
无放回采样模块，用于在所述节点特征的邻居节点特征数量大于预设的节点采样数量的情况下，通过无放回的抽样方法进行采样，得到所述预设的节点采样数量的第一节点特征。
[0235]
在所述装置的一个实施例中，聚合模块包括：线性变换模块、权重值计算模块、权重值获取模块、节点特征更新模块，其中：
[0236]
线性变换模块，用于通过参数共享的线性变换矩阵对采样后得到的所述第一节点特征进行线性变换。
[0237]
权重值计算模块，用于对进行线性变换后的所述第一节点特征进行自注意力操作，得到所述第一节点特征之间的权重值。
[0238]
权重值获取模块，用于将所述权重值进行降序排序，获取排名前第一预设数量的权重值。
[0239]
节点特征更新模块，用于通过归一化函数对所述第一预设数量的权重值进行归一化，并利用归一化后的所述权重值融合对应的所述第一节点特征，得到通过向量表示的所述节点特征。
[0240]
在所述装置的一个实施例中，图池化模块包括：注意力权重值计算模块、注意力权重值获取模块、关键节点特征获取模块，其中：
[0241]
注意力权重值计算模块，用于通过自注意力操作得到通过向量表示的所述节点特征的注意力权重值。
[0242]
注意力权重值获取模块，用于获取在预设的第一范围内的注意力权重值对应的通过向量表示的所述节点特征。
[0243]
关键节点特征获取模块，用于根据所述注意力权重值、归一化函数对通过向量表示的所述节点特征进行更新，得到更新所述节点的特征表示方式后的关键节点特征。
[0244]
在所述装置的一个实施例中，所述装置还包括：训练数据准备模块、多尺度融合网络训练模块，其中：
[0245]
训练数据准备模块，用于构建多尺度融合网络的训练数据集和测试数据集，所述
训练数据集和测试数据集中均包括设置有标注信息的宫颈细胞图像，所述标注信息是通过宫颈细胞图像中预先标注的异常细胞确定的。
[0246]
多尺度融合网络训练模块，用于通过所述训练数据集和测试数据集以及预先设置的分类损失函数训练多尺度网络，得到多尺度融合网络。
[0247]
在所述装置的一个实施例中，所述分类损失函数的计算公式为：
[0248][0249]
其中，为第一尺度网络的交叉熵损失函数；为第二尺度网络的交叉熵损失函数；第一尺度网络的交叉熵损失函数和第二尺度网络的交叉熵损失函数为：
[0250][0251]
其中，为宫颈细胞图像中的标注信息，k为所述关键节点特征的数量，y
i*
为进行计算得到的宫颈细胞图像中预测的标注信息。
[0252]
在所述装置的一个实施例中，分级结果确定模块1206还用于通过多尺度融合网络的全连接网络和归一化指数函数对每个尺度的宫颈细胞图像的关键节点特征根据伯塞斯达分级系统进行分级判断，确定每个尺度的宫颈细胞图像的关键节点特征对应的宫颈细胞图像中异常细胞图像的分级结果。
[0253]
上述宫颈细胞图像中异常细胞图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0254]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种宫颈细胞图像中异常细胞图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0255]
本领域技术人员可以理解，图13中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0256]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0257]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0258]
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0259]
需要说明的是，本公开所涉及的宫颈细胞图像，均为经用户授权或者经过各方充分授权的图像。
[0260]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本公开所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本公开所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0261]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0262]
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开的保护范围应以所附权利要求为准。