基于注意力机制及检测变换器的宫颈细胞检测与识别方法与流程

1.本发明涉及宫颈细胞信息及图形图像处理技术领域，特别涉及基于注意力机制及检测变换器的宫颈细胞检测与识别方法。


背景技术：

2.目前宫颈癌细胞学的诊断仍然主要依据病理医生在显微镜下人工阅片进行。随着人们对宫颈癌筛查的重视程度提高，病理医师工作量剧增，导致工作超负荷，严重地影响了病理诊断的质量，降低了筛查的准确性。由于宫颈癌筛查需求量日益增大，但病理医师人才缺口难以短期弥补，以及医疗资源差异大等问题，促使着计算机辅助宫颈筛查行业快速发展，刺激着新技术新产品的出现。因此，需要一种使用目标检测与识别方法的计算机辅助阅片系统对细胞涂片进行辅助筛查。
3.如图1所示，为现有技术中之前的细胞检测方法，采用两阶段的目标检测方法进行的。首先使用残差网络提取图片特征，接着使用区域提议网络生成提议区域，融合提取到的特征和提议区域后，通过全连接层进行后续分类回归操作，最终得到对宫颈细胞核的检测框及细胞预测类别。
4.上述技术框架是经典两阶段宫颈细胞检测框架，该方案主要问题描述如下：两阶段的速度明显相较于单阶段会更慢一些，算法流程也更显复杂。在特征提取方面，病理医生对宫颈癌细胞的判断常常是结合全局信息而不是通过对某一细胞的单一判断的，现有方法对于像素间长距离依赖关系的建模能力不足。另外，异常宫颈细胞的形态不一，现有方法对于不同形状的异常细胞适应方面性能也较差。


技术实现要素：

5.本发明的目的在于，为了解决上述现有技术存在的不足之处，提出基于注意力机制及检测变换器的宫颈细胞检测与识别方法，该方法可实现对宫颈细胞图像进行快速准确的病变区域定位，实现宫颈癌筛查细胞学检查中的自动辅助诊断。
6.为实现上述目的，本发明采取的技术方案为：
7.本发明实施例提供基于注意力机制及检测变换器的宫颈细胞检测与识别方法，包括：
8.s1、将多个宫颈癌细胞源图像输入预设卷积网络，提取图像特征；所述预设卷积网络采用结合自注意力机制的50层残差网络作为骨干网络；
9.s2、对所述源图像进行空间位置编码；对提取的所述图像特征进行降维，并结合所述空间位置编码，进行变换器处理；
10.s3、将变换器的处理结果输入两个前馈神经网络，分别预测检测框及类别，并据此计算损失函数；通过最小化所述损失函数来更新网络参数，获得最优模型；
11.s4、基于所述最优模型，对待检测识别的宫颈细胞源图像进行检测，实现对宫颈异常细胞的定位与分类。
12.进一步地，所述结合自注意力机制的50层残差网络包括：5个卷积块和4个残差块；所述步骤s1包括：
13.s11、对50层残差网络中的残差块加入四种自注意力机制；
14.s12、对50层残差网络中的残差块进行修改，加入可形变卷积；
15.s13、将待检测识别的源图像输入50层残差网络做卷积操作；在步骤s12所述可形变卷积上增加了通过一个卷积层对输入特征图学习偏移量的操作，通过双线性插值，得到输出特征图；
16.s14、将步骤s11四种注意力机制计算出的注意力分数融合得到最终的注意力分数；
17.s15、将所述输出特征图与所述注意力分数融合，完成图像特征的提取。
18.进一步地，所述步骤s11中，对50层残差网络中的残差块加入四种自注意力机制，包括：
19.加入自注意力机制的残差网络块表达为：
[0020][0021]
(1)式中，m表示注意头的总数；m表示注意头索引；ωq表示指定查询的支持键区域；am(q,k,zq,xk)表示第m个注意头的注意权重，其中zq表示查询内容，xk表示键内容，q为zq的索引，k为xk的索引；wm和w'm分别表示可学习的权重；
⊙
表示对应位置元素相乘，注意力权重归一化限制为：
[0022][0023]
(2)式中，
[0024][0025]
(3)式中，∈j共四种，∈1表示查询和键内容的相似度；∈2表示查询的内容和相对位置；∈3表示键的内容；∈4表示键和查询之间的全局位置偏差。
[0026]
进一步地，所述步骤s2，包括：
[0027]
s21、对所述源图像进行空间位置编码；
[0028]
s22、对提取的所述图像特征进行降维，并结合所述空间位置编码，传入转换编码器，得到编码器输出；
[0029]
s23、结合所述空间位置编码、以及所述编码器输出，传入转换解码器进行解码，得
到解码器输出。
[0030]
进一步地，所述步骤s21，包括：
[0031]
对所述源图像进行空间位置编码，为：
[0032][0033][0034]
其中，m表示通道下标，pos表示位置下标，d
model
表示特征的维度。
[0035]
进一步地，所述步骤s22中的转换编码器由多头自注意力模块和一个前馈神经网络组成；
[0036]
所述步骤s22包括：
[0037]
对提取的所述图像特征进行降维，并结合所述空间位置编码，经过自注意力模块得到一个加权后的特征向量：
[0038][0039]
其中，q、k、v分别表示查询、键、值内容，dk表示键向量的维度。
[0040]
得到特征向量后送入前馈神经网络中，进行空间变换，得到对n个物体编码后的特征。
[0041]
进一步地，所述步骤s3中的前馈神经网络由一个具有线性整流函数激活函数、d维隐藏层的3层感知器和一个线性层构成；
[0042]
所述步骤s3包括：
[0043]
s31、将变换器的处理结果输入两个前馈神经网络，输出预测框的标准化中心坐标，高度和宽度；线性层使用softmax函数预测类标签；
[0044]
s32、使用二元匹配将真值框与预测框进行匹配，匹配策略如下：
[0045][0046]
n表示预测出目标的数量；yi表示真值目标，表示预测目标，σ表示预测值到真值的对应关系，σ(i)表示第i个预测对应的真值目标索引，如下：
[0047][0048]
其中表示第σ(i)个物体被预测为ci类别的概率，bi表示真值目标框，
表示预测的目标框；最终得出的损失函数为：
[0049][0050]
其中y与分别表示类别真值与预测值，为边界框损失函数：
[0051][0052]
其中，为giou损失函数；
[0053]
s33、通过最小化所述损失函数来更新网络参数，获得最优模型。
[0054]
与现有技术相比，本发明具有如下有益效果：
[0055]
本发明实施例提供的基于注意力机制及检测变换器的宫颈细胞检测与识别方法，基于该方法可实现对细胞涂片进行筛查，实现对宫颈细胞图像进行快速准确的病变区域定位，实现宫颈癌筛查细胞学检查中的自动辅助诊断；可以很好地解决人工阅片的低准确性和局限性，成本更低、工作量小、准确性更高。
附图说明
[0056]
图1为现有技术中宫颈细胞检测方法经典两阶段检测框架的结构图。
[0057]
图2为本发明实施例提供的基于注意力机制及检测变换器的宫颈细胞检测与识别方法流程图。
[0058]
图3为本发明实施例提供的基于注意力机制及检测变换器的宫颈细胞检测与识别方法原理图。
[0059]
图4为本发明实施例提供的加入自注意力机制的残差网络块结构图。
具体实施方式
[0060]
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
[0061]
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0062]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0063]
参照图2所示，本发明实施例提供基于注意力机制及检测变换器的宫颈细胞检测
与识别方法，包括：
[0064]
s1、将多个宫颈癌细胞源图像输入预设卷积网络，提取图像特征；所述预设卷积网络采用结合自注意力机制的50层残差网络作为骨干网络；
[0065]
s2、对所述源图像进行空间位置编码；对提取的所述图像特征进行降维，并结合所述空间位置编码，进行变换器处理；
[0066]
s3、将变换器的处理结果输入两个前馈神经网络，分别预测检测框及类别，并据此计算损失函数；通过最小化所述损失函数来更新网络参数，获得最优模型；
[0067]
s4、基于所述最优模型，对待检测识别的宫颈细胞源图像进行检测，实现对宫颈异常细胞的定位与分类。
[0068]
本发明实施例中，该方法在骨干网中结合自注意力机制，对宫颈细胞图像中的各类细胞进行目标检测识别，不需要直接预测边框坐标以及类别，实现一个端到端的检测网络；使用变换器进行目标检测的同时，能够增强对更加关注的部分特征依赖关系的捕捉，建立更有效的长距离依赖。另外，进行端到端的自动训练与学习简化了目标检测算法的流程，需要更少的先验内容。比如在实际实施时，可将本发明实施例提供的方法融入计算机辅助阅片系统对细胞涂片进行筛查，可以很好地解决人工阅片的低准确性和局限性，成本更低、工作量小、准确性更高。
[0069]
下面更为详细的对本发明的技术方案进行说明。
[0070]
本发明针对现有框架的不足，提出基于注意力机制及检测变换器的宫颈细胞检测与识别方法，对宫颈细胞图像进行快速准确的病变区域定位，实现宫颈癌筛查细胞学检查中的自动辅助诊断，提出了基于标准的检测变换器结构作为网络基础架构，同时在骨干网中结合自注意力机制，对宫颈细胞图像中的各类细胞进行目标检测识别，不需要直接预测边框坐标以及类别，实现一个端到端的检测网络。本发明的算法流程如图3所示，实施步骤如下：
[0071]
1.提取特征
[0072]
首先得到多个宫颈癌细胞源图像并送入卷积网络，卷积网络采用结合自注意力机制的50层残差网络(resnet-50)作为骨干网络，提取图像特征；50层的残差网络设定如下：首先对输入做卷积操作，之后包含4个残差块，具体设置如下表：
[0073]
表1 50层残差网络参数设置
[0074][0075]
并对50层残差网络中的残差块进行修改，加入可形变卷积。不同于标准卷积，可形变卷积增加了通过一个卷积层对输入特征图学习偏移量的操作，再通过双线性插值，得到输出特征图。主要是由于异常细胞形态不规则，加入可形变卷积以提高对形状变换的建模能力，适应不同形状的异常细胞。另外还加入了四种自注意力机制，将四种注意力机制的注意力分数融合得到最终的注意力分数。自注意力机制能够将像素对之间的关系建模，从而建立更有效的长距离依赖。
[0076]
如图4所示，为加入自注意力机制的残差网络块结构图，图中转换器注意力机制即为多注意力头的自注意力块：
[0077][0078]
其中m表示注意头的总数；m表示注意头索引；ωq表示指定查询的支持键区域；am(q,k,zq,xk)表示第m个注意头的注意权重，其中zq表示查询内容，xk表示键内容，q为zq的索引，k为xk的索引；wm和w'm分别表示可学习的权重；
⊙
表示对应位置元素相乘，注意力权重归一化限制为：
[0079][0080]
其中：
[0081][0082]
式中∈j共四种，∈1取决于查询和键内容的相似度：
[0083][0084]
其中，um与分别为查询和键内容的可学习的嵌入矩阵。
[0085]
∈2取决于查询的内容和相对位置：
[0086][0087]
其中r
k-q
计算不同波长的正弦和余弦函数，将k-q投射到高维空间中，从而编码相对位置，编码相对位置r
k-q
的可学习嵌入矩阵；
[0088]
∈3取决于键值的内容：
[0089][0090]
其中um是一个可学习的向量。
[0091]
∈4取决于键值和查询之间的全局位置偏差：
[0092][0093]
其中vm是一个可学习的向量。
[0094]
该步骤中，为了对宫颈细胞图像进行快速准确的病变区域定位，实现宫颈癌筛查细胞学检查中的自动辅助诊断，提出了使用检测变换器作为网络基础架构，在骨干网络中结合自注意力机制，对宫颈细胞图像中的各类细胞进行目标检测。
[0095]
2.进行变换器
[0096]
接着对多个宫颈癌细胞源图像进行空间位置编码，为：
[0097][0098][0099]
其中，m为通道下标，pos为位置下标，d
model
为特征的维度。并对特征网络得到的图片特征进行降维，结合空间位置编码，传入转换编码器。转换编码器主要由多头自注意力模块和一个前馈神经网络组成。首先经过自注意力模块得到一个加权后的特征向量：
[0100][0101]
其中，q、k、v分别表示查询、键、值内容，dk表示键向量的维度。
[0102]
得到特征向量后送入前馈神经网络中，进行空间变换，其中包含两层线性变换层，中间激活函数为线性整流函数，得到对n个物体编码后的特征。
[0103]
结合从原图中获得的位置编码，以及编码器的输出、传入转换解码器进行解码。解码器主要由自注意力模块、传统注意力模块，前馈网络三个模块组成，其中自注意力模块及前馈网络同前文所述。而传统注意力模块部分，查询来自于解码器的上一个输出，键值则来自于与编码器的输出以及位置编码，具体计算方式与自注意力模块相同。
[0104]
3.检测网络
[0105]
得到的结果输入两个前馈神经网络，分别预测检测框及类别，并据此计算损失函数，进行下一个迭代的训练。前馈神经网络由一个具有线性整流函数激活函数和d维隐藏层的3层感知器和一个线性层构成。前馈神经网络预测框的标准化中心坐标，高度和宽度，然后线性层使用softmax函数预测类标签。n(固定值，设为100)个预测，需要对应真值目标数量小于n，使用二元匹配将真值框与预测框进行匹配。匹配策略如下：
[0106][0107]
n表示预测出目标的数量；yi表示真值目标，表示预测目标，σ表示预测值到真值的对应关系，σ(i)表示第i个预测对应的真值目标索引，如下：
[0108][0109]
其中为第σ(i)个物体被预测为ci类别的概率，bi为真值目标框，
[0110]
表示预测的目标框。最终得出的损失函数为：
[0111][0112]
其中y与分别表示类别真值与预测值，为边界框损失函数：
[0113][0114]
其中的是giou损失函数。
[0115]
网络根据得到的预测检测框及类别，通过损失函数计算误差，求解评估网络模型，通过最小化损失函数来更新网络参数，从而获得最优模型。
[0116]
使用最终得到的网络模型进行检测，获得最终输出是一系列的集合，每个集合包含了目标的坐标框以及类别信息，从而实现对宫颈异常细胞的定位与分类。
[0117]
本发明实施例提出了基于注意力机制及检测变换器的宫颈细胞检测与识别方法，使用转换器进行目标检测的同时，在提取图片特征阶段结合自注意力机制，能够增强对更加关注的部分特征依赖关系的捕捉，建立更有效的长距离依赖。另外，进行端到端的自动训练与学习简化了目标检测算法的流程，需要更少的先验内容。使用结合本发明的计算机辅助阅片系统对细胞涂片进行筛查，可以很好地解决人工阅片的低准确性和局限性，成本更低、工作量小、准确性更高。综上，该发明有着广阔的应用前景和巨大的商业价值。
[0118]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。