一种阴道镜下宫颈病变的计算机辅助诊断方法及装置

本发明涉及医学影像分析和计算机辅助诊断领域，具体涉及一种阴道镜下宫颈病变的计算机辅助诊断方法及装置。

背景技术：

1、根据相关统计数据显示，宫颈癌在女性恶性肿瘤中高居第四位，对女性生命健康构成严重威胁，且呈年轻化趋势，死亡病例占比约为17.6％，可见，抗击宫颈癌的形势依然严峻、防治任务艰巨。值得庆幸的是宫颈癌是目前唯一病因(感染人乳头病毒(humanpapilloma virus，简称hpv))明确且可预防的癌症。为此，相关卫生组织强调在疫苗、筛查和治疗三方面立即采取行动来对抗宫颈癌的迫切性。

2、在当前hpv疫苗接种率较低的情况下，细胞学和hpv检测-阴道镜检-病理学检查“三阶梯”筛查法是目前临床诊断宫颈疾病的标准流程。但是，由于基层医院阴道镜医师整体水平不高，且难以在短期内得到明显提升，在一定程度上影响了病理活检的准确性。根据相关文献报导，由于医生专业水平不达标、阴道镜检查操作不规范以及阴道镜设备成像质量等多重因素影响，高度病变的漏诊率高达30％，浸润性癌的漏诊率超过10％，造成无法挽回的损失。为了在筛查时提高宫颈病灶识别的准确率和降低宫颈病变诊断的错误率，亟需一种高效、智能的阴道镜图片分类方法用于辅助基层医师进行阴道镜检查。

3、随着阴道镜设备的升级换代，阴道镜图片质量得到了显著提高。但由于阴道镜成像的局限性和医生水平的差异性，阴道镜下宫颈检查的病变漏诊率一直居高不下。近年来，深度学习技术也被用于阴道镜图像的辅助诊断，如基于深层的卷积神经网络(convolutional neural network，简称cnn)的ai(人工智能)电子阴道镜辅助诊断系统，已应用于多数医院，识别宫颈低度及以上病变的准确率达到了78％，与经验丰富的阴道镜医师水平相当。虽然cnn在医学影像领域的强大表示学习能力让它获得了接近专家水平的结果，但是，cnn也存在其固有的缺陷，如它仅能有效捕获图像的局部信息，而无法对全局信息进行建模，从而容易导致误诊(即假阳性)。

技术实现思路

1、针对现有技术中存在的缺陷，本发明的目的在于提供一种阴道镜下宫颈病变的计算机辅助诊断方法及装置，能够更好地获取阴道镜图像中的特征，从而提高诊断的准确性。

2、为达到以上目的，本发明提供一种阴道镜下宫颈病变的计算机辅助诊断方法，具体包括以下步骤：

3、基于包含变换神经网络架构的骨干网络提取整张阴道镜图的全局特征，并输出整张阴道镜图的特征信息；

4、基于目标检测模型确定阴道镜图像中宫颈口的中心位置，并截取所述中心位置的多个预设方位上的宫颈局部图；

5、基于卷积神经网络的骨干网络对宫颈局部图的特征进行提取，得到局部特征信息；

6、采用交叉注意力机制将整张阴道镜图的特征信息，与宫颈局部图的局部特征信息进行融合，生成每张宫颈局部图的病灶预测结果。

7、在上述技术方案的基础上，所述基于包含变换神经网络架构的骨干网络提取整张阴道镜图的全局特征，并输出整张阴道镜图的特征信息，具体步骤包括：

8、将整张阴道镜图作为输入图像；

9、利用自注意力机制的模型作为分类任务的骨干网络，对输入图像进行特征提取，获取输入图像的全局特征信息；

10、对获取的输入图像的全局特征信息进行输出。

11、在上述技术方案的基础上，所述利用自注意力机制的模型作为分类任务的骨干网络，对输入图像进行特征提取，具体步骤包括：

12、将所述输入图像输入cmt主干层，所述cmt主干层包括1个步幅为2的3×3卷积和2个步幅为1的3×3卷积，且每个卷积操作后接一个高斯误差线性单元激活函数和批量标准化；

13、将cmt主干层的输出传入一个步长为2的2×2卷积，然后再输入到2个堆叠的cmt块结构中；

14、再输入到2个堆叠的cmt块结构中并重复3次，且前一次的输出作为后一次的输入，其中，第2次重复输入到cmt块结构中时，cmt块结构的堆叠次数改为10次。

15、在上述技术方案的基础上，

16、所述cmt块结构包括局部信息感知单元、层标准化层、轻量级的多头自注意力机制、层标准化层、翻转残差前馈网络；

17、所述局部信息感知单元由1个3×3的深度可分离卷积和1个捷径连接操作组成；

18、所述翻转残差前馈网络包括深度卷积操作和残差结构。

19、在上述技术方案的基础上，所述基于目标检测模型确定阴道镜图像中宫颈口的中心位置，具体步骤包括：

20、对数据样本中阴道镜图像中宫颈口的中心位置进行标注，形成训练集；

21、使用标注完成的训练集对目标检测模型进行训练，以使目标检测模型具有识别阴道镜图像中宫颈口中心点位置的能力；

22、采用训练完成的目标检测模型确定阴道镜图像中宫颈口的中心位置。

23、在上述技术方案的基础上，所述截取所述中心位置的多个预设方位上的宫颈局部图，具体步骤包括：

24、将阴道镜图像顺时针旋转45度；

25、以阴道镜图像中宫颈口的中心位置为中心，截取中心点右下、左下、左上、右上方位的矩形区域图像，得到宫颈局部图。

26、在上述技术方案的基础上，所述基于卷积神经网络的骨干网络对宫颈局部图的特征进行提取，得到局部特征信息，具体步骤包括：

27、在卷积主干层，使用块结构的卷积操作替换原先resnet中的卷积操作和池化操作，其中，块结构的卷积操作与swin transformer中的主干结构相同，完成卷积操作后接一个层标准化层；

28、分4个阶段，堆叠残差网络块对宫颈局部图的特征进行分阶段提取，得到局部特征信息。

29、在上述技术方案的基础上，所述分4个阶段，堆叠残差网络块对宫颈局部图的特征进行分阶段提取，得到局部特征信息，其中，对于提取过程，具体为：

30、每个阶段的信息提取结构都由残差网络块堆叠而成，所述残差网络块包括1个深度可分离卷积和2个卷积核大小为1×1的卷积操作；

31、在4个阶段中，每个阶段都由残差网络块堆叠而成，堆叠数量分别为3个、3个、9个、3个；

32、4个阶段完成后的输出，再接一个层标准化操作，其输出即为局部特征信息；

33、其中，与深度可分离卷积直接相连的1×1的卷积的通道数，等于深度可分离卷积输出数据通道数的4倍，另一份1×1的卷积的通道数，等于深度可分离卷积输出数据通道数；

34、每个阶段前都有1个下采样层，第1个阶段的下采样层为主干层，其它3个阶段的下采样层为步幅为2、卷积核大小为2×2的卷积操作，并且在每次下采样前都会有一个层标准化操作。

35、在上述技术方案的基础上，所述采用交叉注意力机制将整张阴道镜图的特征信息，与宫颈局部图的局部特征信息进行融合，生成每张宫颈局部图的病灶预测结果，具体步骤包括：

36、采用交叉注意力机制将整张阴道镜图的特征信息，融合至宫颈局部图的局部特征信息中，融合公式为：

37、y＝crossatten(x1,x2)+x2

38、其中，y表示融合结果，crossatten表示交叉注意力，x1表示整张阴道镜图的特征信息，x2表示宫颈局部图的局部特征信息；

39、对融合结果使用平均池化和1×1的卷积操作，并使用softmax函数得到分类结果，从而得到每张宫颈局部图的病灶预测结果。

40、本发明提供的一种阴道镜下宫颈病变的计算机辅助诊断装置，包括：

41、全局特征提取模块，其用于基于包含变换神经网络架构的骨干网络提取整张阴道镜图的全局特征，并输出整张阴道镜图的特征信息；

42、截取模块，其用于基于目标检测模型确定阴道镜图像中宫颈口的中心位置，并截取所述中心位置的多个预设方位上的宫颈局部图；

43、局部特征提取模块，其用于基于卷积神经网络的骨干网络对宫颈局部图的特征进行提取，得到局部特征信息；

44、融合模块，其用于采用交叉注意力机制将整张阴道镜图的特征信息，与宫颈局部图的局部特征信息进行融合，生成每张宫颈局部图的病灶预测结果。

45、与现有技术相比，本发明的优点在于：一方面，通过局部信息和全局信息分别提取(通过结合cnn和变换神经网络transformer框架的优点)，更好地获取阴道镜图像中的特征，从而提高诊断的准确性；另一方面，通过图像分割的方法单独对四个点位的病变程度做出判断，辅助医生判断潜在的高风险病灶，并只在高风险病变点位取活检样本，最大程度减少活检采样对病人造成的损伤。