AI胃粘膜下隆起类别筛查模型及胃粘膜下隆起风险筛查方法

本发明属于人工智能医疗图像处理辅助诊断领域，具体的说是基于ai技术建立胃息肉与胃粘膜下隆起类别筛查模型，并应用筛查模型对胃粘膜下隆起类别进行风险筛查，从而辅助医生诊断患者胃部疾病。

背景技术：

1、目前，胃镜检查是目前诊断食管、胃和十二指肠疾病最直接、最可靠的方法。常规的胃镜检查一般应用的是普通的白光胃镜，检查时间通常5-10分钟，这种检查方法对于发现胃炎、胃溃疡及中晚期胃癌等疾病已经足够，但是对于胃良性肿瘤很难鉴别。胃良性隆起性病变是胃镜检查中常见的疾病。根据组织学特征，可分为胃息肉、胃肠道间质瘤、胃平滑肌瘤和异位胰腺等亚型。目前，胃息肉在白光内镜能进行活检，诊断率高，胃肠道间质瘤、胃平滑肌瘤和部分异位胰腺图像在白光胃镜下有相似的表现，常被误诊。超声胃镜检查可以全面显示胃良性肿瘤的结构，如大小、边缘、血管、起始层和特异性回声。人们普遍认为，超声胃镜有助于辅助内镜医师鉴别胃良性肿瘤，随着超声内镜分辨率的不断提高，胃良性肿瘤的检出率不断提高。但操作超声胃镜和超声胃镜图像识别对内镜医师的要求很高，这需要具有深厚的内镜超声知识和多年内镜操作经验。之前的研究表明超声内镜培训至少需要6个月，150多个病例操作经验，故超声图像诊断很难在基层医院普及。此外，胃肠道间质瘤、胃平滑肌瘤某些情况下在超声胃镜下可能具有相似的超声特征，因此即使是有经验的内镜医师也不能做出准确的诊断。临床上胃息肉及不同胃粘膜下肿瘤有不同的治疗方法。特别是，胃间质瘤具有非定向分化和潜在的恶性肿瘤。即使是小于2cm的病变也有中高风险，需要早期诊断和治疗。因此，有必要进一步研究准确诊断，指导个体化治疗。

2、人工智能已被应用于医学诊断领域，用于辅助人类胃肠道肿瘤形成的检测、肿瘤侵袭深度的判断、慢性萎缩性胃炎的诊断、胃肠内镜的质量控制等。卷积神经网络是深度学习领域最具代表性的网络模型之一，其目的是学习用于预测或分类的数据的多层次表示。

3、本发明旨在建立一个基于白光内镜和超声图像的综合人工智能深度学习模型，用于胃隆起病变的鉴别诊断，并建立白光内镜和超声内镜的混合模型。我们将所建立的模型与内窥镜医师的诊断结果进行比较，以确定新模型是否能提高内窥镜医师的诊断准确率。

技术实现思路

1、针对上述技术问题，本发明提出一种基于ai技术，结合胃部多模态图像数据与深度学习方法的胃息肉与胃粘膜下隆起类别筛查模型，胃粘膜下隆起风险筛查方法及系统。

2、首先，本发明提出一种ai胃息肉与胃粘膜下隆起类别筛查模型，包括，

3、ai模型1：基于胃部白光图像的胃息肉与胃粘膜下隆起二分类ai模型；

4、ai模型2：基于白光图像的胃粘膜下隆起亚级三分类ai模型；

5、ai模型3：基于超声图像的胃粘膜下隆起亚级三分类ai模型；以及

6、ai模型4：基于白光图像和超声图像的胃粘膜下隆起亚级三分类ai多模态融合模型。

7、所述ai模型1包括残差卷积神经网络和resnest-50网络；所述残差卷积神经网络包括神经元权重和偏差，神经元权重和偏差共同组成了神经网络的参数集；所述resnest-50网络包括注意力机制算法。

8、进一步的，所述ai模型1用于预测胃息肉与胃粘膜下隆起二分类类别，输出胃息肉与胃粘膜下隆起二分类类别特征图。当输入胃部白光图像时，ai模型1采用注意力机制算法，动态调整神经元权重和偏差，给出胃息肉与胃粘膜下隆起二分类类别预测结果，以及胃息肉与胃粘膜下隆起二分类类别特征图。

9、所述胃息肉与胃粘膜下隆起二分类类别包括胃息肉、胃粘膜下隆起二分类类别

10、所述resnest-50网络为包含自动求导系统的深度神经网络，是pytorch的功能组件，pytorch是一个开源的python机器学习库，基于torch，用于自然语言处理等应用程序。resnest-50网络作为拆分注意力主干网络是现有技术，对于resnest-50拆分注意力主干网络的工作原理，在此不在累述。

11、所述ai模型2同ai模型1的结构，包括残差卷积神经网络和resnest50网络；所述残差卷积神经网络包括神经元权重和偏差，神经元权重和偏差共同组成了神经网络的参数集；所述resnest50网络包括注意力机制算法；

12、进一步的，所述ai模型2用于胃粘膜下隆起亚级三分类类别，输出胃粘膜下隆起亚级三分类类别特征图。当输入胃部白光图像时，ai模型2采用注意力机制算法，动态调整神经元权重和偏差，给出胃粘膜下隆起亚级三分类类别预测结果，以及胃粘膜下隆起亚级三分类类别特征图。

13、所述ai模型3同ai模型1的结构，包括残差卷积神经网络和resnest50网络；所述残差卷积神经网络包括神经元权重和偏差，神经元权重和偏差共同组成了神经网络的参数集；所述resnest50网络包括注意力机制算法；

14、进一步的，所述ai模型3用于胃粘膜下隆起亚级三分类类别，输出胃粘膜下隆起亚级三分类类别特征图。当输入胃部超声图像时，ai模型3采用注意力机制算法，动态调整神经元权重和偏差，给出胃粘膜下隆起亚级三分类类别预测结果，以及胃粘膜下隆起亚级三分类类别特征图。

15、所述ai模型4为基于注意力机制的双向lstm的多模态融合模型，包括双向lstm（bi-lstm）模型、attention层、softmax激活层。

16、进一步的，所述双向lstm（bi-lstm）模型获取ai模型2胃粘膜下隆起亚级三分类类别特征图和模型3胃粘膜下隆起亚级三分类类别特征图，并将ai模型2胃粘膜下隆起亚级三分类类别特征图和ai模型3胃粘膜下隆起亚级三分类类别特征图进行特征拼接得到特征序列；

17、attention层将所有时序的特征向量进行权重计算，然后对所有时序的特征向量进行加权，得到加权后的特征向量，最后加权后的特征向量进入softmax激活层进行分类，输出胃粘膜下隆起亚级三分类类别预测结果。

18、attention机制可以有效解决传统lstm在编解码时都依赖内部一个固定长度的特征向量的限制，通过保留lstm对输入序列的中间时序特征向量，训练模型对这些输入的中间时序特征向量进行选择性学习同时使得输出结果与所有中间时序特征向量直接保持关联，提升模型的语义表达能力。

19、其次，本发明还提出一种对ai胃息肉与胃粘膜下隆起类别筛查模型进行训练，并最终得到有效ai胃息肉与胃粘膜下隆起类别筛查模型的方法，包括如下步骤：

20、s1，数据获取；在医院图像数据库按照病人编号进行匹配获取病人的胃部图像数据；所述胃部图像数据包括白光图像和或超声图像。

21、s2，建模数据清洗与数据预处理；通过回顾性收集一定数量的病人胃部图像数据（例如1000例病人胃部图像数据），建立建模数据集，并对建模数据集进行数据清洗（如移除非胃部图像、质量不佳图像等操作）以及标注，然后对图像进行数据预处理操作；

22、进一步的，预处理操作包括：

23、s21，利用python的cv2包的连通域提取方法获得图像的最大连通域并通过裁剪图像的方式保留图像最大连通域内的内容，经过这一步骤可以有效去除图像中无关噪声，进而提高模型的特征提取的有效性；

24、s22，利用python的cv2的高斯滤波算法对裁剪后的图像进行图像去噪，得到的图像作为建模用的图像输入信息；

25、s3，数据集划分；对建模数据集按照一定比例（例如7：3）随机划分成训练集和验证集，训练集用于训练模型，验证集用于评估模型效果并依此控制模型训练迭代周期和有效模型输出；

26、s4，ai模型迭代训练；采用pytorch框架，选择残差卷积神经网络、循环神经网络、注意力机制算法相结合建立多任务分类器系统；其中，残差卷积神经网络包括神经元权重和偏差，神经元权重和偏差共同组成了神经网络的参数集。循环神经网络包括神经元权重和偏差。注意力机制算法的原理是计算当前输入向量序列与输出向量的匹配程度权重，然后利用匹配度权重对输入向量序列进行加权求和，提高有效向量的权重，提高神经网络的表征能力。

27、利用结合残差卷积神经网络和注意力机制算法的resnest50网络作为主干网络，分别构建基于胃部白光图像的胃息肉与胃粘膜下隆起二分类ai模型1、基于白光图像的胃粘膜下隆起亚级三分类ai模型2、基于超声图像的胃粘膜下隆起亚级三分类ai模型3，然后基于ai模型2和ai模型3的基础上，对它们的最后一层特征图进行拼叠形成特征序列作为输入信息，构建基于注意力机制的双向lstm的多模态融合模型即基于白光图像和超声图像的胃粘膜下隆起亚级三分类ai多模态融合模型，记为ai模型4。

28、所述的resnest50网络结构通过提出分离注意力模块， 提升了模型跨通道的特征提取能力，同时保持了计算效率；所述的lstm模型属于循环神经网络中的一种，本发明采用双向lstm（bi-lstm）， 让模型能更好捕获同属同一病人的白光或者超声两种模态图像特征的相关性信息；同时在此基础上增加attention层，将所有时序的特征向量进行权重计算，然后对这些特征向量进行加权，最后进入softmax激活层进行分类。attention机制可以有效解决传统lstm在编解码时都依赖内部一个固定长度的特征向量的限制，通过保留lstm对输入序列的中间时序特征向量，训练模型对这些输入的中间时序特征向量进行选择性学习同时使得输出结果与所有中间时序特征向量直接保持关联，提升模型的语义表达能力。

29、利用imagenet数据集得到的预训练参数对ai模型进行初始化，然后将训练数据进行数据增强后作为输入信息分别经过ai模型1~4计算，使用交叉熵损失函数将模型预测的分类结果与相应病人标准诊断结果进行比较，如果两者的比较结果不一致则将这些相应的数据重新放入ai模型中继续训练；在迭代训练过程中，采用pytorch包的sgd梯度优化算法对模型的神经元权重和偏差进行反向传播优化调整，最终使得ai模型预测结果与相应病人标准诊断结果一致，从而得到能够对应分类能力的神经元权重和偏差。

30、进一步的，交叉熵损失函数为标签平滑的交叉熵损失函数，对参数表中的参数进行计算求导，输出一个概率值，这个概率值反映了预测为正类的可能性：概率越大，可能性越大。

31、在神经网络参数的梯度优化过程中，梯度乘以一个称为学习率（又称学习速率）的标量，以确定下一个点位置，为了让模型训练更好收敛，提高模型的有效学习能力，采用余弦退火的学习率调度策略，具体过程为：设置学习率为0.0125，然后在前5的训练周期内使用线性函数使学习率从0变化到0.0125，后面的训练周期使用余弦函数来缓慢降低学习率。由此得到的四个基础ai模型共同组合建立了胃粘膜下隆起筛查模型。

32、梯度优化是pytorch的一个功能组件，梯度优化集成梯度下降法，梯度下降法的数学原理是函数沿着梯度方向具有最大变化率，在优化目标函数时沿着负梯度方向去减少函数值，以此达到优化目标。pytorch是一个开源的python机器学习库，基于torch，用于自然语言处理等应用程序，本发明仅是采用了pytorch的梯度优化组件，对于梯度优化的工作原理和工作方法，在此不再类似。

33、学习率调度策略是pytorch的一个功能组件。在深度学习训练中，需要依据实际情况修改学习率，需要用到学习率调度策略。本发明只是采用了pytorch的学习率调度策略，对于学习率调度策略的工作原理和工作方式并未做出任何创新，在此不再类似。

34、s5，ai模型验证；将ai模型1~4对验证集数据进行计算推断得到对应的预测分类结果，然后对预测分类结果的每一类分别计算roc（全称是“受试者工作特征”（receiveroperating characteristic）曲线）和其曲线下面积auc(area under roc curve)、准确率、精确率、敏感率、特异率，如果auc、准确率、精确率、敏感率、特异率这五个测试指标的平均值达到或者超过0.9，则该ai模型确认为有效模型，通过得到有效的ai模型1~4进而得到有效的胃粘膜下隆起筛查模型。

35、所述的roc曲线的横坐标是伪阳性率（也叫假正类率，false positive rate），纵坐标是真阳性率（真正类率，true positive rate），伪阳性率（fpr）：判定为正例却不是真正例的概率，即真负例中判为正例的概率，真阳性率（tpr）：判定为正例也是真正例的概率，即真正例中判为正例的概率（也即正例召回率）；所述的准确率为分类正确的样本数占样本总数的比例；所述的精确率为预测为正例的样本中，真正为正例的比率；所述的敏感率为预测为正例的真实正例占所有真实正例的比例；所述的特意率为预测为负例的真实负例占所有真实负例的比例；

36、s6，建立有效的胃粘膜下隆起筛查模型；经过上述四个基础ai模型在验证集的auc、准确率、精确率、敏感率、特异率这五个测试指标的平均值达到或者超过0.9，得到对应的有效ai模型，然后进行组合得到的胃粘膜下隆起筛查模型确认为有效的胃粘膜下隆起筛查模型。

37、再次，本发明还提出一种应用有效ai胃息肉与胃粘膜下隆起类别筛查模型行胃粘膜下隆起风险筛查的方法，包括如下步骤：

38、a1，将新获取的待筛查胃部图像数据进行数据清洗和数据预处理；

39、对待筛查胃部图像数据进行数据清洗的步骤包括移除非胃部图像、质量不佳图像，以及标注，然后对图像进行数据预处理操作；

40、数据预处理操作包括：利用python的cv2包的连通域提取方法获得待筛查胃部图像的最大连通域并通过裁剪图像的方式保留图像最大连通域内的内容，经过这一步骤可以有效去除图像中无关噪声，进而提高模型的特征提取的有效性；利用python的cv2的高斯滤波算法对裁剪后的图像进行图像去噪，得到的图像作为模型用图像输入信息。

41、a2，然后将模型用图像输入信息输入到有效胃粘膜下隆起筛查模型中进行计算推断，得到该病人的胃粘膜下隆起分类预测结果。

42、本发明还提出一种应用有效ai胃息肉与胃粘膜下隆起类别筛查模型行胃粘膜下隆起风险筛查的方法，包括如下步骤：

43、a1，将新获取的待筛查胃部图像数据进行数据清洗和数据预处理；

44、对待筛查胃部图像数据进行数据清洗的步骤包括移除非胃部图像、质量不佳图像，以及标注，然后对图像进行数据预处理操作；

45、数据预处理操作包括：利用python的cv2包的连通域提取方法获得待筛查胃部图像的最大连通域并通过裁剪图像的方式保留图像最大连通域内的内容，经过这一步骤可以有效去除图像中无关噪声，进而提高模型的特征提取的有效性；利用python的cv2的高斯滤波算法对裁剪后的图像进行图像去噪，得到的图像作为模型用图像输入信息。

46、a2，然后将模型用图像输入信息输入到有效胃粘膜下隆起筛查模型中进行计算推断，得到该病人的胃粘膜下隆起分类预测风险结果。

47、最后，本发明还提出一种ai胃息肉与胃粘膜下隆起类别筛查的系统，该ai胃息肉与胃粘膜下隆起类别筛查的系统，采用ai胃息肉与胃粘膜下隆起类别筛查模型，应用ai胃息肉与胃粘膜下隆起类别筛查模型训练，最终得到有效ai胃息肉与胃粘膜下隆起类别筛查模型的方法。

48、有益效果：本发明结合胃部多模态图像数据与深度学习方法的胃粘膜下隆起分类方法及系统，具体设计到深度学习方法构建胃粘膜下隆起类别筛查模型，包括建立四个有效的基础ai模型：基于胃部白光图像的胃息肉与胃粘膜下隆起二分类ai模型、基于白光图像的胃粘膜下隆起亚级三分类ai模型、基于超声图像的胃粘膜下隆起亚级三分类ai模型以及基于白光图像和超声图像的胃粘膜下隆起亚级三分类ai多模态融合模型，组合建立有效的胃粘膜下隆起筛查模型、 待筛查数据规整、将待筛查数据输入到筛查模型中进行推断预测，最终得到胃粘膜下隆起评估分类结果。从而实现快速、低成本、高准确率的胃粘膜下隆起筛查评估系统。本发明采用了深度学习的残差卷积神经网络、循环神经网络、注意力机制算法进行训练构建四个基础ai模型，然后组合建立胃粘膜下隆起筛查模型，该筛查模型可以根据胃部白光图像首先自动筛查评估出胃粘膜下隆起的风险，然后在此基础上进一步对胃粘膜下隆起数据自动进行亚级分类评估，其准确率高达0.95以上。同时，该筛查模型在只有一种模态图像或者多个模态图像都可以普遍适用，在应用可及性和鲁棒性都有足够的保证。