基于深度神经网络的胶囊内镜小肠病变识别和定位方法

本发明属于图像识别，特别涉及一种基于注意力机制的深度卷积残差神经网络的胶囊内镜小肠病变识别方法。

背景技术：

1、胶囊内镜是小肠疾病的一线检查方法，但其检查过程产生数万张图片，胃肠科医生每个病例阅片报告结果需1-2小时，时间成本高，且在长时间阅片过程中有病变漏诊可能。目前国内外多项基于人工智能深度学习的图像处理技术不断在胶囊内镜领域被尝试用于多种小肠疾病辅助诊断(出血、血管扩张、糜烂及溃疡、息肉、乳糜泻、寄生虫等)，以减少胶囊内镜检查漫长的阅片时间，提高医生效率。

2、但目前现有的相关研究，小肠病变基本使用单帧图片识别，而本申请利用胶囊内镜提供连续性图片的特点，建立连续性图片识别模型，有利于多种病变识别。另一方面，这些研究均致力于小肠病变的识别，至今并无深度学习方面关于小肠病变定位的研究，本申请在小肠病变识别模型的基础上，结合了小肠病变定位模型，去实现胶囊内镜中病变的自动检测与定位。

技术实现思路

1、本发明的目的是针对现有技术的缺陷，提供一种基于注意力机制的深度卷积残差神经网络的胶囊内镜小肠病变识别方法。

2、为了实现上述目的，本发明采用以下技术方案：一种基于深度神经网络的胶囊内镜小肠病变识别和定位方法，包括以下步骤：

3、(1)建立胶囊内镜图片数据集，对数据集中的病变图片标注病变类型，对正常小肠的图片，标注空肠和回肠；

4、(2)对数据集中的所有图片采用机器进行训练、验证及测试，建立小肠病变识别模型；对数据集中正常小肠的图片，采用机器进行深度学习，建立小肠病变定位模型；

5、(3)将待识别的小肠胶囊内镜视频，结合小肠病变识别模型和小肠病变定位模型，实现对该视频中病变的识别与定位。

6、进一步的，步骤(1)中胶囊内镜图片数据集中的图片包括正常、炎症、溃疡、息肉、出血、血管性病变、寄生虫、淋巴管扩张、淋巴滤泡增生、隆起性病变的胶囊内镜图片。

7、进一步的，步骤(2)中的深度学习，采用的是基于注意力机制的深度卷积残差神经网络，数据集中所用的图片被随机分为训练集、验证集和测试集，小肠病变识别模型和小肠病变定位模型共享一个共同的网络结构。

8、进一步的，基于注意力机制的深度卷积残差神经网络，包括两个注意力模块，每个注意力模块包含两个组件，即主干分支和掩码分支，所述主干分支用于负责特征处理，掩码分支用于为这些特征分配软权重。

9、进一步的，注意力模块与主干分支和掩码分支的关系如式1：

10、hi，c(x)＝(1+mi，c(x))*ti，c(x)(1)

11、其中，x为注意模块的输入特征映射，主干分支和掩码分支的输出分别为t(x)和m(x)。

12、进一步的，基于注意力机制的深度卷积残差神经网络在各种通道的所有空间位置上进行定位，并记录通道的索引。

13、进一步的，掩码分支采用自下而上前馈结构从小肠病变图像中收集全局信息，自上而下操作将全局信息与原始特征图相结合；所述主干分支结构，注意模块采用了残差单元。

14、进一步的，基于注意力机制的深度卷积残差神经网络使用python 3中的pytorch包实现，使用交叉熵损失函数指导神经网络的训练。

15、进一步的，步骤(3)中识别小肠病变位置，具体采用以下步骤：

16、3.1将胶囊内镜视频的每一帧分别输入神经网络，检测胶囊内镜视频或图片中与病变相关的图像以及初始图像与病变在小肠内的位置，即空肠或回肠；

17、3.2采用卷积神经网络的辅助读片模型模拟胶囊内位移变化；根据提取的深度特征，分别计算当前图像与前一图像的相似度；如果前后图像之间的相似性超过设定值时，设定胶囊在这一点上没有移动，否则将帧标记为胶囊的场景切换点；基于步骤3.1确定的空肠和回肠分隔点，分别计算空肠和回肠的所有场景过渡点；

18、3.3根据场景图像，将视频中前后两张图像之间的距离拟定为胶囊在小肠内移动的距离，空肠和回肠的总距离分别为

19、

20、

21、其中：ji和ii分别表示前后两张图像之间在空肠和回肠中的距离；njejunum和nileum分别为空肠和回肠的场景图像数；

22、得到病变的长度在空肠和回肠分别：

23、

24、

25、其中：nlesion_jejunum和nlesion_ileumn为空肠和回肠场景图像中病变图像的指标；

26、如果slesion_jejunum＜sjejunum/2，系统输出检测到的空肠前段病变；否则，系统输出检测到的空肠后段病变。

27、进一步的，3.2中的设定值为90％。

28、基于深度学习的胶囊内镜小肠病变识别及定位模型建立的主要步骤：

29、1.小肠病变识别模型建立：建立胶囊内镜图片数据集(包括正常、炎症、溃疡、息肉、出血、血管性病变、寄生虫、淋巴管扩张、淋巴滤泡增生、隆起性病变等)，标注病变类型，机器进行训练、验证及测试，建立小肠病变识别模型。

30、2.小肠病变定位模型建立：收集小肠正常病例的胶囊内镜图片，标注空肠和回肠，机器进行深度学习，建立小肠病变定位模型(区分空肠和回肠)。

31、3.根据胶囊内镜小肠图片的特性，提取图片特征，建立小肠病变定位策略，对小肠病变进行进一步定位。

32、基于以上三个步骤，建立小肠病变识别及定位模型，从而进一步提高对小肠多种病变的识别能力，并对小肠病变进行定位，提高小肠疾病诊断率。通过准确定位能力，为后续正确指导气囊辅助小肠镜的进镜路径及确定手术部位提供了重要依据。从而提高临床效率，节约人工成本。

33、目前利用本申请的模型对胶囊内镜识别不同病变的准确率达99％以上，病变定位符合率达90％以上。

技术特征：

1.一种基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于包括以下步骤：

2.根据权利要求1所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述步骤(1)中胶囊内镜图片数据集中的图片包括正常、炎症、溃疡、息肉、出血、血管性病变、寄生虫、淋巴管扩张、淋巴滤泡增生、隆起性病变的胶囊内镜图片。

3.根据权利要求1所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述步骤(2)中的深度学习，采用的是基于注意力机制的深度卷积残差神经网络，数据集中所用的图片被随机分为训练集、验证集和测试集，小肠病变识别模型和小肠病变定位模型共享一个共同的网络结构。

4.根据权利要求3所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述基于注意力机制的深度卷积残差神经网络，包括两个注意力模块，每个注意力模块包含两个组件，即主干分支和掩码分支，所述主干分支用于负责特征处理，掩码分支用于为这些特征分配软权重。

5.根据权利要求4所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述注意力模块与主干分支和掩码分支的关系如式1：

6.根据权利要求5所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述基于注意力机制的深度卷积残差神经网络在各种通道的所有空间位置上进行定位，并记录通道的索引。

7.根据权利要求5所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述掩码分支采用自下而上前馈结构从小肠病变图像中收集全局信息，自上而下操作将全局信息与原始特征图相结合；所述主干分支结构，注意模块采用了残差单元。

8.根据权利要求3所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述基于注意力机制的深度卷积残差神经网络使用python 3中的pytorch包实现，使用交叉熵损失函数指导神经网络模型的训练。

9.根据权利要求1所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述步骤(3)中识别小肠病变位置，具体采用以下步骤：

10.根据权利要求9所述的基于深度神经网络的胶囊内镜小肠病变识别和定位方法，其特征在于：所述3.2中的设定值为90％。

技术总结
本发明公开了一种基于深度神经网络的胶囊内镜小肠病变识别和定位方法，首先建立胶囊内镜图片数据集，对数据集中的病变图片标注病变类型，对正常小肠的图片，标注空肠和回肠；使用一种基于注意力机制的深度卷积残差神经网络，对数据集中的所有图片进行训练、验证及测试，建立小肠病变识别模型；对数据集中正常小肠的图片进行训练、验证及测试，建立小肠病变定位模型；将待识别的小肠胶囊内镜视频，通过小肠病变识别模型和小肠病变定位模型进行识别，识别小肠病变类型和位置。建立小肠病变识别及定位模型，从而进一步提高对小肠多种病变的识别能力，并对小肠病变进行定位，提高小肠疾病诊断率。

技术研发人员：张红杰,蒋文瑜,马晶晶,焦春花,唐娜娜,赵小静,徐晨静
受保护的技术使用者：江苏省人民医院（南京医科大学第一附属医院）
技术研发日：
技术公布日：2024/1/12