基于深度学习的肠镜下溃疡性结肠炎辅助诊断系统及方法与流程

本发明属于图像识别技术领域，涉及一种医疗内窥镜影像识别系统及方法，具体涉及一种基于深度学习的肠镜下溃疡性结肠炎辅助诊断系统及方法。

背景技术：

随着深度学习算法不断发展、日益成熟，已经逐步用于医疗影像分析领域。内窥镜影像是医生分析病人消化道疾病的重要依据，近年来开发出了多种利用深度卷积神经网络模型对病灶的筛选、诊断方法在目前有关肠镜诊断系统在临床上具有重要意义。

溃疡性结肠炎是结肠黏膜层和黏膜下层连续性炎症，其肠镜下表现呈连续性、弥漫性分布，黏膜表面充血糜烂，多从直肠开始，逐渐累及全结肠。溃疡性结肠炎与肠结核、缺血性结肠炎、嗜酸性细胞肠炎、淋巴瘤等疾病在内镜下表现非常相似，因而给溃疡性结肠炎的诊断带来很大困难。另外，临床医师在内镜操作中依据自己经验对可疑病灶区域的判断，并将图像抓取下来保存到内镜报告系统中，再由诊断医生根据这些抓取的影像出具诊断报告。肠镜检查退镜观察时间通常只有6～7分钟，受制于操作医师的工作状态、经验影响，容易出现将重点病变部位漏掉情况，这将导致临床医生对病变无法做出全面准确的评估。

目前公开的相关肠镜辅助系统及方法，只关注如何识别已经由操作医师采集的图像中，是否包含病灶及如何提高对单张目标溃疡性结肠炎图像识别的精度，并未能考虑自动采集最有价值影像及防止检查盲点。

技术实现要素：

本发明主要是解决传统肠镜报告系统依赖人工采图，容易出现部位检查盲点和可疑病灶区域漏掉的问题，利用图像识别技术，实时监测内镜视频，自动采集包含重点器官部位和可疑病灶区域的影像，并按照加权算法全局择优之后，保存到肠镜报告系统中。

本发明的系统所采用的技术方案是：一种基于深度学习的肠镜下溃疡性结肠炎辅助诊断系统，其特征在于：包括肠镜图像自动采集子系统、客户端、服务端和数据库；

所述肠镜图像自动采集子系统用于采集肠镜图像；

所述客户端用于将肠镜图像自动采集子系统采集的肠镜图像上传给所述服务端，判断图像是否合格和图片是否包含溃疡性结肠炎判别；并接收和显示所述服务端反馈的分析结果。

所述数据库，用于保存训练卷积神经网络的样本集、保存肠镜图像自动采集子系统用于采集肠镜图像、保存所述采集报告输出模块输出的信息。

本发明的方法所采用的技术方案是：一种基于深度学习的肠结核辅助诊断方法，其特征在于，包括以下步骤：

步骤1：图像预处理模块，接收肠镜图像自动采集子系统采集的肠镜图像，对图像进行预处理，然后送到卷积神经网络模块进行识别；

步骤2：卷积神经网络模块依次调用图像合格性判别模型、图片是否包含溃疡性结肠炎判别模型，判断预处理后的图像是否合格和图片是否包含溃疡性结肠炎判别；并将识别结果返回给图像展示模块；

步骤3：图像展示模块接收步骤2返回的识别结果，并显示在图像展示模块上；

步骤4：采集报告输出模块，记录所述卷积神经网络模块的每一次的判别结果，当本次肠镜检查完成之后，按照置信度和图片质量排序，输出阑尾开口、回盲瓣部位的图像和n张包含可疑溃疡性结肠炎的图像。

本发明具有如下优点：解决传统肠镜统依赖人工采图，容易出现图像采集不全或者图像模糊不合格，利用神经网络模型对图像进行自动图像筛选后，能够从全局视频中提取最有价值图像，为医生诊断提供更可靠、高效的支持。

附图说明

附图1是本发明实施例的系统结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

溃疡性结肠炎可发生在任何年龄，近年来其发病率持续增高，其内镜下的表现为结肠黏膜层和黏膜下层连续性炎症，呈连续性、弥漫性分布，黏膜表面充血糜烂，多从直肠开始，逐渐累及全结肠。溃疡性结肠炎与肠结核、缺血性结肠炎、嗜酸性细胞肠炎、淋巴瘤等疾病在内镜下表现非常相似，因而给溃疡性结肠炎的诊断带来很大困难。提高溃疡性结肠炎发现比率的关键是肠镜的大面积普查，但是一方面传统的肠镜检查的痛苦是很多人望而生畏，另一方面在做肠镜检查的时候，针对设备传回的连续影像，医生要直接筛选出病灶图片，形成报告。但是这么多图像，医生从中筛选出病灶图片是很需要经验的，而有经验的医生又是缺乏的。

目前有关肠镜诊断系统及应用仅用于收集和管理影像，需要医生对影像进行人工鉴别，对医师的经验、状态都有着极大的依赖，客观上制约了对影像资料的充分利用。而且一名内镜操作经验丰富的医师培养需要较长的时间，也对基层医疗机构承担起分级诊疗政策指导下的疾病初诊都造成了一定压力。

请见图1，本发明提供的一种基于深度学习的肠镜下溃疡性结肠炎辅助诊断，包括肠镜图像自动采集子系统、客户端、服务端和数据库；

肠镜图像自动采集子系统用于采集肠镜图像；

客户端用于将肠镜图像自动采集子系统采集的肠镜图像上传给服务端，判断图像是否合格和图片是否包含溃疡性结肠炎判别；并接收和显示服务端反馈的分析结果。

数据库，用于保存训练卷积神经网络的样本集、保存肠镜图像自动采集子系统用于采集肠镜图像、保存采集报告输出模块输出的信息。

本实施例的客户端包括图像预处理模块、图像展示模块、采集报告输出模块；图像预处理模块，用于接受肠镜图像自动采集子系统采集的肠镜图像，对图像进行预处理，然后上传到服务端进行判别；图像展示模块，用于接收服务端的判别结果并展示；采集报告输出模块，用于记录服务端的每一次判别结果，当本次肠镜检查完成之后，按照置信度和图片质量排序，输出n张包含可疑溃疡性结肠炎的图像。

本实施例的用于训练卷积神经网络的样本集，包括医生标注的合格或不合格图片集，病理诊断对溃疡性结肠炎的诊断意义重大，医生在对可疑的部位进行组织活检时往往受到取材广度及深度的影响。医生标注的正常、溃疡性结肠炎易与克罗恩病、肠结核、缺血性肠炎、淋巴瘤、嗜酸性细胞肠炎等混淆。

本实施例的服务端包括卷积神经网络模块，图像部位判别模型、图片是否包含溃疡性结肠炎判别模型；分别用于判断预处理后的图像是否合格、图片是否包含溃疡性结肠炎判别。

本实施例的卷积神经网络模块包含多个卷积神经网络模型，使用不同样本集，训练出不同的模型实例；

图像合格性判别模型实例：输入一张图像，输出该图片合格或不合格的概率；

图片是否包含溃疡性结肠炎判别模型实例：输入一张图像，输出该图片是否包含溃疡性结肠炎及概率；

卷积神经网络模型可选择vgg-16、resnet-50、densenet.，采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用。

本发明提供的一种基于深度学习的肠结核辅助诊断方法，包括以下步骤：

步骤1：图像预处理模块，接收肠镜图像自动采集子系统采集的肠镜图像，对图像进行预处理(将图片进行裁切成特定大小(本实施例为240*240))，然后按1帧每秒的速度发送到卷积神经网络模块进行识别；

步骤2：卷积神经网络模块依次调用图像合格性判别模型、图片是否包含溃疡性结肠炎判别模型，判断预处理后的图像是否合格、图片是否包含溃疡性结肠炎判别；并将识别结果返回给图像展示模块；

步骤3：图像展示模块接收步骤2返回的识别结果，并显示在图像展示模块上；

步骤4：采集报告输出模块，记录卷积神经网络模块的每一次的判别结果，当本次肠镜检查完成之后，按照置信度和图片质量排序，输出n张包含可疑溃疡性结肠炎的图像。

本发明解决了传统肠镜报告系统依赖人工识别，容易出现图像盲点和病灶漏诊断问题，利用神经网络模型对图像进行检测，同时智能识别包含病灶部位，进行主动提示，形成了简单易用的基于人工智能的肠镜图像诊断系统。具有显著的社会及经济价值。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。