基于深度学习的肠镜操作实时辅助系统及其操作方法与流程

本发明涉及医疗检测辅助领域，尤其涉及一种基于深度学习的肠镜操作实时辅助系统及其操作方法。

背景技术

为提高早期肠癌发现率，大面积的普查是必要的，而目前主要的手段就是肠镜检查，因此医院的胃肠科门前常常排起长龙，对操作医生的熟练度和判断准确度都提出了很高的要求。而对于患者，肠镜检查也绝不轻松，除了检查前至少需要禁食6小时，插管带来的痛苦也让很多患者望而生畏。

通常一份完整的肠镜检查报告需要包含回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管至少10个部位的图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。要求医生在肠镜检查过程中实时拍摄图片，发现可疑部位时及时进行进一步的检查。医生常常需要通过长时间经验的积累才能顺利流畅地完成一次肠镜检查。对于经验不太丰富的医生来说，漏掉检查部位或者未能发现可疑区域是常有的事。前者就需要患者再重新经历一次痛苦的检查，既消磨患了者的时间与金钱，也浪费了医院的检测资源；而后者更是会把患者的生命置于危险的境地。

技术实现要素：

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度学习的肠镜操作实时辅助系统及其操作方法。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于深度学习的肠镜操作实时辅助系统，该系统包括：客户端和服务端；其中：

客户端，设置有至少一个，与肠镜设备相连，用于获取当前肠镜设备采集的肠镜图像，通过网络将肠镜图像上传到服务端；并接收和显示服务端反馈回来的分析结果；

服务端，根据客户端发送来的肠镜图像，进行肠镜图像处理，即时判断肠镜图像对应的部位及部位特征，并将分析结果反馈给客户端；

服务端包括样本数据库、卷积神经网络模型和web服务模块；其中：

样本数据库，用于存储典型肠镜图像的样本，包括合格图片库、部位库和部位特征库；

卷积神经网络模型，为根据合格图片库、部位库和部位特征库训练得到的三个模型，分别用于判断肠镜图像是否合格、部位判断和部位特征识别；

web服务模块，用于接收客户端的请求，将接收到的肠镜图像作为输入参数，调用卷积神经网络模型进行肠镜图像是否合格、部位判断和部位特征识别的分析，并将得到分析结果反馈给客户端。

进一步地，本发明的部位库中包含肠道检测的所有部位的图像，包括：回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，若缺少其中的部位，则发送提示给客户端。

进一步地，本发明的合格图片库中存储的是拍摄清楚的肠镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的肠镜图像，部位特征库中存储的是对合格图片中的肠镜图像进行病变标注的肠镜图像。

进一步地，本发明的该系统还包括通信模块，客户端和服务端均与通信模块相连，通信模块用于实现客户端向服务端发送请求，以及从服务端获取分析结果。

进一步地，本发明的该系统还包括图像演示模块，用于根据获取到的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。

本发明提供一种基于深度学习的肠镜操作实时辅助系统的操作方法，包括以下步骤：

s1、当肠镜设备采集图像，客户端触发并获取所采集的肠镜图像，并上传至服务端；

s2、服务端接收肠镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断肠镜图像是否为合格图片，若不合格则输出分析结果为不合格；

当肠镜图像判断为合格图片后，识别该肠镜图像中的具体部位和部位特征并输出；

s3、客户端接收并显示分析结果；

s4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集肠镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。

进一步地，本发明的步骤s2中识别的部位包括回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，部位库中必须包含所有上述部位的肠镜图像，若缺少其中的部位，则发出提示。

进一步地，本发明的步骤s2中识别的部位特征包括nbi癌、nbi正常、白光癌和白光正常。

进一步地，本发明的步骤s3中客户端接收并显示分析结果，包括调用表示各部位的图片和部位特征的标记进行叠加展示。

进一步地，本发明的步骤s3中客户端实时记录采集的肠镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。

本发明产生的有益效果是：本发明的基于深度学习的肠镜操作实时辅助系统及其操作方法，通过本发明对采集的图像进行图像质量识别、部位识别和部位特征的识别，并在客户端进行显示，为操作者提供更为可靠的参考依据，提高检测的准确度和有效性，简单易用，避免因为一次检查不到位而让患者二次痛苦。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的系统结构框图；

图2是本发明实施例的卷积神经网络模型训练图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明实施例的基于深度学习的肠镜操作实时辅助系统，包括：

至少一个客户端，用于监听并通过网络上传当前肠镜设备采集的肠镜图像，接收和显示反馈的分析结果。每个客户端均包括通信模块和图像演示模块；其中，通信模块用于发送请求到服务端，及从服务端获取分析结果，具体实现为http通信方式；图像演示模块用于根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。本实施例中，图像演示模块包括一张食管、胃部和十二指肠球部及降部整体的背景示意图；十张用于表示各个部位的png格式的示意图；用于表示存在病灶(即部位特征)的红点图片。根据服务端发回的信息调用表示各部位的图片和病灶(即部位特征)的红点图片在背景示意图上覆盖以表示肠镜操作已检查的部位及存在病变的部位。

服务端，用于采用rest架构，根据从客户端采集的肠镜图像，即时判断肠镜图像对应的部位及部位特征，将分析结果反馈给客户端。所述的服务端包括样本数据库、卷积神经网络模型和web服务模块。

样本数据库用于存储典型肠镜图像的样本，包括合格图片库、部位库和部位特征库，合格图片库中存储的是拍摄清楚的肠镜图像，部位库中存储的是对合格图片中的物体形态进行部位标注的肠镜图像，部位特征库中存储的是对合格图片中的肠镜图像进行病变标注的肠镜图像。通常一份完整的肠镜检查报告需要包含回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管至少10个部位的图片，若发现存在病灶或者可疑的部位还需靠近进行更细节的拍摄。因此，本实施例中，所述的部位库中包含所需要的所有部位，即：回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，必须包含所有上述部位的肠镜图像的识别，若缺少其中的部位，则发出提示给客户端。所述的部位特征包括nbi癌、nbi正常、nbi非癌病灶(包括息肉、炎症性肠病、糜烂)白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)。

白光癌和白光正常，具体为结构体数组。在此，需要强调的是，本实施例中所提及的“回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管”、“nbi癌、nbi正常、nbi非癌病灶(包括息肉、炎症性肠病、糜烂)，白光癌和白光正常，白光非癌病灶(包括息肉、炎症性肠病、糜烂)”并非对疾病的诊断，只是作为图片中的特征，可以理解为一个参数，而对它们的判断和识别是对图片的特征比对，这里其实是一种图像处理方法，并非疾病的诊断方法。

卷积神经网络模型为根据合格图片库、部位库和部位特征库训练好的三个模型，分别用于肠镜图像是否合格、部位判断和部位特征识别。模型为resnet50，采用python语言开发，封装成restfulapi(rest风格的网络接口)后被其他模块调用。卷积神经网络模型的训练过程如图2所示，卷积神经网络模型用于图像识别领域为常规技术手段，在此不再复述。

web服务模块用于接收客户端的请求，将接收到的肠镜图像作为参数调用卷积神经网络模型依次进行肠镜图像是否合格、部位判断和部位特征识别的分析，得到分析结果反馈给客户端。

本发明实施例的基于深度学习的肠镜操作实时辅助系统的操作方法，包括以下步骤：

s1、当肠镜设备进行图像采集，客户端被触发获取锁采集的肠镜图像，并上传至服务端。具体的来说，当用户踩踏脚踏板或点击响应按钮时，会触发肠镜设备的影像采集，客户端则被触发。

s2、服务端接收肠镜图像作为参数，调用卷积神经网络模型进行识别：

首先判断肠镜图像是否为合格图片，若不合格则输出分析结果为不合格。具体来说，判断肠镜图像是否清晰完整，能够提供有用的诊断信息，若合格则继续进行判断，若为不合格图片则跳过其它步骤直接输出结果“不合格”。

当肠镜图像判断为合格图片后，识别该肠镜图像中的具体部位并输出。所述的部位包括回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管；在进行部位判断时，必须包含所有上述部位的肠镜图像的识别，若缺少其中的部位，则发出提示。

识别出具体部位后的肠镜图像，进一步识别部位特征并输出。

s3、客户端接收并显示分析结果。s3具体为：根据获取的分析结果，调用表示各部位的图片和部位特征的标记进行叠加展示。在本实施例中，客户端根据服务端发回的分析结果调用表示各部位(即回肠末端，回盲部，升结肠，肝曲，横结肠，脾曲，降结肠，乙状结肠，直肠，肛管)的图片和病灶红点(即部位特征的标记)图片在背景示意图上覆盖以表示肠镜操作已检查的部位及存在病变的部位。

s4、操作人员根据客户端显示的分析结果进行下一步操作：

当分析结果为不合格时，继续采集肠镜图像；当识别出的具体部位不够完整时继续采集遗漏的部位；当识别出的具体部位完整时，结束操作。

客户端实时记录采集的肠镜图像的数量、服务端发回的部位数量及部位特征数量，并进行显示。

本发明具有如下优点：解决肠镜检查流程复杂，对医师水平要求高，容易出现图像盲点和病灶漏诊断的问题，通过卷积神经网络模型对于采集的肠镜图像进行即时识别图片质量、识别部位和部位特征的识别，在图像显示系统上进行实时提示，为医师提供准确可靠的参考，提高检测的准确度和有效性，简单易用，具有显著的社会及经济价值。一个服务器能够对应若干个客户端，每个客户端对应一台肠镜设备。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。