基于深度学习的小肠镜下克罗恩病辅助诊断系统的制作方法

本发明属于小肠镜下克罗恩病辅助智能诊断技术领域，尤其涉及一种基于深度学习的小肠镜下克罗恩病辅助诊断系统。

背景技术：

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

克罗恩病是一种原因不明的胃肠道慢性炎性疾病，全消化道均可受累，多数病变可累及小肠。内镜医师通过小肠镜对小肠粘膜的特征进行识别是诊断克罗恩病最有效的方法。现有技术通过内镜医师人工进行识别，然而小肠镜技术难度大，内镜医师在进行技术操作时常常难以同时发现一闪而过的病变图像，造成漏检病变；小肠镜检查时间较长，内镜医师极容易疲惫，同时小肠镜退镜检查过程中要退出冗长(甚至可达5-7米)的肠管，内镜医师需要消耗大量时间在阅览图像工作，因此会因为身体疲惫和视觉疲劳导致漏检或误检病变；此外，克罗恩病的镜下表现多种多样，且需要与小肠结核、肠白塞等疾病进行鉴别，缺乏经验的内镜医师非常容易出现误诊的情况。

技术实现要素：

为了解决上述问题，本发明提出了基于深度学习的小肠镜下克罗恩病辅助诊断系统，引入深度学习网络模型，通过对单帧电子肠镜下采集的图像识别预测，能够精确定位克罗恩疾病，并画出病灶区域。

在一些实施方式中，采用如下技术方案：

基于深度学习的小肠镜下克罗恩病辅助诊断系统，包括：

图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

图像预处理模块，被配置为对采集到的图像信息进行预处理；

辅助诊断模型，被配置为经过训练集进行优化训练后，对于输入的预处理后的图像进行克罗恩病变区域识别；

所述辅助诊断模型包括：依次连接的图像输入层、卷积层、空间金字塔池化模块和全连接层。

进一步地，还包括：训练集制作模块，被配置为使用多目标标注工具对病灶样本图像中的克罗恩病变区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集。

进一步地，所述标注文本信息包括：0表示无克罗恩病变区域，1表示有克罗恩病变区域。

进一步地，所述辅助诊断模型接收采集卡采集到的每一帧图像信息，并自动返回识别结果；所述识别结果包括：是否存在克罗恩病变区域，如果存在，返回病变概率以及病灶区域在图像上的相对坐标位置。

进一步地，所述辅助诊断模型将识别出的病变概率大于设定值的病灶区域进行显示，并保存带病灶的图像以及相对应的标签数据，用于再次审核。

进一步地，还包括：识别结果审核模块，被配置为对识别的结果进行审核，对识别错误的图像重新进行克罗恩病变区域标注，并修改标注文本信息。

进一步地，所述识别结果审核模块将识别错误并重新进行标注的图像加入到训练集中，重新对辅助诊断模型进行训练。

进一步地，所述图像预处理模块进行图像预处理的过程包括：

去除图像中包含的涉及到病人隐私的信息；

对图像进行去除黑色边框处理。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

对采集到的图像信息进行预处理；

构建训练集，对辅助诊断模型进行优化训练；

预处理后的图像输入到训练好的辅助诊断模型中，输出克罗恩病变区域识别结果；

对识别得到的存在克罗恩病变区域的图像进行人工审核，对识别错误的图像进行重新标注，并修改标注文本信息；

将修改后的图像及文本信息添加到训练集，重新对辅助诊断模型进行训练。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

对采集到的图像信息进行预处理；

构建训练集，对辅助诊断模型进行优化训练；

预处理后的图像输入到训练好的辅助诊断模型中，输出克罗恩病变区域识别结果；

对识别得到的存在克罗恩病变区域的图像进行人工审核，对识别错误的图像进行重新标注，并修改标注文本信息；

将修改后的图像及文本信息添加到训练集，重新对辅助诊断模型进行训练。

与现有技术相比，本发明的有益效果是：

本发明通过在在卷积层和全连接层之间加入空间金字塔池化模块，使得任意大小的特征图都能够转换成固定大小的特征向量，实现对于小目标和大目标的均衡识别，这样做可以提高模型的准确率。

本发明基于神经网络算法对小肠镜下的克罗恩病变区域进行自动识别，医生只需要对识别存在病变的图像进行再次审核，极大地减轻了医生审阅图片的工作量。同时，将识别错误的图像，重新加入训练集，能够不断优化辅助诊断模型，提高克罗恩病的识别准确率。

附图说明

图1为本发明基于深度学习的小肠镜下克罗恩病辅助诊断系统的工作过程示意图；

图2为本发明采用标注框对病变区域进行标注示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施例中，公开了一种基于深度学习的小肠镜下克罗恩病辅助诊断系统，包括：

图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；通过人工筛选出存在克罗恩病变的肠镜图像作为样本图像数据。

图像预处理模块，被配置为对采集到的图像信息进行预处理；

由于克罗恩病灶图像是在临床中内窥镜系统单张采集的，需要去除图片中的患者隐私数据。为减少计算量还需要去除黑色边框，只保留彩色消化道区域。

通过黑边算法处理，缩放处理和归一化处理，将其每一帧图像经过去黑边算法后去掉内镜图像多余的边界仅保留roi区域，然后缩放至416x416分辨率。

训练集制作模块，被配置为使用多目标标注工具对病灶样本图像中的克罗恩病变区域进行标注；同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集。

使用labelimg多目标标注工具对样本图像数据画标注框，生成xml文件组成训练集，xml文件中保存了该图像对应的标注信息，解析xml文件获取每张训练图片的标注框信息和对应的标签(0:无，1：克罗恩病)，标注后的图像如图2所示。

辅助诊断模型，被配置为经过训练集进行优化训练后，对于输入的预处理后的图像进行克罗恩病变区域识别；所述辅助诊断模型在卷积层和全连接层之间加入空间金字塔池化模块，使得任意大小的特征图都能够转换成固定大小的特征向量；金字塔池化模块使用了固定的网格数，不同大小的图像映射到网格后，每个网格容纳的面积不同，但是输出的都是网格数。

辅助诊断模型采用神经网络结构，神经网络结构基于darknet结构,darknet是一个较为轻型的完全基于c与cuda的开源深度学习框架；在yolo-v3基础上增加了空间金字塔池化(spp)模块的改进，空间金字塔池化模块能够使得任意大小的特征图都能够转换成固定大小的特征向量，即多尺度特征提取出固定大小的特征向量，送入全连接层。整体框架大致为：输入图像，卷积层提取特征，空间金字塔池化提取固定大小特征，全连接层。

该模型在原有的yolo模型得到每个目标检测的候选框，使用一个4层的空间金字塔池化特征，之后将特征输入全连接层，实现对于小目标和大目标的均衡识别，这样做可以提高模型的准确率。

模型训练的初始学习率为0.001，避免训练出现过拟合现象采用指数平滑方式逐步减小学习率，损失函数采用交叉熵损失，经过50000的epoch迭代训练。训练过程中的损失变化曲线如下图所示，在训练开始阶段损失值下降幅度很大，说明学习率合适，随着训练过程的进展，预期总损失降低到最小值时停止模型训练。

参照图1，需要进行克罗恩病变识别时，通过通过采集卡接入内镜主机获取检测图像信息，对采集到的检测图像进行预处理后，输入到辅助诊断模型，输出克罗恩病变识别结果；具体包括：是否存在克罗恩病变区域、病变概率以及病灶区域在图像上的相对坐标位置。其中，病变概率是将卷积的特征输入到sigmoid函数计算出来的。

这里采用gpu显卡并行运算，采集卡每秒钟采集10帧图像调用模型识别，可以达到实时识别要求。

识别结果审核模块，被配置为对识别的结果进行审核，对识别错误的图像重新进行克罗恩病变区域标注，并修改标注文本信息。

辅助诊断模型会将检测概率大于95％的病灶矩形区域绘制到显示画面上，并保存带病灶的图像以及标签数据(病灶类别，病灶区域图像上的相对坐标)存入本地文件，用于医生再次审核。

识别结果审核模块将识别错误并重新进行标注的图像加入到训练集中，重新对辅助诊断模型进行训练，通过识别结果的反馈，不断提高辅助诊断模型的识别准确率。

实施例二

在一个或多个实施方式中，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

对采集到的图像信息进行预处理；

构建训练集，对辅助诊断模型进行优化训练；

预处理后的图像输入到训练好的辅助诊断模型中，输出克罗恩病变区域识别结果；

对识别得到的存在克罗恩病变区域的图像进行人工审核，对识别错误的图像进行重新标注，并修改标注文本信息；

将修改后的图像及文本信息添加到训练集，重新对辅助诊断模型进行训练。

在另一些实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

对采集到的图像信息进行预处理；

构建训练集，对辅助诊断模型进行优化训练；

预处理后的图像输入到训练好的辅助诊断模型中，输出克罗恩病变区域识别结果；

对识别得到的存在克罗恩病变区域的图像进行人工审核，对识别错误的图像进行重新标注，并修改标注文本信息；

将修改后的图像及文本信息添加到训练集，重新对辅助诊断模型进行训练。

上述过程的具体实现方法与实施例一中相应的功能模块的工作过程相对应，不再赘述。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。