一种内镜图像处理方法及相关设备与流程

本发明涉及图像处理领域，尤其是一种内镜图像处理方法及相关设备。

背景技术：

对于消化道内窥镜检查、自然腔道内镜手术等操作，医生依照个人的经验进行检查、诊断和手术，容易造成漏诊、误诊和手术失误，对病患的人身安全造成威胁。随着科技的发展，为了降低人工检测的误差出现了计算机辅助诊断技术，利用图像检测算法辅助医生对病患进行检查和治疗。然而，现有技术中，内镜图像检测算法的准确度依旧低下，亟需对此技术做出改进。

技术实现要素：

本发明旨在至少在一定程度上解决相关记述中的技术问题之一。为此，本发明的一个目的是提供一种内镜图像处理方法及相关设备，能够自动处理输入的内镜图像以辅助医生进行诊断治疗。

本发明所采用的技术方案是：

第一方面，本发明提供一种内镜图像处理方法，包括：

图像获取步骤：获取待处理的内镜图像；

检测步骤：将所述待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取所述待处理的内镜图像的图像类型，所述图像类型包括正常图像和异常图像。

进一步地，所述内镜图像处理方法还包括：

输出步骤：输出所述待处理的内镜图像的所述图像类型。

进一步地，所述内镜图像处理方法还包括：

图像预处理步骤：对所述待处理的内镜图像进行图像统一化处理和/或数据增强处理。

进一步地，对所述待处理的内镜图像进行降低图像噪声处理以及标准化数据处理中的至少一种以实现图像统一化。

进一步地，所述检测步骤还包括：

所述卷积神经网络对所述待处理的内镜图像进行异常区域检测，以获取所述内镜图像的异常区域。

进一步地，所述内镜图像处理方法还包括：

训练图像获取步骤：获取多张内镜图像作为训练图像；

标注步骤：对所述训练图像进行精准标注和粗略标注，其中，精准标注的训练图像构成精标注数据集，所述精准标注的训练图像标注有内镜图像的图像类型及其异常区域；粗略标注的训练图像构成粗标注数据集，所述粗略标注的训练图像标注有内镜图像的异常区域；

数据集划分步骤：将所述精标注数据集划分为第一精标注数据集和第二精标注数据集，所述第一精标注数据集和粗标注数据集作为预训练的卷积神经网络的训练集，所述第二精标注数据集作为所述卷积神经网络的测试集；

训练步骤：利用所述训练集训练所述预训练的卷积神经网络以获取所述卷积神经网络；

测试步骤：利用所述测试集测试所述卷积神经网络以获取网络准确率，所述网络准确率达到第一预设准确率则停止训练，否则返回继续训练。

进一步地，所述训练步骤包括：

利用所述第一精标注数据集训练所述预训练的卷积神经网络以获取网络参数，获取网络准确率作为第一网络准确率；

根据所述网络参数、所述粗标注数据集训练所述预训练的卷积神经网络并获取网络准确率作为第二网络准确率；

判断所述第一网络准确率和所述第二网络准确率均达到第二预设准确率，则停止训练，否则，继续进行网络训练。

第二方面，本发明提供一种内镜图像处理装置，包括：

图像获取模块，用于获取待处理的内镜图像；

检测模块，用于将所述待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取所述待处理的内镜图像的图像类型，所述图像类型包括正常图像和异常图像。

进一步地，所述内镜图像处理装置还包括：

输出模块，用于输出所述待处理的内镜图像的所述图像类型。

第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如所述的内镜图像处理方法。

本发明的有益效果是：

本发明通过获取待处理的内镜图像，再根据基于迁移学习训练而得到卷积神经网络对待处理的内镜图像进行检测，获取得到内镜图像的图像类型，图像类型包括正常图像和异常图像，克服现有技术中存在内镜图像检测算法的准确率低下的技术问题，结合迁移学习和卷积神经网络，不仅有效提高了内镜图像的图像类型检测准确率，而且基于检测的图像类型可以帮助医生进行诊断治疗，减轻医生的工作量，提高异常检出率，降低异常的漏检率。

附图说明

图1是本发明中内镜图像处理方法的一种实施例的方法流程图；

图2是本发明中内镜图像处理方法的一种实施例的网络训练方法流程图；

图3是本发明中内镜图像处理装置的一种实施例的结构框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

参考图1，图1是本发明中内镜图像处理方法的一种实施例的方法流程图，一种内镜图像处理方法，包括：

图像获取步骤s11：获取待处理的内镜图像，其中，利用内镜(也即内窥镜)获取消化道等位置的组织图像作为待处理的内镜图像；

图像预处理步骤s12：对待处理的内镜图像进行图像统一化处理和/或数据增强处理，图像统一化处理是将待处理的内镜图像的数据格式和图像格式进行统一，而数据增强处理，也就是数据扩增，是利用数据增强技术处理待处理的内镜图像产生更多的内镜图像以实现图像扩增，包括对图像进行翻转、裁剪、旋转、缩放等操作，目的是为了提供待处理的内镜图像的各种扩增图像，提高后续检测步骤中，卷积神经网络对待处理图像的检测准确度；本实施例中，为了提高网络的检测准确度，同时对内镜图像进行数据统一化处理和数据增强处理；

检测步骤s13：将经过步骤s12处理后的待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取待处理的内镜图像的图像类型，图像类型包括正常图像和异常图像，正常图像是指内镜图像中没有异常病变的区域的图像，而异常图像是指内镜图像中存在异常病变的区域的图像；以消化道的内镜图像为例，正常图像是指消化道的内镜图像的检测结果为阴性，异常图像是指消化道的内镜图像的检测结果为阳性；另外，卷积神经网络还对经过步骤s12处理后的待处理的内镜图像进行异常区域检测，以获取内镜图像的异常区域，即将内镜图像的异常病变区域检测出来；其中，迁移学习是指把已训练好的模型参数迁移到新的模型来帮助新模型训练，以降低训练模型的工作量，也可以提高新的模型的准确率；

输出步骤s14：输出待处理的内镜图像的图像类型以及异常区域，得到内镜图像的处理报告；当网络输出的图像类型为正常图像时，将网络输出的图像类型作为报告输出；而当网络输出的图像类型为异常图像时，同时将网络输出的图像类型、内镜图像的异常区域作为报告进行输出。

本实施例中，内镜图像处理方法结合迁移学习和卷积神经网络，不仅有效提高了内镜图像的图像类型检测准确率，而且基于检测得到的图像类型可以帮助医生进行诊断治疗，例如辅助医生进行消化道内窥镜检查、自然腔道内镜手术，减少漏诊，减轻医生的工作量，提高异常检出率，降低异常的漏检率。实际使用时，医生可以参照网络输出的图像类型和异常区域，再结合自己的从医经验给出内镜图像最终的诊断结果，以确保诊断结果的准确性。

进一步地，对待处理的内镜图像进行预处理时，可以对待处理的内镜图像进行降低图像噪声处理以及标准化数据处理中的至少一种以实现图像统一化。本实施例中，为了保证图像检测的准确度，同时进行降低图像噪声处理以及标准化数据处理，其中，可以采用滤波器进行去噪；而标准化数据处理是指统一内镜图像的数据格式，例如统一图像的分辨率和对比度等。

更进一步地，在使用卷积神经网络之前，需要对其进行训练，下面是训练的具体方法，参考图2，图2是本发明中内镜图像处理方法的一种实施例的网络训练方法流程图；包括：

训练图像获取步骤s21：获取多张内镜图像作为训练图像，具体地，可以从医院的影像科收集多张内镜图像以建立数据库；

标注步骤s22：对训练图像进行精准标注和粗略标注，其中，由专业的医生对内镜图像进行标注，一部分进行精准标注，一部分进行粗略标注；精准标注的训练图像构成精标注数据集，精准标注的训练图像标注有内镜图像的图像类型及其异常区域，具体地，专业的医生标出病变位置(即异常区域)，并标注经过病理检测的病变阴阳性诊断结果(即图像类型)；粗略标注的训练图像构成粗标注数据集，粗略标注的训练图像标注有内镜图像的异常区域，也即只标注病变位置，不做阴阳性判断或者由医生做出初步预测，给出粗略的病变阴阳性预测结果；

数据集划分步骤s23：将精标注数据集划分为第一精标注数据集和第二精标注数据集，第一精标注数据集和粗标注数据集作为预训练的卷积神经网络的训练集，第二精标注数据集作为卷积神经网络的测试集；

训练图像预处理步骤s24：对训练图像进行图像统一化处理和/或数据增强处理，此步骤与图像预处理步骤s12类似，不再赘述，而数据增强处理的目的是为了扩充样本量，提高数据可利用率；

训练步骤s25：利用训练集训练预训练的卷积神经网络以获取卷积神经网络；本实施例中，训练步骤s25包括：

利用第一精标注数据集训练预训练的卷积神经网络以获取网络参数，并获取此时的网络准确率作为第一网络准确率；其中，预训练的卷积神经网络包括unet网络、resnet网络、gan(生成对抗网络)等，本实施例中，采用unet网络作为预训练的卷积神经网络，预训练的卷积神经网络是指训练好且已得到网络参数的卷积神经网络；

根据利用第一精标注数据集训练得到的网络参数、粗标注数据集训练预训练的卷积神经网络并获取网络准确率作为第二网络准确率；具体地，将上述利用第一精标注数据集训练预训练的卷积神经网络得到的网络参数(各层权值)迁移至粗标注数据集，作为粗标注数据集训练时的初始权值，将利用医生精标注的训练集得到模型参数迁移到粗标注的模型中，减少标注工作量；

判断第一网络准确率和第二网络准确率均达到第二预设准确率，则停止训练，否则，继续进行网络训练。

测试步骤s26：利用测试集测试所得到卷积神经网络以获取网络准确率，网络准确率达到第一预设准确率则停止训练，得到检测步骤s13中所述的卷积神经网络，否则返回训练图像预处理步骤s24继续训练。

实施例2

基于实施例1提供实施例2，实施例提供了一种内镜图像处理装置，参考图3，图3是本发明中内镜图像处理装置的一种实施例的结构框图，包括：

图像获取模块31，用于获取待处理的内镜图像；

图像预处理模块32，用于对待处理的内镜图像进行图像统一化处理和/或数据增强处理；

检测模块33，用于将图像预处理模块处理后的待处理的内镜图像输入至基于迁移学习训练而得到的卷积神经网络进行检测，获取待处理的内镜图像的图像类型，图像类型包括正常图像和异常图像；另外，卷积神经网络还对图像预处理模块处理后的待处理的内镜图像进行异常区域检测，以获取内镜图像的异常区域；

输出模块34，用于输出图像类型和异常区域。

其中，内镜图像处理装置的具体工作过程参照实施例1的描述，不再赘述。

实施例3

基于实施例1提供实施例3，实施例3提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如所述的内镜图像处理方法。内镜图像处理方法的具体描述参照实施例1的描述，不再赘述。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。