一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质与流程

本发明涉及医学图像处理领域，更具体的，涉及内窥镜出血区域的动态智能检测方法、系统及可读存储介质。

背景技术：

随着经济社会的发展，工作节奏的加快，环境的污染，胃肠道疾病成为影响人类健康的常见的疾病，如胃癌、肠癌等，且多为常见病、多发病，它对人类的健康有很大的威胁，胶囊型内窥镜系统由于其高安全性、高可靠性等优点，作为判断胃肠道疾病的有效手段被广泛应用。而胃肠道疾病中很多疾病都伴随有出血。通过将计算机技术和图像识别技术相结合，精确的检测出图像序列中的出血图像，能够在胶囊型内窥镜系统进行胃肠道检查中辅助医生进行诊断，提高诊断的效率，减轻医生的工作量。

深度学习是一种基于对数据进行表征学习的算法，非常适合发现图像这种高维数据中的复杂结构。专利cn106910184a将深度学习技术应用到内窥镜图像出血检测中，其公开了一种基于深度卷积神经网络的内窥镜图像肠道出血检测方法，在训练网络的过程中，首先将出血图像和不出血图像分别进行旋转、亮度调节、高斯模糊、加泊松噪声四种变换，然后变换后的图像和原始图像一起构成新数据集；其次在训练网络的过程中，复制所有出血图像，使得出血图像和不出血图像数量相等，从而得到扩增数据集；然后训练vggnet、googlenet、alexnet这三个深度卷积神经网络，得到三个非线性映射关系；最后依据得到的三个深度卷积神经网络做内窥镜图像肠道出血检测，得到三个检测结果，然后根据多数投票规则，得到最终的检测结果。

当前基于内窥镜的出血区域检测，检测算法处理数据较多，速度较慢，检测效果不理想，

因此亟需开发一种内窥镜出血区域的动态智能检测方法。

技术实现要素：

为了解决上述至少一个技术问题，本发明提出了内窥镜出血区域的动态智能检测方法、系统及可读存储介质。

为了解决上述的技术问题，本发明第一方面公开了一种内窥镜出血区域的动态智能检测方法，包括：

获取内窥镜图像并利用线性插值算法将图像转化为rgb图像；

将rgb图像进行预处理，所述预处理包括滤波去噪、去除干扰区域；

构建二值模板对预处理后的rgb图像进行图像分割；

设置标准出血区域图像像素值，计算rgb各分割图像的平均像素向量，计算标准出血区域图像像素值rgb各分割图像的平均像素向量的相似度；

若相似度大于预设值的则将分割的图像输入预设的预设的出血区域检测模型，输出出血检测结果。

本方案中，所述利用线性插值算法将图像转化为rgb图像是采用基于临域的线性插值算法。

本方案中，所述滤波处理为均值滤波处理。

本方案中，所述去除干扰区域包括：内窥镜图像中的空腔区域、过度曝光区域。

本方案中，构建二值模板对预处理后的rgb图像进行图像分割过程为：

计算预处理后的rgb图像饱和度分量；

将最大饱和度的15％作为阈值生成二值模板；

将预处理后的rgb图像的与二值模板相乘得到分割图像。

本方案中，所属设置标准出血区域图像像素值a，计算rgb各分割图像的平均像素向量x，计算标准出血区域图像像素值rgb各分割图像的平均像素向量的相似度，相似度值表达式

本方案中，所述出血区域检测模型为预设的基于神经网络的出血区域检测模型，其输出结果为出血图像或非出血图像。

本发明第二方面提供了一种内窥镜出血区域的动态智能检测系统，包括存储器和处理器，所述存储器中包括一种内窥镜出血区域的动态智能检测方法程序，所述一种内窥镜出血区域的动态智能检测方法程序被所述处理器执行时实现如下步骤：

获取内窥镜图像并利用线性插值算法将图像转化为rgb图像；

将rgb图像进行预处理，所述预处理包括滤波去噪、去除干扰区域；

构建二值模板对预处理后的rgb图像进行图像分割；

设置标准出血区域图像像素值，计算rgb各分割图像的平均像素向量，计算标准出血区域图像像素值rgb各分割图像的平均像素向量的相似度；

若相似度大于预设值的则将分割的图像输入预设的预设的出血区域检测模型，输出出血检测结果。

本方案中，所述利用线性插值算法将图像转化为rgb图像是采用基于临域的线性插值算法。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种内窥镜出血区域的动态智能检测方法程序，所述一种内窥镜出血区域的动态智能检测方法程序被处理器执行时，实现所述的一种内窥镜出血区域的动态智能检测方法的步骤。

本发明公开的一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质，所述方法通过对内窥镜图像预处理，进而对图像进行分割，通过计算分割图像的平均像素向量与标准出血区域图像像素值计算相似度，并进一步通过预设的出血区域检测模型对出血区域进行检测，检测速度快，准确度高。

附图说明

图1示出了本发明一种内窥镜出血区域的动态智能检测方法流程图。

图2示出了本发明中rgb图像进行图像分割流程图。

图3示出内窥镜出血区域的动态智能检测系统框图。

具体实施方法

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明的内窥镜出血区域的动态智能检测方法主要适用于医疗内窥镜系统，如如硬管式内窥镜、纤维内窥镜、电子内窥镜，通过通过对内窥镜图像预处理，进而对图像进行分割，通过计算分割图像的平均像素向量与标准出血区域图像像素值计算相似度，并进一步通过预设的出血区域检测模型对出血区域进行检测。当然，本发明并不限室内内窥镜镜的种类，任何采用本发明的技术方案都将落入本发明保护范围内。

图1示出了本发明一种内窥镜出血区域的动态智能检测方法流程图。

如图1所示，本发明第一方面公开了一种内窥镜出血区域的动态智能检测方法，包括：

s102获取内窥镜图像并利用线性插值算法将图像转化为rgb图像；

s104将rgb图像进行预处理，所述预处理包括滤波去噪、去除干扰区域；

s106构建二值模板对预处理后的rgb图像进行图像分割；

s108设置标准出血区域图像素像素值，计算rgb各分割图像的平均像素向量，计算标准出血区域图像像素值rgb各分割图像的平均像素向量的相似度；

s110若相似度大于预设值的则将分割的图像输入预设的预设的出血区域检测模型，输出出血检测结果。

在一个具体的实施例中，内窥镜图像的可以通过多种内窥镜取得，如硬管式内窥镜、纤维内窥镜、电子内窥镜，所述纤维内窥镜：由内窥镜镜体和冷光源两部分组成，镜体内有两条光导纤维束:一条叫光束，另一条叫像束，一端对准目镜，另一端通过物镜片对准被观测物表面，医生通过目镜能够非常直观地看到脏器表面的情况，便于及时准确地诊断病情。

所述电子内窥镜：不再以光纤传像，而代之以光敏集成电路摄像系统，主要所能显示的不但影像质量好，光亮度强，而且图像大，可以检查出更细小的病变，而且电子内窥镜的外径更细，图像更加清晰和直观，操作方便。

本方案中，所述利用线性插值算法将图像转化为rgb图像是采用基于临域的线性插值算法。

需要说明的是，通过内窥镜获取的图像需要进一步转换为标准的rgb彩色图像，例如内窥镜获取的是拜尔彩色阵列，则需要为每一个像素插入失去的颜色成分，常用的差值方法包括有：邻域法、线性插值法、双线性插值法、三次样条插值法等，本发明通过采用基于多临域的线性插值法，将像素在各个方向的跃变趋势加以考虑，保留了图像的高频分量，进而细节得以保护。

本方案中，所述滤波处理为均值滤波处理。

在对获取的内窥图像进行格式转化之后，图像之中会有大量的噪声，所述噪声包括有：白噪声、高斯噪声、椒盐噪声等，因此需要通过滤波去噪，在邻域的中心坐标产生一个新像素，像素的值可以由预定义预算得到，滤波器的中心遍历每个像素，就生成了降噪后的图像，本发明中不限于滤波器的具体种类，可以采用中值滤波器或均值滤波器。

本方案中，所述去除干扰区域包括：内窥镜图像中的空腔区域、过度曝光区域。

需要说明的是，在本发明中干扰区域还包括图像检测感兴趣区域的周边区，在一个具体的实施例中，可以以图像中心为圆心，以设定的像素长度为直径作圆，圆周以外的部分则为周边区域，所述的内窥镜图像中的空腔区域在内窥图像中一般显示为黑色，不含有任何有用信息，所述过度曝光区域为亮度很高的反光区域，无法分别有效信息，需要说明的是，通过去除干扰区域能够有效的减少干扰区域对检测的影响，同时可以减少图像数据，降低计算量。

需要说明的是，在待检测的内窥镜图像中，正常的组织为背景区域，出血区域和背景区域在饱和度有明显的区分，本发明利用饱和度做模板来进行图像分割。

如图2所示为rgb图像进行图像分割流程图。

本方案中，构建二值模板对预处理后的rgb图像进行图像分割过程为：

s202计算预处理后的rgb图像饱和度分量；

s204将最大饱和度的15％作为阈值生成二值模板；

s206将预处理后的rgb图像的与二值模板相乘得到分割图像。

需要说明的是，在本发明中rgb图像中大于阈值的像素设为1即显示为白色，小于阈值的像素设置为0显示为黑色。

本方案中，所属设置标准出血区域图像像素像素值a，计算rgb各分割图像的平均像素向量x，计算标准出血区域图像像素像素值rgb各分割图像的平均像素向量的相似度，相似度值表达式

本方案中，所述出血区域检测模型为预设的基于神经网络的出血区域检测模型，其输出结果为出血图像或非出血图像。

需要说明的是，在一个具体的实施例中，所述基于神经网络的出血区域检测模型包括有：特征提取模块、特征融合模块、初步检测模块、分类输出模块，所述特征提取模块用于对输入的图像进行特征的分别提取，所述特征融合模块用于将提取的特征进行融合构建融合特征向量，所述初步检测模块检测图像的出血区域并输出，分类输出模块将初步检测结果进行分类输出。需要说明的是，本发明中对基于神经网络的出血区域检测模型进行预先训练，首选获取内窥镜图像构建内窥镜图像数据集，对内窥镜图像数据集的数据扩增，将扩增后的内窥镜数据集按照预设的比例分为训练集和测试集；分别利用训练集和测试集对模型进行训练。

如图3所示为内窥镜出血区域的动态智能检测系统框图，本发明第二方面提供了一种内窥镜出血区域的动态智能检测系统，包括存储器31和处理器32，所述存储器中包括一种内窥镜出血区域的动态智能检测方法程序，所述一种内窥镜出血区域的动态智能检测方法程序被所述处理器执行时实现如下步骤：

获取内窥镜图像并利用线性插值算法将图像转化为rgb图像；

将rgb图像进行预处理，所述预处理包括滤波去噪、去除干扰区域；

构建二值模板对预处理后的rgb图像进行图像分割；

设置标准出血区域图像素像素值，计算rgb各分割图像的平均像素向量，计算标准出血区域图像素像素值rgb各分割图像的平均像素向量的相似度；

若相似度大于预设值的则将分割的图像输入预设的预设的出血区域检测模型，输出出血检测结果。

在一个具体的实施例中，内窥镜图像的可以通过多种内窥镜取得，如硬管式内窥镜、纤维内窥镜、电子内窥镜，所述纤维内窥镜：由内窥镜镜体和冷光源两部分组成，镜体内有两条光导纤维束:一条叫光束，另一条叫像束，一端对准目镜，另一端通过物镜片对准被观测物表面，医生通过目镜能够非常直观地看到脏器表面的情况，便于及时准确地诊断病情。

所述电子内窥镜：不再以光纤传像，而代之以光敏集成电路摄像系统，主要所能显示的不但影像质量好，光亮度强，而且图像大，可以检查出更细小的病变，而且电子内窥镜的外径更细，图像更加清晰和直观，操作方便。

本方案中，所述利用线性插值算法将图像转化为rgb图像是采用基于临域的线性插值算法。

需要说明的是，通过内窥镜获取的图像需要进一步转换为标准的rgb彩色图像，例如内窥镜获取的是拜尔彩色阵列，则需要为每一个像素插入失去的颜色成分，常用的差值方法包括有：邻域法、线性插值法、双线性插值法、三次样条插值法等，本发明通过采用基于多临域的线性插值法，将像素在各个方向的跃变趋势加以考虑，保留了图像的高频分量，进而细节得以保护。

本方案中，所述滤波处理为均值滤波处理。

在对获取的内窥图像进行格式转化之后，图像之中会有大量的噪声，所述噪声包括有：白噪声、高斯噪声、椒盐噪声等，因此需要通过滤波去噪，在邻域的中心坐标产生一个新像素，像素的值可以由预定义预算得到，滤波器的中心遍历每个像素，就生成了降噪后的图像，本发明中不限于滤波器的具体种类，可以采用中值滤波器或均值滤波器。

本方案中，所述去除干扰区域包括：内窥镜图像中的空腔区域、过度曝光区域。

需要说明的是，在本发明中干扰区域还包括图像检测感兴趣区域的周边区，在一个具体的实施例中，可以以图像中心为圆心，以设定的像素长度为直径作圆，圆周以外的部分则为周边区域，所述的内窥镜图像中的空腔区域在内窥图像中一般显示为黑色，不含有任何有用信息，所述过度曝光区域为亮度很高的反光区域，无法分别有效信息，需要说明的是，通过去除干扰区域能够有效的减少干扰区域对检测的影响，同时可以减少图像数据，降低计算量。

需要说明的是，在待检测的内窥镜图像中，正常的组织为背景，出血区域和背景区域在饱和度有明显的区分，本发明利用饱和度做模板来进行图像分割。

本方案中，构建二值模板对预处理后的rgb图像进行图像分割过程为：

计算预处理后的rgb图像饱和度分量；

将最大饱和度的15％作为阈值生成二值模板；

将预处理后的rgb图像的与二值模板相乘得到分割图像。

需要说明的是，在本发明中rgb图像中大于阈值的像素设为1即显示为白色，小于阈值的像素设置为0显示为黑色。

本方案中，所属设置标准出血区域图像像素值a，计算rgb各分割图像的平均像素向量x，计算标准出血区域图像像素值rgb各分割图像的平均像素向量的相似度，相似度值表达式

本方案中，所述出血区域检测模型为预设的基于神经网络的出血区域检测模型，其输出结果为出血图像或非出血图像。

需要说明的是，在一个具体的实施例中，所述基于神经网络的出血区域检测模型包括有：特征提取模块、特征融合模块、初步检测模块、分类输出模块，所述特征提取模块用于对输入的图像进行特征的分别提取，所述特征融合模块用于将提取的特征进行融合构建融合特征向量，所述初步检测模块检测图像的出血区域并输出，分类输出模块将初步检测结果进行分类输出。需要说明的是，本发明中对基于神经网络的出血区域检测模型进行预先训练，首选获取内窥镜图像构建内窥镜图像数据集，对内窥镜图像数据集的数据扩增，将扩增后的内窥镜数据集按照预设的比例分为训练集和测试集；分别利用训练集和测试集对模型进行训练。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中包括一种内窥镜出血区域的动态智能检测方法程序，所述一种内窥镜出血区域的动态智能检测方法程序被处理器执行时，实现所述的一种内窥镜出血区域的动态智能检测方法的步骤。

本发明中所述种内窥镜出血区域的动态智能检测方法包括有以下步骤：

获取内窥镜图像并利用线性插值算法将图像转化为rgb图像；

将rgb图像进行预处理，所述预处理包括滤波去噪、去除干扰区域；

构建二值模板对预处理后的rgb图像进行图像分割；

设置标准出血区域图像像素值，计算rgb各分割图像的平均像素向量，计算标准出血区域图像像素值rgb各分割图像的平均像素向量的相似度；

若相似度大于预设值的则将分割的图像输入预设的预设的出血区域检测模型，输出出血检测结果。

在一个具体的实施例中，内窥镜图像的可以通过多种内窥镜取得，如硬管式内窥镜、纤维内窥镜、电子内窥镜，所述纤维内窥镜：由内窥镜镜体和冷光源两部分组成，镜体内有两条光导纤维束:一条叫光束，另一条叫像束，一端对准目镜，另一端通过物镜片对准被观测物表面，医生通过目镜能够非常直观地看到脏器表面的情况，便于及时准确地诊断病情。

所述电子内窥镜：不再以光纤传像，而代之以光敏集成电路摄像系统，主要所能显示的不但影像质量好，光亮度强，而且图像大，可以检查出更细小的病变，而且电子内窥镜的外径更细，图像更加清晰和直观，操作方便。

本方案中，所述利用线性插值算法将图像转化为rgb图像是采用基于临域的线性插值算法。

需要说明的是，通过内窥镜获取的图像需要进一步转换为标准的rgb彩色图像，例如内窥镜获取的是拜尔彩色阵列，则需要为每一个像素插入失去的颜色成分，常用的差值方法包括有：邻域法、线性插值法、双线性插值法、三次样条插值法等，本发明通过采用基于多临域的线性插值法，将像素在各个方向的跃变趋势加以考虑，保留了图像的高频分量，进而细节得以保护。

本方案中，所述滤波处理为均值滤波处理。

在对获取的内窥图像进行格式转化之后，图像之中会有大量的噪声，所述噪声包括有：白噪声、高斯噪声、椒盐噪声等，因此需要通过滤波去噪，在邻域的中心坐标产生一个新像素，像素的值可以由预定义预算得到，滤波器的中心遍历每个像素，就生成了降噪后的图像，本发明中不限于滤波器的具体种类，可以采用中值滤波器或均值滤波器。

本方案中，所述去除干扰区域包括：内窥镜图像中的空腔区域、过度曝光区域。

需要说明的是，在本发明中干扰区域还包括图像检测感兴趣区域的周边区，在一个具体的实施例中，可以以图像中心为圆心，以设定的像素长度为直径作圆，圆周以外的部分则为周边区域，所述的内窥镜图像中的空腔区域在内窥图像中一般显示为黑色，不含有任何有用信息，所述过度曝光区域为亮度很高的反光区域，无法分别有效信息，需要说明的是，通过去除干扰区域能够有效的减少干扰区域对检测的影响，同时可以减少图像数据，降低计算量。

需要说明的是，在待检测的内窥镜图像中，正常的组织为背景，出血区域和背景区域在饱和度有明显的区分，本发明利用饱和度做模板来进行图像分割。

本方案中，构建二值模板对预处理后的rgb图像进行图像分割过程为：

计算预处理后的rgb图像饱和度分量；

将最大饱和度的15％作为阈值生成二值模板；

将预处理后的rgb图像的与二值模板相乘得到分割图像。

需要说明的是，在本发明中rgb图像中大于阈值的像素设为1即显示为白色，小于阈值的像素设置为0显示为黑色。

本方案中，所属设置标准出血区域图像像素值a，计算rgb各分割图像的平均像素向x，计算标准出血区域图像素像素值rgb各分割图像的平均像素向量的相似度，相似度值表达式

本方案中，所述出血区域检测模型为预设的基于神经网络的出血区域检测模型，其输出结果为出血图像或非出血图像。

需要说明的是，在一个具体的实施例中，所述基于神经网络的出血区域检测模型包括有：特征提取模块、特征融合模块、初步检测模块、分类输出模块，所述特征提取模块用于对输入的图像进行特征的分别提取，所述特征融合模块用于将提取的特征进行融合构建融合特征向量，所述初步检测模块检测图像的出血区域并输出，分类输出模块将初步检测结果进行分类输出。需要说明的是，本发明中对基于神经网络的出血区域检测模型进行预先训练，首选获取内窥镜图像构建内窥镜图像数据集，对内窥镜图像数据集的数据扩增，将扩增后的内窥镜数据集按照预设的比例分为训练集和测试集；分别利用训练集和测试集对模型进行训练。

为了更好的解释本发明的技术方案，下面将通过几个实施例进行详细说明对室内教学动作分析纠正方法的具体步骤。

本发明公开的一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质，所述方法通过对内窥镜图像预处理，进而对图像进行分割，通过计算分割图像的平均像素向量与标准出血区域图像像素值计算相似度，并进一步通过预设的出血区域检测模型对出血区域进行检测，检测速度快，准确度高。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。