一种内窥镜图像处理方法及系统与流程

本发明涉及图像处理技术领域，尤其是涉及一种内窥镜图像处理方法及系统。

背景技术：

消化道黏膜疾病以及由此进一步引发的消化道癌变是国民健康的最大杀手之一(约占我国全部恶性肿瘤发病率的60～70％)。根据美国癌症协会(americancancersociety)的统计显示，消化道黏膜瘤变(neoplasiametastasis)的早期检测和诊断是降低消化道癌变死亡率(尤其是肠癌)的关键因素：如果肠癌病人在瘤变的早期阶段得以发现并采取治疗措施，五年存活率通常可以超过90％；如果未能在早期发现而是任其发展到中晚期，病人的五年存活率仅有不足10％。依照传统，医生需要借助光纤式内窥镜插入病人体内进行观测消化道内部情况或进行活检，以检测病变并确定需要采取的措施。然而由于光纤式内窥镜的物理局限性，既为医生的操作带来了不便，也造成了病人的痛苦，甚至存在着内窥镜穿破肠壁造成感染或者死亡的危险。因此，许多患者由于恐惧而放弃检查，这对于食道癌、胃癌、肠癌(尤其是小肠、十二指肠等光纤式内窥镜难以达到的部位)等发病率极高的消化道疾病的预防和早期治疗非常不利。

目前临床上面出现一种低功耗可精确定位的多功能胶囊内窥镜，它提供了一种小型化、无痛苦、便捷的消化道检查方式。患者像服药一样用水将胶囊吞下，它即随着胃肠肌肉进行蠕动，通过内置的微型相机记录消化道内的病理图像，并将图像显示给医生为其诊断提供依据，但是由于胶囊内窥镜在体内靠肠道蠕动运动，经常碰到获取的图像模糊，有可能导致病理区域图像不清晰而没有办法准确诊断，针对胶囊内窥镜图像难以准确识别的问题，目前还没有专门的识别方法，大部分是靠医生肉眼进行识别，配合图像的去噪和增强，可以在一定程度上提高识别的准确率，但是工作量巨大，而且人工的识别难以避免错检和漏检，给疾病的诊断带来一定的难度。另外，胶囊内窥镜依靠胃肠道蠕动对人体消化道内壁进行拍摄，工作时间可维持6—8小时，单次检查将会产生3万—8万张图片，在消化道内拍摄过程中，在某些时刻其前进的速度比较缓慢，从而造成邻近图像之间无较大差异，产生了相似度高的大量冗余图片，这些冗余图片对于医生诊断疾病没有帮助且会耗费医生的时间；医生在大量图片中寻找病灶图片的难度较大，工作量较大。

技术实现要素：

本发明的目的在于克服上述技术不足，提出一种内窥镜图像处理方法及系统，解决现有技术中的上述技术问题。

为达到上述技术目的，本发明的技术方案提供一种内窥镜图像处理方法，包括：

s1、对内窥镜采集的若干图像进行预处理，预处理包括去噪声处理、图像增强处理；

s2、对预处理后的图像做hsv空间下的缺项曲线图，根据缺项曲线图将图像分类，删除分类中难以识别的图像；

s3、计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；

s4、训练病灶部位分类器，利用病灶部位分类器识别出含有病灶的图像以及标示出图像中的病灶部位。

本发明还提供一种内窥镜图像处理系统，包括：

预处理模块：对内窥镜采集的若干图像进行预处理，预处理包括去噪声处理、图像增强处理；

分类模块：对预处理后的图像做hsv空间下的缺项曲线图，根据缺项曲线图将图像分类，删除分类中难以识别的图像；

去重模块：计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；

病灶识别模块：训练病灶部位分类器，利用病灶部位分类器识别出含有病灶的图像以及标示出图像中的病灶部位。

与现有技术相比，本发明的有益效果包括：对预处理后的内窥镜图像进行分类，删除难以识别的图像，难以识别的图像很模糊，对病灶判断没有作用，将其删除可以减轻后续图像处理工作量；计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像，相似度较高的冗余图像同样对病灶判断没有作用，将其删除，保留有效图像，可以减轻后续图像处理工作量，加快图像分析处理的速度，减轻医生工作量；训练病灶部位分类器，利用病灶部位分类器识别出含有病灶的图像以及标示出图像中的病灶部位，可以辅助医生读片，提升医生效率，防止医生由于工作量太大而错检、漏检。

附图说明

图1是本发明提供的一种内窥镜图像处理方法流程图；

图2是本发明提供的一种内窥镜图像处理系统结构框图；

图3是图2中去重模块的结构框图。

附图中：1、内窥镜图像处理系统，11、预处理模块，12、分类模块，13、去重模块，14、病灶识别模块，131、特征向量提取单元，132、相似度计算单元，133、删除单元。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种内窥镜图像处理方法，包括：

s1、对内窥镜采集的若干图像进行预处理，预处理包括去噪声处理、图像增强处理；

s2、对预处理后的图像做hsv空间下的缺项曲线图，根据缺项曲线图将图像分类，删除分类中难以识别的图像；

s3、计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；

s4、将去除冗余图像后的所有图像提供给医生读片，并利用预先训练好的病灶部位分类器识别出含有病灶的图像以及标示出图像中的病灶部位，辅助医生读片。

本发明所述的内窥镜图像处理方法，步骤s1中图像增强处理的步骤为：

将图像从红、绿、蓝rgb颜色空间转换到色调、饱和度、亮度hsi颜色空间；

保持色调分量不变，分别对亮度分量和饱和度分量进行增强处理，得到处理后的图像；

将处理后的图像从hsi颜色空间转换到rgb颜色空间；

具体的，利用retinex视觉模型对图像的亮度分量进行局部增强处理，得到局部增强处理后的图像，然后利用gamma变换对局部增强处理后的图像进行全局亮度调整；根据饱和度分量与亮度分量的关系，对饱和度分量进行增强处理。

本发明所述的内窥镜图像处理方法，步骤s2中：

对预处理后的图像做hsv空间下的缺项曲线图，hsv中三个通道同时参与识别的结果比单一通道参与识别的结果更为准确，三个通道包括：通道h、通道s、通道v。其中，通道h代表色相，通道s代表饱和度，通道v代表明度。大量的实践经验表明，正常的图像、容易识别的图像、难以识别的图像三类图像hsv空间下的缺项曲线图相差2个百分点左右，因此可以很好的设定阈值；

根据缺项曲线图将图像分类的具体步骤为：

设定缺项曲线图的阈值，根据缺项曲线图阈值将预处理后的图像分类为正常的图像、容易识别的图像、难以识别的图像；

缺项曲线图阈值设置为正常的图像、容易识别的图像、难以识别的图像三类图像hsv空间下的缺项曲线图相差2个百分点；正常的图像、容易识别的图像、难以识别的图像的清晰度逐渐降低，正常的图像较清晰，难以识别的图像很模糊；

分类出难以识别的图像将其删除；

对于分类出的难以识别的图像，还有一种处理方式，例如，可以再进一步处理，将难以识别的图像再次进行预处理，并重新进行分类，筛选出容易识别的图像、难以识别的图像，然后将重新分类的难以识别的图像删除，保留其他图像。

本发明所述的内窥镜图像处理方法，步骤s3包括：

s31、采用hsv颜色特征直方图与灰度共生矩阵(graylevelco-occurrencematrix,glcm)分别提取各图像的颜色特征向量与纹理特征向量；

s32、对提取出的图像的颜色特征向量与纹理特征向量，通过计算图像的颜色特征归一化互信息量和纹理特征均方误差分别作为颜色特征相似度与纹理特征相似度；

s33、去除颜色特征相似度、纹理特征相似度在相似度阈值以上的冗余图像。

本发明所述的内窥镜图像处理方法，步骤s4中训练病灶部位分类器的步骤为：

针对不同的病症训练不同的病灶部位分类器；选择多个国家、多个年龄段的正常及带有病理的内镜照片作为训练样本，根据特征点使用监督或者半监督式训练病灶部位分类器。

本发明还提供一种内窥镜图像处理系统1，包括：

预处理模块11：对内窥镜采集的若干图像进行预处理，预处理包括去噪声处理、图像增强处理；

分类模块12：对预处理后的图像做hsv空间下的缺项曲线图，根据缺项曲线图将图像分类，删除分类中难以识别的图像；

去重模块13：计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像；

病灶识别模块14：将去除冗余图像后的所有图像提供给医生读片，并利用预先训练好的病灶部位分类器识别出含有病灶的图像以及标示出图像中的病灶部位，辅助医生读片。

本发明所述的内窥镜图像处理系统1，预处理模块11中：

将图像从红、绿、蓝rgb颜色空间转换到色调、饱和度、亮度hsi颜色空间；

保持色调分量不变，分别对亮度分量和饱和度分量进行增强处理，得到处理后的图像；

将处理后的图像从hsi颜色空间转换到rgb颜色空间。

本发明所述的内窥镜图像处理系统1，分类模块12中：

设定缺项曲线图的阈值，根据缺项曲线图阈值将预处理后的图像分类为正常的图像、容易识别的图像、难以识别的图像；

缺项曲线图阈值设置为正常的图像、容易识别的图像、难以识别的图像三类图像hsv空间下的缺项曲线图相差2个百分点。

本发明所述的内窥镜图像处理系统1，去重模块13包括：

特征向量提取单元131：采用hsv颜色特征直方图与灰度共生矩阵(graylevelco-occurrencematrix,glcm)分别提取各图像的颜色特征向量与纹理特征向量；

相似度计算单元132：对提取出的图像的颜色特征向量与纹理特征向量，通过计算图像的颜色特征归一化互信息量和纹理特征均方误差分别作为颜色特征相似度与纹理特征相似度；

删除单元133：去除颜色特征相似度、纹理特征相似度在相似度阈值以上的冗余图像。

本发明所述的内窥镜图像处理系统1，病灶识别模块14中：

针对不同的病症训练不同的病灶部位分类器，选择多个国家、多个年龄段的正常及带有病理的内镜照片作为训练样本，根据特征点训练病灶部位分类器。

与现有技术相比，本发明的有益效果包括：对预处理后的内窥镜图像进行分类，删除难以识别的图像，难以识别的图像很模糊，对病灶判断没有作用，将其删除可以减轻后续图像处理工作量；计算各图像的相似度，去除相似度在相似度阈值以上的冗余图像，相似度较高的冗余图像同样对病灶判断没有作用，将其删除，保留有效图像，可以减轻后续图像处理工作量，加快图像分析处理的速度，减轻医生工作量；训练病灶部位分类器，利用病灶部位分类器识别出含有病灶的图像以及标示出图像中的病灶部位，可以辅助医生读片，提升医生效率，防止医生由于工作量太大而错检、漏检。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。