本发明涉及一种胶囊内镜图像处理和分析方法，属于医疗检测分析领域。
背景技术：
：：胃癌是癌症致死率最高之一，亚洲胃癌发病率远高于欧洲和北美。研究表明早期诊断出常见消化道疾病能够有效减少胃癌的发病率，其中包括消化道炎症、溃疡、息肉和早期胃癌等等。胶囊内窥镜(wce)技术是将电源、摄像、传输等功能高度集成的无线视频拍摄胶囊。与传统内窥镜技术相比，能拍摄整个消化道实时图像，并且整个过程没有任何不适感，患者整个消化道可呈现在显示器上，因此在临床上得以广泛应用。常用胶囊内镜不具备磁控功能，在消化道中完全随肠胃蠕动而被动式运动，从胶囊内镜进入口腔至排除体外时长可达8小时以上，以每秒2帧图像为例，则一次检测可产生50000以上张图片。设备拍摄角度完全被动，有很大随机性，拍摄过程可能被积液、消化物等肠道内容物遮挡，也可能拍摄到黑暗的胃肠通道，或者摄像头贴近肠道而无法拍摄等。为了帮助医生诊断，近年来出现了一些基于wce的计算机辅助决策系统。主要分为两种目的，第一种是为了提升wce审阅速度而进行wce视频缩减。第二种目的就是针对具体疾病进行图像检测。目前对wce视频辅助的方法均是基于经典图像表示方法，需要针对每一种病灶设计独有的识别方法，算法间的兼容性差，只能识别某一种病灶。因此，本文针对消化道系统颜色相近这一特质，提取最佳输入特征，设计卷积神经网络进行胶囊内镜辅助处理。技术实现要素：本发明提供一种胶囊内镜图像处理和分析方法，以解决目前基于经典图像表示方法需要针对每一种病灶设计独有的识别方法，算法间的兼容性差的问题。为解决上述问题，拟采用这样一种胶囊内镜图像处理和分析方法，包括：1)图像rgb通道分析：分析胶囊内镜rgb通道特征，通过其直方图的标准差和均值评价信息特征，选择信息丰富的两个通道作为网络输入；2)对比度增强：对灰度图像进行全局直方图均衡化、伽玛变换或拉普拉斯变换，作为第三通道网络输入；3)网络设计：根据胶囊内镜数据情况，设计卷积神经网络；4)将1)中信息最丰富的2个颜色通道与2)中的第三通道组合成3通道输入，输入到卷积网络中训练和识别。前述方法的步骤1)中，利用颜色直方图分析r、g、b通道，从而选出包含信息最丰富的两通道作为网络的输入，分析如下：(1)掩膜处理：截取50×50大小的掩膜进行小范围内颜色分析；(2)分析区域：对高曝光区、正常曝光区和低曝光区进行分析；(3)图像类别：分为健康图像、息肉图像和溃疡图像；(4)颜色直方图分析：根据直方图中每个颜色值与相邻颜色值间像素数量的差异，求出每个通道的标准差与均值，通过标准差和均值来剖析直方图；通过python语言及其组件来完成图像直方图的建立。前述方法的步骤2)中，对灰度图像进行全局直方图均衡化作为网络输入；从人体感官来看待一幅图像，如果该图像直方图分布均匀，则总体感觉较为协调，且感官信息比较丰富，利于人眼判断。全局直方图均衡化通过调整直方图灰度值集中区域，来增强对比度。设i(x,y)为输入图像(x,y)处灰度值，对应直方图均衡化后的输出为o(x,y)。i(x,y)与o(x,y)间的映射关系为：其中fk为灰度变换函数，k＝0,1,…,255。n为总像素量，ni为灰度值i所包含的像素数量，p(ri)为图像灰度值概率密度函数。从映射函数可知，直方图均衡化增加灰度动态范围，调整原图像灰度分布，提升对比度，突出细节信息，使人眼能够更直观读取图像信息。前述方法的步骤3)中，卷积神经网络结构：1)网络输入：神经网络的三通道输入分别为r通道、g通道、直方图均衡化灰度通道；对数据进行增广，采用如下两种方法:(1)利用opencv中进行图像水平和竖直的翻转；(2)对原图进行抠取，在每张大小为256*240的原图上随机抠取3张224*224大小的区域，通过两种数据增广，达到了网络的数据量要求；2)网络结构：设计适用于胶囊内镜图像的卷积神经网络，该网络共10层，包含了7个卷积层与3个全连接层，采用多个3*3卷积核实现高维特征提取，2*2池化层实现特征筛选，结合实际的训练数据量，全连接层采用256个神经元。与现有技术相比，本发明提供了一种用于检测胶囊内镜图像中息肉、溃疡、正常以及其他病灶的算法,平均准确率达到了96.8％。与同一个神经网络下调整其他不同输入方法相比，准确率至少高出2％；与经典的机器视觉方法相比，平均准确率至少高出16.73％，检测速度达到了68.6图/秒，能够15分钟内检测出一个病人完整的内镜图像，在特征检测与预测方面胜于经典机器视觉方法；不同输入对于数据量较小时的网络训练效果有很大影响。提取图像r和g通道，采用全局直方图均衡化手段处理灰度图以提高其对比度，将三者作为网络输入，网络结构是将vgg网络结合自身数据限制进行相应修改，试验结果证实了这种神经网络训练前先行增强图像方法的优越性，可以推广应用到其他消化道内镜图像的识别中。附图说明图1是胶囊内镜直方图中，高曝区直方图；图2是胶囊内镜直方图中，常曝光区直方图；图3是胶囊内镜直方图中，低曝光区直方图；图4是胶囊内镜直方图中，正常直方图；图5是胶囊内镜直方图中，息肉直方图；图6是胶囊内镜直方图中，溃疡直方图；图7是伽玛变换前后图像；图8是拉普拉斯变换前后图像。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。试验例1、图像rgb通道分析分析人体皮肤组织、内脏表皮组织、肠道组织等的颜色信息，发现r通道的颜色变化强于g和b通道，人体不同皮肤组织之间的颜色差异也主要由r通道表现，r通道包含了更加丰富的颜色信息。因此，舍弃三通道中颜色特征最不明显的一个通道，选择剩余两个通道作为网络的输入；颜色直方图是用来统计每个颜色通道中每个颜色值对应的像素数量，其最大优点在于能够快速对任意图像区域进行颜色直方图统计而且该特征具有旋转不变性。由此，我们利用颜色直方图分析r、g、b通道，从而选出包含信息最丰富的两通道。分析如下。(1)掩膜处理：息肉与溃疡在胶囊内镜中显示的尺寸较小，通常在30×30以内，因此截取50×50大小的掩膜进行小范围内颜色分析；(2)分析区域：胶囊内镜图像存在明暗不均的问题，因此对高曝光区、正常曝光区和低曝光区进行分析；(3)图像类别：分为健康图像、息肉图像和溃疡图像；(4)颜色直方图分析：根据直方图中每个颜色值与相邻颜色值间像素数量的差异，求出每个通道的标准差与均值，通过标准差和均值来剖析直方图。通过python语言及其组件来完成图像直方图的建立。由图1、图2、图3可以直观地看出胶囊内镜图像在各种曝光条件下主要差异存在于g、r通道。高曝光区，g通道颜色值集中在100-140，r通道颜色值越高则包含像素量越多；低曝光区，g通道颜色值集中在50-100，r通道颜色值则集中在40-130，且像素量在颜色值为50附近处最多。由图4、图5、图6可以直观看出，正常图像和患息肉疾病的图像相比，r、g、b三通道的颜色值之间存在差异，同时局部颜色值之间的像素数量存在显著差异。正常图像和溃疡图像之间差异主要由像素量之间的急剧波动。上述为直方图直观分析，下面进行量化分析。颜色通道的均值可以用来体现wce图像全局颜色差异，利于亮度、组织特征提取；标准差可以体现图像的梯度差异，从而利于病灶特征提取。因此，我们人工地选取了9种亮度与疾病组合，每组包含30幅图像，计算其通道的均值和标准差(见表1)从而量化其差异。统计实际wce视频中连续的500幅图像，正常曝光、高曝光和欠曝光图像比例约为0.85：0.05：0.1。因此，将普通曝光、高曝光和欠曝光直方图所有分类的均值分别乘以权重0.85、0.05和0.1再进行相加，标准差同样处理，结果见表2。表2中，g和r通道像素颜色值的标准差和均值高出b通道10％以上，反映出g和r通道细节特征更丰富，因而取g和r通道为网络输入，减少冗余信息量。表19种组合下直方图的标准差与均值tablelstandarddeviationandmeanofhistogramof9groups表2rgb三通道评价table2evaluationofrgbchannel2、图像对比度增强方法分析胶囊内镜工作于食管、胃、小肠、大肠等，各部位的颜色信息、肠道直径、运动状态各不相同，导致内镜拍摄时对焦不准确，画面存在一定程度的模糊。此外，病灶物理特征也不明显，如小肠与息肉均呈粉红色，即使经验丰富的医生也未必能够完全判断病变。因此有必要对图像进行增强，本实验例考虑胶囊内镜灰度图像对比度的增强，对比全局直方图均衡化、伽玛变换、拉普拉斯变换三种算法。三种算法均在opencv中实现。2.1全局直方图均衡化从人体感官来看待一幅图像，如果该图像直方图分布均匀，则总体感觉较为协调，且感官信息比较丰富，利于人眼判断。全局直方图均衡化通过调整直方图灰度值集中区域，来增强对比度，设i(x,y)为输入图像(x,y)处灰度值，对应直方图均衡化后的输出为o(x,y)，i(x,y)与o(x,y)间的映射关系为：其中fk为灰度变换函数，k＝0,1,…,255。n为总像素量，ni为灰度值i所包含的像素数量，p(ri)为图像灰度值概率密度函数。从映射函数可知，直方图均衡化增加灰度动态范围，调整原图像灰度分布，提升对比度，突出细节信息，使人眼能够更直观读取图像信息。处理前后对比可知，息肉通过直方图均衡化之后，息肉的表面亮度增加，边缘亮度降低，对比度得到了增强，与周围健康组织形成了鲜明界限。但是从原始直方图和均衡化后的直方图可知，由于灰度值较低部分和灰度值较高部分的像素量扩散，产生了噪声，使画面细节信息丢失。2.2伽玛变换人眼对于外界光源的感光值随亮度增加或减少，人眼分辨亮度信息的能力逐渐减弱，胶囊内镜图像曝光不足或过曝，会导致部分灰度值保存为相似值而丢失信息，伽玛变换对于修正异常灰度值有良好效果，可保留或去掉异常灰度信息，增强图像对比度，伽玛变换表达式为：o＝ciγ(2)其中c和γ为常数，i为归一化到[0,1]后的输入灰度值，o为输出灰度值，γ＜1，能增强了图像的低灰度值区域；γ＞1，增强了高灰度值区域，分析500幅胶囊内镜图像可知，其所拍摄的图片中欠曝光多于过曝光，加之图像通常处于中低灰度值范围，因此采用γ＝0.1，…，0.9进行测试，最好结果γ＝0.8如图7所示。从图7看出，胶囊内镜本身颜色阈较单一，使得息肉图像各区域灰度值变化不够明显，伽玛变换图像对比图提升也就不够。2.3拉普拉斯变换胶囊内镜拍摄的图像，尤其对于息肉来说，息肉组织与周围正常组织之间的区分不那么明显，此时可以用到拉普拉斯变换，它可加强灰度梯度大的区域，提升细节表现能力，提高对比度，同时对于其他区域的灰度值变化很小，利于病变组织的识别，变换效果如图8所示。图8可以看出，由于胶囊内镜图像自身灰度梯度较小，包含的图像信息较少，经过拉普拉斯变换处理后，人眼已经看不出锐化后的息肉，对比度提升同样不够明显。通过上述比较，可知三种增强方法对于胶囊内镜图像对比度的提升效果最好的是全局直方图均衡化，因此直方图均衡化后的灰度图像作为神经网络的输入，更有利于特征的提取。3卷积神经网络结构3.1网络输入：神经网络的三通道输入分别为r通道、g通道、直方图均衡化灰度通道。本实验例神经网络深度为10，图像数据量约2.2万幅，不足以保证模型的有效训练。因此需要对数据进行增广，主要采用了两种方法:(1)利用opencv中进行图像水平和竖直的翻转；(2)对原图进行抠取，在每张大小为256*240的原图上随机抠取3张224*224大小的区域，通过两种数据增广，达到了网络的数据量要求。3.2网络结构目前广泛使用的网络训练方法存在两个缺陷：(1)经典卷积神经网络(alexnet、vggnet、resnet等)训练要求大量已标注的数据，而医疗图像的标注成本极高，数据量远远不够；(2)网络预训练迁移方法存在图像与预训练图像差异巨大的问题，准确率不高。为此，本实验例借鉴vgg小卷积核实现大感受野、小卷积核实现深层网络的特点，设计适用于胶囊内镜图像的卷积神经网络。该网络共10层，包含了7个卷积层与3个全连接层，本实验例的可视化类是目标较小的病灶而非一般的场景描述，因此采用多个3*3卷积核实现高维特征提取，2*2池化层实现特征筛选，结合实际的训练数据量，全连接层没用采用大量神经元，而是采用256个神经元，更加符合2万幅图像的训练。网络架构参数如表3所示。4实验与结果4.1实验室据本实验例所采用的数据为贵州省人民医院2012年至2016年保存的胶囊内镜图像，所涉及的患病个体为100，图像总量超过了500万张，数据的标注工作分为三步：(1)医生根据之前记录的病例，首先确定病人所患的疾病，如息肉、溃疡等，再从胶囊内镜视频中筛选出患该病的图像；(2)患病图像由专业医生进行逐个标注，标注分类为息肉、溃疡、正常和未知，未知分类当中包含了其余的患病情况，最终得到的标注样本有息肉、溃疡、正常和未知各4569、2655、11919、和2912幅图像，从中各随机抽取1/5作为测试集，剩下的作为训练集。该实验在inteli7-7700hq处理器，invidiagtx1070显卡以及16g内存的计算机中完成，为了解本算法的检测效果，我们将其进行两种对比试验，与本实验例前述提出的几种预处理之间对比，与经典图像表示和支持向量机联合的对比。4.1几种预处理比较第一个试验中我们评估了r、g、b三个通道与直方图均衡化、伽玛变换以及拉普拉斯变换组合为网络输出的预测效果,该试验基于同样的神经网络，九种组合的识别准确率见表4,其中直方图均衡化、伽玛变换、拉普拉斯变换分别用his、gama、lap表示。九种预测结果中，rg+his组合的准确率在各种目标下都是最高的，符合之前的预期，平均准确率可达96.8％，可以观察到，r通道组合在相同条件下对于息肉的预测准确率都比g和b通道高，因为息肉病灶与正常组织之间的颜色差异主要是r分量上的细微差异，溃疡与正常组织间存在明显的颜色差异，因此预测准确率都比息肉高，直方图均衡化、伽玛变换和拉普拉斯变换的效果图在上文已看到，三种方法对于对比度的提升最大的是直方图均衡化，从表4得以验证，相同条件下，直方图均衡化方法的预测准确率均高于伽玛变换和拉普拉斯变换，其中直方图均衡化方法和伽玛变换方法的效果比较接近。4.2与经典机器视觉方法比较试验机器视觉中经典的特征提取有surf、fast等，特征提取之后与支持向量机进行结合以实现良好的分类，surf算法对旋转、尺度、亮度、噪声、视角等的变化具有一定鲁棒性，采用快速hessian方法来检测关键点，速度比sift快几倍，fast算法是通过比较检测点与周围16个像素之间信息差来判断其是否为角点的算法，速度较快。本实验例系统与上述两种算法的预测结果如表5所示。从表5看出，经典机器视觉特征检测方法能够实现的准确率不超过81％，而基于多层卷积神经网络的特征检测准确率超过95％，从单个检测目标来看，rg+his也具有绝对优势，surf和fast方法本身具备了一定的特征检测能力，结合svm之后检测能力提升还不够显著。表3网络架构参数table3networkarchitectureparameters表4九种组合的预测准确率(％)table4predictionaccuracyof9groups(％)表5rg+his与经典机器视觉方法对比(％)table5contrastbetweenrg+hisandclassicmachinevision(％)5总结本实验例提出了一种用于检测胶囊内镜图像中息肉、溃疡、正常以及其他病灶的算法，平均准确率达到了96.8％，与同一个神经网络下调整其他不同输入方法相比，准确率至少高出2％；与经典的机器视觉方法相比，平均准确率至少高出16.73％，检测速度达到了68.6图/秒，能够15分钟内检测出一个病人完整的内镜图像，本申请提出的算法在特征检测与预测方面胜于经典机器视觉方法；不同输入对于数据量较小时的网络训练效果有很大影响。本申请提出的算法法首先需要标注约2万胶囊内镜图像，然后通过数据增强方式将数据扩充至10万以上，也可以直接标注10万张不同的内镜图像，鉴于时间紧迫，本申请采用了前者；其次，提取图像r和g通道，采用全局直方图均衡化手段处理灰度图以提高其对比度，将三者作为网络输入，网络结构是将vgg网络结合自身数据限制进行相应修改，试验结果证实了这种神经网络训练前先行增强图像方法的优越性，可以推广应用到其他消化道内镜图像的识别中。当前第1页1 2 3 当前第1页1 2 3