一种基于脉冲耦合神经网络的内窥图像中病灶识别方法
【专利摘要】一种基于视觉注意机制的内窥图像中病灶定位方法，包括如下步骤：视频分幅、图像预处理、面向视觉感知的颜色空间转换、疑似病灶区域定位、构造特征向量、采用脉冲耦合神经网络进行模式识别、区域转移、直到所有疑似病灶区域识别结束、病灶图像分类提取、重复以上步骤直至整个视频文件的内窥图像识别结束。本发明方法基于人类视觉注意机制的病灶区域定位和脉冲耦合神经网络进行模式识别，将提高病灶模式识别的准确度进而提高病灶模式内窥图像提取的准确度，降低临床医生的工作量。
【专利说明】
一种基于脉冲耦合神经网络的内窥图像中病灶识别方法
技术领域
[0001]本发明涉及医学图像模式识别分析领域，特别涉及一种人体胃肠道内窥检测系统的病灶图像模式识别方法。
【背景技术】
[0002]消化道疾病越来越严重地威胁着人类的健康，同时其他许多种类的疾病都可能由消化道系统的疾病直接或间接导致，消化道疾病的检查和诊断对人类的健康状况有着非常重要的意义。检测消化道疾病最好的方法就是直接观测胃肠道，所以内窥镜是比较直接有效的方法。然而传统的插入式内窥镜如肠镜、胃镜等，由于机械插入的原因无法深入肠道，使小肠部分成为检测盲区，同时插入式内窥镜使用不方便，会给病人带来疼痛，而且有肠穿孔的危险。随着半导体技术、传感技术、LED照明技术、无线通信与微控制技术的发展，为无线胶囊内窥镜的出现和普及奠定了基础。无线胶囊内窥镜由微型图像传感器、照明模块、无线发射模块、电源管理模块等组成。病人吞服后在人体胃肠道蠕动作用下胶囊内窥镜顺着消化肠道向下运动。在运动过程中，胶囊前端的玻璃罩撑开肠道并紧贴肠壁，照明模块照亮视场内的肠壁，同时图像传感器通过短焦距镜头获得肠道内壁的图像，并将图像数据发射出体外。胶囊内窥镜持续地将胃肠道图像传出体外，直到由肛门被自然排出人体。整个过程无需人工干预，不会为病人带来任何疼痛与不便，而且不存在检测盲区，实现了无痛无创全消化道检测。正是由于这些优点胶囊内窥镜作为一种新型的消化道检测技术越来越多地在临床中得到应用。
[0003]胶囊内窥镜在人体内的工作时间大约为8小时，患有胃肠道疾病的人代谢时间会更长，所以一次检测将产生至少2 X 3600X8 = 57600帧图像。在如此巨大数量的视频图像中寻找病灶或病理特征是一件非常耗时耗力的工作，即使是经验丰富的专家也至少要花费2小时的时间。这不仅浪费时间，而且由于视觉疲劳会出现漏检的情况。所以利用图像处理与模式识别技术实现计算机智能出血图象识别是一个必然的趋势。由于内窥图像为人体消化道图像，情况非常复杂，病灶特点也多变，采用常用的数字图像处理与模式识别算法很难应付复杂的内窥图像和多变的病灶。脉冲耦合神经网络来自于哺乳动物视觉神经的工作机理，相对于传统的BP、RBF等神经网络模型，该模型在图像处理领域有着与生倶来的先天优势，并已在部分应用中表现出了优势，在病灶智能识别中具有巨大应用潜力。
[0004]现有的对于人体胃肠道内窥检测技术都集中在胶囊内窥镜检测本体上，而病灶图像的处理与模式识别研究相对滞后，已成为胶囊内窥镜检测系统的制约瓶颈。而且图像病灶识别技术都集中在具体病灶的模式识上，但由于病灶的多变性，即使是同一种类的病灶其特征也非常多变。而且常规的数字图像处理和模式识别算法也难以应对内容复杂的内窥图像，导致识别方法特异度和灵敏度不高。
【发明内容】
[0005]为了克服现有病灶模式难以识别提取的难题，本发明基于脉冲耦合神经网络与视觉注意机制的定位方法，将不区分病灶的具体类型，提供了一种基于脉冲耦合神经网络的内窥图像中病灶识别方法，该方法可准确地将内窥图像分类为正常模式和病灶模式，并将识别的内窥图像病灶区域进行标记供临床医生做进一步的判断，降低临床医生的工作量。
[0006]为了解决上述技术问题提供的技术方案为:
[0007]—种基于脉冲耦合神经网络的内窥图像中病灶识别方法，所述识别方法包括如下步骤:
[0008]a.视频分幅
[0009]将内窥检测视频文件输入，分幅得到位图格式的单幅内窥图像；
[0010]b.图像预处理
[0011]将步骤a所得到的位图图像按内窥镜的视野参数将图像的边沿黑边平滑处理，得到边界清晰的内窥图像，然后采用高通滤波器(例如巴特沃夫高通滤波器)滤波去噪，再采用中值滤波器进行滤波增强，去掉待处理图像区域的噪声并保留图像高频部分；
[0012]c.面向视觉感知的颜色空间转换
[0013]步骤b中得到的位图图像为面向设备的RGB颜色空间，将其转换到面向视觉感知的Luv颜色空间；
[OOM] d.疑似病灶区域定位
[0015]以步骤c得到的Luv颜色空间图像的u、v分量作为输入，计算颜色特征显著图uv(c，s)，以L分量作为输入计算亮度特征显著图L(c，s)，然后使用拉普拉斯变换算法和虚连方法，得到图像中显著内容的边沿区域，计算轮廓特征显著图0(c，s)和纹理特征图显著T(c，8)，将所得到的颜色特征显著图1^((3，8)，亮度特征显著图1^((3，8)，轮廓特征显著图0((3，8)和纹理特征显著图T(c，s)分别在多尺度下进行规则化运算并融合，得到图像的显著度图S，然后采用蚀刻算法过滤掉面积较小的显著区域，然后按照区域面积大小的顺序排列显著度程度，即疑似病灶区域；
[0016]e.构造特征向量
[0017]以步骤d所得到的显著图S为输入，在疑似病灶区域内构造像素颜色特征向量V(Uv)和亮度特征向量V(L)，计算并构造区域轮廓特征向量V(O)纹理特征向量V(T);
[0018]f.病灶区域进行模式识别
[0019]以步骤e所构建的特征向量作为输入，采用脉冲耦合神经网络进行模式识别，得到待识别疑似区域的病灶模式，即正常模式和病灶模式；
[0020]g.区域转移
[0021]按照图像中疑似病灶区域大小的顺序分别进行识别，如果还有其他疑似病灶区域，重复步骤e、f进行模式识别，直到所有疑似病灶区域识别结束；
[0022]h.病灶图像分类提取
[0023]将内窥图像中所有疑似病灶区域的模式结果进行或运算，得到该幅内窥图像的分类模式，即图像正常模式和图像病灶模式，如果为病灶模式标记病灶区域;1.重复步骤b、c、
d、e、f、g、h，直至整个视频文件的内窥图像识别结束。
[0024]进一步，所述步骤e中，在内窥图像显著图S的显著区域内，构造像素颜色特征向量V7 (uv)和亮度特征向量疒(L)，然后通过Sigmoid核函数映射到高维空间，运用主成分分析(PCA)的方法提取特征数据的核主成分特征，得到降维的颜色特征向量V(Uv)和亮度特征向量V(L)，同时，在区域内计算并构造区域轮廓特征向量V(O)纹理特征向量V(T),组建特征矩阵，进行病灶的模式识别。
[0025]再进一步，所述步骤f中，脉冲耦合神经网络由输入层、交叉皮层模型(ICM)的神经元层、竞争输出层组成；
[0026]所述输入层由颜色特征输入、亮度特征输入、轮廓特征输入、纹理特征输入共四个输入通道，交叉皮层模型的神经元层采用四个ICM神经元，竞争输出层由竞争神经元权重矩阵LW和竞争函数C组成；
[0027]所述输入层的颜色特征输入、亮度特征输入通道与I CM神经元层的I号ICM神经元输入连接，轮廓特征输入、纹理特征输入通道与ICM神经元层的2号I CM神经元输入连接，I号和2号ICM神经元分别与3号和4号ICM神经元输入相互连接，3号、4号ICM神经元与竞争输出层的竞争神经元权重矩阵LW输入连接，竞争神经元权重矩阵LW的输出与竞争层神经元竞争函数C输入连接；
[0028]更进一步，所述的ICM神经元包括两个耦合振荡器，连接加权系数矩阵设置为W。
[0029]所述竞争神经元权重矩阵LW为2维矢量，同时只有一个元素为I，其它都为O，并且，竞争层神经元竞争函数采用高斯函数，输出一个2维的向量，其中相似概率最大的那种模式类对应的元素被设置为I，其它都为0，I所出现的位置就指示了输入特征矩阵被识别的类别，即正常模式或病灶模式。
[0030]与现有技术相比，本发明的有益效果是:
[0031]I，本发明的内窥图像中病灶模式识别方法中采用了基于人类视觉注意机制疑似病灶区域定位，该定位将极大降低内窥图像中人工神经网络的计算量，进而提高内窥图像中病灶模式识别的准确度。
[0032]2，本发明的图像处理方法在基于视觉感知的颜色Luv空间，最大程度地利用了内窥图像的颜色信息，而颜色信息是病灶区域诊断的重要信息，提高了病灶区域确定的准确度和特异度。
[0033]3，本发明的模式识别方法不区分病灶的具体类型，将所有区域分类为病灶模式和正常模式，并采用脉冲耦合神经网络，将极大提高内窥图像中病灶识别的准确性和实用性，降低临床医生的工作量。
【附图说明】
[0034]图1为本发明的基于脉冲耦合神经网络的病灶识别方法流程图。
[0035]图2为脉冲耦合神经网络的结构图。
[0036]图3为ICM神经元结构图。
【具体实施方式】
[0037]下面结合附图对本发明的实施例作详细说明。
[0038]参照图1?图3，一种基于脉冲耦合神经网络的内窥图像中病灶识别方法，包括如下步骤:
[0039]a.视频分幅
[0040]采用Given公司的胶囊内窥镜检测系统的检测视频文件，将内窥镜检测视频输入，分幅得到位图格式的单幅内窥图像；
[0041 ] b.图像预处理
[0042]将步骤a所得到的位图图像按内窥镜的视野参数将图像的边沿黑边平滑处理，得到边界清晰的内窥图像，然后采用巴特沃夫高通滤波器滤波再采用中值滤波器进行滤波，去掉待处理图像区域的噪声并保留图像高频部分；
[0043]c.面向视觉感知的颜色空间转换
[0044]步骤b中得到的位图图像为面向设备的RGB颜色空间，将其转换到面向视觉感知的Luv颜色空间；
[0045]d.疑似病灶区域定位
[0046]以步骤c得到的Luv颜色空间图像的u、v分量作为输入，计算颜色特征显著图uv(c，s)，以L分量作为输入计算亮度特征显著图L(c，s)，然后使用拉普拉斯变换算法和虚连方法，得到图像中显著内容的边沿区域，计算轮廓特征显著图0(c，s)和纹理特征图显著T(c，8)，将所得到的颜色特征显著图1^((3，8)，亮度特征显著图1^((3，8)，轮廓特征显著图0((3，8)和纹理特征显著图T(c，s)分别在多尺度下进行规则化运算并融合，得到图像的显著度图S，然后采用蚀刻算法过滤掉面积较小的显著区域，然后按照区域面积大小的顺序排列显著度程度，即疑似病灶区域；
[0047]e.构造特征向量
[0048]以步骤d所得到的显著图S为输入，在疑似病灶区域内构造像素颜色特征向量V(Uv)和亮度特征向量V(L)，计算并构造区域轮廓特征向量V(O)纹理特征向量V(T);
[0049]f.病灶区域进行模式识别
[0050]以步骤e所构建的特征向量作为输入，采用脉冲耦合神经网络进行模式识别，得到待识别疑似区域的病灶模式，即正常模式和病灶模式；
[0051 ] g.区域转移
[0052]按照图像中疑似病灶区域大小的顺序分别进行识别，如果还有其他疑似病灶区域，重复步骤e、f进行模式识别，直到所有疑似病灶区域识别结束；
[0053]h.病灶图像分类提取
[0054]将内窥图像中所有疑似病灶区域的模式结果进行或运算，得到该幅内窥图像的分类模式，即图像正常模式和图像病灶模式，如果为病灶模式标记病灶区域;1.重复步骤b、c、d、e、f、g、h，直至整个视频文件的内窥图像识别结束。
[0055]进一步，所述步骤e中，在内窥图像显著图S的显著区域内，构造像素颜色特征向量V7 (uv)和亮度特征向量疒(L)，然后通过Sigmoid核函数映射到高维空间，运用主成分分析(PCA)的方法提取特征数据的核主成分特征，得到降维的颜色特征向量V(Uv)和亮度特征向量V(L)，同时，在区域内计算并构造区域轮廓特征向量V(O)纹理特征向量V(T),组建特征矩阵，进行病灶的模式识别。
[0056]进一步，所述步骤f中，脉冲耦合神经网络由输入层、交叉皮层模型(ICM)的神经元层、竞争输出层组成；
[0057]所述输入层由颜色特征输入、亮度特征输入、轮廓特征输入、纹理特征输入共四个输入通道，ICM神经元层采用四个ICM神经元，竞争输出层由竞争神经元权重矩阵LW和竞争函数C组成；
[0058]所述输入层的颜色特征输入、亮度特征输入通道与ICM神经元层的I号ICM神经元输入连接，轮廓特征输入、纹理特征输入通道与ICM神经元层的2号I CM神经元输入连接，I号和2号ICM神经元分别与3号和4号ICM神经元输入相互连接，3号、4号ICM神经元与竞争输出层的竞争神经元权重矩阵LW输入连接，竞争神经元权重矩阵LW的输出与竞争层神经元竞争函数C输入连接；
[0059]再进一步，所述ICM神经元包括两个耦合振荡器，连接加权系数矩阵设置为W。
[0060]所述竞争神经元权重矩阵LW为2维矢量，同时只有一个元素为I，其它都为O，并且，竞争层神经元竞争函数采用高斯函数，输出一个2维的向量，其中相似概率最大的那种模式类对应的元素被设置为I，其它都为0，I所出现的位置就指示了输入特征矩阵被识别的类别，即正常模式或病灶模式。
[0061]最后，还需要注意的是，以上列举的仅是本发明的一个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。
【主权项】
1.一种基于脉冲耦合神经网络的内窥图像中病灶识别方法，其特征在于:所述识别方法包括如下步骤: a.视频分幅 将内窥检测视频文件输入，分幅得到位图格式的单幅内窥图像； b.图像预处理 将步骤a所得到的位图图像按内窥镜的视野参数将图像的边沿黑边平滑处理，得到边界清晰的内窥图像，然后采用高通滤波器滤波去噪，再采用中值滤波器进行滤波增强，去掉待处理图像区域的噪声并保留图像高频部分； c.面向视觉感知的颜色空间转换 步骤b中得到的位图图像为面向设备的RGB颜色空间，将其转换到面向视觉感知的Luv颜色空间； d.疑似病灶区域定位 以步骤c得到的Luv颜色空间图像的u、v分量作为输入，计算颜色特征显著图uv(C，s)，以L分量作为输入计算亮度特征显著图L( c，s )，然后使用拉普拉斯变换算法和虚连方法，得到图像中显著内容的边沿区域，计算轮廓特征显著图0(c，s)和纹理特征图显著T(c，s)，将所得到的颜色特征显著图uv(c，s)，亮度特征显著图L(c，s)，轮廓特征显著图0(c，s)和纹理特征显著图T(c，s)分别在多尺度下进行规则化运算并融合，得到图像的显著度图S，然后采用蚀刻算法过滤掉面积较小的显著区域，然后按照区域面积大小的顺序排列显著度程度，即疑似病灶区域； e.构造特征向量 以步骤d所得到的显著图S为输入，在疑似病灶区域内构造像素颜色特征向量V(Uv)和亮度特征向量V(L)，计算并构造区域轮廓特征向量V(O)纹理特征向量V(T); f.病灶区域进行模式识别 以步骤e所构建的特征向量作为输入，采用脉冲耦合神经网络进行模式识别，得到待识别疑似区域的病灶模式，即正常模式和病灶模式； g.区域转移 按照图像中疑似病灶区域大小的顺序分别进行识别，如果还有其他疑似病灶区域，重复步骤e、f进行模式识别，直到所有疑似病灶区域识别结束； h.病灶图像分类提取 将内窥图像中所有疑似病灶区域的模式结果进行或运算，得到该幅内窥图像的分类模式，即图像正常模式和图像病灶模式，如果为病灶模式标记病灶区域;1.重复步骤b、c、d、e、f、g、h，直至整个视频文件的内窥图像识别结束。2.如权利要求1所述的基于脉冲耦合神经网络的内窥图像中病灶识别方法，其特征在于:所述步骤e中，在内窥图像显著图S的显著区域内，构造初步像素颜色特征向量Vluv)和初步亮度特征向量V(L)，然后通过Sigmoid核函数映射到高维空间，运用主成分分析的方法提取特征数据的核主成分特征，得到降维的颜色特征向量V(Uv)和亮度特征向量V(L)，同时，在区域内计算并构造区域轮廓特征向量V(O)纹理特征向量V(T)，组建特征矩阵，进行病灶的模式识别。3.如权利要求1或2所述的基于脉冲耦合神经网络的内窥图像中病灶识别方法，其特征在于:所述步骤f中，脉冲耦合神经网络由输入层、交叉皮层模型神经元层和竞争输出层组成； 所述输入层由颜色特征输入、亮度特征输入、轮廓特征输入、纹理特征输入共四个输入通道，交叉皮层模型的神经元层采用四个ICM神经元，竞争输出层由竞争神经元权重矩阵LW和克争函数C组成； 所述输入层的颜色特征输入、亮度特征输入通道与神经元层的I号ICM神经元输入连接，所述轮廓特征输入、纹理特征输入通道与神经元层的2号ICM神经元输入连接，I号和2号ICM神经元分别与3号和4号ICM神经元输入相互连接，3号、4号ICM神经元与竞争输出层的竞争神经元权重矩阵LW输入连接，竞争神经元权重矩阵LW的输出与竞争层神经元竞争函数C的输入连接。4.如权利要求3所述的基于脉冲耦合神经网络的内窥图像中病灶识别方法，其特征在于:所述ICM神经元包括两个耦合振荡器，连接加权系数矩阵设置为W。5.如权利要求3所述的基于脉冲耦合神经网络的内窥图像中病灶识别方法，其特征在于:所述竞争神经元权重矩阵LW为2维矢量，同时只有一个元素为I，其它都为O，并且，竞争层神经元竞争函数C采用高斯函数，输出一个2维的向量，其中相似概率最大的那种模式类对应的元素被设置为I，其它都为O，I所出现的位置就指示了输入特征矩阵被识别的类别，即正常模式或病灶模式。
【文档编号】G06K9/62GK105913075SQ201610207950
【公开日】2016年8月31日
【申请日】2016年4月5日
【发明人】潘国兵, 普帅帅, 卢从成, 陈金鑫
【申请人】浙江工业大学