用于消化道内图像的自动分段系统和方法与流程

本发明涉及计算机辅助检测
技术领域：
，具体地指一种用于消化道内图像的自动分段系统和方法。技术背景无线胶囊内窥镜是一个大小与形状与普通胶囊相似的微型摄像机，通过人口服进入消化道内，消化道蠕动为其提供动力使之能够在消化道内运动，胶囊内窥镜拍摄消化道内图像，并通过无线传输系统传输到体外进行显示。消化道可以分为食道、胃部、小肠、结肠等，每个部位有各自特有的病症，如食道有反流性食管炎、胃部有胃窦炎性增生、小肠有克罗恩氏病等。一个有经验的阅片医生，需要花费较多时间来对消化道图像进行辨别分类，才能针对性的完成对消化道图像的诊断，这样极大的影响了工作效率。针对上述技术问题，文献《WirelessCapsuleEndoscopyImagesClassificationBasedonVectorSparseCoding》中使用具有旋转尺度不变性的SIFT(Scale-invariantfeaturetransform)特征来描述消化道各部位图像的特征，然后对SIFT特征进行稀疏编码，利用支持向量机SVM(SupportVectorMachine)对稀疏后的SIFT特征进行分类，从而将消化道图像分类为食道、胃部、小肠、结肠。该方法使用SIFT算法，算法复杂、计算量大，并且该方法仅使用了图像的纹理信息，而没有使用图像的颜色信息。另外，文献《ANovelMethodforCapsuleEndoscopyVideoAutomaticSegmentation》，该文献使用2个阶段来对消化道图像进行分段。在第一个阶段使用Lab颜色空间各颜色的均值、方差来初步区分消化道不同部位。在第二阶段对胃部/小肠采用HSV空间HS直方图进行区分、对小肠/大肠采用CULBP(ColorUniformLocalBinaryPattern)进行区分。该方法第一阶段仅使用颜色一阶矩及二阶矩，没有充分利用图像其他信息；第二阶段对胃部/小肠也仅用了颜色信息，对于胃部出现胆汁反流情况效果较差。技术实现要素：本发明的目的就是要提供一种用于消化道内图像的自动分段系统和方法，该系统和方法能减少医生搜索不同部位消化道图像时间，减少工作量，提高工作效率。为实现此目的，本发明所设计的用于消化道内图像的自动分段系统，其特征在于：它包括图像预处理模块、特征提取模块和图像分段模块，所述图像预处理模块的信号输出端连接特征提取模块的信号输入端，特征提取模块的信号输出端连接图像分段模块的信号输入端；所述图像预处理模块用于排除灰度均值超过预设阈值的无效图像，去除图像中无效区域，以减少需要处理的图像，所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域；所述特征提取模块用于对去除无效区域后的消化道图像进行特征计算得到图像纹理特征值、形状特征值和颜色特征值；所述图像分段模块用于利用图像纹理特征值、形状特征值、颜色特征值计算得到支持向量机(SVM，SupportVectorMachine)训练模型，并利用支持向量机训练模型对提取的图像纹理特征值、形状特征值、颜色特征值进行分类，从而确定消化道图像在消化道内的具体分段位置。一种利用上述系统的消化道内图像的自动分段方法，它包括如下步骤：步骤1：利用图像预处理模块排除灰度均值超过预设阈值的无效图像；步骤2：利用图像预处理模块去除图像中无效区域，以减少需要处理的图像，所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域；步骤3：利用特征提取模块计算颜色特征值，所述颜色特征值包括图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m、HSV颜色空间各颜色通道的Hu矩阵以及可伸缩颜色直方图；所述图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m的计算公式为：其中，x、y为像素位置，N为图像预处理后有效区域像素个数，gb(x,y)为图像绿色通道的颜色值减去图像蓝色通道的特征值处理后的图像颜色值；所述HSV颜色空间各颜色通道的Hu矩阵计算方法为：Hu[0]＝η20+η02Hu[1]＝(η20-η02)2+4η11Hu[2]＝(η30-3η12)2+(3η21-η03)2Hu[3]＝(η30+η12)2+(η21+η03)2Hu[4]＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]Hu[5]＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)Hu[6]＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η30)(η21+η03)[3(η30+η12)2-(η21+η03)2]其中，pq为矩阵的阶数，ηpq为pq阶中心矩，μ00为图像所有像素和，p和q的取值范围均为[0，3]，为灰度质心坐标，f(x,y)为HSV空间各颜色通道(x,y)位置处的像素值；所述可伸缩颜色直方图的具体计算方式为：将色调H、饱和度S、明度V各颜色通道值分别量化到Hbin、Sbin、Vbin，Hbin为色调H通道的颜色特征量化极值，Sbin为饱和度S通道的颜色特征量化极值，Vbin为明度V通道的颜色特征量化极值，然后统计直方图，得到可伸缩颜色直方图SC，可伸缩颜色直方图SC的计算方式为：SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))＝SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))+1其中，H(x,y)表示像素坐标x，y对应像素中的色调H通道量化到Hbin后的数据，S(x,y)表示像素坐标x，y对应像素中的饱和度S通道量化到Sbin后的数据，V(x,y)表示像素坐标x，y对应像素中的明度V通道量化到Vbin后的数据；利用特征提取模块计算图像纹理特征值，图像纹理特征值包含CLBP(CompletedLocalBinaryPattern，完整局部二值模式)直方图和图像去除气泡区域后的Gabor纹理特征g(x,y)；步骤4：利用Zernike矩提取消化道图像的形状特征值，消化道图像的形状特征值Zn1m1定义为：其中，f1(x,y)为消化道图像的灰度值，在计算时需将消化道图像转化到极坐标系，Vn1m1*(ρ,θ)＝Rn1m1(ρ)e-jm1θ，ρ称为极径，θ称为极角，e为自然常数，j是虚数单位，Vn1m1为图像数据转化到极坐标系的值，x、y为消化道图像像素坐标，n1m1为矩阵的阶数；Rn1m1(ρ)=Σs=0n1-|m1|2(-1)s(n1-s)!s!(12(n1+|m1|)-s)!(12(n1-|m|1)-s)!ρn1-2s]]>步骤5：利用图像绿色通道的颜色值减去图像蓝色通道的颜色值，得到所有消化道图像的均值m序列，通过判断序列中m值的变化值，即相邻消化道图像之间m值之差，当m值的变化值超过设定阈值tm时，此处消化道图像的位置即为初步分段的位置；步骤6：在初步分段位置前后对称的选取连续的W张消化道图像，即初步分段位置前选取连续的W/2张，初步分段位置后选取连续的W/2张；对连续的W张消化道图像利用步骤3和步骤4的方法计算每张消化道图像的纹理特征值、形状特征值和颜色特征值；步骤7：在图像分段模块中利用预先训练好的支持向量机训练模型对步骤6提取的图像纹理特征值、形状特征值、颜色特征值进行分类，从而确定消化道图像在消化道内的具体分段位置，预先训练好的支持向量机训练模型通过步骤3和步骤4得到的图像纹理特征值、形状特征值、颜色特征值单独训练得到。本发明具有如下有益效果：1、本发明可以全自动地实现对消化道不同部位图像分段；2、本发明可以帮助医生区分不同部位图像，减少医生阅读图像数量，方便医生有针对性的查阅消化道图像；3、本发明采用了两步分段方法，与参考文献比较，第一步特征少，计算量少；第二步计算数据量少(图像数量减少很多)，这样本发明明显减少了计算量，并提高了分段精度。附图说明图1为本发明的结构及逻辑框图；图2为本发明中CLBP计算示例。图中，1—图像预处理模块、2—特征提取模块、3—图像分段模块。具体实施方式以下结合附图和具体实施例对本发明作进一步的详细说明：一种用于消化道内图像的自动分段系统，如图1所述，它包括图像预处理模块1、特征提取模块2和图像分段模块3，所述图像预处理模块1的信号输出端连接特征提取模块2的信号输入端，特征提取模块2的信号输出端连接图像分段模块3的信号输入端；所述图像预处理模块1用于排除灰度均值超过预设阈值的无效图像，去除图像中无效区域，以减少需要处理的图像，所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值的区域；所述特征提取模块2用于对去除无效区域后的消化道图像进行特征计算得到图像纹理特征值、形状特征值和颜色特征值；所述图像分段模块3用于利用图像纹理特征值、形状特征值、颜色特征值计算得到支持向量机训练模型，并利用支持向量机训练模型对提取的图像纹理特征值、形状特征值、颜色特征值进行分类，从而确定消化道图像在消化道内的具体分段位置。一种利用上述系统的消化道内图像的自动分段方法，它包括如下步骤：步骤1：利用图像预处理模块1排除灰度均值超过预设阈值(灰度均值超过220或低于40的图像认为是无效图象)的无效图像(通过对大量临床图像统计，选择出人眼觉得太亮或者太暗图像，以其均值作为阈值来判断图像过亮或者过暗)；步骤2：利用图像预处理模块1去除图像中无效区域，以减少需要处理的图像，所述图像中无效区域包括食物残渣区域、气泡区域、粘液区域和图像中灰度均值超过预设阈值(灰度均值超过220或低于40)的区域(由于消化道环境复杂度较高，胶囊从消化道采集到的大量图像存在过亮或过暗、腔道气泡干扰等图像，该设计能减少计算量并且剔除干扰)；步骤3：利用特征提取模块2计算颜色特征值，所述颜色特征值包括图像绿色(G)通道的颜色值减去图像蓝色(B)通道的颜色值后的均值m(G-B处理)、HSV(Hue,Saturation,Value色调(H)，饱和度(S)，明度(V))颜色空间各颜色通道的Hu矩阵以及可伸缩颜色(ScalableColor)直方图；所述图像绿色通道的颜色值减去图像蓝色通道的颜色值后的均值m的计算公式为：其中，x、y为像素位置，N为图像预处理后有效区域像素个数，gb(x,y)为图像绿色通道的颜色值减去图像蓝色通道的颜色值处理后的图像颜色值；所述HSV颜色空间各颜色通道的Hu矩阵计算方法为：Hu[0]＝η20+η02Hu[1]＝(η20-η02)2+4η11Hu[2]＝(η30-3η12)2+(3η21-η03)2Hu[3]＝(η30+η12)2+(η21+η03)2Hu[4]＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]Hu[5]＝(η20-η02)[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)Hu[6]＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η30)(η21+η03)[3(η30+η12)2-(η21+η03)2]其中，pq为矩阵的阶数，ηpq为pq阶中心矩，μ00为图像所有像素和，p和q的取值范围均为[0，3]，为灰度质心坐标，f(x,y)为HSV空间各颜色通道(x,y)位置处的像素值；所述可伸缩颜色直方图的具体计算方式为：将色调H、饱和度S、明度V各颜色通道值分别量化到Hbin、Sbin、Vbin，Hbin为色调H通道的颜色特征量化极值，Sbin为饱和度S通道的颜色特征量化极值，Vbin为明度V通道的颜色特征量化极值，然后统计直方图，得到可伸缩颜色直方图SC，可伸缩颜色直方图SC的计算方式为：SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))＝SC(H(x,y)*Sbin*Vbin+S(x,y)*Vbin+V(x,y))+1其中，H(x,y)表示像素坐标x，y对应像素中的色调H通道量化到Hbin后的数据，S(x,y)表示像素坐标x，y对应像素中的饱和度S通道量化到Sbin后的数据，V(x,y)表示像素坐标x，y对应像素中的明度V通道量化到Vbin后的数据；利用特征提取模块2计算图像纹理特征值，图像纹理特征值包含CLBP直方图和图像去除气泡区域后的Gabor纹理特征g(x,y)；图像去除气泡区域后的Gabor纹理特征g(x,y)的具体算法为：g(x,y)=k2σ2e-k2(x2+y2)2σ2[eikxy-e-σ22]]]>其中，σ表示滤波器的标准差,u和v分别表示Gabor滤波器的方向和尺度，K为滤波器总的方向数，x、y表示像素坐标位置，e为自然常数，i是虚数单位；CLBP直方图由符号CLBPS和幅度CLBPM构成，计算公式为：CLBPSP1,R=Σp2=0P1-1s(gP2-gc)2p2,s(x1)=1,x1≥00,x1<0]]>CLBPMP1,R=Σp2=0P1-1t(vp2,c)2p2,t(x2,c)=1,x2≥c0,x2<c]]>其中，P1为当前像素半径为R的邻域内需要使用的像素的个数，p2为[0，P1-1]，gc为当前需要处理的像素值，gp2为当前像素周围的像素值，gp2的位置为(Rcos(2π*p2/P1),Rsin(2π*p2/P1))，vp2＝|gp2-gc|为当前像素与邻域像素gp2差的绝对值，体现了幅度变化，c为整幅图像中vp2的均值，s(x1)为符号比较函数，t(x2,c)为幅度比较函数，x1＝gP2-gc，x2＝vp2；图2给出了P＝8、R＝1时的计算实例；图2中的a为图像中一个像素及其周围邻域，利用公式可以得到符号图c和幅度图d；以左上角作为起始顺序，则该像素的符号LBP为[0,0,0,0,0,1,1,1]＝8；计算出全图的Vp2均值c＝8，则该像素的幅度LBP为[0,0,1,1,0,0,0,0]＝32；这样得到全图的符号LBP图像和幅度LBP图像，然后统计直方图，得到CLBP直方图特征；步骤4：利用Zernike矩提取消化道图像的形状特征值，消化道图像的形状特征值Zn1m1定义为：其中，f1(x,y)为消化道图像的灰度值，在计算时需将消化道图像转化到极坐标系，Vn1m1*(ρ,θ)＝Rn1m1(ρ)e-jm1θ，ρ称为极径，θ称为极角，e为自然常数，j是虚数单位，Vn1m1为图像数据转化到极坐标系的值，x、y为消化道图像像素坐标，n1m1为矩阵的阶数；Rn1m1(p)=Σs=0n1-|m1|2(-1)s(n1-s)!s!(12(n1+|m1|)-s)!(12(n1-|m|1)-s)!ρn1-2s]]>步骤5：利用图像绿色通道的颜色值减去图像蓝色通道的颜色值，得到所有消化道图像的均值m序列，通过判断序列中m值的变化值，即相邻消化道图像之间m值之差，当m值的变化值超过10(设定阈值tm＝10)时，此处消化道图像的位置即为初步分段的位置；步骤6：在初步分段位置前后对称的选取连续的W张消化道图像，即初步分段位置前选取连续的W/2张，初步分段位置后选取连续的W/2张；对连续的W张消化道图像利用步骤3和步骤4的方法计算每张消化道图像的纹理特征值、形状特征值和颜色特征值；步骤7：在图像分段模块3中利用预先训练好的支持向量机训练模型对步骤6提取的图像纹理特征值、形状特征值、颜色特征值进行分类，从而确定消化道图像在消化道内的具体分段位置，预先训练好的支持向量机训练模型通过步骤3和步骤4得到的图像纹理特征值、形状特征值、颜色特征值单独训练得到。上述技术方案中，所述步骤6中消化道图像张数W的取值范围为200～2000，优选为1000。上述技术方案中，所述步骤2中，图像预处理模块1利用Gabor滤波器来确定图像中气泡干扰的位置及大小，并将其删除。上述技术方案中，特征提取是学习分类的关键，本发明选取的颜色、纹理和形状特征能够充分反映消化道图像特性，并且具有较强的稳定的性和适应性：G-B处理后可以消除光照不均匀影响；Hu矩阵具有旋转、平移和缩放不变性；可伸缩颜色直方图可以较好地描述图像颜色特征方便检索；CLBP及Gabor具有较好的纹理描述特性；Zernike矩同样具有旋转、平移和缩放不变性，且具有较好的形状描述特性。上述技术方案中，消化道图像数量较大，且情况复杂，为了快速准确区分不同部位消化道图像，本发明采用2个步骤来进行处理：第一步采用计算量小处理速度快的方法进行初步分段，找到初始分段位置；第二步在第一步的基础上，在初始分段位置附近选取W张图像，W远小于消化道图像数量，计算特征进行分类，得到精确分段位置。上述技术方案中，图像绿色通道的颜色值减去图像蓝色通道的颜色值得到均值m，是预处理后保存下来的有效区域，排除了消化道内杂物的干扰，且G-B处理可以消除光照不均匀影响；本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。当前第1页1 2 3