消化道病灶图像识别系统及识别方法
【专利摘要】本发明公开了一种消化道病灶图像识别系统，它包括存储器、图像预处理模块、图像特征提取模块、机器学习模块和图像识别模块，其中，所述存储器的存储数据通信端连接图像预处理模块的数据输入端，图像预处理模块的数据输出端连接图像特征提取模块的数据输入端，图像特征提取模块的第一数据输出端连接机器学习模块的数据输入端，图像特征提取模块的第二数据输出端连接图像识别模块的第一数据输入端，机器学习模块的数据输出端连接图像识别模块的第二数据输入端。本发明提高了消化道病灶图像识别的效率和准确性。
【专利说明】
消化道病灶图像识别系统及识别方法
技术领域
[0001] 本发明涉及图像识别和图像处理技术领域，具体地指一种消化道病灶图像识别系 统及识别方法。
【背景技术】
[0002] 使用胶囊内窥镜进行胃部的检测，可以使人们摆脱采用传统胃镜带来的痛苦与不 适，是胃镜发展的一个全新方向。在用胶囊内镜进行胃部检测的过程中，一次检查会产生几 千张图片，如果加上小肠检测，检查的图片数将超过50000张，未来随着胶囊图像传输帧率 的提高及功耗的进一步下降会产生更多的图像数据。图像数据的增加将会增加人工阅片的 时长和难度。
[0003] 中国科学院深圳先进技术研究院的专利CN103984957A，发明了一种胶囊内镜图像 可疑病变区域自动预警系统，实现了对小肠平坦性病变实现检测和预警功能。该方案存在 如下五点缺点：
[0004] 1、没有涉及胃部图像的病灶识别和处理，因而没有考虑到消化道图像中气泡、杂 质等特征对病灶识别的影响；
[0005] 2、没有考虑胶囊内镜图像的旋转，因而没有提取内镜图像的旋转不变特征进行病 灶的识别；
[0006] 3、对于非平坦性病变如肿瘤、息肉等也没有给出识别方法；
[0007] 4、没有用去冗余算法减少胶囊内镜图像数量；
[0008] 5、没有提出对全消化道器官进行分类的算法，因而无法有效生成胃部或食道的辅 助诊断结果。
【发明内容】
[0009] 本发明就是针对上述技术问题，提供一种消化道病灶图像识别系统及识别方法， 该系统和方法，该系统及方法提高了消化道病灶图像识别的效率和准确性。
[0010] 为实现上述目的，本发明所设计的一种消化道病灶图像识别系统，其特征在于:它 包括存储器、图像预处理模块、图像特征提取模块、机器学习模块和图像识别模块，其中，所 述存储器的存储数据通信端连接图像预处理模块的数据输入端，图像预处理模块的数据输 出端连接图像特征提取模块的数据输入端，图像特征提取模块的第一数据输出端连接机器 学习模块的数据输入端，图像特征提取模块的第二数据输出端连接图像识别模块的第一数 据输入端，机器学习模块的数据输出端连接图像识别模块的第二数据输入端。
[0011] -种利用上述系统进行消化道病灶图像识别的方法，其特征在于，它包括如下步 骤：
[0012] 步骤1:在存储器中存入机器学习训练数据，其中，所述机器学习训练数据包括训 练样本图像、测试样本图像、图像分类信息，数据解析模块从存储器中提取机器学习训练数 据，并对提取的机器学习训练数据进行格式转换，生成所需图片格式的图像；
[0013] 步骤2:图像特征提取模块使用尺度不变特征转换算法和完整局部二值模式算法 提取机器学习训练数据中训练样本图像的图像纹理特征，同时使用超像素方法和网格法对 机器学习训练数据进行分割，然后提取分割后机器学习训练数据中训练样本图像的熵特征 和颜色矩特征；
[0014] 图像特征提取模块还将图像纹理特征、熵特征和颜色矩特征分别传输给机器学习 模块和图像识别模块；
[0015] 图像特征提取模块还将机器学习训练数据传输给机器学习模块；
[0016] 步骤3:机器学习模块采用卷积神经网络的深度学习方法根据图像分类信息对测 试样本图像进行消化道位置分类，得到消化道位置分类数据，机器学习模块还根据图像纹 理特征、熵特征和颜色矩特征，并依据支持向量机算法进行学习训练生成消化道病灶信息 数据模型；
[0017] 机器学习模块还将消化道位置分类和消化道病灶信息数据模型传输给图像识别 丰旲块；
[0018] 步骤4:图像识别模块对训练样本图像按照消化道位置分类数据进行分类，并基于 消化道位置分类的结果对不同消化道部位的训练样本图像提取图像纹理特征、熵特征和颜 色矩特征，然后采用Adaboost算法对不同消化道部位的训练样本图像提取的图像纹理特 征、熵特征和颜色矩特征进行病灶识别得到病灶的疑似区域，最后使用支持向量机应用消 化道病灶信息数据模型对病灶识别疑似区域进行分类得到准确的病灶信息。
[0019]所述对数据解析模块生成的图像通过图像去冗余算法去除图像中的冗余图像的 具体方法为：
[0020]根据如下图像去冗余算法先计算出时间序列上相邻的两个图像之间的相似度SI;
[0022]其中，N为图像宽度，81源图像像素列，81目的图像像素列，时间序列在前的图像为 源图像，时间序列在后的图像为目的图像；
[0023] 根据如下公式计算时间序列上相邻的两个图像之间的相似度SI的加权平均值 SI7：
[0024] SI7 =0.299SIr+0.587SIg+0.114SIb
[0025] 其中，SIr为红色的SI值，SIg为绿色的SI值，SI b为蓝色的SI值；
[0026] 判断上述加权平均值SI'是否在预设的相似度阈值范围内，如果是，则删除，则表 示时间序列上相邻的两个图像相似，此时删除目的图像，如果否，则表示时间序列上相邻的 两个图像不相似，保留上述时间序列上相邻的两个图像；
[0027] 所述图像边缘识别算法去掉消化道边缘轮廓的具体方法为:采用canny边缘检测 算法待处理图像进行边缘检测，该算法使用了一阶有限差分sobel算子来计算图像梯度的 幅值和方向，然后通过非极大值抑制和双阈值设定得到图像的边缘，并将检测到的图像边 缘删除。
[0028] 本发明针对消化道胶囊内镜图像尤其是胶囊胃镜图像提供了一个完整的病灶图 像识别方案。该方案，能够有效提高阅片效率、识别定位病灶并提供辅助诊断信息。其带来 的有益效果有：
[0029] 1、本发明的图像去冗余算法有效减少了胶囊内镜的冗余图像，减少阅片工作量。
[0030] 2、本发明中消化道分类算法能准确的划分消化道位置，可以分别对食道、胃部、小 肠各段消化道做分类检查，并提高了辅助诊断的准确性。
[0031] 3、本发明利用图像识别算法对病灶图像进行识别，能够有效的区分出出血、溃疡、 肿瘤、息肉等病灶特征。
[0032] 4、本发明通过图像预处理算法去除图像中的气泡、杂质、消化道边缘等干扰，并提 取如SIFT、CLBP等图像特征，提高了消化道病灶图像识别的效率和准确性。
【附图说明】
[0033]图1为本发明的系统结构示意图。
[0034]图中：1 一存储器、2-数据解析模块、3-图像预处理模块、4一图像特征提取模块、 5-机器学习模块、6-图像识别模块。
【具体实施方式】
[0035]下面结合附图和具体实施例对本发明作进一步的详细说明。
[0036]本发明设计的一种消化道病灶图像识别系统，如图1所述，它包括存储器1(优选云 端存储器）、图像预处理模块3、图像特征提取模块4、机器学习模块5和图像识别模块6,其 中，所述存储器1的存储数据通信端连接图像预处理模块3的数据输入端，图像预处理模块3 的数据输出端连接图像特征提取模块4的数据输入端，图像特征提取模块4的第一数据输出 端连接机器学习模块5的数据输入端，图像特征提取模块4的第二数据输出端连接图像识别 模块6的第一数据输入端，机器学习模块5的数据输出端连接图像识别模块6的第二数据输 入端。
[0037]上述技术方案中，所述存储器1用于存储机器学习训练数据，其中，所述机器学习 训练数据包括训练样本图像、测试样本图像、图像分类信息（图像分类信息通过图像的文件 名与训练样本图像和测试样本图像关联）；
[0038]所述图像特征提取模块4用于使用尺度不变特征转换算法（SIFT，Scale-invar iantfeature transform) 和完整局部二值模式算法 （CLPB， completed local binary pattern)提取机器学习训练数据中训练样本图像的图像纹理特征，同时使用超像素方法和 网格法对机器学习训练数据进行分割，然后提取分割后机器学习训练数据中训练样本图像 的熵特征和颜色矩特征;尺度不变特征是1999年由David Lowe提出来的一种基于尺度空间 的，对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，尺度不变特征转 换算法首先构建图像的尺度空间，然后提取尺度空间的局部极值点作为关键点，最后由关 键点区域的梯度方向信息生成具有尺度不变性的128维特征描述向量；
[0039] 图像特征提取模块4还用于将图像纹理特征、熵特征和颜色矩特征分别传输给机 器学习模块5和图像识别模块6;
[0040] 图像特征提取模块4还用于将机器学习训练数据传输给机器学习模块5;
[0041]机器学习模块5用于采用卷积神经网络的深度学习方法根据图像分类信息对测试 样本图像进行消化道位置分类，（分类位置包括食道、胃部、小肠、结肠），得到消化道位置分 类数据，机器学习模块5还用于根据图像纹理特征、熵特征和颜色矩特征，并依据支持向量 机算法(SVM，Support Vector Machine)进行学习训练生成消化道病灶信息数据模型； [0042]机器学习模块5还用于将消化道位置分类和消化道病灶信息数据模型传输给图像 识别t旲块6;
[0043]所述图像识别模块6用于对训练样本图像按照消化道位置分类数据进行分类，并 基于消化道位置分类的结果对不同消化道部位的训练样本图像提取图像纹理特征、熵特征 和颜色矩特征，然后采用Adaboost算法对不同消化道部位的训练样本图像提取的图像纹理 特征、熵特征和颜色矩特征进行病灶识别，最后应用消化道病灶信息数据模型对病灶识别 结果进行分类得到准确的病灶信息。
[0044] 上述技术方案中，图像识别模块6最后将准确的病灶信息传输给辅助诊断模块。该 辅助诊断模块对病历数据库中的病灶特征、形状、颜色、数量进行统计，然后根据图像识别 模块6得到的准确病灶信息使用朴素贝叶斯算法生成相关病灶的诊断结果。该结果用于胶 囊内窥镜机器辅助诊断。病历数据库包括以下字段:病历id、性别、病灶范围、病灶大小、病 灶程度、病灶部位、病灶描述、检查建议。
[0045] 辅助诊断模块首先会提取云端数据库的病历数据，统计每种病灶，病灶数量，病灶 形状，病灶颜色，相对于疾病的条件概率。然后对病灶识别结果应用朴素贝叶斯算法得出辅 助诊断结果。朴素贝叶斯是一种简单的分类器，要求每种属性的概率是相互独立的，计算病 灶分类的概率公式其定义为：
[0047] 其中p(yi)表示疾病i的概率，p(am | yi)表示属性m相对疾病i的条件概率。P(X | Yi) 表示X属性相对于i疾病的条件概率，此公式为朴素贝叶斯算法的公式。求该公式计算得到 的最大值即可估计出疾病类型，然后根据疾病的类型生成诊断结果。
[0048] 上述技术方案中，它还包括数据解析模块2,所述存储器1的存储数据通信端连接 数据解析模块2的存储数据通信端，所述数据解析模块2的数据输出端连接图像预处理模块 3的数据输入端；
[0049] 所述数据解析模块2用于由机器学习训练数据生成所需图片格式的图像，图片格 式包括JPEG、BMP、PNG和DI COM格式。
[0050] 所述图像预处理模块3用于对数据解析模块2生成的图像通过图像去冗余算法去 除图像中的冗余图像，再对去冗余后的图像使用Gabor滤波算法去掉图像中的噪声干扰、杂 质干扰、气泡干扰、粘液干扰，并用图像边缘识别算法去掉消化道边缘轮廓的影响。Gabor滤 波器的频率和方向表达同人类视觉系统类似，十分适合图像纹理的表达和分离。本发明使 用的二维Gabor滤波器的脉冲响应可以定义为一个正弦平面波函数乘以高斯函数，其复数 表示如下：
[0052] 其中：x' =-xcos9+ysin9，A表示正弦波函数的波长，它的值以 像素为单位指定，通常大于等于2,但不能大于输入图像尺寸的五分之一；Θ指定了Gabor函 数并行条纹的方向，它的取值为〇到360度;Φ为相位偏移它的取值范围为-180°~180° ; γ为 空间纵横比，它决定了Gabor函数的椭圆率;σ为Gabor函数的高斯因子的标准差，x、y表示图 像的像素值;通过调整Gabor滤波器的波长λ和方向Θ可以得到一组滤波器，本发明使用了一 组(4X4个)Gabor滤波器来提取图像中的气泡和杂质特征，并使用提取到的特征对图像进 行掩模过滤。
[0053] 一种利用上述系统进行消化道病灶图像识别的方法，它包括如下步骤：
[0054]步骤1:在存储器1中存入机器学习训练数据，其中，所述机器学习训练数据包括训 练样本图像、测试样本图像、图像分类信息，数据解析模块2从存储器1中提取机器学习训练 数据，并对提取的机器学习训练数据进行格式转换，生成所需图片格式的图像；
[0055] 步骤2:图像特征提取模块4使用尺度不变特征转换算法和完整局部二值模式算法 提取机器学习训练数据中训练样本图像的图像纹理特征，同时使用超像素方法和网格法对 机器学习训练数据进行分割，然后提取分割后机器学习训练数据中训练样本图像的熵特征 和颜色矩特征；
[0056] 图像特征提取模块4还将图像纹理特征、熵特征和颜色矩特征分别传输给机器学 习模块5和图像识别模块6;
[0057]图像特征提取模块4还将机器学习训练数据传输给机器学习模块5;
[0058]步骤3:机器学习模块5采用卷积神经网络的深度学习方法根据图像分类信息对测 试样本图像进行消化道位置分类，得到消化道位置分类数据，机器学习模块5还根据图像纹 理特征、熵特征和颜色矩特征，并依据支持向量机算法进行学习训练生成消化道病灶信息 数据模型；
[0059]机器学习模块5还将消化道位置分类和消化道病灶信息数据模型传输给图像识别 丰旲块6;
[0060] 步骤4:图像识别模块6对训练样本图像按照消化道位置分类数据进行分类，并基 于消化道位置分类的结果对不同消化道部位的训练样本图像提取图像纹理特征、熵特征和 颜色矩特征，然后采用Adaboost算法对不同消化道部位的训练样本图像提取的图像纹理特 征、熵特征和颜色矩特征进行病灶识别得到病灶的疑似区域，最后使用支持向量机应用消 化道病灶信息数据模型对病灶识别疑似区域进行分类得到准确的病灶信息。
[0061] 上述技术方案中，所述机器学习训练数据由消化道原始图像数据采取人工按需要 选择的方式生成。消化道原始图像数据由胶囊内窥镜拍摄提供。消化道原始图像数据的数 据格式为自定义类型。
[0062] 上述技术方案中，所述对数据解析模块2生成的图像通过图像去冗余算法去除图 像中的冗余图像的具体方法为：
[0063] 根据如下图像去冗余算法先计算出时间序列上相邻的两个图像之间的相似度SI;
[0065]其中，N为图像宽度，gi源图像像素列，81目的图像像素列，时间序列在前的图像为 源图像，时间序列在后的图像为目的图像；
[0066] 根据如下公式计算时间序列上相邻的两个图像之间的相似度SI的加权平均值 SI7：
[0067] SI7 =0.299SIr+0.587SIg+0.114SIb
[0068] 其中，SIr为红色的SI值，SIg为绿色的SI值，SI b为蓝色的SI值；
[0069] 判断上述加权平均值SI'是否在预设的相似度阈值范围内，如果是，则删除，则表 示时间序列上相邻的两个图像相似，此时删除目的图像，如果否，则表示时间序列上相邻的 两个图像不相似，保留上述时间序列上相邻的两个图像；
[0070] 所述图像边缘识别算法去掉消化道边缘轮廓的具体方法为:采用canny边缘检测 算法待处理图像进行边缘检测，该算法使用了一阶有限差分sobel算子来计算图像梯度的 幅值和方向，然后通过非极大值抑制和双阈值设定得到图像的边缘，并将检测到的图像边 缘删除。
[0071]上述技术方案中，提取颜色特征前先使用上述的边缘检测算法去除消化道内壁等 边缘特征，以减少其对提取图像颜色特征的干扰，然后对图像做网格分割和超像素分割并 提取局部的颜色特征；
[0072]所述提取分割后机器学习训练数据中训练样本图像的颜色矩特征的具体方法为： [0073] 颜色特征主要提取HSV颜色空间（色调Η，饱和度S，明度V)和RGB颜色空间下的颜色
矩和颜色纯度特征，其中颜色矩包括，一阶矩 二阶矩 9 三阶矩
[0074]其中，1^表示彩色图像第i个颜色通道分量中灰度为j的像素出现的概率，η表示图 像中的像素个数，μ:表示第i个颜色通道图像灰度的均值；
[0075] 颜色纯度特征包括RGB颜色空间下的红色颜色通道和HSV颜色空间下的饱和度通 道与各自颜色空间中的其它通道的比值。
[0076]上述技术方案中，图像特征提取模块4提取训练样本图像的熵特征的方法为;提取 训练样本图像的二维熵信息，训练样本图像的二维熵信息选择训练样本图像的邻域灰度均 值作为灰度分布的空间特征量，灰度分布的空间特征量与训练样本图像的像素灰度组成特 征二元组，记为（i，j)，其中i表示像素的灰度值，j表示邻域灰度均值，训练样本图像任意像 素位置上的灰度值与该像素位置周围像素灰度分布的综合特征的定义为Pu = f(i，j)/N2， 其中f(i，j)为特征二元组（i，j)出现的频数，N为训练样本图像的尺度，离散的训练样本图 像二维熵定义为：
[0078] 上述技术方案中，图像识别模块6对训练样本图像按照消化道位置分类数据并应 用卷积神经网络模型（CNN，Convolutional neural networks)进行分类。
[0079] 上述技术方案中，机器学习模块5对消化道分类和病灶分类采用了不同的学习方 法。对消化道分类采用了基于神经网络的深度学习的方法，深度学习采用了 5层卷积神经网 络模型，在全连接层采用了SoftMax函数对提取到的消化道特征进行了分类，消化道分类结 果为食道、胃部、小肠、结肠。对病灶的分类使用多分类的支持向量机(SVM)来实现，SVM分类 器的公式可表示为：
[0081 ]其中ai拉格朗日系数该系数由训练得到，yi样本i的分类值，xi样本i的值。SVM分类 使用了图像的颜色矩、CLBP特征、SIFT特征、二维熵特征，SVM可将病灶分为出血、溃疡、月中 瘤、息肉。
[0082]图像识别模块6对去冗余、降噪、去干扰处理后的消化道图像应用CNN模型得到图 像的分类结果，然后根据图像的时间序列得到消化的分段模型，并记录下胶囊通过食道、胃 部、小肠、结肠的时间和这几个部位的起止图像ID。
[0083]根据上述消化道分段模型，在每个消化道的分段内应用Adaboost算法对病灶做一 个初步的分类识别。Adaboost分类算法是将几个弱分类器加权组合成一个效果更好的强分 类器，其公式可表达为：
[0085] 其中Gm(x)为第m个弱分类器，G(X)为最终得到的强分类器，am是弱分类器的系数即
权值，可由弱分类器误差概率em计算得到，其计算方法为 Adaboost识 〇 别出可疑病灶后，应用SVM再做一次病灶的细分类。对于出血(红色）、溃疡（白色）、黄色素瘤 (黄色)等以颜色区分的病变，主要通过颜色矩、二维熵、CLBP等特征来识别。对于息肉和肿 瘤等隆起型病变，主要使用CIJB、SIFT等特征来识别。将这些提取出来的特征应用于SVM可 进一步提高病灶识别精度。
[0086] 本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
【主权项】
1. 一种消化道病灶图像识别系统，其特征在于：它包括存储器（1)、图像预处理模块 (3)、图像特征提取模块(4)、机器学习模块(5)和图像识别模块(6)，其中，所述存储器(1)的 存储数据通信端连接图像预处理模块(3)的数据输入端，图像预处理模块(3)的数据输出端 连接图像特征提取模块(4)的数据输入端，图像特征提取模块(4)的第一数据输出端连接机 器学习模块(5)的数据输入端，图像特征提取模块(4)的第二数据输出端连接图像识别模块 (6)的第一数据输入端，机器学习模块(5)的数据输出端连接图像识别模块(6)的第二数据 输入端。2. 根据权利要求1所述的消化道病灶图像识别系统，其特征在于： 所述存储器（1)用于存储机器学习训练数据，其中，所述机器学习训练数据包括训练样 本图像、测试样本图像、图像分类信息； 所述图像特征提取模块(4)用于使用尺度不变特征转换算法和完整局部二值模式算法 提取机器学习训练数据中训练样本图像的图像纹理特征，同时使用超像素方法和网格法对 机器学习训练数据进行分割，然后提取分割后机器学习训练数据中训练样本图像的赌特征 和颜色矩特征； 图像特征提取模块(4)还用于将图像纹理特征、赌特征和颜色矩特征分别传输给机器 学习模块(5)和图像识别模块(6); 图像特征提取模块(4)还用于将机器学习训练数据传输给机器学习模块巧）； 机器学习模块(5)用于采用卷积神经网络的深度学习方法根据图像分类信息对测试样 本图像进行消化道位置分类，得到消化道位置分类数据，机器学习模块巧)还用于根据图像 纹理特征、赌特征和颜色矩特征，并依据支持向量机算法进行学习训练生成消化道病灶信 息数据模型； 机器学习模块(5)还用于将消化道位置分类和消化道病灶信息数据模型传输给图像识 别板块(6); 所述图像识别模块(6)用于对训练样本图像按照消化道位置分类数据进行分类，并基 于消化道位置分类的结果对不同消化道部位的训练样本图像提取图像纹理特征、赌特征和 颜色矩特征，然后采用Adaboost算法对不同消化道部位的训练样本图像提取的图像纹理特 征、赌特征和颜色矩特征进行病灶识别，最后应用消化道病灶信息数据模型对病灶识别结 果进行分类得到准确的病灶信息。3. 根据权利要求1所述的消化道病灶图像识别系统，其特征在于:它还包括数据解析模 块(2)，所述存储器(1)的存储数据通信端连接数据解析模块(2)的存储数据通信端，所述数 据解析模块(2)的数据输出端连接图像预处理模块(3)的数据输入端； 所述数据解析模块(2)用于由机器学习训练数据生成所需图片格式的图像； 所述图像预处理模块(3)用于对数据解析模块(2)生成的图像通过图像去冗余算法去 除图像中的冗余图像，再对去冗余后的图像使用Gabor滤波算法去掉图像中的噪声干扰、杂 质干扰、气泡干扰、粘液干扰，并用图像边缘识别算法去掉消化道边缘轮廓的影响。4. 一种利用权利要求1所述系统进行消化道病灶图像识别的方法，其特征在于，它包括 如下步骤： 步骤1:在存储器（1)中存入机器学习训练数据，其中，所述机器学习训练数据包括训练 样本图像、测试样本图像、图像分类信息，数据解析模块(2)从存储器(1)中提取机器学习训 练数据，并对提取的机器学习训练数据进行格式转换，生成所需图片格式的图像； 步骤2:图像特征提取模块(4)使用尺度不变特征转换算法和完整局部二值模式算法提 取机器学习训练数据中训练样本图像的图像纹理特征，同时使用超像素方法和网格法对机 器学习训练数据进行分割，然后提取分割后机器学习训练数据中训练样本图像的赌特征和 颜色矩特征； 图像特征提取模块(4)还将图像纹理特征、赌特征和颜色矩特征分别传输给机器学习 模块(5)和图像识别模块(6); 图像特征提取模块(4)还将机器学习训练数据传输给机器学习模块巧）； 步骤3:机器学习模块(5)采用卷积神经网络的深度学习方法根据图像分类信息对测试 样本图像进行消化道位置分类，得到消化道位置分类数据，机器学习模块(5)还根据图像纹 理特征、赌特征和颜色矩特征，并依据支持向量机算法进行学习训练生成消化道病灶信息 数据模型； 机器学习模块(5)还将消化道位置分类和消化道病灶信息数据模型传输给图像识别模 块(6); 步骤4:图像识别模块(6)对训练样本图像按照消化道位置分类数据进行分类，并基于 消化道位置分类的结果对不同消化道部位的训练样本图像提取图像纹理特征、赌特征和颜 色矩特征，然后采用Adaboost算法对不同消化道部位的训练样本图像提取的图像纹理特 征、赌特征和颜色矩特征进行病灶识别得到病灶的疑似区域，最后使用支持向量机应用消 化道病灶信息数据模型对病灶识别疑似区域进行分类得到准确的病灶信息。5. 根据权利要求4所述的消化道病灶图像识别方法，其特征在于:所述机器学习训练数 据由消化道原始图像数据采取人工按需要选择的方式生成。6. 根据权利要求4所述的消化道病灶图像识别方法，其特征在于:所述对数据解析模块 (2)生成的图像通过图像去冗余算法去除图像中的冗余图像的具体方法为： 根据如下图像去冗余算法先计算出时间序列上相邻的两个图像之间的相似度SI;其中，N为图像宽度，gi源图像像素列，Si目的图像像素列，时间序列在前的图像为源图 像，时间序列在后的图像为目的图像； 根据如下公式计算时间序列上相邻的两个图像之间的相似度SI的加权平均值SI/: Sr =0.299SIr+0.587SIg+0.114SIb 其中，Sir为红色的SI值，SIg为绿色的SI值，Sib为蓝色的SI值； 判断上述加权平均值SI/是否在预设的相似度阔值范围内，如果是，则删除，则表示时 间序列上相邻的两个图像相似，此时删除目的图像，如果否，则表示时间序列上相邻的两个 图像不相似，保留上述时间序列上相邻的两个图像； 所述图像边缘识别算法去掉消化道边缘轮廓的具体方法为：采用canny边缘检测算法 待处理图像进行边缘检测，该算法使用了一阶有限差分sobel算子来计算图像梯度的幅值 和方向，然后通过非极大值抑制和双阔值设定得到图像的边缘，并将检测到的图像边缘删 除。7. 根据权利要求4所述的消化道病灶图像识别方法，其特征在于:所述提取分割后机器 学习训练数据中训练样本图像的赌特征和颜色矩特征的具体方法为： 颜色特征主要提取HSV颜色空间和RGB颜色空间下的颜色矩和颜色纯度特征，其中颜色 矩包括，一阶；其中，hu表示彩色图像第i个颜色通道分量中灰度为j的像素出现的概率，η表示图像中 的像素个数，μι表示第i个颜色通道图像灰度的均值； 颜色纯度特征包括RGB颜色空间下的红色颜色通道和HSV颜色空间下的饱和度通道与 各自颜色空间中的其它通道的比值。8. 根据权利要求4所述的消化道病灶图像识别方法，其特征在于：图像特征提取模块 (4)提取训练样本图像的赌特征的方法为;提取训练样本图像的二维赌信息，训练样本图像 的二维赌信息选择训练样本图像的邻域灰度均值作为灰度分布的空间特征量，灰度分布的 空间特征量与训练样本图像的像素灰度组成特征二元组，记为（i，j)，其中i表示像素的灰 度值，j表示邻域灰度均值，训练样本图像任意像素位置上的灰度值与该像素位置周围像素 灰度分布的综合特征的定义为Pu = f(i，j)/炉，其中f(i，j)为特征二元组（i，j)出现的频 数，N为训练样本图像的尺度，离散的训练样本图像二维赌定义为：9. 根据权利要求4所述的消化道病灶图像识别方法，其特征在于：图像识别模块(6)对 训练样本图像按照消化道位置分类数据并应用卷积神经网络模型进行分类。10. 根据权利要求5所述的消化道病灶图像识别方法，其特征在于:所述消化道原始图 像数据由胶囊内窥镜拍摄提供。
【文档编号】G06T7/00GK106097335SQ201610405322
【公开日】2016年11月9日
【申请日】2016年6月8日
【发明人】张皓, 袁文金, 张行, 王新宏, 段晓东, 肖国华
【申请人】安翰光电技术（武汉）有限公司