胶囊内窥镜图像数据去冗余方法
【专利摘要】本发明公开了一种胶囊内窥镜图像数据去冗余方法，1、将图像序列中第一个图像作为关键图像；2、取关键图像的下一图像作为对比图像，计算关键图像与对比图像之间的全局特征相似度，3、判断归一化互相关系数是否全部都大于阈值，若是，则全局特征的相似性大于阈值，此时，进一步计算关键图像与对比图像之间的局部特征的相似性，进入4；否则，将当前取出的对比图像作为新的关键图像，返回2；4、判断关键图像与对比图像之间的局部特征的相似性是否大于预设的阈值，若是，则将当前取出的对比图像标记为冗余图像，并删除；否则，将当前取出的对比图像作为新的关键图像，返回2。本发明能够减少医生需要查看的图片总数，提高诊断效率和准确率。
【专利说明】
胶囊内窥镜图像数据去冗余方法
技术领域
[0001] 本发明涉及图像处理技术领域，具体地指一种胶囊内窥镜图像数据去冗余方法。
【背景技术】
[0002] 无线胶囊内窥镜能够以无痛无创的方式对整个消化道进行检查，是一场革命性的 技术突破。患者吞服一粒胶囊，胶囊沿着消化道前进，并拍摄图像数据，胶囊内窥镜总共要 工作6~8小时，采集大约50000幅图像，大量的图像数据使得医生的检查工作变得艰巨且耗 时。专业医生通常需要大约2个小时才能完成对整个图像序列的检查工作。有时消化道的异 常仅存在几帧图像中，另外，在胶囊内窥镜采集到的图像中，通常存在大量的冗余信息，医 生可能因为长时间的浏览图片检查出现视觉疲劳而误诊。
[0003] 公开号为CN 103747270 A的中国专利《一种胶囊内窥镜视频图像的去冗余方法及 系统》，该技术先定义一个关键图像帧，将关键图像帧与其后面的图像帧逐一计算基于灰度 图像的互相关系数，通过判断互相关系数是否大于阈值来判断图像是否为冗余帧。该技术 通过计算基于灰度图像的互相关系数来判断图像的相似性，而实际胶囊采集到的是彩色图 像，一种常见的疾病（消化道出血)主要是通过颜色信息来判断，忽略颜色信息易导致图像 误删。另外互相关系数表征的是图像的全局特征，该技术只利用了图像的全局特征，没有考 虑图像的局部特征，图像中的病灶有时尺寸会比较小，小尺寸的病灶导致的是图像间局部 特征的不同，因此仅仅通过全局特征来判断图像是否冗余可能会导致误删。
[0004] 论文《胶囊内窥镜冗余图像数据自动筛除方法》参考文献(期刊）：孙宇千，吕庆文， 刘哲星等.胶囊内窥镜冗余图像数据自动筛除方法[J].计算机应用研究，2012，29(6): 2393-2396,该技术先将图像在HSV(Hue色调、Saturation饱和度、Value明度）空间量化，得 到HSV直方图，然后基于归一化的互信息量计算相邻图像的相似度，最后根据筛选比例对图 像数据进行筛除。该技术只考虑了图像的全局特征，没有考虑图像局部特征的不同。依然存 在误删的可能。
[0005] 论文《胶囊内镜图像序列冗余数据筛查方法研究》参考文献(博士论文）：潘宁.胶 囊内镜图像序列冗余数据筛查方法研究[D].华中科技大学，2013,中提出了基于相机运动 估计的冗余数据筛查方法，该方法通过图像配准来对胶囊的运动进行评估，通过运动大小 来判断图像数据是否冗余。该技术采用图像配准技术，考虑了全局运动模型和局部运动模 型，计算量大，不利于运用到实际的胶囊内窥镜辅助阅片系统中。
【发明内容】
[0006] 本发明就是针对上述技术问题，提供一种胶囊内窥镜图像数据去冗余方法，该方 法减少医生需要浏览的图像数量，从而提高诊断效率和准确率。
[0007] 为实现上述目的，本发明所设计的一种胶囊内窥镜图像数据去冗余方法，它包括 如下步骤：
[0008] 步骤1:患者吞服胶囊内窥镜后，胶囊内窥镜在消化道内采集图像数据，采集到的 图像数据中的图像序列共有依据拍摄时间排列的M幅图像，将图像序列中第一个拍摄时刻 对应的图像作为关键图像，进入步骤2;
[0009] 步骤2:取所述关键图像相邻的下一时刻的图像作为对比图像，计算关键图像与对 比图像之间的全局特征相似度，即分别提取关键图像的R、G、B(红、绿、蓝三色)三个分量和 对比图像的R、G、B三个分量，分别计算关键图像的R、G、B三个分量与对比图像的R、G、B三个 分量的归一化互相关系数NCCr、NCCg和NCCb ;
[0010] 步骤3:判断步骤2得到的归一化互相关系数NCCr、NCCg和NCCb是否全部都大于阈值 T1，若是，则全局特征的相似性58大于阈值!^，此时，进一步计算关键图像与对比图像之间的 局部特征的相似性S g，进入步骤4;否则，全局特征的相似性Sg不大于阈值T1，将当前取出的 对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2;
[0011] 步骤4:判断关键图像与对比图像之间的局部特征的相似性58是否大于预设的阈 值T2,若是，则将当前取出的对比图像标记为冗余图像，并将该冗余图像删除；否则，将当前 取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步 骤2。
[0012] 本发明具有如下优点：
[0013] 1、通过此方法可去除大量的相似图片，这样使医生检阅图片更加轻松;针对异常 图片，有时消化道的异常仅存在几帧图像中，医生可能因为长时间的浏览大量图片出现视 觉疲劳而忽视了这几帧异常图像导致误诊，减少需要查看的图片总数，不仅能提高诊断效 率，某种程度上也可提高诊断的准确率。因此，本发明能够减少医生需要查看的图片总数， 提高诊断效率和准确率。
[0014] 2、本发明综合考虑了图像的全局特征相似性和局部特征的相似性，减少病灶图像 被误删的几率。
[0015] 3、论文《胶囊内镜图像序列冗余数据筛查方法研究》中提到的方法通过图像配准 估计胶囊的运动，根据运动的大小来排除冗余图像。本发明提出的方法是通过计算图像的 全局和局部特征，通过特征的相似性大小来排除冗余图像。图像的特征提取和特征相似性 的判断在时间消耗上远小于图像配准技术，本发明没有采用图像配准，方法效率相比采用 图像配准技术的方法更高。
【附图说明】
[0016] 图1为本发明的流程图；
[0017] 图2是本发明图像数据去冗余方法中全局特征相似性的计算和判断流程图；
[0018] 图3是本发明图像数据去冗余方法中局部特征相似性的计算流程图。
【具体实施方式】
[0019] 下面结合附图和具体实施例对本发明作进一步的详细说明。
[0020] 如图1~3所述的胶囊内窥镜图像数据去冗余方法，它包括如下步骤：
[0021] 步骤1:患者吞服胶囊内窥镜后，胶囊内窥镜在消化道内采集图像数据，采集到的 图像数据中的图像序列共有依据拍摄时间排列的M幅图像(彩色图像），将图像序列中第一 个拍摄时刻对应的图像作为关键图像，进入步骤2;
[0022]步骤2:取所述关键图像相邻的下一时刻的图像作为对比图像，计算关键图像与对 比图像之间的全局特征相似度，即分别提取关键图像的R、G、B三个分量和对比图像的R、G、B 三个分量，分别计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相 关系数 NCCr、NCCg 和 NCCb;
[0023]步骤3:判断步骤2得到的归一化互相关系数NCCr、NCCg和NCCb是否全部都大于阈值 T1，若是，则全局特征的相似性58大于阈值!^，此时，进一步计算关键图像与对比图像之间的 局部特征的相似性S 1，进入步骤4;否则（归一化互相关系数NCCr、NCCg和NCCb有一个小于等 于阈值T 1),全局特征的相似性Sg不大于阈值T1，将当前取出的对比图像标记为非冗余图像， 并将当前取出的对比图像作为新的关键图像，返回步骤2;
[0024] 步骤4:判断关键图像与对比图像之间的局部特征的相似性51是否大于预设的阈 值T2,若是，则将当前取出的对比图像标记为冗余图像，并将该冗余图像删除；否则，将当前 取出的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步 骤2;
[0025] 步骤5:重复步骤2~步骤4,直到序列内所有的图像都判断完毕，此时，保留了所有 关键图像，去除了所有冗余图像，即实现了胶囊内窥镜图像数据的去冗余处理。
[0026] 上述技术方案的步骤1中，关键图像为所述图像序列中依据拍摄时间排列的第一 幅图像。则步骤2中的对比图像即为依据拍摄时间排列的第二幅图像。
[0027] 上述技术方案中，所述阈值T1的取值范围为0.6<T1S0.85;所述阈值T2的取值范 围为0.5<Τ 2<0.9。根据反复试验判断，上述阈值T1和阈值1~2的取值范围能够得到最佳的去 几余效果。
[0028]上述技术方案的步骤2中，计算关键图像的R、G、B三个分量与对比图像的R、G、B三 个分量的归一化互相关系数NCCr、NCCc和NCCb的具体计算公式如下：
[0029]
[0030] 其中，η为R、G、B，表示颜色通道;x，y分别为图像的横坐标和纵坐标；In(x，y)为关 键图像对应的单个颜色通道的图像数据，J n(x，y)为对比图像对应的单个颜色通道的图像 数据，分别为图像11^，7)和九(1，7)的灰度均值。
[0031] 上述技术方案中，所述关键图像与对比图像之间的局部特征的相似性计算方 法为计算关键图像和对比图像的方向梯度直方图（H0G，histogram of Oriented gradient)的特征向量（见参考文献，Triggs N D B.Histograms of Oriented Gradients for Human Detection[J] .Cvpr，2005,1(12) :886-893.)，将关键图像的方向梯度直方图的 特征向量与对比图像的方向梯度直方图的特征向量的归一化互相关系数值作为局部特征 的相似性函数值3 1，上述相似性函数值S1的计算公式为：
[0032]
[0033] 其中，￥1(2)和％(2)分别为关键图像和对比图像的方向梯度直方图的特征向量，z 为特征向量的坐标，Z的取值为[I，m]，m为特征向量的维度，F1和1|分别为￥1(2)和￥2(2)的均 值。
[0034]本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
【主权项】
1. 一种胶囊内窥镜图像数据去冗余方法，其特征在于，它包括如下步骤： 步骤1:患者吞服胶囊内窥镜后，胶囊内窥镜在消化道内采集图像数据，采集到的图像 数据中的图像序列共有依据拍摄时间排列的Μ幅图像，将图像序列中第一个拍摄时刻对应 的图像作为关键图像，进入步骤2; 步骤2:取所述关键图像相邻的下一时刻的图像作为对比图像，计算关键图像与对比图 像之间的全局特征相似度，即分别提取关键图像的R、G、B三个分量和对比图像的R、G、B三个 分量，分别计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相关系 数 NCCr、NCCg 和 NCCb; 步骤3:判断步骤2得到的归一化互相关系数NCCr、NCCc和NCCb是否全部都大于阈值h，若 是，则全局特征的相似性38大于阈值!^，此时，进一步计算关键图像与对比图像之间的局部 特征的相似性S:，进入步骤4;否则，全局特征的相似性S g不大于阈值Ti，将当前取出的对比 图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2; 步骤4:判断关键图像与对比图像之间的局部特征的相似性51是否大于预设的阈值T2， 若是，则将当前取出的对比图像标记为冗余图像，并将该冗余图像删除；否则，将当前取出 的对比图像标记为非冗余图像，并将当前取出的对比图像作为新的关键图像，返回步骤2。2. 根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于:所述步骤4后 还包括步骤5:重复步骤2~步骤4,直到序列内所有的图像都判断完毕，此时，保留了所有关 键图像，去除了所有冗余图像。3. 根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于:所述阈值!^的 取值范围为0.6彡4. 根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于:所述阈值^的 取值范围为0.5彡T2彡0.9。5. 根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于:所述步骤2中， 计算关键图像的R、G、B三个分量与对比图像的R、G、B三个分量的归一化互相关系数NCCr、 NCCc和NCCb的具体计算公式如下：其中，η为R、G、B，表示颜色通道;X，y分别为图像的横坐标和纵坐标;In(X，y)为关键图像 对应的单个颜色通道的图像数据，jn(x，y)为对比图像对应的单个颜色通道的图像数据，Γ Β 和分别为图像Ιη( X，y)和Jn (X，y)的灰度均值。6. 根据权利要求1所述的胶囊内窥镜图像数据去冗余方法，其特征在于:所述关键图像 与对比图像之间的局部特征的相似性31的计算方法为计算关键图像和对比图像的方向梯 度直方图的特征向量，将关键图像的方向梯度直方图的特征向量与对比图像的方向梯度直 方图的特征向量的互相关系数值作为局部特征的相似性函数值Su7. 根据权利要求6所述的胶囊内窥镜图像数据去冗余方法，其特征在于:上述相似性函 数值S:的计算公式为：其中，分别为关键图像和对比图像的方向梯度直方图的特征向量，Z为特 征向量的坐标，Z的取值为[1，m]，m为特征向量的维度，If和P2分别为Vi(Z)和V2(Z)的均值。
【文档编号】G06T7/00GK106056588SQ201610351600
【公开日】2016年10月26日
【申请日】2016年5月25日
【发明人】张行, 袁文金, 张皓, 王新宏, 段晓东, 肖国华
【申请人】安翰光电技术（武汉）有限公司