胶囊内窥镜图像预处理系统及方法与流程
本发明涉及计算机辅助检测技术领域，具体涉及一种胶囊内窥镜图像预处理系统及方法。
背景技术：
现有无线胶囊内窥镜操作流程要求在体外对被检测者的相貌、简要信息(如姓名、性别、手机号等)、胶囊信息(序列号、电池电量等)进行拍摄，同时由于操作者对于仪器及胶囊内窥镜的熟练程度不同、被检测者对于胶囊的适应程度不同，会使得胶囊会拍摄大量在体外的图片。
这些图片可以防止检查数据与被检测者不匹配的问题，有利于数据的管理。但是这些体外图像数据对于查看图像的医生来说，是没有作用的。医生的主要目的是查看被检测者的消化道是否存在异常，大量的体外图像数据会影响医生查阅图像的效率。
对于病灶位置(如出血、息肉、溃疡、肿瘤等)、特定的解剖学结构(如贲门、幽门等)，无线胶囊内窥镜在消化道内拍摄时，会连续拍摄多张图像，从而导致图像冗余，同样会影响医生查阅图像的效率。
拍摄过程中，胃部空腔及胃壁距离远近会导致拍摄得到的图像出现过亮或是过暗的问题，从而会得到较多无效图像，影响医生查阅图像效率。
技术实现要素：
本发明的目的在于提供一种胶囊内窥镜图像预处理系统及方法，该系统和方法能减少医生查看体外图像、冗余图像以及无效图像的时间，提高工作效率。
为解决上述技术问题，本发明公开的一种胶囊内窥镜图像预处理系统，其特征在于：它包括体外图像去除模块、无效图像去除模块、消化道图像分类模块、病灶和解剖学结构识别模块、病灶和解剖学结构冗余图像去除模块，其中，所述体外图像去除模块的数据输出端连接无效图像去除模块的数据输入端，无效图像去除模块的数据输出端连接消化道图像分类模块的数据输入端，消化道图像分类模块的数据输出端连接病灶和解剖学结构识别模块的数据输入端，病灶和解剖学结构识别模块的数据输出端连接病灶和解剖学结构冗余图像去除模块的数据输入端；
所述体外图像去除模块用于利用胶囊内窥镜图像灰度均值、胶囊内窥镜图像出现最多颜色值及胶囊内窥镜图像出现最多颜色值面积比，从胶囊内窥镜图像数据中去除体外图像数据，并输出给无效图像去除模块；所述无效图像去除模块用于对去除了体外图像数据的图像进行进一步处理，去除预设亮度范围之外的无效图像，并输出给消化道图像分类模块；所述消化道图像分类模块用于对无效图像去除模块输出的图像数据按消化道不同部位进行分类，并输出给病灶和解剖学结构识别模块，病灶和解剖学结构识别模块用于对消化道图像分类模块输出的图像数据进行检测识别，识别出分类后消化道图像中的病灶图像(如出血、息肉、溃疡、肿瘤等)和解剖学结构图像信息(如贲门、幽门等)，并将识别出的病灶图像信息和解剖学结构图像信息输出给病灶和解剖学结构冗余图像去除模块，所述病灶和解剖学结构冗余图像去除模块用于去除冗余的病灶图像和解剖学结构图像。
一种利用上述胶囊内窥镜图像预处理系统的胶囊内窥镜图像预处理方法，其特征在于，它包括如下步骤：
步骤1：所述体外图像去除模块利用胶囊内窥镜图像灰度均值、胶囊内窥镜图像出现最多颜色值及胶囊内窥镜图像出现最多颜色值面积比，从胶囊内窥镜图像数据中去除体外图像数据，并输出给无效图像去除模块；
所述体外图像去除模块利用胶囊内窥镜图像灰度均值、胶囊内窥镜图像颜色及胶囊内窥镜图像颜色面积比从胶囊内窥镜图像数据中去除体外图像数据，的具体方法为：
首先，体外图像去除模块对前n帧图像进行处理，得到rgb3个颜色通道的灰度均值序列mr(p1,p2,…,pi,…,pn)、mg(p1,p2,…,pi,…,pn)、mb(p1,p2,…,pi,…,pn)、出现最多颜色值序列c(p1,p2,…,pi,…,pn)，出现最多颜色值面积比值系列s(p1,p2,…,pi,…,pn)，pi为图像帧号；
利用胶囊内窥镜图像出现最多颜色值序列c(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否进入体内，得到初步位置1，其判断方法为：判断图像帧号pc内的出现最多颜色值c(pc)(rgb转换到hsv后，h对应就是颜色，为一个值)是否小于设定阈值tc，当图像帧号pc内的出现最多颜色值c(pc)<tc时，统计图像帧号pc后图像内出现最多颜色值c(pc+j)连续小于tc的张数mc，当该张数mc大于设置阈值tm1时，胶囊已进入体内，记录此时图像帧号pc，作为初始位置1；pc+j为pc之后的图像，j的取值为[1,m]，其中，m＝阈值tm1，初始位置1为进入体内的第1张图像；
利用图像出现最多颜色值面积比s(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否在体外，得到初步位置2，判断方法为：从第n张图像开始向前处理，判断图像帧号ps胶囊内窥镜图像出现最多颜色值面积比是否大于设定阈值ts，当胶囊内窥镜图像出现最多颜色值面积比s(ps)>设定阈值ts时，统计图像帧号ps前胶囊内窥镜图像出现最多颜色值面积比s(ps-q)连续大于设定阈值ts的张数ms，当该张数ms大于设置阈值tm2时，此时图像为体外图像，记录此时图像帧号ps，作为初始位置2；ps-q为ps之前的图像，s取值为[1,ma]，其中，ma＝tm2，初始位置2之前图像为体外图像；
在图像帧号ps和图像帧号pc之间，利用rgb各颜色通道灰度均值变化确定体外图像，其方法为：在图像帧号ps和图像帧号pc之间，计算rgb各颜色通道灰度均值变化，计算方式为：do(pm)＝mo(pm)-mo(pm+1)，o为通道，通道o的取值分别为r通道、g通道和b通道，pm为ps和pc之间的图像帧号，m取值为[s,c-1]，其中，s为ps的帧号，c为pc的帧号；判断rgb各颜色通道灰度均值变化dr(pm)、dg(pm)、db(pm)是否满足设定阈值td，当dr(pm)<td，且dg(pm)<td，且db(pm)<td时，此时距离图像帧号ps最近的图像帧号pm为体外体内图像分界位置，在图像帧号pm之前都为体外图像；
步骤2：无效图像去除模块(2)对去除了体外图像数据的图像进行按如下方法进行进一步处理，去除预设亮度范围之外的无效图像；
将去除体外图像数据后的胶囊内窥镜rgb图像转换为灰度图像gray；判断灰度图像gray的每个像素gray(x,y)，当gray(x,y)>yh时，当前像素过亮；当gray(x,y)<yl时，当前像素过暗；yh、yl为人工设置的经验参数；统计过亮和过暗像素个数和shl，shl＝syl+syh，其中，syl为过暗像素个数，syh为过亮像素个数，当shl>st时，当前灰度图像gray图像过亮或是过暗将其去除，当syl>syh时，图像过暗，反之，图像过亮，st为人工设置的经验参数，st与图像大小有关，st＝0.7*si，si为图像总的像素个数；
步骤3：消化道图像分类模块采用基于卷积神经网络cnn模型的深度学习方法对无效图像去除模块输出的图像数据按消化道不同部位进行分类；
步骤4：所述病灶和解剖学结构识别模块采用深度学习方法识别消化道图像中的病灶图像和解剖学结构图像信息。
步骤5：所述病灶和解剖学结构冗余图像去除模块对于每个识别出来的病灶和解剖学结构序列图像，利用病灶和解剖学结构的位置、大小、对比度特征来选择需要保留的图像，具体步骤如下：
计算序列中病灶和解剖学结构在每张图像中出现位置的得分rp，病灶和解剖学结构在每张图像中出现位置的得分rp表示序列中病灶和解剖学结构距离对应图像中心距离的远近，rp计算方式为：
其中w、h1分别为图像的宽度和高度，i为该病灶和解剖学结构图像序列中的序号，rpi为病灶和解剖学结构在i张图像中出现位置的得分，lxi、lyi为病灶和解剖学结构在第i张病灶和解剖学结构图像中位置的中心坐标；
统计序列中病灶和解剖学结构在每张病灶和解剖学结构图像中的大小得分rs，统计方式为：rsi＝swi×shi，式中，rsi为统计序列中病灶和解剖学结构在第i张病灶和解剖学结构图像中的大小得分，swi、shi为病灶和解剖学结构图像序列中第i张图像病灶和解剖学结构的宽和高；
计算病灶和解剖学结构图像系列中病灶和解剖学结构在每张图像中所占区域的对比度得分rc，计算方式为：
统计每张图像的总得分rt，统计方式为：rti＝rpi×rsi×rci，rti表示第i张图像的总得分rt；
选取序列中rt值最大的图像为病灶和解剖学结构图像序列去除冗余后的保留图像，即对于每个病灶图像和解剖学结构仅保留一张最为显著图像。
与现有的技术相比，本发明具有以下有益效果：
1、本发明可以全自动地去除体外图像；
2、本发明可以去除过亮和过暗的无效图像；
3、本发明可以识别内窥镜图像中的病灶图像和解剖学结构；
4、本发明可以去除冗余的病灶和解剖学结构图像；
5、本发明采用方法简单快速，减少医生查阅图像数量，提高医生查阅图像效率。
附图说明
图1位本发明的系统的结构框图；
图2为本发明中体外图像判断流程；
图3为本发明中深度学习消化道图像分类模型；
图4为本发明中深度学习消化道图像目标识别模型；
图5为本发明中病灶和解剖学结构冗余图像去除流程。
其中，1—体外图像去除模块、2—无效图像去除模块、3—消化道图像分类模块、4—病灶和解剖学结构识别模块、5—病灶和解剖学结构冗余图像去除模块。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细说明：
本发明设计胶囊内窥镜图像预处理系统，如图1所示，它包括体外图像去除模块1、无效图像去除模块2、消化道图像分类模块3、病灶和解剖学结构识别模块4、病灶和解剖学结构冗余图像去除模块5，其中，所述体外图像去除模块1的数据输出端连接无效图像去除模块2的数据输入端，无效图像去除模块2的数据输出端连接消化道图像分类模块3的数据输入端，消化道图像分类模块3的数据输出端连接病灶和解剖学结构识别模块4的数据输入端，病灶和解剖学结构识别模块4的数据输出端连接病灶和解剖学结构冗余图像去除模块5的数据输入端；
所述体外图像去除模块1用于利用胶囊内窥镜图像灰度均值、胶囊内窥镜图像出现最多颜色值及胶囊内窥镜图像出现最多颜色值面积比，从胶囊内窥镜图像数据中去除体外图像数据，并输出给无效图像去除模块2；所述无效图像去除模块2用于对去除了体外图像数据的图像进行进一步处理，去除预设亮度范围之外的无效图像，并输出给消化道图像分类模块3；所述消化道图像分类模块3用于对无效图像去除模块2输出的图像数据按消化道不同部位进行分类，并输出给病灶和解剖学结构识别模块4，病灶和解剖学结构识别模块4用于对消化道图像分类模块3输出的图像数据进行检测识别，识别出分类后消化道图像中的病灶图像和解剖学结构图像信息，并将识别出的病灶图像和解剖学结构图像信息输出给病灶和解剖学结构冗余图像去除模块5，所述病灶和解剖学结构冗余图像去除模块5用于去除冗余的病灶和解剖学结构图像。
上述胶囊内窥镜图像灰度均值的计算方式为：
其中，w、h1分别为胶囊内窥镜图像的宽度和高度，io(x,y)为o通道在位置图像坐标x,y处的灰度值，o通道表示r、g和b3个通道，mo为o通道的均值。
上述技术方案中，所述图像出现最多颜色值通过如下方式获得：
将胶囊内窥镜图像数据中的rgb颜色通道转换到hsv颜色通道，其转换公式为：
式中，max为r、g、b颜色通道中最大值，min为r、g、b颜色通道中最小值，计算hsv颜色通道中色调h的值；
统计hsv颜色通道中色调h的直方图，统计公式为：
histk(h(x,y))＝histk-1(h(x,y))+1
其中，hist为图像直方图，h(x,y)为色调h在位置(x,y)处的值，k为迭代次数，i<num，num为图像像素个数；
对上述hsv颜色通道中色调h的直方图hist(h(x,y))进行中值滤波，去除干扰；
找到滤波后hsv颜色通道中色调h的直方图hist的最大值高斯系数对应的位置所对应的颜色为图像的出现最多颜色值c。
上述技术方案中，所述滤波后hsv颜色通道中色调h的直方图hist(h(x,y))的最大值高斯系数通过如下方法获得：用高斯模型对直方图hist(h(x,y))进行非线性最小二乘拟合，拟合公式为：
式中，ak为第k个高斯模型的系数，k为1～x，bk为第k个高斯模型的方差，ck为第k个高斯模型的均值，x为高斯模型个数，取ak，k为1～x中最大的系数ak对应的ck为图像出现最多颜色值c。
上述技术方案中，所述胶囊内窥镜图像出现最多颜色值面积比通过如下方式得到：对hsv颜色通道中色调h进行二值化，得到二值化后的图像hb，二值化阈值为th(th＝20)，超过二值化阈值th置为1，为体外图像；反之置为0，为体内图像；则出现最多颜色值所占比值s为：
式中，w、h1分别为图像宽度、高度，x，y为像素坐标位置，hb表示二值化后的图像。
上述技术方案中，所述体外图像去除模块1利用胶囊内窥镜图像灰度均值、胶囊内窥镜图像颜色及胶囊内窥镜图像颜色面积比从胶囊内窥镜图像数据中去除体外图像数据，的具体方法为：
首先，体外图像去除模块对前n帧图像进行处理，得到rgb3个颜色通道的灰度均值序列mr(p1,p2,…,pi,…,pn)、mg(p1,p2,…,pi,…,pn)、mb(p1,p2,…,pi,…,pn)、出现最多颜色值序列c(p1,p2,…,pi,…,pn)，出现最多颜色值面积比值系列s(p1,p2,…,pi,…,pn)，pi为图像帧号；经过对临床病例数据的统计，n的取值不会超过1000，在本实施例中，n＝500，胶囊刚进入体内拍摄到的图像整体偏红，红色图像的h值较小，因而可以设置阈值判断胶囊是否进入体内，从而确定体外图像，将其排除。
利用胶囊内窥镜图像出现最多颜色值序列c(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否进入体内，得到初步位置1，其判断方法为：判断图像帧号pc内的出现最多颜色值c(pc)是否小于设定阈值tc(tc＝15)，当图像帧号pc内的出现最多颜色值c(pc)<tc时，统计图像帧号pc后图像内出现最多颜色值c(pc+j)连续小于tc的张数mc，当该张数mc大于设置阈值tm1(tm1＝5)时(为去除光照不均匀造成影响，对图像出现最多颜色值连续判断是否满足设置阈值)，胶囊已进入体内，记录此时图像帧号pc，作为初始位置1；pc+j为pc之后的图像，j的取值为[1,m]，其中，m＝阈值tm1，初始位置1为进入体内的第1张图像；
利用图像出现最多颜色值面积比s(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否在体外，得到初步位置2，判断方法为：从第n张图像开始向前处理，判断图像帧号ps胶囊内窥镜图像出现最多颜色值面积比是否大于设定阈值ts(ts＝0.5)(在体内，图像红色部分所占比例较大；反之在体外，图像红色部分所占比例较小)，当胶囊内窥镜图像出现最多颜色值面积比s(ps)>设定阈值ts时，统计图像帧号ps前胶囊内窥镜图像出现最多颜色值面积比s(ps-q)连续大于设定阈值ts的张数ms，当该张数ms大于设置阈值tm2(tm2＝5)时，此时图像为体外图像，记录此时图像帧号ps，作为初始位置2；ps-q为ps之前的图像，s取值为[1,ma]，其中，ma＝tm2，初始位置2之前图像为体外图像；
上述利用胶囊内窥镜图像出现最多颜色值颜色序列判断和利用图像出现最多颜色值面积比判断的方法可以并行处理，减少时间，提高效率，如图2所示。
在图像帧号ps和图像帧号pc之间，利用rgb各颜色通道灰度均值变化确定体外图像，其方法为：在图像帧号ps和图像帧号pc之间，计算rgb各颜色通道灰度均值变化，计算方式为：do(pm)＝mo(pm)-mo(pm+1)，o为通道，通道o的取值分别为r通道、g通道和b通道，pm为ps和pc之间的图像帧号，m取值为[s,c-1]，其中，s为ps的帧号，c为pc的帧号；判断rgb各颜色通道灰度均值变化dr(pm)、dg(pm)、db(pm)是否满足设定阈值td(15)，当dr(pm)<td，且dg(pm)<td，且db(pm)<td时，此时距离图像帧号ps最近的图像帧号pm为体外体内图像分界位置，在图像帧号pm之前都为体外图像，都可以去除。
上述技术方案中，上述利用胶囊内窥镜图像颜色序列c(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否进入体内和利用图像出现最多颜色值面积比s(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否在体外为并行处理，减少时间，提高效率。
上述技术方案中，所述无效图像去除模块2对去除了体外图像数据的图像进行进一步处理，去除预设亮度范围之外的无效图像的具体方法为：
将去除体外图像数据后的胶囊内窥镜rgb图像转换为灰度图像gray；判断灰度图像gray的每个像素gray(x,y)，当gray(x,y)>yh时，当前像素过亮；当gray(x,y)<yl时，当前像素过暗；yh、yl为人工设置的经验参数(yh＝220，yl＝50)；统计过亮和过暗像素个数和shl，shl＝syl+syh，其中，syl为过暗像素个数，syh为过亮像素个数，当shl>st时，当前灰度图像gray图像过亮或是过暗将其去除，当syl>syh时，图像过暗，反之，图像过亮，st为人工设置的经验参数，st与图像大小有关，st＝0.7*si，si为图像总的像素个数；
所述消化道图像分类模块3采用基于卷积神经网络cnn模型的深度学习方法(如goolenet等)对无效图像去除模块2输出的图像数据按消化道不同部位进行分类；深度学习采用卷积神经网络提取图像特征，如图3所示，在全连接层采用了softmax函数对提取到的消化道图像特征进行了分类，消化道分类结果为食道、胃部、小肠、大肠。
所述病灶和解剖学结构识别模块4采用深度学习方法识别消化道图像中的病灶图像和解剖学结构图像信息。如图4，通过卷积层计算得到特征图谱，然后再在特征图谱上挑选疑似的病灶图像和解剖学图像结构目标的位置，然后提取疑似目标特征，最后分类得到图像中目标及其分类。
上述技术方案中，对于某一病灶和解剖学结构，会连续拍摄多张图像，为减少医生查阅图像的数量，需去除冗余图像，保留病灶和解剖学结构更加明显、清晰的图像，所述病灶和解剖学结构冗余图像去除模块5对于每个识别出来的病灶和解剖学结构序列图像，利用病灶和解剖学结构的位置、大小、对比度特征来选择需要保留的图像，具体步骤如下，如图5所示：
计算序列中病灶和解剖学结构在每张图像中出现位置的得分rp，病灶和解剖学结构在每张图像中出现位置的得分rp表示序列中病灶和解剖学结构距离对应图像中心距离的远近，rp计算方式为：
其中w、h1分别为图像的宽度和高度，i为该病灶和解剖学结构图像序列中的序号，rpi为病灶和解剖学结构在i张图像中出现位置的得分，lxi、lyi为病灶和解剖学结构在第i张病灶和解剖学结构图像中位置的中心坐标，病灶和解剖学结构距离中心位置越近，得到rp越高；反之，病灶和解剖学结构距离图像中心的位置越远，得到rp越低，就不应该保留；
统计序列中病灶和解剖学结构在每张病灶和解剖学结构图像中的大小得分rs，统计方式为：rsi＝swi×shi，式中，rsi为统计序列中病灶和解剖学结构在第i张病灶和解剖学结构图像中的大小得分，swi、shi为病灶和解剖学结构图像序列中第i张图像病灶和解剖学结构的宽和高，将rs归一化到[0,1]；病灶和解剖学结构区域的大小越大，得到rs越高，就更应该保留；反之，病灶和解剖学结构区域的大小越小，得到rs越低，就不应该保留；
计算病灶和解剖学结构图像系列中病灶和解剖学结构在每张图像中所占区域的对比度得分rc，计算方式为：
统计每张图像的总得分rt，统计方式为：rti＝rpi×rsi×rci，rti表示第i张图像的总得分rt；图像中的病灶和解剖学结构区域的大小越大、位置越靠近中心、对比度越高，rt就越大；
选取序列中rt值最大的图像为病灶和解剖学结构图像序列去除冗余后的保留图像，即对于每个病灶和解剖学结构仅保留一张最为显著图像，该方法可以保留位置靠近图像中心、面积大、对比度高的病灶和解剖学结构图像，有效地去除了冗余图像。
一种利用上述胶囊内窥镜图像预处理系统的胶囊内窥镜图像预处理方法，其特征在于，它包括如下步骤：
步骤1：所述体外图像去除模块1利用胶囊内窥镜图像灰度均值、胶囊内窥镜图像出现最多颜色值及胶囊内窥镜图像出现最多颜色值面积比，从胶囊内窥镜图像数据中去除体外图像数据，并输出给无效图像去除模块2；
所述体外图像去除模块1利用胶囊内窥镜图像灰度均值、胶囊内窥镜图像颜色及胶囊内窥镜图像颜色面积比从胶囊内窥镜图像数据中去除体外图像数据，的具体方法为：
首先，体外图像去除模块对前n帧图像进行处理，得到rgb3个颜色通道的灰度均值序列mr(p1,p2,…,pi,…,pn)、mg(p1,p2,…,pi,…,pn)、mb(p1,p2,…,pi,…,pn)、出现最多颜色值序列c(p1,p2,…,pi,…,pn)，出现最多颜色值面积比值系列s(p1,p2,…,pi,…,pn)，pi为图像帧号；
利用胶囊内窥镜图像出现最多颜色值序列c(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否进入体内，得到初步位置1，其判断方法为：判断图像帧号pc内的出现最多颜色值c(pc)是否小于设定阈值tc(tc＝15)，当图像帧号pc内的出现最多颜色值c(pc)<tc时，统计图像帧号pc后图像内出现最多颜色值c(pc+j)连续小于tc的张数mc，当该张数mc大于设置阈值tm1(tm1＝5)时，胶囊已进入体内，记录此时图像帧号pc，作为初始位置1；pc+j为pc之后的图像，j的取值为[1,m]，其中，m＝阈值tm1，初始位置1为进入体内的第1张图像；
利用图像出现最多颜色值面积比s(p1,p2,…,pi,…,pn)判断胶囊内窥镜是否在体外，得到初步位置2，判断方法为：从第n张图像开始向前处理，判断图像帧号ps胶囊内窥镜图像出现最多颜色值面积比是否大于设定阈值ts(ts＝0.5)，当胶囊内窥镜图像出现最多颜色值面积比s(ps)>设定阈值ts时，统计图像帧号ps前胶囊内窥镜图像出现最多颜色值面积比s(ps-q)连续大于设定阈值ts的张数ms，当该张数ms大于设置阈值tm2(tm2＝5)时，此时图像为体外图像，记录此时图像帧号ps，作为初始位置2；ps-q为ps之前的图像，s取值为[1,ma]，其中，ma＝tm2，初始位置2之前图像为体外图像；
在图像帧号ps和图像帧号pc之间，利用rgb各颜色通道灰度均值变化确定体外图像，其方法为：在图像帧号ps和图像帧号pc之间，计算rgb各颜色通道灰度均值变化，计算方式为：do(pm)＝mo(pm)-mo(pm+1)，o为通道，通道o的取值分别为r通道、g通道和b通道，pm为ps和pc之间的图像帧号，m取值为[s,c-1]，其中，s为ps的帧号，c为pc的帧号；判断rgb各颜色通道灰度均值变化dr(pm)、dg(pm)、db(pm)是否满足设定阈值td(td＝15)，当dr(pm)<td，且dg(pm)<td，且db(pm)<td时，此时距离图像帧号ps最近的图像帧号pm为体外体内图像分界位置，在图像帧号pm之前都为体外图像，都可以去除；
步骤2：无效图像去除模块2对去除了体外图像数据的图像进行按如下方法进行进一步处理，去除预设亮度范围之外的无效图像；
将去除体外图像数据后的胶囊内窥镜rgb图像转换为灰度图像gray；判断灰度图像gray的每个像素gray(x,y)，当gray(x,y)>yh时，当前像素过亮；当gray(x,y)<yl时，当前像素过暗；yh、yl(yh＝220，yl＝50)为人工设置的经验参数；统计过亮和过暗像素个数合shl，shl＝syl+syh，其中，syl为过暗像素个数，syh为过亮像素个数，当shl>st时，当前灰度图像gray图像过亮或是过暗将其去除，当syl>syh时，图像过暗，反之，图像过亮，st为人工设置的经验参数，st与图像大小有关，st＝0.7*si，si为图像总的像素个数；
步骤3：消化道图像分类模块3采用基于卷积神经网络cnn模型的深度学习方法(goolenet)对无效图像去除模块2输出的图像数据按消化道不同部位进行分类；
步骤4：所述病灶和解剖学结构识别模块4采用深度学习方法识别消化道图像中的病灶和解剖学结构信息。
步骤5：所述病灶和解剖学结构冗余图像去除模块5对于每个识别出来的病灶和解剖学结构序列图像，利用病灶和解剖学结构的位置、大小、对比度特征来选择需要保留的图像，具体步骤如下：
计算序列中病灶和解剖学结构在每张图像中出现位置的得分rp，病灶和解剖学结构在每张图像中出现位置的得分rp表示序列中病灶和解剖学结构距离对应图像中心距离的远近，rp计算方式为：
其中w、h1分别为图像的宽度和高度，i为该病灶和解剖学结构图像序列中的序号，rpi为病灶和解剖学结构在i张图像中出现位置的得分，lxi、lyi为病灶和解剖学结构在第i张病灶和解剖学结构图像中位置的中心坐标，病灶和解剖学结构距离中心位置越近，得到rp越高；反之越低；
统计序列中病灶和解剖学结构在每张病灶和解剖学结构图像中的大小得分rs，统计方式为：rsi＝swi×shi，式中，rsi为统计序列中病灶和解剖学结构在第i张病灶和解剖学结构图像中的大小得分，swi、shi为病灶和解剖学结构图像序列中第i张图像病灶和解剖学结构的宽和高，将rs归一化到[0,1]；
计算病灶和解剖学结构图像系列中病灶和解剖学结构在每张图像中所占区域的对比度得分rc，计算方式为：
统计每张图像的总得分rt，统计方式为：rti＝rpi×rsi×rci，rti表示第i张图像的总得分rt；
选取序列中rt值最大的图像为病灶和解剖学结构图像序列去除冗余后的保留图像，即对于每个病灶和解剖学结构仅保留一张最为显著图像，该方法可以保留位置靠近图像中心、面积大、对比度高的病灶和解剖学结构图像，有效地去除了冗余图像。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
- 还没有人留言评论。精彩留言会获得点赞！