基于视觉感知的颜色纹理描述子的WCE彩色视频中主要地形边界的定位方法与流程

文档序号:11231915阅读:342来源:国知局
基于视觉感知的颜色纹理描述子的WCE彩色视频中主要地形边界的定位方法与流程

本发明涉及计算及人工智能领域,尤其涉及一种基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法。



背景技术:

目前,无线胶囊内镜(wce:wirelesscapsuleendoscopy)作为一种重要的新型技术被广泛应用于人类胃肠道疾病的诊断。尤其是克服了传统内镜无法到达到小肠的缺陷,它可以到达消化道的任何位置,具有无创伤、耐受性好的特点。但是,由于胶囊内镜的运动主要是依靠消化道内胃肠道的蠕动,运动过程缓慢,故其在消化道内平均大致逗留8个小时左右,然而wce拍摄系统的拍摄时间间隔却很短,平均2帧/s,所以,每个人将会采集到50000~60000幅彩色的消化道时序图像数据。这些图像数据是海量,对医生浏览某个消化道器官的图像,想要快速定位到此器官起始图像带来不小的负担。因而,设计一种可靠的高效的计算机辅助程序来定位wce视频中各个相邻器官图像的边界位置是临床医生所需要的。



技术实现要素:

本发明旨在至少解决现有技术中存在的技术问题,特别创新地提出了一种基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法。

为了实现本发明的上述目的,本发明提供了一种基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法,其特征在于,包括如下步骤:

s1,在wce视频图像帧中获取原始图像i(x)转换到lab颜色空间的图像;

s2,提取有效图像区域,通过监听器算法对图像进行处理,如果找到异常图像窗口对则执行s3,如果未找到异常图像窗口对则重新执行s2;

s3,构造结合纹理和颜色的融合特征-ctvp描述子;

s4,提取训练集的ctvp特征,用来训练svm分类器;

s5,提取测试集的wld直方图特征,并用训练完成的svm分类器为测试集分类;根据分类结果进行精确定位胃肠特征点信息。

所述的基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法,优选的,所述s1包括:

rgb转xyz其中,xyz为目标颜色空间的3个分量:

其中r,g,b分别为rgb图像r、g、b的通道值。

xyz转lab:

其中yn=100.0

故获得lab各通道图像为a(x),如下式所示:

所述的基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法,优选的,所述s2包括:

s2-1,将整个wce视频图像数据划分为连续的窗口,每个窗口包含l张图片;获得窗口化图像数据w1,w2,...,wn和监听器输入的窗口序列对(w1,w2),(w2,w3),...,(wn-1,wn);定位胃/小肠边界,从视频头部开始;定位小肠/大肠边界,从视频尾部开始;

s2-2,计算当前窗口对(wk,wk+1)里的lab颜色空间各通道的平均值mc,k和mc,k+1;

s2-3,计算出当前窗口对的颜色变化度dck并存储结果;

s2-4,,将当前的dck与先前窗口对里获得平均颜色变化度mdc比较,当变化大于一个阈值t时,则被监听为包含边界的疑似窗口对,进入具体判定阶段;否则,移动到下一个窗口对;

公式如下:

公式中,avgc、mc,k分别表示一幅图和一个图像窗口在lab颜色空间下各通道的平均值,c表示lab颜色空间的任意通道即l、a、b,nvalid表示窗口内有效图片的数量;dck表示当前窗口对(wk,wk+1)的颜色变化度;

mdc表示平均颜色变化度。

所述的基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法,优选的,所述s3包括:

转化成灰度图grey,公式如下:

其中,r,g,b分别是rbg色彩空间的三个通道。

glcm的概率测量可以定义为:

其中,pi,j(δ,θ)表示给定(δ,θ)对的窗口内的灰度级i和j的出现次数;gi,j表示灰度级的量化数。为了好的效率,本发明将灰度级降到64和128;δ选取1、3、5这几个距离;θ选取0度、45度、90度、135度这四个方向。矩阵的行和列的平均值和标准偏差为

选取其对比度、相关性、能量和均匀性四个属性作为纹理特征的特征因子,

energy=∑ci,j2

根据公式选用a通道和b通道的平均值作为颜色特征{avga,avgb}。

所述的基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法,优选的,所述s4包括:

最优超平面定义为:

其中,β叫做权重向量,β0叫做偏置(bias),x表示离超平面最近的那些点。点x到超平面(β,β0)的距离为:

最大化m转化为在附加限制条件下最小化函数l(β)。限制条件隐含超平面将所有训练样本xi正确分类的条件,

yi(β0+βtxi)

其中,yi表示样本的类别标记,xi表示训练数据。

训练svm分类器:本发明的训练样本x(xi的集合)即是训练样本的ctvp描述子,选择合适的核函数训练svm分类器。

所述的基于视觉感知的颜色纹理描述子的wce彩色视频中主要地形边界的定位方法,优选的,所述s5包括:

s5-1,提取监听器命中的窗口对内图像的有效区域(去除杂质和黑边角),用监听器算法依次监听窗口序列对直到监听到包含疑似边界的窗口对时为止。

s5-2,提取图像的ctvp描述子;

s5-3,用训练好的svm分类器识别测试窗口对的ctvp特征,获得图像分类结果。如果窗口对中图像分类结果,前部是胃+后部是小肠或者前部是小肠+后部是大肠,那么就输出边界位置(胃/小肠边界或者小肠/大肠边界位置),并且程序结束;否则,跳回s5-2。

综上所述,由于采用了上述技术方案,本发明的有益效果是:

使用训练好的svm分类器识别测试窗口对的ctvp特征,获得图像分类结果。

本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:

图1是本发明总体流程图;

图2a-2c是本发明wce图像示意图;

图3是本发明wce视频图像数据划分为连续的窗口示意图;

图4是本发明结合纹理和颜色的融合特征-ctvp描述子示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。

在本发明的描述中,需要理解的是,术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。

在本发明的描述中,除非另有规定和限定,需要说明的是,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是机械连接或电连接,也可以是两个元件内部的连通,可以是直接相连,也可以通过中间媒介间接相连,对于本领域的普通技术人员而言,可以根据具体情况理解上述术语的具体含义。

本发明提出了一种基于视觉感知的颜色纹理描述子(ctvp)的wce视频中主要“地形”边界的定位技术。不同消化道器官即食道、胃、小肠、大肠(包含结肠)在wce视频中,可以看成不同的“地形”;获取相邻器官图像的分界位置即为“地形”边界(文中简称边界)。在本发明的方法中,本发明主要定位胃/小肠和小肠/大肠的分界点。首先通过本发明设计的基于窗口对的监听器算法检测疑似包含边界点,然后在命中的窗口对中,本发明提取窗口对中图像的ctvp描述子作为特征,然后通过支持向量机(svm)分类器识别特征并对图像进行分类,并通过分类结果判定是否包含边界点;如果没有,监听下一个窗口对;如果有,输出边界位置并结束程序。流程如图1所示。

(1)监听器算法

wce视频中,当胶囊从一个器官进入另一个器官时,基于人类视觉感知,图像颜色会有显著的;而在同一器官中,正常拍摄状况下,图像颜色并不会变化很大。结合wce图像的实际情况,wce图像主要呈现出粉红的胃部(图2a,橙红的小肠(图2b)和淡粉红的大肠(图2c)。基于这样的事实,本发明提出了根据感知颜色空间的颜色平均变化度来监听可疑窗口的监听器算法。其中,本发明选择了一种基于人对颜色的感觉的彩色模型——lab色彩模型。lab中的数值描述正常视力的人能够看到的所有的颜色,其描述的是颜色的显示方式,而不是设备生成颜色所需的特定色料的数量,所以lab被视为与设备无关的基于感知的颜色模型。其中,l是代表图像的明度,a描述从洋红色至绿色的范围,b表示的是从黄色到蓝色的范围。此算法能够高效、快速的监听出包含疑似边界的图像窗口。

1)获取原始图像i(x)转换到lab颜色空间

由于wce原始图像是按rgb颜色空间进行存储的,所以本发明首先需要将rgb颜色空间图像i(x)转化为lab颜色空间的图像,但是rgb和lab之间没有直接的转换公式,必须进行一次中间转化,先将rgb颜色空间图像转换为xyz空间,如下式所示:

rgb转xyz为目标颜色空间的3个分量:

其中r,g,b分别为rgb图像r、g、b的通道值。

xyz转lab:

其中yn=100.0

故获得lab各通道图像为a(x),如下式所示:

2)监听器算法步骤

步骤1,如图3所示,将整个wce视频图像数据划分为连续的窗口,每个窗口包含l张图片;获得窗口化图像数据w1,w2,...,wn和监听器输入的窗口序列对(w1,w2),(w2,w3),...,(wn-1,wn);定位胃/小肠边界,从视频头部开始;定位小肠/大肠边界,从视频尾部开始;

步骤2,计算当前窗口对(wk,wk+1)里的lab颜色空间各通道的平均值mc,k和mc,k+1;

步骤3,计算出当前窗口对的颜色变化度dck并存储结果;

步骤4,,将当前的dck与先前窗口对里获得平均颜色变化度mdc比较,当变化大于一个阈值t时,则被监听为包含边界的疑似,进入具体判定阶段;否则,移动到下一个窗口对,根据实际观察和统计,当t=1.5时效果较好。公式如下:

公式中,avgc、mc,k分别表示一幅图和一个图像窗口在lab颜色空间下各通道的平均值,c表示lab颜色空间的任意通道即l、a、b,nvalid表示窗口内有效图片的数量;dck表示当前窗口对ywk,wk+1y的颜色变化度;mdc表示平均颜色变化度。

基于ctvp描述子的svm分类器训练、识别、边界判定(color-textureofvisualperception(ctvp):可视感知的纹理颜色)

(2)基于ctvp描述子的svm分类器训练、识别、边界判定

基于定位胃/小肠、小肠/大肠的边界,本发明需要训练两个svm分类器。针对胃/小肠,本发明在胃部、小肠部靠近幽门选择合适的足够的图片作为正反样本;针对小肠/大肠,本发明在边界周围选择小肠、大肠的合适的足够的图片作为正反样本。然后提取样本的ctvp描述子作为特征放入svm分类器中训练获得训练后的svm分类器。

1)ctvp描述子

结合wce图像的实际情况,wce图像主要呈现出颜色粉红且纹理光滑的胃部(图2a),颜色橙红且线性纹理丰富的小肠(图2b)和颜色淡粉红且纹理光滑的大肠(图2c)。基于这样的视觉感知,本发明设计出结合纹理和颜色的融合特征-ctvp描述子。其构造方式如图4所示。

灰度共生矩阵(glcm)是像素距离和角度的矩阵函数,它通过计算图像中一定距离和一定方向的两点灰度之间的相关性,来反映图像在方向、间隔、变化幅度及快慢上的综合信息。

由于原图是rgb彩色图像,需要转化成灰度图grey,公式如下:

其中,r,g,b分别是rbg色彩空间的三个通道。

glcm的概率测量可以定义为:

其中,pi,j(δ,θ)表示给定(δ,θ)对的窗口内的灰度级i和j的出现次数;gi,j表示灰度级的量化数。为了好的效率,本发明将灰度级降到64和128;δ选取1、3、5这几个距离;θ选取0度、45度、90度、135度这四个方向。矩阵的行和列的平均值和标准偏差为

文中选取其对比度、相关性、能量和均匀性四个属性作为纹理特征的特征因子,如下所示:

energy=∑ci,j2

根据公式(7),本发明选用a通道和b通道的平均值作为颜色特征{avga,avgb}。

2)训练svm分类器

支持向量机(svm)是一个类分类器,正式的定义是一个能够将不同类样本在样本空间分隔的超平面。svm算法的实质是找出一个能够将某个值最大化的超平面,这个值就是超平面离所有训练样本的最小距离即间隔(margin),用m表示。

最优超平面定义为:

其中,β叫做权重向量,β0叫做偏置(bias),x表示离超平面最近的那些点。点x到超平面(β,β0)的距离为:

最大化m转化为在附加限制条件下最小化函数l(β)。限制条件隐含超平面将所有训练样本xi正确分类的条件,

yi(β0+βtxi)

其中,yi表示样本的类别标记,xi表示训练数据。

训练svm分类器:本发明的训练样本x(xi的集合)即是训练样本的ctvp描述子,选择合适的核函数训练svm分类器(根据实际观察和统计,选择rbf非线性核函数效果最好)。

3)wce视频中胃/小肠、小肠/大肠边界定位

步骤1,提取监听器命中的窗口对内图像的有效区域(去除杂质和黑边角),并。

步骤2,提取图像的ctvp描述子;

步骤3,用训练好的svm分类器识别测试窗口对的ctvp特征,获得图像分类结果。如果窗口对中图像分类结果,前部是胃+后部是小肠或者前部是小肠+后部是大肠,那么就输出边界位置(胃/小肠边界或者小肠/大肠边界位置),并且程序结束;否则,回到监听器。

在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1