专利名称：基于图论聚类和色彩不变空间的目标跟踪方法
技术领域：
本发明属于视频图像处理技术领域，涉及视频中的目标跟踪，为一种基于图论聚类和色彩不变空间的目标跟踪方法。
背景技术：
目标跟踪在视觉导航、行为识别、智能交通等领域有非常广泛的研究和应用。当前大多数的运动检测和目标跟踪算法都是基于Harris和SIFT特征，但难以解决匹配效率，低光照差异引起的色彩变化等问题。其它一些跟踪算法利用亮度恒常性计算光流，然而如果强度分布比较均勻，如特征不明显的墙，或有一维强度分布，如边缘，图像速率就无法可靠估计。图像特征的提取与匹配是物体识别、动态跟踪、图像拼接等方面的应用基础内容。 提取的特征可分为全局特征和局部特征。全局特征是通过某些特征描述整幅图像内容，若图像背景较复杂或存在噪声干扰，前景目标混杂在背景中或被遮挡，此时便难以将全局特征提取出来，因此图像全局特征具有盲目性，抗干扰能力较差。局部不变特征对尺度缩放、 图像旋转、光照变化和仿射变换具有较强的鲁棒性，其稳定性、可重复性和独特性也具有显著优势。利用局部不变特征进行图像处理是近期的研究热点。在局部不变特征提取与匹配研究中，尺度不变特征变换SIFT(Scale Invariant Feature Transform)算法不变性优势明显，但SIFT的描述子无法处理彩色图像，且其匹配运算量大，不同运动物体间的误匹配时有发生。
发明内容
本发明要解决的问题是现有的局部不变特征提取与匹配研究中，SIFT受限于灰度图像，无法处理彩色图像，且其匹配运算量大，不同运动物体间的误匹配时有发生。本发明的技术方案为基于图论聚类和色彩不变空间的目标跟踪方法，包括以下步骤1)对视频流的图像进行色彩不变空间转换，用色彩不变特征CSIFT特征提取，检测提取色彩不变、尺度不变特征，计算不变量特征向量；2)特征的图论运动聚类基于图论，根据特征运动趋势对视频帧进行特征点的聚类，以当前帧为参考图像，后一帧为待匹配图像，以这两帧的CSIFT特征点作为图的节点， 获取色彩不变图像下各节点的运动趋势信息，以每两个节点的运动趋势相似度为节点间边的权重，对两帧中的节点同时进行聚类，具有相同运动趋势的特征点属于相同运动状态的目标，通过特征点聚类将相邻两帧视频帧中的同一目标分割出来，实现对视频帧中目标的足艮S宗。进一步的，步骤2)后进行特征分类匹配，对各个目标上的特征点进一步细化，根据聚类结果，对每一类分别匹配，计算当前帧CSIFT特征点的特征向量与后一帧中属于同一类的所有CSIFT特征点的特征向量的欧氏距离，最小距离与次小距离的比率小于0. 6时则为匹配，匹配的特征点属于同一目标，若当前帧中特征点在后一帧中没有对应的匹配特征点，则此特征点不属于所跟踪目标，通过特征分类匹配，细化各个特征点与目标之间的对应关系，对匹配后的特征点跟踪，实现目标的细化跟踪本发明的目标跟踪具体为1)图像预处理，对视频流的帧图像背景建模，去除背景影响；2)依照Kubelka-Munk理论进行色彩不变空间转换，对参考图像I1 (x, y)和待匹配图像I2 (X，y)分别求出色彩不变量H1 (x, y)和H2 (x, y)，以色彩不变量代替图像的灰度值；3)CSFIT特征检测，在色彩不变空间中对H1,吐用SIFT算法提取特征，并生成色彩不变空间下的SIFT描述子，即CSIFT特征点，包含特征点的信息有坐标、尺度、主方向及128 维特征向量，在彩色图像上标识；4)图论的运动聚类，基于图论，对视频帧的特征点进行聚类，对相邻两帧中的特征点建立图，进行聚类分类，将检测出的CSIFT特征点作为节点，定义其运动矢量，表征该点运动趋势的概率分布，从而将某两个像素运动趋势的相似性反映在边的权重上；采用色彩空间变换后的图像代替灰度图像，以H不变量代替灰度值进行计算，Ht(X)表示t时刻视频帧二维空间中，以特征点X为中心的运算窗体，Pi(Clx)表示第i个节点Xi对应下一帧运动 dx的概率，dx表示该点所有可能的运动偏移方向；计算Pi (dx)，先计算Ht (Xi)和Ht+1 (Xi+dx) 的相似度Si(Ck),如式(1)，其中w属于视频帧二维空间，是Ht (Xi)的局部邻域
权利要求
1.基于图论聚类和色彩不变空间的目标跟踪方法，其特征是包括以下步骤1)对视频流的图像进行色彩不变空间转换，用色彩不变特征CSIFT特征提取，检测提取色彩不变、尺度不变特征，计算不变量特征向量；2)特征的图论运动聚类基于图论，根据特征运动趋势对视频帧进行特征点的聚类， 以当前帧为参考图像，后一帧为待匹配图像，以这两帧的CSIFT特征点作为图的节点，获取色彩不变图像下各节点的运动趋势信息，以每两个节点的运动趋势相似度为节点间边的权重，对两帧中的节点同时进行聚类，具有相同运动趋势的特征点属于相同运动状态的目标， 通过特征点聚类将相邻两帧视频帧中的同一目标分割出来，实现对视频帧中目标的跟踪。
2.根据权利要求1所述的基于图论聚类和色彩不变空间的目标跟踪方法，其特征是步骤2)后进行特征分类匹配，对各个目标上的特征点进一步细化，根据聚类结果，对每一类分别匹配，计算当前帧CSIFT特征点的特征向量与后一帧中属于同一类的所有CSIFT特征点的特征向量的欧氏距离，最小距离与次小距离的比率小于0. 6时则为匹配，匹配的特征点属于同一目标，若当前帧中特征点在后一帧中没有对应的匹配特征点，则此特征点不属于所跟踪目标，通过特征分类匹配，细化各个特征点与目标之间的对应关系，对匹配后的特征点跟踪，实现目标的细化跟踪。
3.根据权利要求1或2所述的基于图论聚类和色彩不变空间的目标跟踪方法，其特征是目标跟踪具体为1)图像预处理，对视频流的帧图像背景建模，去除背景影响；2)依照Kubelka-Munk理论进行色彩不变空间转换，对参考图像I1(^y)和待匹配图像 I2 (x, y)分别求出色彩不变量H1(^y)和H2 (x，y)，以色彩不变量代替图像的灰度值；3)CSFIT特征检测，在色彩不变空间中对H1, H2用SIFT算法提取特征，并生成色彩不变空间下的SIFT描述子，即CSIFT特征点，包含特征点的信息有坐标、尺度、主方向及128维特征向量，在彩色图像上标识；4)图论的运动聚类，基于图论，对视频帧的特征点进行聚类，对相邻两帧中的特征点建立图，进行聚类分类，将检测出的CSIFT特征点作为节点，定义其运动矢量，表征该点运动趋势的概率分布，从而将某两个像素运动趋势的相似性反映在边的权重上；采用色彩空间变换后的图像代替灰度图像，以H不变量代替灰度值进行计算，Ht (X)表示t时刻视频帧二维空间中，以特征点X为中心的运算窗体，Pi (dx)表示第i个节点Xi对应下一帧运动dx的概率，dx表示该点所有可能的运动偏移方向；计算Pi(Ck),先计算Ht (Xi)和Hw(XJdx)的相似度Si(Ck),如式(1)，其中w属于视频帧二维空间，是Ht (Xi)的局部邻域St(dx) = exp(-X(Ht(X1 +w)-Hm(X1 +dx + w)f Iasso2) (1)woSSD是点Xi对所有dx，式(HW+W-Ht+YXi+dx+w))的标准差，将式(1)归一化为概率分布U 脚(2)以两个运动趋势的互相关来检测运动相似度，将视频帧中i，j两节点的距离定义为J(ZJ) = I-Z以办)巧(办)叔(3)则边(i，j)的权重为Wij = exp(-d(i, j)/om2)(4)om2是图中所有d(i，j)的方差；设d(i) =Σ 是节点Xi与其他所有节点的连接，设视频帧为图G，特征点点集V，将其分为两个点集A，B，A U B = V，」门万=0,归一化分割，表示为Ncut(AB)= CUt^B) + CUt^B)asso(A, V) asso{B, V)⑶ 其中α^ΛΒ)= Σ w("，v)是Α，B两部分的差异程度大小，N是图中节点的总个数，utA,VtBasso(A,V) =Σ ueAjtevw(u,t)是A中节点与图中所有节点的权重和，aSS0(B，V)是B中节点与图中所有节点的权重和；设D是以d为对角元素的NXN对角矩阵d(l) 0 0 OOO d(2) 0 00d(0 = Z,y，d= 0 0 … 0 00 0 0 d(iV-l) 0 0 0 0 0 d(A0W是N XN的对称矩阵，ff(i, j) = Wij ； 得到瑞利商描述式(6)，Vr(D-W)Vmin Ncut(x) = min J v τ-—y Dy(6)通过求解广义特征值方程式(7)间接获得瑞利商 (D-W)y=XDy(7)求解广义特征值方程式(D-W)y= XDy，将广义特征方程变换为标准特征方程，D^(D-W)D^z = Az，其中ζ = D^y，利用广义特征值方程式第二小的特征值对图进行二分，分析分类后的稳定性，决定是否需要细分，若要细分使用下一小的特征向量递归分割，直到不需要细分为止，最终得到的各类别的特征点集就是分别属于不同运动目标的，通过特征点集的位置确定目标的位置，实现对目标的跟踪。
4.根据权利要求3所述的基于图论聚类和色彩不变空间的目标跟踪方法，其特征是利用广义特征值方程式第二小的特征值对图进行二分，计算当前Ncut最小值，若Ncut最小值大于预先设定的阈值0. 05，则需要细分，使用下一小的特征向量递归分割，直到Ncut最小值小于设定的阈值。
全文摘要
基于图论聚类和色彩不变空间的目标跟踪方法，包括以下步骤1)对视频流的图像进行色彩不变空间转换，用色彩不变特征CSIFT特征提取特征点；2)特征的图论运动聚类，具有相同运动趋势的特征点属于相同运动状态的目标，由特征点跟踪到视频帧中的目标。本发明采用局部不变特征，摒弃全局特征的盲目性；实现色彩不变特征CSIFT提取，在保持SIFT特征几何不变性优势的同时增加了色彩不变性，从灰度特征空间提升为彩色空间；针对静止背景下的运动物体，将图论思想融入匹配，将特征运动分类作为匹配的预处理，使匹配操作更加准确、快速。
文档编号G06T7/20GK102236901SQ201110181318
公开日2011年11月9日 申请日期2011年6月30日 优先权日2011年6月30日
发明者丁文, 徐亮, 李勃, 杨娴, 翟霄宇, 董蓉, 郁建桥, 陈启美, 陈抒瑢, 顾昊 申请人:南京大学