专利名称：基于黎曼流型度量的鱼群算法的目标跟踪方法
技术领域：
本发明属于视觉跟踪领域，尤其是一种基于黎曼流型度量的鱼群算法的目标跟踪方法。
背景技术：
视觉跟踪是当前计算机视觉领域的热点问题，融合了图像处理、模式识别、人工智能等多种不同领域的理论知识，在军事制导、视觉导航、安全监控、智能交通、视频编码等领域中有着广阔的应用前景。所谓目标跟踪就是在序列图像的每帧图像中准确定位所感兴趣的运动目标所处的位置。其主要的步骤ー是建立目标模型，即对目标外观进行描述，以明确跟踪任务所针对的对象；ニ是对目标进行定位，即确定目标的位置，根据每ー时刻的位置，可计算出目标的运动參数，如位置、速度、运动轨迹等，其中前一步骤是跟踪的基础。目标跟踪的难点在于目标的姿态变化，光照、背景变化或者目标的交互遮挡等原因造成无法准确的描述目标模型，因此如何建立有判别カ的目标表观模型对目标跟踪至关重要。对目标表观模型建立问题，国内外提出了很多方法，像基于颜色直方图的均值漂移(mean shift)算法,其算法简单但鲁棒性较好。Mean shift跟踪算法通常将颜色直方图作为目标模型描述，建立概率密度函数，用相似度函数度量目标模型和候选目标之间的相似性，通过求相似度函数的最大值得到关于目标的均值漂移向量，从而将跟踪问题转化为基于均值漂移的模式匹配问题，最終迭代搜索到目标的位置。它显著的优点是算法计算量小，简单易实现，很适合实时跟踪场合；但是这种基于颜色直方图的跟踪方法缺少可靠的空间信息，跟踪小目标和快速移动目标时常常失败，而且在全部遮挡情况下不能恢复跟踪。因此，在跟踪中很容易丢失目标。局部ニ值模式(LBP)直方图是另外一种目标模型描述方法，这种特征不受自然场景下灰度尺度造成的影响，例如在光照变化条件下对目标跟踪有较好的鲁棒性。梯度方向直方图HOG (Histogram of oriented gradient)也是ー种很有效的模型描述方法，在该方法中包含了空间和边缘方向信息。但这几种模型描述方法所包含的特征时空信息有限，对复杂场景下运动目标的遮挡处理能力有限。
发明内容
近来，区域协方差算子作为ー类有效快速的特征被Tuzel等人在2006年引入到目标检测和目标跟踪中，它使用协方差矩阵来表达图像中的目标区域，这种方法很好的融合了目标的位置、顔色、梯度等多特征，它对旋转、尺度缩放以及亮度变化都有很强的适应性，是ー种理想的模型描述方法。然而在视觉跟踪中，优化两个协方差矩阵的最小相关度，需要遍历整幅图像，速度较慢。而且当目标外形发生较大改变或被遮挡时，将会很容易出现因目标模型的更新问题而导致的跟踪失败，使得这种方法的使用受到了局限。2002年李晓磊提出了一种基于鱼群行为的寻求全局最优的新型捜索策略-人工鱼群算法，是ー种高效的，全局性的优化算法，它可以在较短时间内找到全局最优值，并且可以避免算法收敛到局部最优值而无法跳出。本发明提出了一种基于黎曼流型度量上的人工鱼群视觉跟踪方法，既保证了协方差矩阵这种目标描述方法的鲁棒性，而且提高了算法对目标遮挡问题的处理能力，其并行的机制也大大的提闻了跟踪的效率。
本发明提出的一种基于黎曼流型度量的鱼群算法的目标跟踪方法，其特征在于，该方法包括以下步骤步骤1，输入一彩色图像序列，指定图像序列中第一帧图像的一大小为MXN的区域为待跟踪的目标区域R，计算该指定的目标区域R的协方差矩阵C。，；步骤2，对于所述彩色图像序列中的第二帧图像，随机构造η个候选目标区域R'，并分别计算该η个候选目标区域的协方差矩阵Ck ；步骤3，计算步骤2得到的η个协方差矩阵Ck分别与所述目标区域R的协方差矩阵Cdi之间的黎曼距离；步骤4，将步骤3得到的黎曼距离作为目标函数，使用人工鱼群算法获得第二帧图像中最优的候选目标区域，作为该帧图像中最终跟踪到的目标区域；步骤5，重复上述步骤2-4，获得并输出彩色图像序列的每幅图像中最终跟踪到的目标区域，从而对所述彩色图像序列中的目标进行跟踪。本发明提出的方法主要有以下三个步骤(I)构造目标区域协方差矩阵；(2)度量协方差矩阵的相关性；(3)使用人工鱼群算法求取与指定目标区域具有最大相似度的目标区域。本发明的并行运算机制提高了跟踪算法的效率，其全局搜索的能力提高了算法对遮挡问题的鲁棒性，实验结果证明了本发明方法在复杂背景情况下目标跟踪的鲁棒性。
图I是本发明方法的流程图。图2是本发明方法与其他方法对部分遮挡目标跟踪结果的比较。图3是本发明方法与其他方法对姿态变化和光线变化的目标跟踪结果的比较。图4是本发明方法与其他方法对复杂干扰背景目标跟踪结果的比较。图5是本发明方法与其他方法对不同视频序列目标跟踪的中心坐标距离误差的比较。图6是本发明方法与其他方法对不同视频序列目标跟踪的面积偏离率误差的比较。
具体实施例方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。图I是本发明提出的基于黎曼流型度量的鱼群算法的目标跟踪方法的流程图。如图I所示，该方法主要包括以下几个步骤步骤1，输入一彩色图像序列，指定图像序列中第一帧图像中一个大小为MXN的区域为待跟踪的目标区域R，计算该指定的目标区域R的协方差矩阵C。，；步骤2，对于所述彩色图像序列中的第二帧图像，随机构造η个候选目标区域R'，并分别计算该η个候选目标区域的协方差矩阵Ck ；
对于彩色图像序列中的一幅ニ维图像I，随意放置η个大小为MXN的候选目标区域R'，为了加快匹配速度，減少运算量，通常使这η个候选目标区域R'的中心像素点位于第一帧图像中指定的目标区域R的中心像素点的周围。所述目标区域中的每个像素点生成ー个d维的特征向量hk，hk为对某一个像素点的描述，它的元素可以是像素的空间位置信息、亮度、顔色、梯度等，特征向量元素的选择可以根据实际应用的需要来确定。本发明中对彩色图像的像素点采用如下的特征向量来表示hk = [xyR(x, y)G(x, y)B(x, y) Ix (x, y) Iy (x, y) Ixx(x, y) Iyy (x, y) ] (I)其中，(x，y)为像素点k的坐标；R(x, y), G(x, y), B(x, y)为该像素点的RGB颜色值；Ix(x, y), Iy (x, y)为彩色图像I所对应的灰度图像在(x，y)的ー阶梯度，Ixx(x，y)，Iyy(x，y)为所述灰度图像在(X，y)的ニ阶梯度。那么，所述目标区域的协方差矩阵C。,和Ck可以表示为
权利要求
1.一种基于黎曼流型度量的鱼群算法的目标跟踪方法，其特征在于，该方法包括以下步骤 步骤1，输入一彩色图像序列，指定图像序列中第一帧图像的一大小为MXN的区域为待跟踪的目标区域R，计算该指定的目标区域R的协方差矩阵C。，； 步骤2，对于所述彩色图像序列中的第二帧图像，随机构造η个候选目标区域R'，并分别计算该η个候选目标区域的协方差矩阵Ck ； 步骤3，计算步骤2得到的η个协方差矩阵Ck分别与所述目标区域R的协方差矩阵Cdi之间的黎曼距离； 步骤4，将步骤3得到的黎曼距离作为目标函数，使用人工鱼群算法获得第二帧图像中最优的候选目标区域，作为该帧图像中最终跟踪到的目标区域； 步骤5，重复上述步骤2-4，获得并输出彩色图像序列的每幅图像中最终跟踪到的目标区域，从而对所述彩色图像序列中的目标进行跟踪。
2.根据权利要求I所述的方法，其特征在于，所述目标区域中的每个像素点生成一个d维的特征向量hk: hk = [xyR (x, y) G (x, y) B (x, y) Ix (x, y) Iy (x, y) Ixx (x, y) Iyy (x, y)], 其中，(x，y)为像素点k的坐标；R(x, y), G(x, y), B(x, y)为该像素点的RGB颜色值；Ix(x，y)，Iy(x，y)为所述目标区域所在的彩色图像所对应的灰度图像在(x，y)的一阶梯度，Ixx (X, y), Iyy (X, y)为所述灰度图像在(x, y)的二阶梯度。
3.根据权利要求2所述的方法，其特征在于，所述目标区域的协方差矩阵表示为
4.根据权利要求I所述的方法，其特征在于，所述步骤2中，令该η个候选目标区域R'的中心像素点位于第一帧图像中指定的目标区域R的中心像素点的周围。
5.根据权利要求I所述的方法，其特征在于，所述步骤3中，(^与(^之间的黎曼距离表示为
6.根据权利要求5所述的方法，其特征在于，所述步骤4进一步包括以下几个步骤 步骤4. 1，鱼群初始化，令人工鱼代表当前待处理图像中候选目标区域的中心像素点，根据步骤2随机生成的η个候选目标区域，得到对应于当前待处理图像的η条人工鱼，令人工鱼的状态向量XiQ = 1,2, ... η)代表当前待处理图像中η个候选目标区域的中心像素点的坐标； 步骤4. 2，为公告板赋初值，计算初始鱼群中各人工鱼当前状态的食物浓度，即目标函数f (X)，将其中的最小值记入公告板，并将此鱼所在的位置也赋值给公告板；步骤4. 3，执行行为选择，对各人工鱼分别模拟聚群行为和追尾行为，评价行为后的目标函数值，选择目标函数值较小的那个行为实际执行； 步骤4. 4，公告板更新，执行之后，如果鱼群中存在小于公告板上的值的目标函数值，则更新公告板上的目标函数值以及人工鱼的位置； 步骤4. 5，终止条件判断，判断是否已达到预置的最大迭代次数，若满足，则算法终止，输出最优值，即公告板上的目标函数值，对应所述最优值的人工鱼所在的位置即为最优的候选目标区域的中心像素点；否则继续进行迭代。
7.根据权利要求6所述的方法，其特征在于，人工鱼的所述聚群行为描述为设人工鱼当前状态为Xi，搜索当前视野范围内的伙伴中心位置X。和伙伴数量nf，如果中心位置的食物浓度Y。优于当前状态的食物浓度Yi,且不太拥挤，则向中心位置前进一步
8.根据权利要求7所述的方法，其特征在于，所述两人工鱼个体之间的距离为不受量纲影响的马氏距离
9.根据权利要求6所述的方法，其特征在于，人工鱼的所述追尾行为描述为设人工鱼当前状态为Xi，搜索其视野范围内食物浓度最优的一个伙伴Xbest,如果这个伙伴位置的食物浓度Ybest优于当前状态的食物浓度Yi,则向这个伙伴前进一步，即
10.根据权利要求7或9所述的方法，其特征在于，人工鱼的所述追觅食行为描述为设人工鱼当前状态为Xi,在其视野范围内随机选择一个状态Xp即 Xj = Xj+Rand O *V i sual, 其中，Clijj <视野范围< Visual，Clijj为两人工鱼个体i、j之间的距离，Visual为人工鱼的感知距离，RandO为0-1之间的随机数； 如果状态Xj的食物浓度Yj优于当前状态的食物浓度Yi，则Xi向Xj方向前进一步，即 Xmext = X1 + RandO * 卿 * ^ii， Ι Ι 其中，U Xi的下一状态，St印表示人工鱼移动的最大步长，11.11为两状态之间的距离； 反之，则重新随机选择状态判断是否满足前进条件，反复尝试N次后，如果仍不满足前进条件，则随机移动一步，即Xinext = XjRandOstep0
全文摘要
本发明公开了一种在黎曼流型度量上的人工鱼群算法的视觉跟踪方法。本发明首先采用融合了目标的位置、颜色、梯度等特征区域协方差算子作为目标的表观模型，提高了它对姿态变化以及亮度变化的适应性。然后在黎曼流型上进行目标相似度的度量，最后利用人工鱼群算法搜寻指定目标与候选目标之间相似度最优的匹配。本发明的并行运算机制提高了跟踪算法的效率，其全局搜索的能力则提高了算法对遮挡问题的鲁棒性，实验结果证明了本发明方法在复杂背景情况下目标跟踪的鲁棒性。
文档编号G06T7/20GK102622765SQ20121004830
公开日2012年8月1日 申请日期2012年2月28日 优先权日2012年2月28日
发明者徐常胜, 郭文 申请人:中国科学院自动化研究所