专利名称：基于视频的混合交通环境下移动目标多特征融合跟踪方法
技术领域：
本发明涉及视频监控技术和图像处理理论，涉及一种基于视频的混合交通环境 下移动目标多特征融合跟踪方法。
背景技术：
在我国，混合交通是一种客观现象，自行车、机动车、行人组成的混合交通， 这种混合交通引发的交通拥堵、交通事故增加、城市环境不断恶化、运输效益下降 等一系列问题，严重地影响了道路交通秩序降低了道路通行能力，增加了道路交通 管理难度。
随着智能化视频监控技术的发展，及其在自动异常检测、身份识别以及视频内 容理解和描述等方面所取得的成果，视频监控系统在军事、公共安全、工业和交通 等领域得到了广泛应用。尤其是在智能交通系统中，视频监控已成为交通流检测、 异常事故分析以及交通控制的基础手段。
车辆是混合交通系统最常见的移动目标，也是监控的主要对象，因此，车辆跟 踪技术是智能交通系统中车辆监控的关键技术之一，其水平的高低直接影响到高速 公路和城市道路监控系统的整体运行安全和管理水平。运动车辆的跟踪信息不仅能 为车辆的正确检测以及准确识别提供帮助，还能通过对运动轨迹的分析，估计车辆 状态并给予语义描述，进而为交通安全及决策提供一定的技术支持。
目前，寻求基于视频的高鲁棒性和实时性车辆跟踪算法已成为这个领域的研究 热点。基于视频的车辆跟踪方法主要采用的方法是贝叶斯滤波。最常用的有卡尔曼 滤波、扩展卡尔曼滤波等。这些方法的不足之处是无法处理非高斯噪声或非线性模 型、多模态等情况。而在交通环境复杂多变的智能交通系统中，如光照，气候的变 化、运动目标的种类和状态的多样性等，往往会产生较大的跟踪误差，出现跟踪目 标丢失，遮挡等问题。为了解决以上问题，粒子滤波成为当前运动目标跟踪方法中 的新研究方向。因为其适用于任何能用状态空间模型表示的非线性系统以及非高斯 系统，精度可以逼进最优估计。本发明基于粒子滤波跟踪算法，设计和研究了一个 开放式的解决框架，使得目标跟踪更为可靠有效。在跟踪过程中，当单一特征信息不可靠时，跟踪效果就会大大降低，例如当目 标和背景的颜色相近或是色彩颜色混杂时，采用颜色信息进行跟踪就会出错。本发 明针对这个问题，采用多特征融合机制以提高跟踪的鲁棒性。考虑到粒子滤波算法 具有多测量信息融合的优势，基于它融合视频信息的边缘特征与颜色特征，使两种 特征信息互为补充，达到纠错的效果。同时为了提高算法的实时性，采用随机融合 策略融合多特征信息，对于每个粒子只随机选择计算一种特征观测模型，以减少计 算量。该发明的跟踪精度高，能有效消除遮挡的影响，并能满足实行系统的要求。
申请人多年来主要从事信息融合理论与方法、图像及视频信息处理与传输、复 杂系统分析等方面的科学研究工作，开展了 "基于粗糙集理论的图像增强方法"、 "基于小波边缘检测的图像去噪方法"、"视频监控系统中的图像预处理技术"等 研究，提出了多种图像智能处理的新方法，有些己在实际中得到应用。2005年参加 的"计算智能与图像信息处理研究及其应用系统"获中国电子学会电子信息科学技 术三等奖；出版专著l部，2006《信息系统集成与融合技术及其应用》由国防工业 出版社出版，通过多年的研究和实践，申请人熟悉和掌握数字图像智能处理和监视 监控领域的研究难点和重点。
发明内容
技术问题本发明的目的是提出了一种基于视频的混合交通环境下移动目标多 特征融合跟踪方法。该方法克服了以往车辆跟踪算法难以解决的非线性问题和遮挡 问题，提高了跟踪的实时性和鲁棒性。
技术方案根据视频信息特点以及应用特点，本发明提出了一种基于粒子滤波， 采用多特征随机融合的自适应跟踪算法。
基于视频的混合交通环境下移动目标多特征融合跟踪方法将车辆做为跟踪目 标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特 征，使两种特征信息互为补充。
本发明所基于的粒子滤波方法是通过状态转移产生多个可能的车辆区域的质心 构成粒子群(样本集)，在状态空间下比较粒子群与目标粒子的相似度，根据相似 度大小赋予粒子不同的权值，计算粒子群的权值均值用于估算车辆的下一可能位置， 即获得状态最小方差下的车辆区域的质心估计。
移动目标多特征融合跟踪方法的具体步骤如下
步骤一视频预处理将摄像头拍摄到的视频由USB接口读入到计算机，然后 将视频分解为帧图像序列；步骤二采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目
标模板的颜色特征相似度； 步骤三采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目
标模板的边缘特征相似度； 步骤四将歩骤二和步骤三中的特征相似度转化为相应的特征测量权值； 步骤五基于随机融合方法进行颜色特征和边缘特征信息的融合； 步骤六输出跟踪后的帧图像； 步骤七将帧图像合成为视频流输出，
步骤八将视频输出于监视器或通过网络接口远程传输。
采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，是通过颜色特征模 型来建立空间观测模型，步骤如下
步骤一将RGB彩色帧图像转换到HSV空间；
步骤二将HSV三个颜色分量分别量化为三个量化级，这三个量化级的乘积是 彩色特征空间的特征矢量总数；
步骤三对于目标模板和待测粒子模板分别累计其对应的特征矢量的个数，产 生两模板的彩色直方步骤四用Bhattacharyya相似性系数计算两模板间的彩色直方图的相似度。
采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，是通过边缘特征模 型来建立空间观测模型，步骤如下
步骤一采用Sobel边缘检测模板分别对灰度化后的图像进行行、列巻积，得 到梯度的幅度图和边缘方向角步骤二除去伪边缘，得到修正的梯度幅值步骤三将梯度方向角进行量化得到每个像素对应的角度量化级，累计相应量 化级的梯度幅值，最终得到边缘特征的直方步骤四通过边缘直方图的欧几里德(Euclidean)距离计算目标模板和待测粒 子模板的相似度。
随机融合方法的具体步骤是
步骤一每个粒子随机产生一个0到1之间的随机数； 步骤二由测量空间的不确定度来确定选择概率；
步骤三根据随机融合机制融合粒子权值，如果随机数大于选择概率，则只计
算颜色直方图，从而确定其彩色测量权值，边缘测量权值为0;如果随机数小于选择概率，则只计算边缘直方图，并确定其测量权值，彩色测量权值为0;随机融合计算 公式如下
<formula>formula see original document page 7</formula>式中，w'表示第/个粒子融合后的权值，7V表示粒子总数，^表示第/个粒子的彩
色测量权值，^表示第/个粒子的边缘测量权值。
有益效果所发明的多特征融合跟踪方法可以提高对移动车辆的跟踪精度，并 能有效消除遮挡对跟踪的影响，以及复杂背景对跟踪的影响。同时，所设计的算法 的计算复杂度低，能较好满足实行系统的要求。
下面结合附图，详细说明本发明的实施例，其中
图l是本发明的工作流程图2是本发明的方法流程图3是本发明的颜色特征观测模型建立的流程图4是本发明的边缘特征观测模型建立的流程图5是本发明的多特征随机融合流程图； 图6是本发明的粒子重采样流程图。
具体实施例方式
对于已获取的视频帧序列，首先提取初始帧中的感兴趣(ROI)区域，即移动目 标，例如，车辆所在区域作为目标模板，在后续帧中通过状态转移得到可能的车辆 区域作为候选模板，即粒子采样。计算候选模板和目标模板的颜色和边缘特征相似 度，随机融合多特征权值，最后输出车辆的跟踪结果。
具体的算法可以分为三个部分 1.空间观测模型的建立 1)颜色特征模型
将RGB彩色帧图像转换到HSV空间，三个颜色分量分别量化为， iVs， AV级，把彩色特征空间分为W-A^xA^xAV个特征矢量。对于目标模板和待测粒 子模板分别累计其对应的特征矢量的个数，产生条数为W的彩色直方图； Cy)和《， 计算两模板间的相似度，最后由公式(3)转化为彩色测量权值。
目标模板和某帧中第"个待测粒子模板的匹配度用Bhattacharyya相似性系数 来度量，(Bhattacharyya相似性系数由Bhattacharyya A于19 提出，它是一种 基于概率分布的类别可分性判据，用于测量两种离散概率分布的相似度。)定义为
<formula>formula see original document page 8</formula> (!)
两直方图的Bhattaryya距离为 <formula>formula see original document page 8</formula> (2)
颜色信息的测量概率为 <formula>formula see original document page 8</formula>(3)
颜色观测模型的建立流程见图3。 2)边缘特征模型
彩色帧图像首先要转换成灰度图像，采用Sobel边缘检测模板分别对图像进行 行、列巻积，得到梯度的幅度图G和边缘方向角图61，计算公式如下
<formula>formula see original document page 8</formula>2 (4) <formula>formula see original document page 8</formula>(5)
(^(U)和G力',力分别为水平和垂直方向上的梯度值。
(Sobel模板是Sobel, I于1968在斯坦福提出，它是边缘检测方法中常用的 一阶微分算子，分别为检测水平边沿的Sobel模板[-1 -2 -1; 0 0 0; 1 2 l]和检 测垂直边沿的Sobel模板[-l 0 1; -2 0 2; -1 0 l])。
为了减小噪声的干扰，设定阈值T，除去伪边缘，由式(6)得到修正的梯度幅值 图。将梯度方向角量化为M级，则每个像素对应一个角度量化级，累计相应量化级 的梯度幅值，最终得到边缘特征的直方图H。
<formula>formula see original document page 8</formula> (6)
<formula>formula see original document page 8</formula> (7)目标模板和待测粒子模板的相似度可以通过边缘直方图的欧几里德 (Euclidean)距离来衡量，假设目标模板的边缘方向矢量为e = (q， ， e《)；待测粒子模板的边缘方向矢量为e'(力-(《， ，《)，则欧几里德(Euclidean)距 离计算公式为边缘信息的测量概率为 />e(Zk I XJJ = (9)边缘观测模型的建立流程见图4。 2、随机融合机制若采用一般的多特征融合机制，则每个粒子都要计算两种特征的测量概率，这样 大幅度地增加了计算量，不能满足系统的实时性要求。本专利采用随机融合机制， 使得系统在不降低跟踪精度的基础上，能有效减少计算时间。随机选择融合公式如下Pc(Zk^) 概率"A(Zkl4)概率1 —" (10)在算法实现上，每个粒子随机产生随机数r U
，如果^+1 >a，只计算颜 色直方图，从而确定其彩色测量权值^c,边缘测量权值为"e-O;如果r^"，则只计算边缘直方图，确定其测量权值"e，彩色测量权值为"c^。随机融合公式如 下,1/1 /g /C g ,. " (11)1=1 /=i选择概率"由测量空间的不确定度来衡量。在跟踪过程中，不同的特征空间对 目标的影响度不同。本发明通过测量时空的不确定性来衡量每种特征空间对目标的 影响度。假设每种特征都用一个似然度模型来表示，则定义一个似然度矢量1"X》[,(zJxLw, (12) 其中Nf是特征的数目。对于第k帧中每个特征j的测量似然度，可计算得到一个协方差矩阵C/。如果状态只有二维X^(U，V)，归一化矩阵为<formula>formula see original document page 10</formula>(13)特征不确定度由C/的特征值来估计，即 t/7=det(C/) (14) 每个特征的测度与不确定系数成反比，lxi)即随机融合机制中的概率"本<formula>formula see original document page 10</formula> (15)多特征随机融合流程见图5。 3、粒子重采样和模板更新策略 1)粒子重采样粒子退化是粒子滤波算法的常见问题。在几次迭代之后，大部分粒子的权值逐 渐变得很小。为了保持粒子的多样性，本发明采用了粒子重采样策略，在严重退化 现象发生时，对粒子进行重采样，以去除权值较小的粒子，保留权值大的粒子。该策略的时间复杂度低，假设粒子的数量为N，粒子的累加概率密度为C,.,粒子采样值为X,，其粒子重采样的流程见图6。该重采样方法的时间复杂度为O(TV)，并且 能使Monte Carlo方差达到最小。 2)模板更新当目标发生质变时，要对目标模板进行适时更新，才能保持移动目标跟踪的准 确性。假设第/帧的估计结果为E，计算它与当前目标模板的相似度，如果小于预先 设定的阈值，则两种特征模板都用以下公式进行更新。<formula>formula see original document page 10</formula> (16) 如图1所示，摄像头拍摄的视频输入到计算机后，首先将视频分解为帧图像， 然后逐帧进行处理，本发明采用粒子滤波方法分别提取帧图像感兴趣(ROI)区域的 多特征信息，与目标模板作比较，得到特征的相似度。接着随机融合多特征信息， 输出跟踪后的帧图像，最后将帧图像合成为视频流输出，视频可直接输出于监视器， 或通过网络接口远程传输。图2是本发明的方法流程图。算法执行的流程如下，首先提取第一帧图像的感 兴趣(ROI)区域作为目标模板，初始化目标模板参数，即计算目标模板的颜色和边 缘特征相似度，再在其附近产生N个可能的车辆区域，作为初始粒子。采集下一帧图像，通过状态转移产生N个候选模板，分别计算每个候选模板与目标模板的颜色 特征相似度和边缘特征相似度，转换为相对应的权值。随机融合多特征权值，计算 出最佳的跟踪结果。根据跟踪结果与目标模板之间的差值，判断是否要更新模板， 最后进行粒子重采样以保持粒子的多样性。逐帧输入后续帧，重复执行多特征融合 粒子滤波算法对交通移动目标(例如，车辆)进行鲁棒跟踪。
权利要求
1.一种基于视频的混合交通环境下移动目标多特征融合跟踪方法，其特征在于该方法将车辆做为跟踪目标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充，具体步骤如下步骤一视频预处理将摄像头拍摄到的视频由USB接口读入到计算机，然后将视频分解为帧图像序列；步骤二采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度；步骤三采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度；步骤四将步骤二和步骤三中的特征相似度转化为相应的特征测量权值；步骤五基于随机融合方法进行颜色特征和边缘特征信息的融合；步骤六输出跟踪后的帧图像；步骤七将帧图像合成为视频流输出，步骤八将视频输出于监视器或通过网络接口远程传输。
2. 根据权利要求1所述的基于视频的混合交通移动目标多特征融合跟踪方法， 其特征在于，采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，是通过颜 色特征模型来建立空间观测模型，步骤如下步骤一将红R、绿G、蓝B彩色帧图像转换到色度H、饱和度S、纯度V空间；步骤二将HSV三个颜色分量分别量化为三个量化级，这三个量化级的乘积是 彩色特征空间的特征矢量总数；步骤三对于目标模板和待测粒子模板分别累计其对应的特征矢量的个数，产 生两模板的彩色直方图；步骤四用Bhattacharyya相似性系数计算两模板间的彩色直方图的相似度。
3. 根据权利要求1所述的基于视频的混合交通移动目标多特征融合跟踪方法， 其特征在于，采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，是通过边 缘特征模型来建立空间观测模型，步骤如下步骤一采用Sobel边缘检测模板分别对灰度化后的图像进行行、列巻积，得 到梯度的幅度图和边缘方向角图；步骤二除去伪边缘，得到修正的梯度幅值图；步骤三将梯度方向角进行量化得到每个像素对应的角度量化级，累计相应量 化级的梯度幅值，最终得到边缘特征的直方图；步骤四通过边缘直方图的欧几里德Euclidean距离计算目标模板和待测粒子 模板的相似度。
4.根据权利要求1所述的基于视频的混合交通移动目标多特征融合跟踪方法， 其特征在于，随机融合方法的具体步骤是步骤一每个粒子随机产生一个0到1之间的随机数； 步骤二由测量空间的不确定度来确定选择概率；步骤三根据随机融合机制融合粒子权值，如果随机数大于选择概率，则只计 算颜色直方图，从而确定其彩色测量权值，边缘测量权值为0;如果随机数小于选择 概率，则只计算边缘直方图，并确定其测量权值，彩色测量权值为0;随机融合计算 公式如下<formula>formula see original document page 3</formula>式中，w'表示第/个粒子融合后的权值，7V表示粒子总数，^表示第/个粒子的彩色测量权值，^表示第/个粒子的边缘测量权值。
全文摘要
基于视频的混合交通环境下移动目标多特征融合跟踪方法将车辆做为跟踪目标，采用基于粒子滤波方法的多特征融合机制，融合视频信息的边缘特征与颜色特征，使两种特征信息互为补充，具体为将摄像头拍摄到的视频由USB接口读入到计算机，然后将视频分解为帧图像序列；采用粒子滤波方法提取帧图像感兴趣区域的颜色特征信息，计算与目标模板的颜色特征相似度；采用粒子滤波方法提取帧图像感兴趣区域的边缘特征信息，计算与目标模板的边缘特征相似度；将步骤二和步骤三中的特征相似度转化为相应的特征测量权值；基于随机融合方法进行颜色特征和边缘特征信息的融合；输出跟踪后的帧图像；将帧图像合成为视频流输出，将视频输出于监视器或通过网络接口远程传输。
文档编号G06T7/40GK101308607SQ200810124158
公开日2008年11月19日 申请日期2008年6月25日 优先权日2008年6月25日
发明者刘超颖, 吴学文, 张学武, 王慧斌 申请人:河海大学