一种基于光流的实时视觉目标跟踪方法
【专利摘要】本发明公开了一种基于光流的实时视觉目标跟踪方法，其特点是该目标跟踪算法在初始化时筛选出富含纹理特征的特征点，在每两帧图像之间跟踪这些特征点，从而得到特征点匹配关系。通过多种过滤算法，包括归一化相关系数，正反跟踪误差以及随机一致性检测等，将匹配误差大的特征点过滤掉，保留下来最可靠的特征点，从而获得目标在图像中的运动速度。以目标的运动速度作为观测量，由卡尔曼滤波估计产生目标位置。本发明与现有跟踪算法相比，具有不受光照的影响，在目标移动，相机移动，及目标短时遮挡等情况下依然可以稳定地跟踪目标。本发明的计算效率高，首次在ARM平台上验证了跟踪算法。
【专利说明】一种基于光流的实时视觉目标跟踪方法
【技术领域】
[0001]本发明涉及一种基于光流的实时视觉目标跟踪方法，属于目标跟踪【技术领域】。
【背景技术】
[0002]视觉目标跟踪是机器视觉领域的一个重要的研究方向，它对图像序列中的感兴趣目标进行检测，提取、识别和跟踪，从而提供目标的运动状态参数，如位置，速度，加速度以及运动轨迹，从而进一步处理与分析，实现对运动目标的行为理解，为后续应用(如视觉导航，位姿估计与运动分析等)提供原始数据，在智能监控、人机交互、机器人导航等领域有着广泛的应用。除了上述民用领域外，视觉目标跟踪技术在军事领域也受到了极大的关注，如场地侦察，巡航导弹制导，对地攻击直升机和主战坦克火力控制系统等场景中都有重要的应用。在上述应用中，目标跟踪是机器人感知外界环境并作出反应的基础，是理解图像的关键。
[0003]目前，常用的视觉跟踪方法有如下几种:
[0004](I)Meanshift算法，是一种使用颜色信息来匹配固定大小区域的图像的方法。Meanshift算法是一种利用数据驱动的无参估计算法，又称为核密度估计算法，主要通过均值偏移向量寻找后验概率局部最优，也就是说，Meanshift算法是通过颜色最相似的区域来确定匹配区域的，Meanshift算法不支持目标的更新。
[0005](2)模板匹配算法，是一种通过将图像每一个区域与固定模板进行比较的方法。在初始化的时候选定好目标模板，在跟踪过程中通过不断的将图像区域与模板进行比较，最终选定与模板距离最小的图像区域作为当前图像中目标的位置。该算法结构简单，但是计算量大，不能处理目标变化的情况，当目标有较大的变化，或者旋转超过45度，算法失效。
[0006](3)机器学习方法，通过分别提取目标与背景的特征，用于训练分类器，通过分类器对图像进行评价的方法。在跟踪过程中，通过分类器给出的后验概率来确定目标所在的位置。同时，可以通过计算结果来重新训练分类器，从而实现在目标变化的情况下进行连续的跟踪。这类算法的计算量大，跟踪效果不稳定，容易发散。
[0007]综上所述，现有的技术存在的问题是:目标的跟踪受环境影响(如光照变化，目标运动，相机运动)较大，不支持目标的外形更新。同时，计算量大，难以满足实时性要求。
【发明内容】
[0008]本发明的目的是为了解决上述问题，提出一种基于光流的实时视觉目标跟踪方法。初始化时筛选出富含纹理特征的特征点，在每两帧图像之间跟踪这些特征点，从而得到特征点匹配关系。通过多种过滤算法，包括归一化相关系数，正反跟踪误差以及随机一致性检测等，将匹配误差大的特征点过滤掉，保留下来最可靠的特征点，从而获得目标在图像中的运动速度。以目标的运动速度作为观测量，由卡尔曼滤波估计产生目标位置。
[0009]一种基于光流的实时视觉目标跟踪方法，包括以下几个步骤:
[0010]步骤一，获取跟踪目标第一帧图像的初始位置；
[0011]步骤二，获取特征点序列；
[0012]步骤三:获取跟踪目标的新时刻的图像It+1 ；
[0013]步骤四:特征点跟踪；
[0014]步骤五:对点对进行筛选；
[0015]步骤六:消除背景特征点的影响；
[0016]步骤七:系统状态估计
[0017]本发明的优点在于:
[0018](I)使用特征点跟踪的方式进行目标跟踪，计算量小，运行速度快；
[0019](2)通过使用卡尔曼滤波，可以控制跟踪误差，同时具备抵抗短时间遮挡的能力；
[0020](3)提出了基于随机一致性检测的背景消除方法，可消减背景特种点对跟踪结果的影响。
【专利附图】
【附图说明】
[0021]图1是本发明的方法流程图；
[0022]图2是本发明背景消除的示意图；
[0023]图3是对人脸进彳丁跟踪的不意图；
[0024]图4是跟踪航拍低速运行大型车的示意图；
[0025]图5是跟踪航拍闻速公路汽车的不意图。
【具体实施方式】
[0026]下面将结合附图和实施例对本发明作进一步的详细说明。
[0027]本发明是一种基于光流的实时视觉目标跟踪方法，方法流程如图1所示，包括以下几个步骤:
[0028]步骤一，获取跟踪目标第一帧图像的初始位置；
[0029]跟踪目标的初始位置已知，给定一个矩形框，表示目标所在位置，在目标追踪的过程中，每帧图像中目标的位置都由一个矩形框表示。
[0030]步骤二，获取特征点序列
[0031]一般求解的光流场是一个稠密的运动场，通常用于避障等导航应用。但是在目标跟踪问题中，并不需要一个稠密的光流场，只需要目标上的部分像素点的光流即可得到目标的运动速度。此外，求解稠密光流需要消耗大量的时间，对于实时算法来说负担太重。而且，并不是所有的点都适合跟踪，对于那些缺失纹理信息的点，跟踪误差会较大，反而会引起跟踪的误差，因此，本发明首先在图像It中目标所在位置的矩形框内，筛选富含纹理信息的特征点，方法如下:
[0032]设P = [px, py]为矩形框内任意一点，px、Py表示P点在像素坐标系下的坐标，设以P为中心，半径为W的范围为搜索区域，搜索区域大小为(2w+l) X (2W+1)，设矩阵M为:
【权利要求】
1.一种基于光流的实时视觉目标跟踪方法，包括以下几个步骤: 步骤一，获取跟踪目标第一帧图像的初始位置； 跟踪目标的初始位置已知，给定一个矩形框，表示目标所在位置； 步骤二，获取特征点序列； 在图像It中目标所在位置的矩形框内，筛选富含纹理信息的特征点，方法如下: 设P = [Px，Py]为矩形框内任意一点，Px、Py表示P点在像素坐标系下的坐标，设以P为中心，半径为W的范围为搜索区域，搜索区域大小为(2w+l) X (2w+l)，设矩阵M为:
其中=Ix与Iy为搜索区域中所有点在像素坐标系下X、y方向上的微分； 对于矩形框中每一个点，计算出其矩阵M的两个特征值λ 1、λ 2，设其中最小的特征值为Amin，设定特征值的阈值λ
{threshold}， 丢弃Xmin <入
{threshold}的点，剩余的点按λ min从大到小的顺序排列，设为预选点集合，选定预选点集合中Xmin最大的点，设定最小距离，丢弃与Amin最大点距离小于最小距离的点，将Xnin最大的点添加到特征点序列中，剩下的点形成新的预选点集合，在新的预选点集合中，选定Xmin最大的点，丢弃与Xmin最大点距离小于最小距离的点，将Xmin最大的点添加到特征点序列中，剩下的点再次形成新的预选点集合，依次循环，直到预选点集合为空，最终，获取得到特征点序列； 步骤三:获取跟踪目标的新时刻的图像It+1; 步骤四:特征点跟踪； 根据图像It中的特征点序列，采用Lucas-Kanade方法，得到图像It中的特征点序列在图像It+1中的对应点，相对应的点形成N个点对； 步骤五:对点对进行筛选； (1)采用正反跟踪误差对N个点对进行筛选； 设在t时刻的图像It中的点pt，匹配到t+Ι时刻的图像It+1中的点记为pt+1，设从pt+1点反向跟踪回图像It时，对应点是P’t，设这两个点之间的距离为误差:e = dis (p' t, pt), 得到N个点对的误差，将误差按照从大到小排序，保留误差小的[N/2|个点对； (2)采用归一化相关系数对1N/2|个点对进行筛选； 在t时刻，获取图像It中的点pt的图像块At，得到向量qt，在t+Ι时刻，获取图像It+1中的点Pt+1的图像块At+1，得到向量qt+1，获取两个向量的归一化相关系数:
其中，办表不向量qt的平均值，％+1表不向量qt+1的平均值，〈.，.>表不两个向量的内积,ncc (qt, qt+1)表不归一化相关系数,设定归一化相关系数阈值ncc{ttoeshaLd},将归一化相关系数小于ncc{ttoeslTOld}的点对丢弃；通过上述两个方法，对步骤四得到的点对进行筛选，得到筛选后的高可靠性的点对； 步骤六:消除背景特征点的影响； 假设P= (P1, P2-..Pnl, Plrt...Pn)是筛选后的高可靠性的点对集合，其中前m个点对来自于背景，m ( n/2 ;设D = ((I1, d2...dm, dm+1...dn)表示P中每个点对在两帧图像之间位移，则Cli表示第i个点对的相对位移；在图像坐标系中，假设背景的速度是Vb，物体的速度是V0,得:
Cli ~N(Vb, σ b)，i e [I, m]
dj ~N (V0, σ。)，j e [m+1, η] 其中=Cli~N(Vb, σ b)表示Cli服从均值为Vb、方差为σ b的正态分布，dj~N(V0, σ。)表示dj服从均值为V。、方差为σ。的正态分布； 消除背景特征点的方法如下: (1)从D中随机抽取K个元素，组成数组V； (2)取V的中值，记做EVi,求V中所有元素与EVi的误差，记做e,； (3)执行⑴、(2)步骤，反复T次，求得T个误差； (4)取误差最小的EVi值，记做EV，EV即为目标的位移； (5)求D中所有元素与EV的误差，误差大于阈值δ的点对剔除； 通过上述步骤，得到消除背景特征点影响的点对； 步骤七:系统状态估计； 设t时刻的状态向量Xt = [Pt，Vt]T，其中Pt表示矩形框的位置，Vt表示在当前帧图像和前一帧图像中矩形框的位移，目标的状态转移矩阵为:
Λ+--ο O O IJ.^t.其中:xt+1表示t+Ι时刻的状态向量,Xt表示t时刻的状态向量，xt+1、yt+1表示t+Ι时刻目标在图像坐标系下的坐标，xt、yt表示t时刻目标在图像坐标系下的坐标，ut+1、vt+1表示目标从t时刻到t+Ι时刻的目标在图像坐标系下两个方向的速度，ut、vt表示目标从t-1时刻到t时刻的目标在图像坐标系下两个方向的速度，设Utl = V0 = O, At表示获取两帧图像的时间间隔； 卡尔曼滤波的观测向量表示为:
其中，V~N(0，R)表示V服从均值为O、方差为R的正态分布； 通过卡尔曼滤波对观测向量进行估计，从而得到目标t+Ι时刻在图像中的位置，位置为一个矩形框，返回步骤二，进行循环直到停止目标跟踪。
2.根据权利要求1中所述的一种基于光流的实时视觉目标跟踪方法，所述的步骤二中I (::.X {threshold} ^ 10。
3.根据权利要求1中所述的一种基于光流的实时视觉目标跟踪方法，所述的步骤五中0.7 € ^cc {threshold} 0.9。
4.根据权利要求1中所述的一种基于光流的实时视觉目标跟踪方法，所述的步骤六中I ^ δ ^ 3ο
【文档编号】G06T7/20GK104200494SQ201410458973
【公开日】2014年12月10日 申请日期:2014年9月10日 优先权日:2014年9月10日
【发明者】梁建宏, 高涵, 张以成, 管沁朴, 刘淼, 孙安琦, 杨兴帮, 吴耀, 王田苗 申请人:北京航空航天大学