基于结构化支持向量机的自适应尺度目标跟踪方法
【技术领域】
[0001] 本发明属于图像处理技术领域，具体涉及视频目标跟踪方法，可用于实现目标的 精确跟踪。
【背景技术】
[0002] 基于图像视频序列的目标自动跟踪是图像处理、模式识别领域的重要内容，在工 业，交通等领域有着广泛的应用，目前国内外对目标的跟踪进行了大量的研究，但是在实际 的图像视频序列跟踪中建立的跟踪模型还是不能完全克服光照强度改变，背景变化，遮挡， 鲁棒性等问题。
[0003]SamHare等人在论文"Struck:StructuredOutputTrackingwith Kernels'，(IEEEInternationalConferenceonComputerVision, 2011, 263-270)中提出 采样结构化输出支持向量机进行视频序列目标跟踪。该方法首先利用第一帧图像初始化分 类器，然后直接利用分类器预测目标位置的相对平移，最后用更新的分类器为下一次预测 目标位置做准备。该方法在有遮挡时及鲁棒性方面取得了较好的效果；但是该方法仍存在 以下不足：一是视频跟踪时无法做到自适应尺度跟踪，即当目标远离镜头和靠近镜头时跟 踪框不能自适应调整；二是在进行目标位置预测时没有进行粗略位置估计，导致搜索范围 过大，从而对存储和计算带来较大影响，影响实时性效果。
【发明内容】
[0004] 本发明的目的在于提出一种基于结构化支持向量机的自适应尺度目标跟踪方法， 以克服上述现有技术的不足，提高跟踪的实时性效果。
[0005] 实现本发明的基本思路是：通过建立结构化支持向量机模型，将结构化支持向量 机模型的输出修改为目标的平移变换和尺度变换的组合；通过采用确定的目标视频帧更新 分类器，把目标跟踪分为粗跟踪和精跟踪，并通过粗跟踪确定目标大致位置，通过精跟踪在 粗跟踪的基础上进一步确定目标的尺度和精确位置。
[0006] 根据上述思路，本发明的实现方案如下：
[0007] (1)建立结构化支持向量机模型：
'其中（Y，S)表示y和 s组成的输出变量的组合，X表示目标的位置，y表示目标的平移，s表述目标的尺度变化，F(X，y,s)代表判定函数；
[0008] (2)将视频序列V中所有图像帧裁剪为统一大小，得到视频序列V°，将该视频序 列乂°中的第i帧图像表示为Fpl彡i$N，N*V°中图像的总帧数；
[0009] (3)令i= 1，读入V。的第一帧图像匕及其目标的位置Xl，得到第一帧图像目标 的特征向量Φ(Xdy,s)，初始化结构化支持向量机和向量集合SV;
[0010](4)更新结构化支持向量机：
[0011] (4a)假设第i帧图像的目标位置为Xl，以目标位置\为中心对F进行采样，得到 一个米样集合sli;
[0012] (4b)对SH中所有采样样本分别进行样本特征提取，得到样本特征向量集合Fll;
[0013] (4c)定义度量函数g= -Δ(y,s%Si)-F(x,y,s)，将FH中特征向量分别带入g 中，选择使g最小的特征向量作为负支持向量svh，选择^位置处的样本为正的支持样本 svPi，将svnjpsvpi添加到支持向量集合SV，其中Δ(y,S;yi,Si)表示损失函数；
[0014] (4d)定义判定函数为：F(x，y,s) = <w,Φ(x，y,s)>，其中Φ(x，y,s)表示目标的 特征向量，其中w为判定函数的参数向量，〈，> 表示内积运算；
[0015] (4e)将判定函数F(x，y，s) = <w，?(x，y，s)>转化为以下形式，
[0017] 其中η为当前支持向量集合SV中支持向量的个数，C代表松弛因子，ε;代表松弛 变量；
[0018] (4f)利用支持向量集合SV中的支持向量求解式《1》，得到判定函数的参数向量w， 求出判定函数F(x,y,s)，得到结构化支持向量机的输出变量y和s，把（y,s)添加到输出变
[0019] (5)读入V。的第i+Ι帧图像F1+1;
[0020] (6)对第i+1帧图像F1+1中的目标进行粗跟踪：
[0021] (6a)以\为中心对F1+1进行采样，得到一个采样集合S21;
[0022] (6b)对S2i中每一个样本分别进行样本特征提取，得到一个特征向量的集合F2i;
[0023] (6c)将F2i中的每一个特征向量分别带入判定函数F(x,y,s) = <w,Φ(X，y,s)>，
得到使F(x,y,s)最大的特征向量Φ(Xi,y'，s')对应的平 移和尺度变换向量（V，s< );
[0024] (6d)根据第i帧图像的目标位置^和（6c)中得到的平移和尺度变换向量 (y'，S')，得到Fi+1中目标粗略位置：xi+1' =Xi〇 / 〇s'，其中。表示向量之间的相 加运算；
[0025](7)对第i+Ι帧图像F1+1中目标的进行精跟踪：
[0026] (7a)以x1+1'为中心对F1+1进行采样，得到一个采样集合S3l;
[0027] (7b)对S3i中每一个样本分别进行样本特征提取，得到一个特征向量的集合F3i;
[0028] (7c)将F3i中的每一个特征向量分别带入判定函数F(x,y,s) = <w,Φ(X，y,s)>，
4导到使F(x,y,s)最大的特征向量Φ(xi+1'，y"，s")对应的 平移和尺度变换向量（y"，s");
[0029] (7d)根据（6d)中得到的目标粗略位置x1+1'和（7c)中得到的平移和尺度变换向 量（y〃，S")，得到Fi+1中目标精确位置：xi+1=Xi+1' 〇y" 〇s";
[0030] (8)判断F1+1是否为最后一帧图像，若是，则结束；否则，令i=i+1，返回步骤⑷。
[0031] 本发明与现有技术相比，具有以下优点：
[0032] 第一，本发明通过在结构化支持向量机模型的输出变量中添加尺度信息，使得视 频目标跟踪时可以自适应尺度目标跟踪；
[0033] 第二，本发明将目标跟踪分为粗跟踪和精跟踪两部分，通过粗跟踪粗略估计目标 位置，可以缩小目标的搜索范围；在粗跟踪的基础上进行精跟踪计算目标的精确位置和尺 度改变，可以减小计算过程中的存储消耗和计算量，提高了实时性效果。
【附图说明】
[0034] 图1为本发明的流程图。
【具体实施方式】
[0035] 下面结合附图1对本发明的步骤作进一步的详细说明。
[0036]步骤1，建立结构化输出支持向量机模型。
[0037] 1. 1)定义判定函数：F(x，y,s)=<w,Φ(x，y,s)>，其中X表示目标的位置，y表示 目标的平移，s表述目标的尺度变化，Φ(X，y，s)表示目标的特征向量，其中w为判定函数的 参数向量，〈，> 表示内积；判定函数可用于对输入Φ(X，y，s)进行分类；
[0038] 1. 2)定义结构化输出预测函数
'其中（Y，S)表示目标平 移变量y和目标尺度改变s组成的输出变量的结构；预测函数用于预测输入的视频图像帧 中目标的位置和尺度；
[0039] 1. 3)根据间隔最大化方法将求解判定函数转换为求解下式：
[0041] 其中η代表SV中支持向量的个数，C代表松弛因子，~代表松弛变量， s.t.表示约束条件，诉表示i是视频序列中的任意一帧图像，可以取得[1，Ν]之间 的任意值，表不j是视频序列中的任意一帧图像，可以取得[1，N]之间的任意值，
代表损失函数，表示图像块T(Xi,y;，s_j)与 T(Xl，y，s)之间的相似度，计算时使用两个图像块每个像素灰度值的集合；
[0042] 1. 4)定义梯度函数g=-Δ(y，s;yj，s)-F(X，y，s)。
[0043] 步骤2,对视频序列进行预处理。
[0044] 2. 1)读入原始视频序列V中所有图像，按照V中原始顺序将其每一帧图像裁剪为 统一大小的图像帧存入裁剪后的视频序列V°;裁剪图像帧为统一大小，一方面可降低图像 的分辨率从而减小计算量，加快处理速度，另一方面可以将不同图像帧统一为同一坐标系 从而统一参考标准；
[0045] 2. 2)设置支持向量结合SV，并将其初始化为空集合；
[0046] 2. 3)将入裁剪后的视频序列￥°中第i帧图像表示为Fyl彡i彡N，N表示V°中 图像的总帧数；读入v°中第1帧图像Fi及其目标位置Xl，并令i= 1。
[0047] 步骤3,更新结构化支持向量机。
[0048] 3. 1)在第i帧图像F#，以第i帧图片的目标位置Xl为中心，设置第i帧图片中 目标面积的nA倍为采样区域AH，本实例取nA为9~25;
[0049] 3. 2)在采样区域&i中，以X#在位置为圆心，等间隔设置nC个采样圆，在每个采 样圆上等间隔设置nK个采样点，本实例取nC为3~5,取nK为8~12 ;将采样点相对于Xl 的平移设为'…芯…乃H，设置采样框尺度Sl, - 为相同的尺度大小，其中1为采 样框的总个数，1 <j< 1，由此可得一组采样位置集合：
[0050] 0-,5) = i
[0051] 3. 3)按照（Yu，S)中给出的采样位置对第i帧图像R中对应位置的图像块进行采 样，得到采样集合& =
[0052] 3. 4)对采样集合SH中所有采样样本按照已有的特征提取方法例如哈尔特征、灰 度特征等分别进行样本特征提取，本实例使用了哈尔特征，把特征向量存储到特征向量集 合FH中对应的位置；
[0053]3. 5)将特征向量集合FH中的特征向量分别带入梯度函数g中计算，选择使g最 小的特征向量作为负支持向量SV&，选择Xl位置处的样本对应的特征向量作为正的支持向 量svPi，并将该svnjpsvpi添加到支持向量集合SV;
[0054] 3. 6)利用支持向量集合SV，按照已有求解凸二次优化方法例如SM0方法、梯度下 降法、切平面法等求解1. 3)中转换后的判定函数，本实例使用梯度下降法，求出判定函数 的参数向量w，将该参数向量w代入公式：F(X，y,s) = <w,Φ(X，y,s) >，获得重新求解的判 定函数F(x,y,s);
[0055] 3.7)利用重新求解的判定函数F(x，y，s)重新计算结构化输出预测函数：
'得到结构化支持向量机的输出变量（y,s)，y表示目标的平移，s表 示目标的尺度变换，把（y，s)添加到输出变量的组合（Y，S)中，完成对输出变量组合（Y，S) 的更新；
[0056] 3. 8)用重新求解的判定函数F(X，y,s重）新计算梯度函数：g=- Δ(y,s; y_j,s_j)-F(x,y,s)，选择使g最小的特征向量作为负支持向量svnj，选择xjit置处的样本所 对应的特征向量作为正的支持向量svp_j，再将svnj和svp添加到支持向量集合SV，完成对 支持向量集合SV的更新。
[0057]步骤4，对目标进行粗跟踪。
[0