一种实时的视频跟踪方法
【专利摘要】本发明公开了一种实时的视频跟踪方法，包括以下步骤：首先，通过将跟踪目标分割成子块的方式压缩图像特征；其次，通过构建多尺度的候选区域以适应跟踪目标的尺度变化以及快速移动；最后，利用KCF（核化相关滤波器）算法计算特征向量之间的相关性以达到视频跟踪的目的。本发明实现了多种场景下常见目标的准确跟踪，且完全满足实时性的要求，具备非常高的实用价值。
【专利说明】
一种实时的视频跟踪方法
技术领域
[0001]本发明属于计算机视觉与模式识别领域，具体涉及一种实时的视频跟踪方法。
【背景技术】
[0002]视频跟踪技术可以广泛地应用于无人驾驶、安防监控、工业控制、智能交通、国防军事等领域，其背后蕴藏着十分巨大的学术价值和经济价值。
[0003]尽管国内外研究人员提出了很多的跟踪算法，但是在实际应用中仍然面临着一些困难，主要包括以下几个方面:
(1)跟踪目标的外观变化，因为跟踪目标相对于摄像机的视角、距离不断变化；
(2)外界环境的光照变化；
(3)其他物体的遮挡和干扰；
(4)实时性要求。
[0004]最近几年，基于检测的跟踪算法正逐渐地成为视频跟踪领域的主流，比较有代表性的算法有CN、KCF、STC、0DFS等。以KCF(核化相关滤波器)为例，KCF对光照变化、遮挡、非刚性形变、运动模糊、背景杂乱的视频跟踪效果较好，但对于尺度变化、快速运动、刚性形变等视频跟踪效果不佳。
【发明内容】
[0005]针对KCF算法的不足，本发明提出了一种实时的视频跟踪方法，具体包括以下步骤:
(1)视频的第m帧，标出需要跟踪的目标区域R0I，其中I( m < M，M为视频的全部帧数；
(2)对目标区域ROI提取特征，即执行步骤A-G:
A、将ROI进行特定比例的扩展，得到区域RExpand;
B、读取步骤A所述的RExpand内的视频数据，得到Video；
C、将步骤13所述的Video缩放至特定大小，得到VScale;
D、将步骤C所述的VScale分割成P个NXN大小的子块，其中2彡N彡8;
E、对步骤D所述的每个子块j提取特征，即执行步骤a-c，其中KjSp:
a、提取梯度特征，即执行步骤1-1V:
1、根据灰度值计算子块j内各个像素的梯度(包括幅值和角度)；
I1、统计梯度直方图，得到梯度直方图特征HF;
II1、将步骤II的HF进行归一化，得到HFN;
IV、将步骤III的HFN进行PCA降维，得到GF；
b、提取颜色特征，即执行步骤1-11:
1、根据色度值，将子块j内的各个像素进行离散化；
i1、统计颜色直方图，得到颜色直方图特征CF; C、将步骤a提取的特征GF和步骤b提取的特征CF进行合并，得到特征BF;
F、合并所有子块的特征BF，得到TBF;
G、利用汉宁窗对TBF进行滤波，得到目标区域ROI的特征RF;
(3)将步骤(2)提取的特征RF进行在线训练，得到训练特征TF;
(4)视频的第(m+1)帧，在步骤(I)的目标区域ROI的附近，生成T个多尺度的候选区域，对每个候选区域ROIt提取特征RFt，其中彡T，即执行步骤A'-G'，且实现了T个候选区域的并行计算:
A'、将ROIt进行特定比例的扩展，得到区域RExpand';
B'、读取步骤A'所述的RExpancT内的视频数据，得到Videc/ ；
C、将步骤IV所述的Videc/缩放至特定大小，得到VScale'；
D'、将步骤C'所述的VScale'分割成P个NXN大小的子块，其中2彡N彡8;
对步骤IV所述的每个子块j提取特征，即执行步骤其中KjSp:
提取梯度特征，即执行步骤I'-1V^
I丨、根据灰度值计算子块j内各个像素的梯度(包括幅值和角度)；
II\统计梯度直方图，得到梯度直方图特征HF';
III'、将步骤II丨的HF丨进行归一化，得到HFN丨;
IV\将步骤III'的HFN’进行PCA降维，得到GF’ ；
提取颜色特征，即执行步骤i'-1ir:1’、根据色度值，将子块j内的各个像素进行离散化；
ii\统计颜色直方图，得到颜色直方图特征CF';
c ’、将步骤a'提取的特征GF'和步骤b'提取的特征CF'进行合并，得到特征BF';
F'、合并所有子块的特征BF'，得到TBF';
利用汉宁窗对TBP进行滤波，得到候选区域ROIt的特征RFt;
(5 )将步骤(4)提取的T个特征{RF1，RF2，…，RFt，…，RFt}分别与步骤(3 )的训练特征TF进行相关运算，得到T个相关系数{Cl，C2，...，Ct，…，Ct}以及T个偏移量{Si，S2，…，St，…，St};
(6)从T个相关系数{&，(:2，...，(^，...，&}中，选择最优的I个Ci;
(7)如果Ci大于一阈值T1,则用Ci对应的候选区域ROIi的大小以及偏移量Si更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征(对样本的训练与其他的处理并行执行)，进入步骤(12)，否则进入步骤(8);
(8)如果步骤(6)中的C1小于一阈值T2，则生成ReT个二次候选区域，对每个二次候选区域ReROIt提取特征ReRFt，其中I彡tSReT，即执行步骤A"-G"，且实现了ReT个二次候选区域的并行计算，否则进入步骤(12);
A"、将ReROIt进行特定比例的扩展，得到区域RExpand";
B"、读取步骤A"所述的RExpand"内的视频数据，得到Video";
C"、将步骤B"所述的Video"缩放至特定大小，得到VScale";
D "、将步骤C"所述的VSca I e"分割成P"个N X N大小的子块，其中2彡N彡8;
E"、对步骤D"所述的每个子块j提取特征，即执行步骤a"- c"，其中KjSp": a"、提取梯度特征，即执行步骤I"-1V":
I"、根据灰度值计算子块j内各个像素的梯度(包括幅值和角度)； II"、统计梯度直方图，得到梯度直方图特征HF";
III"、将步骤II"的HF"进行归一化，得到HFN"；
IV"、将步骤III"的HFN"进行PCA降维，得到GF"; b"、提取颜色特征，即执行步骤 i丨丨、根据色度值，将子块j内的各个像素进行离散化； ii"、统计颜色直方图，得到颜色直方图特征CF";
c"、将步骤a"提取的特征GF"和步骤b"提取的特征CF"进行合并，得到特征BF";
F"、合并所有子块的特征BF"，得到TBF";
G"、利用汉宁窗对TBF"进行滤波，得到候选区域ReROIt的特征ReRFt;
(9)将步骤(8)提取的ReT个特征{ReRF1，ReRF2，...，ReRFt，."，ReRFReT }分别与步骤(3)的训练特征TF进行相关运算，得到ReT个相关系数{ReCi，ReC2，…，ReCt，…，ReCReT}以及ReT个偏移量{ReSi，ReS2，...，ReSt，…,ReSReTl ；
(10)从ReT个相关系数(ReC1，ReC2，…，ReCt，…，ReCReT}中选择最优的I个ReCi；
(11)如果ReCi大于一阈值T3，则用ReCi对应的ReROIi的大小以及偏移量ReSi更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征TF(对样本的训练与其他的处理并行执行)，进入步骤(13)，否则进入步骤(14);
(12)如果C1大于一阈值T4,则用C1对阈值T1进行滤波更新，进入步骤(14)，否则进入步骤(14);
(13)如果ReCi大于一阈值T5，则用ReCi对阈值T3进行滤波更新；
(14)m加1，如果m= M，结束，否则进入步骤(4)。
[0006]本发明的有益效果是:
I)本发明将需要跟踪的目标区域分割成NXN大小的子块后提取特征，同时结合PCA降维处理，既保留了目标区域的绝大部分信息，又避免了维数灾难。
[0007]2)本发明通过构建多尺度的候选区域，且实现了各个候选区域的并行计算，能够有效地应对跟踪目标的尺度变化以及快速移动，而且运算速度快。
[0008]3)本发明通过构建二次候选区域，能够有效地克服跟踪过程中出现的遮挡以及干扰问题。
[0009]4)本发明通过选择训练样本并进行在线训练(对样本的训练与其他的处理并行执行)，能够有效地克服跟踪过程中目标的外观变化以及外界的光照变化。
[0010]5)本发明实现了多种场景下常见目标的准确跟踪，而且完全满足实时性的要求，具备非常高的实用价值。
【附图说明】
[0011]图1为跟踪的处理流程图。
[0012]图2为第m帧ROI的位置示意图。
[0013]图3第(m+1)帧候选区域的位置示意图。
【具体实施方式】
[0014]为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。
[0015]一种实时的视频跟踪方法，处理流程如图1所示，具体包括以下步骤:
(1)视频的第m帧，标出I块需要跟踪的目标区域R0I，其中I彡m< M，M为视频的全部帧数；
(2)对目标区域ROI提取特征，即执行步骤A-G:
A、将ROI进行特定比例的扩展，得到区域RExpand，特定比例可根据跟踪目标的移动速度计算；
B、读取步骤A所述的RExpand内的视频数据，得到Video；
C、将步骤13所述的Video缩放至特定大小，得到VScale;
D、将步骤C所述的VScale分割成P个NX N大小的子块，N=4;
E、对步骤D所述的每个子块j提取特征，即执行步骤a-c，其中KjSp:
a、提取梯度特征，即执行步骤1-1V:
1、根据灰度值计算子块j内各个像素的梯度(包括幅值和角度)；
I1、统计梯度直方图，得到梯度直方图特征HF;
II1、将步骤II的HF进行归一化，得到HFN;
IV、将步骤III的HFN进行PCA降维，得到GF；
b、提取颜色特征，即执行步骤1-11:
1、根据色度值，将子块j内的各个像素进行离散化；
i1、统计颜色直方图，得到颜色直方图特征CF;
c、将步骤a提取的特征GF和步骤b提取的特征CF进行合并，得到特征BF;
F、合并所有子块的特征BF，得到TBF;
G、利用汉宁窗对TBF进行滤波，得到目标区域ROI的特征RF;
(3)将步骤(2)提取的特征RF进行在线训练，得到训练特征TF，如下面的公式(I)所示； TF=(l_a)*TF + a*RF;
a为更新系数(I)
(4)视频的第(m+1)帧，在步骤(I)的目标区域ROI的附近，生成T个多尺度的候选区域，如图2和图3所示，对每个候选区域ROIt提取特征RFt，方法同步骤(2)，其中I彡t彡T，T=3，且实现了 T个候选区域的并行计算；
(5 )将步骤(4)提取的T个特征{RF1，RF2，…，RFt，…，RFt}分别与步骤(3 )的训练特征TF进行相关运算，得到T个相关系数{Cl，C2，...，Ct，…，Ct}以及T个偏移量{Si，S2，…，St，…，St};
(6)从T个相关系数{&，(:2，...，(^，...，&}中，选择最优的I个Ci;
(7)如果Ci大于一阈值T1,则用Ci对应的候选区域ROIi的大小以及偏移量Si更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征TF(对样本的训练与其他的处理并行执行)，如公式(I)，进入步骤(12)，否则进入步骤(8);
(8)如果步骤(6)中的C1小于一阈值T2，则生成ReT个二次候选区域，对每个二次候选区域ReROIt提取特征ReRFt，方法同步骤(2)，其中KtSReT，ReT=4，且实现了ReT个二次候选区域的并行计算，否则进入步骤(12);
(9)将步骤(8)提取的ReT个特征{ReRFhReRFv’ReRFv^ReRFReT}分别与步骤(3)的训练特征TF进行相关运算，得到ReT个相关系数(ReC1，ReC2，…，ReCt，…，ReCReT}以及ReT个偏移量{ReSi，ReS2，...，ReSt，…,ReSReTl ；
(10)从ReT个相关系数(ReC1，ReC2，…，ReCt，…，ReCReT}中选择最优的I个ReCi；
(11)如果ReCi大于一阈值T3，则用ReCi对应的ReROIi的大小以及偏移量ReSi更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征TF(对样本的训练与其他的处理并行执行)，如公式(I)，进入步骤(13)，否则进入步骤(14);
(12)如果Ci大于一阈值Τ4，则用Ci对阈值T1进行滤波更新，如公式(II)，进入步骤(14)，否则进入步骤(14);
?4 = β? * Tl，
Ti= (l_ai)*Ti + ai*Ci;
其中，为比例系数，ai为更新系数(II)
(13)如果ReCi大于一阈值T5，则用ReCi对阈值T3进行滤波更新，如公式(III);
Τδ=β2 * Τ3，
?3 = (l_a2)*T3 + a2*ReCi;
其中，&为比例系数，a2为更新系数(III)
(14)m加1，如果m= M，结束，否则进入步骤(4)。
[0016]以上所述仅为本发明的较佳实施例而已，并不限制本发明，凡在本发明的精神和原则之内所作的的任何修改、等同替换和改进等，均应包括在本发明的保护范围之内。
【主权项】
1.一种实时的视频跟踪方法，其特征在于，包括以下步骤: 1)视频的第m帧，标出需要跟踪的目标区域ROI，其中I( m < M，M为视频的全部帧数； 2)对目标区域ROI提取特征； 3)将步骤2)提取的特征进行在线训练，得到训练特征； 4)视频的第(m+1)帧，在目标区域ROI的附近，生成T个多尺度的候选区域，对每个候选区域RO It提取特征RFt，其中I StST; 5)将T个特征(RF1，RF2，…，RFt，…，RFT}分别与训练特征进行相关运算，得到T个相关系数{Ci，C2，…，Ct，…，Ct}以及T个偏移量{Si，S2，…，St，…，St}; 6)从T个相关系数{&，&，...，Ct，...，&}中，选择最优的I个Ci; 7)如果Ci大于一阈值T1,则用Ci对应的候选区域ROIi的大小以及偏移量Si更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征，进入步骤12)，否则进入步骤8); 8)如果步骤6)中的C1小于一阈值T2，则生成ReT个二次候选区域，对每个二次候选区域ReROIt提取特征ReRFt，其中I彡tSReT，否则进入步骤12); 9)将ReT个特征(ReRF1，ReRF2，…，ReRFt，…，ReRFReT}分别与训练特征进行相关运算，得到1^1'个相关系数{1^(:1，1^(:2，."，1^(^，."，1^(:[^}以及1^1'个偏移量{1^31，1^32，...，ReSt，…,ReSReTl ； 10)从ReT个相关系数(ReC1，ReC2，…，ReCt，…，ReCReT}中选择最优的I个ReCi； 11)如果ReCi大于一阈值T3，则用ReCi对应的ReROIi的大小以及偏移量ReSi更新ROI，并将更新后的ROI作为样本进行在线训练、更新训练特征，进入步骤13)，否则进入步骤14); 12)如果C1大于一阈值T4,则用C1对阈值T1进行滤波更新，进入步骤14)，否则直接进入步骤 14); 13)如果ReCi大于一阈值T5，则用ReCi对阈值T3进行滤波更新； 14)m加1，如果m= M，结束，否则进入步骤4)。2.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤2)为: (I)将目标区域ROI进行特定比例的扩展，得到区域RExpand ； (2 )读取RExpand内的视频数据，得到Video ； (3)将Video缩放至特定大小，得到VScale; (4)将VScale分割成P个NX N大小的子块，其中2彡N彡8; (5 )对每个子块j提取特征，即执行步骤a-c，其中I < j < P: a、提取梯度特征，即执行步骤1-1V: 1、根据灰度值计算子块j内各个像素的梯度(包括幅值和角度)； I1、统计梯度直方图，得到梯度直方图特征HF; II1、将HF进行归一化，得到HFN; IV、将HFN进行PCA降维，得到GF； b、提取颜色特征，即执行步骤1-11: 1、根据色度值，将子块j内的各个像素进行离散化； i1、统计颜色直方图，得到颜色直方图特征CF; c、将步骤a提取的特征GF和步骤b提取的特征CF进行合并，得到特征BF; (6 )合并所有子块的特征BF，得到TBF; (7)利用汉宁窗对TBF进行滤波，得到目标区域ROI的特征。3.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤4)，对每个候选区域提取特征的方法同步骤2)，且实现了各个候选区域的并行计算。4.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤7)，对样本的训练与其他的处理并行执行。5.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤8)，对每个二次候选区域提取特征的方法同步骤2)，且实现了各个二次候选区域的并行计算。6.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤11)，对样本的训练与其他的处理并行执行。7.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤12)， Τ4=βι * T1，且按照下式对!^进行滤波更新: Ti = (l_ai)*Ti + ai*Ci; 其中，βι为比例系数，ai为更新系数。8.根据权利要求1所述的一种实时的视频跟踪方法，其特征在于，所述的步骤13)， T5= T3，且按照下式对T3进行滤波更新: ?3 = (l_a2)*T3 + a2*ReCi; 其中，&为比例系数，a2为更新系数。
【文档编号】G06T7/20GK106023248SQ201610314297
【公开日】2016年10月12日
【申请日】2016年5月13日
【发明人】翁肇杰, 翟恺
【申请人】上海宝宏软件有限公司