本发明属于计算机视觉技术领域，涉及一种行人跟踪方法，具体来说，是一种基于低空航拍红外视频的行人跟踪方法。
背景技术：
随着计算机视觉技术的迅猛发展，通过视频采集行人数据，已成为计算机视觉领域中的一个重要研究方向，广泛应用在公共场所监控、智能交通监控系统、车载辅助驾驶系统开发等方面。在计算机视觉领域中，行人跟踪通常指在视频或连续帧图像中精确锁定同一个行人的位置，进而可以提高行人检测的精度。由于人体目标非刚性，且姿态、外表复杂多变，远近尺度大小不一，再加上目标遮挡及运动的随意性，使得实现可靠的行人跟踪非常困难。
目前对于行人跟踪的大量研究主要集中在可见光图像领域，利用可见光图像的高质量、细节丰富、颜色特征鲜明等特点，以期获得较好的跟踪效果。但可见光图像受成像条件制约，比如夜晚、大雾等情况下无法清晰识别物体，使得其应用范围受到一定的限制。随着热红外成像技术的普及，利用行人在热红外视频中明显的热特征来实现可靠的行人跟踪正逐渐受到人们的关注。红外图像反映的是具有不同热辐射率目标的表面温度分布，不需要辅助光源的介入，可以在黑暗或大雾情况下识别目标。当前行人跟踪的研究主要是面向固定场所监控应用，然而监控装置机动性差，只能对定点场所进行视频采集，且拍摄角度倾斜，行人间的相互遮挡严重影响了行人的稳定跟踪。近年来，随着无人机在民用市场的开放，利用无人机从空中进行航拍采集视频，可以避免行人间的相互遮挡，更真实地体现行人实际位置变化，对于提取行人运动轨迹，研究行人交通行为具有重要价值。
然而在低空航拍红外视频中，受成像质量的限制，视频信噪比较低，行人目标较小，给精确的行人跟踪带来了困难。传统的目标跟踪方法，如卡尔曼滤波在线性运动的跟踪中表现良好，但对于行人运动的随意性与非线性难以处理。考虑到红外行人目标典型的热特征，即目标较周围环境高亮，采用局部稀疏光流法对行人进行跟踪可以应对行人的非线性运动。通过计算局部稀疏光流从而确定指定像素点的位移来实现目标的跟踪，但是红外图像质量较差、信噪比低，使得光流的计算出现偏差，难以实现对行人目标的可靠、持续跟踪。
技术实现要素：
为了克服低空航拍红外视频的成像质量差、行人目标小所带来的问题，本发明提出一种基于低空航拍红外视频的行人跟踪方法，结合Lucas-Kanade光流法和局部区域二次检测来实现持续稳定的行人跟踪。
本发明基于低空航拍红外视频的行人跟踪方法，具体包括以下步骤：
步骤1：离线训练航拍红外行人支持向量机分类器。
步骤2：利用步骤1中训练得到的航拍红外行人支持向量机分类器，确定行人目标在第i帧图像中的位置。
步骤3：根据步骤2中得到的第i帧图像中行人目标的位置，作为LK光流法的输入坐标，利用LK光流法计算出行人目标在第i+1帧中的位置。
步骤4：以第i+1帧图像中的行人目标位置为中心设定搜索区域，在搜索区域内利用训练的航拍红外行人支持向量机分类器，对搜索区域内行人目标位置进行二次检测，得到第i+1帧图像中精确的行人目标位置。
步骤5：将步骤4中得到的行人位置作为LK光流法的输入坐标，重复步骤3～5，由此实现对红外行人目标的持续、有效地跟踪。
本发明的优点在于：
1、本发明基于低空航拍红外视频的行人跟踪方法，通过计算局部稀疏光流来预测行人目标位置，很好地解决了行人运动的随意性与非线性的问题；
2、本发明基于低空航拍红外视频的行人跟踪方法，通过设定搜索区域，在搜索区域内进行行人二次检测，克服了利用光流法进行跟踪出现的累计偏差，并解决了道路航拍视频出现的路灯遮挡问题，实现了对航拍红外行人目标的持续、稳定地跟踪。
3、本发明基于低空航拍红外视频的行人跟踪方法，提出的融合HOG和DCT特征描述子对航拍红外行人目标具有良好的表达能力。
附图说明
图1是本发明基于低空航拍红外视频行人跟踪方法流程图；
图2是本发明基于低空航拍红外视频行人跟踪方法中用来训练支持向量机分类器的行人和非行人训练样本图片；
图3是本发明实施例中在搜索区域内进行行人二次检测的示意图；
图4是本发明实施例中行人跟踪的示例图片；
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明基于低空航拍红外视频的行人跟踪方法,如图1所示，通过下述步骤实现:
步骤1：离线训练航拍红外行人支持向量机(SVM)分类器；
A、建立航拍红外图像行人和非行人训练数据集：
利用四旋翼无人机携带热红外摄像头在不同场景同一高度(以40m-60m为宜)下采集红外行人视频，其中摄像头垂直向下拍摄。对于一段固定场景的航拍红外行人视频，选取一部分视频帧图像，随后从图像中人工提取行人和非行人训练样本。在本实施例中，选取一段道路航拍红外视频，飞行高度为50m，视频分辨率为720×480像素，拍摄时室外温度为6℃。整段红外行人视频共2817帧图像，选取其中512帧图像作为训练图像，并统一缩放至32×32像素大小，其中用于训练的正负样本图片数目分别为2098幅和938幅，如图2、图3所示。
B、对行人和非行人样本图像提取并融合梯度方向直方图(HOG)特征描述子和局部离散余弦变换(DCT)特征描述子：
1)梯度方向直方图(HOG)特征描述子提取；
梯度方向直方图特征属于图像局部特征，它刻画了图像的局部梯度幅值和边缘方向信息，提取步骤如下：
1.1、对行人和非行人样本图像的颜色空间进行归一化，并采用中心对称的一维点模版[-1,0,1]进行卷积运算，得到行人和非行人样本图像上每个像素点的X、Y方向的梯度幅值Gx、Gy，则像素点的梯度大小梯度方向为D＝arctan(Gy/Gx)；
1.2、对行人和非行人样本图像进行单元格(Cell)划分，单元格划分成相同大小，单元格数量依单元格的尺寸而定；在每一个单元格内按照梯度方向统计一维梯度方向直方图，方法为：
每个单元格内的每个像素均有梯度大小值和梯度方向值与之对应，将单元格内每个像素的梯度方向0°～180°按照20°的间隔划分为9个区间，即：0°～20°，20°～40°，依次类推；统计单元格内的所有像素，确定各个像素所在区间，并将各像素的梯度值加在对应得区间上，构成梯度方向直方图向量Hi＝[h1,h2,...h8,h9]，是9维的，9个区间，其中hi为每个区间的权值。如：一个单元格中的某个像素的梯度方向是10°，那么它属于0°～20°区间，在该区间上加上像素的梯度值。
1.3、将行人和非行人样本图像划分成包含多个相邻单元格的矩形区块(Block)，将区块内所有单元格的一维梯度方向直方图向量Hi串联起来构成串联向量[H1,H2,...,Hn]，采用L2-Norm方式对串联向量[H1,H2,...,Hn]进行归一化处理构成区块特征向量
1.4、将行人和非行人样本图像内所有的区块特征向量串联起来构成样本图像的HOG描述子VHOG。
本实施例中，对于红外行人样本图像，统一归一化为32×32像素大小，设定单元格大小为4×4像素，区块大小为8×8像素，那么每个区块就包含四个单元格。滑动步距为4像素，故最终HOG向量维数为36×49＝1764维。单元格的梯度方向直方图向量为Hi＝[h1,h2,...h8,h9]，其中hi为每个区间的权值，归一化后的区块特征向量为所以最终的HOG特征向量为VHOG＝[F1,F2,F3,...F49]。
2)、局部离散余弦变换(DCT)特征描述子提取；
离散余弦变换具有很强的“能量集中特性”，图像大部分的信息都存储在DCT变换后系数矩阵的左上角，即低频部分，利用这样的特性，对检测到的行人感兴趣区域提取DCT描述子，用来对目标与非目标进行分类，局部DCT描述子提取步骤如下：
2.1将行人和非行人样本图像分别归一化至24×24像素大小，确定滑动窗口的大小和步距；
2.2在每个窗口区域内按下式分别进行离散余弦变换，设f(x,y)为M×N的数字图像矩阵，其离散余弦变换表示为：
其中：
F(u,v)为离散余弦变换后的系数矩阵；C(u)、C(v)为系数，f(x,y)为坐标(x,y)像素点的灰度值；
2.3、利用zigzag扫描方式获取系数矩阵的前21个低频系数作为对应区块的描述向量，将所有区块的描述向量串联起来并进行Min-Max归一化处理构成整幅图像的局部DCT特征描述子VDCT；
本实施例中选用24×24像素大小的样本图片，以8×8像素大小的固定窗口、滑动步距为4像素遍历整幅样本图片，共有25个窗口，DCT描述子的维数为25×21＝525维。
C、融合梯度方向直方图和局部离散余弦变换特征描述子；
将由行人和非行人样本图像提取的HOG特征描述子VHOG与DCT特征描述子VDCT进行自适应加权串联，形成最终的行人和非行人样本图像的融合特征描述子VFusion＝[αVHOG,βVDCT]，其中确定α与β的原则是使训练得到的分类器对训练样本进行分类的误判最少。融合特征描述子不仅可以表征目标梯度方向与边缘方向信息，还可以对于行人和非行人目标表面细微变化以及红外图像的光晕效应具有一定的处理能力，对红外行人目标具有更强的表征能力。本实施例中，α选取为10，β为3。
将行人和非行人样本图像的融合特征描述子进行标注，行人样本图像的融合描述子标注为1，非行人样本图像的融合描述子标注为-1，并输入线性支持向量机分类器进行训练，寻求最优超平面。
步骤2：确定行人目标的初始位置；
首先对航拍红外图像利用滑动窗口法进行行人扫描检测，对每一个窗口提取步骤1中所述的融合特征描述子，之后采用训练好的红外行人SVM分类器对扫描窗口进行分类判别，若输出为1，则认定为行人目标，随后将行人目标所在的扫描窗口的中心作为行人目标的中心坐标，从而确定行人目标的位置,作为初始位置。
步骤3：利用LK光流法对行人目标进行初步跟踪；
利用LK光流法计算出相邻两帧图像i与i+1中行人目标的位移，相当于对行人目标在下一帧图像中的位置做出预测，具体方式为：将行人目标的初始位置点Pi作为光流计算的起始点，利用LK光流法计算初始位置点Pi在相邻两帧图像中的位移从而预测到行人目标在下一帧图像中的位置点P(i+1)。i属于所选取的一部分进行行人和飞行人训练样本提取的视频帧图像。
步骤4：对行人位置点P(i+1)进行二次检测，更新行人位置点P(i+1)的坐标；
由于红外图像质量差、信噪比低，使用LK光流法对红外行人目标进行跟踪容易发生跟踪点偏移，所以仅仅依靠LK光流法难以实现对红外行人的持续跟踪，所以本发明引入了二次检测的方法来对行人目标的位置进行更新，从而保证对红外行人目标的持续有效跟踪，具体方式为：
首先以P(i+1)为中心，人为设定矩形搜索区域，其大小视拍摄高度而定，但不超过行人目标大小的2倍。本实施例中设定搜索区域大小为40×40像素，如图3所示。随后利用滑动窗口法遍历矩形搜索区域，对每一个窗口提取步骤1中所述的融合特征描述子，利用训练好的SVM分类器进行判定。若分类结果为1，则对应窗口的中心位置即为行人目标的精确位置，并将此中心点坐标点P‘(i+1)作为行人目标的位置点精确坐标值。
步骤5：行人跟踪；
将步骤4中得到的P‘(i+1)作为LK光流法的输入坐标，重复步骤3～5，即可实现对红外行人目标的持续、有效地跟踪。
如图4所示，展示了应用本发明方法对选取的航拍红外视频的行人跟踪示例图，由图可以看出应用本发明所提出的方法可以实现对红外行人目标持续稳定的跟踪，并可以处理路灯遮挡等问题。