基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法与流程

本发明涉及一种视频目标跟踪方法，融合了图像处理、模式识别、人工智能、自动控制以及计算机等许多领域的先进技术，特别涉及一种基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法。

背景技术：

视觉跟踪是计算机视觉领域中非常重要的一个研究课题，在无人机、精确制导、空中预警、战场监视等军事领域和机器人、智能监控、智能交通、人机交互等民用领域中有着十分广泛的应用。视觉跟踪的任务是对视频序列中的目标状态进行持续推断，实现视频每一帧中的目标定位，并在任一时刻都能够提供完整的目标区域，因此，研究视觉跟踪技术具有十分重要的军事意义和现实意义。

视频目标跟踪的过程通常包括目标位置初始化、目标特征表达、目标运动估计、候选样本特征提取与特征匹配、目标定位等几个过程。而粒子滤波是一种基于蒙特卡罗方法和递推贝叶斯估计的新滤波方法。该方法具有简单易行，适用于非线性及非高斯噪声环境等优点，近年来，在国内外备受关注。但标准粒子滤波算法存在着粒子退化、粒子多样性降低等问题严重影响目标检测概率和检测精度。

在目标跟踪过程中，首先要提取候选样本和模板样本的特征信息，然后利用相应的观测模型计算候选样本是被跟踪目标的概率。可以看出，采用何种特征表示图像样本将对目标跟踪效果起到关键作用。近年来，随着深度学习在目标检测和识别等领域取得了巨大突破，许多学者开始将深度学习模型引入到目标跟踪中，逐渐开启了目标跟踪领域的新篇章。深度学习中的卷积神经网络(Convolutional Neural Network，CNN)受到了研究者的极大关注，基于CNN的特征学习能够获得目标特征的深层次表达，因此被引入到视频目标跟踪问题的求解中来。

主成分分析(PCA)与隐层神经元数量受限时的自编码神经网络特征提取结果之间具有高度的相似性，根据这一特点，可以用PCA求得的初始图像的特征向量组来近似代替自编码神经网络的编码层，从而得到一个单层前馈神经网络。进而通过分层多次利用这一特性，就可以构建一个简单易求解的卷积神经网络。因此，可以利用PCA分层多次计算求得图像的特征向量组，对卷积神经网络的卷积核参数进行初始化。能够避免传统方法中需要大量标签样本数据才能完成CNN参数训练的问题，且更为便捷和易于实现。

现有的方法存在的不足：基于多通道PCA卷积神经网络结构首先是将图像转换成灰度图像，再进行PCA学习，这样PCA学习只利用了图像的灰度信息，丢失了图像的颜色信息。PCA提取出的特征区域质量就不能得到保证，从而就会影响跟踪效果。

技术实现要素：

本发明的目的旨在解决上述技术缺陷，通过三个通道PCA学习得到的特征向量更加充分利用了图像的颜色信息，再利用其特征向量实现卷积神经网络参数的初始化，从而获得目标的深度特征表达；结合粒子群优化粒子滤波进行视频目标跟踪，提高跟踪性能。

为达到上述目的，本发明提出一种基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法，包括以下步骤：

S1：将视频转化图像帧输入系统，获取跟踪目标的前几帧视频图像；

S2：通过PCA对图像进行预处理，得到降维后的图像；

S3：构建多通道卷积神经网络来学习图像三个通道的特征，获得目标的深层次表达；

S3.1：处理后的图像在H、S、I三通道进行PCA学习；

S3.1.1：计算样本数据集X中样本的协方差矩阵；

S3.1.2：对协方差矩阵进行特征分解，求取特征值λ_i和对应的特征向量w_i，降序排列特征值λ_i；

S3.1.3：根据贡献率的大小，取前d个特征值和相应的特征向量作为子空间的基。

S3.2：各通道经过PCA处理的特征向量来初始化CNN结构中的卷积核，构建多通道卷积神经网络

S3.2.1：对输入图像进行取片，得到取片的样本集作为训练数据；

S3.1.3：将训练数据进行PCA运算，求得其特征向量组，并用特征向量初始化卷积神经网络的卷积核；

S4：把待跟踪目标的特征样本输入到粒子滤波系统，利用粒子群优化粒子滤波算法，重采样粒子滤波后的粒子集，增加采样粒子的多样性。计算每个采样粒子所在区域的特征图，与目标区域特征进行比较，通过调整各采样粒子的权重大小和特征样本位置来近似实际的概率分布，以特征样本的期望作为系统估计值，提高标准粒子滤波算法的跟踪性能。

S5：粒子群优化粒子滤波进行特征跟踪，得到并输出视频跟踪的结果。

有益效果

本发明通过利用HIS三个通道进行PCA学习，然后将学习到的特征向量来初始化卷积神经网络的卷积核，避免传统方法中需要大量标签样本数据才能完成CNN参数训练的问题，且更为便捷和易于实现，并且充分利用其他彩色通道信息，使提取到的特征能够更好地表达目标，从而提高跟踪性能。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一个实施例的一个三通道PCA初始化卷积核的卷积神经网络示意图；以及

图2为本发明实施例的基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

S1：将视频转化图像帧输入系统，获取跟踪目标的前几帧视频图像；

S2：通过PCA对图像进行预处理，得到降维后的图像；

主成分分析PCA的算法步骤如下：

1)计算样本数据集X中样本的均值向量μ，即n为样本数量，x表示数据集X中的元素；

2)对每个样本数据集X中样本去均值，将样本数据中心化即构造数据矩阵

3)构造数据矩阵的协方差矩阵V，

4)对协方差矩阵V进行特征分解，求取特征值λ_i和对应的特征向量w_i，降序排列特征值λ_i；

5)根据贡献率的大小，取前d个特征值Λ＝diag[λ₁,λ₂,...,λ_d]，和相应的特征向量W_d＝[w₁,w₂,...,w_d]，作为子空间的基，那么所要提取的个主成分为

S3：对处理后的图像在H、S、I三通道进行PCA学习；再将各通道经过PCA处理的特征向量来初始化CNN结构中的卷积核，建立多通道卷积神经网络来学习图像三个通道的特征，获得目标的深层次表达；

具体分为两个小步骤：

S3.1:对处理后的图像在H、S、I三通道进行PCA学习；再将各通道经过PCA处理的特征向量来初始化CNN结构中的卷积核；

由于相比于颜色浓淡的程度，人的视觉对亮度的敏感程度更强一些。为了使色彩图像处理和识别更加方便，并且HSI色彩空间更符合人的视觉特性，因此人的视觉系统经常采用HSI色彩空间。HSI色彩空间是用色调(Hue)、色饱和度(Saturation或Chroma)和亮度(Intensity或Brightness)来描述色彩。饱和度与颜色的白光光量刚好成反比，它是一个颜色鲜明与否的指标。因此如果在显示器上使用HSI模型来处理图像，将能得到较为逼真的效果。在图像处理和计算机视觉中大多数算法都可在HSI色彩空间中方便使用，它们可以分开处理而且是相互独立的。因此，在HSI色彩空间可以大大简化图像分析和处理工作量。

多通道卷积神经网络首先要进行卷积核的初始化，具体训练过程如下：

1)对任一大小为m×n的输入图像I_i按大小k₁*k₂，步长为a的操作进行全覆盖取片，得到的取片数为s＝(m-k₁+a)(n-k₂+a)，将每一个取片图像转化为一个列向量则输入图像I_i对应的取片样本集用矩阵X_i表示为

2)将X作为训练数据，对X进行PCA运算，求得特征向量组V_kk，进而取代表图像样本集的特征向量组V_kk中前L个特征向量作为主成分特征向量，用于初始化C层的卷积滤波器组V，V由下式表示：

3)将V中每个列向量v_i重新排列成k₁*k₂的矩阵m_i，则初始化卷积核参数，用于对进行卷积滤波，即CNN各C阶段卷积核的初值。

S3.2：构建多通道PCA初始化卷积核的卷积神经网络来学习图像三个通道的特征，获得目标的深层次表达。

具体步骤如下：

a)将输入图像和PCA初始化的卷积核做卷积，得到不同通道的输出结果记为表示为

其中，i＝1,2,...,N为输入C层的图像数，j＝1,2,...,L为该C层的卷积核个数，θ为H，S，I三个通道。

b)对输出的特征图采用均值采样的方式进行下采样，取图像中每邻域4个像素的平均值变为1个像素，具体表示公式如下：

c)重复步骤1、步骤2，得到新的特征图，将训练得到的三个通道特征图就能进行特征融合，以全连接方式输出。

最终，图像经过整个网络的深度特征提取后，输出的特征值组合为一个列向量，作为从原始图像I_i中抽象出来的高层次特征表达，即

f_i＝[f₁,f₂,...,f_n]^T

在视频目标跟踪过程中，该算法提出的基于多通道卷积神经网络获得视频目标更深度的特征表达，有利于提高视频目标跟踪过程目标的鲁棒。

S4：把待跟踪目标的特征样本输入到粒子滤波系统，利用粒子群优化粒子滤波算法，重采样粒子滤波后的粒子集，增加粒子的多样性。计算每个粒子所在区域的特征图，与目标区域特征进行比较，通过调整各粒子的权重大小和样本位置来近似实际的概率分布，以样本期望作为系统估计值，提高标准粒子滤波算法的跟踪性能。

粒子滤波的具体步骤如下：

1)粒子集初始化，由先验分布P(X₀)中采样粒子，则状态预测方程为

p(x_k|y_1:k-1)＝∫p(x_k|x_k-1)p(x_k-1|y_1:k-1)dx_k-1

对应权值为1/N

2)重要性采样

I将重要性函数q(x_0:k|y_1:k)并将其改写成

II计算粒子重要性权值w_k，并进行归一化

3)判断重采样，使权值大的粒子被复制，而权值小的粒子被舍弃，得到新的粒子集且粒子的权值被重新设置为1/n。

4)计算时刻的状态估计值：

5)令k＝k+1，当下一时刻测量值到来时，返回粒子滤波的具体步骤2)中。

在目标跟踪中，粒子退化现象直接会影响目标状态的预测能力，降低似然观测结果的估计性能。因此，为了在跟踪过程中避免粒子退化现象，需要对粒子采样进行优化，来增加粒子多样性，提高各个粒子的作用效果。粒子群优化算法具有简单易行，收敛速度快且设置参数少等优点，已成为现代优化方法领域研究的热点。因此，采用粒子群优化粒子滤波的方法进行视频目标跟踪。

S5：粒子群优化粒子滤波进行特征跟踪，得到并输出视频跟踪的结果。

粒子群优化粒子滤波算法，具体步骤如下：

1)对粒子群体进行初始化，包括粒子位置X_i和速度V_i；

2)根据适应函数f(X_i)，计算每个粒子的适应值；

3)对每个粒子，将其当前适应值与其个体历史最佳位置(pbest_i)对应的适应值做比较，如果当前的适应值更高，则将用当前位置更新历史最佳位置pbest_i；

4)对每个粒子，将其当前适应值与全局最佳位置(gbest)对应的适应值做比较，如果当前的适应值更高，则将用当前粒子的位置更新全局最佳位置(gbest)；

5)根据公式更新每个粒子的速度与位置；

6)如未满足结束条件，则返回粒子群优化粒子滤波算法中的具体步骤2)。

S5：粒子群优化粒子滤波进行特征跟踪，得到并输出视频跟踪的结果

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改替换和变形，本发明的范围有所附权利要求及其等同限定。