一种基于改进的双中心粒子群优化算法的目标跟踪方法与流程

本发明属于数字图像处理技术领域，具体涉及一种基于改进的双中心粒子群优化算法的目标跟踪方法。

背景技术：

目标跟踪的主要任务是在一段视频序列中定位感兴趣的运动目标，并形成目标运动的轨迹。目标跟踪技术在对运动目标的图像分析和应用中产生，并成为计算机视觉领域中的一个重要的研究热点。目前传统的目标跟踪方法主要有帧差法、光流法、相关跟踪法以及卡尔曼滤波法、粒子滤波跟踪法等。但是帧差法对于较大的、颜色一致的运动目标，可能在目标内部产生空洞，无法完整提取运动目标。光流法对噪声、多光源、遮挡等因素鲁棒性较差而且光流法计算复杂，很难实现实时处理。粒子滤波需要大量的样本数量才能很好的近似系统的后验概率密度，但是重采样阶段会造成样本有效性和多样性的损失，导致样本贫化现象。

随着研究的不断深入，新的跟踪算法不断出现。粒子群优化算法(particleswarmoptimization,pso)作为一种新的群体智能优化算法，是从鸟群或者鱼群的捕食行为中模拟抽象出来的。粒子群优化算法容易实现且简单高效，可以快速遍历搜索空间，快速收敛。由于该算法处理多峰复杂问题时，具有很好的搜索能力，使其在解决目标跟踪过程中具有一定的优势，但是传统的粒子群优化算法存在粒子的多样性丢失，粒子容易陷入局部最优，造成早熟收敛的现象。

近来不少研究人员提出针对其的改进算法。梁菁，李岚均等人(cn110286383a)提出基于传统粒子群算法改进得到降维粒子群算法，解决了容易陷入局部最优解的问题，但是收敛速度较慢。李静梅，韩俊妍等人(cn109858606a)针对粒子群算法前期收敛速度快后期收敛速度慢的缺点，提出引入压缩因子改进粒子的速度更新方式，有效地提高算法的收敛速度和全局搜索能力，但具有较大计算量的问题。黄荣辉等人(cn106295674b)提出基于多粒子群算法的图像目标匹配检测的方法,能够降低计算量，但是其精度不高。changseokbae等人(ieeecomputersociety,2018)提出effectiveobjecttrackingframeworkusingweightadjustmentofparticleswarmoptimization，与其他现有的基于群体智能的对象跟踪器相比，该框架显著减少了对附近干扰物的收敛，但是其抗遮挡能力较弱。

技术实现要素：

本发明针对上述现有技术存在的不足，提出一种简单精确且工程容易实现的基于改进的双中心粒子群优化算法目标跟踪方法，旨在解决目标本身存在多样的特征，粒子早熟收敛现象以及跟踪过程中的遮挡问题。

本发明要解决的技术问题通过以下技术方案实现：

包括以下步骤：

步骤1.读取要处理的图像序列，在首帧图像中对要跟踪的目标进行框选，得到目标在首帧中的位置；

步骤2.根据框选的目标，对目标区域的图像计算hu不变矩来描述目标的形状特征；

步骤3.将目标区域的图像由rgb空间转换到hsv空间，并计算目标区域图像的hsv颜色直方图来描述目标的颜色特征；

步骤4.对步骤2和步骤3的形状特征向量和颜色特征向量进行串联，得到特征融合后的目标特征向量，即目标模板特征；

步骤5.对后续图像帧应用改进的双中心粒子群优化算法,获取所述图像帧中的全局最优粒子的位置；

步骤6.提出抗遮挡的目标模板更新策略。判断目标是否被遮挡，若目标被遮挡，不进行目标模板更新，使用前一帧的目标模板进行目标跟踪，否则将最优粒子的特征和目标模板特征进行线性融合，得到新的目标模板特征，并用于下一帧的目标跟踪。

作为本发明方案进一步的说明，所述步骤2的具体处理过程是：

子步骤2a、对目标区域的图像灰度化；

gary＝r*0.3+g*0.59+b*0.11；

子步骤2b、用canny边缘检测提取边缘，保留边缘灰度图像；

子步骤2c、使用otsu提出的类判别分析法自动为灰度图像选定阈值，用该阈值对图像二值化；

子步骤2d、计算二值图像的质心和

上式中mpq为数字图像(p+q)阶几何矩，根据零阶几何矩和一阶几何矩计算出图像质心x和y；

子步骤2e、根据二值图像的质心计算出中心距μpq，通过归一化中心矩构造7个不变矩，即为hu不变矩；

ηpq＝μpq/(μ00)^ρp,q＝0,1,2...；

上式中ηpq为归一化的中心距，其中ρ＝(p+q)/2+1，构造7个不变矩，并根据7个不变矩构造形状特征向量h。

作为本发明方案进一步的说明，所述步骤3的具体处理过程是：

子步骤3a、将目标区域的图像由rgb空间转换到hsv空间；

上式为颜色空间转换公式，r，g，b的取值范围是[0,255]，的取值范围是[0,1]，h的取值范围是[0,360]，s的取值范围是[0,1]，v的取值范围是[0,1]；

子步骤3b、将hsv颜色空间非等间隔量化，构造颜色特征向量g，构造公式表示为：g＝4h+3s+3v+1。

作为本发明方案进一步的说明，所述步骤5的具体处理过程是：

子步骤5a、设定双中心粒子群优化算法的参数；

包括：

种群规模，

粒子的位置范围：[lb,ub]，lb为粒子位置的下界对应目标区域图像的最小行列数，ub为粒子位置的上界对应目标区域图像的最大行列数；

粒子的速度范围：[-vmax,vmax]；

认知参数：个体认知参数c1＝1.4，全局认知参数c2＝1.4；

惯性权重：最大惯性权重wmax＝0.9，最小惯性权重wmin＝0.4；

终止条件：粒子的全局最优值的阈值m＝0.8，最大迭代次数tmax＝10；

遮挡阈值：s＝0.2；

子步骤5b、初始化粒子的位置并计算每个粒子的适应度值；

根据上一帧中目标最优粒子的位置，在搜索范围内对粒子的位置随机初始化；然后计算每个粒子候选区域图像的hu不变矩和hsv颜色直方图，得到每个粒子的特征融合向量，分别与目标模板特征计算距离来度量相似性，相似性即为每个粒子的适应度值；

距离选用欧式距离

上式中，d为欧式距离，x为粒子特征向量，y为目标模板特征向量；

上式中，f为粒子的适应度值，利用欧氏距离度量粒子的适应度值，距离越小，相似性越大，粒子的适应度值越大；

子步骤5c、自适应调整粒子的惯性权重；

根据迭代次数iter和粒子的适应度值f对惯性权重w进行自适应调整，具体公式为：

上式中，wmax为惯性权重的最大值，wmin为惯性权重的最小值，tmax为粒子群优化算法的最大迭代次数，iters为当前迭代次数，f为当前粒子的适应度值，fmax为粒子的最大适应度值；

子步骤5d、根据所述的自适应惯性权重和公式，更新每个粒子的速度vi^t+1和位置

上式中，n为粒子群优化算法中的种群大小，w为自适应的惯性权重，c1、c2为加速因子，一般取值为c1＝c2＝1.4，r1、r2为两个取值范围为[0,1]的随机数；vi^t为粒子i在第t次迭代时的速度，xi^t粒子i在第t次迭代时的速度时的位置，为粒子i在t次迭代中的个体极值位置，xgbest^t为在t次迭代中粒子群中粒子的全局最优位置；

子步骤5e、引入两个加权中心粒子，粒子群体加权中心xc^t和个体极值加权中心xpc^t参与全局最优值的竞争，其中，中心粒子位置的更新公式分别为：

上式中，xi^t为粒子i在第t次迭代时的位置，fi^t为粒子i在第t次迭代时的适应度值，ci^t为粒子i在第t次迭代时归一化的适应度值，xc^t为第t次迭代时粒子群体加权中心粒子位置；

上式中，xpbesti^t为粒子i在t次迭代中的个体极值位置，fpbesti^t为粒子i在t次迭代中的个体最优的适应度值，cpbesti^t为fpbesti^t归一化后的适应度值，xpc^t为第t次迭代时个体极值加权中心粒子位置；

子步骤5f、计算第t次迭代时全局最优值：

f(xgbest^t)＝max(f(xpbest1^t),f(xpbest2^t),…f(xpbestn^t),f(xc^t),f(xpc^t))；

上式为第t次迭代时全局最优值f(xgbesti^t)的更新公式，比较在t次迭代中每个基础粒子的个体极值和引入的两个加权中心粒子的适应度值，最大值即为第t次迭代时全局最优值；

子步骤5g、根据计算出的第t次迭代时全局最优值，若粒子的全局最优值达到设定的阈值或当前的迭代次数达到预设的迭代次数迭代结束，保留全局最优粒子的位置，否则重复子步骤5c；

子步骤5h、标记全局最优粒子的位置，输出当前帧中目标的位置。

作为本发明方案进一步的说明，所述步骤6的具体处理过程是：

子步骤6a、计算当前帧中全局最优粒子位置的适应度值；

子步骤6b、比较当前帧中全局最优粒子位置的适应度值和遮挡阈值大小，判断目标是否发生遮挡；

子步骤6c、若当前帧中全局最优粒子位置的适应度值小于遮挡阈值时，判定目标发生遮挡，不进行目标模板更新，使用前一帧的目标模板进行目标跟踪，否则进行模板更新，将全局最优粒子的特征和目标模板特征进行线性融合，得到新的目标模板特征，并用于下一帧的目标跟踪；

f＝0.8f1+0.2fbest；

上式为目标模板更新公式，f1为前一帧的目标模板特征，fbest为全局最优粒子的特征，f为更新后新的目标模板特征。

通过与现有技术相比，本发明具有以下优点：

1.为了解决单一特征不能很好地表达出目标外观模型，本发明提取目标的颜色特征和形状特征进行特征融合，可以更加有效地表达目标模型，实现在复杂环境下更为准确的目标跟踪，提高目标跟踪的鲁棒性；

2.在传统的pso算法目标跟踪方法中，pso算法中的惯性权重w通常是一个常量或者是线性递减的变量，本发明提出一种自适应调节惯性权重的策略，根据迭代次数和适应度值共同决定当前粒子的惯性权重，平衡全局搜索能力和局部搜索能力，自适应地调整惯性权重大小使得算法能够精确的确定目标的位置；采用这种方法能够减少迭代次数，提高算法的运行效率；

3.本发明提出双中心的粒子群优化目标跟踪算法，引入两个加权中心粒子，即粒子群体的加权中心和全体粒子的个体极值加权中心，扩大了搜索覆盖范围，使得每个粒子搜索到的个体极值得到显著改善，解决了容易陷入局部最优解的问题，并且加快了种群的收敛速度，能进一步提高跟踪实时性和跟踪精度；

4.本发明还加入抗遮挡的目标模板更新策略，判断目标是否被遮挡，当目标被遮挡后能保证及时恢复准确、有效的跟踪，提高目标跟踪的鲁棒性。

附图说明

图1是本发明目标跟踪方法的整体流程框图；

图2是本发明目标跟踪方法中步骤5的内部流程图；

图3是本发明目标跟踪方法中步骤6的内部流程图；

图4是两种算法对不同图像序列中相同图像帧的跟踪结果；

其中，图4中(a)、(b)是同一图像序列的第45帧图像分别采用粒子群优化算法和本发明提出的改进的双中心粒子群优算法对图像中目标的跟踪结果；图4(c)、(d)是另同一图像序列的第62帧图像分别采用粒子群优化算法和本发明提出的改进的双中心粒子群优算法对图像中目标的跟踪结果；图4中(e)、(f)给出了两种对比算法在同一图像序列第240帧图像的跟踪结果；

图5是两种算法的跟踪位置误差对比；

图6是两种算法的跟踪时间对比。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

本发明针对传统粒子群优化算法的局限性，提出了基于双中心粒子群优化的目标跟踪算法，目的是实现一种稳定、准确、抗遮挡的实时的目标跟踪方法。

首先，在首帧框选出感兴趣的目标；然后计算目标区域的图像特征；接着，对后续图像帧应用改进的双中心粒子群优化算法,获取所述图像帧中的全局最优粒子的位置，即目标的位置；最后判断目标是否发生遮挡，若目标发生遮挡，不进行目标模板更新，否则进行目标模板更新。

参照图1的流程图，本发明基于改进的双中心粒子群优化算法的目标跟踪方法，其具体步骤如下：

步骤1，框选出图像序列中首帧图像的目标位置

读取要处理的图像序列，在首帧图像中用鼠标对要跟踪的目标进行框选，得到目标中心位置和目标区域的长度和宽度；

步骤2，根据框选的目标，对目标区域的图像计算hu不变矩来描述目标的形状特征；

子步骤2a、对目标区域的图像灰度化；

gary＝r*0.3+g*0.59+b*0.11；

子步骤2b、用canny边缘检测提取边缘，保留边缘灰度图像；

子步骤2c、otsu提出的类判别分析法自动为灰度图像选定阈值，用该阈值对图像二值化；

子步骤2d、计算二值图像的质心和

上式中mpq为数字图像(p+q)阶几何矩，根据零阶几何矩和一阶几何矩计算出图像质心和

子步骤2e、根据二值图像的质心计算出中心距μpq，通过归一化中心矩构造7个不变矩，即为hu不变矩；

ηpq＝μpq/(μ00)^ρp,q＝0,1,2...；

上式中ηpq为归一化的中心距，其中ρ＝(p+q)/2+1，构造的7个不变矩为：

构造的7个不变矩为：

φ1＝η20+η02

φ2＝(η20-η02)²+4η11²

φ3＝(η30-3η12)²+(3η21-η03)²

φ4＝(η30+η12)²+(η21+η03)²

φ5＝(η30-3η12)(η30+η12)[(η30+η12)²-3(η21+η03)²]+(3η21-η03)(η21+η03)[3(η30+η12)²-(η21+η03)²]

φ6＝(η20-η02)[(η30+η12)²-(η21+η03)²]+4η11(η30+η12)(η21+η03)

φ7＝(3η21-η03)(η30+η12)[(η30+η12)²-3(η21+η03)²]-(η30-3η12)(η21+η30)[3(η30+η12)²-(η21+η30)²]

并根据此构造形状特征向量h，即根据二阶和三阶的归一化中心距构造。

步骤3，根据框选的目标，对目标区域的图像计算hsv颜色直方图来描述目标的颜色特征；

子步骤3a、将目标区域的图像由rgb空间转换到hsv空间；

上式为颜色空间转换公式，r，g，b的取值范围是[0,255]，的取值范围是[0,1]，h的取值范围是[0,360]，s的取值范围是[0,1]，v的取值范围是[0,1]；

子步骤3b、将hsv颜色空间非等间隔量化：h量化为16级，s量化为4级，v量化为4级；

根据上式构造颜色特征向量g，构造公式表示为：g＝4h+3s+3v+1。

步骤4，对步骤3和步骤4计算出的形状特征向量h和颜色特征向量g进行串联，得到特征融合后的目标特征向量[h,g]，即目标模板特征；

步骤5，参照图2的流程图对后续图像帧应用双中心粒子群优化算法,获取所述图像帧中的全局最优粒子的位置；

子步骤5a、设定双中心粒子群优化算法的参数；

种群规模：原始粒子数目n＝50，粒子维度m＝2；

粒子的位置范围：[lb,ub]，lb为粒子位置的下界对应目标区域图像的最小行列数，ub为粒子位置的上界对应目标区域图像的最大行列数；

粒子的速度范围：[-vmax,vmax]，vmax的每一维取对应搜索空间的10％；

认知参数：个体认知参数c1＝1.4，全局认知参数c2＝1.4；

惯性权重：最大惯性权重wmax＝0.9，最小惯性权重wmin＝0.4；

终止条件：粒子的全局最优值的阈值m＝0.8，最大迭代次数tmax＝10；

遮挡阈值：s＝0.2；

子步骤5b、初始化粒子的位置并计算每个粒子的适应度值；

具体来说，根据上一帧中目标最优粒子的位置，在搜索范围内对粒子的位置随机初始化。然后计算每个粒子候选区域图像的hu不变矩和hsv颜色直方图，得到每个粒子的特征融合向量，分别与目标模板特征计算距离来度量相似性，相似性即为每个粒子的适应度值。

距离可选用多种不同的方式定义，如欧式距离，巴氏距离，汉明距离等，考虑计算效率，这里选取欧式距离。

上式中为d欧式距离，x为粒子特征向量，y为目标模板特征向量；

上式中f为粒子的适应度值，利用欧氏距离度量粒子的适应度值，距离越小，相似性越大，粒子的适应度值越大。

子步骤5c、自适应调整粒子的惯性权重；

根据迭代次数iter和粒子的适应度值f对惯性权重w进行自适应调整，具体公式为：

上式中，wmax为惯性权重的最大值，wmin为惯性权重的最小值，tmax为粒子群优化算法的最大迭代次数，iters为当前迭代次数，f为当前粒子的适应度值，fmax为粒子的最大适应度值；

子步骤5d.根据所述的自适应惯性权重和公式，更新每个粒子的速度和位置

上式中n为粒子群优化算法中的种群大小，w为自适应的惯性权重，c1、c2为加速因子，一般取值为c1＝c2＝1.4，r1、r2为两个取值范围为[0,1]的随机数。vi^t为粒子i在第t次迭代时的速度，xi^t粒子i在第t次迭代时的速度时的位置，为粒子i在t次迭代中的个体极值位置，xgbest^t为在t次迭代中粒子群中粒子的全局最优位置；

子步骤5e.引入两个加权中心粒子，粒子群体加权中心xc^t和个体极值加权中心xpc^t参与全局最优值的竞争，其中，中心粒子位置的更新公式分别为：

上式中，xi^t为粒子i在第t次迭代时的位置，fi^t为粒子i在第t次迭代时的适应度值，ci^t为粒子i在第t次迭代时归一化的适应度值，xc^t为第t次迭代时粒子群体加权中心粒子位置；

上式中，xpbesti^t为粒子i在t次迭代中的个体极值位置，fpbesti^t为粒子i在t次迭代中的个体最优的适应度值，cpbesti^t为fpbesti^t归一化后的适应度值，xpc^t为第t次迭代时个体极值加权中心粒子位置；

子步骤5f、计算第t次迭代时全局最优值：

f(xgbest^t)＝max(f(xpbest1^t),f(xpbest2^t),…f(xpbestn^t),f(xc^t),f(xpc^t))；

上式为第t次迭代时全局最优值f(xgbesti^t)的更新公式，比较在t次迭代中每个基础粒子的个体极值和引入的两个加权中心粒子的适应度值，最大值即为第t次迭代时全局最优值；

子步骤5g、根据计算出的第t次迭代时全局最优值，若粒子的全局最优值达到设定的阈值或当前的迭代次数达到预设的迭代次数迭代结束，保留全局最优粒子的位置，否则重复子步骤5c；

子步骤5h、标记全局最优粒子的位置，输出当前帧中目标的位置；

步骤6.参照图3的流程图，提出抗遮挡的目标模板更新策略；

子步骤6a、计算当前帧中全局最优粒子位置的适应度值；

子步骤6b、比较当前帧中全局最优粒子位置的适应度值和遮挡阈值大小，判断目标是否发生遮挡；

子步骤6c、若当前帧中全局最优粒子位置的适应度值小于遮挡阈值时，判定目标发生遮挡，不进行目标模板更新，使用前一帧的目标模板进行目标跟踪，否则进行模板更新，将全局最优粒子的特征和目标模板特征进行线性融合，得到新的目标模板特征，并用于下一帧的目标跟踪。

f＝0.8f1+0.2fbest；

上式为目标模板更新公式，f1为前一帧的目标模板特征，fbest为全局最优粒子的特征，f为更新后新的目标模板特征。

为了验证本发明提出的改进的双中心粒子群优化算法对图像序列中目标跟踪的有效性，本发明选用粒子群优化算法作为对比实验，图4给出了两种对比算法在同一图像序列中的跟踪结果，图4中的图像都是从otb数据集中获取的，分别跟踪的是易拉罐、人脸、女士；图4中(a)、(b)是同一图像序列的第45帧图像分别采用粒子群优化算法和本发明提出的改进的双中心粒子群优算法对图像中目标的跟踪结果，图4(c)、(d)是另同一图像序列的第62帧图像分别采用粒子群优化算法和本发明提出的改进的双中心粒子群优算法对图像中目标的跟踪结果。为了说明本发明方法在目标发生遮挡时的跟踪情况，图4中(e)、(f)给出了两种对比算法在同一图像序列第240帧图像的跟踪结果，从图中可以看出，当目标发生遮挡时，粒子群优化算法对图像中的目标跟踪失败，本发明方法可以得到较好的跟踪结果。通过图4的对比，可以看出本发明提出的算法具有一定的抗遮挡性和更好的跟踪准确性。

最后为了客观评价本发明提出的改进的双中心的粒子群优化算法的效果，对目标跟踪的精度和跟踪算法的运行时间两个方面对本发明进行评价。图5给出了两种对比算法的位置误差对比，可以发现，本发明算法提高了目标跟踪的精度。图6给出了两种算法的运行时间，对比可知，本发明提出的改进的算法运行时间比较短，具有较好的实时性。通过对图像序列中的目标跟踪实验对比，验证了本发明提出的改进的双中心粒子群优化算法对图像序列中的目标具有较好的跟踪准确度，并且本专利的算法对于目标跟踪具有较好的实时性，抗遮挡性和鲁棒性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。