一种基于图相似性约束的群目标跟踪方法和系统与流程

本发明属于图像处理领域，更具体地，涉及一种基于图相似性约束的群目标跟踪方法和系统。
背景技术：
：视频目标跟踪也广泛应用于生产和生活领域。无论在军用还是民用方面，目标跟踪都是重要的组成部分。群目标跟踪技术在生态环境保护、飞行安全、畜牧业自动化等领域都有重要意义。例如在机场驱鸟方面，机场内的飞鸟也会对航空公司造成隐患，不但造成巨大的经济损失，还对乘客安全带来了严重的威胁。因此需要对机场的飞鸟进行跟踪，作为驱离的依据。另外，无人机作为一种新兴的智能飞行器有着行动灵活，起飞及飞行要求低，不受场地制约，升空速度快，滞空时间较长，获取容易，控制距离较远等特点。而针对无人机群的跟踪也是无人机大量应用和避免无人机对机场等重要设施造成影响的重要手段。同时，在畜牧业和动物研究方面，许多动物如牛群、羊群、鸟群等，也是以集群方式行动。无论是研究动物的迁徙方式，还是为了防止放牧过程中牲畜离群，都需要有效的获取这些动物的迁移和运动信息。因此研究人员往往需要对这些目标群体进行跟踪处理并获得每个个体的运动轨迹。在对目标群体进行跟踪时，一般采用多目标跟踪和群目标跟踪技术。主流的多目标跟踪技术为基于检测的多目标跟踪，在每一帧进行目标检测，再利用目标检测的结果通过轨迹关联等方法进行目标跟踪。但是基于检测的多目标跟踪方法需要在跟踪前拥有目标的数据集。这在某些情况下可能是很困难的，所以有些研究人员提出了基于无检测的多目标跟踪方法。无检测的多目标跟踪，由于没有检测器的限制，可以不局限于有限种类的目标。这类方法可以视为是对单目标跟踪的扩展。这类方法有一部分需要人为的初始化目标的位置，另一部分选择以帧间差分的结果作为跟踪的初始化目标。这些无检测的跟踪方法不需要目标类别的数据集，可以对各种没有数据集的目标进行跟踪。但是这些跟踪方法并没有关注相似目标的处理，更多的关注于建立目标运动模型和提取运动对象。群目标跟踪与无检测的多目标跟踪类似，但是需要跟踪的目标又有一些区别。相对于无检测的多目标跟踪，群目标跟踪的目标通常是跟踪外表相似、空间接近的多个目标。我们将在一定时间内外表相似、空间接近的多个目标定义为群目标。群目标跟踪的研究大多集中在针对动物群的跟踪。clark等人[1][clarkd,godsills.grouptargettrackingwiththegaussianmixtureprobabilityhypothesisdensityfilter[c].20073rdinternationalconferenceonintelligentsensors,sensornetworksandinformation.2007:149-154.]针对群目标开发了一种高斯混合概率假设密度滤波器，将其运用于群目标跟踪，并且利用该方法跟踪群内的每一个单个目标。zhu等人[2][zhus,liuw,wengc,etal.multiplegrouptargetstrackingusingthegeneralizedlabeledmulti-bernoullifilter[c].201635thchinesecontrolconference(ccc).2016:4871-4876.]研究了目标个数和群个数不确定的群目标跟踪问题，并且提出了一个两阶段的跟踪算法。该算法分为动态模型建立和群目标跟踪两个阶段：第一阶段利用邻接矩阵建立群体动力学模型；第二阶段利用基于随机有限集的广义伯努利滤波器，在所有目标独立的前提下，得到目标的估计状态集。大多数群目标算法都会有以下3个步骤：1)输入图像序列和第一帧中所需要跟踪目标的位置信息；2)利用前一帧目标位置信息，提取多个目标的不同特征，通过函数建立当前帧的响度图，响度图的响应峰值位置即为跟踪的目标位置；3)将响应图响应最大点的位置作为跟踪的目标位置并存储，继续下一帧的跟踪，重复步骤2，步骤3，直至图像序列的最后一帧。在群目标跟踪过程中，由于群目标跟踪的目标相似度较高且距离较近，步骤2中得到的响应图可能会有几个峰值，且峰值相差并不大，将其称为响应图多峰问题。现有的群目标算法在遇到响应图多峰问题时，大多将其最大峰值的位置作为跟踪目标的位置，舍弃其他相近的峰值，但是这样会影响跟踪的精度,并且会出现目标跟丢，因为目标很可能在其他相近的峰值位置。因此，处理好群目标跟踪的响应图多峰问题会显著提高群目标跟踪算法的跟踪精度。技术实现要素：针对现有群目标跟踪技术的响应图多峰问题，本发明提供了一种基于图相似性约束的群目标跟踪方法和系统，其目的在于利用图相似性约束解决群目标跟踪的响应图多峰问题，提高群目标跟踪的精度。为实现上述目的，按照本发明的一个方面提供了一种基于图相似性约束的群目标跟踪方法，包括：s1.获取当前帧中所有跟踪目标对应的候选目标；s2.构造候选图结构：分别从每个跟踪目标中选一个候选目标进行组合，得到k1×k2×…ki个候选图结构为第i个目标对应的响应图中的第k个候选目标ki的坐标位置，i表示跟踪目标总个数，ki为第i个目标对应的候选目标个数，c表示候选图结构序号；s3.计算每个候选图结构的图相似性评价指标；所述图相似性评价指标表示群目标跟踪过程中当前帧的候选图结构与前一帧的优选图结构之间的相似度；s4.选取图相似性评价指标最大的候选图结构作为当前帧的优选图结构，输出当前帧中目标i和候选目标ki的对应跟踪结果；s5.判断是否跟踪完全部帧图像序列，若是则结束并输出跟踪结果；否则载入下一帧图像，并返回执行步骤s1。进一步地，步骤s1包括：s1.1.计算当前帧目标i对应的响应图其中，m为当前帧数，i为目标编号，z表示前一帧处理完后获得的目标模板图像，s表示搜索图像；s1.2.获得目标i对应的候选目标：选取响应图的全部局部极值点将满足局部极值点的响应值大于当前响应图的最大响应值乘以一个阈值系数thrcoe的目标作为候选目标阈值系数0＜thrcoe＜1；s1.3.判断当前帧的全部目标是否均经过步骤s1.1-s1.2的处理，若是则进入步骤s2；否则i＝i+1，并返回步骤s1.1处理下一个目标。进一步地，阈值系数thrcoe取0.7。进一步地，步骤s3具体包括：s3.1.计算前一帧的优选图结构gm-1和当前帧候选图结构gm的邻接矩阵am(gm-1)和am(gm)：当i≠j时，邻接矩阵中元素a(i,j)的值为候选图结构中第i个单元与第j个单元的欧式距离；当i＝j时，元素a(i,i)等于候选图结构gm对应响应图中的局部极值点的响应值max(f(z,s))；s3.2.计算每个候选图结构中的每个单元的特征向量将邻接矩阵am(gm)中的第i列元素a(i,i)排除得到s3.3.计算前后两帧中同一个单元的特征向量和之间的余弦相似度sm(i)和欧氏距离dm(i)：s3.4.对余弦相似度sm(i)和欧氏距离dm(i)进行归一化：s3.5.利用窗函数系数wincoe对归一化后的余弦相似度sm(i)和欧氏距离进行加权：s"m(i)＝(1-wincoe)+wincoe·s'm(i)d"m(i)＝1-wincoe·d'm(i)；s3.6.计算第m-1帧优选图结构gm-1和第m帧候选图结构的图相似性评价指标：其中，表示候选图结构gm对应响应图中第i个目标的局部极值点的响应值max(f(z,s))；s3.7.选取使最大的结构图即为当前帧的优选图结构。进一步地，根据优选图结构gm每个单元中ki和i的对应性，输出目标i和候选目标ki的对应跟踪结果。进一步地，窗函数系数wincoe的值为0.176。按照本发明的另一方面提供了一种基于图相似性约束的群目标跟踪系统，包括：计算机可读存储介质和处理器；所述计算机可读存储介质用于存储可执行指令；所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行上述基于图相似性约束的群目标跟踪方法。总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。(1)由于目标运动幅度在前后帧之间是有限的，所以本发明认为群目标图结构在前后帧之间应当是相似的，基于此，本发明设计图相似指标量化群目标跟踪过程中当前帧的候选图结构与前一帧的图结构之间的相似度，对群目标跟踪结果形成约束，解决在跟踪过程中相似目标干扰产生的响应图多峰而造成的错误跟踪问题，提高群目标跟踪算法的跟踪精度。(2)本发明在相同群目标跟踪测试集下，较其他群目标跟踪算法对于相似目标的跟踪精度更高，跟踪实时性更好，更适用于群目标跟踪。附图说明图1为本发明提供的基于图相似性约束的群目标跟踪方法流程图；图2为本发明提供的图相似性约束计算跟踪具体实施过程流程图；图3为本发明提供的基于图相似性约束的群目标跟踪算法性能统计结果准确率；图4为本发明提供的基于图相似性约束的群目标跟踪算法性能统计结果成功率图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。在群目标跟踪过程中需要解决两个问题，首先是如何将目标和背景分开，并且得到准确的目标框。第二，跟踪方法需要区别不同的轨迹目标，为每个跟踪结果做出正确的轨迹编号。但是群目标跟踪中，有许多接近的目标会相互干扰，影响第二个问题的解决。所以群目标的跟踪方法需要应对这种干扰，找到正确的轨迹。而对于群目标的跟踪，当目标彼此间接近时，目标的响应也会重叠，这将对于判断目标的位置和轨迹编号有很大影响，因此，在跟踪过程中可能出现错误跟踪，即在跟踪过程中发生从一个目标关联到另一个目标轨迹的情况。为了解决第二个问题，本发明提出了一种群目标图结构相似性的评价指标，并进一步提出了一种基于图相似性约束的群目标跟踪方法，该方法在计算目标位置时，将群目标在图像中的位置视为一个群目标图结构，利用前后帧群目标图结构之间的相似性约束目标的相对运动，从而解决在跟踪过程中相似目标干扰导致的错误跟踪问题。图论是应用数学的一个重要分支，在现有技术中，图论方法是研究二元关系的重要工具，例如通信算法中，可把通信网络看成一个图结构，最小流算法就是基于图论的。在群目标跟踪过程中，多个跟踪目标框的中心在图像上的坐标也可以看成一个图结构，本发明称为群目标图结构。由于目标运动幅度在前后帧之间是有限的，所以本发明认为群目标图结构在前后帧之间应当是相似的。图相似性约束是基于群目标图结构在前后帧的相似性而设计的对群目标跟踪结果的一种约束，可以提高群目标跟踪算法的跟踪精度。如图1所示，本发明的基于图相似性约束的群目标跟踪方法主要包括特征图提取和图相似性约束部分：(1)特征图提取部分包括：(1-1)计算当前帧目标i对应的响应图其中，m为当前帧数，i为目标编号，z表示前一帧处理完后获得的目标模板图像，s表示搜索图像；例如，若m＝2，则z表示第一帧给定的初始目标模板图像，s表示第二帧的搜索图像。(1-2)获得目标i对应的候选目标；选取响应图的全部局部极值点xi,yi为响应图中的坐标位置；将满足条件：局部极值点的响应值大于当前响应图的最大响应值乘以一个阈值系数thrcoe的目标作为候选目标阈值系数0＜thrcoe＜1，经验值取0.7，ki为第i个目标的第k个候选点序号；(1-3)判断当前帧的全部目标是否均经过步骤(1-1)(1-2)的处理，若是则进入步骤(2-1)；否则i＝i+1，并返回步骤(1-1)处理下一个目标；(2)利用图相似性约束计算跟踪结果，具体过程参考图2：(2-1)构造候选图结构；对每个目标选一个候选目标进行组合，得到k1×k2×…ki个所有目标的候选图结构点为候选图结构的一个单元，i表示输入目标总个数，ki为第i个目标中的候选点个数，每个目标i仅在中出现一次，c表示图结构序号；(2-2)计算每个候选图结构的图相似性评价指标；图相似性评价指标是本发明提出的一个新概念，该指标表示并量化了群目标跟踪过程中当前帧的候选图结构与前一帧的图结构之间的相似度，可以通过该指标找到当前帧最佳的候选图结构；(a)计算图结构gm-1和候选图结构gm的邻接矩阵am(gm-1)和am(gm)；计算方法为将候选图结构gm转化为邻接矩阵am(gm)的形式，邻接矩阵中的元素a(i,j)的值为候选图结构中第i个单元与第j个单元的欧式距离，当i与j相等时，元素a(i,i)等于候选图结构gm对应响应图中的局部极值点的响应值max(f(z,s))，图结构gm-1为前一帧最佳的候选图结构，详见步骤(2-4)；(b)计算每个候选图结构中的每个单元的特征向量将邻接矩阵am(gm)中的第i列元素a(i,i)排除，得到(c)计算前后两帧中同一个单元的特征向量和之间的余弦相似度sm(i)和欧氏距离dm(i)，计算方法如下：(d)对两个值进行归一化：(e)利用窗函数系数wincoe对归一化后的余弦相似度sm(i)和欧氏距离进行加权：s"m(i)＝(1-wincoe)+wincoe·s'm(i)d"m(i)＝1-wincoe·d'm(i)窗函数系数wincoe的经验值为0.176；(f)计算第m-1帧和第m帧gm-1和的图相似性评价指标：(2-3)优选图结构；最大的图结构即为优选图结构；(2-4)计算跟踪结果，指根据图结构每个单元中ki和i的对应性，输出目标i和候选目标ki的对应跟踪结果；(3)判断是否跟踪晚全部帧图像序列，若是则结束并输出跟踪结果；否则载入下一帧图像，并返回执行步骤(1)。为了验证本发明方法的有效性，本发明实施例对于群目标跟踪数据集，设计了实验如表1所示，表1本实施例根据表1的参数进行实验。表1中的模板为全卷积孪生网络模板，test1为原始的全卷积孪生网络算法复用，使用第一帧输入目标为模板，+graph为增加使用本发明提出的方法。具体包含以下步骤：(1)全卷积孪生网络训练过程，全卷积孪生网络是lucabertinetto在2016年提出的一种基于深度学习的单目标跟踪算法；本发明实施例实验使用的硬件环境包括：一个cpu，型号为intel(r)core(tm)i7-6850k，6核心，12线程，主频3.60ghz；两个gpu，型号为nvidiagtx1080ti，内存64gb；实验的软件环境包括：ubuntu16.04操作系统，深度学习框架为tensorflow；网络的训练数据使用ilsvrc-vid数据集，该数据集为单目标跟踪领域常用公知数据集，这个数据集中全部4417个视频数据都用于训练及调整网络参数；损失函数采用logistic函数；迭代训练方法采用随机梯度下降方法；参数初始化方法为xavier方法；训练迭代轮次为50，每个轮次训练50000个图像对，批次大小设为32，初始学习率设为0.01，学习率指数衰减，最低学习率为0.00001；输入图片对之间的最大间隔帧为100。没有特别说明时，模板更新系数β依经验取0.5。(2)输入全部目标初始位置及初始帧；(3)初始化网络及跟踪模板；(4)计算每一个目标i的响应图全卷积孪生网络训练好并初始化以后会得到特征提取函数，通过该函数可以得到跟踪目标的响应图；(5)获得候选目标，即选取响应图的全部局部极值点x,y为响应图中的坐标位置；判断局部极值点的响应值是否大于当前响应图的最大响应值乘以一个阈值系数thrcoe(0＜thrcoe＜1)，阈值系数的经验值取0.7。保留全部满足条件的候选目标ki为第i个目标的第k个候选目标序号。判断是否全部目标的响应图均经过处理，若是则进入(6)，否则i＝i+1，并返回步骤(4)处理下一个目标。(6)构造候选图结构，将所有目标的所有候选目标点进行组合，每个目标选一个候选点进行组合，可以得到多个目标候选图结构：i表示输入目标总个数，ki为第i个目标中的候选目标个数，每个目标i仅在中出现一次，c表示图结构序号；(7)计算每个候选图结构的图相似性评价指标：(a)计算图结构gm-1和候选图结构gm的邻接矩阵am(gm-1)和am(gm)。计算方法为将候选图结构gm转化为邻接矩阵am(gm)的形式，邻接矩阵中的元素a(i,j)的值为候选图结构中第i个单元与第j个单元的欧式距离，当i与j相等时，元素a(i,i)等于候选图结构gm对应响应图中的局部极值点的响应值max(f(z,s))，图结构gm-1为前一帧最佳的候选图结构；(b)计算每个候选图结构中的每个单元的特征向量具体过程为：将邻接矩阵am(gm)中的第i列元素a(i,i)排除，得到(c)计算前后两帧中同一点的特征向量和之间的余弦相似度sm(i)和欧氏距离dm(i)，计算方法如下：(d)对两个值进行归一化：(e)利用窗函数系数wincoe对归一化后的余弦相似度sm(i)和欧氏距离进行加权；s"m(i)＝(1-wincoe)+wincoe·s'm(i)d"m(i)＝1-wincoe·d'm(i)窗函数系数wincoe的经验值为0.176；(f)计算前后帧gm-1和的相似度评价指标：(8)优选图结构，最大的图结构即为优选候选图结构；(9)计算跟踪结果：根据图结构每个单元中ki和i的对应性，输出目标i和候选目标ki的对应跟踪结果；(10)是否跟踪完全部序列，若是则结束跟踪并输出结果，否则m＝m+1并返回步骤(4)。统计跟踪结果：图3和图4分别为图相似性约束群目标跟踪算法性能统计结果对比准确率图和成功率图；准确率图的横坐标为中心位置误差阈值，单位为像素，纵坐标为对应该阈值的距离精度；成功率图的横坐标为交并比阈值，纵坐标为对应该阈值的重叠精度。表2记录了对比实验的统计结果。对于test1和test1+graph可以看出相对于仅使用第一帧的特征作为模板，结合图相似性约束的test1+graph在准确率方面提高0.0558，而在成功率上提高了0.0418。在准确率曲线面积和成功率曲线面积两个指标下，test1+graph的结果都比test1的结果优秀，可以认为本发明提出的图相似性约束的方法是有效的。表2序号实验名称准确率曲线面积成功率曲线面积1test10.48590.41082test1+graph0.54170.4526本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。当前第1页12