基于视频的目标探测追踪方法、系统、介质及设备与流程

本发明涉及目标追踪技术，具体涉及一种基于视频的目标探测追踪方法、系统、介质及设备。
背景技术：
：视频目标锁定追踪常见于国防系统对飞机、导弹等目标的追踪中，或者安防系统对人、车等目标的追踪中。本发明针对问题与这些应用针对问题存在的差异主要体现在两方面。一是目标具有高机动性。比如无人机和鸟类，可以进行紧急加速、减速、变向等动作，其加速度变化大。相比飞机、导弹等速度大但是速度变化并不大的运动目标而言，运动轨迹更难预测，对追踪的要求也更高。二是使用基于可见光图像的特征。相比红外图像信息更为丰富，对低温物体有很好的探测能力。追踪方法上面临目标变化大、背景复杂、成像环境多变等问题，经典方法和深度学习方法均存在局限性。因此，本发明将二者结合，各取所长，以实现稳定可靠追踪目标。技术实现要素：针对现有技术中的缺陷，本发明提供一种基于视频的目标探测追踪方法、系统、介质及设备，对红外图像难以准确探测、运动机动能力强的目标有更好的锁定追踪能力，能够稳定可靠地追踪目标。第一方面，本发明提供了一种基于视频的目标探测追踪方法，包括：调整监视设备转向监视区域；对所述监视区域进行初始化追踪；在初始化追踪过程中，判断目标是否进入所述监视区域；若否，则继续对所述监视区域进行初始化追踪；若是，则对所述目标进行持续追踪；在持续追踪过程中，判断所述目标是否丢失；若否，则继续对所述目标进行持续追踪；若是，则预测并寻找所述目标；若在预设时间段内，找回所述目标，则对所述目标继续进行持续追踪；若在预设时间段内，没有找回所述目标，则结束追踪。可选的，所述调整监视设备转向监视区域，包括：调整监视设备的转台角度和镜头焦距，使监视设备转向监视区域。可选的，所述对所述监视区域进行初始化追踪，包括：采用两帧初始化追踪方法，对所述监视区域进行初始化追踪，具体步骤如下：步骤11)：对当前帧图像进行目标检测，获得一类第一探测结果；步骤12)：读取前一次对图像帧进行目标检测的一类第二探测结果；步骤13)：结合区域匹配算法，对所述一类第一探测结果和所述一类第二探测结果进行配对，获得第一配对分数；步骤14)：判断所述第一配对分数中的最高配对分数是否超过目标门限；若否，则所述目标没有进入所述监视区域；将所述一类第一探测结果覆盖所述一类第二探测结果，读取最新视频帧，继续执行步骤11)至步骤14)；若是，则确定所述目标进入所述监视区域；根据所述一类第一探测结果和所述一类第二探测结果中的中心位置距离差和时间差，计算第一目标运动速度；根据所述第一目标运动速度，对所述目标进行持续追踪。可选的，所述对所述监视区域进行初始化追踪，包括：采用三帧初始化追踪方法，对所述监视区域进行初始化追踪，具体步骤如下：步骤21)：对当前帧图像进行目标检测，获得二类第一探测结果；步骤22)：读取前两次对图像帧进行目标检测的二类第二探测结果和二类第三探测结果；步骤23)：对所述二类第一探测结果、二类第二探测结果和二类第三探测结果进行配对，获得第二配对分数；步骤24)：判断所述第二配对分数中的最高配对分数是否超过目标门限；若否，则所述目标没有进入所述监视区域；将所述二类第一探测结果覆盖前一次的所述二类第二探测结果，将所述二类第二探测结果覆盖所述二类第三探测结果，并读取最新视频帧，继续执行步骤21)至步骤24)；若是，则确定所述目标进入所述监视区域；根据三次目标探测结果中的中心位置距离差和时间差，计算第二目标运动速度，根据所述第二目标运动速度，对所述目标进行持续追踪。可选的，所述对所述目标进行持续追踪，包括：根据目标运动速度，调整所述监视设备中的转台转速，使所述目标保持在所述监视区域的中心区域，具体步骤如下：步骤31)：将目标运动速度换算成转台的水平旋转速度和俯仰旋转速度；步骤32)：根据所述水平旋转速度和俯仰旋转速度，调整所述转台转速；步骤33)：将初始化追踪过程中，最高配对分数对应的最后一帧图像的目标探测结果记录为历史信息；步骤34)：对当前帧图像进行目标检测，获得第四目标探测结果；步骤35)：读取所述历史信息，将所述第四目标探测结果与所述历史信息进行配对，计算第三配对分数；步骤36)：判断所述第三配对分数中的最高配对分数是否低于目标门限；若是，则认为所述目标暂时丢失，预测并寻找所述目标；若否，则认为所述目标没有丢失；步骤37)：若目标没有丢失，则将所述第三配对分数中的最高配对分数对应的探测结果更新到所述历史信息；步骤38)：根据当前目标成像位置和水平相对速度调整转台的水平旋转速度；根据当前目标成像位置和俯仰相对速度调整转台的俯仰旋转速度，重复步骤32)至步骤38)。可选的，步骤36)还可以为：若所述第四目标探测结果为0，或者，所述第三配对分数低于目标门限，则认为所述目标暂时丢失，预测并寻找所述目标；若所述第四目标探测结果不为0，且所述第三配对分数不低于目标门限，则认为所述目标没有丢失。可选的，所述预测并寻找所述目标，包括：根据所述目标的最后成像位置和相对速度，调整转台转速，沿所述目标的最后飞行轨迹搜寻目标。第二方面，本发明提供一种基于视频的目标探测追踪系统，包括：处理芯片、转台、镜头和相机；所述镜头设置在所述相机上；所述相机固定在所述转台上；所述转台、镜头和相机组成监视设备；所述处理芯片与所述转台、镜头和相机均连接；所述处理芯片用于控制所述监视设备的工作状态，执行权利要求1至7任意一项所述的基于视频的目标探测追踪方法。第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中的基于视频的目标探测追踪方法。第四方面，本发明提供一种基于视频的目标探测追踪设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中的基于视频的目标探测追踪方法。本发明通过调整监视设备转向监视区域，然后对监视区域进行初始化追踪，在追踪过程中一旦确认目标进入监视区域，则启动持续追踪程序，对目标进行持续追踪，否则，保持当前初始化追踪状态，持续追踪过程中，若目标未丢失，则保持运行；若目标丢失，则启动预测并寻找程序，寻找目标；若找回目标，则切换为持续追踪程序，若长期未找回，则结束追踪。通过该方法，对红外图像难以准确探测、运动机动能力强的目标有更好的锁定追踪能力，能够稳定可靠地追踪目标。本发明提供的一种基于视频的目标探测追踪系统、一种计算机可读存储介质和基于视频的目标探测追踪设备，与上述基于视频的目标探测追踪方法出于相同的发明构思，具有相同的有益效果。附图说明为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。图1为本发明提供的一种基于视频的目标探测追踪方法的流程图。具体实施方式下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。本发明提供了一种基于视频的目标探测追踪方法、系统、介质及设备。下面结合附图对本发明的实施例进行说明。第一实施例：请参考图1，图1为本发明具体实施例提供的一种基于视频的目标探测追踪方法的示意图，本实施例提供的一种基于视频的目标探测追踪方法，包括：调整监视设备转向监视区域；对所述监视区域进行初始化追踪；在初始化追踪过程中，判断目标是否进入所述监视区域；若否，则继续对所述监视区域进行初始化追踪；若是，则对所述目标进行持续追踪；在持续追踪过程中，判断所述目标是否丢失；若否，则继续对所述目标进行持续追踪；若是，则预测并寻找所述目标；若在预设时间段内，找回所述目标，则对所述目标继续进行持续追踪；若在预设时间段内，没有找回所述目标，则结束追踪。其中，监视设备可以包括：(1)可以在水平方向和俯仰方向自由旋转的转台、(2)高清长焦可变焦镜头、(3)高清数码相机、(4)嵌入式信号处理芯片四个主要部件。转台控制观察方向，镜头控制观察视角，相机产生数码视频，芯片对视频进行信号处理，并控制转台、镜头、相机的工作。在调整监视设备转向监视区域时，可以调整监视设备的转台角度和镜头焦距，使监视设备转向监视区域，然后对监视区域进行初始化追踪。在追踪过程中一旦确认目标进入监视区域，则启动持续追踪程序，对目标进行持续追踪，否则，保持当前初始化追踪状态。持续追踪过程中，若目标未丢失，则保持运行；若目标丢失，则启动预测并寻找程序，寻找目标；若找回目标，则切换为持续追踪程序，若长期未找回，则结束追踪。本发明通过该方法，对红外图像难以准确探测、运动机动能力强的目标有更好的锁定追踪能力，能够稳定可靠地追踪目标。在本发明提供的一个具体实施例中，对监视区域进行初始化追踪的过程可以采用两帧初始化追踪或者三帧初始化追踪的方法。第一种，两帧初始化追踪方法，具体步骤如下：步骤11)：对当前帧图像进行目标检测，获得一类第一探测结果；其中，目标检测的结果可以包括多个目标的检测结果，每个目标的检测结果可以包含：目标中心位置(x,y)，所占区域宽高(w,h)，和识别分数s等。步骤12)：读取前一次的一类第二探测结果。在对图像进行检测时，可以是每隔几帧检测一次，不一定每一帧都进行检测。步骤13)：结合区域匹配算法，对所述一类第一探测结果和所述一类第二探测结果进行配对，获得第一配对分数；在对一类第一探测结果和一类第二探测结果进行配对时，需要将一类第一探测结果的每个结果与一类第二探测结果的每个结果进行逐个配对，其中，每个结果是指每个目标对应的结果，按照如下公式计算第一配对分数，公式如下：其中，一类第一探测结果的脚标记为i，一类第二探测结果的脚标记为j，ω1、ω2、ω3是权重系数，mi-j是“区域匹配算法”的得分；若本次或前次检测结果数量为0则跳过配对。若一类第一探测结果有三个目标的探测结果，一类第二探测结果有四个目标的探测结果，则可以形成3*4＝12对配对结果，得到12个配对分数。步骤14)：判断所述第一配对分数中的最高配对分数是否超过目标门限；若否，则所述目标没有进入所述监视区域；将所述一类第一探测结果覆盖所述一类第二探测结果，读取最新视频帧，继续执行步骤11)至步骤14)；若是，则确定所述目标进入所述监视区域；根据所述一类第一探测结果和所述一类第二探测结果中的中心位置距离差和时间差，计算第一目标运动速度；根据所述第一目标运动速度，对所述目标进行持续追踪。若第一配对分数中有多个配对分数，则需要判断最高配对分数是否超过目标门限，以此来判断是否有目标进入监视区域。在计算第一目标运动速度时，可以根据最高配对分数对应的两次目标探测结果的中心位置距离差和时间差计算目标运动速度，并按照目标运动速度启动持续追踪程序。其中，中心位置距离差是指最高配对分数对应的两次目标探测结果的目标中心位置之间的距离差。时间差是指最高配对分数对应的两次目标探测的时间差。其中，区域匹配算法为：步骤1：使用特征检测算法分别在检测结果i所在区域和检测结果j所在区域提取特征点，并对每个特征点计算特征向量；步骤2：对区域j中生成的每个特征向量，在区域i生成的特征向量中寻找匹配分数最大者构成特征向量配对；匹配分数计算公式为：其中，fi为区域i中生成的每个特征向量；fj为区域j中生成的每个特征向量。步骤3；按照特征向量配对的匹配分数从大到小对特征向量配对进行排序；步骤4：取前5对特征向量配对的匹配分数，计算平均值，作为区域匹配算法得分。第二种，三帧初始化追踪方法，具体步骤如下：步骤21)：对当前帧图像进行目标检测，获得二类第一探测结果；对当前帧图像进行目标检测，能够得到多个目标的目标探测结果，每个目标的检测结果包含：目标中心位置(x,y)，所占区域宽高(w,h)，和识别分数s等数据。步骤22)：读取前两次对图像帧进行目标检测的二类第二探测结果和二类第三探测结果。步骤23)：对所述二类第一探测结果、二类第二探测结果和二类第三探测结果进行配对，获得第二配对分数。例如，二类第一探测结果有三个目标的探测结果，二类第二探测结果有四个目标的探测结果，二类第三探测结果有五个目标的探测结果，则能够形成3*4*5＝60个配对结果，获得60个配对分数。若二类第一探测结果、二类第二探测结果和二类第三探测结果中有一个探测结果为0，则不能配对。继续执行步骤21)-步骤23)。读取前两次目标探测结果后，从三次检测结果中各选取1个目标的检测结果进行配对，按照如下公式计算第二配对分数：其中，ai-j-k＝exp(-|wi-wj|-|hi-hj|)+exp(-|wk-wj|-|hk-hj|)vi-j-k＝exp(-|xi+xk-2xj|)+exp(-|yi+yk-2yj|)其中，ai-i-k表示衡量目标大小一致性的参数；vi-i-k表示衡量目标运动速度一致性的参数。表示衡量外形特征一致性的参数。三次检测结果脚标分别记为i、j、k，ω'1、ω'2、ω'3是权重系数。步骤24)：判断所述第二配对分数中的最高配对分数是否超过目标门限；若否，则所述目标没有进入所述监视区域；将所述二类第一探测结果覆盖前一次的所述二类第二探测结果，将所述二类第二探测结果覆盖所述二类第三探测结果，并读取最新视频帧，继续执行步骤21)至步骤24)；若是，则确定所述目标进入所述监视区域；根据三次目标探测结果中的中心位置距离差和时间差，计算第二目标运动速度，根据所述第二目标运动速度，对所述目标进行持续追踪。若第二配对分数中的最高分数超过确认目标门限则确认目标，按照三次探测目标的中心位置距离差和时间差计算目标运动速度，并按照计算速度启动持续追踪程序；否则将所述二类第一探测结果覆盖前一次的所述二类第二探测结果，将所述二类第二探测结果覆盖所述二类第三探测结果，并读取最新视频帧，继续执行步骤21)至步骤24)。其中，中心位置距离差和时间差与两帧初始化追踪方法中的定义相同。中心位置距离差是指最高配对分数对应的三次目标探测结果的目标中心位置之间的距离差。时间差是指最高配对分数对应的三次目标探测的时间差。当初始化追踪确认目标后，对目标进行持续追踪，可以为：根据目标运动速度，调整所述监视设备中的转台转速，使所述目标保持在所述监视区域的中心区域，具体步骤如下：步骤31)：将目标运动速度换算成转台的水平旋转速度和俯仰旋转速度。其中，目标运动速度可以为第一目标运动速度或者第二目标运动速度。步骤32)：根据所述水平旋转速度和俯仰旋转速度，调整所述转台转速。将初始化追踪程序计算的目标运动速度换算成转台的水平旋转速度和俯仰旋转速度，并按此调整转台转速。步骤33)：将初始化追踪过程中，最高配对分数对应的最后一帧图像的目标探测结果记录为历史信息。将初始化追踪程序计算的最高配对分数对应的最后一帧图像的探测数据记录为历史信息。步骤34)：对当前帧图像进行目标检测，获得第四目标探测结果。对当前帧图像执行目标检测程序，得到多个目标的目标探测结果；每个目标的检测结果包含：目标中心位置(x,y)，所占区域宽高(w,h)，和识别分数s等数据。步骤35)：读取所述历史信息，将所述第四目标探测结果与所述历史信息进行配对，计算第三配对分数。读取历史信息，将本次目标检测的每个结果与前次确认的历史信息进行配对，按照如下公式计算第三配对分数：ω"1exp(-|wi-wj|-|hi-hj|)+ω"2si+ω"3mi-j+ω"4exp(-|xi-xj|-|yi-yj|)其中，本次检测结果脚标记i，历史信息脚标记j，ω"1、ω"2、ω"3、ω"4是权重系统，mi-j是区域匹配算法的得分。步骤36)：判断所述第三配对分数中的最高配对分数是否低于目标门限；若是，则认为所述目标暂时丢失，预测并寻找所述目标；若否，则认为所述目标没有丢失。该步骤还可以为：若所述第四目标探测结果为0，或者，所述第三配对分数中的最高配对分数低于目标门限，则认为所述目标暂时丢失，预测并寻找所述目标；若所述第四目标探测结果不为0，且所述第三配对分数中的最高配对分数不低于目标门限，则认为所述目标没有丢失。步骤37)：若目标没有丢失，则将所述第三配对分数中的最高配对分数对应的探测结果更新到所述历史信息。步骤38)：根据当前目标成像位置和水平相对速度调整转台的水平旋转速度；根据当前目标成像位置和俯仰相对速度调整转台的俯仰旋转速度，重复步骤32)至步骤38)。转台速度调整过程如下：假设目标在监视区域中的相对运动速度为：(vx,vy)；vx＝xi-xjvy＝yi-yj根据本次确认目标成像位置和水平相对速度vx调整转台的水平速度，其中vx绝对值小于阈值认为是静止，否则数值为正认为是向右，数值为负认为是向左；速度档绝对值表示转速大小，正数方向向右，负数方向向左，如表1所示。表1水平相对速度成像位置速度调整向左右侧不变静止右侧加1档向右右侧加2档向左中间不变静止中间不变向右中间不变向左左侧减2档静止左侧减1档向右左侧不变根据本次确认目标成像位置和俯仰相对速度vy调整转台的水平速度，其中vy绝对值小于阈值认为是静止，否则数值为正认为是向上，数值为负认为是向下；速度档绝对值表示转速大小，正数方向向上，负数方向向下，如表2所示。表2俯仰相对速度成像位置速度调整向下上侧不变静止上侧加1档向上上侧加2档向下中间不变静止中间不变向上中间不变向下下侧减2档静止下侧减1档向上下侧不变在本发明提供的一个具体实施例中，所述预测并寻找所述目标，包括：根据所述目标的最后成像位置和相对速度，调整转台转速，沿所述目标的最后飞行轨迹搜寻目标。当被追踪目标摆脱监视视野，或者由于遮挡、模糊等成像原因未能被探测，则根据最后成像位置和相对速度调整转台速度，沿最后飞行轨迹搜寻目标。水平速度具体调整方式如表3所示。表3水平相对速度成像位置速度调整向左右侧不变静止右侧保持当前速度300ms后，每300ms加1档向右右侧立即加2档，且每300ms加2档向左中间保持当前速度300ms后，每300ms减1档静止中间不变向右中间保持当前速度300ms后，每300ms加1档向左左侧立即减2档，且每300ms减2档静止左侧保持当前速度300ms后，每300ms减1档向右左侧不变俯仰速度具体调整方式如表4所示：表4若探测到目标，则可以按照持续追踪方法中的步骤34)至步骤36)判断是否目标找回；若超过预设时间段仍未找回目标，则认为目标长期丢失，停止追踪。其中，预设时间段可以是3秒。以上，为本发明提供的一种基于视频的目标探测追踪方法。第二实施例：基于与上述一种基于视频的目标探测追踪方法相同的发明构思，与之相对应的，本发明实施例还提供了一种基于视频的目标探测追踪系统。由于系统实施例基本相似与方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。本发明提供的一种基于视频的目标探测追踪系统，包括：处理芯片、转台、镜头和相机；所述镜头设置在所述相机上；所述相机固定在所述转台上；所述转台、镜头和相机组成监视设备；所述处理芯片与所述转台、镜头和相机均连接；所述处理芯片用于控制所述监视设备的工作状态，执行第一实施例中的一种基于视频的目标探测追踪方法。其中，处理芯片可以设置在相机中，也可以在相机外单独设置，设置到智能设备中，这都在本发明的保护范围内。其中，转台为可以在水平方向和俯仰方向自由旋转的转台；镜头可以为高清长焦可变焦镜头；相机可以为高清数码相机；处理芯片可以采用嵌入式信号处理芯片。以上，为本发明提供的一种基于视频的目标探测追踪系统。第三实施例：基于与上述一种基于视频的目标探测追踪方法相同的发明构思，与之相对应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述一种基于视频的目标探测追踪方法。第四实施例：基于与上述一种基于视频的目标探测追踪方法相同的发明构思，与之相对应的，本发明实施例还提供了一种基于视频的目标探测追踪设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种基于视频的目标探测追踪方法。本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。当前第1页12