目标跟踪方法及系统、存储介质及电子终端与流程
本公开涉及图像处理领域，具体涉及一种跟踪方法、一种跟踪系统、一种存储介质以及一种电子终端。
背景技术：
在红外搜索和跟踪系统中，对于在低信噪比条件下的弱小目标跟踪是一个重要的研究课题。由于目标受背景噪声和背景杂波的影响极大，同时低空目标容易受到地面物体的影响，给目标跟踪带来了极大的挑战。
并且，现有的目标跟踪方法大多数只能够实现在较短的时间内对目标进行跟踪，相对于长时间稳定跟踪则鲜有研究。然而，在实际工程应用中，对目标的长久稳定跟踪则更受关注。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现要素：
本公开的目的在于提供一种目标跟踪方法、一种目标跟踪装置、一种存储介质以及一种电子终端，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种目标跟踪方法，包括：
获取当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各所述候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本为候选目标；
根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标；
在判断所述候选目标为所述跟踪目标时，根据所述跟踪目标的坐标信息进行跟踪。
在本公开的一种示例性实施例中，所述获取当前帧图像包括：
接收一包含所述跟踪目标信息的初始图像以及包含所述初始图像的跟踪视频；
截取所述跟踪视频的当前帧图像。
在本公开的一种示例性实施例中，所述计算各候选样本的最近邻相似度值包括：
根据一最近邻分类器依次计算各候选样本的最近邻相似度值；其中，所述最近邻分类器的建立包括：
以所述初始图像中所述跟踪目标为中心，在预设范围内选取正样本和负样本；
根据所述正样本和负样本建立所述最近邻分类器。
在本公开的一种示例性实施例中，所述在预设范围内选取正样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
在本公开的一种示例性实施例中，所述在预设范围内选取负样本包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
在本公开的一种示例性实施例中，所述重叠率的计算方式为：
其中，iou为重叠率；rt为跟踪目标区域，rc为第一或第二窗口区域。
在本公开的一种示例性实施例中，所述根据所述正样本和负样本建立所述最近邻分类器包括：
对所述正样本及负样本归一化处理；
分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
其中：所述nns表示最近邻相似度值；
在本公开的一种示例性实施例中，所述获取当前帧图像还包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
在本公开的一种示例性实施例中，所述根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标包括：
判断所述当前帧图像所在帧数是否小于一预设值；
在判断所述当前帧图像所在帧数小于所述预设值时，判断所述当前帧图像与前一帧图像中候选目标的最近邻相似度的差值是否大于第三阈值；
在以所述当前帧图像为末帧的连续n帧图像均判断为大于时，判断为所述当前帧图像中所述候选目标不是所述跟踪目标；其中，n>0。
在本公开的一种示例性实施例中，所述根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标还包括：
判断所述当前帧图像所在帧数是否小于一预设值；
在判断所述当前帧图像所在帧数大于所述预设值时，获取所述当前帧图像之前各帧图像中候选目标最近邻相似度的最小值；
判断所述当前帧图像中所述候选目标的最近邻相似度值是否小于所述最小值；
在以所述当前帧图像为末帧的连续n帧图像均判断为小于时，判断为所述当前帧图像中所述候选目标不是所述跟踪目标；其中，n>0。
在本公开的一种示例性实施例中，所述根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述目标包括：
判断所述当前帧图像中候选目标的最近邻相似度是否小于前一帧图像中候选目标的最近邻相似度；
在以所述当前帧图像为末帧的连续n帧图像均判断为小于，且连续n帧图像中所述最近邻相似度的下降幅度大于第四阈值时，判断为所述当前帧图像中所述候选目标不是所述跟踪目标；其中，n>0。
在本公开的一种示例性实施例中，所述根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述目标包括：
计算所述当前帧图像之前各帧图像中候选目标的最近邻相似度的第一均值及第一浮动变化值；
计算以所述当前帧图像为末帧的连续n帧图像中候选目标最近邻相似度的第二均值及第二浮动变化值；其中，n>0；
在判断所述第一均值与第二均值的差值大于第五阈值，且所述第一浮动变化值与所述第二浮动变化值的差值小于第六阈值时，判断为所述当前帧图像中候选目标不是所述跟踪目标。
在本公开的一种示例性实施例中，所述跟踪方法还包括：
在判断为所述当前帧图像中候选目标不是所述跟踪目标时，计算获取所述当前帧图像及上一帧图像中候选目标的位置偏移量，并判断所述位置偏移量是否小于第七阈值；
在判断所述位置偏移量小于第七阈值时，判断为确定所述当前帧图像中候选目标为所述跟踪目标。
在本公开的一种示例性实施例中，所述跟踪方法还包括：
获取所述当前帧图像及上一帧图像中候选目标的位置偏移量；
在判断所述位置偏移量大于第八阈值时，判断为确定所述当前帧图像中候选目标不是所述目标。
在本公开的一种示例性实施例中，所述跟踪方法还包括：
在判断所述当前帧图像中候选目标不是所述跟踪目标时，在当前帧或所述当前帧的后一帧图像上以所述跟踪目标在前一帧图像所在位置为中心建立搜索区域重新检测所述跟踪目标。
在本公开的一种示例性实施例中，所述在当前帧或所述当前帧的后一帧图像上以所述跟踪目标在前一帧图像所在位置为中心建立搜索区域重新检测所述跟踪目标包括：
在所述当前帧图像或所述当前帧图像的后一帧图像上，以所述跟踪目标在当前帧图像的前一帧图像所在位置为中心建立搜索区域，对所述搜索区域进行形态学top-hat变换以便于获取包含候选目标区域的二值图像；
对所述二值图像进行聚类分析以便于获取所述候选目标区域的个数和标记；
计算各所述候选目标区域的局部对比度并按预设规则进行筛选；
以筛选后的候选目标区域为候选目标的中心点，根据所述最近邻分类器计算各候选目标的最近邻相似度值；并按预设规则判断各所述候选目标是否为所述跟踪目标；
在判断所述候选样本为所述跟踪目标时，根据该候选目标进行跟踪。
在本公开的一种示例性实施例中，所述方法还包括：
在一预设时长内所述搜索区未检测到所述跟踪目标时，发送一指令信息以便于一检测模块根据所述指令信息重新检测所述跟踪目标。
根据本公开的第二方面，提供一种目标跟踪系统，包括：
检测模块，用于在初始帧图像上获取跟踪目标位置信息；
跟踪模块，用于根据所述初始帧图像对所述跟踪目标进行跟踪；
重检测模块，用于在当前帧图像中判断为跟踪丢失时，在当前帧或所述当前帧的后一帧图像上以所述跟踪目标在前一帧图像所在位置为中心建立搜索区域以便于重新检测所述跟踪目标。
在本公开的一种示例性实施例中，所述跟踪模块包括：
图像获取模块，用于获取当前帧图像；
候选样本采集模块，用于在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
候选目标选择模块，用于计算各候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本为候选目标；
目标判断模块，用于根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标；
跟踪执行模块，用于在判断所述候选目标为所述跟踪目标时，根据所述跟踪目标的坐标信息进行跟踪。
在本公开的一种示例性实施例中，所述跟踪模块还包括：
结果判定模块，用于根据所述当前帧图像及上一帧图像中候选目标的位置偏移量判断所述跟踪目标的判断结果是否正确。
根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的目标跟踪方法。
根据本公开的第四方面，提供一种电子终端，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行以下操作：
获取当前帧图像；
在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
计算各所述候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本为候选目标；
根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标；
在判断所述候选目标为所述跟踪目标时，根据所述跟踪目标的坐标信息进行跟踪。
本公开的一种实施例所提供的目标跟踪方法中，通过在当前帧图像中选取候选样本并计算各候选样本的最近邻相似度，选取最近邻相似度最高的候选样本作为当前帧图像中的候选目标，并对候选目标进行判断，以准确判断当前帧图像中的跟踪目标。通过对各帧图像中的候选样本进行判断选取候选目标，以及对候选目标进行判断，从而准确的获取每一帧图像中的跟踪目标，进而实现对跟踪目标的长时间跟踪。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种目标跟踪方法示意图；
图2示意性示出本公开示例性实施例中一种最近邻相似度计算方法示意图；
图3示意性示出本公开示例性实施例中确认候选目标是否为跟踪目标的方法流程图；
图4示意性示出本公开示例性实施例中目标跟踪方法的另一种示意图；
图5示意性示出本公开示例性实施例中目标跟踪方法中重检测方法示意图；
图6示意性示出本公开示例性实施例中接收的初始图像示意图；
图7示意性示出本公开示例性实施例中检测到跟踪目标的一初始状态示意图；
图8示意性示出本公开示例性实施例中稳定跟踪过程中一帧跟踪结果示意图；
图9示意性示出本公开示例性实施例中跟踪目标即将丢失的状态示意图；
图10示意性示出本公开示例性实施例中重新获取跟踪目标的状态示意图；
图11示意性示出本公开示例性实施例中再次稳定跟踪过程中一帧跟踪结果示意图；
图12示意性示出本公开示例性实施例中确认跟踪丢失状态示意图；
图13示意性示出本公开示例性实施例中再次重新获取跟踪目标的状态示意图；
图14示意性示出本公开示例性实施例中稳定跟踪过程中的再一状态示意图；
图15示意性性示出本公开示例性实施例中一种目标跟踪系统的组成示意图；
图16示意性示出本公开示例性实施例中一种检测模块的组成示意图；
图17示意性示出本公开示例性实施例中一种目标跟踪系统的工作流程图；
图18示意性示出本公开示例性实施例中一种目标跟踪装置的一种示意图；
图19示意性示出本公开示例性实施例中一种目标跟踪装置的再一种示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了一种目标跟踪方法，可以应用于军用或民用领域中对于目标的长时间跟踪或预警。能够实现对侦测距离较远，跟踪目标成像对比度低、跟踪目标成像尺寸小的目标进行长时间的稳定跟踪，即实现对“低小慢”目标的长时间稳定跟踪。例如对无人机、直升机或侦察机等飞行器的长时间跟踪。参考图1中所示，上述的目标跟踪方法可以包括以下步骤：
s1，获取当前帧图像；
s2，在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；
s3，计算各所述候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本为候选目标；
s4，根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标；
s5，在判断所述候选目标为所述跟踪目标时，根据所述跟踪目标的坐标信息进行跟踪。
本示例实施方式所提供的目标跟踪方法，通过在当前帧图像中选取候选样本并计算各候选样本的最近邻相似度，选取最近邻相似度最高的候选样本作为当前帧图像中的候选目标，并对候选目标进行判断，以准确判断当前帧图像中的跟踪目标。通过对各帧图像中的候选样本进行判断选取候选目标，以及对候选目标进行判断，从而准确的获取每一帧图像中的跟踪目标，进而实现对“低小慢”目标的长时间跟踪。
下面，将结合附图及实施例对本示例实施方式中的目标跟踪方法的各个步骤进行更详细的说明。
步骤s1，获取当前帧图像。
本示例实施方式中，上述的目标跟踪方法在初次跟踪时可以接收一包含跟踪目标信息的初始图像，以及包含所述初始图像的跟踪视频。该初始图像中可以包含所述跟踪目标的坐标信息及跟踪目标的信息，例如所述跟踪目标中心点坐标以及跟踪目标的宽度、高度等信息。
根据接收的该初始图像中所包含的跟踪目标的信息可以对所述跟踪目标开始进行跟踪，并作为后续各帧图像中跟踪目位置信息判断的初始化图像。所述初始图像中跟踪目标的信息可以通过检测算法自动获取，也可以通过人工框定的方式在初始图像中标识。参考图6所示，图中跟踪目标由方框标识。同时，依次截取所述跟踪视频中的每一帧画面，并依次对每一帧图像进行跟踪目标位置的判断。上述的初始图像中跟踪目标的获取方式本公开对其不作特殊限定。
步骤s2，在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本。
本示例实施方式中，在开始跟踪后，在对第n帧图像中进行跟踪时(n>1)，首先获取跟踪目标在第n-1帧图像中跟踪目标的中心点位置，在当前帧图像中以该中心点位置为中心，在一预设大小的邻域范围内按照步长为1、窗口大小与第n-1帧图像中所述跟踪目标大小相等的方式滑窗选取窗口作为候选样本。
举例而言，在初次跟踪时，根据图6所示初始图像开始跟踪，在第二帧图像时，在第二帧图像上以跟踪目标在初始图像上中心点的坐标为中心，在21*21大小的邻域范围内选取候选样本，便可以获取共441个候选样本。在本公开的其他示例性实施方式中，也可以根据具体情况选择不同大小的邻域范围，以及其他选取方式对窗口进行选取，本公开对此不作特殊限定。
基于上述内容，上述在预设范围内选取候选样本之后，可以对候选样本进行归一化处理，将各候选样本中的像素值范围全部转化到0-1之间。通过对候选样本进行归一化处理，使候选样本的选择可以不受光照变化的影响，进而使本实施例所提供的跟踪方法对光照变化具有鲁棒性。
步骤s3，计算各候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本为候选目标。
本示例实施方式中，参考图2所示，上述的计算最近邻相似度具体可以包括：
步骤s31，根据所述初始图像中所述跟踪目标为中心，在预设范围内选取正样本和负样本；
步骤s32，根据所述正样本和负样本建立所述最近邻分类器；
步骤s33，根据所述最近邻分类器依次计算各候选样本的最近邻相似度值。
举例来说，上述的步骤s31中在预设范围内选取正样本具体可以包括：
在所述初始图像上以所述跟踪目标中心点为中心，在预设的邻域范围内按照步长为1、窗口大小与所述跟踪目标大小相等的方式滑窗选取第一窗口；
计算各所述第一窗口与所述跟踪目标的重叠率；
将重叠率大于第一阈值的所述第一窗口作为所述正样本。
上述的在预设范围内选取负样本具体可以包括：
在所述初始图像上以所述跟踪目标中心点为中心，在一预设区域内随机选取预设数量的与所述跟踪目标大小相同的第二窗口；
计算各所述第二窗口与所述跟踪目标的重叠率；
将重叠率小于第二阈值的所述第二窗口作为所述负样本。
对于上述重叠率iou可以具有如下定义：
其中，iou为重叠率；rt为跟踪目标区域，rc为第一窗口或第二窗口区域。
举例来说，在初始帧图像上以目标中心点为中心、11*11大小的邻域内按照步长为1、窗口大小与目标大小相等的方式滑窗选取121个第一窗口。随后，计算每个第一窗口与目标区域的重叠率，将重叠率大于0.8的第一窗口作为最终的正样本。
在初始帧图像上以目标中心点为中心，半径在5到30之间的区域内随机挑选出300个与目标大小相等的第二窗口。随后，计算每个第二窗口与目标的重叠率，将重叠率小于0.2的第二窗口作为最终的负样本。
上述的步骤s32具体可以包括：
s321，对所述正样本及负样本归一化处理。
s322，分别计算归一化处理后所述正样本及负样本的均值向量以用于建立所述最近邻分类器；
其中：所述nns表示最近邻相似度值；
在本示例性实施方式中，考虑到跟踪目标在飞行的过程中可能会受到光照变化的影响，因此在建立最近邻分类器之前，对得到的所有正、负样本进行归一化，将其像素值范围变换到0-1之间。从而使正、负样本与候选样本的像素值均在0-1之间，进而在求解候选样本的最近邻相似度的时与正、负样本对应。进而保证跟踪方法的稳定性。
具体来说，对于上述归一化后正样本和负样本的均值向量的求解具体可以包括以下内容：
设归一化后的正样本集为pex＝{px1,px2,...,pxm}，归一化后的负样本集为nex＝{nx1,nx2,...,nxk}，则归一化后的正样本和负样本的均值向量为：
其中，
基于上述内容，则最近邻分类器的建立如下：
其中：所述nns表示最近邻相似度值；
其求解方式如下：
其中，
选取正、负样本时，首先采用滑窗的方式逐个选取，随后利用每个窗口与目标的重叠率来来进一步剔除不合适的正、负样本，降低了计算复杂度，提高了正、负样本的质量，保证了最近邻分类器的质量和有效性。
通过最近邻分类器分别计算每个候选样本的最近邻相似度值(nns)，挑选出nns值最大的候选样本，该候选样本所在位置即为当前帧图像中目标最可能出现的位置，将该候选样本作为当前帧图像中的候选目标。
举例来说，将上述的441个候选样本分别输入到上述步骤中建立的最近邻分类器中，计算每个候选样本的最近邻相似度值。nns值越大表示该候选样本属于目标的可能越大。因此，在所有候选样本中挑选出nns值最大的候选样本，此时该候选样本最有可能是跟踪目标，即其所在位置为当前帧目标最可能出现的位置。
进一步的，为了保证最近邻分类器能够适应复杂背景的变化，从而保证各帧图像上所述跟踪目标判断的准确性，上述的跟踪方法还可包括：
判断所述当前帧图像是否为第m*n帧图像；
在判断所述当前帧图像为第m*n帧图像时，以所述第m*n帧图像重新获取所述负样本以便于更新所述最近邻分类器；
其中，所述m、n均为正整数。
具体来说，由于实际场景中目标距离探测器较远，目标成像模糊，并且目标尺寸、形状较小，对比度较低，因此为了避免跟踪过程中漂移现象的发生，可以采取不更新正样本、只更新负样本的方式来更新最近邻分类器。例如，采用每5、8、10或15帧更新一次负样本，正样本不更新的方式更新最近邻分类器，从而在保证跟踪精度的同时避免了漂移。在更新最近邻分类器后，重复步骤s1-s4，直至跟踪停止。
举例来说，令m＝5、8、10或15，当n＝1时，即跟踪到第5、8、10或15帧图像，当前帧图像为当前循环的最后一帧，当前帧图像仍然使用当前的最近邻分类器。但此时可以在当前帧图像上重新选取负样本，并根据上述的正样本和新生成的负样本重新建立最近邻分类器，并将更新后的最近邻分类器应用于下一循环中，即第6、9、11或16帧中。
基于上述内容，为了适应跟踪目标的运动变化及跟踪目标所在背景区域的变化，在判断跟踪图像到达一循环时，还可以对候选样本的采样范围进行适应性修正。例如，可以根据跟踪目标的运动变化对候选目标的采样范围进行扩大或缩小。或者根据背景的变化，将候选目标的采样范围边界修正为圆形、矩形、椭圆形或不规则边界。具体修正方式可以根据实时情况具体调整，本公开对此不作特殊限定。
步骤s4，根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标。
本示例实施方式中，经过步骤s3确定候选目标后，需要对候选目标的正确性进行判断。具体来说，可以通过以下的第一判断方法进行判断：
步骤s41-1，判断所述当前帧图像所在帧数是否小于一预设值；
步骤s41-2，在判断所述当前帧图像所在帧数小于所述预设值时，判断所述当前帧图像与前一帧图像中候选目标的最近邻相似度的差值是否大于第三阈值；
步骤s41-3，在以所述当前帧图像为末帧的连续n帧图像均判断为大于时，判断为所述当前帧图像中所述候选目标不是所述跟踪目标；其中，n>0。
在获取候选目标后，可以对当前帧图像的帧数进行判断。例如，由初始图像开始计数，并在判断当前帧图像的帧数<10时，可以通过上述的第一判断方法进行判断。假设当前帧图像为第n帧，则其候选目标最近邻相似度至为nnsn，此时可以判断当前的第n帧与第n-1帧图像中候选目标(即第n-1帧图像跟踪目标)的最近邻相似度值nnsn与nnsn-1之间的差值是否小于第三阈值。假设所述第三阈值为0.2，当前为第9帧图像，则判断第8帧与第9帧候选目标的最近邻相似度值之前差值是否小于0.2。在判断第8帧与第9帧、第7帧与第8帧、第6帧与第7帧、第5帧与第6帧及第4帧与第5帧之间的最近邻相似度值差值均小于0.2时，判断为第9帧图像中的候选目标不是跟踪目标。即在以所述当前帧图像为末帧的连续5帧图像均判断为小于第三阈值时，判断为此帧图像跟踪丢失。
相反的，若经判断不存在上述情况，则判断为当前帧图像中候选目标为跟踪目标，当前帧图像跟踪成功。
在对当前帧图像进行判断时，即可认为所述当前帧图像之前的各帧图像均跟踪成功，各帧为正常跟踪状态。此时所述当前帧图像之前各帧图像中的候选目标即为该帧图像中的跟踪目标。
此外，在本示例性实施方式中，上述的步骤s4还可以包括第二判断方法，具体包括：
步骤s42-1，判断所述当前帧图像所在帧数是否小于一预设值；
步骤s42-2，在判断所述当前帧图像所在帧数大于所述预设值时，获取所述当前帧图像之前各帧图像中候选目标最近邻相似度的最小值nnsmin-n；
步骤s42-3，判断所述当前帧图像中所述候选目标的最近邻相似度值nnsn是否小于所述最小值nnsmin-n；
步骤s42-4，在以所述当前帧图像为末帧的连续n帧图像均判断为小于时，判断为所述当前帧图像中所述候选目标不是所述跟踪目标；其中，n>0。
举例来说，当n＝5，上述的预设值为10帧时。若当前帧图像为自初始图像的第20帧，当前帧图像的候选目标的最近邻相似度为nns20，正常跟踪时最近邻相似度的最小值nnsmin-20；此时可以比较nnsmin-20与nns20的大小，在判断nns20<nnsmin-20，且第nns19<nnsmin-19、nns18<nnsmin-18、nns17<nnsmin-17、nns16<nnsmin-16时，即连续5帧判断为当前帧图像的nnsn<nnsmin-n，则判断为第20帧中的候选目标不是跟踪目标，此帧跟踪丢失。
相反的，若经判断不存在上述情况，则判断为当前帧图像中的候选目标为跟踪目标，此帧图像跟踪成功。
在本公开的其他示例性实施方式中，上述的第一、第二判断方法也可以不对当前图像的所在帧数进行判断，即第一、第二判断方法也可以应用于每一帧图像的判断。
此外，本示例实施方式中，上述的步骤s4还可以包括一种第三判断方法，具体包括：
步骤s43-1，判断所述当前帧图像中候选目标的最近邻相似度是否小于前一帧图像中候选目标的最近邻相似度；
步骤s43-2，在以所述当前帧图像为末帧的连续n帧图像均判断为小于，且连续n帧图像中所述最近邻相似度的下降幅度大于第四阈值时，判断为所述当前帧图像中所述候选目标不是所述跟踪目标；其中，n>0。
在当前帧图像经过上述的第二判断方法判断为跟踪成功时，可以通过该第三判断方法再次进行判断。举例来说，当n＝5时，上述的第四阈值为正常跟踪时nns值的平均浮动变化的1.5倍。其中，浮动变化可以为相邻两帧图像nns值的差值。
假设当前帧为第35帧。若判断nns35<nns34，且判断nns34<nns33、nns33<nns32、nns32<nns31及nns31<nns30，即连续5帧图像的nnsn值均在下降，则计算这5帧中最大的maxnns值和最小的minnns值之间的差值，若maxnns-minnns大于正常跟踪时nns的平均浮动变化的1.5倍，则判断为当前帧图像中的候选目标不是跟踪目标，当前帧图像跟踪丢失。
相反的，若经判断不存在上述情况，则判断为当前帧图像中的候选目标为跟踪目标，此帧图像跟踪成功。
进一步的，本示例实施方式中，上述的步骤s4还可以包括第四判断方法，包括：
步骤s44-1，计算所述当前帧图像之前各帧图像中候选目标的最近邻相似度的第一均值mean_nnsn及第一浮动变化值；
步骤s44-2，计算以所述当前帧图像为末帧的连续n帧图像中候选目标最近邻相似度的第二均值及第二浮动变化值；其中，n>0；
步骤s44-3，在判断所述第一均值与第二均值的差值大于第五阈值，且所述第一浮动变化值小于所述第二浮动变化值时，判断为所述当前帧图像中候选目标不是所述跟踪目标。
在上述的第三判断方法判断当前帧图像跟踪正确时，可以通过第四判断方法再次进行确认。举例来说，当n＝5、第五阈值＝0.2时，计算当前帧以及连续的前5帧图像的nnsn均值，即第二均值；并且计算该6帧图像中相邻两帧图像之间的nnsn值之间的差值，即第二浮动变化值。将第一均值mean_nnsn与第二均值相减，若差值大于0.2且第二浮动变化值小于第一浮动变化值时，则判断为当前帧图像中的候选目标不是跟踪目标，即当前帧图像跟踪丢失。
相反的，若不存在上述判断结果，则判断为当前帧图像中的候选目标为跟踪目标，此帧图像跟踪成功。
基于上述内容，为了进一步的保证对于当前帧图像中跟踪目标判断的准确性，在经过上述的判断方法确认后，还可以根据位置偏移量对判断结果进行最终的判定，判断上述的判断结果是否发生误判。具体来说，上述的步骤s4还可以包括第五判断方法，具体包括：
步骤s45-1，在判断为所述当前帧图像中候选目标不是所述跟踪目标时，计算获取所述当前帧图像及上一帧图像中候选目标的位置偏移量，并判断所述位置偏移量是否小于第七阈值；
在判断所述位置偏移量小于第七阈值时，判断为确定所述当前帧图像中候选目标为所述跟踪目标。
步骤s45-2，获取所述当前帧图像及上一帧图像中候选目标的位置偏移量；
在判断所述位置偏移量大于第八阈值时，判断为确定所述当前帧图像中候选目标不是所述目标。
考虑到真实场景复杂多变，跟踪目标在飞行的过程中可能会遇到很多与其相似的物体。当目标被遮挡且候选区域中包含该相似物体时，候选样本很有可能就是该物体。此时仅仅利用nns值来判断候选样本是否为跟踪目标时很可能发生误判，导致跟踪错误。另外当目标周围区域的背景发生变化时，如遇到高压线等，此时求解得到的nns值也会受到较大的影响，导致跟踪失效。因此，为了解决上面的两个问题，可以计算当前帧图像候选样本的位置与上一帧目标位置之间的偏移量。如果前述步骤中判断方法判断为当前帧图像跟踪丢失，即判断当前帧图像中候选目标不是跟踪目标；但在x方向和y方向上的偏移量均小于阈值，则此时认为前述步骤中出现了跟踪失效误判的情况，即当前帧图像中对后面目标的判断是正确的，当前帧图像跟踪正常。如果在x方向或y方向上的偏移量大于阈值，则不管前述步骤的判断结果如何，直接确认当前帧图像跟踪丢失。
当通过上述的判断方法判断为当前帧图像跟踪丢失时，即可通过上述的步骤s45-1对判断结果进行最终的确认，判断是否发生误判。若通过上述的判断方法判断为当前帧图像跟踪正常，则可以过上述的步骤s45-2对判断结果进行最终的确认。
参考图3所示，在经过步骤s3确定候选目标后，可以对当前帧图像所在帧数进行判断，在小于预设值时使用第一判断方法进行判断；在大于预设值时可以使用第二判断方法进行判断，并可以依次通过第三、第四判断方法进行多层次的确认。并且，在经过以上各方法判断完成后，均可以再使用第五判断方法检测前述的判断结果是否发生误判，并产生最终的判定结果。通过对候选目标利用各项判断方法进行多层次的判断，可以有效的实现对图像中跟踪目标的准确识别。
此外，在本公开的其他示例性实施方式中，也可以单独使用上述的任意一种判断方法或任意几种方法相结合对跟踪目标的判断结果进行确认。本公开对此不作特殊限定。
步骤s5，在判断所述候选目标为所述跟踪目标时，根据所述跟踪目标的坐标信息进行跟踪。
在经过上述的各项判断方法确认跟踪目标后，即可实现在当前帧图像中的稳定跟踪。同时，可以将当前帧图像应用于下一帧图像的跟踪。
进一步的，为了进一步的保证跟踪效果，实现长时间的稳定跟踪，参考图4所示，上述的跟踪方法还可以包括：
步骤s6，在判断所述当前帧图像中候选目标不是所述跟踪目标时，在所述当前帧或所述当前帧的后一帧图像上以所述跟踪目标在前一帧图像所在位置为中心建立搜索区域重新检测所述跟踪目标。
具体来说，参考图5所示，步骤s6可以包括：
步骤s61，在所述当前帧图像或所述所述当前帧图像的后一帧图像上，以所述跟踪目标在当前帧图像的前一帧图像所在位置为中心建立搜索区域，对所述搜索区域进行形态学top-hat变换以便于获取包含候选目标区域的二值图像；
步骤s62，对所述二值图像进行聚类分析以便于获取所述候选目标区域的个数和标记；
步骤s63，计算各所述候选目标区域的局部对比度并按预设规则进行筛选；
步骤s64，以筛选后的候选目标区域为候选目标的中心点，根据所述最近邻分类器计算各候选目标的最近邻相似度值；并按预设规则判断各所述候选目标是否为所述跟踪目标；
步骤s65，在判断所述候选样本为所述跟踪目标时，根据该候选目标进行跟踪。
本示例实施方式中，在跟踪过程中，可以将跟踪过程中每一帧图像中跟踪目标的局部对比度、跟踪目标的坐标信息和中心位置及对应的最近邻相似度值nnsn进行保存。
在某一阵图像判断为跟踪丢失时，可以在当前帧图像上或者当前帧的下一帧图像上，以跟踪目标在当前帧图像的前一帧图像所在中心位置为搜索区域的中心点，选取一定大小的搜索区域，对该区域进行形态学tophat变换，获得包含候选目标区域的二值图像，并对二值图像进行聚类分析，获得候选目标区域的个数和标记。例如，在跟踪过程中，当第n帧判断跟踪丢失，则可以在第n帧图像或第n+1帧图像上，以跟踪目标在第n-1帧图像上的位置为中心点建立搜索区域。
然后计算每个候选目标区域在原图中的局部对比度，并与当前帧图像之前的连续多帧图像中跟踪目标的局部对比度作比较，可以将对比度小于一预设值的候选目标去除。可以将剩余的候选目标点作为候选样本的中心点，计算每个候选样本的nns值，并与当前帧图像之前的连续多帧图像中跟踪目标的nns作比较，可以将nns值大于另一预设值的候选样本作为跟踪目标对其进行跟踪。若未检测到跟踪目标，则可以重复步骤s61-s65进行再次检测，最终获取跟踪目标。
通过设置重检测步骤，在判断当前帧图像跟踪丢失后，即可以对当前帧图像进行重新检测，确定跟踪目标在当前帧图像中的位置，从而实现对每一帧图像的连续跟踪。同样的，也可以对当前帧的下一帧图像进行重检测，获取跟踪目标，从而避免在当前帧图像上耗费过多的时间，进而保证跟踪的实时性，能够实时提供跟踪结果；进而实现长时间的稳定跟踪。
在本公开的其他示例性实施方式中，在执行上述的重检测步骤时，若跟踪目标的位置偏移量较小时，也可以将当前帧图像中候选目标的中心点坐标作为搜索区域的中心点。虽然该候选目标已判定为不是跟踪目标，由于位置偏移量不大，则跟踪目标的实际位置与该候选目标的位置相差不大，仍然可以实现在当前帧图像或当前帧的下一帧图像中快速搜索到跟踪目标。
进一步的，在上述内容的基础上，在本示例性实施方式中，上述的目标跟踪方法还可以包括：
步骤s7，在一预设时长内所述搜索区未检测到所述跟踪目标时，发送一指令信息以便于一检测模块根据所述指令信息重新检测所述跟踪目标。
在一预设的时长内，通过上述步骤s6进行对当前帧图像进行重新检测后仍然未发现跟踪目标时，此时可以发送一指令信息，以使一检测模块根据所述指令信息重新获取跟踪视频或图像，并重新检测跟踪目标。
当然，在本公开的其他示例性实施方式中，当步骤s4在判定当前帧图像跟踪丢失后，也可以直接利用步骤s7对后续的帧图像进行重新检测，而避免在当前帧图像检测中耗费更多的时长，从而有效的实现对目标的跟踪。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图15所示，本示例的实施方式中还提供目标跟踪系统1，包括：检测模块11、跟踪模块12以及重检测模块13。其中：
所述检测模块11可以用于在初始帧图像上获取跟踪目标位置信息。
所述跟踪模块12可以用于根据所述初始帧图像对所述跟踪目标进行跟踪。
所述重检测模块13可以用于在当前帧图像中判断为跟踪丢失时，在所述当前帧图像上以所述跟踪目标在前一帧图像所在位置为中心建立搜索区域以便于重新检测所述跟踪目标。
参考图17所示，上述的目标跟踪系统在工作时，可以首先通过检测模块对接收的视频数据进行跟踪目标的检测，并在检测到跟踪目标后，将跟踪目标的信息发送给跟踪模块以便于跟踪模块对目标进行长时间跟踪。跟踪过程中，可以通过跟踪模块对跟踪状态进行判断；并在判断某一帧图像跟踪失效时，利用重检测模块重新对当前帧图像进行跟踪目标的检测。若在预设的时长内检测到跟踪目标时，将跟踪目标的信息发送至跟踪模块以便于跟踪模块继续跟踪；若在预设的时长内未检测到跟踪目标，则可以向检测模块发送一指令信息，使检测模块再次对视频信息进行检测以获取跟踪目标的位置信息。
在本示例性实施方式中，上述的跟踪模块12可以包括：图像获取模块121、候选样本采集模块122、候选目标选择模块123、目标判断模块124以及跟踪执行模块125。其中：
所述图像获取模块121可以用于获取当前帧图像。
所述候选样本采集模块122可以用于在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本。
所述候选目标选择模块123可以用于计算各候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本为候选目标。
所述目标判断模块124可以用于根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标。
所述跟踪执行模块125可以用于在判断所述候选目标为所述跟踪目标时，根据所述跟踪目标的坐标信息进行跟踪。
此外，在本公开的其他示例性实施方式中，上述的跟踪模块12还包括：结果判定模块126。
所述结果判定模块126可以用于根据所述当前帧图像及上一帧图像中候选目标的位置偏移量判断所述跟踪目标的判断结果是否正确。
上述的目标跟踪系统中各模块的具体细节已经在对应的目标跟踪方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
为了进一步的验证上述目标跟踪方法对低空环境下不同场景中“弱小慢”目标长时间跟踪的准确性，采用实际录制数据进行测试，场景中跟踪目标为无人机。参考图7-图14所示，为同一个场景下对目标进行长时间跟踪的一组跟踪状态示意图。其中，参考图7所示，为检测模块确认得到的目标，可以作为跟踪的初始帧图像。参考图8所示，为跟踪一段时间后的某帧跟踪结果。参考图9所示，为跟踪目标即将被楼宇遮挡时，跟踪确认失效的状态示意图。参考图10所示，81帧后目标重新出现，重检测模块检测到跟踪目标，重新进行跟踪。参考图11所示，为再次稳定跟踪时一帧图像的状态示意图。
参考图12所示，为跟踪目标再次被楼宇遮挡时，确认跟踪丢失的状态示意图。参考图14所示，为检测模块重新检测到跟踪目标时的示意图，此帧图像可以作为新的初始跟踪图像。参考图14所示，为再次跟踪一段时间后某帧的跟踪结果。从整组图中可以看出，本公开提供的跟踪方法及跟踪系统可以长时间稳定跟踪到低空复杂背景下的“弱小慢”目标。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图18来描述根据本发明的这种实施方式的电子设备600。图18显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图18所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的步骤s1：获取当前帧图像；步骤s2：在所述当前帧图像上以跟踪目标在上一帧图像的所在坐标为中心，在预设范围内选取候选样本；步骤s3：计算各所述候选样本的最近邻相似度，并选取最近邻相似度值最大的所述候选样本为候选目标；步骤s4：根据与所述当前帧图像连续的多帧图像判断所述候选目标是否为所述跟踪目标；步骤s5：在判断所述候选目标为所述跟踪目标时，根据所述跟踪目标的坐标信息进行跟踪。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图19所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
- 还没有人留言评论。精彩留言会获得点赞！