目标跟踪方法、装置及电子设备与流程

文档序号:13006681阅读:274来源:国知局
目标跟踪方法、装置及电子设备与流程

本公开涉及计算机技术领域,尤其涉及一种目标跟踪方法、装置及电子设备。



背景技术:

随着摄像设备的丰富,无论是室内还是室外,均可布设大量的摄像设备,例如摄像头,以便于随时通过摄像设备所采集到的图像数据对其中的跟踪目标进行目标检测(trackingbydetection),进而实现目标跟踪。

然而,在此目标跟踪过程中,可能因为跟踪目标(例如人物)发生了姿态变化而导致目标检测得到两个不同的跟踪目标,还可能由于图像数据的非连续性采集使得跟踪目标消失或者重新出现,仍将导致目标检测得到两个不同的跟踪目标。

由上可知,现有的目标跟踪仍存在着准确性不高的缺陷。



技术实现要素:

为了解决上述技术问题,本公开的一个目的在于提供一种目标跟踪方法、装置及电子设备。

其中,本公开所采用的技术方案为:

一种目标跟踪方法,包括:获取图像数据,并对所述图像数据进行目标检测,得到至少一目标实例,每一目标实例对应一跟踪目标;在至少一所述目标实例中,查找包含有相同跟踪目标的目标实例,将包含有相同跟踪目标的目标实例连接形成轨迹片段;通过所述轨迹片段中的目标实例对所述轨迹片段进行特征构建,得到轨迹片段特征信息;根据所述轨迹片段特征信息对指定轨迹片段进行聚类获得轨迹片段类别分布;在所述轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。

一种目标跟踪装置,包括:目标实例获取模块,用于获取图像数据,并对所述图像数据进行目标检测,得到至少一目标实例,每一目标实例对应一跟踪目标;轨迹片段获取模块,用于在至少一所述目标实例中,查找包含有相同跟踪目标的目标实例,将包含有相同跟踪目标的目标实例连接形成轨迹片段;特征信息获取模块,用于通过所述轨迹片段中的目标实例对所述轨迹片段进行特征构建,得到轨迹片段特征信息;类别分布获取模块,用于根据所述轨迹片段特征信息对指定轨迹片段进行聚类获得轨迹片段类别分布;跟踪结果获取模块,用于在所述轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。

一种电子设备,包括:处理器及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上所述的目标跟踪方法。

一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的目标跟踪方法。

与现有技术相比,本公开具有以下有益效果:

通过对获取到的图像数据进行目标检测,得到包含一跟踪目标的至少一目标实例,并对至少一目标实例进行相同跟踪目标的查找,以将包含有相同跟踪目标的目标实例连接形成轨迹片段,进而通过轨迹片段中的目标实例对轨迹片段进行特征构建得到轨迹片段特征信息,并按照轨迹片段特征信息对轨迹片段进行聚类,以此在聚类得到的轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果,由此,通过将包含有相同跟踪目标的所有目标实例连接形成轨迹片段,以及按照轨迹片段特征信息对轨迹片段进行聚类,使得目标跟踪结果中所连接的所有轨迹片段也包含有相同的跟踪目标,以此实现了准确的目标跟踪,进而解决了现有技术中存在的目标跟踪准确性不高的问题。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并于说明书一起用于解释本公开的原理。

图1是根据本公开所涉及的实施环境的示意图。

图2是根据一示例性实施例示出的一种服务器的硬件结构框图。

图3是根据一示例性实施例示出的一种目标跟踪方法的流程图。

图4是图3对应实施例中步骤350在一个实施例的流程图。

图5是本公开所涉及的跟踪目标为人物时的目标实例示意图。

图6是图4对应实施例中步骤351在一个实施例的流程图。

图7是图4对应实施例中步骤353在一个实施例的流程图。

图8是图3对应实施例中步骤370在一个实施例的流程图。

图9是图8对应实施例中步骤371在一个实施例的流程图。

图10是根据一示例性实施例示出的一种目标跟踪装置的框图。

图11是图10对应实施例中特征信息获取模块750在一个实施例的框图。

图12是图11对应实施例中目标特征构建单元751在一个实施例的框图。

图13是图11对应实施例中轨迹片段特征构建单元753在一个实施例的框图。

图14是图10对应实施例中类别分布获取模块770在一个实施例的框图。

图15是图10对应实施例中类别分布获取模块770在另一个实施例的框图。

图16是图15对应实施例中第一似然度计算单元771在一个实施例的框图。

图17是图10对应实施例中类别分布获取模块770在另一个实施例的框图。

通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述,这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1为一种目标跟踪方法所涉及的实施环境的示意图。该实施环境包括服务器100以及布设于各处的若干摄像设备200。

其中,摄像设备200可以是摄像头、录像机、摄像机等可用于采集图像数据的电子设备。相应地,图像数据包括但不限于视频、照片等等。

在该实施环境中,服务器100通过与摄像设备200之间进行的交互来获得摄像设备200采集到的图像数据,进而通过图像数据对其中的跟踪目标进行目标检测来实现目标跟踪。

图2是根据一示例性实施例示出的一种服务器100的硬件结构框图。需要说明的是,该服务器100只是一个适配于本公开的示例,不能认为是提供了对本公开的使用范围的任何限制。该服务器100也不能解释为需要依赖于或者必须具有图2中示出的示例性的服务器100中的一个或者多个组件。

该服务器100的硬件结构可因配置或者性能的不同而产生较大的差异,如图2所示,服务器100包括:电源110、接口130、至少一存储介质150、以及至少一中央处理器(cpu,centralprocessingunits)170。

其中,电源110用于为服务器100上的各硬件设备提供工作电压。

接口130包括至少一有线或无线网络接口131、至少一串并转换接口133、至少一输入输出接口135以及至少一usb接口137等,用于与外部设备通信。

存储介质150作为资源存储的载体,可以是随机存储介质、磁盘或者光盘等,其上所存储的资源包括操作系统151、应用程序153及数据155等,存储方式可以是短暂存储或者永久存储。其中,操作系统151用于管理与控制服务器100上的各硬件设备以及应用程序153,以实现中央处理器170对海量数据155的计算与处理,其可以是windowsservertm、macosxtm、unixtm、linuxtm、freebsdtm等。应用程序153是基于操作系统151之上完成至少一项特定工作的计算机程序,其可以包括至少一模块(图2中未示出),每个模块都可以分别包含有对服务器100的一系列操作指令。数据155可以是存储于磁盘中的照片、图片等等。

中央处理器170可以包括一个或多个以上的处理器,并设置为通过总线与存储介质150通信,用于运算与处理存储介质150中的海量数据155。

如上面所详细描述的,适用本公开的服务器100将通过中央处理器170读取存储介质150中存储的一系列操作指令的形式来进行目标跟踪。

此外,通过硬件电路或者硬件电路结合软件指令也能同样实现本公开,因此,实现本公开并不限于任何特定硬件电路、软件以及两者的组合。

请参阅图3,在一示例性实施例中,一种目标跟踪方法适用于图1所示实施环境中的服务器100,该服务器100在该示例性实施例中可以是图2所示的硬件结构。

如图3所示,该种目标跟踪方法可以由服务器100执行,可以包括以下步骤:

步骤310,获取图像数据,并对图像数据进行目标检测,得到至少一目标实例。

其中,图像数据包括动态图像数据和静态图像数据。动态图像数据是指视频等包括多帧图像的动态图像,相对于动态图像数据,静态图像数据则可以是图片等包含一帧图像的静态图像。基于此,本实施例中进行的目标跟踪可以基于多帧图像的视频进行,也可以基于单帧图像的图片进行。

图像数据可以来源于摄像设备实时采集的图像数据,也可以是服务器中预先存储的图像数据。也就是说,摄像设备采集到图像数据之后,服务器可以对该图像数据进行实时处理,也可以预先存储了再处理。例如,在服务器处理任务较少的时候进行处理,或者,在操作人员的指定时间进行处理。由此,在图像数据的获取中,可以是摄像设备当下采集到的图像数据,也可以是服务器中预先存储的图像数据,即通过调取一历史时间的摄像设备采集到的图像数据,在此不进行限定。

摄像设备可以布设在各处,例如建筑物内部的天花板一角、建筑物外部的灯柱、甚至可以是智能机器人等客户端设备上,相应地,图像数据可以是布设了摄像设备的任意场景中的任意图像,可以是建筑物内部的任意图像,也可以是建筑物外部的任意图像,在此不进行限定。

跟踪目标则是指任意场景中图像上的任意对象,例如,图像中的某个人物、某辆车或者某部手机等等,在此并未加以限定。

图像数据的目标检测是通过目标检测模型实现的。例如,目标检测模型可以是可变形部件模型,还可以是单高斯模型、混合高斯模型等等,在此不进行限定。其中,该目标检测模型是服务器在图像数据进行目标检测之前预先创建的。

可以理解,由于图像数据是布设了摄像设备的任意场景中的任意图像,往往会出现有的图像中存在一个跟踪目标,有的图像中存在多个跟踪目标,而有的图像中不存在任何跟踪目标,为此,目标实例是指包含了一跟踪目标的图像数据。

应当说明的是,由同一图像数据既可能无法得到目标实例,即该图像数据所指示图像中不存在任何跟踪目标,也可能得到多个目标实例,即该图像数据所指示图像中包含了多个跟踪目标,每一跟踪目标对应一个目标实例。

进一步说明的是,无论图像数据可以得到多少目标实例,在时间上该些目标实例是相互重叠的,即是由摄像设备在同一采集时间采集到的图像数据得到。

由此,通过预先创建的目标检测模型对图像数据进行的目标检测,便可得到至少一目标实例,该至少一目标实例中包含一跟踪目标。

进一步地,由于图像数据可以是多帧图像的视频,还可以是单帧图像的图片,为此,图像数据是以帧为单位进行目标检测的,即以一帧图像作为目标检测模型的输入,以此实施图像数据的目标检测过程。

步骤330,在至少一目标实例中,查找包含有相同跟踪目标的目标实例,将包含有相同跟踪目标的目标实例连接形成轨迹片段。

首先需要说明的是,预置跟踪算法,例如klt算法,可用于在众多目标实例中针对其所包含的所有跟踪目标进行全局搜索,以此实现对跟踪目标的跟踪,即在众多目标实例中查找到相同的跟踪目标。

由此,通过预置跟踪算法便可得到包含有相同跟踪目标的目标实例,进而由包含有相同跟踪目标的所有目标实例连接形成轨迹片段。

举例来说,目标实例a1中包含跟踪目标a,目标实例a2中包含跟踪目标b,目标实例a3中包含跟踪目标a,相应地,轨迹片段1由包含跟踪目标a的目标实例a1、a3连接形成,轨迹片段2由包含跟踪目标b的目标实例a2连接形成。

应当理解,图像数据的采集是有时间顺序的,也就是说,目标实例之间也是具有时间顺序的。

因此,在进行轨迹片段的获取中,将按照时间顺序连接包含有相同跟踪目标的所有目标实例。

仍以上述例子进行说明,轨迹片段1的第一个目标实例是a1,第二个目标实例是a3。应当说明的是,随着时间增长,轨迹片段中包含的目标实例数量也将随之增加,例如,会有第三个目标实例、第四个目标实例、……、最后一个目标实例按照时间顺序不断地添加至轨迹片段1中。

步骤350,通过轨迹片段中的目标实例对轨迹片段进行特征构建,得到轨迹片段特征信息。

轨迹片段特征信息,用于实现对整个和/或部分轨迹片段的准确描述,进而以信息的形式唯一地标识轨迹片段。可以理解,如果轨迹片段中目标实例所包含的跟踪目标不同,则轨迹片段也将有所区别,进而使得轨迹片段特征信息也各不相同。

由此,在由包含相同跟踪目标的目标实例连接形成轨迹片段之后,便可通过轨迹片段中的目标实例获得该轨迹片段对应的轨迹片段特征信息。

具体而言,轨迹片段特征信息将通过轨迹片段中的目标实例对轨迹片段进行特征构建得到。

进一步地,特征构建包括但不限于对目标实例进行的目标特征构建、对轨迹片段进行的局部特征构建和全局特征构建。相应地,轨迹片段特征信息包括但不限于目标特征信息、局部特征信息和全局特征信息。

更进一步地,目标特征信息与其对应的目标实例所包含的跟踪目标相关。局部特征信息与其对应的轨迹片段中的至少一目标实例相关,例如,局部特征信息与轨迹片段中的第一个目标实例和最后一个目标实例相关。全局特征信息则与其对应的轨迹片段中的所有目标实例相关。

步骤370,根据轨迹片段特征信息对指定轨迹片段进行聚类获得轨迹片段类别分布。

本实施例中,聚类是指将指定轨迹片段按照跟踪目标的不同相应地分成多个不同类别的过程,即通过聚类使得每一个类别对应一个跟踪目标。

应当说明的是,指定轨迹片段是指需要进行聚类的轨迹片段,可以是通过前述步骤330所获得的所有轨迹片段,也可以仅是该所有轨迹片段中任意几个需要进行聚类的轨迹片段。

如前所述,轨迹片段中目标实例所包含的跟踪目标不同,则轨迹片段也将有所区别,进而使得轨迹片段特征信息也各不相同。换而言之,轨迹片段特征信息可用于表示跟踪目标,进而使得无论跟踪目标出现在哪一场景,即被采集到的哪一图像数据,亦即被包含在哪一目标实例,其所对应的轨迹片段特征信息都将具备极高的相似性,甚至是一致性。

由此,通过轨迹片段特征信息便可进行轨迹片段的聚类,即,极为相似甚至一致的轨迹片段特征信息,其所对应的轨迹片段中目标实例所包含的跟踪目标可视为相同,即其所对应的轨迹片段将属于同一类别,反之,不相似、不一致的轨迹片段特征信息,其所对应的轨迹片段中目标实例所包含的跟踪目标可视为不同,即其所对应的轨迹片段将属于不同类别。

在此基础上,轨迹片段类别分布是指在不同类别中所包含的轨迹片段及轨迹片段数量。其中,不同类别是针对不同跟踪目标而言的,例如,属于类别a的所有轨迹片段,其中目标实例所包含的跟踪目标为b,而属于类别c的所有轨迹片段,其中目标实例所包含的跟踪目标则为d。

举例来说,通过狄利克雷混合模型实现指定轨迹片段的聚类。具体而言,以指定轨迹片段对应的轨迹片段特征信息作为狄利克雷混合模型的输入,通过狄利克雷混合模型对指定轨迹片段进行聚类,输出得到该指定轨迹片段所属类别。进一步地,针对多个指定轨迹片段进行轨迹片段特征信息输入,便可输出得到轨迹片段类别分布。

当然,根据实际应用场景的需要,进行轨迹片段聚类所采用的聚类算法可以灵活地调整,以利于提高目标跟踪的准确性。

在上述过程中,通过聚类实现了目标跟踪的排他性约束,即同一跟踪目标不可能属于不同类别,简单有效地为目标跟踪的准确性提供了可靠的保障。

步骤390,在轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。

一个轨迹片段是由包含相同跟踪目标的至少一目标实例连接形成的,进一步地,通过前述步骤,则使得被分类至同一类别中的轨迹片段,其中目标实例所包含的跟踪目标仍是相同的,因此,通过将同一类别的轨迹片段连接形成的目标跟踪结果也必然是基于相同的跟踪目标,亦即目标跟踪结果对应于独一无二的跟踪目标,由此实现准确的目标跟踪。

更进一步地,针对不同类别中轨迹片段所连接形成的多个目标跟踪结果则能够实现多目标跟踪。

其中,目标跟踪结果的连接是按照轨迹片段的时间顺序进行的。例如,轨迹片段1的最后一个目标实例在时间上要先于轨迹片段2的第一个目标实例,则轨迹片段1的时间早于轨迹片段2,相应地,目标跟踪结果中,轨迹片段1连接在轨迹片段2之前。

通过如上所述的过程,在轨迹片段特征信息的作用下,能够基于相同跟踪目标对多个轨迹片段进行分类,进而得到同一跟踪目标的目标跟踪结果,由此,在目标跟踪过程中,无论跟踪目标是否消失或者重新出现,均可以根据需要实现对任意多个跟踪目标的多目标跟踪。

请参阅图4,在一示例性实施例中,步骤350可以包括以下步骤:

步骤351,对轨迹片段中的目标实例进行目标特征构建,得到目标特征信息。

目标特征信息,用于通过对目标实例进行的特征构建实现对目标实例的准确描述。进一步地,该目标特征信息与对应目标实例所包含的跟踪目标相关,进而以信息的形式唯一地标识跟踪目标。

应当理解,跟踪目标不同,则目标特征信息有所区别。例如,如果跟踪目标为图像中的某个人物,则目标特征信息可以包括人物的视觉特征向量和结构特征向量;如果跟踪目标为图像中的某辆车,则目标特征信息可以包括车牌号码;如果跟踪目标为图像中的某部手机,则目标特征信息可以包括设备识别码或者设备信号。

在此,对于目标特征信息,不再进行一一列举,不同的跟踪目标,均有其对应的目标特征信息,以便于准确描述和标识此类跟踪目标。

步骤353,按照目标特征信息对轨迹片段分别进行局部特征构建和全局特征构建,得到局部特征信息和全局特征信息。

首先进行说明的是,局部特征信息,用于通过对轨迹片段进行的局部特征构建实现对部分轨迹片段的准确描述。

进一步地,该局部特征信息与对应轨迹片段中的至少一目标实例相关。例如,该局部特征信息与对应轨迹片段中的第一个目标实例和最后一个目标实例相关。

为此,局部特征信息可以由该至少一目标实例所对应的目标特征信息进行定义。例如,目标特征信息包括跟踪目标的视觉特征向量,则由该至少一目标实例所对应的目标特征信息中提取视觉特征向量,并以该视觉特征向量作为局部特征信息。

其次,全局特征信息,用于通过对轨迹片段进行的全局特征构建实现对整个轨迹片段的准确描述。

进一步地,该全局特征信息与对应轨迹片段中的所有目标实例相关。

为此,全局特征信息可以由所有目标实例分别对应的目标特征信息进行定义。仍以上述例子加以说明,目标特征信息包括跟踪目标的结构特征向量,则由所有目标实例分别对应的目标特征信息中提取结构特征向量,并通过该些结构特征向量得到全局特征信息。

步骤355,根据局部特征信息和全局特征信息生成轨迹片段特征信息。

如前所述,轨迹片段特征信息用于实现对整个和/或部分轨迹片段的准确描述,因此,在得到局部特征信息和全局特征信息之后,便可相应地得到包含局部特征信息和全局特征信息的轨迹片段特征信息。

通过如上所述的过程,为指定轨迹片段按照跟踪目标的不同相应地分成多个不同类别的聚类过程提供了充分的依据,即具备极高的相似性,甚至一致性的轨迹片段特征信息被用于表示相同的跟踪目标。

进一步地,在一示例性实施例中,步骤310中对图像数据进行目标检测,得到至少一目标实例,可以包括以下步骤:

通过预先创建的可变形部件模型对图像数据中跟踪目标的多个可变形部件进行标注信息标识,得到至少一所述目标实例。

其中,目标实例对应跟踪目标的可变形部件以标注信息标识。

针对图像数据,通过可变形部件模型所进行的目标检测,所得到跟踪目标为非刚性目标。该非刚性目标是指在目标跟踪过程中会产生形态变化的跟踪目标,例如人物、动物或者其他可变形物体。

具体地,可变形部件模型将跟踪目标表示为一个全局矩形框和多个部件矩形框,所述的全局是指跟踪目标的整体,所述的部件是指跟踪目标的可变形部件。

其中,全局矩形框和部件矩形框所标注的图像在目标实例中被定义为标注信息,进而使得跟踪目标的多个可变形部件在目标实例中是通过多个标注信息标识的。

以跟踪目标为人物举例说明,如图5所示,人物被表示为一个全局矩形框和六个部件矩形框,所述的全局指的是人物的整体,所述的部件指的是人物的头部、左手、右手、左腿、右腿、左右脚等可变形部件。相应地,人物的可变形部件在目标实例中由七个标准信息进行标识。

当然,根据实际应用场景的需要,部件矩形框的个数可以灵活地调整,以此满足不同应用场景中对目标跟踪准确性的不同要求。

相应地,请参阅图6,步骤351可以包括以下步骤:

步骤3511,获取跟踪目标的视觉特征向量和结构特征向量。

具体地,对多个标注信息进行直方图特征向量提取,将提取得到的直方图特征向量作为跟踪目标的视觉特征向量。

其中,直方图特征向量包括方向梯度直方图特征向量和颜色直方图特征向量。该方向梯度直方图特征向量用于描述跟踪目标的纹理特征,颜色直方图特征向量用于描述跟踪目标的颜色特征。

在直方图特征向量提取过程中,实质上是针对多个标注信息所标识的可变形部件进行的。例如,以标注信息标识人物头部来说,则是针对该人物头部所在部件矩形框标注的图像进行直方图特征向量的提取。

在此基础上,以上述提取得到的直方图特征向量定义跟踪目标的视觉特征向量,以此反映出跟踪目标的外在表观信息。

例如,针对其中一个标注信息,方向梯度直方图特征向量为a1,颜色直方图特征向量为b1,则由该标注信息即得到视觉特征向量{a1,b1}。

以此类推,随着标注信息数量的增加,由其所产生的视觉特征向量的长度也将相应地随之增长,从而有利于提高对跟踪目标描述的准确性。

例如,由八个标注信息得到的视觉特征向量为{a1,b1,a2,b2,a3,b3,a4,b4,a5,b5,a6,b6,a7,b7,a8,b8}。

以其中一个标注信息标识的可变形部件为锚点,计算其余标注信息标识的可变形部件与锚点之间的位置偏差,并以计算得到的偏差值作为跟踪目标的结构特征向量。

仍以上述例子加以说明,标注信息被用于在目标实例中标识人物的可变形部件。较优地,人物的可变形部件在目标实例中由八个标注信息进行标识,即一个全局矩形框所标注的图像表示人物的头部,七个部件矩形框所标注的图像分别表示人物的左手、右手、躯干、左腿、右腿、左脚、右脚等部件。

在此,以人物头部作为锚点,由人物头部与其余人物部件计算得到的偏差值有七个,以此得到跟踪目标为人物时的结构特征向量,以此反映出跟踪目标为人物时的内在结构信息。

例如,偏差值分别为c1、c2、c3、c4、c5、c6、c7,则结构特征向量为{c1,c2,c3,c4,c5,c6,c7}。

步骤3513,根据跟踪目标的视觉特征向量和结构特征向量生成目标实例对应的目标特征信息。

在得到跟踪目标的视觉特征向量和结构特征向量,便可实现对目标实例的准确描述,即目标实例所对应的目标特征信息包括跟踪目标的视觉特征向量和结构特征向量,进而以信息的形式唯一地标识人物跟踪目标。

在上述过程中,以目标特征信息来反映跟踪目标的外在表观信息和内在结构信息,从而准确地对跟踪目标进行描述,有利于后续准确地实现目标跟踪。

请参阅图7,在一示例性实施例中,步骤353可以包括以下步骤:

步骤3531,由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为轨迹片段对应的局部特征信息。

如前所述,局部特征信息与对应轨迹片段中的至少一目标实例相关。局部特征信息可以由该至少一目标实例所对应的目标特征信息进行定义。

优选地,局部特征信息与对应轨迹片段中的第一个目标实例和最后一个目标实例相关。

具体而言,按照时间顺序,由轨迹片段中提取第一个目标实例和最后一个目标实例,并获取该第一个目标实例对应目标特征信息中的视觉特征向量,以及获取该最后一个目标实例对应目标特征信息中的视觉特征向量,进而使得轨迹片段对应的局部特征信息包括上述两个视觉特征向量。

在此过程中,局部特征信息即可视为是对轨迹片段中至少一目标实例所包含跟踪目标的准确描述,亦即实现了对部分轨迹片段的准确描述,进而有利于后续准确地实现目标跟踪。

步骤3533,针对轨迹片段中的目标实例,计算对应目标特征信息中结构特征向量的平均值,并根据该结构特征向量进行协方差运算得到协方差矩阵。

步骤3535,以平均值和协方差矩阵作为轨迹片段对应的全局特征信息。

如前所述,全局特征信息与对应轨迹片段中的所有目标实例相关。全局特征信息可以由所有目标实例分别对应的目标特征信息进行定义。

具体而言,通过所有目标实例对应目标特征信息中的各结构特征向量进行平均值和协方差矩阵的运算,并将平均值和协方差矩阵定义为轨迹片段对应的全局特征信息。

其中,以目标实例对应目标结构特征信息中的结构特征向量作为元素,协方差矩阵中的元素则是指上述各元素之间的协方差。

在此过程中,通过全局特征信息对轨迹片段中所有目标实例进行了平均和去相关性,以此实现对整个轨迹片段的准确描述,有利于后续准确地实现目标跟踪。

请参阅图8,在一示例性实施例中,步骤370可以包括以下步骤:

步骤371,针对预定义的至少一类别,根据轨迹片段特征信息分别计算指定轨迹片段与至少一类别的似然度。

类别是指包含至少一轨迹片段的集合,在该集合中,所有轨迹片段中各目标实例所包含的跟踪目标相同。

如前所述,极为相似甚至一致的轨迹片段特征信息,其所对应的轨迹片段中目标实例所包含的跟踪目标可视为相同,即其所对应的轨迹片段将属于同一类别。

换而言之,若某个类别中的轨迹片段与指定轨迹片段具有极为相似甚至一致的轨迹片段特征信息,则该指定轨迹片段很有可能属于该某个类别。

由此,在进行轨迹片段的聚类之前,首先需要根据轨迹片段特征信息获取指定轨迹片段与各类别的似然度,以此获知指定轨迹片段与类别中的各轨迹片段之间是否存在极为相似甚至一致的轨迹片段特征信息。

步骤373,根据似然度计算指定轨迹片段在至少一类别中服从均匀分布的概率。

在此说明,计算得到指定轨迹片段与各类别的似然度之后,将首先对计算得到的似然度进行归一化处理,以此保障进行概率计算的每个似然度处于同一数量级,从而有利于提高概率计算的准确性,进而有利于提高目标跟踪的准确性。

步骤375,将指定轨迹片段归类至最大概率所对应的类别。

步骤377,待完成指定轨迹片段聚类形成轨迹片段类别分布。

待需要进行聚类的指定轨迹片段均归类至相同或者不同的类别时,则完成一次聚类,此时,聚类结果即为轨迹片段类别分布。

进一步地,为了提高目标跟踪的准确性,还可以进行多次聚类,并以最后一次聚类结果作为轨迹片段类别分布。其中,聚类的迭代次数可以根据实际应用场景的需要灵活地调整。

在一示例性实施例中,步骤371之前,如上所述的方法还可以包括以下步骤:

针对其中一类别中轨迹片段所包含的目标实例,判断其中是否存在一轨迹片段与指定轨迹片段包含了时间上相互重叠的目标实例。

如果存在,则将指定轨迹片段与其中一类别的似然度置为零。

如前所述,时间上相互重叠的目标实例是由摄像设备在同一采集时间采集到的图像数据得到。也就是说,该些目标实例是源于同一图像数据的。

可以理解,同一图像数据中可能包含不止一个跟踪目标,相应地,经过目标检测,可能得到包含不同跟踪目标的多个目标实例,而该多个目标实例将被连接形成多个轨迹片段,进而使得该多个轨迹片段不可能归属于同一类别。

为此,如果指定轨迹片段与其中一类别中某个轨迹片段具有时间上相互重叠的目标实例,则表示该指定轨迹片段不可能归属于该其中一类别。也就是说,该指定轨迹片段与该其中一类别的似然度必然为零。

由上可知,如果其中一类别中的某个轨迹片段包含与指定轨迹片段在时间上相互重叠的目标实例,则没有必要进行该指定轨迹片段与该其中一类别的似然度计算,而能够直接将该指定轨迹片段与该其中一类别的似然度置为零。

通过上述实施例的配合,实现了跟踪目标的排他性约束,即同一图像数据中的不同跟踪目标所对应的轨迹片段不可能属于同一类别,进一步简单有效地保障了目标跟踪的准确性。

请参阅图9,在一示例性实施例中,步骤371可以包括以下步骤:

步骤3711,针对指定轨迹片段中的至少一目标实例,由其中一类别中获取与该至少一目标实例时间距离最近的目标实例所在轨迹片段。

优选地,将以指定轨迹片段中的第一个目标实例和最后一个目标实例来进行似然度计算。

应当理解,由于目标跟踪结果的连接是以轨迹片段的时间顺序进行的,因此,同一类别中的各轨迹片段势必具有时间顺序,并且各轨迹片段中的目标实例也是具有时间顺序的,即,连接在前的轨迹片段中最后一个目标实例在时间轴上要先于连接在后的轨迹片段中第一个目标实例。

相应地,在其中一类别中,与指定轨迹片段中第一个目标实例时间距离最近的是该类别中某个轨迹片段中的最后一个目标实例。

与指定轨迹片段中最后一个目标实例时间距离最近的是该类别中某个轨迹片段中的第一个目标实例。

步骤3713,根据该些轨迹片段分别对应的局部特征信息计算指定轨迹片段与获取到的轨迹片段的局部相似度。

此处需要说明的是,该些轨迹片段是指指定轨迹片段和获取到的轨迹片段,相应地,该些轨迹片段分别对应的局部特征信息则是指指定轨迹片段的局部特征信息和获取到的轨迹片段的局部特征信息。

步骤3715,根据指定轨迹片段对应的全局特征信息以及其中一类别的类别参数计算指定轨迹片段与其中一类别的全局相似度。

步骤3717,通过局部相似度和全局相似度计算得到指定轨迹片段与其中一类别的似然度。

具体而言,对于指定轨迹片段与其中一类别,二者之间的似然度计算公式如下:

其中,f表示指定轨迹片段与其中一类别的似然度。

xi表示第i个指定轨迹片段。(φk,xk,[])表示其中一类别,该其中一类别是轨迹片段类别分布中的第k个类别,在该第k个类别中包含了若干轨迹片段,以[]表示。

第一项s中,表示第i个指定轨迹片段中第一个目标实例对应的目标特征信息中的视觉特征向量,ak,mtail表示第k个类别的第m个轨迹片段中最后一个目标实例对应的目标特征信息中的视觉特征向量。

第二项s中,aitail表示第i个指定轨迹片段中最后一个目标实例对应的目标特征信息中的视觉特征向量,ak,nhead表示第k个类别的第n个轨迹片段中第一个目标实例对应的目标特征信息中的视觉特征向量。

第三项p中,di和vi分别代表第i个指定轨迹片段对应全局特征信息中的平均值和协方差矩阵。φk为第k个类别的类别参数,该类别参数是针对第k个类别内的所有轨迹片段[],由其所对应全局特征信息中的平均值和协方差矩阵进行高斯模型建模过程中得到的。

进一步,函数s表示针对上述两个目标实例,分别计算二者对应视觉特征向量中各直方图特征向量之间的相似度,然后将计算得到的所有直方图特征向量进行累加,进而得到第i个指定轨迹片段与第k个类别第m个轨迹片段、第n个轨迹片段之间的局部相似度。其中,直方图特征向量包括方向梯度直方图特征向量和颜色直方图特征向量。

函数p则表示针对第k个类别内的所有轨迹片段[]以及第i个指定轨迹片段,分别通过二者所对应全局特征信息中的平均值和协方差矩阵进行高斯模型建模,然后比较建模得到的两个高斯模型之间的距离,再将比较结果转化为指定轨迹片段与其中一类别的全局相似度。

更进一步地,在分别计算得到第i个指定轨迹片段与第k个类别第m个轨迹片段的局部相似度s1、第i个指定轨迹片段与第k个类别第n个轨迹片段的局部相似度s2、以及第i个指定轨迹片段与第k个类别的全局相似度p之后,便可由上述公式计算得到第i个指定轨迹片段与第k个类别的似然度f。

在一示例性实施例中,步骤377之前,如上所述的方法还可以包括以下步骤:

判断聚类的迭代次数是否满足预设迭代阈值。

例如,预设迭代阈值设置为500次,当然,该预设迭代阈值可以根据实际需要灵活地设置。例如,为了增加目标跟踪的准确性,则提高预设迭代阈值;为了降低服务器的处理压力,则降低预设迭代阈值。

如果聚类的迭代次数满足预设迭代阈值,则停止聚类的迭代过程,以最后一次聚类得到的结果作为轨迹片段类别分布,即跳转至步骤377。

反之,如果聚类的迭代次数不满足预设迭代阈值,则触发进行类别参数更新,并针对更新了类别参数的至少一类别,根据轨迹片段特征信息计算指定轨迹片段与至少一类别的似然度,即返回至步骤371,直至聚类的迭代次数达到预设迭代阈值。

此外,根据不同的应用场景可以灵活地设置循环迭代的停止条件,还可以是计算时间达到预设计算时间则停止循环迭代,或者,聚类结果始终保持不变则停止循环迭代等等。

在上述实施例的作用下,以循环迭代的方式提高了聚类的准确性,使得目标跟踪结果所基于的跟踪目标更为一致,从而有利于进一步地提高目标跟踪的准确性。

下述为本公开装置实施例,可以用于执行本公开所涉及的目标跟踪方法。对于本公开装置实施例中未披露的细节,请参照本公开所涉及的目标跟踪方法实施例。

请参阅图10,在一示例性实施例中,一种目标跟踪装置700包括但不限于:目标实例获取模块710、轨迹片段获取模块730、特征信息获取模块750、类别分布获取模块770和跟踪结果获取模块790。

其中,目标实例获取模块710用于获取图像数据,并对图像数据进行目标检测,得到至少一目标实例。每一目标实例对应一跟踪目标。

轨迹片段获取模块730用于在至少一目标实例中,查找包含有相同跟踪目标的目标实例,将包含有相同跟踪目标的目标实例连接形成轨迹片段。

特征信息获取模块750用于通过轨迹片段中的目标实例对轨迹片段进行特征构建,得到轨迹片段特征信息。

类别分布获取模块770用于根据轨迹片段特征信息对指定轨迹片段进行聚类获得轨迹片段类别分布。

跟踪结果获取模块790用于在轨迹片段类别分布中将同一类别的轨迹片段连接形成目标跟踪结果。

请参阅图11,在一示例性实施例中,特征信息获取模块750包括但不限于:目标特征构建单元751、轨迹片段特征构建单元753和特征信息定义单元755。

其中,目标特征构建单元751用于对轨迹片段中的目标实例进行目标特征构建,得到目标特征信息。

轨迹片段特征构建单元753用于按照目标特征信息对轨迹片段分别进行局部特征构建和全局特征构建,得到局部特征信息和全局特征信息。

特征信息定义单元755用于根据局部特征信息和全局特征信息生成轨迹片段特征信息。

在一示例性实施例中,目标实例获取模块包括:标注信息标识单元。

其中,标注信息标识单元用于通过预先创建的可变形部件模型对图像数据中跟踪目标的多个可变形部件进行标注信息标识,得到至少一目标实例。目标实例对应跟踪目标的可变形部件以标注信息标识。

相应地,请参阅图12,目标特征构建单元751包括但不限于:特征向量获取子单元7511和特征信息组成子单元7513。

其中,特征向量获取子单元7511用于获取跟踪目标的视觉特征向量和结构特征向量。

具体地,对多个标注信息进行直方图特征向量提取,将提取得到的直方图特征向量作为跟踪目标的视觉特征向量。以及,以其中一个标注信息标识的可变形部件为锚点,分别计算其余标注信息标识的可变形部件与锚点之间的位置偏差,并以计算得到的偏差值作为跟踪目标的结构特征向量。

特征信息组成子单元7513用于根据跟踪目标的视觉特征向量和结构特征向量生成目标实例对应的目标特征信息。

请参阅图13,在一示例性实施例中,轨迹片段特征构建单元753包括但不限于:局部特征信息定义子单元7531、结构特征向量计算子单元7533和全局特征信息定义子单元7535。

其中,局部特征信息定义子单元7531用于由轨迹片段中提取至少一目标实例,以该至少一目标实例对应目标特征信息中的视觉特征向量作为轨迹片段对应的局部特征信息。

结构特征向量计算子单元7533用于针对轨迹片段中的目标实例,计算对应目标特征信息中结构特征向量的平均值,并根据该结构特征向量进行协方差运算得到协方差矩阵。

全局特征信息定义子单元7535用于以平均值和协方差矩阵作为轨迹片段对应的全局特征信息。

请参阅图14,在一示例性实施例中,类别分布获取模块770包括但不限于:第一似然度计算单元771、概率计算单元773、聚类单元775和类别分布形成单元777。

其中,第一似然度计算单元771用于针对预定义的至少一类别,根据轨迹片段特征信息计算指定轨迹片段与至少一类别的似然度。

概率计算单元773用于根据似然度计算指定轨迹片段在至少一类别中服从均匀分布的概率。

聚类单元775用于将指定轨迹片段归类至最大概率所对应的类别。

类别分布形成单元777用于待完成指定轨迹片段聚类形成轨迹片段类别分布。

请参阅图15,在一示例性实施例中,类别分布获取模块770还包括但不限于:重叠判断单元810和似然度设置单元830。

其中,重叠判断单元810用于针对其中一类别中轨迹片段所包含的目标实例,判断其中是否存在一轨迹片段与指定轨迹片段包含了时间上相互重叠的目标实例。如果存在,则通知似然度设置单元。

似然度设置单元830用于将指定轨迹片段与其中一类别的似然度置为零。

请参阅图16,在一示例性实施例中,第一似然度计算单元771包括但不限于:轨迹片段获取子单元7711、局部相似度计算子单元7713、全局相似度计算子单元7715和似然度计算子单元7717。

其中,轨迹片段获取子单元7711用于针对指定轨迹片段中的至少一目标实例,由其中一类别中获取与该至少一目标实例时间距离最近的目标实例所在轨迹片段。

局部相似度计算子单元7713用于根据该些轨迹片段分别对应的局部特征信息计算指定轨迹片段与获取到的轨迹片段的局部相似度。

全局相似度计算子单元7715用于根据指定轨迹片段对应的全局特征信息以及其中一类别的类别参数计算指定轨迹片段与其中一类别的全局相似度。

似然度计算子单元7717用于通过局部相似度和全局相似度计算得到指定轨迹片段与其中一类别的似然度。

请参阅图17,在一示例性实施例中,类别分布获取模块770还包括但不限于:迭代判断单元910和第二似然度计算单元930。

其中,迭代判断单元910用于判断聚类的迭代次数是否满足预设迭代阈值。如果不满足,则通知第二似然度计算单元。

第二似然度计算单元930用于触发进行类别参数更新,并针对更新了类别参数的至少一类别,根据轨迹片段特征信息计算指定轨迹片段与至少一类别的似然度。

需要说明的是,上述实施例所提供的目标跟踪装置在进行目标跟踪处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即目标跟踪装置的内部结构将划分为不同的功能模块,以完成以上描述的全部或者部分功能。

另外,上述实施例所提供的目标跟踪装置与目标跟踪方法的实施例属于同一构思,其中各个模块执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。

在一示例性实施例中,一种电子设备,包括处理器及存储器。

其中,存储器上存储有计算机可读指令,该计算机可读指令被处理器执行时实现如上所述的各实施例中的目标跟踪方法。

在一示例性实施例中,一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上所述的各实施例中的目标跟踪方法。

上述内容,仅为本公开的较佳示例性实施例,并非用于限制本公开的实施方案,本领域普通技术人员根据本公开的主要构思和精神,可以十分方便地进行相应的变通或修改,故本公开的保护范围应以权利要求书所要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1