一种目标跟踪方法及装置与流程

本发明涉及人工智能领域，具体涉及一种目标跟踪方法及装置。

背景技术：

因人脸检测的速度较慢，跟踪的速度较快，在实时人脸识别系统中，往往只抽取来自摄像机的部分帧的图像进行人脸检测，在其他帧的图像上对检测到的目标作跟踪，在保证实时的前提下，可使得系统尽量不出现人脸的漏检，并将同一人所检测到的不同人脸图像作为同一个目标进行存储。对每个监控范围内的人员，可选取一张或者少量优质人脸图像传入后台处理，防止全部检测到的人脸都传到后台，增加计算开销。

目前为了实现目标跟踪，主要基于光流跟踪算法来实现。较为流行的是使用双向光流来保证跟踪的可靠性，虽然可靠性增加了，但计算耗时较多。并且光流跟踪本身在帧率较高时(如25fps)，对遮挡不敏感，经常会出现人流交叉穿行导致的跟踪框漂移的问题，当跟踪框漂移后，人脸框也很容易与跟踪框错配，导致目标跟踪准确度低。

技术实现要素：

本发明实施例提供了一种目标跟踪方法及装置，以期可以提高目标跟踪速度与准确度。

第一方面，本发明实施例提供一种目标跟踪方法，包括：

获取目标图像，所述目标图像中包括至少一个目标对象；

基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；

利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；

基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。

第二方面，本发明实施例提供一种目标跟踪方法装置，包括：

获取模块，用于获取目标图像，所述目标图像中包括至少一个目标对象；

确定模块，用于基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；

检测模块，用于利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；

更新模块，用于基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。

可以看出，本发明实施例所提供的技术方案中，获取目标图像，所述目标图像中包括至少一个目标对象；基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。本发明实施例通过基于匈牙利算法将目标跟踪框与目标对象框进行匹配以更新预设目标跟踪框集合，从而使得预设目标跟踪框能根据目标对象进行更新，提高目标跟踪准确率。

进一步的，通过使用单向光流跟踪算法，减少了计算开销，提高目标跟踪效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种目标跟踪方法的第一实施例流程示意图；

图2示出了本发明实施例提供的一种基于光流法跟踪算法对目标图像进行跟踪的流程示意图；

图3是本发明实施例提供的一种目标跟踪方法的第二实施例流程示意图；

图4是本发明实施例提供的一种目标跟踪装置的第一实施例的结构示意图；

图5示出了本发明实施例提供的一种确定模块的结构示意图；

图6是本发明实施例提供的一种目标跟踪装置的第二实施例的结构示意图。

具体实施方式

本发明实施例提供了一种目标跟踪方法及装置，以期可以提高目标跟踪速度与准确度。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明实施例提供的一种目标跟踪方法，包括：

获取目标图像，所述目标图像中包括至少一个目标对象；基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。

参见图1，图1是本发明实施例提供的一种目标跟踪方法的第一实施例流程示意图。如图1所示，本发明实施例提供的目标跟踪方法包括以下步骤：

S101、获取目标图像，所述目标图像中包括至少一个目标对象。

其中，目标图像可以是指从视频流中获取到的各帧图像，优选地，该图像包括人脸的图像。目标对象是指该目标图像中需要关注的特征，例如，若该目标图像为人脸图像，该目标对象可以为人脸。

在本发明实施例中，通过在目标区域或位置安装摄像头来获取视频流，再对该视频流进行解码，以从该视频流中获取一帧帧的视频图像，也即目标图像，再对该目标图像进行图像处理。

在本发明实施例中，可以在小区门口、学校门口、进出关口等位置安装该摄像头。

举例说明，在本发明的一个示例中，若为了统计某一关口的人数量，可以在关口位置安装一摄像头，然后获取摄像头拍摄的视频流，并对视频流进行解码得到目标图像，然后再基于该目标图像中的目标对象，也即人脸对象进行人物计数，但基于人脸对象进行计数的过程中，由于视频流中的不同帧可能存在同一人脸对象，所以为了防止重复计数，可以使用本发明实施例提供的目标跟踪方法对目标对象进行跟踪以去重，提高计数准确率。

S102、基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数。

其中，预设目标跟踪框集合是指在该时刻目标图像之前出现在目标图像中的预设目标所对应的预设目标跟踪框集合。例如，若为了统计某一关口的人数量，在某一时刻获取到一帧目标图像，但由于在该时刻之前的目标图像中可能出现过目标人脸，从而需要对该帧目标图像中与之前的目标人脸重复的人脸进行去重，从而可以使用预设人脸跟踪框来确定重复的预设人脸并进行滤除。

其中，目标图像中的N个目标跟踪框是指利用光流法跟踪算法跟踪到目标图像中的目标，该目标跟踪框是指目标图像中的目标对象的目标跟踪框，例如，若目标图像为人脸图像，则该目标跟踪框为目标人脸图像跟踪框。

具体地，参见图2，图2示出了本发明实施例提供的一种基于光流法跟踪算法对目标图像进行跟踪的流程示意图，包括：

S201、在所述目标图像的上一个目标图像中提取第一目标特征点。

其中，第一目标特征点是指目标图像的上一个目标图像中的与目标相关的特征点。

具体地，在上一帧目标图像的目标跟踪框内，提取易于跟踪的特征点。

更进一步，具体地，可以采用提取网格节点的方式，也可以计算每个像素点的跟踪性能，再从中选取一些易于跟踪的点，并保证各点之间有一定的距离。

在本发明实施例中，若该目标图像为人脸图像，则该目标特征点可以为人脸特征点。

S202、基于光流获取所述目标特征点在所述目标图像中对应的第二目标特征点。

具体地，当获取到目标图像的上一个目标图像中的第一目标特征点后，可以基于该第一目标特征点，计算光流，并利用光流信息，即可得到第一目标特征点在该目标图像中的第二目标特征点。

例如，若上一目标图像中存在3个人脸目标特征点，则可以通过计算光流，得到该目标图像中这3个人脸目标特征点。

S203、基于所述第二目标特征点获取所述目标图像的目标跟踪框。

其中，目标跟踪框是指为了对目标特征点进行跟踪的一个具有特征形状的跟踪框，以便于对目标进行跟踪。

更进一步，具体地，计算每个特征点在上一帧与当前帧中位置的差值，按差值的大小进行排序，取中间的差值作为跟踪框移动的距离。计算上一帧中每个特征点之间的距离，同时计算当前帧中每个特征点之间的距离，显然两帧中由特征点距离构成的矩阵的维度是一致的，将两帧中对应的距离两两相除得到商值，将商值按大小排序，取中间的商值作为跟踪框的缩放比例。

S204、获取所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度。

其中，该相关度是为了更为准确地表示预设目标跟踪框与目标跟踪框之间相似程度的一个度量。

具体地，获取所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度，包括：

将所述目标跟踪框与所述预设目标跟踪缩放至相同尺寸；

基于归一化相似性度量函数(Normalized cross correlation，简称NCC)计算所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度。

可以理解，通过以NCC来评价预设目标跟踪框与所述目标跟踪框之间的相关度，从而使得相关度计算更为准确，提高跟踪准确度。

具体地，该NNC的公式表示如下：

S205、在所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度大于或等于预设阈值时，利用所述目标跟踪框替换所述预设目标跟踪框集合中相应的目标跟踪框，以更新所述预设目标跟踪框集合。

具体地，当利用NCC来评价相似度时，当NNC值高于预设阈值时，对预设目标跟踪框集合更行更新。

更进一步，具体地，可以设置利用预设目标跟踪框集合更新频率，若处于模板更新帧，则将目标跟踪框的图像赋值给预设目标跟踪框。例如，对于25帧每秒的视频，模板更新频率可以为每3帧1次，从而可以很好的判断目标是否遮挡。

举例说明，在本发明的一个示例中，若在预设人脸跟踪框集合中有3个人脸跟踪框，也即3个不同的人脸图像，然后在上一帧目标图像中获取第一人脸特征点，并基于该人脸特征点计算该目标图像的第二人脸特征点，并基于该第二人脸特征点得到人脸跟踪框，然后再计算得到的3个人脸跟踪框与预设的3个人脸跟踪框的相关度，当相关度大于一定的阈值时，将该第二特征点对应的人脸跟踪框更新预设人脸跟踪框集合对应的预设人脸跟踪框。

可以理解，由于当相关度大于一定的阈值时，则证明该预设目标跟踪框集合中的预设目标跟踪框与当前图像的目标跟踪框匹配，但很显然当前图像中检测到的目标跟踪框相对预设目标跟踪框更为准确，所以此时利用当前图像的目标跟踪框去替换预设目标跟踪框，将使得后续对目标的跟踪更为准确，提高目标跟踪准确率。

S103、利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数。

具体地，该图像检测算法例如可以为Sift特征匹配算法，也可以为其它图像检测算法。

举例说明，在本发明的一个示例中，可以通过Sift特征匹配算法准确地检测出来人脸图像中的3个目标人脸框。

可选地，可以只对视频图像流中的部分帧利用图像检测算法进一步进行检测。例如，对10帧视频图像中选择一帧视频图像进行检测。从而在提高跟踪准确率的同时，也可以减少检测时间。从而当当前帧为人脸检测帧，则进行人脸检测。

S104、基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。

其中，对N个目标跟踪框与所述M个目标对象框进行匹配时，也即利用如下公式计算目标跟踪框与目标对象框之间的重叠度：

其中，r_face指人脸框，r_tracker指跟踪框。

具体地，当利用重叠度构建表征人脸框与跟踪框之间关系的权重矩阵，再利用匈牙利算法，找到最大有权二分图，此时目标对象框与目标跟踪框的重叠度总和最大，且一个目标对象框至多匹配到一个目标跟踪框，一个目标跟踪框也至多匹配一个目标对象框，该匹配可认为是目标对象框与目标跟踪框的最佳匹配。

具体地，基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合，包括：

基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以确定所述M个目标对象框中匹配成功的目标对象框、未匹配成功的目标对象框以及所述预设目标跟踪框集合中未匹配成功的预设目标跟踪框；

将所述未匹配成功的目标对象框加入所述预设目标跟踪框集合、将所述未匹配成功的预设目标跟踪框从所述预设目标跟踪框删除，以及将所述匹配成功的目标对象框替换与所述匹配成功的目标对象框对应的预设目标跟踪框，以更新所述预设目标跟踪框集合。

举例说明，在本发明的一个示例中，当需要跟踪某个人脸图像时，首先利用光流跟踪法确定出来该人脸图像中的人脸对象框并对预设人脸跟踪框进行更新得到更新后的5个人脸对象，然后再利用图像检测算法检测出来该人脸图像中的准确的4个人脸对象框，并将该4个人脸对象框与5个预设人脸跟踪框利用匈牙利算法进行匹配，若该5个预设人脸对象框中有3个与这4个人脸对象框匹配成功，4个人脸对象框中有一个人脸对象框在5个预设人脸对象框中从未出现，从而还有2个预设人脸对象框不能与这4个人脸对象框中的任何一个人脸对象框匹配，则将匹配成功的这3个人脸对象框更新原来的预设人脸对象框中的3个预设人脸对象框，将这1个未在预设人脸对象框中出现的人脸对象框加入该预设人脸对象框，并将该2个未匹配成功预设人脸对象框从原来的预设人脸对象框中删除，最后这个预设人脸对象框集合中将包括4个预设人脸对象框。

可以理解，将所述未匹配成功的目标对象框加入所述预设目标跟踪框集合、将所述未匹配成功的预设目标跟踪框从所述预设目标跟踪框删除，以及将所述匹配成功的目标对象框替换与所述匹配成功的目标对象框对应的预设目标跟踪框，以更新所述预设目标跟踪框集合，从而可以使得后续对目标的跟踪更为准确，以及节约跟踪时间，提高目标跟踪效率。

需要说明，对预设目标跟踪框集合进行更新的三个步骤没有先后顺序。

可以看出，本实施例的方案中，获取目标图像，所述目标图像中包括至少一个目标对象；基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。本发明实施例通过基于匈牙利算法将目标跟踪框与目标对象框进行匹配以更新预设目标跟踪框集合，从而使得预设目标跟踪框能根据目标对象进行更新，提高目标跟踪准确率。

进一步的，通过使用单向光流跟踪算法，减少了计算开销，提高目标跟踪效率。

参见图3，图3是本发明实施例提供的一种目标跟踪方法的第二实施例流程示意图。图3所示的方法中，与图1所示方法相同或类似的内容可以参考图1中的详细描述，此处不再赘述。如图3所示，本发明实施例提供的目标跟踪方法包括以下步骤：

S301、获取目标图像，所述目标图像中包括至少一个目标对象。

S302、基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数。

S303、判断所述目标图像是否为预设检测帧。

可选地，若该目标图像为预设检测帧时，执行步骤S304。

可选地，若该目标图像不为预设检测帧时，执行返回执行步骤S301。

具体地，可以间隔一定帧数选择一幅预设检测帧用于检测进一步利用图像检测算法检测目标。

S304、利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数。

S305、基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以确定所述M个目标对象框中匹配成功的目标对象框、未匹配成功的目标对象框以及所述预设目标跟踪框集合中未匹配成功的预设目标跟踪框。

S306、将所述未匹配成功的目标对象框加入所述预设目标跟踪框集合。

S307、将所述未匹配成功的预设目标跟踪框从所述预设目标跟踪框删除。

S308、将所述匹配成功的目标对象框替换与所述匹配成功的目标对象框对应的预设目标跟踪框。

更进一步地，当执行完步骤S308后，也即对预设目标跟踪框进行更新后，再转入执行步骤S301，从而使得后续利用该预设目标跟踪框进行人脸跟踪得到的效果更优。

需要说明，上述更新预设目标跟踪框的步骤S306、S307以及S308没有严格的先后顺序。

可以看出，本实施例的方案中，获取目标图像，所述目标图像中包括至少一个目标对象；基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。本发明实施例通过基于匈牙利算法将目标跟踪框与目标对象框进行匹配以更新预设目标跟踪框集合，从而使得预设目标跟踪框能根据目标对象进行更新，提高目标跟踪准确率。

进一步的，通过使用单向光流跟踪算法，减少了计算开销，提高目标跟踪效率。

本发明实施例还提供一种目标跟踪装置，包括：

获取模块，用于获取目标图像，所述目标图像中包括至少一个目标对象；

确定模块，用于基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；

检测模块，用于利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；

更新模块，用于基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。

具体地，请参见图4，图4是本发明实施例提供的一种目标跟踪装置的第一实施例的结构示意图，用于实现本发明实施例公开的一种目标跟踪方法。其中，如图4所示，本发明实施例提供的一种目标跟踪装置400可以包括：

获取模块410、确定模块420、检测模块430和更新模块440。

其中，获取模块410，用于获取目标图像，所述目标图像中包括至少一个目标对象。

其中，目标图像可以是指从视频流中获取到的各帧图像，优选地，该图像包括人脸的图像。目标对象是指该目标图像中需要关注的特征，例如，若该目标图像为人脸图像，该目标对象可以为人脸。

在本发明实施例中，通过在目标区域或位置安装摄像头来获取视频流，再对该视频流进行解码，以从该视频流中获取一帧帧的视频图像，也即目标图像，再对该目标图像进行图像处理。

在本发明实施例中，可以在小区门口、学校门口、进出关口等位置安装该摄像头。

举例说明，在本发明的一个示例中，若为了统计某一关口的人数量，可以在关口位置安装一摄像头，然后获取摄像头拍摄的视频流，并对视频流进行解码得到目标图像，然后再基于该目标图像中的目标对象，也即人脸对象进行人物计数，但基于人脸对象进行计数的过程中，由于视频流中的不同帧可能存在同一人脸对象，所以为了防止重复计数，可以使用本发明实施例提供的目标跟踪方法对目标对象进行跟踪以去重，提高计数准确率。

确定模块420，用于基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数。

其中，预设目标跟踪框集合是指在该时刻目标图像之前出现在目标图像中的预设目标所对应的预设目标跟踪框集合。例如，若为了统计某一关口的人数量，在某一时刻获取到一帧目标图像，但由于在该时刻之前的目标图像中可能出现过目标人脸，从而需要对该帧目标图像中与之前的目标人脸重复的人脸进行去重，从而可以使用预设人脸跟踪框来确定重复的预设人脸并进行滤除。

其中，目标图像中的N个目标跟踪框是指利用光流法跟踪算法跟踪到目标图像中的目标，该目标跟踪框是指目标图像中的目标对象的目标跟踪框，例如，若目标图像为人脸图像，则该目标跟踪框为目标人脸图像跟踪框。

具体地，参见图5，图5示出了本发明实施例提供的一种确定模块的结构示意图，如图5所示，该确定模块420，包括：

提取单元421，用于在所述目标图像的上一个目标图像中提取第一目标特征点。

其中，第一目标特征点是指目标图像的上一个目标图像中的与目标相关的特征点。

具体地，在上一帧目标图像的目标跟踪框内，提取易于跟踪的特征点。

更进一步，具体地，可以采用提取网格节点的方式，也可以计算每个像素点的跟踪性能，再从中选取一些易于跟踪的点，并保证各点之间有一定的距离。

在本发明实施例中，若该目标图像为人脸图像，则该目标特征点可以为人脸特征点。

获取单元422，用于基于光流获取所述目标特征点在所述目标图像中对应的第二目标特征点。

具体地，当获取到目标图像的上一个目标图像中的第一目标特征点后，可以基于该第一目标特征点，计算光流，并利用光流信息，即可得到第一目标特征点在该目标图像中的第二目标特征点。

例如，若上一目标图像中存在3个人脸目标特征点，则可以通过计算光流，得到该目标图像中这3个人脸目标特征点。

所述获取单元422，还用于基于所述第二目标特征点获取所述目标图像的目标跟踪框。

其中，目标跟踪框是指为了对目标特征点进行跟踪的一个具有特征形状的跟踪框，以便于对目标进行跟踪。

更进一步，具体地，计算每个特征点在上一帧与当前帧中位置的差值，按差值的大小进行排序，取中间的差值作为跟踪框移动的距离。计算上一帧中每个特征点之间的距离，同时计算当前帧中每个特征点之间的距离，显然两帧中由特征点距离构成的矩阵的维度是一致的，将两帧中对应的距离两两相除得到商值，将商值按大小排序，取中间的商值作为跟踪框的缩放比例。

所述获取单元422，还用于获取所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度。

其中，该相关度是为了更为准确地表示预设目标跟踪框与目标跟踪框之间相似程度的一个度量。

具体地，所述获取单元422获取所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度具体为：

将所述目标跟踪框与所述预设目标跟踪缩放至相同尺寸；

基于归一化相似性度量函数NCC计算所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度。：

将所述目标跟踪框与所述预设目标跟踪缩放至相同尺寸；

基于归一化相似性度量函数(Normalized cross correlation，简称NCC)计算所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度。

可以理解，通过以NCC来评价预设目标跟踪框与所述目标跟踪框之间的相关度，从而使得相关度计算更为准确，提高跟踪准确度。

具体地，该NNC的公式表示如下：

更新单元423，用于在所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度大于或等于预设阈值时，利用所述目标跟踪框替换所述预设目标跟踪框集合中相应的目标跟踪框，以更新所述预设目标跟踪框集合。

具体地，当利用NCC来评价相似度时，当NNC值高于预设阈值时，对预设目标跟踪框集合更行更新。

更进一步，具体地，可以设置利用预设目标跟踪框集合更新频率，若处于模板更新帧，则将目标跟踪框的图像赋值给预设目标跟踪框。例如，对于25帧每秒的视频，模板更新频率可以为每3帧1次，从而可以很好的判断目标是否遮挡。

举例说明，在本发明的一个示例中，若在预设人脸跟踪框集合中有3个人脸跟踪框，也即3个不同的人脸图像，然后在上一帧目标图像中获取第一人脸特征点，并基于该人脸特征点计算该目标图像的第二人脸特征点，并基于该第二人脸特征点得到人脸跟踪框，然后再计算得到的3个人脸跟踪框与预设的3个人脸跟踪框的相关度，当相关度大于一定的阈值时，将该第二特征点对应的人脸跟踪框更新预设人脸跟踪框集合对应的预设人脸跟踪框。

可以理解，由于当相关度大于一定的阈值时，则证明该预设目标跟踪框集合中的预设目标跟踪框与当前图像的目标跟踪框匹配，但很显然当前图像中检测到的目标跟踪框相对预设目标跟踪框更为准确，所以此时利用当前图像的目标跟踪框去替换预设目标跟踪框，将使得后续对目标的跟踪更为准确，提高目标跟踪准确率。

检测模块430，用于利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数。

具体地，该图像检测算法例如可以为Sift特征匹配算法，也可以为其它图像检测算法。

举例说明，在本发明的一个示例中，可以通过Sift特征匹配算法准确地检测出来人脸图像中的3个目标人脸框。

可选地，可以只对视频图像流中的部分帧利用图像检测算法进一步进行检测。例如，对10帧视频图像中选择一帧视频图像进行检测。从而在提高跟踪准确率的同时，也可以减少检测时间。从而当当前帧为人脸检测帧，则进行人脸检测。

更新模块440，用于基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。

其中，对N个目标跟踪框与所述M个目标对象框进行匹配时，也即利用如下公式计算目标跟踪框与目标对象框之间的重叠度：

其中，r_face指人脸框，r_tracker指跟踪框。

具体地，当利用重叠度构建表征人脸框与跟踪框之间关系的权重矩阵，再利用匈牙利算法，找到最大有权二分图，此时目标对象框与目标跟踪框的重叠度总和最大，且一个目标对象框至多匹配到一个目标跟踪框，一个目标跟踪框也至多匹配一个目标对象框，该匹配可认为是目标对象框与目标跟踪框的最佳匹配。

具体地，所述更新模块440包括：

确定单元441，用于基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以确定所述M个目标对象框中匹配成功的目标对象框、未匹配成功的目标对象框以及所述预设目标跟踪框集合中未匹配成功的预设目标跟踪框；

更新单元442，用于将所述未匹配成功的目标对象框加入所述预设目标跟踪框集合、将所述未匹配成功的预设目标跟踪框从所述预设目标跟踪框删除，以及将所述匹配成功的目标对象框替换与所述匹配成功的目标对象框对应的预设目标跟踪框，以更新所述预设目标跟踪框集合。

举例说明，在本发明的一个示例中，当需要跟踪某个人脸图像时，首先利用光流跟踪法确定出来该人脸图像中的人脸对象框并对预设人脸跟踪框进行更新得到更新后的5个人脸对象，然后再利用图像检测算法检测出来该人脸图像中的准确的4个人脸对象框，并将该4个人脸对象框与5个预设人脸跟踪框利用匈牙利算法进行匹配，若该5个预设人脸对象框中有3个与这4个人脸对象框匹配成功，4个人脸对象框中有一个人脸对象框在5个预设人脸对象框中从未出现，从而还有2个预设人脸对象框不能与这4个人脸对象框中的任何一个人脸对象框匹配，则将匹配成功的这3个人脸对象框更新原来的预设人脸对象框中的3个预设人脸对象框，将这1个未在预设人脸对象框中出现的人脸对象框加入该预设人脸对象框，并将该2个未匹配成功预设人脸对象框从原来的预设人脸对象框中删除，最后这个预设人脸对象框集合中将包括4个预设人脸对象框。

可以理解，将所述未匹配成功的目标对象框加入所述预设目标跟踪框集合、将所述未匹配成功的预设目标跟踪框从所述预设目标跟踪框删除，以及将所述匹配成功的目标对象框替换与所述匹配成功的目标对象框对应的预设目标跟踪框，以更新所述预设目标跟踪框集合，从而可以使得后续对目标的跟踪更为准确，以及节约跟踪时间，提高目标跟踪效率。

可以看出，本实施例的方案中，目标跟踪装置400获取目标图像，所述目标图像中包括至少一个目标对象；目标跟踪装置400再基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；并利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；最后目标跟踪装置400基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。本发明实施例通过基于匈牙利算法将目标跟踪框与目标对象框进行匹配以更新预设目标跟踪框集合，从而使得预设目标跟踪框能根据目标对象进行更新，提高目标跟踪准确率。

进一步的，通过使用单向光流跟踪算法，减少了计算开销，提高目标跟踪效率。

在本实施例中，目标跟踪装置400是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。

可以理解的是，本实施例的目标跟踪装置400的各功能单元的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

参见图6，图6是本发明实施例提供的一种目标跟踪装置的第二实施例的结构示意图，用于实现本发明实施例公开的图像识别方法。其中，该目标跟踪装置600可以包括：至少一个总线601、与总线601相连的至少一个处理器602以及与总线601相连的至少一个存储器603。

其中，处理器602通过总线601，调用存储器中存储的代码以用于获取目标图像，所述目标图像中包括至少一个目标对象；基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。

可选地，在本发明的一些可能的实施方式中，所述处理器602基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合，包括：

基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以确定所述M个目标对象框中匹配成功的目标对象框、未匹配成功的目标对象框以及所述预设目标跟踪框集合中未匹配成功的预设目标跟踪框；

将所述未匹配成功的目标对象框加入所述预设目标跟踪框集合、将所述未匹配成功的预设目标跟踪框从所述预设目标跟踪框删除，以及将所述匹配成功的目标对象框替换与所述匹配成功的目标对象框对应的预设目标跟踪框，以更新所述预设目标跟踪框集合。

可选地，在本发明的一些可能的实施方式中，所述处理器602基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，包括：

在所述目标图像的上一个目标图像中提取第一目标特征点；

基于光流获取所述目标特征点在所述目标图像中对应的第二目标特征点；

基于所述第二目标特征点获取所述目标图像的目标跟踪框；

获取所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度；

在所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度大于或等于预设阈值时，利用所述目标跟踪框替换所述预设目标跟踪框集合中相应的目标跟踪框，以更新所述预设目标跟踪框集合。

可选地，在本发明的一些可能的实施方式中，所述处理器602获取所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度，包括：

将所述目标跟踪框与所述预设目标跟踪缩放至相同尺寸；

基于归一化相似性度量函数NCC计算所述预设目标跟踪框集合中的预设目标跟踪框与所述目标跟踪框之间的相关度。

可选地，在本发明的一些可能的实施方式中，所述目标对象为人脸对象。

可以看出，本实施例的方案中，目标跟踪装置600获取目标图像，所述目标图像中包括至少一个目标对象；目标跟踪装置600再基于预设目标跟踪框集合利用光流法跟踪算法对目标图像进行跟踪以确定所述目标图像中的N个目标跟踪框，所述N为正整数；并利用图像检测算法检测所述目标图像中的M个目标对象框，所述M为正整数；最后目标跟踪装置600基于匈牙利算法将所述N个目标跟踪框与所述M个目标对象框进行匹配以更新所述预设目标跟踪框集合。本发明实施例通过基于匈牙利算法将目标跟踪框与目标对象框进行匹配以更新预设目标跟踪框集合，从而使得预设目标跟踪框能根据目标对象进行更新，提高目标跟踪准确率。

进一步的，通过使用单向光流跟踪算法，减少了计算开销，提高目标跟踪效率。

在本实施例中，目标跟踪装置600是以单元的形式来呈现。这里的“单元”可以指特定应用集成电路(application-specific integrated circuit，ASIC)，执行一个或多个软件或固件程序的处理器和存储器，集成逻辑电路，和/或其他可以提供上述功能的器件。

可以理解的是，本实施例的目标跟踪装置600的各功能单元的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时包括上述方法实施例中记载的任何目标跟踪方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明的各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。