对象跟踪方法及装置与流程

文档序号:12947651阅读:222来源:国知局
对象跟踪方法及装置与流程

本发明涉及图像处理技术领域,特别涉及一种对象跟踪方法及装置。



背景技术:

当需要对视频记录的对象进行跟踪时,可以由用户向终端指定需要跟踪的对象,再由终端采用预定算法实现对该对象的跟踪。其中,预定算法可以是ct(compressivetracking,压缩跟踪)算法或stc(spatio-temporalcontext,时空上下文)算法或tld(tracking-learning-detection,跟踪-学习-检测)算法。

其中,ct算法提取对象的特征作为更新朴素贝叶斯分类器的正样本,提取背景的特征作为更新朴素贝叶斯分类器的负样本,利用朴素贝叶斯分类器去分类下一图像帧的对象和背景。stc算法通过贝叶斯框架对需要跟踪的对象和其局部上下文区域的时空关系建立时空上下文模型,得到对象和其局部上下文区域的特征的统计相关性,根据该统计相关性来评估下一图像帧中对象出现位置的置信图,置信度最大的位置为对象的位置。tld算法将跟踪分解为跟踪、学习和检测三个过程,跟踪过程采用lk光流法实现,其在光流矢量恒定、运动平缓且目标变化不大的前提下跟踪较为准确,当不满足这个前提时,有可能跟踪不到对象;检测过程采用级联分类器根据正样本和负样本查找对象;p-n学习过程能够识别出和原始对象的外观差异较大的对象以及和对象较为相似的背景,并利用学习结果更新检测过程。

ct算法无法识别出大小发生变化的对象。stc算法容易受背景的影响而跟踪到背景区域,且不适应于对象快速运动的场景。tld算法对对象外观的变化较为敏感,且容易跟踪到与对象相似的物体上。



技术实现要素:

为了解决无法准确跟踪对象的问题,本发明实施例提供了一种对象跟踪方法及装置。所述技术方案如下:

第一方面,提供了一种对象跟踪方法,该方法包括:

获取对前一图像帧中的对象的第一跟踪结果;

利用预设算法,根据第一跟踪结果计算对象在当前图像帧中的第二跟踪结果,预设算法是根据ct算法、stc算法和tld算法融合后得到的。

第二方面,提供了一种对象跟踪装置,该装置包括:

获取模块,用于获取对前一图像帧中的对象的第一跟踪结果;

计算模块,用于利用预设算法,根据所述获取模块获取的所述第一跟踪结果计算所述对象在当前图像帧中的第二跟踪结果,所述预设算法是根据ct算法、stc算法和tld算法融合后得到的。

本发明实施例提供的技术方案的有益效果是:

通过融合ct算法、stc算法和tld算法,根据前一图像帧中的对象的第一跟踪结果来计算该对象在当前图像帧中的第二跟踪结果,使得终端可以通过预设算法来对图像中的对象进行更精确的跟踪,解决了ct算法无法识别出大小发生变化的对象、stc算法易受图像背景影响错误地跟踪到背景区域及tld算法容易跟踪到与对象相似的物体上的问题,达到了提高跟踪对象的准确性的效果。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的对象跟踪方法的方法流程图;

图2是本发明另一实施例提供的对象跟踪方法的方法流程图;

图3是本发明另一实施例提供的位置和尺度的示意图;

图4是本发明另一实施例提供的一种计算第二跟踪结果的方法流程图;

图5是本发明另一实施例提供的全局包围盒与局部包围盒包含关系的的示意图;

图6是本发明另一实施例提供的全局包围盒与局部包围盒重叠的示意图;

图7是本发明另一实施例提供的第一局部跟踪结果与第二跟踪结果之间的偏移量的示意图;

图8是本发明一个实施例提供的对象跟踪装置的结构框图;

图9是本发明另一实施例提供的对象跟踪装置的结构框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1,其示出了本发明一个实施例提供的对象跟踪方法的方法流程图,该对象跟踪方法可以应用于终端中,该终端可以是智能电视、智能手机或者平板电脑等等。该对象跟踪方法,包括:

步骤101,获取对前一图像帧中的对象的第一跟踪结果。

步骤102,利用预设算法,根据第一跟踪结果计算对象在当前图像帧中的第二跟踪结果。

其中,预设算法是根据ct算法、stc算法和tld算法融合后得到的。

综上所述,本发明实施例提供的对象跟踪方法,通过融合ct算法、stc算法和tld算法,根据前一图像帧中的对象的第一跟踪结果来计算该对象在当前图像帧中的第二跟踪结果,使得终端可以通过预设算法来对图像中的对象进行更精确的跟踪,解决了ct算法无法识别出大小发生变化的对象、stc算法易受图像背景影响错误地跟踪到背景区域及tld算法容易跟踪到与对象相似的物体上的问题,达到了提高跟踪对象的准确性的效果。

请参考图2,其示出了本发明另一实施例提供的对象跟踪方法的方法流程图,该对象跟踪方法可以应用于终端中,该终端可以是智能电视、智能手机或者平板电脑等等。该对象跟踪方法,包括:

步骤201,获取对前一图像帧中的对象的第一跟踪结果。

第一跟踪结果包括对象在前一图像帧中的位置和尺度,其中,位置可以用坐标表示,尺度可以用长度和宽度表示,如尺度为90*90、100*100等等。

本实施例中,位置用于确定包围盒的中心点,尺度用于确定包围盒的大小,根据位置和尺度就可以确定包围盒。请参考图3,其中,人脸上的点31即为位置,人脸上的框即32为包围盒。

步骤202,利用预设算法,根据第一跟踪结果计算对象在当前图像帧中的第二跟踪结果。

其中,预设算法是根据ct算法、stc算法和tld算法融合后得到的。

请参考图4,在一种实现方式中,利用预设算法,根据第一跟踪结果计算对象在当前图像帧中的第二跟踪结果,包括:

步骤401,利用ct算法,根据第一跟踪结果计算对象在当前图像帧中的第一局部跟踪结果。

第一局部跟踪结果为终端利用ct算法对当前图像帧中的对象进行跟踪得到的结果。在一种实现方式中,终端可以利用现有的ct算法对当前图像帧中的对象进行跟踪。现有的ct算法中,终端需要对图像帧中的所有像素进行采样,再得到第一跟踪结果。本实施例中,由于终端只需要利用ct算法得到一个比较粗略的跟踪结果,因此,在另一种实现方式中,还可以对ct算法进行改进,只以粗略的网格形式采集样本,即,在当前视频图像帧中每隔m行n列像素采集一个样本,其中,m和n为正整数。通过以粗略的网格形式采集样本,可以减少采样得到的样本的数量,这样既减少了采样时的处理资源,也减少了根据采样得到的样本计算第一跟踪结果时的处理资源。

步骤402,利用stc算法,根据第一跟踪结果或第一局部跟踪结果计算对象在当前图像帧中的第二局部跟踪结果;分别计算第一局部跟踪结果和第二局部跟踪结果与第一正负模板集的相似度。

第二局部跟踪结果为终端利用stc算法对当前图像帧中的对象进行跟踪得到的结果。

其中,终端可以利用现有的stc算法对当前图像帧中的对象进行跟踪,即,终端利用stc算法使用第一跟踪结果对当前图像帧中的对象进行跟踪。此时,当前一图像帧与当前图像帧不连续时,这两个图像帧的背景的差距可能较大,得到的第二局部跟踪结果可能不准确。本实施例中,终端还可以利用stc算法使用第一局部跟踪结果对当前图像帧中的对象进行跟踪,这样,终端无需根据第一跟踪结果进行跟踪,也就不会受到前一图像帧的背景的影响,提高了第二局部跟踪结果的准确性。

第一正负模板集包括正模板集和负模板集,正模板集由至少一个正样本组成,该至少一个正样本用于表示不同姿态的对象;负模板集由至少一个负样本组成,至少一个负样本用于表示与对象相似的其他对象。

其中,计算第一局部跟踪结果与第一正负模板集的相似度,包括:计算第一局部跟踪结果与第一正负模板中的各个正样本的相似度,以及,第一局部跟踪结果与第一正负模板中的各个负样本的相似度;计算正样本的相似度加上负样本的相似度的数值,将正样本的相似度除以该数值,得到第一局部跟踪结果与第一正负模板集的相似度。

其中,第一局部跟踪结果与各个正样本的相似度,可以为第一局部跟踪结果与各个正样本的相似度中最大的相似度;还可以为第一局部跟踪结果与各个正样本的相似度的平均的相似度,本实施例不作限定;第一局部跟踪结果与各个负样本的相似度,可以为第一局部跟踪结果与各个负样本的相似度中最大的相似度;还可以为第一局部跟踪结果与各个负样本的相似度的平均的相似度,本实施例不作限定。

假设第一正负模板集包括10张正样本和10张负样本,第一局部跟踪结果与10张正样本的相似度中最大的相似度为0.6;第一局部跟踪结果与10张负样本的相似度中最大的相似度为0.4,则第一局部跟踪结果与第一正负模板集的相似度为0.6/(0.4+0.6)=0.6。

计算第二局部跟踪结果与第一正负模板集的相似度,与计算第一局部跟踪结果与第一正负模板集的相似度的流程相同,在此不作赘述。

步骤403,将相似度较大的跟踪结果确定为局部跟踪结果。

当第一局部跟踪结果的相似度大于第二局部跟踪结果的相似度时,将第一局部跟踪结果确定为局部跟踪结果;当第二局部跟踪结果的相似度大于第一局部跟踪结果的相似度时,将第二局部跟踪结果确定为局部跟踪结果。

步骤404,利用tld算法,计算对象在当前图像帧中的全局跟踪结果。

tld算法采用了以随机蕨分类器为主的级联分类器对当前图像帧进行全图检测,该tld算法在各个包围盒的尺度上采用滑动窗口对多个区域提取特征,并送入在线更新的级联分类器进行分类。对于包括对象的区域级联分类器会产生多个重叠的输出结果,该输出结果包括包围盒的位置和尺度,各个输出结果通过聚类融合在一起,作为tld算法的全局跟踪结果。

步骤405,检测全局跟踪结果是否为空,当全局跟踪结果为空时,执行步骤406;当全局跟踪结果非空时,执行步骤407。

当对象在当前图像帧中被其他物体遮挡时,当前图像帧中不存在对象,此时,全局跟踪结果为空。

其中,步骤404和步骤405可以在步骤401-403之前执行;也可以在步骤401-403之后执行;还可以和步骤401-403同时执行,本实施例不作限定。

步骤406,当全局跟踪结果为空时,将局部跟踪结果确定为第二跟踪结果,流程结束。

步骤407,当全局跟踪结果非空时,检测全局包围盒和局部包围盒是否是包含关系,当全局包围盒和局部包围盒是包含关系时,执行步骤408;当全局包围盒和局部包围盒不是包含关系时,执行步骤409。

当全局跟踪结果非空时,终端可以根据全局跟踪结果和局部跟踪结果的位置关系确定第二跟踪结果,即,根据全局包围盒与局部包围盒是否是包含关系确定第二跟踪结果。其中,全局包围盒是根据全局跟踪结果中的跟踪位置和包围盒的尺度确定的,局部包围盒是根据局部跟踪结果中的跟踪位置和包围盒的尺度确定的,包含关系是指全局包围盒包含局部包围盒,或者,包含关系是指局部包围盒包含全局包围盒。请参考图5,全局包围盒51包含局部包围盒52,确定全局包围盒全局包围盒51与局部包围盒52是包含关系。

步骤408,当全局包围盒和局部包围盒是包含关系时,若全局包围盒和局部包围盒的重叠率小于等于第二阈值,则将全局跟踪结果确定为第二跟踪结果;若全局包围盒和局部包围盒的重叠率大于第二阈值,则将局部跟踪结果确定为第二跟踪结果,流程结束。

其中,重叠率是指全局包围盒包括的像素集合与局部包围盒包括的像素集合的交集除以全局包围盒中包括的像素集合与局部包围盒中包括的像素集合的并集,请参考图6,全局包围盒61包括的像素集合与局部包围盒62包括的像素集合的交集(双斜线的部分)除以全局包围盒61包括的像素集合与局部包围盒62包括的像素集合的并集(右斜线阴影部分和双斜线的部分),得到重叠率。

若全局包围盒和局部包围盒是包含关系,且全局包围盒和局部包围盒的重叠率小于等于第二阈值,说明局部跟踪结果和全局跟踪结果确定的位置都是正确的,局部跟踪结果和全局跟踪结果的区别在于尺度不同,且全局跟踪结果确定的尺度远远大于局部跟踪结果确定的尺度,或者,全局跟踪结果确定的尺度远远小于局部跟踪结果确定的尺度。由于ct算法和stc算法无法调整尺度,而tld算法可以根据图像帧灵活调整尺度,因此,这里可以认为对象的尺度发生了变化,以全局跟踪结果确定的尺度为准,此时,认为全局跟踪结果更可信,将全局跟踪结果确定为第二跟踪结果;当全集跟踪结果的数量为多个时,将各个全集跟踪结果的平均值确定为第二跟踪结果。

若全局包围盒和局部包围盒是包含关系,且全局包围盒和局部包围盒的重叠率大于第二阈值,说明说明局部跟踪结果和全局跟踪结果确定的位置都是正确的,局部跟踪结果和全局跟踪结果的区别在于尺度不同,且全局跟踪结果确定的尺度与局部跟踪结果确定的尺度的差别不大,此时,认为局部跟踪结果更可信,将局跟踪结果确定为第二跟踪结果。

其中,第二阈值预设在终端中,本实施例不对第二阈值的数值作限定。

步骤409,当全局包围盒和局部包围盒不是包含关系时,获取全局包围盒和局部包围盒的重叠率;若全局包围盒和局部包围盒的重叠率大于等于第三阈值,则将局部跟踪结果确定为第二跟踪结果;若全局包围盒和局部包围盒的重叠率小于第三阈值,则计算局部跟踪结果与第一正负模板集的相似度,若相似度大于等于第四阈值,则将局部跟踪结果确定为第二跟踪结果;若相似度小于第四阈值,则将全局跟踪结果确定为第二跟踪结果。

当全局包围盒和局部包围盒不是包含关系时,通过获取全局包围盒和局部包围盒的重叠率,根据重叠率从全局跟踪结果和局部跟踪结果中选择第二跟踪结果。当全局包围盒和局部包围盒的重叠率大于等于第三阈值时,认为局部跟踪结果更可信。当全局包围盒和局部包围盒的重叠率小于第三阈值时,终端通过计算局部跟踪结果与第一正负模板集的相似度来确定第二跟踪结果。若相似度大于等于第四阈值,说明局部跟踪结果的是可信的,将该局部跟踪结果确定为第二跟踪结果;若相似度小于第四阈值,说明局部跟踪结果的是不可信的,则将全局跟踪结果确定为第二跟踪结果。其中,第三阈值和第四阈值预设在终端中,且本实施例不对第三阈值和第四阈值的数值作限定。

在步骤202之后,终端可以对stc算法中的时空上下文模型进行更新,若第二跟踪结果为局部跟踪结果,则根据局部跟踪结果更新时空上下文模型;若第二跟踪结果为全局跟踪结果,则重置时空上下文模型。

若第二跟踪结果为局部跟踪结果,说明上一图像帧和当前图像帧在时间上连续,则根据局部跟踪结果更新时空上下文模型,即可保证时空上下文模型的准确性;若第二跟踪结果为全局跟踪结果,说明上一图像帧和当前图像帧在时间上不连续,则重置时空上下文模型,此时,stc算法抛弃之前确定的背景信息,采用新的背景信息,建立起新的时空上下文模型,提高了后续计算得到的第二跟踪结果的准确性。

另外,终端得到的第二跟踪结果可能不准确,此时,为了提高终端确定对象在后续图像帧中的第二跟踪结果的准确性,还可以确定得到的第二跟踪结果的可信性,当第二跟踪结果可信时,对ct算法和tld算法进行更新,也即,执行步骤203。

步骤203,确定第二跟踪结果的可信性。

可信性包括可信和不可信。

若第二跟踪结果是步骤406得到的,则第二跟踪结果是不可信的。

若第二跟踪结果是步骤408得到的,则确定全局包围盒和局部包围盒的重叠率小于等于第二阈值的第二跟踪结果是可信的;确定全局包围盒和局部包围盒的重叠率大于第二阈值的第二跟踪结果是可信的。

若第二跟踪结果是步骤409得到的,则确定全局包围盒和局部包围盒的重叠率大于等于第三阈值的第二跟踪结果是可信的;确定全局包围盒和局部包围盒的重叠率小于第三阈值,且与第一正负模板集的相似度大于等于第四阈值的第二跟踪结果是可信的;确定全局包围盒和局部包围盒的重叠率小于第三阈值,且与第一正负模板集的相似度小于第四阈值的第二跟踪结果是不可信的。

步骤204,在可信性是可信时,根据第二跟踪结果更新预设算法。

具体地,在可信性是可信时,根据第二跟踪结果更新预设算法,包括:

利用与该第二跟踪结果的偏移量小于等于第五阈值的至少一个样本更新第二正负模板集中的正样本;利用与该第二跟踪结果的偏移量大于第六阈值且小于等于第七阈值的至少一个样本更新第二正负模板集中的负样本。

其中,第二正负模板集用于供ct算法计算得到第一局部跟踪结果。第五阈值、第六阈值和第七阈值预设在终端中,且第六阈值通常大于第五阈值,本实施例不对第五阈值、第六阈值和第七阈值的数值作限定。

偏移量是指样本的位置与第二跟踪结果的位置之间间隔的像素的数量,请参考图7,第二跟踪结果的位置71与样本的位置72之间间隔了一个像素,则偏移量为1。

若终端根据每个第二跟踪结果更新下一图像帧的第二正负模板集,在第二跟踪结果不可信时,会将错误的样本更新到第二正负模板集中,不仅浪费了终端的处理资源,还会导致后续计算得到的第一局部跟踪结果不准确。本实施例中,通过根据可信的第二跟踪结果更新第二正负模板集,使得终端可以选择性地对下一图像帧的第二正负模板集进行更新,不必对每一个图像帧的第二正负模板集进行更新,节省了终端的处理资源,且保证了第二正负模板集中各个正样本和负样本的准确性。

利用与第二跟踪结果的偏移量小于等于第八阈值的样本更新级联分类器中的正样本,并比较与第二跟踪结果的重叠率大于第九阈值的样本与第一正负模板集中的正样本的相似度,当相似度小于第十阈值时,利用与第二跟踪结果的重叠率大于第九阈值的样本更新第一正负模板集中的正样本;若存在全局跟踪结果,则利用全局跟踪结果中与第二跟踪结果的重叠率小于第十一阈值的样本更新级联分类器中的负样本,并比较全局跟踪结果中与第二跟踪结果的重叠率小于第十一阈值的样本与第一正负模板集中的负样本的相似度,当所述相似度大于第十二阈值时,利用全局跟踪结果中与第二跟踪结果的重叠率小于第十一阈值的样本更新第一正负模板集中的负样本。

其中,级联分类器中的正样本和负样本用于更新该级联分类器,该级联分类器中的正样本的作用与第一正负模板集中的正样本的作用不同,该级联分类器中的负样本的作用与第一正负模板集中的负样本的作用不同。

p-n学习中的p-expert(p-专家)将和每个图像帧的第二跟踪结果重叠率大于第九阈值的样本视为正样本,并将该正样本和第一正负模板集中的正样本比较相似度,若相似度小于第十阈值,则说明该正样本中的对象与第一正负模板集中的正样本中的对象相同,且该正样本中的对象是与第一正负模板集中的正样本中的对象的姿态不同,将该正样本加入正模板集;若相似度大于第十阈值,则说明该正样本中的对象与第一正负模板集中的正样本中的对象相同,且该正样本中的对象是与第一正负模板集中的正样本中的对象的姿态相同,则不将该正样本加入正模板集。其中,第八阈值、第九阈值、第十阈值预设在终端中,且本实施例不对第八阈值、第九阈值、第十阈值的数值作限定。

当存在全局跟踪结果时,p-n学习中的n-expert(n-专家)将全局跟踪结果中与第二跟踪结果的重叠率小于第十一阈值的样本视为负样本,将该负样本和第一正负模板集中的负样本比较相似度,若相似度大于第十二阈值,则说明该负样本中的对象与要跟踪的对象相似,将该负样本加入负模板集,以增加终端的区分能力;若相似度小于第十二阈值,则说明该负样本中的对象与要跟踪的对象不相似,不将该负样本加入负模板集。其中,第十一阈值、第十二阈值预设在终端中,且本实施例不对第十一阈值、第十二阈值的数值作限定。

需要说明的是,当第一正负模板集中样本的数量过多时,终端可以随机丢弃一些模板。

综上所述,本发明实施例提供的对象跟踪方法,通过融合ct算法、stc算法和tld算法,根据前一图像帧中的对象的第一跟踪结果来计算该对象在当前图像帧中的第二跟踪结果,使得终端可以通过预设算法来对图像中的对象进行更精确的跟踪,解决了ct算法无法识别出大小发生变化的对象、stc算法易受图像背景影响错误地跟踪到背景区域及tld算法容易跟踪到与对象相似的物体上的问题,达到了提高跟踪对象的准确性的效果。

另外,通过对ct算法进行改进,只以粗略的网格形式进行对当前图像帧进行采样,可以减少采样得到的样本的数量,这样既减少了采样时的处理资源,也减少了根据采样得到的样本计算第一跟踪结果时的处理资源。

另外,stc算法通过根据ct算法得到的第一局部跟踪结果计算第二局部跟踪结果,使得该stc算法无需直接根据前一图像帧的第一跟踪结果来计算第二局部跟踪结果,在前一图像帧与当前图像帧不连续时,终端无需根据第一跟踪结果进行跟踪,也就不会受到前一图像帧的背景的影响,提高了第二局部跟踪结果的准确性。

另外,通过根据第二跟踪结果的可信性更新预设算法,提高了终端确定对象在后续图像帧中的第二跟踪结果的准确性。

请参考图8,其示出了本发明一个实施例提供的对象跟踪装置的结构框图,该对象跟踪装置可以应用于终端中,该终端可以是智能电视、智能手机或者平板电脑等等。该对象跟踪装置,包括:获取模块810、计算模块820。

该获取模块810,用于获取对前一图像帧中的对象的第一跟踪结果;

该计算模块820,用于利用预设算法,根据获取模块810获取的第一跟踪结果计算对象在当前图像帧中的第二跟踪结果,预设算法是根据ct算法、stc算法和tld算法融合后得到的。

综上所述,本发明实施例提供的对象跟踪装置,通过融合ct算法、stc算法和tld算法,根据前一图像帧中的对象的第一跟踪结果来计算该对象在当前图像帧中的第二跟踪结果,使得终端可以通过预设算法来对图像中的对象进行更精确的跟踪,解决了ct算法无法识别出大小发生变化的对象、stc算法易受图像背景影响错误地跟踪到背景区域及tld算法容易跟踪到与对象相似的物体上的问题,达到了提高跟踪对象的准确性的效果。

请参考图9,其示出了本发明另一实施例提供的对象跟踪装置的结构框图,该对象跟踪装置可以应用于终端中,该终端可以是智能电视、智能手机或者平板电脑等等。该对象跟踪装置,包括:包括:获取模块910、计算模块920。

该获取模块910,用于获取对前一图像帧中的对象的第一跟踪结果;

该计算模块920,用于利用预设算法,根据获取模块910获取的第一跟踪结果计算对象在当前图像帧中的第二跟踪结果,预设算法是根据ct算法、stc算法和tld算法中的至少两种算法。

可选的,计算模块920,包括:获取单元921、计算单元922、确定单元923。

该获取单元921,用于获取对象在当前图像帧中的局部跟踪结果,局部跟踪结果是利用ct算法和stc算法中的至少一种得到的跟踪结果;

该计算单元922,用于利用tld算法,根据第一跟踪结果计算对象在当前图像帧中的全局跟踪结果;

该确定单元923,用于根据获取单元921获取的局部跟踪结果和计算单元922得到的全局跟踪结果确定第二跟踪结果。

可选的,该获取单元921,包括:第一计算子单元924、第二计算子单元925、第三计算子单元926、第一确定子单元927。

该第一计算子单元924,用于利用ct算法,根据第一跟踪结果计算对象在当前图像帧中的第一局部跟踪结果;

该第二计算子单元925,用于利用stc算法,根据第一跟踪结果或第一计算子单元924得到的第一局部跟踪结果计算对象在当前图像帧中的第二局部跟踪结果;

该第三计算子单元926,用于分别计算第一计算子单元924得到的第一局部跟踪结果和第二计算子单元925得到的第二局部跟踪结果与第一正负模板集的相似度;

该第一确定子单元927,用于将第三计算子单元926得到的相似度较大的跟踪结果确定为局部跟踪结果。

可选的,该确定单元923,包括:第一检测子单元9231、第二确定子单元9232、第三确定子单元9233。

该第一检测子单元9231,用于检测全局跟踪结果是否为空;

该第二确定子单元9232,用于当第一检测子单元9231检测出全局跟踪结果为空时,将局部跟踪结果确定为第二跟踪结果;

该第三确定子单元9233,用于当第一检测子单元9231检测出全局跟踪结果非空时,根据全局跟踪结果和局部跟踪结果的位置关系确定第二跟踪结果。

可选的,该第三确定子单元9233,包括:第二检测子单元9234、第四确定子单元9235、获取子单元9236、第五确定子单元9237、第六确定子单元9238。

该第二检测子单元9234,用于检测全局包围盒和局部包围盒是否是包含关系,全局包围盒是根据全局跟踪结果中的跟踪位置和包围盒的尺度确定的,局部包围盒是根据局部跟踪结果中的跟踪位置和包围盒的尺度确定的,包含关系是指全局包围盒包含局部包围盒,或者,包含关系是指局部包围盒包含全局包围盒包括的像素的全集;

该第四确定子单元9235,用于当第二检测子单元9234检测出全局包围盒和局部包围盒是包含关系时,若全局包围盒和局部包围盒的重叠率小于等于第二阈值,则将全局跟踪结果确定为第二跟踪结果;若全局包围盒和局部包围盒的重叠率大于第二阈值,则将局部跟踪结果确定为第二跟踪结果;

该获取子单元9236,用于当第二检测子单元9234检测出全局包围盒和局部包围盒不是包含关系时,获取全局包围盒和局部包围盒的重叠率;

该第五确定子单元9237,用于当获取子单元9236得到的全局包围盒和局部包围盒的重叠率大于等于第三阈值时,将局部跟踪结果确定为第二跟踪结果。

该第六确定子单元9238,用于当获取子单元9236得到的全局包围盒和局部包围盒的重叠率小于第三阈值时,计算局部跟踪结果与第一正负模板集的相似度,若相似度大于等于第四阈值,则将局部跟踪结果确定为第二跟踪结果;若相似度小于第四阈值,则将全局跟踪结果确定为第二跟踪结果。

可选的,利用预设算法,根据第一跟踪结果计算对象在当前图像帧中的第二跟踪结果之后,该装置还包括:确定模块930、更新模块940。

该确定模块930,用于确定第二跟踪结果的可信性;

该第一更新模块940,用于在所述确定模块930确定出所述可信性是可信时,根据第二跟踪结果更新预设算法。

可选的,该第一更新模块940,包括:第一更新单元941、第二更新单元942。

该第一更新单元941,用于利用与第二跟踪结果的偏移量小于等于第五阈值的至少一个样本更新第二正负模板集中的正样本;利用与第二跟踪结果的偏移量大于第六阈值且小于等于第七阈值的至少一个样本更新第二正负模板集中的负样本;

该第二更新单元942,用于利用与第二跟踪结果的偏移量小于等于第八阈值的样本更新级联分类器中的正样本,并比较与第二跟踪结果的重叠率大于第九阈值的样本与第一正负模板集中的正样本的相似度,当相似度小于第十阈值时,利用与第二跟踪结果的重叠率大于第九阈值的样本更新第一正负模板集中的正样本;在存在全局跟踪结果时,利用全局跟踪结果中与第二跟踪结果的重叠率小于第十一阈值的样本更新级联分类器中的负样本,并比较全局跟踪结果中与第二跟踪结果的重叠率小于第十一阈值的样本与第一正负模板集中的负样本的相似度,当相似度大于第十二阈值时,利用全局跟踪结果中与第二跟踪结果的重叠率小于第十一阈值的样本更新第一正负模板集中的负样本。

可选的,该装置还包括:第二更新模块950。

该第二更新模块950,用于在第二跟踪结果为局部跟踪结果时,根据局部跟踪结果更新时空上下文模型;在第二跟踪结果为全局跟踪结果时,重置时空上下文模型。

综上所述,本发明实施例提供的对象跟踪装置,通过融合ct算法、stc算法和tld算法,根据前一图像帧中的对象的第一跟踪结果来计算该对象在当前图像帧中的第二跟踪结果,使得终端可以通过预设算法来对图像中的对象进行更精确的跟踪,解决了ct算法无法识别出大小发生变化的对象、stc算法易受图像背景影响错误地跟踪到背景区域及tld算法容易跟踪到与对象相似的物体上的问题,达到了提高跟踪对象的准确性的效果。

另外,通过对ct算法进行改进,只以通过粗略的网格形式进行对当前图像帧进行采样,可以减少采样得到的样本的数量,这样既减少了采样时的处理资源,也减少了根据采样得到的样本计算第一跟踪结果时的处理资源。

另外,stc算法通过根据ct算法得到的第一局部跟踪结果计算第二局部跟踪结果,使得该stc算法无需直接根据前一图像帧的第一跟踪结果来计算第二局部跟踪结果,在前一图像帧与当前图像帧不连续时,终端无需根据第一跟踪结果进行跟踪,也就不会受到前一图像帧的背景的影响,提高了第二局部跟踪结果的准确性。

另外,通过根据第二跟踪结果的可信性更新预设算法,提高了终端确定对象在后续图像帧中的第二跟踪结果的准确性。

需要说明的是:上述实施例提供的对象跟踪装置在进行对象跟踪时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将对象跟踪装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的对象跟踪装置与对象跟踪方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1