一种实现对象跟踪的方法及装置与流程

文档序号:28219106发布日期:2021-12-28 23:30阅读:83来源:国知局
一种实现对象跟踪的方法及装置与流程

1.本技术涉及但不限于计算机视觉技术,尤指一种实现对象跟踪的方法及装置。


背景技术:

2.随着短视频行业的蓬勃发展,催生和带动了很多计算机视觉技术的研究。目前,客户对视频中良好个人形象的要求日益上升,以对象为人脸为例,比如:要提供精准的美颜则需要依赖稳定且准确的人脸特征点定位及配套人脸跟踪算法。其中,人脸特征点是指:脸部五官的轮廓边界线、脸外部边界线等有清晰边界线的人脸区域划分下形成的一系列均匀分布的特征点。人脸跟踪是指在一段视频中持续跟踪选定人脸目标。在实际应用场景中,由于对象如人脸运动会引起检测到的特征点抖动,需要采取方法消除或减缓这种抖动以使得特征点稳定。
3.鉴于目前这样的需求,亟需一种稳定且准确的对象(如人脸)特征点定位及配套跟踪算法。


技术实现要素:

4.本技术提供一种实现对象跟踪的方法及装置,能够提供稳定且准确的对象特征点检测和对象跟踪。
5.本发明实施例提供了一种实现对象跟踪的方法,包括:
6.对当前待处理的图片帧进行整图检测,获得一个以上当前待处理的图片帧中对象的第一检测结果;
7.对满足预先设置的特征点检测条件的第一检测结果提取对象特征点;
8.展示提取的对象特征点为跟踪结果,并根据第一检测结果确定下一轮的跟踪对象。
9.在一种示例性实例中,所述对当前待处理的图片帧进行检测之前,还包括:
10.判断所述当前待处理的第i帧图片是否是预先设置的数值k的倍数,如果是,则继续执行所述对当前待处理的图片帧进行检测的步骤;如果不是,则将上一帧图片的检测结果作为当前的所述第一检测结果;
11.其中,i表示所述当前待处理的图片帧是第几帧图片,k是大于1的整数。
12.在一种示例性实例中,判断出所述当前待处理的第i帧图片不是预先设置的数值k的倍数,还包括:
13.对所述上一帧图片的第一检测结果进行更新;
14.根据更新后的所述上一帧图片的第一检测结果预测所述当前待处理的图片帧的所述第一检测结果。
15.在一种示例性实例中,还包括:
16.对所述获得的一个以上第一检测结果与所述上一帧图片的第一检测结果进行比对,将满足预先设置的重合条件的第一检测结果作为所述第一检测结果。
17.在一种示例性实例中,所述对获得的一个以上第一检测结果与上一帧图片的第一检测结果进行比对,将满足重合条件的第一检测结果作为所述第一检测结果,包括:
18.计算所述当前帧图片的第一检测结果和所述上一帧图片的第一检测结果的交并比iou;
19.根据计算得到的iou对当前检测到的所述第一检测结果进行优化,得到满足重合条件的第一检测结果。
20.在一种示例性实例中,所述特征点检测条件包括:所述第一检测结果对应区域的面积小于预先设置的面积阈值;
21.所述对满足预先设置的特征点检测条件的第一检测结果提取对象特征点之前,还包括:
22.判断所述第一检测结果对应区域的面积是否小于所述面积阈值,如果所述第一检测结果对应区域的面积小于所述面积阈值,满足所述特征点检测条件,继续执行所述提取对象特征点的步骤;如果所述第一检测结果对应区域的面积不小于所述面积阈值,不满足所述特征点检测条件,对所述第一检测结果返回空值,结束。
23.在一种示例性实例中,所述展示提取的对象特征点为跟踪结果之前,还包括:
24.确定所述提取的对象特征点对应的第一检测结果对应区域满足跟踪条件。
25.在一种示例性实例中,所述确定所述提取的对象特征点对应的第一检测结果对应区域满足跟踪条件,包括:
26.判断所述对象特征点构成的区域是否为完整且正确的对象,如果判断结果为所述对象特征点构成的区域是完整且正确的对象,确定所述对象特征点对应的第一检测结果对应区域满足跟踪条件;如果判断结果为所述对象特征点构成的区域不是完整且正确的对象,确定所述对象特征点对应的第一检测结果对应区域不满足跟踪条件,对所述第一检测结果返回空值,结束。
27.在一种示例性实例中,所述展示提取的对象特征点为跟踪结果之前,还包括:对所述提取出的每一个对象特征点的位置进行滤波处理。
28.在一种示例性实例中,所述对提取出的每一个对象特征点的位置进行滤波处理之后,所述根据第一检测结果确定下一轮的跟踪对象之前,还包括:
29.对经过所述滤波处理的对象特征点,取点位中的x坐标和y坐标的最大值、最小值以构成新的第一检测结果;
30.根据新的第一检测结果和所述上一帧图片的第一检测结果进行iou计算,以重新调整所述第一检测结果;
31.按照处理后的第一检测结果进行为下一轮的跟踪。
32.在一种示例性实例中,所述根据新的第一检测结果和上一帧图片的第一检测结果进行iou计算,重新调整第一检测结果,包括:
33.根据所述当前帧的新的第一检测结果和所述上一帧图片的第一检测结果计算iou;
34.对于所述当前帧的每一个第一检测结果,分别与所述前一帧的每一个第一检测结果进行遍历对比,如果所述当前帧的第一检测结果中某一个第一检测结果与所述前一帧的某个第一检测结果的iou超过预先设置的第一个重合阈值,则认为两者的位置高度重合,保
存所述新的第一检测结果。
35.本技术还提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行上述任一项所述实现对象跟踪的方法。
36.本技术又提供一种实现对象跟踪的设备,包括存储器和处理器,其中,存储器中存储有以下可被处理器执行的指令:用于执行上述任一项所述的实现对象跟踪的方法的步骤。
37.过本技术实施例提供的实现对象跟踪的方法,很好地实现了资源消耗和跟踪效率的平衡,间隔式拉起检测过程,而在非检测时间段则进行跟踪,严密地实现了对象的跟踪过程。
38.在本技术一个实施例中,通过对第一检测结果是否满足预先设置的重合条件的判断,和/或对第一检测结果是否与上一帧图片的第一检测结果是否高度重合的判断,和/或对提取出的对象特征点构成的区域是否为完整且正确的对象的判断,使得通过本技术对检测到的对象框反复修正,确保了过小目标和判断错误的目标不会一直错误传导到最后,从而避免了遮挡后识别漂移的问题。
39.在本技术一个实施例中,通过针对提取的对象特征点的平滑滤波并反向作用于最终的对象检测框的过程,实现了前后检测的图像帧之间的相互制约、相互矫正,共同确保了最终跟踪结果的稳定性,从而提供了稳定且准确的对象特征点检测和对象跟踪。
40.本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
41.附图用来提供对本技术技术方案的进一步理解,并且构成说明书的一部分,与本技术的实施例一起用于解释本技术的技术方案,并不构成对本技术技术方案的限制。
42.图1为本技术实施例中实现对象跟踪的方法的流程示意图;
43.图2为本技术实施例中实现对象跟踪的装置的组成结构示意图;
44.图3为本技术实施例中实现对象跟踪的方法应用于美颜应用的效果展示示意图。
具体实施方式
45.为使本技术的目的、技术方案和优点更加清楚明白,下文中将结合附图对本技术的实施例进行详细说明。需要说明的是,在不冲突的情况下,本技术中的实施例及实施例中的特征可以相互任意组合。
46.在本技术一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
47.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
48.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd

rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
49.在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
50.相关技术中,以对象为人脸为例,基于人脸特征点定位的高级美颜算法已经在很多应用程序软件中被大量使用,但是,有的相关技术中,对人脸特征点的跟踪稳定性较差,会出现较大幅度肉眼可见的抖动,不利于美颜等效果的释放;有的相关技术中,当人脸跟踪一旦出现异物遮挡在面部,会导致部分被遮挡的点位的识别不够精准,甚至出现点位漂移的现象,这将对美妆中的贴图等功能造成很大影响。
51.为了实现对现有应用的支撑,需要有效稳定的人脸特征点跟踪方案。本技术实施例提供一种实现对象跟踪的方法及装置迫在眉睫,旨在提供稳定且准确的对象跟踪方案。
52.图1为本技术实施例中实现对象跟踪的方法的流程示意图,如图1所示,至少包括:
53.步骤100:对当前待处理的图片帧整图进行检测,获得一个以上当前待处理的图片帧中对象的第一检测结果。
54.在一种示例性实例中,本步骤中的对当前待处理的图片帧的检测是针对整图的检测。对于对象为人脸的应用场景,第一检测结果为人脸检测框。
55.在一种示例性实例中,本步骤之前还可以包括:
56.判断当前待处理的第i帧图片是否是预先设置的数值k的倍数,如果是,则继续执行步骤100;如果不是,则将上一帧图片的检测结果作为当前的第一检测结果。其中,i表示当前待处理的图片帧是第几帧图片,k是大于1的整数,即隔k帧启动一次对图片帧的检测。
57.也就是说,本技术实施例中实现对象跟踪的方法并不会对所有帧图片进行检查,而是仅对满足条件的图片帧进行检测。而且,这样的方式使得本技术实施例提供的对象跟踪方法能够灵活地适用于不同的应用场景。比如:对于活动量相对少的应用场景,如视频会议等,可以将数值k的取值设置得比较大一些,这样既能保证检测满足跟踪需求,也能节省运算资源;再如:对于活动量比较大的应用场景,如超市等,可以将数值k的取值设置得比较小一些,以免丢帧,从而保证检测满足跟踪需求;又如:对于活动量一般的应用场景,如加油站等,可以将数值k的取值设置为适中,同时兼顾满足跟踪需求和节约资源。
58.在一种示例性实例中,当判断出当前待处理的第i帧图片不是预先设置的数值k的倍数时,还可以包括:
59.对上一帧图片(本文指的是上一轮处理的图片帧)的第一检测结果进行更新,比如:使用简单在线实时跟踪(sort,simple online and realtime tracking)算法对上一帧图片的检测结果进行更新,以实现对上一帧图片的第一检测结果中多个目标检测结果的更新,从而实现根据更新后的上一帧图片的第一检测结果来预测当前帧的第一检测结果。这里,sort算法已经开源,具体实现属于本领域技术人员容易实现的,这里不再赘述。
60.在一种示例性实例中,步骤100还可以包括:
61.对获得的一个以上第一检测结果与上一帧图片的第一检测结果进行比对,将满足预先设置的重合条件的第一检测结果作为步骤100获得的第一检测结果。
62.在一种示例性实例中,对获得的一个以上第一检测结果与上一帧图片的第一检测结果进行比对,将满足重合条件的第一检测结果作为步骤100获得的第一检测结果,可以包括:
63.计算两张图片即当前帧图片的第一检测结果和上一帧图片的第一检测结果的交并比(iou,intersection over union);
64.根据计算得到的iou情况对当前检测到的第一检测结果进行优化,得到满足重合条件的第一检测结果。
65.其中,iou计算的是当前待处理的图片帧的第一检测结果和上一帧图片的第一检测结果的交集和并集的比值。以人脸跟踪为例,iou计算的是当前待处理的图片帧的若干个人脸检测框边框和上一帧图片的若干个人脸检测框边框的交集和并集的比值。
66.在一种示例性实例中,以对象为人脸的人脸跟踪为例,对获得的一个以上第一检测结果与上一帧图片的第一检测结果进行比对,将满足重合条件的第一检测结果作为步骤100获得的第一检测结果,可以包括:
67.步骤11:根据当前待检测的图片帧的人脸检测结果(人脸框)和上一帧图片帧的人脸检测结果(人脸框)计算iou;
68.步骤12:将当前待处理图像帧的每一个人脸检测框分别与上一帧图像的每一个人脸检测框进行遍历比对,反复调用步骤11以计算iou,直到逐个对比完成。
69.步骤13:如果当前待处理图像帧的某一个人脸检测框与上一帧图像的某一个人脸检测框的iou大于或等于预先设置的第一个重合阈值,则认为这两个人脸检测框的位置高度重合,如果这两个人脸检测框的iou还大于或等于预先设置的第二个重合阈值,则认为这两个人脸检测框几乎完全重合,为了保证跟踪的稳定性,将上一帧的人脸检测框直接赋值给当前待处理图像帧的检测结果,即将上一帧图像的人脸检测框作为当前待处理图像帧的人脸检测框;
70.如果当前待处理图像帧的某一个人脸检测框与上一帧图像的某一个人脸检测框的iou大于或等于第一个重合阈值,但小于第二个重合阈值,那么,可以进一步在进行对象特征点提取后,对人脸特征点进行平滑处理,将处理后的人脸框作为当前待处理图像帧的人脸检测框;
71.如果当前待处理图像帧的某一个人脸检测框与上一帧图像的某一个人脸检测框的iou小于第一个重合阈值,那么,直接将当前待处理图像帧的某一个人脸检测框作为最终优化结果保存。
72.进一步地,还可以包括:
73.如果上一帧传入结果是空即上一帧图片的帧数不是预先设置的数值k的倍数,那么,当前待处理的图片帧的检测结果(包括若干个人脸检测框)直接作为步骤100中的第一检测结果,不再做优化,结束;如果上一帧传入结果是非空即上一帧图片的帧数是预先设置的数值k的倍数,那么,进入步骤12。
74.在一种示例性实例中,在获得最新检测到的人脸特征点后,如果某一个人脸特征
点结果介于高度重合与完全重合之间,那么,为了消除抖动,在高度重合和完全重合之间,利用如1欧元过滤器(one

euro filter1)获取一个点位移值没有那么大的中间结果作为此帧的优化结果,即上述平滑处理。
75.在一种示例性实例中,第一个重合阈值小于第二个重合阈值。第一个重合阈值和第二个重合阈值设置得越高,实现对象跟踪灵敏度越高,跟踪结果越准确。第一个重合阈值和第二个重合阈值的设置可以根据对象跟踪的适用场景来设置,比如:对于活动量相对少的应用场景,如视频会议等,可以将第一个重合阈值和第二个重合阈值设置得比较高一些,这样既能保证检测满足跟踪需求,也能节省运算资源;再如:对于活动量比较大的应用场景,如超市等,可以将第一个重合阈值和第二个重合阈值设置得比较低一些,以免丢帧,从而保证检测满足跟踪需求;又如:对于活动量一般的应用场景,如加油站等,可以将第一个重合阈值和第二个重合阈值设置为适中,同时兼顾满足跟踪需求和节约资源。
76.步骤101:对满足预先设置的特征点检测条件的第一检测结果提取对象特征点。
77.在一种示例性实例中,特征点检测条件可以包括但不限于如:第一检测结果对应区域的面积小于预先设置的面积阈值;步骤101之前还可以包括:
78.判断第一检测结果对应区域的面积如人脸框的面积是否小于预先设置的面积阈值,如果第一检测结果对应区域的面积如人脸框的面积小于预先设置的面积阈值,则满足预先设置的特征点检测条件,继续执行步骤101;如果第一检测结果对应区域的面积如人脸框的面积不小于预先设置的面积阈值,那么,不满足预先设置的特征点检测条件,检测结果为空,即对该第一检测结果返回一个空值,结束。
79.在一种示例性实例中,经过步骤101的处理后,对于某个满足特征点检测条件的第一检测结果,可以得到一个或多个对象特征点。
80.以对象为人脸为例,步骤101可以包括:
81.使用人脸检测器对面积小于预先设置的面积阈值的人脸框提取人脸特征点。这里,人脸特征点提取的方法并不用于限定本技术的保护范围,这里不再赘述。通过对人脸特征点的提取,对于每个满足特征点检测条件的人脸框,可以得到一个或多个人脸特征点。
82.步骤102:展示提取的对象特征点为跟踪结果,并根据第一检测结果确定下一轮的检测对象。
83.在一种示例性实例中,步骤102之前还可以包括:
84.确定提取的对象特征点对应的第一检测结果对应区域满足跟踪条件后,执行将提取的对象特征点作为跟踪结果展示给用户的步骤,以及根据第一检测结果确定下一轮的跟踪对象。
85.在一种示例性实例中,根据第一检测结果确定下一轮的检测对象,包括:
86.如果当前帧为第一帧,则直接将第一检测结果作为下一次的跟踪对象进行后续跟踪处理。如果当前帧不是第一帧,那么,会结合上一帧的跟踪结果来确定下一轮的跟踪对象:如果上一帧的跟踪结果为有跟踪结果,那么,可以通过比对来确定下一轮的跟踪对象,如果上一帧的跟踪结果为没有跟踪结果,那么将第一检测结果作为下一轮的跟踪对象进行后续跟踪处理。
87.在一种示例性实例中,还可以包括:确定对象特征点对应的第一检测结果对应区域是否满足跟踪条件。在一种实施例中,如何确定是否满足跟踪条件可以包括:
88.判断对象特征点构成的区域(即对象特征点对应的第一检测结果对应区域)是否为完整且正确的对象,如果判断结果为对象特征点构成的区域是完整且正确的对象,那么确定对象特征点对应的第一检测结果对应区域满足跟踪条件;如果判断结果为对象特征点构成的区域不是完整且正确的对象,那么确定对象特征点对应的第一检测结果对应区域不满足跟踪条件,此时还可以包括:检测结果为空,即对该第一检测结果返回一个空值,结束。
89.需要说明的是,判断对象特征点构成的区域是否为完整且正确的对象的方法很多,本技术中不再赘述具体如何实现,只要采用任意一种通用的解决方案即可实现。
90.在一种示例性实例中,步骤102还可以包括:对提取出的每一个对象特征点的位置进行滤波处理,使得整个点位的稳定性得到进一步提升。在一种实施例中,可以采用如筛选界标(refined landmark)算法、1欧元过滤器(one

euro filter1)算法等,其中,1欧元过滤器的本质是一个低通滤波器。
91.在一种示例性实例中,在根据第一检测结果确定下一轮的检测对象之前,或者,在对提取出的每一个对象特征点的位置进行滤波处理之后,根据第一检测结果确定下一轮的检测对象之前,还可以包括:
92.对提取的对象特征点或经过滤波处理的对象特征点,取点位中的x坐标和y坐标的最大值、最小值以构成新的第一检测结果(如人脸框);
93.根据新的第一检测结果(如人脸框)和上一帧图片的第一检测结果(如人脸框)进行iou计算,以重新调整第一检测结果(如人脸框);
94.按照处理后的第一检测结果进行下一轮的跟踪。
95.在一种示例性实例中,根据新的第一检测结果(如人脸框)和上一帧图片的第一检测结果(如人脸框)进行iou计算,以重新调整第一检测结果(如人脸框),可以包括:
96.根据当前帧的新的第一检测结果(如人脸框)和上一帧图片的第一检测结果(如人脸框)计算iou;
97.如果上一帧图片的第一检测结果是空,那么,当前帧的新的第一检测结果不再做优化,这一步直接返回,结束流程;如果上一帧图片的第一检测结果是非空,那么,对于当前帧的每一个第一检测结果(如每一个人脸框),分别与前一帧的每一个第一检测结果(如每一个人脸框)进行遍历对比,对比阈值的计算反复调用计算iou的步骤,如果当前帧的第一检测结果中某一个第一检测结果(如某个人脸框)与前一帧的第一检测结果(如某个人脸框)的iou超过预先设置的第一个重合阈值,则认为两者的位置高度重合,将这个新的第一检测结果作为最终优化结果保存。
98.举个例子来看,以对象跟踪场景中只包括一个人为例,如果上一帧的跟踪结果和当前帧的跟踪结果的iou值相差很大,即完全不重合,那么,上一帧的跟踪结果和当前帧的跟踪结果对应的两个人是不同的人,那么将有两个id传入下一轮的跟踪过程;如果iou判断后高度重合,那么,上一帧的跟踪结果和当前帧的跟踪结果对应的两个人是同一个人,此时,只有一个id传入下一轮的跟踪过程。这就是处理后的第一检测结果,这样,每次重新开始全新的检测前,都要对索引进行一次检测,看看到底是一样的还是不同的,一样的那就什么都不变,合并为一个结果传输即可;不同则变为两个id一起传输给下一轮的跟踪过程。
99.再举例来看,以对象跟踪场景中包括两个人为例,假设上一帧的跟踪结果中只有一个人,当前帧的跟踪结果中有两个人,并假设当前帧的跟踪结果中的两个人中的一个人
和上一帧的跟踪结果中的唯一的那个人高度重合,那么,这两个结果就是一个人,合并处理,得到id1。此时,当前帧的跟踪结果中剩下的那个人显然是一个新的跟踪结果(id2),需要将其作为一个新的跟踪结果的id2和合并的那个人的id2作为两个id一同传入下一轮的跟踪过程。如果当前帧的两个人和上一帧的那个人的结果的iou都不匹配,那么,表明上一帧的跟踪结果移动太大,则删除上一帧的跟踪结果,直接按照当前帧的两个人的跟踪结果作为最新和唯一的结果传入下一轮的跟踪过程。
100.本技术实施例提供的实现对象跟踪的方法,很好地实现了资源消耗和跟踪效率的平衡,间隔式拉起检测过程,而在非检测时间段则进行跟踪,严密地实现了对象的跟踪过程。
101.在本技术一个实施例中,通过对第一检测结果是否满足预先设置的重合条件的判断,和/或对第一检测结果是否与上一帧图片的第一检测结果是否高度重合的判断,和/或对提取出的对象特征点构成的区域是否为完整且正确的对象的判断,使得通过本技术对检测到的对象框反复修正,确保了过小目标和判断错误的目标不会一直错误传导到最后,从而避免了遮挡后识别漂移的问题。
102.在本技术一个实施例中,通过针对提取的对象特征点的平滑滤波并反向作用于最终的对象检测框的过程,实现了前后检测的图像帧之间的相互制约、相互矫正,共同确保了最终跟踪结果的稳定性,从而提供了稳定且准确的对象特征点检测和对象跟踪。
103.本技术实施例提供的实现对象跟踪的方法,可以应用于人脸跟踪应用场景中,平衡了跟踪效率和资源使用率;而且,通过引入针对人脸特征点的平滑滤波并反向作用于最终的人脸检测框的机制,实现了前后检测的图像帧之间的相互制约、相互矫正,共同确保了最终人脸特征点结果的稳定性,从而提供稳定且准确的人脸特征点检测和人脸跟踪。
104.本技术还提供一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行图1任一项所述的实现对象跟踪的方法。
105.本技术再提供一种实现对象跟踪的设备,包括存储器和处理器,其中,存储器中存储有以下可被处理器执行的指令:用于执行图1任一项所述的实现对象跟踪的方法的步骤。
106.图2为本技术实施例中实现对象跟踪的装置的组成结构示意图,如图2所示,包括:第一检测模块、第二检测模块、处理模块,其中,
107.第一检测模块,用于对当前待处理的图片帧进行检测,获得一个以上第一检测结果;
108.第二检测模块,用于对满足预先设置的特征点检测条件的第一检测结果提取对象特征点;
109.处理模块,用于展示提取的对象特征点为跟踪结果,并根据第一检测结果确定下一轮的检测对象。
110.在一种示例性实例中,第一检测模块还用于:
111.判断当前待处理的第i帧图片是否是预先设置的数值k的倍数,如果是,则继续对当前待处理的图片帧进行检测;如果不是,则将上一帧图片的检测结果作为当前的第一检测结果。其中,i表示当前待处理的图片帧是第几帧图片,k是大于1的整数,即隔k帧启动一次对图片帧的检测。
112.在一种示例性实例中,第一检测模块还用于:
113.对获得的一个以上第一检测结果与上一帧图片的第一检测结果进行比对,将满足预先设置的重合条件的第一检测结果作为获得的第一检测结果。
114.在一种示例性实例中,特征点检测条件可以包括但不限于如:第一检测结果对应区域的面积小于预先设置的面积阈值;第二检测模块还用于:
115.判断第一检测结果对应区域的面积如人脸框的面积是否小于预先设置的面积阈值,如果第一检测结果对应区域的面积如人脸框的面积小于预先设置的面积阈值,则满足预先设置的特征点检测条件,继续对满足预先设置的特征点检测条件的第一检测结果提取对象特征点;如果第一检测结果对应区域的面积如人脸框的面积不小于预先设置的面积阈值,那么,不满足预先设置的特征点检测条件,检测结果为空,即对该第一检测结果返回一个空值,结束。
116.在一种示例性实例中,处理模块还用于:
117.确定提取的对象特征点对应的第一检测结果对应区域满足跟踪条件后,执行将提取的对象特征点作为跟踪结果展示给用户,以及将与上一帧的对应检测结果的区域高度重合的对象特征点对应的区域作为下一帧的索引重新开始。
118.在一种示例性实例中,处理模块还用于:确定对象特征点对应的第一检测结果对应区域是否满足跟踪条件。在一种实施例中,具体用于:
119.判断对象特征点构成的区域(即对象特征点对应的第一检测结果对应区域)是否为完整且正确的对象,如果判断结果为对象特征点构成的区域是完整且正确的对象,那么确定对象特征点对应的第一检测结果对应区域满足跟踪条件;如果判断结果为对象特征点构成的区域不是完整且正确的对象,那么确定对象特征点对应的第一检测结果对应区域不满足跟踪条件,此时还可以包括:检测结果为空,即对该第一检测结果返回一个空值,结束。
120.在一种示例性实例中,处理模块还用于:
121.对提取出的每一个对象特征点的位置进行滤波处理,使得整个点位的稳定性得到进一步提升。
122.在一种示例性实例中,处理模块还用于:
123.对提取的对象特征点或经过滤波处理的对象特征点,取点位中的x坐标和y坐标的最大值、最小值以构成新的第一检测结果(如人脸框);
124.根据新的第一检测结果(如人脸框)和上一帧图片的第一检测结果(如人脸框)进行iou计算,以重新调整第一检测结果(如人脸框);
125.按照处理后的第一检测结果进行下一轮的跟踪。
126.本技术实施例提供的实现对象跟踪的装置,很好地实现了资源消耗和跟踪效率的平衡,间隔式拉起检测过程,而在非检测时间段则进行跟踪,严密第实现了对象的跟踪过程。
127.在本技术一个实施例中,通过对第一检测结果是否满足预先设置的重合条件的判断,和/或对第一检测结果是否与上一帧图片的第一检测结果是否高度重合的判断,和/或对提取出的对象特征点构成的区域是否为完整且正确的对象的判断,使得通过本技术对检测到的对象框反复修正,确保了过小目标和判断错误的目标不会一直错误传导到最后,从而避免了遮挡后识别漂移的问题。
128.在本技术一个实施例中,通过针对提取的对象特征点的平滑滤波并反向作用于最
终的对象检测框的过程,实现了前后检测的图像帧之间的相互制约、相互矫正,共同确保了最终跟踪结果的稳定性,从而提供了稳定且准确的对象特征点检测和对象跟踪。
129.本技术实施例提供的实现对象跟踪的装置,可以应用于人脸跟踪应用场景中,平衡了跟踪效率和资源使用率;而且,通过引入针对人脸特征点的平滑滤波并反向作用于最终的人脸检测框的机制,实现了前后检测的图像帧之间的相互制约、相互矫正,共同确保了最终人脸特征点结果的稳定性,从而提供稳定且准确的人脸特征点检测和人脸跟踪。
130.图3为本技术实施例中实现对象跟踪的方法应用于美颜应用的效果展示示意图,如图3所示,按照本技术实施例提供的上述任一种方法,可以找到如图3中左图中显示的监测结果点位,这里,为了简单清楚仅以人脸边缘的点为例进行说明。在得到脸边缘的点位后,根据这些点位通过相关技术中的美型算法,精准地实现了对人脸的瘦脸效果,瘦脸后的人脸如图3中右图所示。
131.虽然本技术所揭露的实施方式如上,但所述的内容仅为便于理解本技术而采用的实施方式,并非用以限定本技术。任何本技术所属领域内的技术人员,在不脱离本技术所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本技术的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1