目标跟踪方法、装置、计算机设备及存储介质与流程

文档序号:22030459发布日期:2020-08-28 17:17阅读:124来源:国知局
目标跟踪方法、装置、计算机设备及存储介质与流程

本申请实施例涉及计算机技术领域,特别涉及一种目标跟踪方法、装置、计算机设备及存储介质。



背景技术:

随着计算机技术的发展,目标跟踪技术的应用越来越广泛。目标跟踪技术通过确定多个图像帧中的目标所在的区域实现对目标的跟踪,可以应用于视频人流统计、视频监控、嫌疑人追踪等领域。

相关技术中提供了一种目标跟踪方法,根据每个图像帧的特征向量进行目标检测,分别确定每个图像帧的目标区域,从而能够根据多个图像帧的目标区域确定目标的移动轨迹。但是,上述方法仅是以单个图像帧为单位,分别确定每个图像帧的目标区域,准确性差。



技术实现要素:

本申请实施例提供了一种目标跟踪方法、装置、计算机设备及存储介质,能够提高确定的目标区域组合链的准确性。所述技术方案如下:

一方面,提供了一种目标跟踪方法,所述方法包括:

获取按序排列的多个图像帧;

将所述多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,相邻的任两个图像组包括至少一个相同的图像帧和至少一个不同的图像帧;

对所述多个图像组进行处理,得到每个图像组的至少一条目标区域链,每条目标区域链包括属于同一个目标的多个目标区域,且所述多个目标区域分别位于对应图像组中的不同图像帧中;

根据所述多个图像组的目标区域链及所述多个图像组的排列顺序,创建至少一个目标的目标区域组合链。

另一方面,提供了一种目标跟踪装置,所述装置包括:

图像帧获取模块,用于获取按序排列的多个图像帧;

图像组获取模块,用于将所述多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,相邻的任两个图像组包括至少一个相同的图像帧和至少一个不同的图像帧;

图像组处理模块,用于对所述多个图像组进行处理,得到每个图像组的至少一条目标区域链,每条目标区域链包括属于同一个目标的多个目标区域,且所述多个目标区域分别位于对应图像组中的不同图像帧中;

区域组合链创建模块,用于根据所述多个图像组的目标区域链及所述多个图像组的排列顺序,创建至少一个目标的目标区域组合链。

在一种可能实现方式中,所述图像组处理模块,包括:

特征向量获取单元,用于获取第一图像组中所述预设数目个图像帧的特征向量,所述第一图像组为所述多个图像组中的任一图像组;

目标区域链获取单元,用于对所述第一图像组中所述预设数目个图像帧的特征向量进行处理,得到所述第一图像组的至少一条目标区域链。

在另一种可能实现方式中,所述特征向量获取单元,还用于将第二图像组中指定图像帧的特征向量,确定为所述第一图像组中对应的指定图像帧的特征向量,所述第二图像组为所述多个图像组中所述第一图像组的前一个图像组,所述指定图像帧为所述第一图像组和所述第二图像组中相同的图像帧;对所述第一图像组中除所述指定图像帧外的其他图像帧进行特征提取,得到所述其他图像帧的特征向量。

在另一种可能实现方式中,所述目标区域链获取单元,还用于根据所述第一图像组中第一个图像帧的特征向量进行目标检测,得到所述第一个图像帧的至少一个初始区域;根据所述第一图像组中所述预设数目个图像帧的特征向量,对所述至少一个初始区域进行处理,分别得到所述预设数目个图像帧的目标区域,所述至少一个初始区域与所述第一图像组中每个图像帧的至少一个目标区域一一对应;将所述预设数目个图像帧中,属于同一个目标且属于不同图像帧的目标区域进行关联,得到所述第一图像组的至少一条目标区域链。

在另一种可能实现方式中,所述目标区域链获取单元,还用于根据所述第一图像组中第一个图像帧的特征向量进行目标检测,得到所述第一个图像帧的多个初始区域,及所述多个初始区域对应的概率;从所述多个初始区域中,选取概率大于预设阈值的至少一个初始区域。

在另一种可能实现方式中,目标检测模型包括特征提取子模型和特征检测子模型;

所述特征向量获取单元,还用于调用所述特征提取子模型,获取第一图像组中所述预设数目个图像帧的特征向量;

所述目标区域链获取单元,还用于调用所述特征检测子模型,对所述第一图像组中所述预设数目个图像帧的特征向量进行处理,得到所述第一图像组的至少一条目标区域链。

在另一种可能实现方式中,所述区域组合链创建模块,包括:

第一确定单元,用于对于相邻的任两个图像组,将所述任两个图像组中相同的图像帧作为指定图像帧,将所述指定图像帧的目标区域作为指定目标区域;

区域匹配关系确定单元,用于根据所述任两个图像组中的指定图像帧及指定目标区域,确定所述任两个图像组之间的目标区域匹配关系,所述目标区域匹配关系包括第一个图像组中任一个指定图像帧的任一目标区域,与第二个图像组中相同的指定图像帧中属于同一个目标的目标区域之间的匹配关系;

区域链匹配关系确定单元,用于根据所述任两个图像组的目标区域链及所述目标区域匹配关系,确定所述任两个图像组之间的目标区域链匹配关系,所述目标区域链匹配关系包括所述第一个图像组的任一条目标区域链,与所述第二个图像组的属于同一个目标的目标区域链之间的匹配关系;

区域组合链组合单元,用于根据所述目标区域链匹配关系,将任一目标区域链中除所述指定目标区域外的其他目标区域,与所述任一目标区域链匹配的另一目标区域链进行组合,得到所述目标区域组合链。

在另一种可能实现方式中,所述区域匹配关系确定单元,还用于根据所述任两个图像组中的指定图像帧及指定目标区域,确定多组备选匹配关系,所述备选匹配关系包括所述第一个图像组中任一指定图像帧的每个指定目标区域,与所述第二个图像组中相同的指定图像帧中任一指定目标区域之间的匹配关系,且所述多组备选匹配关系不同;将每组备选匹配关系中每两个匹配的指定目标区域的相似度之和,分别确定为所述每组备选匹配关系的匹配度;从所述多组备选匹配关系中,选取匹配度最大的备选匹配关系,确定为所述目标区域匹配关系。

在另一种可能实现方式中,所述第二图像组的第二个图像帧与所述第一图像组的第一个图像帧相同;

所述图像组处理模块,还包括:

目标区域预测单元,用于所述第二图像组的第一目标区域链包括所述第二图像组的第二个图像帧中的任一中断目标区域,所述中断目标区域与所述第一图像组的第一个图像帧中的每个指定目标区域均不匹配,则在所述第一图像组的第一个图像帧中,预测与所述中断目标区域属于同一目标的预测目标区域。

在另一种可能实现方式中,所述装置还包括:

目标区域预测模块,用于根据所述第一图像组中所述预设数目个图像帧的特征向量,对所述预测目标区域进行映射处理,分别得到所述第一图像组中其他图像帧的预测目标区域;

目标区域关联模块,用于将所述预设数目个图像帧中属于不同图像帧的预测目标区域进行关联,得到所述第一图像组的预测目标区域链。

在另一种可能实现方式中,所述装置还包括:

匹配关系添加模块,用于在所述第二图像组与所述第一图像组之间的目标区域匹配关系中,添加所述中断目标区域与所述预测目标区域的匹配关系。

在另一种可能实现方式中,所述图像帧获取模块,包括:

图像帧获取单元,用于获取视频数据,对所述视频数据进行抽帧处理,得到所述多个图像帧。

在另一种可能实现方式中,所述装置还包括:

视频数据更新模块,用于根据所述至少一个目标的目标区域组合链,在所述视频数据中添加所述至少一个目标的移动轨迹,得到更新后的视频数据;

视频数据播放模块,用于播放更新后的视频数据,以显示所述至少一个目标按照对应的移动轨迹移动的画面。

另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如上述方面所述的目标跟踪方法。

另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现如上述方面所述的目标跟踪方法。

本申请实施例提供的技术方案带来的有益效果至少包括:

本申请实施例提供的方法、装置、计算机设备及存储介质,获取按序排列的多个图像帧,将多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,对多个图像组进行处理,得到每个图像组的至少一条目标区域链,根据多个图像组的目标区域链及多个图像组的排列顺序,创建至少一个目标的目标区域组合链。根据多个图像帧创建多个图像组,以图像组为单位获取目标区域链,使每个图像组中不同的图像帧的目标区域存在关联关系,提高了目标检测的准确性,而且不同的图像组中包括相同的图像帧,使多个图像组的目标区域链存在关联关系,能够构成目标区域组合链,从而实现了对目标的跟踪,且提高了目标区域组合链的准确性。

通过特征提取子模型和特征检测子模型,根据每个图像组的预设数目个图像帧的特征向量,确定每个图像组的至少一条目标区域链,提高了确定的目标区域链的准确性,从而提高了目标区域组合链的准确性,也提高了确定的目标的移动轨迹的准确性。

在将任两个图像组的目标区域链进行组合时,通过确定两个图像组中相同的指定图像帧的指定目标区域之间的目标区域匹配关系,从而确定两个图像组中目标区域链之间的目标区域链匹配关系,以使能够根据确定的目标区域链匹配关系将不同图像组的目标区域链进行组合,提高了得到的目标区域组合链的准确性,从而提高了确定的目标的移动轨迹的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种实施环境的示意图;

图2是本申请实施例提供的一种目标跟踪方法的流程图;

图3是本申请实施例提供的一种目标跟踪方法的流程图;

图4是本申请实施例提供的一种目标区域链的的示意图;

图5是本申请实施例提供的一种目标跟踪方法的流程图;

图6是本申请实施例提供的一种目标区域匹配关系的示意图;

图7是本申请实施例提供的一种目标跟踪方法的流程图;

图8是本申请实施例提供的一种目标跟踪方法的流程图;

图9是本申请实施例提供的一种显示目标移动轨迹的示意图;

图10是本申请实施例提供的一种目标跟踪方法的流程图;

图11是本申请实施例提供的一种确定目标区域匹配关系的流程图;

图12是本申请实施例提供的一种调用目标检测模型获取图像组的目标区域链的流程图;

图13是本申请实施例提供的一种获取多个图像组的目标区域链的流程图;

图14是本申请实施例提供的一种目标跟踪装置的结构示意图;

图15是本申请实施例提供的一种目标跟踪装置的结构示意图;

图16是本申请实施例提供的一种终端的结构示意图;

图17是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像组称为第二图像组,且类似地,可将第二图像组称为第一图像组。

本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”,至少一个包括一个、两个或两个以上,多个包括两个或两个以上,而每个是指对应的多个中的每一个,任一是指多个中的任意一个。举例来说,多个元素包括3个元素,而每个是指这3个元素中的每一个元素,任一是指这3个元素中的任意一个,可以是第一个,可以是第二个、也可以是第三个。

人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

机器学习(machinelearning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

本申请实施例提供的方案,基于人工智能的机器学习技术,可以训练特征提取子模型和特征检测子模型,利用训练后的特征提取子模型和特征检测子模型,实现了目标跟踪方法。

本申请实施例提供的目标跟踪方法,可以用于计算机设备中,计算机设备获取按序排列的多个图像帧,将该多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,对该多个图像组进行处理,得到每个图像组的至少一条目标区域链,根据多个图像组的目标区域链及该多个图像组的排列顺序,创建至少一个目标的目标区域组合链。

该计算机设备包括终端或服务器,其中,该服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(contentdeliverynetwork,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。

图1是本申请实施例提供的一种实施环境的结构示意图,如图1所示,该实施环境包括终端101和服务器102。终端101与服务器102建立通信连接,通过建立的通信连接进行交互。

终端101拍摄目标,获取到按序排列的多个图像帧,将多个图像帧发送给服务器102,服务器102获取到该多个图像帧,将该多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,对该多个图像组进行处理,得到每个图像组的至少一条目标区域链,根据多个图像组的目标区域链及该多个图像组的排列顺序,创建至少一个目标的目标区域组合链,服务器102根据至少一个目标的目标区域组合链,在视频数据中添加至少一个目标的移动轨迹,得到更新后的视频数据,将更新够的视频数据发送给终端101,终端101播放更新后的视频数据,以显示至少一个目标按照对应的移动轨迹移动的画面。

本申请实施例提供的方法,可用于目标跟踪的场景。

例如,人流统计场景下:

终端拍摄路口,获取到视频数据,对视频数据进行抽帧处理,得到按序排列的多个图像帧后,采用本申请实施例提供的目标跟踪方法,创建至少一个目标的目标区域组合链,根据多张图像帧中出现的至少一个目标的目标区域组合链,确定在该视频数据中出现的目标的个数,从而实现对该路口的人流统计。

再例如,疑似感染者追踪场景下:

在疫情防控期间,终端通过获取到疫情防控区域的多个图像帧,采用本申请实施例提供的目标跟踪方法,创建至少一个目标的目标区域组合链,根据该至少一个目标的目标区域组合链,确定该至少一个目标的移动轨迹,从而可以确定出现在疫情防控区域的至少一个目标的移动轨迹,通过确定的移动轨迹,可以确定至少一个目标出现在疫情防控区域,将该至少一个目标确定为疑似感染者,后续可以对该至少一个目标进行隔离,避免病毒的传播,从而提高了疫情防控的有效性。

图2是本申请实施例提供的一种目标跟踪方法的流程图,应用于计算机设备中,如图2所示,该方法包括:

201、获取按序排列的多个图像帧。

其中,图像帧为包括目标的图像,该图像帧可以是通过拍摄目标得到的,也可以是通过对视频数据进行抽帧处理得到的。该多个图像帧可以是按照拍摄时间的先后顺序排列,也可以是按照多个图像帧的序号进行排序,也可以是按照其他顺序排列等。

202、将多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组。

其中,预设数目可以为任意设置的数值,如2、3或者5等。多个图像组的排列顺序可以是按照图像组的生成时间先后顺序排列,也可以是以图像组中包括的图像帧的排列顺序进行排列,如按照图像组中包括的图像帧的时间先后顺序排列。

在该多个图像组中,不同的图像组中包括的图像帧不完全相同,相邻的任两个图像组包括至少一个相同的图像帧和至少一个不同的图像帧。例如,按序排列的多个图像帧包括图像帧1、图像帧2、图像帧3、图像帧4,预设数目为2,则可以将图像帧1和图像帧2作为图像组a,将图像帧2和图像帧3作为图像组b,将图像帧3和图像帧4作为图像组c,将得到的多个图像组按照图像帧的先后顺序排列,即该多个图像组的排列顺序为:图像组a、图像组b及图像组c。

203、对多个图像组进行处理,得到每个图像组的至少一条目标区域链。

其中,每条目标区域链包括属于同一个目标的多个目标区域,且多个目标区域分别位于对应图像组中的不同图像帧中。该目标区域为目标在图像帧中所处的区域,该目标可以为人、汽车等。

对于任一图像组,该图像组的任一图像帧中可以包括至少一个目标,且任一目标可以出现在该图像组的至少一个图像帧中,则可以确定每个图像帧中至少一个目标的目标区域,通过将该图像组中预设数目个图像帧中,属于同一目标的目标区域进行关联,得到该目标的目标区域链,从而得到该图像组的至少一条目标区域链,一个目标具有一条目标区域链。

204、根据多个图像组的目标区域链及多个图像组的排列顺序,创建至少一个目标的目标区域组合链。

其中,每条目标区域组合链包括属于同一个目标的多个目标区域,且该多个目标区域分别位于不同图像帧中。例如,目标1的目标区域组合链包括4个目标区域,第一个目标区域位于多个图像帧中的第四个图像帧中,第二个目标区域位于多个图像帧中的第五个图像帧中,第三个目标区域位于多个图像帧中的第六个图像帧中,第四个目标区域位于多个图像帧中的第七个图像帧中。

由于每个图像组具有至少一个目标区域链,相邻的图像组中包括至少一个不同的图像帧,则按照多个图像组的排列顺序,将任一目标在多个图像组中的目标区域链进行关联,可以得到该目标在不同的图像帧中的目标区域,从而创建该目标的目标区域组合链。

本申请实施例提供的方法,获取按序排列的多个图像帧,将多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,对多个图像组进行处理,得到每个图像组的至少一条目标区域链,根据多个图像组的目标区域链及多个图像组的排列顺序,创建至少一个目标的目标区域组合链。根据多个图像帧创建多个图像组,以图像组为单位获取目标区域链,使每个图像组中不同的图像帧的目标区域存在关联关系,提高了目标检测的准确性,而且不同的图像组中包括相同的图像帧,使多个图像组的目标区域链存在关联关系,能够构成目标区域组合链,从而实现了对目标的跟踪,且提高了目标区域组合链的准确性。

图3是本申请实施例提供的一种目标跟踪方法的流程图,应用于计算机设备中,如图3所示,该方法包括:

301、计算机设备获取视频数据,对视频数据进行抽帧处理,得到多个图像帧。

其中,视频数据是连续的图像序列,该视频数据中包括多个连续的图像帧。该视频数据可以是计算机设备拍摄得到的,也可以是接收其他设备发送的视频数据。

获取视频数据的目的是进行目标跟踪,该视频数据中的一个或多个图像帧中包括需要跟踪的目标,该目标为可以为行人、汽车等。通过对视频数据进行抽帧处理,从连续的图像序列中抽取图像帧,从而得到多个图像帧,且得到的多个图像帧可以按照时间先后顺序排列,以使后续能够通过多个图像帧实现对目标的跟踪。

在一种可能实现方式中,该步骤301可以包括:获取视频数据,按照预设时间间隔对该视频数据进行抽帧处理,得到多个图像。

其中,预设时间间隔可以是任意时长,如0.1秒、0.2秒等。通过预设时间间隔进行抽帧处理得到的多个图像中,任两个相邻的图像之间的间隔均为该预设时间间隔。

需要说明的是,本申请实施例是以对视频数据抽帧处理得到多个图像帧,而在另一实施例中,无需执行步骤301,可以采取其他方式获取按序排列的多个图像帧。例如计算机设备获取视频数据,获取该视频数据包括的每一个图像帧,得到多个图像帧。

302、计算机设备将多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组。

其中,预设数目可以为任意设置的数值,如2、3或者5等。多个图像组的排列顺序可以是按照图像组的生成时间先后顺序排列,也可以是以图像组中包括的图像帧的排列顺序进行排列,如按照图像组中包括的图像帧的时间先后顺序排列。

在该多个图像组中,不同的图像组中包括的图像帧不完全相同,相邻的任两个图像组包括至少一个相同的图像帧和至少一个不同的图像帧。例如,按序排列的多个图像帧包括图像帧1、图像帧2、图像帧3、图像帧4,预设数目为2,则可以将图像帧1和图像帧2作为图像组a,将图像帧2和图像帧3作为图像组b,将图像帧3和图像帧4作为图像组c,将得到的多个图像组按照图像帧的先后顺序排列,即该多个图像组的排列顺序为:图像组a、图像组b及图像组c。

在一种可能实现方式中,该步骤302可以包括:按照多个图像帧的排列顺序,将每预设数目个相邻的图像帧作为一个图像组,得到按序排列的多个图像组。

其中,预设数目个相邻的图像帧表示该预设数目个图像帧在多个图像的排列顺序中是两两相邻的。例如,多个图像帧包括:图像帧1、图像帧2、图像帧3、图像帧4、图像帧5及图像帧6,预设数目为3,则预设数目个相邻的图像帧可以为图像帧1、图像帧2及图像帧3,也可以为图像帧2、图像帧3及图像帧4,也可以为图像帧3、图像帧4及图像帧5,也可以为图像帧4、图像帧5及图像帧6。

在得到多个图像组时,按照多个图像帧的排列顺序,从多个图像的第一个图像开始,依次将每个图像帧作为起始图像帧,从起始图像帧开始,选取预设数目个图像帧作为一个图像组,得到多个图像组,每个图像组中包括的预设数目个图像帧在按序排列的多个图像帧中是两两相邻的,该多个图像组可以按照每个图像组的起始图像帧在多个图像的排列顺序进行排列。例如,多个图像帧包括:图像帧1、图像帧2、图像帧3及图像帧4,预设数目为2,分别将图像帧1、图像帧2、图像帧3作为第一个图像帧,从而得到多个图像组:图像组a包括图像帧1及图像帧2,图像组b包括图像帧2及图像帧3,图像组c包括图像帧3及图像帧4。

303、计算机设备调用特征提取子模型,获取第一图像组中预设数目个图像帧的特征向量。

其中,第一图像组为多个图像组中的任一图像组。特征提取子模型为用于提取图像帧的特征向量的模型。特征向量是用于表示图像帧的特征的向量,不同的图像帧的特征向量不同。将任一图像组的预设数目个图像帧输入至该特征提取子模型中,该特征提取子模型输出该图像组中每个图像帧的特征向量。该特征提取子模型可以为resnet50(residualnetwork50,残差网络模型50)、fpn(featurepyramidnetworks,特征金字塔网络模型)、googlenet(googlenetworks,一种网络模型)、shufflenet(shufflenetworks,卷积压缩网络模型),也可以为resnet50和fpn组成的网络模型。

在一种可能实现方式中,该第一图像组为多个图像组中第一个图像组,则该步骤303可以包括:计算机设备调用特征提取子模型,对第一图像组中每个图像帧进行特征提取,得到第一图像组中每个图像帧的特征向量。

在一种可能实现方式中,该第一图像组不是多个图像组中第一个图像组,且计算机设备按照多个图像组的排列顺序,依次获取每个图像组中图像帧的特征向量,则该步骤303可以包括:将第二图像组中指定图像帧的特征向量,确定为第一图像组中对应的指定图像帧的特征向量,调用特征提取子模型,对第一图像组中除指定图像帧外的其他图像帧进行特征提取,得到其他图像帧的特征向量。

其中,第二图像组为多个图像组中第一图像组的前一个图像组,指定图像帧为第一图像组和第二图像组中相同的图像帧。由于第一图像组和第二图像组中包括至少一个相同的图像帧,则可以将第一图像组和第二图像组中相同的图像帧均作为指定图像帧。第二图像组中指定图像帧的特征向量是调用特征提取子模型获取到的,即调用特征提取子模型对第二图像组中的指定图像帧进行特征提取后,得到的特征向量。由于计算机设备是按照多个图像组的排列顺序依次获取每个图像组中图像帧的特征向量,则在获取第一图像组中的图像帧的特征向量之前,已经通过调用特征提取子模型,获取到了第二图像组中每个图像帧的特征向量,即也获取到了第二图像组中指定图像帧的特征向量。

在本申请实施例中,计算机设备按照多个图像组的排列顺序,调用特征提取子模型,依次获取每个图像组中图像帧的特征向量。由于相邻的任两个图像组中包括至少一个相同的图像帧,因此,为了避免重复提取相同的图像帧的特征向量,在获取第一图像组中的图像帧的特征向量时,可以获取第二图像组中指定图像帧的特征向量,作为该第一图像组中指定图像帧的特征向量,使在获取第一图像组中预设数目个图像帧的特征向量时,只需获取除指定图像帧外的其他图像帧的特征向量即可,节省了获取图像帧的特征向量的时间,从而实现了一种特征向量共享机制。

在一种可能实现方式中,计算机设备按照多个图像组的排列顺序,调用特征提取子模型,依次获取每个图像组中图像帧的特征向量,计算机设备调用特征提取子模型,获取到当前的图像组中预设数目个图像帧的特征向量后,将当前的图像组的预设数目个图像帧的特征向量存储至内存中,响应于调用特征提取子模型,获取到下一个图像组中预设数目个图像帧的特征向量后,将下一个图像组中预设数目个图像帧的特征向量存储至内存中,将前一个图像组中预设数目个图像帧的特征向量删除。

计算机设备按照多个图像组的排列顺序,依次获取多个图像组中预设数目个图像帧的特征向量时,每次获取当前的图像组中图像帧的特征向量后,将当前的图像组的特征向量存储至内存中,以使在获取下一个图像组中图像帧的特征向量时,可以获取两个图像组中的指定图像帧的特征向量,避免了重复获取相同图像帧的特征向量,节省了获取图像帧的特征向量的时间,使内存中始终存储上一个图像组中图像帧的特征向量,从而实现了一种内存共享机制,降低了获取图像帧的特征向量的耗时。

304、计算机设备调用特征检测子模型,对第一图像组中预设数目个图像帧的特征向量进行处理,得到第一图像组的至少一条目标区域链。

其中,特征检测子模型用于根据图像帧的特征向量,获取图像帧中至少一个目标的目标区域链。每条目标区域链表示对应的目标在多个图像帧的目标区域之间的关联关系,每条目标区域链包括属于同一个目标的多个目标区域,且多个目标区域分别位于对应图像组中的不同图像帧中。

调用特征检测子模型对第一图像组中预设数目个图像帧的特征向量进行处理,可以得到预设数目个图像帧中的每个图像帧中的至少一个目标的目标区域,将该预设数目个图像帧中属于同一目标的目标区域进行关联,得到目标区域链,从而得到该第一图像组的至少一条目标区域链。如图4所示,第一图像组包括图像帧1和图像帧2,图像帧1中包括两个目标区域,图像帧2中包括两个目标区域,将图像帧1和图像帧2中属于同一目标的目标区域进行关联,得到两条目标区域链。

在一种可能实现方式中,该步骤304可以包括:按照第一图像组中预设数目个图像帧的排列顺序,将第一图像组中预设数目个图像帧的特征向量进行组合,得到该第一图像组的特征向量,调用特征检测子模型,对第一图像组的特征向量进行处理,得到第一图像组的至少一条目标区域链。

在对第一图像组中预设数目个图像帧的特征向量进行组合时,可以按照预设数目个图像帧的排列顺序,依次将每个图像帧的特征向量进行拼接,将拼接后的特征向量作为第一图像组的特征向量,使第一图像组的特征向量包括该预设数目个图像帧中每个图像帧的特征向量。

通过将预设数目个图像帧的特征向量进行组合,在调用特征检测子模型对第一图像组的特征向量进行处理,使得到的每个图像帧中的目标区域与其他图像帧的目标区域相关,提高了检测目标区域的准确性,从而提高了目标区域链的准确性。

在一种可能实现方式中,如图5所示,该步骤304包括以下步骤3041-3043:

3041、调用特征检测子模型,根据第一图像组中第一个图像帧的特征向量进行目标检测,得到第一个图像帧的至少一个初始区域。

其中,初始区域用于表示第一个图像帧中目标所处的区域。在调用特征检测子模型进行目标检测时,可以以检测框的形式对图像帧中进行目标检测,响应于目标检测框内包括目标时,将该检测框所在的区域确定为初始区域,从而得到第一个图像帧中的至少一个初始区域。

在一种可能实现方式中,该步骤3041可以包括:调用特征检测子模型,根据第一图像组中第一个图像帧的特征向量进行目标检测,得到第一个图像帧的多个初始区域,及该多个初始区域对应的概率,从多个初始区域中,选取概率大于预设阈值的至少一个初始区域。

其中,初始区域对应的概率用于表示初始区域中包括目标的概率,概率越大,表示对应的初始区域中包括目标的可能性越大,概率越小,表示对应的初始区域中包括目标的可能性越小。该预设阈值可以是任意设置的数值,如0.5、0.7等,通过设置的预设阈值,响应于概率大于预设阈值,可以确定初始区域中包括目标,响应于概率小于预设阈值,可以确定初始区域中不包括目标。

通过从第一个图像帧的多个初始区域中,选取概率大于预设阈值的至少一个初始区域,提高了确定的至少一个初始区域的准确性,从而提高了后续通过至少一个初始区域得到的至少一条目标区域链的准确性。

3042、根据第一图像组中预设数目个图像帧的特征向量,对至少一个初始区域进行处理,分别得到预设数目个图像帧的目标区域。

其中,目标区域用于表示图像帧中目标所处的区域,该目标区域可以用检测框的形式表示,也可以以坐标的形式表示,如目标区域为矩形,则该目标区域可以用矩形左上角的坐标和矩形右下角的坐标表示,也可以用矩形右下角的坐标和矩形左上角的坐标表示。

至少一个初始区域与第一图像组中每个图像帧的至少一个目标区域一一对应。例如,第一个图像帧中包括3个初始区域,则第一图像组中每个图像帧中均包括3个目标区域,且该3个目标区域分别与3个初始区域一一对应。

在根据第一图像组中预设数目个图像帧的特征向量,对至少一个初始区域进行处理时,由于至少一个初始区域位于第一个图像帧中,则对第一个图像帧中的至少一个初始区域进行调整处理,得到第一个图像帧中的至少一个目标区域;对于第一图像组中除第一个图像帧外的其他图像帧,根据至少一个初始区域进行映射处理,得到该至少一个初始区域在其他图像帧中对应的目标区域。

对于同一个目标,该目标在不同的图像帧中的目标区域可能会相同,也可能会不同,且由于同一个图像组中的多个图像帧是相邻的,在同一个图像组的不同的图像帧中,目标的目标区域变化差异小,因此,通过同一个图像组中第一个图像帧中的初始区域,在该图像组中的其他图像帧进行映射处理时,通过对初始区域进行小的平移,即可确定该目标在其他图像帧中的目标区域,从而得到预设数目个图像帧的目标区域。

3043、将预设数目个图像帧中,属于同一个目标且属于不同图像帧的目标区域进行关联,得到第一图像组的至少一条目标区域链。

由于每个图像帧中包括至少一个目标区域,在同一个图像帧中,不同的目标区域所属的目标不同,因此,通过将预设数目个图像帧中的至少一个目标区域,按照所属目标是否相同来进行关联,得到至少一条目标区域链,且不同的目标区域链所属的目标不同。

例如,一个图像组中包括图像帧1、图像帧2及图像帧3,每个图像帧中包括3个目标,即目标a、目标b和目标c,则将图像帧1、图像帧2及图像帧3中属于目标a的目标区域进行关联,得到目标a的一条目标区域链,将图像帧1、图像帧2及图像帧3中属于目标b的目标区域进行关联,得到目标b的一条目标区域链,将图像帧1、图像帧2及图像帧3中属于目标c的目标区域进行关联,得到目标c的一条目标区域链。

另外,对于该特征检测子模型,该特征检测子模型包括分类层和回归层。通过特征检测子模型的分类层,根据第一图像组中第一个图像帧的特征向量进行目标检测,可以区分第一个图像帧中的目标或背景,从而得到第一图像帧中包含目标的初始区域。通过特征检测子模型的回归层,根据第一图像组中预设数目个图像帧的特征向量,对第一图像帧的初始区域进行处理,得到第一图像组的每个图像帧的目标区域。其中,目标区域可以用坐标表示,也即是得到第一图像组的每个图像帧的目标区域的坐标。

需要说明的是,本申请实施例是以通过特征提取子模型和特征检测子模型,获取第一图像组的至少一条目标区域链进行说明的,而在另一实施例中,无需执行步骤303-304,可以通过调用目标检测模型,对多个图像组进行处理,得到每个图像组的至少一条目标区域链。

另外,在调用特征检测子模型之前,需要对特征检测子模型进行训练,该特征检测子模型可以是由计算机设备进行训练的,也可以是由其他设备训练之后发送给计算及设备的。

计算机设备获取多个样本集合,每个样本集合包括一个样本图像组的预设数目个图像帧的特征向量及该样本图像组的样本目标区域链,将多个样本图像组的预设数目个图像帧的特征向量作为该特征检测子模型的输入,将多个样本图像组的样本目标区域链作为该特征检测子模型的输出,对该特征检测子模型进行训练。

在对该特征检测子模型进行训练过程中,调用特征检测子模型,对任一样本图像组的预设数目个图像帧的特征向量进行处理,得到该样本图像组的预测目标区域链,根据该样本图像组的预测目标区域链及该样本图像组的样本目标区域链,确定预测目标区域链与样本目标区域链之间的差异,根据该差异对特征检测子模型进行调整,以减小预测目标区域链与样本目标区域链之间的差异。

在对该特征检测子模型的训练过程中,根据该样本图像组的预测目标区域链及该样本图像组的样本目标区域链,确定该特征检测子模型的损失函数的输出值,根据该损失函数的输出值,对该特征检测子模型进行调整,响应于该特征检测子模型的损失函数的输出值小于预设损失阈值,停止对该特征检测子模型进行训练,得到训练后的特征检测子模型。其中,损失函数的输出值是根据预测目标区域链与样本目标区域链之间的差异计算出来得到的值,该预设损失阈值可以为任意设置的数值,如0.3、0.2等。

另外,在对该特征检测子模型进行训练时,对于分类分支可以采用focalloss(焦点损失函数),对于回归分支,采用smoothl1(smoothl1loss,绝对损失函数),通过将两个分支的损失函数加权求和,作为该特征检测子模型的损失函数。其中,分类分支和回归分支的损失函数的权重可以任意设置。

需要说明的是,本申请实施例是以通过特征提取子模型和特征检测子模型,获取第一图像组的至少一条目标区域链进行说明的,而在另一实施例中,在执行步骤303-304时,无需调用特征提取子模型和特征检测子模型,可以由计算机设备直接执行相应的步骤即可。

305、计算机设备对于相邻的任两个图像组,将任两个图像组中相同的图像帧作为指定图像帧,将指定图像帧的目标区域作为指定目标区域。

由于相邻的任两个图像组中包括至少一个相同的图像帧和至少一个不同的图像帧,则可以将其中相同的图像帧作为指定图像帧,将指定图像帧中包括的目标区域作为指定目标区域。

306、计算机设备根据任两个图像组中的指定图像帧及指定目标区域,确定任两个图像组之间的目标区域匹配关系。

其中,目标区域匹配关系用于表示任两个图像组中任一相同的指定图像帧的指定目标区域之间的匹配关系,目标区域匹配关系包括第一个图像组中任一个指定图像帧的任一目标区域,与第二个图像组中相同的指定图像帧中属于同一个目标的目标区域之间的匹配关系。在确定任两个图像组之间的目标区域匹配关系时,可以通过km(kuhn-munkres,二分图最大权匹配)算法、二分图匹配算法、贪婪法等确定。

例如,第一个图像组中的指定图像帧中包括目标区域1、目标区域2及目标区域3,第二个图像组中相同的指定图像帧中包括目标区域4、目标区域5及目标区域6,则两个图像组之间的目标区域匹配关系如表1所示,目标区域1与目标区域4匹配、目标区域2与目标区域4匹配、目标区域3与目标区域6匹配。

表1

任两个图像组中,相同的指定图像帧包括的目标相同,将该两个图像组中相同的指定图像帧中的指定目标区域进行匹配,确定属于同一个目标的指定目标区域之间的匹配关系。

例如,图像组a包括图像帧1和图像帧2,图像组b包括图像帧2和图像帧3,图像组a中包括两条目标区域链,图像组b中包括两条目标区域链。图像组a的图像帧2与图像组b的图像帧2均包括两个目标区域,确定的图像组a的图像帧2与图像组b的图像帧2的目标区域之间的匹配关系如图6所示。

在一种可能实现方式中,如图7所示,该步骤306可以包括以下步骤3061-3063:

3061、根据任两个图像组中的指定图像帧及指定目标区域,确定多组备选匹配关系。

其中,备选匹配关系包括第一个图像组中任一指定图像帧的每个指定目标区域,与第二个图像组中相同的指定图像帧中任一指定目标区域之间的匹配关系,且多组备选匹配关系不同。

同一指定图像帧中可以包括多个指定目标区域,则在将两个图像组的指定图像帧的多个指定目标区域进行匹配时,有多种匹配方式,可以得到多种匹配关系,则将多种匹配关系均作为备选匹配关系。例如,第一个图像组中的任一指定图像帧中包括指定目标区域1及指定目标区域2,第二个图像组中相同的指定图像帧中包括指定目标区域3及指定目标区域4,则可以确定2组匹配关系,第一组匹配关系为:指定目标区域1与指定目标区域3匹配、指定目标区域2与指定目标区域4匹配;第二组匹配关系为:指定目标区域1与指定目标区域4匹配、指定目标区域2与指定目标区域3匹配。

3062、将每组备选匹配关系中每两个匹配的指定目标区域的相似度之和,分别确定为每组备选匹配关系的匹配度。

其中,两个匹配的指定目标区域的相似度用于表示两个指定区域的相似程度,相似度越大,则该两个指定区域所属同一个目标的可能性越大,相似度越小,则该两个指定区域所属同一个目标的可能性越小。备选匹配关系的匹配度用于表示备选匹配关系中相匹配的指定目标区域之间的匹配程度,匹配程度越大,则表示该匹配关系中两两匹配的指定目标区域越准确,匹配程度越小,则表示该匹配关系中两两匹配的指定目标区域越不准确。

在一种可能实现方式中,确定两个匹配的指定目标区域的相似度可以包括:将两个指定目标区域的交集面积与该两个指定目标区域的并集面积之比,确定为该两个指定图像帧之间的相似度。

其中,两个指定目标区域的交集面积与该两个指定目标区域的并集面积之比,也即是两个指定目标区域的交并比。由于同一个指定图像帧中包括的目标所处的区域固定,如果两个指定目标区域属于同一个目标,则该两个指定目标区域应该完全重叠,即两个指定目标区域的交集面积与两个指定目标区域的并集面积相等,如果两个指定目标区域不属于同一个目标,则该两个指定目标区域交集面积小、并集面积大,因此可以通过两个指定目标区域的交集面积及并集面积,确定两个指定图像帧的相似度。

在一种可能实现方式中,确定两个指定目标区域的交集面积及并集面积可以包括:根据两个指定目标区域的坐标,确定两个指定目标区域的交集面积及并集面积。

例如,两个指定目标区域均为矩形,则两个矩形之间的交集面积,即为两个指定目标区域的交集面积,两个矩形之间的并集面积,即为两个指定目标区域的并集面积。两个指定目标区域的坐标为两个矩形四个角的坐标,则通过两个矩形四个角的坐标,可以确定出两个矩形的重叠面积,将该重叠面积作为两个指定目标区域的交集面积,将两个矩形的面积之和与重叠面积的差,作为该两个指定目标区域的并集面积。

3063、从多组备选匹配关系中,选取匹配度最大的备选匹配关系,确定为目标区域匹配关系。

由于多个备选匹配关系中,匹配度越大,表示表示该匹配关系中两两匹配的指定目标区域越准确,因此,从多组备选匹配关系中,选取匹配度最大的备选匹配关系,确定为目标匹配关系,从而提高了目标匹配关系的准确性。

307、计算机设备根据任两个图像组的目标区域链及目标区域匹配关系,确定任两个图像组之间的目标区域链匹配关系。

其中,目标区域链匹配关系用于表示任两个图像组的目标区域链之间的匹配关系,目标区域链匹配关系包括第一个图像组的任一条目标区域链,与第二个图像组的属于同一个目标的目标区域链之间的匹配关系,以表示两条匹配的目标区域链属于同一个目标。例如,第一个图像组包括目标区域链1和目标区域链2,第二个图像组包括目标区域链3和目标区域链4,第一个图像组和第二个图像组之间的目标区域链匹配关系为:目标区域链1与目标区域链3匹配、目标区域链2与目标区域链4匹配。

由于目标区域匹配关系用于表示任两个图像组中任一相同的指定图像帧的指定目标区域之间的匹配关系,且每个图像组的不同的目标区域链分别包含一个指定目标区域,则按照任一相同的指定图像帧的指定目标区域之间的匹配关系,可以确定两个图像组的目标区域链的匹配关系,以使包含匹配目标区域的任两条目标区域链是匹配的。

例如,第一个图像组包括目标区域链1及目标区域链2,第二个图像组包括目标区域链3及目标区域链4,第一个图像组的指定图像帧包括指定目标区域a及指定目标区域b,第二个图像组相同的指定图像帧包括指定目标区域c及指定目标区域d,目标区域链1包含指定目标区域a,目标区域链2包含指定目标区域b,目标区域链3包含指定目标区域c,目标区域链4包含指定目标区域d,目标区域匹配关系为:指定目标区域a与指定目标区域c匹配、指定目标区域b与指定目标区域d匹配,则确定的目标区域链匹配关系为:目标区域链1与目标区域链3匹配、目标区域链2与目标区域链4匹配。

另外,对于任两个图像组中匹配的目标区域链,可以设置相同的目标标识,该目标标识用于表示目标区域链所属的目标,以使后续根据目标标识即可确定属于同一个目标的目标区域链。

308、计算机设备根据目标区域链匹配关系,将任一目标区域链中除指定目标区域外的其他目标区域,与该任一目标区域链匹配的另一目标区域链进行组合,得到目标区域组合链。

其中,该其他目标区域为图像组中除指定图像帧外的其他图像帧中包括的目标区域。该目标区域组合链表示多个图像帧中属于同一目标的目标区域关联而构成的组合链。

由于相邻的两个图像组中包括至少一个相同的指定图像帧和至少一个不同的图像帧,相同的指定图像帧中包括的指定目标区域可能会相同,则相匹配的两个目标区域链中可能包含相同的指定目标区域,则在将两个图像组中匹配的两个目标区域链进行组合时,仅将任一条目标区域链中除指定目标区域外的其他目标区域,与另一个目标区域链进行组合,即可得到该两个图像组的并集图像帧中包括的目标区域构成的目标区域链。按照上述方式,将多个图像组的目标区域链进行组合,从而得到目标区域组合链。

另外,对于多个图像组中任两个相邻的图像组,第一个图像组的第二个图像帧与第二个图像组的第一个图像帧相同,在获取到多个图像组的目标区域链,及相邻的每两个图像组之间的目标区域链匹配关系后,确定多个图像组的目标区域链之间的匹配关系,将多个图像组中除最后一个图像组外的其他图像组的第一个图像帧的目标区域,与最后一个图像组的目标区域链进行组合,得到目标区域组合链。

另外,在将多个图像组的目标区域链进行组合时,对于相邻的任两个图像组,第二个图像组的任一目标区域链包含指定图像帧的中断目标区域,将该目标区域链单独作为一个目标区域组合链,且与第二个图像组的后一个图像组的目标区域链进行组合时,将该目标区域组合链与后一个图像组中相匹配的目标区域链进行组合,得到新的目标区域组合链。

需要说明的是,本申请实施例是以根据目标区域链匹配关系,获取目标区域组合链进行说明的,而在另一实施例中,无需执行步骤305-308,可以根据多个图像组的目标区域链及多个图像组的排列顺序,创建至少一个目标的目标区域组合链。

需要说明的是,本申请实施例仅是以两个图像组的指定图像帧匹配的指定目标区域进行说明的,而在另一实施例中,两个图像组的指定图像帧的中还包括无法匹配的指定目标区域。如图8所示,当第二图像组的第二个图像帧与第一图像组的第一个图像帧相同时,确定目标区域组合链还可以包括以下步骤3081-3084:

3081、第二图像组的第一目标区域链包括第二图像组的第二个图像帧中的任一中断目标区域,中断目标区域与第一图像组的第一个图像帧中的每个指定目标区域均不匹配,则在第一图像组的第一个图像帧中,预测与中断目标区域属于同一目标的预测目标区域。

其中,第二图像组为多个图像组中第一图像组的前一个图像组。

也即是,根据第二图像组的预设数目个图像帧的特征向量,在第二图像组的第二个图像帧中检测到该中断目标区域,且根据第一图像组的预设数目个图像帧的特征向量,在第一图像组的第一个图像帧中未检测到与该中断目标区域属于同一目标的目标区域。

在该第一图像组的第一个图像帧中,该中断目标区域所属的目标,可能被其他物体遮挡导致无法检测到该目标,也可能是第一图像组的第一个图像帧中已经不存在该目标。由于当目标被其他物体遮挡导致无法检测到该目标时,目标可能会在第一图像组的第一个图像帧之后的其他图像帧中再次出现,为了保证目标在不同图像帧的目标区域的连贯性,可以为该中断目标区域进行预测,以确定目标在下一个图像帧的预测目标区域。

在一种可能实现方式中,获取预测目标区域可以包括:确定第二图像组的第一个图像帧与第一图像组的第一个图像帧,在视频数据中的间隔时长,确定中断目标区域所属目标的移动方向,调用速度模型,根据该间隔时长,确定该目标的移动距离,确定第二图像组的第一个图像帧中与中断目标区域属于同一目标的第一目标区域,对该第一目标区域按照该移动方向及该移动距离进行平移,得到平移后的第二目标区域,按照第二目标区域的坐标,在第一图像组的第一个图像帧,添加与该第二目标区域的坐标相同的预测目标区域。

在一种可能实现方式中,确定中断目标区域所属目标的移动方向,可以包括:确定第二图像组的前一个图像组的第一个图像帧中,与中断目标区域属于同一目标的第三目标区域,第三目标区域中参考点的坐标与第二目标区域中参考点的坐标的连线方向,作为中断目标区域所属目标的移动方向。其中,参考点为目标区域的任一点,如,目标区域为矩形,将矩形的左上角点作为参考点,或将矩形的中心点作为参考点。

3082、在第二图像组与第一图像组之间的目标区域匹配关系中,添加中断目标区域与预测目标区域的匹配关系。

通过在第二图像组与第一图像组之间的目标区域匹配关系中,添加中断目标区域与预测目标区域的匹配关系,后续可以通过该匹配关系,确定第一图像组包含中断目标区域的目标区域链与第二图像组的预测目标区域链之间的匹配关系,以使后续能够将该目标区域链与该预测目标区域链进行组合,得到目标区域组合链。

3083、根据第一图像组中预设数目个图像帧的特征向量,对预测目标区域进行映射处理,分别得到第一图像组中其他图像帧的预测目标区域,将预设数目个图像帧中属于不同图像帧的预测目标区域进行关联,得到第一图像组的预测目标区域链。

在确定第一图像组中第一个图像帧中的预测目标区域后,可以按照上述步骤3042中相同的方式,对第一图像组中除第一个图像帧外的其他图像帧进行预测,得到其他图像帧中的预测目标区域。

通过将第二图像组中属于同一个目标且属于不同图像帧的预测目标区域进行关联,得到预测目标区域链,以使第一图像组的预测目标区域链与包含中断目标区域的目标区域链相匹配。

并且,在第一个图像组中预测得到预测目标区域链后,可以将第一图像组的预测目标区域链作为真实的目标区域链,与后一个图像组的目标区域链进行匹配,并通过第一图像组与后一个图像组的目标区域链匹配关系,将第一图像组的目标区域链与后一个图像组的目标区域链进行组合,得到目标区域组合链。

3084、第三图像组中包括与预测目标区域链匹配的第二目标区域链,则根据中断目标区域与预测目标区域的匹配关系,将第一目标区域链、预测目标区域链及第二目标区域链进行组合,得到目标区域组合链。

其中,第三像组为第一图像组的后一个图像组。

将第二图像组与第一图像组中相同的指定图像帧作为第一指定图像帧,将第一图像组与第三个图像组中相同的指定图像帧作为第二指定图像帧,在将第一目标区域链、预测目标区域链及第二目标区域链进行组合时,将第一目标区域链中除第一指定图像帧外的其他图像帧中的目标区域,与预测目标区域链进行组合,得到第一目标区域组合链,将第一目标区域组合链中除第二指定图像帧外的其他图像帧中的目标区域,与第二目标区域链进行组合,得到第二目标区域组合链,即为第一目标区域链、预测目标区域链及第二目标区域链进行组合后的目标区域组合链。

需要说明的是,本申请实施例仅是以第三图像组中包括与预测目标区域链匹配的第二目标区域链进行说明的,而在另一实施例中,第三图像组中不包括与预测目标区域链匹配的第二目标区域链,则按照上述步骤3081-3083,获取第三图像组中不同图像帧的预测目标区域关联后的预测目标区域链,重复执行上述步骤,在第四个图像组中包括与前一个图像组的预测目标区域关联后的目标区域链匹配的第三目标区域链,则将第一目标区域链、第三目标区域链及第一图像组与第四图像组之间的图像组中预测得到的预测目标区域链进行关联,得到目标区域组合链。其中,第四图像组为第二图像组之后的第一数目个图像组,该第一数目不大于预设数目,该预设数目可以是任意设置的数值,如10、8等。

另外,响应于在第二图像组之后的预设数目个图像组中,不包括与前一个图像组的预测目标区域链匹配的目标区域链,则在一个图像组之后的预设数目个图像组中,不再对前一个图像组的中断目标区域进行预测。

309、计算机设备根据至少一个目标的目标区域组合链,在视频数据中添加至少一个目标的移动轨迹,得到更新后的视频数据。

由于计算机设备确定至少一个目标的目标区域组合链,即确定了至少一个目标在多个图像帧中的位置,即可确定至少一个目标的移动轨迹,在视频数据中添加至少一个目标的移动轨迹。

另外,在确定任一目标的移动轨迹时,确定该目标的目标区域组合链在多个图像帧的目标区域的参考点,从而得到了包含该目标的多个图像帧,并且每个图像帧中包含该目标的一个参考点。则在每一个图像帧中添加与参考点连接的线条,该线条根据之前的图像帧中的参考点的位置连接而成,以模拟出该目标在多个图像帧中沿着该线条移动的效果,该线条即可表示该目标的移动轨迹。其中,参考点可以是目标区域的任一点,如,目标区域为矩形,该参考点为矩形的下边的中点。

310、计算机设备播放更新后的视频数据,以显示至少一个目标按照对应的移动轨迹移动的画面。

在播放更新后的视频数据时,显示至少一个目标的移动轨迹,且显示至少一个目标按照对应的移动轨迹移动的画面。

另外,目标区域可以是以检测框的形式展现,在播放更新后的视频数据时,可以将当前播放的视频帧的目标区域以检测框的形式进行显示,且将当前播放的视频帧之前的视频帧中目标的移动轨迹。如图9所示,该图9表示播放的视频数据中任一视频帧,图9中显示在该视频帧中多个目标的目标区域,及每个目标的移动轨迹。

本申请实施例提供的方法,获取按序排列的多个图像帧,将多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,对多个图像组进行处理,得到每个图像组的至少一条目标区域链,根据多个图像组的目标区域链及多个图像组的排列顺序,创建至少一个目标的目标区域组合链。根据多个图像帧创建多个图像组,以图像组为单位获取目标区域链,使每个图像组中不同的图像帧的目标区域存在关联关系,提高了目标检测的准确性,而且不同的图像组中包括相同的图像帧,使多个图像组的目标区域链存在关联关系,能够构成目标区域组合链,从而实现了对目标的跟踪,且提高了目标区域组合链的准确性。

通过特征提取子模型和特征检测子模型,根据每个图像组的预设数目个图像帧的特征向量,确定每个图像组的至少一条目标区域链,提高了确定的目标区域链的准确性,从而提高了目标区域组合链的准确性,也提高了确定的目标的移动轨迹的准确性。

在将任两个图像组的目标区域链进行组合时,通过确定两个图像组中相同的指定图像帧的指定目标区域之间的目标区域匹配关系,从而确定两个图像组中目标区域链之间的目标区域链匹配关系,以使能够根据确定的目标区域链匹配关系将不同图像组的目标区域链进行组合,提高了得到的目标区域组合链的准确性,从而提高了确定的目标的移动轨迹的准确性。

如图10所示,是本申请实施例提供的目标跟踪方法的流程图,该方法包括:

1、实时获取视频数据的多个图像帧。

2、将该多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组。

3、调用目标检测模型,对多个图像组进行处理,得到每个图像组的至少一个目标区域链。

4、根据多个图像组的目标区域链,及相邻的每两个图像组之间的目标区域链匹配关系,将多个图像组的目标区域链进行组合,得到至少一个目标区域组合链。

5、检测视频数据是否结束,视频数据未结束,重复执行上述步骤1-4。

如图11所示,两个相邻的图像组a和图像组b,图像组a包括图像帧3和图像帧4,图像组b包括图像帧4和图像帧5,通过目标检测模型对每个图像组进行处理,得到每个图像组中3条目标区域链,通过将图像组a和图像组b中相同的图像帧4中的目标区域通过交并比匹配,确定图像组a的图像帧4的目标区域,与图像组b的图像帧4的目标区域之间的目标区域匹配关系。

图12为调用目标检测模型获取图像组的目标区域链的流程图,该目标检测模型包括特征提取子模型和特征检测子模型,对于任一图像组,该图像组包括图像帧1和图像帧2,分别将图像帧1和图像帧2输入至特征提取子模型中,特征提取子模型分别输出图像帧1的特征向量和图像帧2的特征向量,将图像帧1和图像帧2的特征向量进行组合,得到该图像组的特征向量组合,将该特征向量组合输入至特征检测子模型中,调用特征检测子模型,通过分类层,确定图像帧1中的初始区域,通过回归层,根据该特征向量组合及初始区域,确定该图像组的目标区域链。

如图13所示,获取多个图像帧,将任两个相邻的图像帧作为一个图像组,且将最后一个图像帧进行复制,将该最后一个图像帧及复制的图像帧,作为一个图像组,得到多个图像组,每个图像组包括两个图像帧,相邻的两个图像组中第一个图像组的第二个图像帧与第二个图像组的第一个图像帧相同。

通过将最后一个图像帧及复制的图像帧作为一个图像组,使得到的多个图像组中,分别将多个图像帧作为一个图像组的第一个图像帧,即得到的多个图像组的个数与该多个图像帧的个数相同,以使后续能够通过提取每个图像组的第一个图像帧的目标区域进行组合,从而得到目标区域组合链。

在获取多个图像组的目标区域链时,按照多个图像组的排列顺序,调用特征提取子模型依次获取每个图像组的图像帧的特征向量。在获取第一个图像组的图像帧的特征向量时,调用特征提取子模型,对第一个图像组的两个图像帧分别进行特征提取,得到每个图像帧的特征向量;在获取第二个图像组的图像帧的特征向量时,将第一个图像组的第二个图像帧的特征向量,作为第二个图像组的第一个图像帧的特征向量,调用特征提取子模型,对第二个图像组的第二个图像帧进行特征提取,得到第二个图像帧的特征向量;在获取后续的多个图像组时,每次将前一个图像组的第二个图像帧的特征向量,作为当前图像组的第一个图像帧的特征向量,仅调用特征提取子模型,对当前图像组的第二个图像帧进行特征提取,从而得到当前图像组的两个图像帧的特征向量。对于该多个图像组中最后一个图像组,由于该图像组中包括的两个图像帧相同,则仅调用特征提取子模型,对最后一个图像组的第一个图像帧进行特征提取,从而得到最后一个图像组的两个图像帧的特征向量。

在调用特征提取子模型依次获取多个图像组的图像帧的特征向量时,将特征提取子模型输出每个图像组的两个图像帧的特征向量进行组合,得到对应的图像组的特征向量,将每个图像组的特征向量输入至特征检测子模型中,得到每个图像组的目标区域链,按照相邻的每两个图像组之间的目标区域链匹配关系,提取每个图像组的第一个图像帧的目标区域进行组合,得到目标区域组合链。

图14是本申请实施例提供的一种目标跟踪装置的结构示意图,如图14所示,该装置包括:

图像帧获取模块1401,用于获取按序排列的多个图像帧;

图像组获取模块1402,用于将多个图像帧中每预设数目个图像帧作为一个图像组,得到按序排列的多个图像组,任两个相邻的图像组包括至少一个相同的图像帧和至少一个不同的图像帧;

图像组处理模块1403,用于对多个图像组进行处理,得到每个图像组的至少一条目标区域链,每条目标区域链包括属于同一个目标的预设数目个目标区域,且预设数目个目标区域分别位于对应图像组中的不同图像帧中;

区域组合链创建模块1404,用于根据多个图像组的目标区域链及多个图像组的排列顺序,创建至少一个目标的目标区域组合链。

在一种可能实现方式中,如图15所示,图像组处理模块1403,包括:

特征向量获取单元1431,用于获取第一图像组中预设数目个图像帧的特征向量,第一图像组为多个图像组中的任一图像组;

目标区域链获取单元1432,用于对第一图像组中预设数目个图像帧的特征向量进行处理,得到第一图像组的至少一条目标区域链。

在另一种可能实现方式中,特征向量获取单元1431,还用于将第二图像组中指定图像帧的特征向量,确定为第一图像组中对应的指定图像帧的特征向量,第二图像组为多个图像组中第一图像组的前一个图像组,指定图像帧为第一图像组和第二图像组中相同的图像帧;对第一图像组中除指定图像帧外的其他图像帧进行特征提取,得到其他图像帧的特征向量。

在另一种可能实现方式中,目标区域链获取单元1432,还用于根据第一图像组中第一个图像帧的特征向量进行目标检测,得到第一个图像帧的至少一个初始区域;根据第一图像组中预设数目个图像帧的特征向量,对至少一个初始区域进行处理,分别得到预设数目个图像帧的目标区域,至少一个初始区域与第一图像组中每个图像帧的至少一个目标区域一一对应;将预设数目个图像帧中,属于同一个目标且属于不同图像帧的目标区域进行关联,得到第一图像组的至少一条目标区域链。

在另一种可能实现方式中,目标区域链获取单元1432,还用于根据第一图像组中第一个图像帧的特征向量进行目标检测,得到第一个图像帧的多个初始区域,及初始区域对应的概率;从多个初始区域中,选取概率大于预设阈值的至少一个初始区域。

在另一种可能实现方式中,目标检测模型包括特征提取子模型和特征检测子模型;

特征向量获取单元1431,还用于调用特征提取子模型,获取第一图像组中预设数目个图像帧的特征向量;

目标区域链获取单元1432,还用于调用特征检测子模型,对第一图像组中预设数目个图像帧的特征向量进行处理,得到第一图像组的至少一条目标区域链。

在另一种可能实现方式中,如图15所示,区域组合链创建模块1404,包括:

第一确定单元1441,用于对于相邻的任两个图像组,将任两个图像组中相同的图像帧作为指定图像帧,将指定图像帧的目标区域作为指定目标区域;

区域匹配关系确定单元1442,用于根据任两个图像组中的指定图像帧及指定目标区域,确定任两个图像组之间的目标区域匹配关系,目标区域匹配关系包括第一个图像组中任一个指定图像帧的任一目标区域,与第二个图像组中相同的指定图像帧中属于同一个目标的目标区域之间的匹配关系;

区域链匹配关系确定单元1443,用于根据任两个图像组的目标区域链及目标区域匹配关系,确定任两个图像组之间的目标区域链匹配关系,目标区域链匹配关系包括第一个图像组的任一条目标区域链,与第二个图像组的属于同一个目标的目标区域链之间的匹配关系;

区域组合链组合单元1444,用于根据目标区域链匹配关系,将任一目标区域链中除指定目标区域外的其他目标区域,与任一目标区域链匹配的另一目标区域链进行组合,得到目标区域组合链。

在另一种可能实现方式中,区域匹配关系确定单元1442,还用于根据任两个图像组中的指定图像帧及指定目标区域,确定多组备选匹配关系,备选匹配关系包括第一个图像组中任一指定图像帧的每个指定目标区域,与第二个图像组中相同的指定图像帧中任一指定目标区域之间的匹配关系,且多组备选匹配关系不同;将每组备选匹配关系中每两个匹配的指定目标区域的相似度之和,分别确定为每组备选匹配关系的匹配度;从多组备选匹配关系中,选取匹配度最大的备选匹配关系,确定为目标区域匹配关系。

在另一种可能实现方式中,如图15所示,第二图像组的第二个图像帧与第一图像组的第一个图像帧相同;图像组处理模块1403,还包括:

目标区域预测单元1433,用于第二图像组的第一目标区域链包括第二图像组的第二个图像帧中的任一中断目标区域,中断目标区域与第一图像组的第一个图像帧中的每个指定目标区域均不匹配,则在第一图像组的第一个图像帧中,预测与中断目标区域属于同一目标的预测目标区域。

在另一种可能实现方式中,如图15所示,该装置还包括:

目标区域预测模块1405,用于根据第一图像组中预设数目个图像帧的特征向量,对预测目标区域进行映射处理,分别得到第一图像组中其他图像帧的预测目标区域;

目标区域关联模块1406,用于将预设数目个图像帧中属于不同图像帧的预测目标区域进行关联,得到第一图像组的预测目标区域链。

在另一种可能实现方式中,如图15所示,该装置还包括:

匹配关系添加模块1407,用于在第二图像组与第一图像组之间的目标区域匹配关系中,添加中断目标区域与预测目标区域的匹配关系。

在另一种可能实现方式中,如图15所示,图像帧获取模块1401,包括:

图像帧获取单元1411,用于获取视频数据,对视频数据进行抽帧处理,得到多个图像帧。

在另一种可能实现方式中,如图15所示,装置还包括:

视频数据更新模块1408,用于根据至少一个目标的目标区域组合链,在视频数据中添加至少一个目标的移动轨迹,得到更新后的视频数据;

视频数据播放模块1409,用于播放更新后的视频数据,以显示至少一个目标按照对应的移动轨迹移动的画面。

图16是本申请实施例提供的一种终端的结构示意图,可以实现上述实施例中计算机设备执行的操作。该终端1600可以是便携式移动终端,比如:智能手机、平板电脑、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备、智能电视、智能音箱、智能遥控器、智能话筒,或其他任意智能终端。终端1600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常,终端1600包括有:处理器1601和存储器1602。

处理器1601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。存储器1602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的,用于存储至少一个指令,该至少一个指令用于被处理器1601所具有以实现本申请中方法实施例提供的目标跟踪方法。

在一些实施例中,终端1600还可选包括有:外围设备接口1603和至少一个外围设备。处理器1601、存储器1602和外围设备接口1603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1603相连。具体地,外围设备包括:射频电路1604、显示屏1605和音频电路1606中的至少一种。

射频电路1604用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路1604通过电磁信号与通信网络及其他通信设备进行通信。

显示屏1605用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。该显示屏1605可以是触摸显示屏,还可以用于提供虚拟按钮和/或虚拟键盘。

音频电路1606可以包括麦克风和扬声器。麦克风用于采集用户及环境的音频信号,并将音频信号转换为电信号输入至处理器1601进行处理,或者输入至射频电路1604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1601或射频电路1604的电信号转换为音频信号。

本领域技术人员可以理解,图16中示出的结构并不构成对终端1600的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

图17是本申请实施例提供的一种服务器的结构示意图,该服务器1700可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(centralprocessingunits,cpu)1701和一个或一个以上的存储器1702,其中,存储器1702中存储有至少一条指令,至少一条指令由处理器1701加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。

服务器1700可以用于执行上述目标跟踪方法。

本申请实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,存储器中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的目标跟踪方法。

本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的目标跟踪方法。

本申请实施例还提供了一种计算机程序,该计算机程序中存储有至少一条指令,该至少一条指令由处理器加载并执行,以实现上述实施例的目标跟踪方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请实施例的可选实施例,并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1