一种关联对象的查找方法、装置及设备与流程

文档序号:26194053发布日期:2021-08-06 18:47阅读:141来源:国知局
一种关联对象的查找方法、装置及设备与流程

本发明涉及视频分析技术领域,特别是涉及一种关联对象的查找方法、装置及设备。



背景技术:

一些情况下,需要关注一些特定人员、以及与这些特定人员产生关联的人员。例如,在一些传染性疾病的防控过程中,需要对患有这种疾病的人员或者病毒携带者进行关注,还需要对这些人员的密切接触者、或者密切接触者的密切接触者进行关注;又例如,在一些对可疑人员的行为进行关注的过程中,需要对可疑人员进行关注,还需要对可疑人员的同伙进行关注。

目前,通常是由相关工作人员通过询问特定人员,来确定与这些特定人员产生关联的人员,耗费较多人力。因此,需要提供一种自动查找关联人员的方案。



技术实现要素:

本发明实施例的目的在于提供一种关联对象的查找方法,以提供一种自动查找关联对象的方案。具体技术方案如下:

第一方面,本发明实施例提供了一种关联对象的查找方法,所述方法包括:

获取关于目标对象的传播源信息;其中,所述传播源信息包括:所述目标对象的目标对象标识、传播半径以及传播时间,所述传播时间用于表征能够存在与所述目标对象产生关联的对象的时间范围;

在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象标识以及所述传播时间相匹配的目标附加信息;其中,所述第一类视频图像为:包括与所述目标对象的类别相同的对象的视频图像,每帧视频图像的附加信息包括:该帧视频图像中所包括各个对象的对象标识和对象位置,以及该帧视频图像的采集时间;所述目标附加信息包括的各个对象标识中,存在与所述目标对象标识相匹配的匹配对象标识,并且所述目标附加信息中包括的采集时间位于所述传播时间所表征的时间范围内;

针对所述目标附加信息中包括的每个待处理对象标识,确定该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离;其中,所述待处理对象标识为:所述目标附加信息包括的各个对象标识中,除所述匹配对象标识之外的对象标识;

将所确定的距离满足所述传播半径的待处理对象标识对应的对象确定为所述目标对象的关联对象。

可选的,一种具体实现方式中,所述对象标识包括对象特征,所述目标对象标识包括所述目标对象的目标对象特征;每帧视频图像的附加信息中还包括:该帧视频图像中所包括各个对象的对象标识号;

所述在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象标识以及所述传播时间相匹配的目标附加信息的步骤,包括:

在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象特征相匹配的至少一份匹配对象特征,并读取所述匹配人员特征对应的对象标识号,作为匹配对象标识号;

将包括所述匹配对象标识号,并且所包括的采集时间位于所述传播时间所表征的时间范围内的附加信息确定为目标附加信息。

可选的,一种具体实现方式中,存储每帧视频图像的附加信息的方式,包括:

提取每帧视频图像中所包括各个对象的对象特征,并确定每帧视频图像中所包括各个对象的对象位置;

识别所提取到的对象特征中,属于同一对象的对象特征,并为所识别得到的属于同一对象的对象特征分配相同的对象标识号;

针对每帧视频图像,将从该帧视频图像中提取的各个对象特征、确定的各个对象位置、为该帧视频图像中提取的各个对象特征分配的对象标识号、以及该帧视频图像的采集时间存储为该帧视频图像的附加信息。

可选的,一种具体实现方式中,所述确定每帧视频图像中所包括各个对象的对象位置的步骤,包括:

针对每帧视频帧图像中所包括的每个对象,确定该对象在该帧视频图像中的图像位置,并将所确定的图像位置转换为预设坐标系下的位置坐标,作为该对象的对象位置;

所述确定该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离的步骤,包括:

确定该待处理对象标识对应的所述预设坐标系下的位置坐标与所述匹配对象标识对应的所述预设坐标系下的位置坐标之间的坐标差值,作为该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离。

可选的,一种具体实现方式中,所述对象为人员,所述提取每帧视频图像中所包括各个对象的对象特征,并确定每帧视频图像中所包括各个对象的对象位置的步骤,包括:

识别每帧视频图像中所包括的各个人员的人体区域和人脸区域;

针对每帧视频图像中所包括的每个人员,提取该人员的人脸区域的人脸特征,作为该人员的对象特征,并确定该人员的人体区域的位置,作为该人员的对象位置;

在所述识别所提取到的对象特征中,属于同一对象的对象特征的步骤之前,所述方法还包括:

针对每帧视频图像中所包括的每个人员,确定该人员的人脸区域的图像质量评分,若所确定的图像质量评分满足预设评分条件,则将该人员的人脸区域的人脸特征确定为第一类对象特征,否则,将该人员的人脸区域的人脸特征确定为第二类对象特征;

在所述识别所提取到的对象特征中,属于同一对象的对象特征的步骤之后,所述方法还包括:

针对每帧视频图像中所包括的每个人员,将所识别得到的属于该人员的对象特征中的第二类对象特征替换为该人员的第一类对象特征。

可选的,一种具体实现方式中,所述方法还包括:

建立所述目标对象与所确定出的各个关联对象之间的传播路径。

可选的,一种具体实现方式中,所述方法还包括:

将所确定的关联对象确定为新的目标对象,并返回执行所述获取关于目标对象的传播源信息的步骤。

可选的,一种具体实现方式中,所述方法还包括:

输出关于所确定出的关联对象的指定信息;其中,所述指定信息包括以下信息中的至少一种:

包括所确定出的各个关联对象的视频图像、各个目标对象与所确定出的各个关联对象之间的传播路径信息和所确定出的各个关联对象的身份信息;

所述每个关联对象的身份信息是根据该关联对象的对象标识确定的。

第二方面,本发明实施例提供了一种关联对象的查找装置,所述装置包括:

获取模块,用于获取关于目标对象的传播源信息;其中,所述传播源信息包括:所述目标对象的目标对象标识、传播半径以及传播时间,所述传播时间用于表征能够存在与所述目标对象产生关联的对象的时间范围;

查找模块,用于在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象标识以及所述传播时间相匹配的目标附加信息;其中,所述第一类视频图像为:包括与所述目标对象的类别相同的对象的视频图像,每帧视频图像的附加信息包括:该帧视频图像中所包括各个对象的对象标识和对象位置,以及该帧视频图像的采集时间;所述目标附加信息包括的各个对象标识中,存在与所述目标对象标识相匹配的匹配对象标识,并且所述目标附加信息中包括的采集时间位于所述传播时间所表征的时间范围内;

距离确定模块,用于针对所述目标附加信息中包括的每个待处理对象标识,确定该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离;其中,所述待处理对象标识为:所述目标附加信息包括的各个对象标识中,除所述匹配对象标识之外的对象标识;

对象确定模块,用于将所确定的距离满足所述传播半径的待处理对象标识对应的对象确定为所述目标对象的关联对象。

可选的,一种具体实现方式中,所述对象标识包括对象特征,所述目标对象标识包括所述目标对象的目标对象特征;每帧视频图像的附加信息中还包括:该帧视频图像中所包括各个对象的对象标识号;所述查找模块具体用于:在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象特征相匹配的至少一份匹配对象特征,并读取所述匹配人员特征对应的对象标识号,作为匹配对象标识号;将包括所述匹配对象标识号,并且所包括的采集时间位于所述传播时间所表征的时间范围内的附加信息确定为目标附加信息;

可选的,一种具体实现方式中,所述装置还包括:用于存储每帧视频图像的附加信息的信息存储模块;所述信息存储模块,包括:

信息提取子模块,用于提取每帧视频图像中所包括各个对象的对象特征,并确定每帧视频图像中所包括各个对象的对象位置;

标识号分配子模块,用于识别所提取到的对象特征中,属于同一对象的对象特征,并为所识别得到的属于同一对象的对象特征分配相同的对象标识号;

信息存储子模块,用于针对每帧视频图像,将从该帧视频图像中提取的各个对象特征、确定的各个对象位置、为该帧视频图像中提取的各个对象特征分配的对象标识号、以及该帧视频图像的采集时间存储为该帧视频图像的附加信息;

可选的,一种具体实现方式中,所述信息提取子模块具体用于:针对每帧视频帧图像中所包括的每个对象,确定该对象在该帧视频图像中的图像位置,并将所确定的图像位置转换为预设坐标系下的位置坐标,作为该对象的对象位置;

所述距离确定模块具体用于:确定该待处理对象标识对应的所述预设坐标系下的位置坐标与所述匹配对象标识对应的所述预设坐标系下的位置坐标之间的坐标差值,作为该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离;

可选的,一种具体实现方式中,所述对象为人员,所述信息提取子模块具体用于:识别每帧视频图像中所包括的各个人员的人体区域和人脸区域;针对每帧视频图像中所包括的每个人员,提取该人员的人脸区域的人脸特征,作为该人员的对象特征,并确定该人员的人体区域的位置,作为该人员的对象位置;

所述装置还包括:

质量评分模块,用于在所述识别所提取到的对象特征中,属于同一对象的对象特征之前,针对每帧视频图像中所包括的每个人员,确定该人员的人脸区域的图像质量评分,若所确定的图像质量评分满足预设评分条件,则将该人员的人脸区域的人脸特征确定为第一类对象特征,否则,将该人员的人脸区域的人脸特征确定为第二类对象特征;

特征替换模块,用于在所述识别所提取到的对象特征中,属于同一对象的对象特征的之后,针对每帧视频图像中所包括的每个人员,将所识别得到的属于该人员的对象特征中的第二类对象特征替换为该人员的第一类对象特征;

可选的,一种具体实现方式中,所述装置还包括:路径建立模块,用于建立所述目标对象与所确定出的各个关联对象之间的传播路径。

可选的,一种具体实现方式中,所述装置还包括:对象确定模块,用于将所确定的关联对象确定为新的目标对象,并返回触发所述获取模块;

可选的,一种具体实现方式中,所述装置还包括:信息输出模块,用于输出关于所确定出的关联对象的指定信息;其中,所述指定信息包括以下信息中的至少一种:包括所确定出的各个关联对象的视频图像、各个目标对象与所确定出的各个关联对象之间的传播路径信息和所确定出的各个关联对象的身份信息;所述每个关联对象的身份信息是根据该关联对象的对象标识确定的。

第三方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的任一关联对象的查找方法的步骤。

第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一关联对象的查找方法的步骤。

第五方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面提供的任一关联对象的查找方法的步骤。

以上可见,应用本发明实施例提供的方案,可以预先存储每帧视频图像的附加信息,每帧视频图像的附加信息包括:该帧视频图像中所包括的各个对象的的对象标识和对象位置,以及该帧视频图像的采集时间,其中,可以将包括与目标对象的类别相同的对象的视频图像的视频图像作为第一类视频图像。

这样,在需要查找目标对象的关联对象时,可以获取关于目标对象的传播源信息,即获取目标对象的目标对象标识,以及传播半径和传播时间,其中,传播时间可以表征能够存在与目标对象产生关联的对象的时间范围。进而,在存储的每帧第一类视频图像的附加信息中,查找与目标对象标识以及传播时间相匹配的目标附加信息,其中,目标附加信息包括的各个对象标识中,存在与目标对象标识相同的的匹配对象标识,并且目标附加信息中包括的采集时间位于传播时间所表征的时间范围内。之后,针对目标附加信息中包括的除匹配对象标识之外的各个待处理对象标识,便可以确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离,从而,可以将所确定的距离满足传播半径的待处理对象标识对应的对象确定为目标对象的关联对象。

基于此,应用本发明实施例提供的方案,在获取到目标对象的传播源信息后,便可以利用预先存储的每帧视频图像的附加信息与上述目标对象的传播源信息的匹配关系,自动确定目标对象的关联对象。这样,便可以提供了一种自动查找关联对象的方案,从而,在查找目标对象的关联对象时,在无需询问目标对象,或逐一摸排目标对象的行为。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种关联对象的查找方法的流程示意图;

图2为本发明实施例提供的另一种关联对象的查找方法的流程示意图

图3a-图3c为本发明实施例提供的一种关联对象的查找方法在实际应用中的一种具体实例的示意图;

图4为本发明实施例提供的一种每帧视频图像的附加信息的存储方式的流程示意图;

图5为本发明实施例提供的另一种每帧视频图像的附加信息的存储方式的流程示意图

图6为本发明实施例提供的一种视频图像示意图;

图7为本发明实施例提供的一种系统的结构示意图的示意图;

图8为本发明实施例提供的一种关联对象的查找装置的结构示意图;

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本发明保护的范围。

目前,在需要关注一些特定人员、以及与这些特定人员产生关联的人员时,通常是由相关工作人员通过询问特定人员,来确定与这些特定人员产生关联的人员,耗费较多人力。因此,需要提供一种自动查找关联人员的方案。

为了解决上述技术问题,本发明实施例提供了一种关联对象的查找方法。

其中,该方法及装置可以应用于各种电子设备,具体不做限定,并且,该方法可以包括如下步骤:

获取关于目标对象的传播源信息;其中,所述传播源信息包括:所述目标对象的目标对象标识、传播半径以及传播时间,所述传播时间用于表征能够存在与所述目标对象产生关联的对象的时间范围;

在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象标识以及所述传播时间相匹配的目标附加信息;其中,所述第一类视频图像为:包括与所述目标对象的类别相同的对象的视频图像,每帧视频图像的附加信息包括:该帧视频图像中所包括各个对象的对象标识和对象位置,以及该帧视频图像的采集时间;所述目标附加信息包括的各个对象标识中,存在与所述目标对象标识相匹配的匹配对象标识,并且所述目标附加信息中包括的采集时间位于所述传播时间所表征的时间范围内;

针对所述目标附加信息中包括的每个待处理对象标识,确定该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离;其中,所述待处理对象标识为:所述目标附加信息包括的各个对象标识中,除所述匹配对象标识之外的对象标识;

将所确定的距离满足所述传播半径的待处理对象标识对应的对象确定为所述目标对象的关联对象。

以上可见,应用本发明实施例提供的方案,可以预先存储每帧视频图像的附加信息,每帧视频图像的附加信息包括:该帧视频图像中所包括的各个对象的的对象标识和对象位置,以及该帧视频图像的采集时间,其中,可以将包括与目标对象的类别相同的对象的视频图像的视频图像作为第一类视频图像。

这样,在需要查找目标对象的关联对象时,可以获取关于目标对象的传播源信息,即获取目标对象的目标对象标识,以及传播半径和传播时间,其中,传播时间可以表征能够存在与目标对象产生关联的对象的时间范围。进而,在存储的每帧第一类视频图像的附加信息中,查找与目标对象标识以及传播时间相匹配的目标附加信息,其中,目标附加信息包括的各个对象标识中,存在与目标对象标识相同的的匹配对象标识,并且目标附加信息中包括的采集时间位于传播时间所表征的时间范围内。之后,针对目标附加信息中包括的除匹配对象标识之外的各个待处理对象标识,便可以确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离,从而,可以将所确定的距离满足传播半径的待处理对象标识对应的对象确定为目标对象的关联对象。

基于此,应用本发明实施例提供的方案,在获取到目标对象的传播源信息后,便可以利用预先存储的每帧视频图像的附加信息与上述目标对象的传播源信息的匹配关系,自动确定目标对象的关联对象。这样,便可以提供了一种自动查找关联对象的方案,从而,在查找目标对象的关联对象时,在无需询问目标对象,或逐一摸排目标对象的行为。

下面,结合附图,对本发明实施例提供的一种关联对象的查找方法进行具体说明。其中,以下各个方法实施例中的各个步骤按照合乎逻辑的顺序执行即可,步骤标号或者对各步骤进行介绍的先后顺序,并不对各步骤的执行顺序构成限定。

图1为本发明实施例提供的一种关联对象的查找方法的流程示意图,如图1所示,该方法可以包括如下步骤s101-s104:

s101:获取关于目标对象的传播源信息;

其中,传播源信息包括:目标对象的目标对象标识、传播半径以及传播时间,传播时间用于表征能够存在与目标对象产生关联的对象的时间范围。

目标对象可以理解为需要关注的特定对象。例如,在一些传染性疾病的防控过程中,目标对象可以为患有这种疾病的人员或者病毒携带者;又例如,在一些行为分析的场景中,目标对象可以为需要进行行为分析的人员;再例如,在一些动物传染性疾病的防控过程中,目标对象可以为患有这种疾病的动物或者携带有病毒的动物。这都是合理的,本发明实施例的应用场景不做限定。

对象标识可以理解为能够唯一标识对象的一些信息,例如,对象图像、对象的某个部分的特征、对象id(identitydocument,身份标识)等等。示例性的,当对象为人员时,对象标识可以为人脸图像、人体特征、人体图像等等。

其中,为了区分描述,可以将目标对象的对象标识称为目标对象标识。

传播半径可以理解为以目标对象为圆心,能够存在目标对象的关联对象的最大半径。也就是说,以目标对象为圆心,传播半径为半径的区域内存在的对象均可能为目标对象的关联对象,进而,当某个对象与目标对象的距离不大于传播半径时,该对象可能为目标对象的关联对象。

传播时间可以用于表征能够存在与目标对象产生关联的对象的时间范围。可以理解的,无论是疾病防控场景中,还是行为分析场景中,确定目标对象的关联对象均存在时效性。例如,在疾病防控场景中,病毒存在潜伏期,通常认为在病毒潜伏期内与目标对象进行接触的对象,可以作为目标对象的关联对象。

其中,传播时间可以为一个时间段,也可以为一个起始点,还可以为一个结束点,基于此,对传播时间的具体形式不做限定。

示例性的,传播时间假设目标对象在2021年1月15日被确诊为疾病患者,需要查找确诊前两周内与该目标对象产生关联的对象,这样,可以将2021年1月1日—2021年1月15日确定为传播时间,也就是确定2021年1月1日—2021年1月15日与该目标对象产生关联的对象。

示例性的,假设确定目标对象是在2021年1月1日被感染某种病毒,则可以将2021年1月1日作为一个起始点,确定2021年1月1日之后与该目标对象产生关联的对象。

基于此,在获取到关于目标对象的传播源信息后,可以确定所要查找的目标对象的关联对象为:在传播时间所表征的时间范围内,与目标对象的距离不大于传播半径的对象。

s102:在存储的各帧第一类视频图像的附加信息中,查找与目标对象标识以及传播时间相匹配的目标附加信息;

其中,第一类视频图像为:包括与所述目标对象的类别相同的对象的视频图像;每帧视频图像的附加信息包括:该帧视频图像中所包括的各个对象的对象标识和对象位置,以及该帧视频图像的采集时间;目标附加信息包括的各个对象标识中,存在与目标对象标识相匹配的匹配对象标识,并且目标附加信息中包括的采集时间位于传播时间所表征的时间范围内。

在采集到各帧视频图像时,可以确定每帧视频图像中所包括的各个对象的对象标识和对象位置,以及该帧视频图像的采集时间,这样,针对每帧视频图像,便可以将该帧视频图像中所包括的各个对象的对象标识和对象位置,以及该帧视频图像的采集时间,存储为该帧视频图像的附加信息。

由于不同的视频图像中可以包括多种类别的对象,例如,人员、车辆、动物等,因此,可以根据视频图像中所包括的对象的类别,以及目标对象的类别,确定所采集到的各帧视频图像中的第一类视频图像。其中,每帧第一类视频图像中包括:与目标对象的类别相同的对象。例如,目标对象为人员,第一类视频图像中包括人员;又例如,目标对象为动物,第一类视频图像中包括动物。

这样,便可以在存储的各帧第一类视频图像的附加信息中,查找与目标对象标识以及传播时间相匹配的目标附加信息。

其中,目标附加信息包括的各个对象标识中,存在与目标对象标识相匹配的匹配对象标识,并且,目标附加信息中包括的采集时间位于传播时间所表征的时间范围内。

也就是说,如果存在某个第一类视频图像的附加信息中存在与目标对象标识相匹配的匹配对象标识,并且,该附件信息中包括的采集时间位于传播时间所表征的时间范围内,则可以将该附加信息确定为目标附件信息。

其中。所谓与目标对象标识相匹配,可以是与目标对象标识相同,也可以是与目标对象标识的相似度满足相似度要求,还可以是与目标对象的差异小于预设差异等,这都是合理的。

可选的,上述对象位置可以为图像坐标系中的对象坐标。例如,可以在视频图像中生成对象矩形框,将矩形框的中心点坐标作为对象位置,又例如,也可以将对象矩形框的坐标作为对象位置。

可选的,上述对象位置也可以为世界坐标系中的对象坐标。例如,可以通过坐标系转换,根据对象在视频图像中的位置确定对象在世界坐标系中的位置。

基于此,上述对象位置的具体形式不做限定。

可选的,各帧视频图像的附加信息中包括的对象位置均为同一坐标系中的位置坐标,这样便于后续查找,后续内容中再对这部分内容进行详细介绍。其中,如果是多相机进行图像采集的场景,可以将不同相机采集的视频图像转换到同一坐标系,进而,在同一坐标系中确定对象位置。

s103:针对目标附加信息中包括的每个待处理对象标识,确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离;

其中,待处理对象标识为:目标附加信息包括的各个对象标识中,除匹配对象标识之外的对象标识。

可选的,待处理对象标识可以为:目标附加信息包括的各个对象标识中,除匹配对象标识之外的每个对象标识。

可选的,待处理对象标识可以为:目标附加信息包括的各个对象标识中,除匹配对象标识以及已被确定为目标对象的关联对象的对象标识之外的每个对象标识。其中,如果某些对象已经被确定为目标对象的关联对象,则这些对象的对象标识不再作为待处理对象标识。

其中,对象位置可以为图像坐标系中的对象坐标,也可以为世界坐标系中的对象坐标。

可选的,一种实施方式中,确定每帧视频图像中所包括各个对象的对象位置的方式可以包括如下步骤a:

步骤a:针对每帧视频帧图像中所包括的每个对象,确定该对象在该帧视频图像中的图像位置,并将所确定的图像位置转换为预设坐标系下的位置坐标,作为该对象的对象位置。

在本实施方式中,上述步骤s103,确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离,可以包括如下步骤b:

步骤b:确定该待处理对象标识对应的预设坐标系下的位置坐标与匹配对象标识对应的预设坐标系下的位置坐标之间的坐标差值,作为该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离。

在本实施方式中,各帧视频图像的附加信息中包括的对象位置可以均为同一坐标系中的位置坐标,这样便于后续查找。基于此,便可以将对象在视频图像中的图像位置均转换至同一坐标系中,也就是说,可以将对象在视频图像中的图像位置均转换至上述预设坐标系中。

其中,上述预设坐标系可以为世界坐标系,也可以为其他参考坐标系,这样,即便各帧视频图像的分辨率不同,基于这些视频图像确定的对象位置也可以位于同一坐标系中。

进而,在本实施方式中,针对每个待处理对象标识,便可以确定该待处理对象标识对应的上述预设坐标系下的位置坐标,与匹配对象标识对应的上述预设坐标系下的位置坐标之间的坐标差值,从而,根据该坐标差值确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离。

可选的,可以直接将上述坐标差值确定为该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离。

可选的,可以通过一些测距算法,根据该坐标差值,该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置在真实物理空间中的距离。

s104:将所确定的距离满足传播半径的待处理对象标识对应的对象确定为目标对象的关联对象。

在确定出上述每个待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离后,便可以进一步确定每个距离与传播半径的关系。

其中,所谓距离满足传播半径是指:距离不大于传播半径。由于当某个对象与目标对象的距离不大于传播半径时,该对象可能为目标对象的关联对象,因此,便可以将所确定的距离满足传播半径的待处理对象标识对应的对象确定为目标对象的关联对象。

也就是说,针对目标附件信息中包括的每个待处理对象标识,若该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离不大于上述传播半径,则该待处理对象标识对应的对象可以被确定为目标对象的关联对象。

可选的,可以将对象在视频图像中的图像位置均转换为预设坐标系中位置坐标,这样,可以针对各帧视频图像设定统一的传播半径,以便于查找。其中,该传播半径可以为固定阈值,也可以为用户根据实际情况设定的半径。

可选的,可以将待处理对象标识对应的预设坐标系下的位置坐标与匹配对象标识对应的预设坐标系下的位置坐标之间的坐标差值,确定为该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离,则上述传播半径可以是针对上述预设坐标系设定的。例如,该预设坐标系为图像坐标系,则上述传播半径可以为m个像素,其中,m为正整数,并且,m的具体数值可以根据实际情况设定。这样,当该待处理对象标识对应的预设坐标系下的位置坐标与匹配对象标识对应的预设坐标系下的位置坐标之间的坐标差值不大于m个像素时,可以将该待处理对象标识对应的对象确定为目标对象的关联对象。

可选的,可以确定待处理对象标识对应的对象位置与匹配对象标识对应的对象位置在真实物理空间中的距离,则上述传播半径可以为真实物理空间中的距离,例如,3米、2米等等,不再一一列举。这样,当待处理对象标识对应的对象位置与匹配对象标识对应的对象位置在真实物理空间中的距离不大于传播半径时,可以将该待处理对象标识对应的对象确定为目标对象的关联对象。

可选的,一种实施方式中,如图2所示,本发明实施例提供的一种关联对象的查找方法还可以包括如下步骤s105:

s105:将所确定的关联对象确定为新的目标对象,并返回执行s101。

在本实施方式中,针对目标对象的关联对象,可以存在与该关联对象产生关联的关联对象,从而,为了进一步确定所确定的关联对象的关联对象,可以将所确定的关联对象确定为新的目标对象,从而,返回上述步骤s101。

例如,以传染性疾病的防控场景为例,目标对象为疾病感染人员或者病毒携带者,则所确定的关联对象可以理解为目标对象的密切接触者,进而,可以继续确定密切接触者的密切接触者。也就是说,将目标对象的密切接触者作为新的目标对象,继续执行上述本发明实施例提供的一种关联对象的查找方法。

其中,在返回执行s101时,可以将包括所确定的关联对象的对象标识的目标附加信息中的采集时间作为新的传播时间,也可以重新确定其他的传播时间,这都是合理的。

可选的,一种实施方式中,在上述步骤s104或者s105之后,本发明实施例提供的一种关联对象的查找方法还可以包括如下步骤c:

步骤c:建立目标对象与所确定出的各个关联对象之间的传播路径。

在本实施方式中,针对每个目标对象,在确定出该目标对象的各个关联对象后,可以建立该目标对象与该目标对象的各个关联对象之间的传播路径,从而,可以方便用户直观地了解传播路径,及时采取相应措施。

例如,如图3c所示,为一种目标对象与所确定出的各个关联对象之间的传播路径的示意图。其中,以传染性疾病的防控场景为例,假设在目标对象p1为传播源,则根据第n帧视频图像的附加信息,确定出目标对象p1的关联对象p2,根据第n+i帧视频图像的附加信息,确定出目标对象p1的关联对象p6;继续以p2作为新的目标对象,根据第n+i帧视频图像的附加信息,确定出p2的关联对象p5,根据第n+j帧视频图像的附加信息,确定出p2的关联对象p10,则所建立的目标对象与所确定出的各个关联对象之间的传播路径如图3c所示。这样可以方便用户直观地了解病毒的传播路径,及时采取相应措施。

可选的,一种实施方式中,在上述步骤s104或者s105之后,本发明实施例提供的一种关联对象的查找方法还可以包括如下步骤d:

步骤d:输出关于所确定出的关联对象的指定信息;

其中,指定信息包括以下信息中的至少一种:包括所确定出的各个关联对象的视频图像、各个目标对象与所确定出的各个关联对象之间的传播路径信息和所确定出的各个关联对象的身份信息;每个关联对象的身份信息是根据该关联对象的对象标识确定的。

在本实施方式中,在确定出目标对象的各个关联对象后,可以查找包括该关联对象的对象标识的目标附加信息所属的视频图像,从而,输出查找到的视频图像,也就是说,可以输出包括所确定出的各个关联对象的视频图像。这样,用户可以直观地了解关联对象的形象。

在确定出目标对象的各个关联对象后,也可以建立目标对象与所确定出的各个关联对象之间的传播路径,进而,得到各个目标对象与所确定出的各个关联对象之间的传播路径信息,从而,可以输出该传播路径信息。这样,可以方便用户直观地了解传播路径,及时采取相应措施。

在确定出目标对象的各个关联对象后,还可以根据各个关联对象的对象标识确定各个关联对象的身份信息。其中,可以预先存储对象的对象标识与身份信息的对应关系,从而,可以获取并输出各个关联对象的身份信息,以便于后续处理。

当然,还可以输出其他的与目标对象和目标对象的关联对象相关的信息,对此,本发明实施例不做具体限定。

基于此,应用本发明实施例提供的方案,在获取到目标对象的传播源信息后,便可以利用预先存储的每帧视频图像的附加信息与上述目标对象的传播源信息的匹配关系,自动确定目标对象的关联对象。这样,便可以提供了一种自动查找关联对象的方案,从而,在查找目标对象的关联对象时,在无需询问目标对象,或逐一摸排目标对象的行为。

可选的,一种实施方式中,上述对象标识可以包括对象特征。例如,对象为人员,则对象标识可以人脸特征和/或人体特征。

这样,在本实施方式中,每帧视频图像的附加信息可以包括:该帧视频图像中所包括的各个对象的对象特征和对象位置,以及该帧视频图像的采集时间。

基于此,在第一种实施方式中,存储每帧视频图像的附加信息的过程可以包括如下步骤e1-e2:

步骤e1:提取该帧视频图像中所包括的各个对象的对象特征,并确定该帧视频图像中所包括的各个对象的对象位置;

步骤e2:针对每帧视频图像,将所得到的该帧视频图像中所包括的各个对象的对象特征和对象位置,以及该帧视频图像的采集时间,存储为该帧视频图像的附加信息。

在在本实施方式中,上述目标对象标识为目标对象特征。例如,当目标对象为人员时,上述目标对象标识可以为:目标对象的人脸特征和/或人体特征。其中,如果目标对象特征为目标对象的人脸特征,则可以获取目标对象的人脸图像,提取该人脸图像中的人脸特征;如果目标对象特征为目标对象的人体特征,则可以获取目标对象的全身图像,提取该全身图像中的人体特征。

进而,可以将上述目标对象特征与各个第一类视频图像的附加信息中的各个对象特征进行匹配,将上述传播时间与各个第一类视频图像的附加信息中的采集时间进行匹配,若某帧第一类视频图像的附加信息中存在与该目标对象特征相匹配的对象特征,并且该帧第一类视频图像的附加信息中的采集时间位于上述传播时间所表征的时间范围内,则将该帧第一类视频图像的附加信息确定为目标附加信息。

可选的,另一种实施方式中,上述对象标识可以包括对象特征。从而,每帧视频图像的附加信息中在包括:该帧视频图像中所包括的各个对象的对象特征和对象位置,以及该帧视频图像的采集时间之外,还可以包括该帧视频图像中所包括的各个对象的对象标识号。其中,上述对象标识号可以为序列号、编号等,对对象标识号的具体形式不做限定。

这样,在在本实施方式中,如图4所示,存储每帧视频图像的附加信息的过程可以包括如下步骤s401-s403:

s401:提取该帧视频图像中所包括的各个对象的对象特征、并确定该帧视频图像中所包括的各个对象的对象位置;

s402:识别所提取到的对象特征中,属于同一对象的对象特征,并为所识别得到的属于同一对象的对象特征分配相同的对象标识号;

s403:针对每帧视频图像,将所得到的该帧视频图像中所包括的各个对象的对象特征和对象位置、为该帧视频图像中提取的各个对象特征分配的对象标识号,以及该帧视频图像的采集时间,存储为该帧视频图像的附加信息。

其中,可选的,针对包括在不同视频图像中的同一对象,可以将从不同帧视频图像中提取的对象特征进行匹配,识别得到属于同一对象的对象特征;也可以通过目标跟踪算法,识别同一对象的对象特征。这都是合理的。

在在本实施方式中的一种实施例中,上述目标对象标识可以为目标对象特征。这样,在本实施例中,上述步骤s102,在存储的各帧第一类视频图像的附加信息中,查找与目标对象标识以及传播时间相匹配的目标附加信息,可以包括如下步骤f1-f2:

步骤f1:在存储的各帧第一类视频图像的附加信息中,查找与目标对象特征相匹配的至少一份匹配对象特征,并读取匹配对象特征对应的对象标识号作为匹配对象标识号;

步骤f2:将包括匹配对象标识号,并且包括的采集时间位于传播时间所表征的时间范围内的附加信息确定为目标附加信息。

在本实施例中,由于属于同一对象的对象特征对应于相同的对象标识号,那么,对于某个与目标对象特征相匹配的对象特征而言,该对象特征对应于匹配对象标识号,则存储的各帧第一类视频图像的附加信息中,对应于该匹配对象标识号的对象特征属于同一对象,进而,对应于该匹配对象标识号的对象特征所对应的对象,均可以作为与目标对象对应的对象。这样,存储的各帧第一类视频图像的附加信息中,包括上述匹配对象标识号的附件信息均可能作为目标附加信息。

基于此,在确定出上述匹配对象标识号后,便可以直接将存储的各帧第一类视频图像的附加信息中,包括匹配对象标识号,并且包括的采集时间位于传播时间所表征的时间范围内的附加信息确定为目标附加信息。

在本实施例中,在确定目标附件信息时,可以不必将所有附加信息中的对象特征均与目标对象特征进行匹配,而可以在仅查找到与目标对象特征相匹配的一份人员特征,或者,少量份的对象特征时,停止匹配,根据匹配对象标识号确定出全部的目标附加信息。这样,减少了匹配过程的计算量,提高了匹配效率。

并且,如果目标对象特征与存储的各帧第一类视频图像的附加信息中的对象特征为不同角度采集到的图像中提取的对象特征,则可能存在同一对象的对象特征不匹配的情况,这样,根据匹配对象标识号可以确定出全部的目标附加信息,避免上述情况所导致的漏判,提高了匹配准确度。

另外,在本实施方式的另一种实施例中,所述目标对象标识可以为目标对象标识号。这样,在本实施例中,上述步骤s102,在存储的各帧第一类视频图像的附加信息中,查找与目标对象标识以及传播时间相匹配的目标附加信息,可以包括如下步骤g:

步骤g:在存储的每帧第一类视频图像的附加信息中,查找包括目标对象标识号,并且包括的采集时间位于传播时间所表征的时间范围内的附加信息,作为目标附加信息。

进一步的,可选的,在本实施方式的再一种实施例中,上述对象可以为人员,则在第二种实施方式的第三种实施例中,还可以对对象的人脸区域进行图像质量评分,用质量较高的人脸区域中提取的人脸特征替换质量较低的人脸区域中提取的人脸特征,即将质量较低的人脸区域中提取的人脸特征替换为质量较高的人脸区域中提取的人脸特征。

其中,如图5所示,上述步骤s401中,提取该帧视频图像中所包括的各个对象的对象特征、并确定该帧视频图像中所包括的各个对象的对象位置,可以包括如下步骤s4011-s4012:

s4011:识别每帧视频图像中所包括的各个人员的人体区域和人脸区域;

s4012:针对每帧视频图像中所包括的每个人员,提取该人员的人脸区域的人脸特征,作为该人员的对象特征,确定该人员的人体区域的位置,作为该人员的对象位置;

这样,在本实施例中,存储每帧视频图像的附加信息的过程中,在还可以包括如下步骤s404和s405:

s404:针对每帧视频图像中所包括的每个人员,确定该人员的人脸区域的图像质量评分,若所确定的图像质量评分满足预设评分条件,则将该人员的人脸区域的人脸特征确定为第一类对象特征,否则,将该人员的人脸区域的人脸特征确定为第二类对象特征;

s405:针对每帧视频图像中所包括的每个人员,将所识别得到的属于该人员的对象特征中的第二类对象特征替换为该人员的第一类对象特征。

这样,可以提高存储的附加信息中的对象特征的质量,进而提高查找目标附加信息时的查找准确度。

可选的,再一种实施方式中,每帧视频图像的附加信息中包括:该帧视频图像中所包括的各个对象的对象标识号和对象位置,以及该帧视频图像的采集时间。这样,在本实施方式中,存储每帧视频图像的附加信息的过程可以包括如下步骤h1-h3:

步骤h1:提取该帧视频图像中所包括的各个对象的对象特征,并确定该帧视频图像中所博阿凯的各个对象的对象位置;

步骤h2:识别所提取到的对象特征中,属于同一对象的对象特征,并为所识别得到的属于同一对象的对象特征分配相同的对象标识号;

步骤h3:针对每帧视频图像,将所得到的该帧视频图像中所包括的各个对象的对象位置、为该帧视频图像中提取的各个对象特征分配的对象标识号,以及该帧视频图像的采集时间,存储为该帧视频图像的附加信息。

在本实施方式中,上述目标对象标识可以为目标对象标识号。这样,在本实施方式中,上述步骤s102,在存储的各帧第一类视频图像的附加信息中,查找与目标对象标识以及传播时间相匹配的目标附加信息,可以包括如下步骤i:

步骤i:在存储的每帧第一类视频图像的附加信息中,查找与目标对象标识号以及传播时间相匹配的目标附加信息。

其中,将存储的每帧第一类视频图像的附加信息中的对象标识号与目标对象标识号进行匹配,并将存储的每帧第一类视频图像的附加信息中的采集时间与传播时间进行匹配。若某帧视频图像的附加信息中存在与该目标对象标识号相同的对象标识号,并且该帧视频图像的附加信息中包括的采集时间位于传播时间所表征的时间范围内,则将该帧视频图像的附加信息确定为目标附加信息。

为了便于理解上述本发明实施例提供的一种关联对象的查找方法,下面,参考图6所示的一种视频图像示意图,进行举例说明。

如图6所示,对象为人员,则假设对第n帧视频图像进行人员识别,识别出人员a、人员b和人员c,提取人员a的特征记为af1,提取人员b的特征记为bf1,提取人员c的特征记为cf1,并确定人员a的位置记为al1,确定人员b的位置记为bl1,确定人员c的位置记为cl1。

假设对第n+1帧视频图像进行人员识别,识别出人员a、人员b和人员c,提取人员a的特征记为af2,提取人员b的特征记为bf2,提取人员c的特征记为cf2,并确定人员a的位置记为al2,确定人员b的位置记为bl2,确定人员c的位置记为cl2。

假设对第n+2帧视频图像进行人员识别,识别出人员a和人员b,提取人员a的特征记为af3,提取人员b的特征记为bf3,并确定人员a的位置记为al3,确定人员b的位置记为bl3。

以这三帧视频图像为例来说,识别出af1、af2和af3均为人员a的人员特征,为af1、af2和af3分配同一对象标识号人员a;识别出bf1、bf2和bf3均为人员b的人员特征,为bf1、bf2和bf3分配同一对象标识号人员b;识别出cf1和cf2均为人员c的人员特征,为cf1和cf2分配同一对象标识号人员c。

存储第n帧视频图像的附加信息包括:人员a(对象特征af1,对象位置al1),人员b(对象特征bf1,对象位置bl1),人员c(对象特征cf1,对象位置cl1),采集时间tn。存储第n+1帧视频图像的附加信息包括:人员a(对象特征af2,对象位置al2),人员b(对象特征bf2,对象位置bl2),人员c(对象特征cf2,对象位置cl2),采集时间tn+1。存储第n+2帧视频图像的附加信息包括:人员a(对象特征af3,对象位置al3),人员b(对象特征bf2,对象位置bl2),采集时间tn+2。

假设上述目标对象标识为x,传播时间为tx,进而,由于第n帧视频图像、第n+1帧视频图像和第n+2帧视频图像中均包括人员,则第n帧视频图像、第n+1帧视频图像和第n+2帧视频图像均为第一帧视频图像。

这样,若af1与x相匹配,则将人员a确定为匹配对象标识号,将包括人员a并且采集时间位于tx所表征的时间范围内的附加信息确定为目标附加信息,例如,tn、tn+1和tn+2均位于tx所表征的时间范围内,则可以将第n帧、第n+1帧、第n+2帧视频图像的附加信息均确定为目标附加信息。

进一步的,由于af1与x相匹配,则将人员a确定为目标对象标识号。

先对第n帧视频图像的附加信息进行处理:

第n帧视频图像的附加信息中的匹配对象标识为af1,针对第n帧视频图像的附加信息中包括的各个对象标识中,除af1之外的每个待处理对象标识,确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离。

其中,可以确定bf1对应的对象位置bl1与af1对应的对象位置al1之间的距离,记为s1,判断s1是否满足传播半径,如果满足,将bf1对应的人员b确定为目标对象的关联对象。确定cf1对应的对象位置cl1与af1对应的对象位置al1之间的距离,记为s2,判断s2是否满足传播半径,如果满足,将cf1对应的人员c确定为目标对象的关联对象。

再对第n+1帧视频图像的附加信息进行处理:

第n+1帧视频图像的附加信息中的匹配对象标识为人员a的对象标识af2,针对第n+1帧视频图像的附加信息中包括的各个对象标识中,除af2之外的每个待处理对象标识,确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离。

其中,可以确定bf2对应的对象位置bl2与af2对应的对象位置al2之间的距离,记为s3,判断s3是否满足传播半径,如果满足,将bf2对应的人员b确定为目标对象的关联对象。确定cf2对应的对象位置cl2与af2对应的对象位置al2之间的距离,记为s4,判断s4是否满足传播半径,如果满足,将cf2对应的人员c确定为目标对象的关联对象。

再对第n+2帧视频图像的附加信息进行处理:

第n+2帧视频图像的附加信息中的匹配对象标识为人员a的对象标识af3,针对第n+2帧视频图像的附加信息中包括的各个对象标识中,除af3之外的每个待处理对象标识,确定该待处理对象标识对应的对象位置与匹配对象标识对应的对象位置之间的距离。

其中,可以确定bf3对应的对象位置bl3与af3对应的对象位置al3之间的距离,记为s5,判断s5是否满足传播半径,如果满足,将bf3对应的人员b确定为目标对象的关联对象。

可选的,如果某些对象已经被确定为目标对象的关联对象,则这些对象的对象标识不再作为待处理对象标识。

例如,如果在对第n帧视频图像进行处理时,就已经将人员b确定为目标对象的关联对象,则再对后续视频图像进行处理时,可以不再对人员b的对象位置进行处理(确定距离以及判断距离是否满足传播半径)。类似的,如果在对第n帧视频图像进行处理时,就已经将人员c确定为目标对象的关联对象,则再对后续视频图像进行处理时,可以不再对人员c的对象位置进行处理(确定距离以及判断距离是否满足传播半径)。

再进一步的,以传染性疾病的防控场景为例,对本发明实施例提供的一种关联对象的查找方法在实际应用中的使用过程进行举例说明。

如图3a-图3c所示,对象为人员,tn、tn+i和tn+j是依次递增的不同时刻,即tn早于tn+i,且tn+i早于tn+j,进而,在tn、tn+i和tn+j分别采集到第n帧视频图像、第n+i帧视频图像和第n+j帧视频图像;p1、p2、……、p10是每个人员的唯一标识。

此外,图3a和图3b中,包括小人的内层矩形框为识别得到的视频图像中的人体区域,包括小人的外层虚线圆框为扩散或传播范围,r为传播半径,中心点为包括小人的内城矩形框的中心点。例如,当p1为传染源,即p1为目标对象时,当p2的中心点被p1的以r为传播半径的虚线圆框覆盖时,p2被判定为传播者,即p2为p1的关联对象。

如图3a所示,针对第n帧视频图像,可以识别得到人员p1、p2、p3和p4,并得到各自的矩形框坐标,从而,将标识p1、p2、p3和p4,p1、p2、p3和p4各自的矩形框坐标,以及采集时间tn作为第n帧视频图像的附加信息进行存储;

如图3a所示,针对第n+i帧视频图像,假设在tn至tn+i之间,p1和p2一直出现在采集到的视频图像中,则可以通过人体跟踪技术,对第n+1帧视频图像中,对p1和p2使用相同的标识,并识别得到第n+i帧视频图像中的p5和p6,得到p1、p2、p5和p6的矩形框坐标。这样,将标识p1、p2、p5和p6,p1、p2、p5和p6的矩形框坐标,以及采集时间tn+j作为第n+i帧视频图像的附加信息进行存储;

如图3a所示,针对第n+j帧视频图像,可以识别得到人员p7、p8、p9和p10,并得到各自的矩形框坐标。其中,假设第n+j帧视频图像中的p8的人脸图像的质量评分较高,而第n+i帧视频图像中的p2的人脸图像的质量评分也极高,并且,二者与同一张参考人脸图像比对成功,则可以确定第n+i帧视频图像中的p2与第n+j帧视频图像中的p8为同一个人,进而,如图3b所示,可以用p2标识第n+j帧视频图像中的p8。

进而,假设p1被诊断患有传播性疾病,且在tn时刻之前是健康的,则以tn时刻为起始时刻,则在tn时刻时,以及在tn时刻之后,位于p1的传播半径r范围内的人员均可能被感染,则p1被确定为目标对象,传播时间为起始点tn时刻,传播半径为r。这样,利用本发明实施例提供的一种关联对象的查找方法,对tn时刻之后采集到的视频图像进行分析可以追溯上述传播性疾病的传播路径。其中,假设所确定的目标附加信息所属的视频图像为上述第n帧视频图像、第n+i帧视频图像和第n+j帧视频图像,则可以得到如图3c所示的传播路径。

相应于上述本发明实施例提供的一种关联对象的查找方法,本发明实施例还提供了一种系统。

下面参考图7对本发明实施例提供的一种系统进行介绍,其中,该系统包括智能分析单元、信息处理单元、存储单元和查找单元。

智能分析单元,用于对输入的每帧视频图像进行视频分析,例如特征提取、人脸比对、目标跟踪等,生成视频分析信息。

信息处理单元,用于对视频分析单元生成的视频分析信息进行处理,例如,通过对对象特征进行聚合,识别属于同一对象的对象特征,为属于同一对象的对象特征分配相同的对象标识号;确定对象在视频图像中的位置,并将该位置转换为预设坐标系中的位置坐标,生成每帧视频图像的附加信息;其中,每帧视频图像的附加信息中包括:该帧视频图像中所包括的各个对象的对象标识、对象标识号和对象位置坐标,以及该帧视频图像的采集时间。

存储单元:用于存储信息处理单元生成的每帧视频图像的附加信息。

查找单元:根据输入的传播源信息,在存储单元中读取需要查找的数据,并返回结果。

举例来说,输入的传播源信息可以包括:目标对象的目标对象标识(例如,目标人脸图像)、传播时间(例如,起始点tx)、传播半径(例如,r),进而,查找单元根据该传播源信息,在存储单元中查找与传播源信息中的目标对象标识和传播时间相匹配的附加信息,得到目标附加信息。

其中,假设对象为人员,对象标识为人员特征,目标对象标识即为目标人员特征,则在获取到关于目标对象的传播源信息后,可以依次将存储单元中存储的附加信息中的各个人员特征与目标人员特征进行匹配,直至出现第一份与目标人员特征相匹配的人员特征时,停止匹配。其中,可以将与目标人员特征相匹配的人员特征作为匹配人员特征。读取该匹配人员特征对应的对象标识号,也就是匹配对象标识号,将包括该匹配对象标识号、并且包括的采集时间在传播时间所表征的时间范围内的附加信息确定为目标附加信息。其中,目标附加信息中包括的对象标识号对应的人员特征均为匹配人员特征。

针对目标附加信息中包括的各个人员特征中,除匹配人员特征和已经被确定为目标对象的关联对象的人员特征之外的每个待处理人员特征,确定该人员特征对应的对象位置与匹配人员特征对应的对象位置之间的距离,若距离满足传播半径,则可以将该待处理人员特征对应的人员确定为目标对象的关联对象。

可以在上述视频图像中,查找包括关联对象的视频图像,例如,存储附加信息时,可以确定附加信息与视频图像之间的对应关系,根据该对应关系,查找包括该关联对象的人员特征的目标附加信息对应的视频图像,将查找到的视频图像作为返回结果。

也可以预先对应存储对象的人员特征与身份信息,这样,可以获取到关联对象的身份信息,作为返回结果。

还可以建立目标对象与所确定的各个关联对象之间的传播路径信息,作为返回结果。

进一步的,可以根据返回结果继续确定新的目标对象,以及关于目标对象的传播源信息,继续进行查找。例如,如果返回结果为视频图像,则可以从该视频图像中提取该关联对象的人脸特征,作为目标人员特征,继续新一次的匹配。如果返回结果为身份信息,则可以根据该身份信息,获取关联对象的人脸图像,提取该人脸图像的人脸特征,作为目标人员特征,继续新一次的匹配。

可见,应用本实施方式,可以自动查找目标对象的关联对象、以及关联对象的关联对象。

与上述方法实施例相对应,本发明实施例还提供了一种关联对象的查找装置,如图8所示,包括:

获取模块801,用于获取关于目标对象的传播源信息;其中,所述传播源信息包括:所述目标对象的目标对象标识、传播半径以及传播时间,所述传播时间用于表征能够存在与所述目标对象产生关联的对象的时间范围;

查找模块802,用于在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象标识以及所述传播时间相匹配的目标附加信息;其中,所述第一类视频图像为:包括与所述目标对象的类别相同的对象的视频图像,每帧视频图像的附加信息包括:该帧视频图像中所包括各个对象的对象标识和对象位置,以及该帧视频图像的采集时间;所述目标附加信息包括的各个对象标识中,存在与所述目标对象标识相匹配的匹配对象标识,并且所述目标附加信息中包括的采集时间位于所述传播时间所表征的时间范围内;

距离确定模块803,用于针对所述目标附加信息中包括的每个待处理对象标识,确定该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离;其中,所述待处理对象标识为:所述目标附加信息包括的各个对象标识中,除所述匹配对象标识之外的对象标识;

对象确定模块804,用于将所确定的距离满足所述传播半径的待处理对象标识对应的对象确定为所述目标对象的关联对象。

基于此,应用本发明实施例提供的方案,在获取到目标对象的传播源信息后,便可以利用预先存储的每帧视频图像的附加信息与上述目标对象的传播源信息的匹配关系,自动确定目标对象的关联对象。这样,便可以提供了一种自动查找关联对象的方案,从而,在查找目标对象的关联对象时,在无需询问目标对象,或逐一摸排目标对象的行为。

可选的,一种实施方式中,所述对象标识包括对象特征,所述目标对象标识包括所述目标对象的目标对象特征;每帧视频图像的附加信息中还包括:该帧视频图像中所包括各个对象的对象标识号;所述查找模块802具体用于:

在存储的各帧第一类视频图像的附加信息中,查找与所述目标对象特征相匹配的至少一份匹配对象特征,并读取所述匹配人员特征对应的对象标识号,作为匹配对象标识号;

将包括所述匹配对象标识号,并且所包括的采集时间位于所述传播时间所表征的时间范围内的附加信息确定为目标附加信息。

可选的,一种实施方式中,所述装置还包括:用于存储每帧视频图像的附加信息的信息存储模块;所述信息存储模块,包括:

信息提取子模块,用于提取每帧视频图像中所包括各个对象的对象特征,并确定每帧视频图像中所包括各个对象的对象位置;

标识号分配子模块,用于识别所提取到的对象特征中,属于同一对象的对象特征,并为所识别得到的属于同一对象的对象特征分配相同的对象标识号;

信息存储子模块,用于针对每帧视频图像,将从该帧视频图像中提取的各个对象特征、确定的各个对象位置、为该帧视频图像中提取的各个对象特征分配的对象标识号、以及该帧视频图像的采集时间存储为该帧视频图像的附加信息。

可选的,所述信息提取子模块具体用于:针对每帧视频帧图像中所包括的每个对象,确定该对象在该帧视频图像中的图像位置,并将所确定的图像位置转换为预设坐标系下的位置坐标,作为该对象的对象位置;

所述距离确定模块803具体用于:确定该待处理对象标识对应的所述预设坐标系下的位置坐标与所述匹配对象标识对应的所述预设坐标系下的位置坐标之间的坐标差值,作为该待处理对象标识对应的对象位置与所述匹配对象标识对应的对象位置之间的距离。

可选的,一种实施方式中,所述对象为人员,所述信息提取子模块具体用于:识别每帧视频图像中所包括的各个人员的人体区域和人脸区域;针对每帧视频图像中所包括的每个人员,提取该人员的人脸区域的人脸特征,作为该人员的对象特征,并确定该人员的人体区域的位置,作为该人员的对象位置;

所述装置还包括:

质量评分模块,用于在所述识别所提取到的对象特征中,属于同一对象的对象特征之前,针对每帧视频图像中所包括的每个人员,确定该人员的人脸区域的图像质量评分,若所确定的图像质量评分满足预设评分条件,则将该人员的人脸区域的人脸特征确定为第一类对象特征,否则,将该人员的人脸区域的人脸特征确定为第二类对象特征;

特征替换模块,用于在所述识别所提取到的对象特征中,属于同一对象的对象特征的之后,针对每帧视频图像中所包括的每个人员,将所识别得到的属于该人员的对象特征中的第二类对象特征替换为该人员的第一类对象特征。

可选的,一种实施方式中,所述装置还包括:

路径建立模块,用于建立所述目标对象与所确定出的各个关联对象之间的传播路径。

可选的,一种实施方式中,所述装置还包括:

对象确定模块,用于将所确定的关联对象确定为新的目标对象,并返回触发所述获取模块。

可选的,一种实施方式中,所述装置还包括:

信息输出模块,用于输出关于所确定出的关联对象的指定信息;

其中,所述指定信息包括以下信息中的至少一种:包括所确定出的各个关联对象的视频图像、各个目标对象与所确定出的各个关联对象之间的传播路径信息和所确定出的各个关联对象的身份信息;所述每个关联对象的身份信息是根据该关联对象的对象标识确定的。

本发明实施例还提供了一种电子设备,如图9所示,包括处理器901和存储器902,

存储器902,用于存放计算机程序;

处理器901,用于执行存储器902上所存放的程序时,实现上述任意一种关联对象的查找方法。

上述电子设备提到的存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一种关联对象的查找方法。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任意一种关联对象的查找方法。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、系统实施例、设备实施例、计算机可读存储介质实施例、以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1