目标追踪方法、装置、目标追踪设备及存储介质与流程

本申请实施例涉及计算机技术，尤其涉及一种目标追踪方法、装置、目标追踪设备及存储介质。

背景技术：

随着视频监控和网络传输技术的快速发展，在各级城市的街道、路口、车站、重要建筑物普遍安装拍摄装置。通过人工方式分析拍摄装置拍摄的内容以进行目标对象的识别是目前追踪目标人物的主要方法。

现有的目标追踪方案，仅通过对目标对象进行跟踪对于其它有用信息没有进行合理利用，导致了追踪信息的不完善，需要改进。

技术实现要素：

本申请提供了一种目标追踪方法、装置、目标追踪设备及存储介质，合理运用了原始采集的图像信息，完善了目标追踪方案，提高了追踪信息的获取效率。

第一方面，本申请实施例提供了一种目标追踪方法，包括：

获取原始图像信息，所述原始图像信息包含至少两幅原始图像；

当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像；

查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像。

第二方面，本申请实施例还提供了一种目标追踪装置，包括：

图像获取模块，用于获取原始图像信息，所述原始图像信息包含至少两幅原始图像；

关联对象确定模块，用于当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像；

信息反馈模块，用于查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像。

第三方面，本申请实施例还提供了一种目标追踪设备，包括：处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例所述的目标追踪方法。

第四方面，本申请实施例还提供了一种包含目标追踪设备可执行指令的存储介质，所述目标追踪设备可执行指令在由目标追踪设备处理器执行时用于执行本申请实施例所述的目标追踪方法。

本方案中，获取原始图像信息，所述原始图像信息包含至少两幅原始图像；当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像；查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像，合理运用了原始采集的图像信息，完善了目标追踪方案，提高了追踪信息的获取效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例提供的一种目标追踪方法的流程图；

图2是本申请实施例提供的另一种目标追踪方法的流程图；

图3是本申请实施例提供的另一种目标追踪方法的流程图；

图4是本申请实施例提供的另一种目标追踪方法的流程图；

图5是本申请实施例提供的一种目标追踪装置的结构框图；

图6是本申请实施例提供的一种目标追踪设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。

图1是本申请实施例提供的一种目标追踪方法的流程图，可适用于发现和目标对象存在一定联系的关联人员，该方法可以由本申请实施例提供的目标追踪设备来执行，该目标追踪设备的目标追踪装置可采用软件和/或硬件的方式实现，如图1所示，本实施例提供的具体方案如下：

步骤s101、获取原始图像信息，所述原始图像信息包含至少两幅原始图像。

其中，原始图像信息可以是一个或多个设置在不同个位置(如路口、商场、地铁入口、公交站牌)的监控摄像装置抓拍的图像组成。该原始图像信息包含有抓拍的人脸图像，其包括至少两幅原始图像。示例性的，可以是按照日期的先后顺序进行排列的原始图像集合。

步骤s102、当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像。

其中，目标对象可以是已经确定的需要追踪的或者已经追踪完毕的目标，第一原始图像为原始图像信息中的任意一幅图像，如果在第一原始图像信息中识别出存在目标对象，则相应的截取该第一原始图像中和目标对象关联的待确定人脸图像，其中，待确定人脸图像中对应的目标人物为不确定是否需要追踪的目标，即对该目标人物是否进行追踪反馈处于待确定状态。

在一个实施例中，目标对象关联的待确定人脸图像可以是在第一原始图像中识别到的除目标对象外其他出现的人脸图像，如在第一原始图像中识别出目标对象，同时在目标对象出现的该第一原始图像中还存在另外的人脸图像(如3个人脸图像)，则将该3个人脸图像确定为和目标对象关联的待确定人脸图像。

步骤s103、查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像。

其中，第二原始图像可以是一幅或多幅图像，如原始图像信息中除第一原始图像的采集装置以外的采集装置采集的其他原始图像，如果识别到存在所述目标对象，则进一步的识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像。在一个实施例中，对第二图像中存在的人脸图像和之前确定的待确定人脸图像进行比对，如果比对结果一致则输出该待确定人脸图像。

由上述内容可知，通过对出现目标对象的原始图像信息进行关联人脸图像的识别和追踪，对于和目标对象同时出现次数达到两次或以上的目标人物进行输出反馈，合理运用了原始采集的图像信息，完善了目标追踪方案，提高了追踪信息的获取效率。

图2是本申请实施例提供的另一种目标追踪方法的流程图，可选的，所述原始图像信息还包括每幅原始图像的采集时间和采集地点，相应的，所述输出所述待确定人脸图像包括：输出所述待确定人脸图像以及所述第二原始图像的采集时间和采集地点。如图2所示，技术方案具体如下：

步骤s201、获取原始图像信息，所述原始图像信息包含至少两幅原始图像以及每幅原始图像的采集时间和采集地点。

在原始图像采集过程中，相应的记录该原始图像的采集时间和采集地点，其中，采集地点可以是监控摄像装置所在的位置(可以是经纬度标记或者路口位置标记等)，采集时间即该原始图像被抓拍时的时间点(如3:14:38)，原始图像信息中，除了包含多幅原始图像外，相应的包含每幅原始图像的采集时间和采集地点用以后续进行反馈。

步骤s202、当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像。

步骤s203、查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像以及所述第二原始图像的采集时间和采集地点。

在一个实施例中，除了输出待确定人脸图像提供给查询人员外，进一步的将该待确定人脸图像的采集时间和采集地点一并进行反馈。

由上述可知，目标追踪人员可及时锁定和目标对象关联的待确定目标，并根据反馈的采集时间和采集地点进行有效的追踪。

图3是本申请实施例提供的另一种目标追踪方法的流程图，可选的，在截取所述目标对象关联的待确定人脸图像之后，还包括：对所述待确定人脸图像进行图像矫正得到矫正人脸图像并进行保存。如图3所示，技术方案具体如下：

步骤s301、获取原始图像信息，所述原始图像信息包含至少两幅原始图像以及每幅原始图像的采集时间和采集地点。

步骤s302、当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像。

步骤s303、对所述待确定人脸图像进行图像矫正得到矫正人脸图像并进行保存。

在一个实施例中，通过判断人脸图像中的五官是否对称以确定截取的待确定人脸图像是否为正面人脸图像。具体的，以双眼和嘴部为例，首先进行双眼和嘴部定位并得到双眼和嘴部之间的连线，如果双眼之间的连线处于水平状态，且双眼和嘴部连线组成的三角形处于为对称三角形，则确定当前待确定人脸图像为正面人脸图像，否则为非正面人脸图像，进行图像矫正处理。

在一个实施例中，通过定位的待确定人脸图像上的特征点，生成至少两个人脸特征点坐标，该特征点可以选取易识别定位的人脸五官中包含的点，如眼球、鼻尖等部位作为特征点，具体可采用现有技术中的模型定位方法实现；基于至少两个所述人脸特征点坐标计算人脸偏转角度，并根据所述人脸偏转角度反向旋转人脸图像，人脸图像处于标准姿态时，任意两特征点间的连线具有固定的方向性，例如鼻尖与人中的连线应该是竖直的。特征点连线与水平或竖直方向的夹角处于一个固定的范围内，比如鼻尖与人中的连线与水平方向的夹角大致为90°。因此，可利用统计学原理根据人脸五官的分布位置求出它们在标准姿态下的平均角度。已知人脸图像上两个特征点的坐标，即可确定这两个特征点的连线，从而求出人脸图像中的两个特征点的连线与水平或竖直方向的夹角，与平均角度进行比较即可得出人脸偏转角度。计算人脸偏转角度，至少需要两个人脸特征点的位置坐标，也可采用两个以上的人脸特征点的位置坐标进行计算，例如，若采用三个人脸特征点的位置坐标，则将三个人脸特征点连线为一个三角形，利用统计学原理得到这三个特征点标准姿态时的标准三角形，计算两个三角形的夹角，即可算出人脸偏转角度。在确定人脸偏转角度后，相应的进行人脸反转处理，旋转角度与人脸偏转角度相等，从而得到旋转之后的人脸图像；对反向旋转后的人脸图像画面进行修复处理得到矫正人脸图像画面，在经过反向旋转处理后，可根据人脸对称特性对图像亮度、对比度较差的一侧采用镜像方式进行修复处理。具体的，可对反向旋转后的图像进行图像亮度和对比度识别，将亮度和对比度较高的一侧的五官图像(如眼部图像)进行对称变换处理以修正亮度和对比度较差的一侧的图像，由此以最终得到矫正人脸图像。

步骤s304、查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像以及所述第二原始图像的采集时间和采集地点。

由上述可知，在截取和目标对象关联的待确定人脸图像时，进行图像矫正得到便于后续识别比对的矫正人脸图像，为后续查询识别提供了便利的前提条件，提高了查询识别效率以及反馈结果的准确率。

图4是本申请实施例提供的另一种目标追踪方法的流程图，可选的，在所述获取原始图像信息之后，还包括：确定目标对象的人脸图像特征和体貌特征，根据所述人脸图像特征和所述体貌特征在所述原始图像信息中进行图像识别。如图4所示，技术方案具体如下：

步骤s401、获取原始图像信息，所述原始图像信息包含至少两幅原始图像以及每幅原始图像的采集时间和采集地点。

步骤s402、确定目标对象的人脸图像特征和体貌特征，根据所述人脸图像特征和所述体貌特征在所述原始图像信息中进行图像识别。

其中，对目标对象进行特征提取以得到目标对象的体貌特征，该体貌特征区别于人脸图像特征，其包括目标对象的身高特征、穿着特征和肢体特征等。

在一个实施例中，确定目标对象的体貌特征方式可以是：通过预设训练模型对目标对象进行特征提取得到目标对象体貌特征，其中，目标对象体貌特征包括至少两种，所述预设训练模型在训练过程由不同的体貌特征样本联合训练得到。在另一个实施例中，还可以是：对目标对象进行特征提取并通过预设模板库确定目标对象体貌特征，其中，预设模板数据库中包括训练得到的多个属性值和对应的模板特征向量，具体的，通过对目标对象进行特征提取得到对应的目标特征向量，确定所述目标特征向量和多个所述模板特征向量的欧式距离，将满足预设条件的模板特征向量对应的属性值确定为目标对象的体貌特征。

步骤s403、当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像。

其中，对第一原始图像进行识别的过程中，包括对目标对象的体貌特征的识别，即对原始图像中存在的人体图像的体貌特征进行特征提取以和目标对象的体貌特征进行比对，如果比对结果一致，则确定识别到该目标对象。

步骤s404、对所述待确定人脸图像进行图像矫正得到矫正人脸图像并进行保存。

步骤s405、查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像以及所述第二原始图像的采集时间和采集地点。

由上述可知，在确定目标对象的过程中，除了采用常规的人脸图像识别方式外，还结合有目标对象的体貌特征进行识别，针对没有采集到目标对象人脸图像的原始图像，也能够识别出目标对象，扩大了目标对象的搜索范围。

图5是本申请实施例提供的一种目标追踪装置的结构框图，该装置用于执行上述实施例提供的目标追踪方法，具备执行方法相应的功能模块和有益效果。如图5所示，该装置具体包括：图像获取模块101、关联对象确定模块102和信息反馈模块103，其中，

图像获取模块101，用于获取原始图像信息，所述原始图像信息包含至少两幅原始图像。

其中，原始图像信息可以是一个或多个设置在不同个位置(如路口、商场、地铁入口、公交站牌)的监控摄像装置抓拍的图像组成。该原始图像信息包含有抓拍的人脸图像，其包括至少两幅原始图像。示例性的，可以是按照日期的先后顺序进行排列的原始图像集合。

关联对象确定模块102，用于当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像。

其中，目标对象可以是已经确定的需要追踪的或者已经追踪完毕的目标，第一原始图像为原始图像信息中的任意一幅图像，如果在第一原始图像信息中识别出存在目标对象，则相应的截取该第一原始图像中和目标对象关联的待确定人脸图像，其中，待确定人脸图像中对应的目标人物为不确定是否需要追踪的目标，即对该目标人物是否进行追踪反馈处于待确定状态。

在一个实施例中，目标对象关联的待确定人脸图像可以是在第一原始图像中识别到的除目标对象为其他出现的人脸图像，如在第一原始图像中识别出目标对象，同时在目标对象出现的该第一原始图像中还存在另外的人脸图像(如3个人脸图像)，则将该3个人脸图像确定为和目标对象关联的待确定人脸图像。

信息反馈模块103，用于查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像。

其中，第二原始图像可以是一幅或多幅图像，如原始图像信息中除第一原始图像的采集装置以外的采集装置采集的其他原始图像，如果识别到存在所述目标对象，则进一步的识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像。在一个实施例中，对第二图像中存在的人脸图像和之前确定的待确定人脸图像进行比对，如果比对结果一致则输出该待确定人脸图像。

由上述内容可知，通过对出现目标对象的原始图像信息进行关联人脸图像的识别和追踪，对于和目标对象同时出现次数达到两次或以上的目标人物进行输出反馈，合理运用了原始采集的图像信息，完善了目标追踪方案，提高了追踪信息的获取效率。

在一个可能的实施例中，所述原始图像信息还包括每幅原始图像的采集时间和采集地点，所述信息反馈模块103还用于：：

输出所述待确定人脸图像以及所述第二原始图像的采集时间和采集地点。

在一个可能的实施例中，所述关联对象确定模块102还用于：

在所述第一原始图像中截取所述目标对象关联的待确定人脸图像之前，将和所述目标对象的图像距离最近的人脸图像确定为和所述目标对象关联的待确定人脸图像。

在一个可能的实施例中，所述关联对象确定模块102还用于：

在截取所述目标对象关联的待确定人脸图像之后，对所述待确定人脸图像进行图像矫正得到矫正人脸图像并进行保存。

在一个可能的实施例中，所述关联对象确定模块102具体用于：

判断所述截取的待确定人脸图像是否为正面人脸图像，如果否，则对所述待确定人脸图像进行图像矫正得到矫正人脸图像。

在一个可能的实施例中，所述关联对象确定模块102具体用于：

定位所述待确定人脸图像上的特征点，生成至少两个人脸特征点坐标；

基于至少两个所述人脸特征点坐标计算人脸偏转角度，并根据所述人脸偏转角度反向旋转所述待确定人脸图像；

对反向旋转后的人脸图像画面进行修复处理得到矫正人脸图像。

在一个可能的实施例中，所述关联对象确定模块102还用于：

在所述获取原始图像信息之后，确定目标对象的人脸图像特征和体貌特征，根据所述人脸图像特征和所述体貌特征在所述原始图像信息中进行图像识别。

本实施例在上述各实施例的基础上提供了一种目标追踪设备，图6是本申请实施例提供的一种目标追踪设备的结构示意图，如图6所示，该目标追踪设备包括：存储器201、处理器(centralprocessingunit，cpu)202、外设接口203、摄像头205、电源管理芯片208、输入/输出(i/o)子系统209、触摸屏212、wifi模块213、其他输入/控制设备210以及外部端口204，这些部件通过一个或多个通信总线或信号线207来通信。

应该理解的是，图示目标追踪设备仅仅是目标追踪设备的一个范例，并且目标追踪设备可以具有比图中所示出的更多的或者更少的部件，可以组合两个或更多的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

下面就本实施例提供的用于目标追踪的目标追踪设备进行详细的描述。

存储器201，所述存储器201可以被cpu202、外设接口203等访问，所述存储器201可以包括高速随机存取存储器，还可以包括非易失性存储器，例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

外设接口203，所述外设接口203可以将设备的输入和输出外设连接到cpu202和存储器201。

i/o子系统209，所述i/o子系统209可以将设备上的输入输出外设，例如触摸屏212和其他输入/控制设备210，连接到外设接口203。i/o子系统209可以包括显示控制器2091和用于控制其他输入/控制设备210的一个或多个输入控制器2092。其中，一个或多个输入控制器2092从其他输入/控制设备210接收电信号或者向其他输入/控制设备210发送电信号，其他输入/控制设备210可以包括物理按钮(按压按钮、摇臂按钮等)、滑动开关、操纵杆、点击滚轮。值得说明的是，输入控制器2092可以与以下任一个连接：键盘、红外端口、usb接口以及诸如鼠标的指示设备。

触摸屏212，所述触摸屏212是用户终端与用户之间的输入接口和输出接口，将可视输出显示给用户，可视输出可以包括图形、文本、图标、视频等。

i/o子系统209中的显示控制器2091从触摸屏212接收电信号或者向触摸屏212发送电信号。触摸屏212检测触摸屏上的接触，显示控制器2091将检测到的接触转换为与显示在触摸屏212上的用户界面对象的交互，即实现人机交互，显示在触摸屏212上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是，设备还可以包括光鼠，光鼠是不显示可视输出的触摸敏感表面，或者是由触摸屏形成的触摸敏感表面的延伸。

电源管理芯片208，用于为cpu202、i/o子系统及外设接口所连接的硬件进行供电及电源管理。

上述实施例中提供的目标追踪设备的目标追踪装置及目标追踪设备可执行本申请任意实施例所提供的目标追踪设备的目标追踪方法，具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的目标追踪设备的目标追踪方法。

本申请实施例还提供一种包含目标追踪设备可执行指令的存储介质，所述目标追踪设备可执行指令在由目标追踪设备处理器执行时用于执行一种目标追踪方法，该方法包括：

获取原始图像信息，所述原始图像信息包含至少两幅原始图像；

当识别到第一原始图像存在目标对象时，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像；

查询所述原始图像信息中的第二原始图像，如果识别到存在所述目标对象，则识别所述第二原始图像中是否存在所述待确定人脸图像，如果存在，则输出所述待确定人脸图像。

在一个可能的实施例中，所述原始图像信息还包括每幅原始图像的采集时间和采集地点，相应的，所述输出所述待确定人脸图像包括：

输出所述待确定人脸图像以及所述第二原始图像的采集时间和采集地点。

在一个可能的实施例中，在所述第一原始图像中截取所述目标对象关联的待确定人脸图像之前，还包括：

将和所述目标对象的图像距离最近的人脸图像确定为和所述目标对象关联的待确定人脸图像。

在一个可能的实施例中，在截取所述目标对象关联的待确定人脸图像之后，还包括：

对所述待确定人脸图像进行图像矫正得到矫正人脸图像并进行保存。

在一个可能的实施例中，所述对所述待确定人脸图像进行图像矫正得到矫正人脸图像并进行保存包括：

判断所述截取的待确定人脸图像是否为正面人脸图像，如果否，则对所述待确定人脸图像进行图像矫正得到矫正人脸图像。

在一个可能的实施例中，所述对所述待确定人脸图像进行图像矫正得到矫正人脸图像包括：

定位所述待确定人脸图像上的特征点，生成至少两个人脸特征点坐标；

基于至少两个所述人脸特征点坐标计算人脸偏转角度，并根据所述人脸偏转角度反向旋转所述待确定人脸图像；

对反向旋转后的人脸图像画面进行修复处理得到矫正人脸图像。

在一个可能的实施例中，在所述获取原始图像信息之后，还包括：

确定目标对象的人脸图像特征和体貌特征，根据所述人脸图像特征和所述体貌特征在所述原始图像信息中进行图像识别。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如cd-rom、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如dram、ddrram、sram、edoram，兰巴斯(rambus)ram等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的目标追踪方法操作，还可以执行本申请任意实施例所提供的目标追踪方法中的相关操作。

注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。