人体轨迹处理方法、装置、计算机存储介质以及电子设备与流程

本公开涉及人工智能技术领域，具体而言，涉及一种人体轨迹处理方法、人体轨迹处理装置、计算机存储介质和电子设备。

背景技术：

智慧零售是运用互联网、物联网技术，感知消费习惯，预测消费趋势，引导生产制造，为消费者提供多样化、个性化的产品和服务。在智慧零售商场场景中，商场或店铺主要的关心点是一个顾客整体的游逛轨迹和进出场、进出店等行为。

目前在智慧零售商场方案中对于顾客整体游逛轨迹和行为分析主要是基于对摄像头所拍摄的人脸轨迹进行身份建档，同时基于拍摄的人体轨迹进行行为分析，进而建立人体轨迹与永久身份的关联并统计得到该永久身份对应的全商城、店铺的游逛轨迹和行为。但是该方法中需要对不同类型摄像头所拍摄的视频进行对齐处理，并且在进行人体轨迹分析时，需要等待获取到所有轨迹数据后才能进行，因此该方案存在身份召回效果差、系统吞吐量低、数据处理效率慢等问题。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。

技术实现要素：

本公开的目的在于提供一种人体轨迹处理方法、人体轨迹处理装置、计算机存储介质及电子设备，进而至少在一定程度上提高了数据处理效率和精准度，进而提高身份召回效果及系统吞吐量。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种人体轨迹处理方法，包括：获取根据场门处的第一拍摄装置拍摄的视频得到的人脸轨迹和第一人体轨迹，根据所述场门处的第二拍摄装置拍摄的视频得到的第二人体轨迹，以及根据场内门处的第三拍摄装置拍摄的视频得到的第三人体轨迹；对所述人脸轨迹和与所述人脸轨迹匹配的第一人体轨迹进行绑定以获取第一轨迹映射关系，并根据所述人脸轨迹在人脸数据库中进行检索，以获取与所述人脸轨迹对应的目标永久身份；对所述第一人体轨迹和所述第二人体轨迹进行聚类，并确定与聚类结果对应的临时身份，以获取人体轨迹与所述临时身份之间的第二轨迹映射关系；根据所述第三人体轨迹在所述第一人体轨迹和所述第二人体轨迹中进行检索，以获取所述第三人体轨迹与所述第一人体轨迹或所述第二人体轨迹之间的第三轨迹映射关系；基于所述第一轨迹映射关系、所述第二轨迹映射关系、所述第三轨迹映射关系和所述目标永久身份，将所述目标永久身份与对应的人体轨迹进行绑定。

根据本公开的一个方面，提供了一种人体轨迹处理装置，所述装置包括：轨迹获取模块，用于获取根据场门处的第一拍摄装置拍摄的视频得到的人脸轨迹和第一人体轨迹，根据所述场门处的第二拍摄装置拍摄的视频得到的第二人体轨迹，以及根据场内门处的第三拍摄装置拍摄的视频得到的第三人体轨迹；人脸检索模块，用于对所述人脸轨迹和与所述人脸轨迹匹配的第一人体轨迹进行绑定以获取第一轨迹映射关系，并根据所述人脸轨迹在人脸数据库中进行检索，以获取与所述人脸轨迹对应的目标永久身份；轨迹聚类模块，用于对所述第一人体轨迹和所述第二人体轨迹进行聚类，并确定与聚类结果对应的临时身份，以获取人体轨迹与所述临时身份之间的第二轨迹映射关系；轨迹检索模块，用于根据所述第三人体轨迹在所述第一人体轨迹和所述第二人体轨迹中进行检索，以获取所述第三人体轨迹与所述第一人体轨迹或所述第二人体轨迹之间的第三轨迹映射关系；身份绑定模块，用于基于所述第一轨迹映射关系、所述第二轨迹映射关系、所述第三轨迹映射关系和所述目标永久身份，将所述目标永久身份与对应的人体轨迹进行绑定。

根据本公开的一个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的人体轨迹处理方法。

根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的人体轨迹处理方法。

由上述技术方案可知，本公开示例性实施例中的人体轨迹处理方法、人体轨迹处理装置、计算机存储介质及电子设备至少具备以下优点和积极效果：

在本公开的一些实施例所提供的技术方案中，首先通过将人脸轨迹和与其匹配的第一人体轨迹进行绑定以获取第一轨迹映射关系，同时根据人脸轨迹在人脸数据库中进行检索，以获取目标永久身份；接着将第一人体轨迹和第二人体轨迹进行聚类并确定与聚类结果对应的临时身份，以获取人体轨迹与临时身份之间的第二轨迹映射关系，并根据第三人体轨迹在第一人体轨迹和第二人体轨迹中进行检索，以获取第三人体轨迹与第一人体轨迹或第二人体轨迹之间的第三轨迹映射关系；最后基于第一轨迹映射关系、第二轨迹映射关系、第三轨迹映射关系和目标永久身份将目标永久身份与对应的人体轨迹进行绑定。本公开实施例中的人体轨迹处理方法一方面通过人脸轨迹、第一人体轨迹、第二人体轨迹、第三人体轨迹之间的轨迹映射关系能够实现精准的身份召回；另一方面在获取第一人体轨迹和第二人体轨迹之前，无需对不同类型摄像头拍摄的视频流进行对齐处理，因而避免了视频流未对齐所引起的身份召回精准度低的问题，并且也大大降低了人工成本；再一方面在获取第二轨迹映射关系时，是对第一人体轨迹和第二人体轨迹进行聚类而得，无需等待获取所有的轨迹，因此提高了处理效率和系统吞吐量；最后本公开可以避免部署大量拍摄终端获取大量的第一人体轨迹以进行人脸人体绑定，因而进一步减少了成本。

本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：

图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图；

图2示出相关技术中的智慧零售商场中进行身份召回的架构图；

图3示出了根据本公开一实施例的人体轨迹处理方法的流程示意图；

图4示出了根据本公开一实施例的人体轨迹处理的流程示意图；

图5示出了根据本公开一实施例的对第一人体轨迹和第二人体轨迹进行聚类形成轨迹簇的流程示意图；

图6示出了根据本公开一实施例的获取轨迹簇对应的临时身份的流程示意图；

图7示出了根据本公开一实施例的最高检索分大于第三预设阈值时进行数据更新的流程示意图；

图8示出了根据本公开一实施例的最高检索分小于或等于第三预设阈值时进行数据更新的流程示意图；

图9示出了根据本公开一实施例的身份绑定的结构示意图；

图10示出了根据本公开一实施例的确定最终目标永久身份的流程示意图；

图11示出了根据本公开一实施例的人体轨迹处理装置的结构示意图；

图12示出了根据本公开一实施例的电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

示例实施方式中所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构100可以包括第一拍摄终端101、第二拍摄终端102、第三拍摄终端103、终端设备104、控制器105以及服务器106。其中，上述第一拍摄终端101、第二拍摄终端102、第三拍摄终端103可以是枪机摄像头、球机摄像头等具有摄像单元的终端设备，具体地第一拍摄终端101可以是枪机摄像头，第二拍摄终端102和第三拍摄终端103可以是球机摄像头，并且第一拍摄终端101和第二拍摄终端102可以设置于同一场门上方，第三拍摄终端103可以设置于不同于场门的场内门上方，比如商场中的店门上方；终端设备104可以是诸如台式计算机、笔记本电脑、平板电脑、智能手机等具有显示屏的电子设备；控制器105用以将第一拍摄终端101、第二拍摄终端102、第三拍摄终端103拍摄到的视频流发送至服务器106。

应该理解，图1中的第一拍摄终端101、第二拍摄终端102、第三拍摄终端103、终端设备104、控制器105和服务器106的数目仅仅是示意性的。根据实现需要，可以具有任意数目的第一拍摄终端101、第二拍摄终端102、第三拍摄终端103、终端设备104、控制器105和服务器106。比如服务器106可以是独立的服务器，也可以是多个服务器组成的服务器集群等，可用于存储与人体轨迹处理相关的信息。

在本公开的一个实施例中，在智慧零售商场的场景中，第一拍摄终端101和第二拍摄终端102可以设置在场门上方，用于拍摄顾客在公共区域游逛的轨迹图像；第三拍摄终端103可以设置在各个门店的店门上方，用于拍摄顾客在私有区域(门店)游逛的轨迹图像。第一拍摄终端101可以是枪机摄像头，由于抓拍质量很好，所以可以用于抓拍顾客的人脸和人体，第二拍摄终端102和第三拍摄终端103可以是球机摄像头，由于抓拍质量较差，所以可以用于抓拍人体。不同的拍摄终端拍摄的都是零碎的视频，为了获取顾客在商场中的游逛轨迹并对顾客的人体轨迹进行身份召回，那么就需要对第一拍摄终端101、第二拍摄终端102和第三拍摄终端103拍摄到的视频流进行处理，以获取顾客的人体轨迹，并将该人体轨迹与顾客的永久身份进行绑定。具体地，可以通过控制器105将第一拍摄终端101、第二拍摄终端102和第三拍摄终端103所拍摄到的视频流发送至服务器106。服务器106接收到各个拍摄终端发送的视频流后，首先对第一拍摄终端101发送的视频流中的各个图像进行人脸检测跟踪、配准和过滤以获取人脸轨迹，同时进行人体检测跟踪和过滤以获取第一人体轨迹，通过将同一顾客的人脸轨迹和第一人体轨迹进行绑定以获取第一轨迹映射关系，由于人脸能够直接确定顾客的永久身份，因此可以将人脸轨迹中的人脸特征与人脸数据库中的人脸特征进行匹配，以确定与人脸轨迹对应的目标永久身份。接着服务器106可以对第二拍摄终端102和第三拍摄终端103发送的视频流中的图像进行人体检测跟踪和过滤以获取第二人体轨迹和第三人体轨迹，然后对第一人体轨迹和第二人体轨迹进行聚类以将平均质量分相近的第一人体轨迹和第二人体轨迹划为同一轨迹簇并获取与其对应的临时身份，即第二轨迹映射关系，进一步，可以根据第三人体轨迹在第一人体轨迹和第二人体轨迹进行检索，以将第三人体轨迹映射至对应的第一人体轨迹或第二人体轨迹，获取第三轨迹映射关系。最后根据第一轨迹映射关系、第二轨迹映射关系、第三轨迹映射关系和目标永久身份进行身份绑定，即可获取与目标永久身份对应的人体轨迹，并将目标永久身份和人体轨迹进行绑定，实现人体轨迹的身份召回。进一步地，服务器106可以将目标永久身份和人体轨迹的映射关系发送至终端设备104，以使商场管理者或店家根据顾客的游逛轨迹制定相应的营销策略。

需要说明的是，本公开实施例所提供的人体轨迹处理方法一般由服务器106执行，相应地，人体轨迹处理装置一般设置于服务器106中。但是，在本公开的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本公开实施例所提供的人体轨迹处理方案。

在本领域的相关技术中，图2示出了智慧零售商场中进行身份召回的架构图，如图2所示，在场门上设置有枪机摄像头和球机摄像头，在店门上设置有球机摄像头，分别简称为场枪机、场球机和店球机。在步骤s201中，调用取流服务从场枪机、场球机和店球机中取流，并对同一场门的场枪机和场球机拍摄的视频实时流进行对齐处理，即枪球视频对齐，保证这一对场门摄像头视频中帧同步，方便后续枪球匹配；在步骤s202中，调用人脸特征、人脸检索、人体特征和人体检索等视觉处理微服务对场枪机视频中各个图像分别进行人脸和人体的检测跟踪和过滤，以获取人脸轨迹和场枪机人体轨迹，并对同一场门中对应同一顾客的人脸轨迹和场枪机人体轨迹绑定，绑定成功则将两个轨迹的编号设置为相同编号，即traceidface＝traceidgun，绑定失败则丢弃不进行上报；在步骤s203中，对场球机和店球机抓拍的视频中的图像进行人体检测跟踪和过滤，对顾客的进出场、进出店等行为进行判断，以确定场球机人体轨迹和店球机人体轨迹；在步骤s204中，根据绑定成功的人脸轨迹中的人脸特征在人脸后台中进行查询，以获取人脸轨迹对应的永久身份，具体表示为：traceidface→faceid；在步骤s205中，将绑定成功的场枪机人体轨迹、场球机人体轨迹和店球机人体轨迹上报至人体后台，以对场人体轨迹和店人体轨迹进行处理，以获取店人体轨迹和场人体轨迹的关系；在步骤s206中，根据人脸轨迹与永久身份的关系、店人体轨迹和场人体轨迹的关系进行人体轨迹的身份映射。

其中，在步骤s205中，人体后台用于进行行人再识别(personre-identification)，行人再识别是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，给定一个监控行人图像，检索跨设备下的该行人图像。在根据场枪机人体轨迹、场球机人体轨迹和店球机人体轨迹进行人体轨迹分析时，首先将场枪机人体轨迹和场球机人体轨迹进行映射得到场人体轨迹，然后再根据店球机人体轨迹和场人体轨迹进行分析得到店人体轨迹和场人体轨迹的关系。其中，在获取场人体轨迹时，由于场球机抓拍视野广、抓拍多，因此处理速度慢，人体后台在收到场枪机人体轨迹后为了枪球匹配需要等待直到场球机人体轨迹到来，然后进行同一对场门下场枪机人体轨迹和场球机人体轨迹的枪球匹配，建立场枪机人体轨迹和场球机人体轨迹的关联，具体可以表示为：traceidball＝function(traceidgun)，其中function指代映射关系。在获取店人体轨迹和场人体轨迹的关系时，可以根据店人体轨迹在场人体轨迹中进行检索，从而完成店人体轨迹和场人体轨迹的关联，具体可以表示为：traceidshop＝function(traceidgun，traceidball)。

在步骤s206中，根据店人体轨迹和场人体轨迹的关联、场枪机人体轨迹和场球机人体轨迹的关联、人脸轨迹和场人体轨迹的关联、人脸轨迹和永久身份的关联进行身份绑定，具体可以表示为：

traceidball＝function(traceidgun)＝function(traceidface)→faceid

traceidshop＝function(traceidgun,traceidball)＝function(traceidgun)＝function(traceidface)→faceid

上述方案相应地存在缺陷，(1)算法性能：由于该方案要求枪球摄像头视频严格对齐、绑定时需要大量绑定成功、场枪机人体轨迹必须等待场球机人体轨迹等一系列严格条件，因此一旦视频没有对齐或绑定大量失败丢失很多场人体轨迹或枪机场人体轨迹没有在规定时间内等到场球机人体轨迹都会造成场人体轨迹的大量减少进而影响场人体轨迹或店人体轨迹的身份召回效果。(2)成本高：该方案要求枪球摄像头视频严格对齐，这需要专业对齐人员进行多个场枪机、场球机视频的对齐，耗时耗力，人力成本很大；与此同时因为视频没有对齐或绑定大量失败会丢失很多场人体轨迹等原因导致算法性能比较差，为了弥补这种损失不得不在商场部署更多枪机摄像头以充分获得顾客的人脸人体轨迹来提升人体轨迹的身份绑定效果。目前市场上枪机摄像头价格是球机摄像头价格的近4倍，如此部署必然造成摄像头成本过高。(3)系统吞吐量低：该方案要求人体后台的场枪机人体轨迹需要等待场球机人体轨迹一段时间以方便进行枪球匹配，这样大大降低了系统吞吐量。

本公开提供的技术方案中，通过引入人体轨迹聚类和检索技术，对场枪机人体轨迹包括绑定失败的轨迹以及场球机人体轨迹进行人体聚类即可完成场枪机人体轨迹和场球机人体轨迹的关联，不依赖视频对齐、等待逻辑、轨迹匹配时避免了不必要的场枪机人体轨迹和/或场球机人体轨迹的损失，进而保证了人体轨迹绑定永久身份的召回性能，并且实验证明在更少场枪机摄像头的情况下人体轨迹的身份召回可以从80％提升到85％，并且提高了系统吞吐量，同时大大降低了人力成本和摄像机购买成本。

本公开实施例提供的人体轨迹处理方法是基于对摄像头拍摄的视频进行图像处理实现的，涉及人工智能技术领域。人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(computervision,cv)，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本公开实施例提供的方案涉及人工智能的图像处理技术和图像识别技术，具体通过如下实施例进行说明：

在本公开的实施例中，提供了一种人体轨迹处理方法，至少在一定程度上克服相关技术或发明人的上述尝试方案中所存在的缺陷。本实施例提供的人体轨迹处理方法的执行主体可以是具有计算处理功能的设备，例如可以是服务器，该服务器可以为图1中所示的服务器106，当然还可以是由具有计算处理功能的终端设备执行。本公开的人体轨迹处理方法可用于对任意场景下的人体轨迹进行处理，例如可以对智慧零售商场、智慧安防、智慧社区、智慧餐饮等场景中的人体轨迹进行处理，以提高人体轨迹的身份召回效率和精准度，并且减少成本。下面以服务器为执行主体对智慧零售商场中的人体轨迹进行处理为例对本公开的技术方案进行详细说明。

图3示出本公开一示例性实施例中人体轨迹处理方法的流程示意图。参考图3，该实施例提供的人体轨迹处理方法具体包括如下步骤：

在步骤s310中，获取根据场门处的第一拍摄装置拍摄的视频得到的人脸轨迹和第一人体轨迹，根据所述场门处的第二拍摄装置拍摄的视频得到的第二人体轨迹，以及根据场内门处的第三拍摄装置拍摄的视频得到的第三人体轨迹。

在本公开的一个实施例中，可以将智慧零售商场划分为公共区域和私有区域两大类，其中公共区域包括商场的进出口、电梯口、扶梯、中庭等场区域，场区域中可用于设置摄像头的位置称为场门，私有区域包括店铺门口、店铺内等店区域，店区域中可用于设置摄像头的位置称为场内门，例如店门。为了记录顾客的游逛轨迹，通常会在商场中的公共区域和私有区域中布置多个拍摄终端以记录游客的轨迹，该拍摄终端可以是枪机摄像头和球机摄像头，其中枪机摄像头的监控位置固定，监控方位有限，但是抓拍质量好，可以用于抓拍人脸和人体；球机摄像头的监控范围大，一般可以做到360°旋转，但是抓拍质量较差，可以用于抓拍人体。例如可以在场区域的场门处布置枪机摄像头和/或球机摄像头，以拍摄出现在拍摄范围内的顾客的轨迹；对于店区域，为了拍摄大范围的人流情况，可以在店门上布置球机摄像头。

在本公开的一个实施例中，可以在场门上布置第一拍摄终端和第二拍摄终端，该第一拍摄终端可以是枪机摄像头或球机摄像头，该第二拍摄终端可以为球机摄像头或枪机摄像头，同时在店门上布置第三拍摄终端，该第三拍摄终端为球机摄像头。通过同时在同一场门上布置枪机摄像头和球机摄像头，可以同时获取顾客的人脸轨迹和人体轨迹，并将枪机摄像头拍摄到的同一顾客的人脸轨迹与人体轨迹绑定，同时根据人脸轨迹确定顾客的永久身份，根据人脸人体轨迹的绑定和人脸轨迹与永久身份的映射关系，即可将人体轨迹与永久身份进行映射，保证对顾客的人体轨迹进行精准的身份召回。

在本公开的一个实施例中，为了获取人脸轨迹和人体轨迹，可以对第一拍摄终端、第二拍摄终端和第三拍摄终端拍摄的视频进行处理，具体地，首先获取第一拍摄终端发送的第一视频、第二拍摄终端发送的第二视频和第三拍摄终端发送的第三视频；然后对第一视频中各图像所包含的人脸和人体分别进行检测和跟踪，以获取人脸轨迹和第一人体轨迹；对第二视频中各图像所包含的人体进行检测和跟踪，以获取第二人体轨迹；对第三视频中各图像所包含的人体进行检测和跟踪，以获取第三人体轨迹。进一步地，根据第二人体轨迹可以对顾客的进出场行为进行判断，根据第三人体轨迹可以对顾客的进出店行为进行判断，根据不同的分析需求，可以根据具有不同行为的人体轨迹进行处理以获取所需的分析结果。

接下来，以枪机摄像头为第一拍摄终端，球机摄像头为第二拍摄终端，球机摄像头为第三拍摄终端为例，对如何进行人脸和人体的检测跟踪进行说明。为了方便描述，将场门上的枪机摄像头、球机摄像头分别简称为场枪机、场球机，将店门上的球机摄像头简称为店球机。

由于场枪机抓拍的图像中包含清晰的人脸和人体，因此可以调用计算机视觉处理微服务中的人脸特征提取服务对场枪机拍摄的视频中的图像进行人脸检测，以获取人脸特征，同时调用人脸检索服务根据人脸特征在视频中的各个抓拍图像中进行检索，以获取检索跟踪到的人脸轨迹，同样地，可以调用计算机视觉处理微服务中的人体特征提取服务和人体检索服务对场枪机拍摄的视频中的人体进行检测跟踪，以获取第一人体轨迹。另外，场球机和店球机抓拍的图像中包含人体，因此可以调用计算机视觉处理微服务中的人体特征提取服务和人体检索服务对场球机、店球机拍摄的视频中的人体进行检测跟踪，以获取第二人体轨迹和第三人体轨迹。

在本公开的一个实施例中，摄像头在抓拍的过程中可能会由于光线、遮挡、角度等因素导致抓拍的人脸或人体有阴影，对于后续匹配获取人脸轨迹和人体轨迹会有影响，因此可以在对视频中的人脸、人体进行检测跟踪后，对人脸进行配准并调用人脸质量计算算法计算人脸质量分，并根据预设的人脸质量分阈值对形成人脸轨迹的图像进行过滤，同时调用人体质量计算算法计算人体质量分，并根据预设的人体质量分阈值对第一人体轨迹、第二人体轨迹和第三人体轨迹中的图像进行过滤，进而获取可用于后续流程的人脸轨迹和人体轨迹。

在步骤s320中，对所述人脸轨迹和与所述人脸轨迹匹配的第一人体轨迹进行绑定以获取第一轨迹映射关系，并根据所述人脸轨迹在人脸数据库中进行检索，以获取与所述人脸轨迹对应的目标永久身份。

在本公开的一个实施例中，在获取人脸轨迹和第一人体轨迹后，可以将对应同一顾客的人脸轨迹和第一人体轨迹进行sdk绑定，sdk为软件开发工具包，一般是一些被软件工程师用于为特定的软件包、软件框架、硬件平台、业务系统等建立应用软件的开发工具的集合。绑定后的人脸轨迹和第一人体轨迹可以相互映射获得第一轨迹映射关系，该第一轨迹映射关系即为人脸轨迹编号与第一人体轨迹的编号相同，具体表示如式(1)所示：

traceidface＝traceidgun(1)

其中，traceidface为人脸轨迹，traceidgun为第一人体轨迹。

在本公开的一个实施例中，由于人脸特征与永久身份是唯一对应的，因此可以根据人脸轨迹在人脸数据库中进行检索，以获取与人脸轨迹对应的目标永久身份。在本公开的实施例中，可以分别设置人脸后台和人体后台，其中人脸后台用于对人脸轨迹进行处理，以获取与人脸轨迹对应的永久身份，人体后台用于对人体轨迹进行处理，以对第一人体轨迹和第二人体轨迹进行聚类，并获取第三人体轨迹与第一人体轨迹或第二人体轨迹之间的映射关系。

在本公开的一个实施例中，为了获取与人脸轨迹对应的目标永久身份，可以将人脸轨迹发送至人脸后台，人脸后台接收到人脸轨迹后，首先获取与人脸轨迹对应的目标人脸特征，然后根据目标人脸特征在人脸数据库中进行检索以获取与目标人脸特征对应的目标永久身份，其中该人脸数据库包括多个人脸特征和与各人脸特征对应的永久身份，在检索时，可以计算目标人脸特征与人脸数据库中各人脸特征之间的相似度，其中具有最高相似度的人脸特征所对应的永久身份即为与目标人脸轨迹对应的目标永久身份。人脸轨迹与目标永久身份的关系的具体表示如式(2)所示：

traceidface→faceid(2)

其中，traceidface为人脸轨迹，faceid为目标永久身份，具体以身份编号的形式存储。

图4示出了人体轨迹处理的流程示意图，如图4所示，在步骤s401中，通过对场枪机拍摄的视频进行处理可以获取编号为1的人脸轨迹和编号为1、2的第一人体轨迹，通过对场球机拍摄的视频进行处理可以获取编号为1-4的第二人体轨迹，通过对店球机拍摄的视频进行处理可以获取编号为1、2、3的第三人体轨迹；在步骤s402中，对人脸轨迹和第一人体轨迹进行人脸人体绑定；由于编号为1的人脸轨迹与编号为1的第一人体轨迹对应同一顾客，因此可以将编号为1的人脸轨迹和编号为1的第一人体轨迹进行绑定；在步骤s403中，根据绑定后的编号为1的人脸轨迹在人脸数据库中进行1：n检索，以获取与人脸轨迹对应的目标永久身份，如图所示，编号为1的人脸轨迹对应目标永久身份a。

在步骤s330中，对所述第一人体轨迹和所述第二人体轨迹进行聚类，并确定与聚类结果对应的临时身份，以获取人体轨迹与所述临时身份之间的第二轨迹映射关系。

在本公开的一个实施例中，由于场枪机和场球机位于同一场门上，因而场枪机和场球机可以抓拍到同一顾客的图像，也就是说，第一人体轨迹和第二人体轨迹中可能存在对应同一顾客的人体轨迹，因此有必要对第一人体轨迹和第二人体轨迹进行聚类，以将对应同一顾客的人体轨迹聚集为一簇。进一步地，可以对聚类后的轨迹簇进行质量筛选以确定目标轨迹簇，并对目标轨迹簇进行身份检索，以获取与目标轨迹簇对应的临时身份。在本公开的实施例中，由于不需将场枪机的视频与场球机的视频进行对齐，并且在上报人体轨迹时，是将所有的第一人体轨迹和第二人体轨迹上报至人体后台进行聚类，而不是仅上报绑定成功的第一人体轨迹和第二人体轨迹，因此可以避免设置更多场枪机以充分获得顾客的人体人脸轨迹来提升人体轨迹的身份绑定效果，弥补由于视频没有对齐或人脸人体绑定大量失败丢失大量人体轨迹等原因导致算法性能比较差，进而降低了人力成本和拍摄终端成本。

返回至图4，在步骤s404中，根据编号为1-4的第二人体轨迹对顾客的进出场行为进行判断，并将行为判断后的编号为1-4的第二人体轨迹和编号为1、2的第一人体轨迹发送至人体后台；在步骤s405中，人体后台通过调用聚类微服务对第一人体轨迹和第二人体轨迹进行聚类，以获取轨迹簇；如图中所示，编号为1的第一人体轨迹和编号为1、2、3的第二人体轨迹属于同一轨迹簇，编号为2的第一人体轨迹和编号为4的第二人体轨迹属于同一轨迹簇；在步骤s406中，对轨迹簇中的目标轨迹簇进行身份检索，以获取与其对应的临时身份；如图中所示，两个轨迹簇中由编号为1的第一人体轨迹和编号为1、2、3的第二人体轨迹组成的轨迹簇为目标轨迹簇，通过身份检索，可以获取与其对应的临时身份a’。

接下来，对如何对第一人体轨迹和第二人体轨迹进行聚类，以及如何确定临时身份进行详细说明。

聚类时，可以调用计算机视觉处理微服务中的聚类微服务对第一人体轨迹和第二人体轨迹进行处理，具体地，可以从数据库中拉取预设时间段内的第一人体轨迹和第二人体轨迹，接着将拉取到的第一人体轨迹和第二人体轨迹进行注册，并调用聚类微服务对注册后的第一人体轨迹和第二人体轨迹进行聚类，以获取轨迹簇。其中，预设时间段可以是根据实际需要设定的时间段，例如可以是20min、30min，等等。图5示出了对第一人体轨迹和第二人体轨迹进行聚类形成轨迹簇的流程示意图，如图5所示，该流程至少包括步骤s501-s502，具体为：

在步骤s501中，对第一人体轨迹和第二人体轨迹分别进行特征提取，以获取与第一人体轨迹对应的第一轨迹特征和与第二人体轨迹对应的第二轨迹特征。

在本公开的一个实施例中，第一人体轨迹包括对应同一顾客的多张抓拍图像，第二人体轨迹同样包括对应同一顾客的多张抓拍图像，通过机器学习模型对第一人体轨迹中的多张抓拍图像分别进行特征提取即可获取与第一人体轨迹对应的第一轨迹特征，同样通过机器学习模型对第二人体轨迹中的多张抓拍图像分别进行特征提取即可获取与第二人体轨迹对应的第二轨迹特征。其中，用于进行特征提取的机器学习模型可以是任意经过训练可用于人体特征提取的模型，例如可以是卷积神经网络模型、残差网络模型等等，本公开实施例对此不作具体限定。

在步骤s502中，计算第一轨迹特征之间、第二轨迹特征之间以及第一轨迹特征和第二轨迹特征之间的相似度，根据相似度对第一人体轨迹和第二人体轨迹进行聚类，以获取轨迹簇。

在本公开的一个实施例中，由于顾客的游逛路线不具有规律性，因此即使是对同一拍摄终端所拍摄的视频进行人体的检测跟踪也不一定能唯一确定与同一顾客对应的人体轨迹，有可能对应同一顾客会存在多个人体轨迹，因此有必要对根据同一拍摄终端获取的人体轨迹进行聚类，同时对不同拍摄终端获取的人体轨迹进行聚类。在聚类时，为了判断哪些第一人体轨迹和第二人体轨迹对应同一顾客，可以通过计算不同轨迹特征之间的相似度确定不同的轨迹特征是否对应同一顾客，不同轨迹特征之间的相似度包括第一轨迹特征之间的相似度、第二轨迹特征之间的相似度，以及第一轨迹特征和第二轨迹特征之间的相似度，当计算得到的相似度大于或等于预设相似度阈值时，说明对应的轨迹特征对应同一顾客，当计算得到的相似度小于预设相似度阈值时，说明对应的轨迹特征对应不同的顾客。基于上述说明，通过对所有注册后的第一人体轨迹和第二人体轨迹进行上述处理，即可实现人体轨迹的聚类，获取轨迹簇。其中，相似度可以通过计算余弦距离、欧氏距离等方法确定，同时预设相似度阈值可以根据实际需要确定，例如可以设置为0.9或者0.95等等，本公开实施例对此不作具体限定。

在本公开的一个实施例中，当对注册到聚类逻辑中的第一人体轨迹和第二人体轨迹聚类形成轨迹簇后，可以根据轨迹簇进行人体身份检索，以获取与轨迹簇对应的临时身份，轨迹簇与临时身份的对应关系即为第二轨迹映射关系。值得注意的是，通常是间隔预设时间段从数据库中拉取第一人体轨迹和第二人体轨迹，该预设时间段例如可以是20min、30min等等，对于智慧零售商场而言，在该预设时间段内会有多个顾客进出场门并被拍摄，也就是说，拉取的第一人体轨迹和第二人体轨迹通过聚类通常会形成多个轨迹簇，并且各个轨迹簇中可能包含一个或多个人体轨迹。接下来对如何获取多个轨迹簇的临时身份进行说明。图6示出了获取轨迹簇对应的临时身份的流程示意图，如图6所示，该流程至少包括步骤s601-s603，具体为：

在步骤s601中，获取各轨迹簇中各人体轨迹的平均质量分，根据平均质量分确定目标轨迹簇。

在本公开的一个实施例中，在获取多个轨迹簇后，可以根据轨迹簇中人体轨迹的抓拍质量对多个轨迹簇进行过滤，以获取抓拍质量较高的目标轨迹簇，并对该目标轨迹簇进行人体轨迹身份检索，以获取与目标轨迹簇对应的临时身份。

获取目标轨迹簇的流程具体如下：首先获取各人体轨迹中各个抓拍图像所对应的人体质量分；然后根据人体质量分和抓拍图像的数量确定各人体轨迹的平均质量分；最后将各轨迹簇中各人体轨迹的平均质量分与预设质量分阈值进行比较，当轨迹簇中所有人体轨迹的平均质量分均大于或等于预设质量分阈值时，将该轨迹簇作为目标轨迹簇；当轨迹簇中存在小于预设质量分阈值的人体轨迹的平均质量分时，将该轨迹簇过滤掉。

其中，由于一个人体轨迹中存在多个抓拍图像，因此在获取一个人体轨迹中所有抓拍图像所对应的质量分后，可以将所有质量分相加并除以抓拍图像的总数量即可获取该人体轨迹的平均质量分。进一步，该预设质量分阈值可以根据实际需要进行设定，通常为了提高身份检索结果的精准度，可以将该预设质量分阈值设定的稍微高点，例如可以设置为0.9、0.93等等。例如可以将预设质量分阈值设置为0.9，并根据该预设质量分阈值对5个轨迹簇a、b、c、d、e进行过滤，经过比较，轨迹簇a、c中的人体轨迹的平均质量分均大于0.9，因此可以将轨迹簇作为目标轨迹簇，将轨迹簇b、d、e过滤掉。

在步骤s602中，获取与目标轨迹簇对应的簇平均特征，并根据簇平均特征在人体身份库中进行检索，以获取与目标轨迹簇对应的检索分。

在本公开的一个实施例中，在获取目标轨迹簇后，可以先将目标轨迹簇中的人体轨迹按照平均质量分由大到小进行排序，然后依次获取第一预设数量的人体轨迹，接着根据第一预设数量的人体轨迹的轨迹特征确定第一平均轨迹特征，并将该第一平均轨迹特征作为簇平均特征。其中第一预设数量可以根据实际需要设定，例如可以设定为1个、2个等等，以2个为例，若目标轨迹簇a中包含4个人体轨迹a、b、c、d，分别对应的平均质量分为0.9、0.92、0.91、0.95，那么根据平均质量分排序后形成的序列为d-b-c-a，从中依次获取两个人体轨迹即为人体轨迹d、b，分别提取人体轨迹d和b中各个抓拍图像的特征以获取人体轨迹d和b的轨迹特征，接着将人体轨迹d和b的轨迹特征相加并除以2即可获取与目标轨迹簇a对应的第一平均轨迹特征，即簇平均特征。若目标轨迹簇的数量为多个，则根据上述方法分别进行计算以获取各目标轨迹簇对应的簇平均特征。

在本公开的一个实施例中，与目标轨迹簇对应的簇平均特征即可代表该目标轨迹簇所对应的顾客的人体轨迹特征，因此可以根据该簇平均特征在人体身份库中进行检索，通过计算与目标轨迹簇对应的检索分以判断在人体身份库中是否存在与目标轨迹簇对应的人体身份编号。人体身份库中包括多个人体身份编号和与各人体身份编号对应的多个注册人体轨迹，获取与目标轨迹簇对应的检索分的流程具体如下：首先，遍历各人体身份编号，计算与人体身份编号对应的多个注册人体轨迹的平均质量分；接着，将与人体身份编号对应的多个注册人体轨迹按照平均质量分由大到小进行排序，并依次获取第二预设数量的目标注册人体轨迹；然后，根据与人体身份编号对应的目标注册人体轨迹的轨迹特征计算与人体身份编号对应的第二平均轨迹特征；最后，计算簇平均特征与第二平均轨迹特征之间的相似度，以获取与目标轨迹簇对应的检索分。

其中，计算注册人体轨迹的平均质量分的方法与上述实施例中计算轨迹簇中人体轨迹的平均质量分的方法相同，在此不再赘述。另外，第二预设数量可以是根据实际需要设定的数量，例如可以是1个、2个等等，第二预设数量和第一预设数量可以相同也可以不同，本公开对此不作具体限定，另外计算第二平均轨迹特征的方法与计算第一平均轨迹特征的方法相同，在此也不再赘述。同时，簇平均特征与第二平均轨迹特征之间的相似度可以通过计算二者之间的余弦距离、欧式距离等方式确定，同时该相似度可以作为与目标轨迹簇对应的检索分，根据该检索分即可确定人体身份库中是否存在与目标轨迹簇对应的人体身份编码。

在本公开的一个实施例中，由于人体身份库中存在多个人体身份编码，因此根据上述的检索分获取方法流程可以获取与目标轨迹簇对应的多个检索分，该多个检索分分别表示目标轨迹簇与人体身份库中各个人体身份编号所对应的第二平均轨迹特征之间的相似度。另外，当存在多个目标轨迹簇时，则可以遍历各个目标轨迹簇，根据上述流程示意图对各目标轨迹簇在人体身份库中进行人体身份检索，以获取与各个目标轨迹簇对应的检索分。

在步骤s603中，根据检索分确定临时身份。

在本公开的一个实施例中，在获取与目标轨迹簇对应的多个检索分后，可以获取与目标轨迹簇对应的最高检索分，接着可以将该最高检索分与第三预设阈值进行比较，当该最高检索分大于第三预设阈值时，说明与目标轨迹簇对应的顾客的人体身份编号存在于人体身份库中，因此可以将与最高检索分对应的人体身份编号作为临时身份；当该最高检索分小于或等于第三预设阈值时，说明与目标轨迹簇对应的顾客的人体身份编号不存在于人体身份库中，因此可以根据目标轨迹簇中具有最高平均质量分的人体轨迹生成临时身份。其中根据目标轨迹簇中具有最高平均质量分的人体轨迹生成临时身份时可以采用唯一id生成算法、雪花算法等id生成算法生成，本公开实施例对此不作具体限定。

在将第一人体轨迹和第二人体轨迹进行聚类后，可以将对应同一顾客的第一人体轨迹和第二人体轨迹映射至对应的临时身份，该人体轨迹和临时身份的映射关系即为第二轨迹映射关系。第二轨迹映射关系具体如式(3)所示：

(traceidgun，traceidball)→reid(3)

其中，traceidgun为第一人体轨迹，traceidball为第二人体轨迹，reid为临时身份。

在本公开的一个实施例中，在确定与目标轨迹簇对应的临时身份后，可以根据目标轨迹簇及对应的临时身份对数据库和人体身份库进行数据更新，更新后的人体身份库和数据库可以用于后续的人体身份检索和人体轨迹聚类，通过逐步完善人体身份库，可以提高人体身份检索的精准度和效率。

图7示出了最高检索分大于第三预设阈值时进行数据更新的流程示意图，如图7所示，在步骤s701中，以人体身份库中与最高检索分所对应的人体身份编号为锚点，计算目标轨迹簇中所有的抓拍图像和锚点对应的抓拍图像之间的相似度；在步骤s702中，将相似度由大到小进行排序，并根据第一预设过滤阈值对相似度进行过滤；在步骤s703中，当相似度小于第一预设过滤阈值时，舍弃该目标轨迹簇；在步骤s704中，当相似度大于或等于第一预设过滤阈值时，将锚点对应的抓拍图像和目标轨迹簇中所有抓拍图像根据各抓拍图像的质量分由大到小进行排序，形成第一图像序列；在步骤s705中，获取第一图像序列中质量分大于或等于预设质量分的最后一张图像的第一位置；在步骤s706中，判断第一位置是否大于或等于锚点对应的抓拍图像的总数量；在步骤s707中，当第一位置大于或等于锚点对应的抓拍图像的总数量，则将锚点对应的注册人体轨迹中的抓拍图像替换为第一图像序列中位于第一位置之前(包含第一位置)的所有图像，形成与锚点对应的新的人体轨迹；在步骤s708中，当第一位置小于锚点对应的抓拍图像的总数量，则根据锚点对应的抓拍图像的总数量在第一图像序列中确定目标图像，并将锚点对应的注册人体轨迹中的抓拍图像替换为目标图像，形成与锚点对应的新的人体轨迹；在步骤s709中，将与锚点对应的新的人体轨迹添加至更新库中；在步骤s710中，根据更新库中的更新数据更新人体身份库和数据库。

图8示出了最高检索分小于或等于第三预设阈值时进行数据更新的流程示意图，如图8所示，在步骤s801中，将目标轨迹簇中具有最高平均质量分的人体轨迹中的抓拍图像作为锚点，计算目标轨迹簇中所有的抓拍图像和锚点对应的抓拍图像之间的相似度；在步骤s802中，将相似度由大到小进行排序，并根据第二预设过滤阈值对相似度进行过滤；在步骤s803中，当相似度小于第二预设过滤阈值时，舍弃该目标轨迹簇；在步骤s804中，当相似度大于或等于第二预设过滤阈值时，将目标轨迹簇中所有抓拍图像根据各抓拍图像的质量分由大到小进行排序，形成第二图像序列；在步骤s805中，获取第二图像序列中质量分大于或等于预设质量分的最后一张图像的第二位置；在步骤s806中，将第二图像序列中位于第二位置之前(包含第二位置)的所有图像作为与新的临时身份对应的人体轨迹；在步骤s807中，将与新的临时身份对应的新的人体轨迹添加至更新库中；在步骤s808中，根据更新库中的更新数据更新人体身份库和数据库。

在步骤s340中，根据所述第三人体轨迹在所述第一人体轨迹和所述第二人体轨迹中进行检索，以获取所述第三人体轨迹与所述第一人体轨迹或所述第二人体轨迹之间的第三轨迹映射关系。

在本公开的一个实施例中，顾客不仅仅在公共区域游逛，还会进入商铺游逛、购买等等，因此为了获取对应同一顾客的游逛轨迹，有必要将对应同一顾客的通过店球机拍摄得到的第三人体轨迹和通过场枪机拍摄得到的第一人体轨迹及场球机拍摄得到的第二人体轨迹关联起来。

返回至图4，如图4所示，在步骤s407中，根据编号为1、2、3的第三人体轨迹对顾客的进出店行为进行判断，并将行为判断后的第三人体轨迹发送至人体后台；在步骤s408中，人体后台根据第三人体轨迹在第一人体轨迹和第二人体轨迹中进行检索，以获取第三轨迹映射关系。第三人体轨迹表示顾客的店轨迹，第一人体轨迹和第二人体轨迹表示顾客的场轨迹，因此通过店轨迹在场轨迹进行检索，可以将同一顾客的场轨迹和店轨迹关联起来，如图中所示，编号为1的第三人体轨迹对应编号为1的第一人体轨迹，编号为2、3的第三人体轨迹分别对应编号为1、4的第二人体轨迹。

场轨迹和店轨迹进行关联映射以获取第三轨迹映射关系，具体可以通过下述方法流程实现。

首先，对第三人体轨迹进行特征提取以获取第三轨迹特征，并对第一人体轨迹和第二人体轨迹分别进行特征提取以获取第四轨迹特征和第五轨迹特征；然后，计算第三轨迹特征与第四轨迹特征以及第三轨迹特征与第五轨迹特征之间的相似度；最后，将对应最高相似度的第三人体轨迹和第一人体轨迹进行映射或者将对应最高相似度的第三人体轨迹和第二人体轨迹进行映射，以获取第三轨迹映射关系。

第三轨迹映射关系的具体表示可如式(4)所示：

traceidshop＝function(traceidgun,traceidball)(4)

其中，traceidshop为第三人体轨迹，traceidgun为第一人体轨迹，traceidball为第二人体轨迹，function为映射关系。

在步骤s350中，基于所述第一轨迹映射关系、所述第二轨迹映射关系、所述第三轨迹映射关系和所述目标永久身份，将所述目标永久身份与对应的人体轨迹进行绑定。

返回至图4，如图4所示，在步骤s409中，根据人脸轨迹和目标永久身份的关系、第一轨迹映射关系、第二轨迹映射关系和第三轨迹映射关系将人体轨迹与目标永久身份进行绑定。如图中所示，编号为1、2、3的第三人体轨迹分别与编号为1的第一人体轨迹和编号为1、4的第二人体轨迹对应，同时编号为1的第一人体轨迹和编号为1、4的第二人体轨迹为同一轨迹簇，对应临时身份a’，而编号为1的第一人体轨迹与编号为1的人脸轨迹对应，且编号为1的人脸轨迹对应目标永久身份a，因此可以确定编号为1的第一人体轨迹、编号为1、4的第二人体轨迹和编号为1、2、3的第三人体轨迹对应目标永久身份a。

在本公开的一个实施例中，可以基于关系表达式(1)-(4)进行身份绑定，以将目标永久身份与对应的人体轨迹进行绑定。身份绑定的具体表示如式(5)和式(6)所示：

((traceidgun,traceidball)→reid)&(traceidface＝traceidgun)&(traceidface→faceid)→(traceidgun,traceidball)→faceid(5)

traceidshop＝function(traceidgun,traceidball)→faceid(6)

图9示出了身份绑定的结构示意图，如图9所示，基于人脸检索可以获取人脸轨迹与目标永久身份的关系，例如图中编号为1、2、3的人脸轨迹对应的目标永久身份为a，编号为4、5、6的人脸轨迹对应的目标永久身份为b；基于人脸人体绑定可以获取第一轨迹映射关系，如图中所示，编号为1的第一人体轨迹对应编号为1的人脸轨迹，编号为6的第一人体轨迹对应编号为6的人脸轨迹；基于人体聚类可以获取第二轨迹映射关系，如图中所示，经过聚类，编号为1、2、3的第二人体轨迹和编号为1的第一人体轨迹构成一个目标轨迹簇，该目标轨迹簇对应的临时身份为a’，同时编号为3、4、5的第二人体轨迹和编号为6的第一人体轨迹构成一个目标轨迹簇，该目标轨迹簇对应的临时身份为b’；基于人体轨迹检索可以获取第三轨迹映射关系，如图中所示，编号为1的第三人体轨迹对应编号为1的第一人体轨迹，编号为2、3、4的第三人体轨迹分别对应编号为1、2、3的第二人体轨迹。在根据上述对应关系进行身份绑定时，首先将第一人体轨迹与目标永久身份绑定，即编号为1的第一人体轨迹对应目标永久身份a，编号为6的第一人体轨迹对应目标永久身份b；接着根据第一人体轨迹和目标永久身份的映射关系，将第一人体轨迹和第二人体轨迹与目标永久身份绑定，即编号为1、2、3的第二人体轨迹和编号为1的第一人体轨迹对应目标永久身份a，编号为3、4、5的第二人体轨迹和编号为6的第一人体轨迹对应目标永久身份b；最后根据第三轨迹映射关系及第一人体轨迹和第二人体轨迹与目标永久身份的映射关系进行身份绑定，即编号为1、2、3的第三人体轨迹对应目标永久身份a，编号为4的第三人体轨迹对应目标永久身份a和b。

在本公开的一个实施例中，通过上述流程即可实现对人体轨迹的身份召回，但是从图9中可知，在聚类时可能出现多个人体轨迹聚类到不同的临时身份中，从而导致对应同一人体轨迹可能存在多个目标永久身份，因此需要对多个目标永久身份进行筛选，以确定与同一人体轨迹对应的唯一目标永久身份。在本公开的实施例中，可以通过多身份投票算法确定与同一人体轨迹对应的目标永久身份，具体地，可以根据各目标永久身份的数量、与各目标永久身份对应的检索分、与各目标永久身份对应的平均质量分和与各目标永久身份对应的抓拍图像的拍摄时间对多个目标永久身份进行过滤，以确定最终目标永久身份。

图10示出了确定最终目标永久身份的流程示意图，如图10所示，在步骤s1001中，统计人体轨迹所对应的目标永久身份的数量；在步骤s1002中，判断目标永久身份的数量是否大于1；在步骤s1003中，当目标永久身份的数量等于1时，将该目标永久身份作为最终目标永久身份；在步骤s1004中，当目标永久身份的数量大于1时，统计不同的目标永久身份出现的次数；在步骤s1005中，判断出现次数最多的目标永久身份的数量是否大于1；在步骤s1006中，当出现次数最多的目标永久身份的数量等于1时，将该目标永久身份作为最终目标永久身份；在步骤s1007中，当出现次数最多的目标永久身份的数量大于1时，获取目标轨迹簇与出现次数最多的各个目标永久身份之间的检索分，并将检索分由大到小进行排序；在步骤s1008中，判断最高检索分的数量是否大于1；在步骤s1009中，当最高检索分的数量等于1时，将该最高检索分对应的目标永久身份作为最终目标永久身份；在步骤s1010中，当最高检索分的数量大于1时，获取多个最高检索分对应的注册人体轨迹所对应的平均质量分，并将多个平均质量分由大到小进行排序；在步骤s1011中，判断最高平均质量分的数量是否大于1；在步骤s1012中，当最高平均质量分的数量等于1时，将该最高平均质量分对应的目标永久身份作为最终目标永久身份；在步骤s1013中，当最高平均质量分的数量大于1时，获取多个最高平均质量分对应的人体轨迹中抓拍图像的最早抓拍时间，并将最早抓拍时间由远及近进行排序；在步骤s1014中，将最早抓拍时间最远的一个人体轨迹所对应的目标永久身份作为最终目标永久身份。

通过根据多身份投票算法对多个目标永久身份进行多维度的过滤，可以精准确定与同一人体轨迹对应的一个目标永久身份，提高了人体轨迹的身份召回的精准度。

本公开所提供的人体轨迹处理方法可以用于多种需要进行人体轨迹的身份召回的场景，如上述实施例中的智慧零售场景，当然还可以应用于智慧安防、智慧社区、智慧餐饮等场景中，例如在智慧餐饮场景中，在一个美食城中存在多个档口，那么就可以在美食城的场门上设置枪机摄像头和球机摄像头，以拍摄经过场门的顾客，记录顾客在公共区域的轨迹图像，同时在每个档口处设置球机摄像头，以拍摄记录顾客在档口的轨迹图像。进一步根据场门处的枪机摄像头和球机摄像头拍摄的视频以及档口处的球机摄像头拍摄的视频可以获取多个人脸轨迹、第一人体轨迹、第二人体轨迹和第三人体轨迹，进而根据上述实施例中的人体轨迹处理方法可以将人体轨迹与目标永久身份进行绑定，实现人体轨迹的身份召回。

根据本公开提供的人体轨迹处理方法，一方面可以通过人体轨迹聚类、人体轨迹检索来完成枪机摄像头和球机摄像头人体场轨迹的关联而避免了枪机摄像头和球机摄像头的视频对齐、人脸人体绑定时需要大量绑定成功、第一人体轨迹必须等待第二人体轨迹等一系列严格条件，提高了人体轨迹的身份召回的效率和精准度以及系统的吞吐量，减少了人工成本；另一方面，避免了部署大量枪机摄像头以充分获取人脸人体轨迹，并提升人体轨迹的身份绑定效果，因而进一步降低了成本；再一方面，本公开的技术方案适用于当前主流硬件平台包括pc机、服务器等，因此具有广泛的适用性。

以下介绍本公开的人体轨迹处理装置实施例，可以用于执行本公开上述的人体轨迹处理方法。

图11示出本公开示例性实施例中人体轨迹处理装置的结构示意图。如图11所示，上述人体轨迹处理装置1100包括：轨迹获取模块1101、人脸检索模块1102、轨迹聚类模块1103、轨迹检索模块1104和身份绑定模块1105。

其中：轨迹获取模块1101，用于获取根据场门处的第一拍摄装置拍摄的视频得到的人脸轨迹和第一人体轨迹，根据所述场门处的第二拍摄装置拍摄的视频得到的第二人体轨迹，以及根据场内门处的第三拍摄装置拍摄的视频得到的第三人体轨迹；人脸检索模块1102，用于对所述人脸轨迹和与所述人脸轨迹匹配的第一人体轨迹进行绑定以获取第一轨迹映射关系，并根据所述人脸轨迹在人脸数据库中进行检索，以获取与所述人脸轨迹对应的目标永久身份；轨迹聚类模块1103，用于对所述第一人体轨迹和所述第二人体轨迹进行聚类，并确定与聚类结果对应的临时身份，以获取人体轨迹与所述临时身份之间的第二轨迹映射关系；轨迹检索模块1104，用于根据所述第三人体轨迹在所述第一人体轨迹和所述第二人体轨迹中进行检索，以获取所述第三人体轨迹与所述第一人体轨迹或所述第二人体轨迹之间的第三轨迹映射关系；身份绑定模块1105，用于基于所述第一轨迹映射关系、所述第二轨迹映射关系、所述第三轨迹映射关系和所述目标永久身份，将所述目标永久身份与对应的人体轨迹进行绑定。

在本公开的一个实施例，所述轨迹获取模块1101配置为：获取第一拍摄终端发送的第一视频、第二拍摄终端发送的第二视频和第三拍摄终端发送的第三视频；对所述第一视频中各图像所包含的人脸和人体分别进行检测和跟踪，以获取所述人脸轨迹和所述第一人体轨迹；对所述第二视频中各图像所包含的人体进行检测和跟踪，以获取所述第二人体轨迹；对所述第三视频中各图像所包含的人体进行检测和跟踪，以获取所述第三人体轨迹。

在本公开的一个实施例，所述人脸数据库包括多个人脸特征和与各所述人脸特征对应的永久身份；所述人脸检索模块1102配置为：获取所述人脸轨迹对应的目标人脸特征；计算所述目标人脸特征与各所述人脸特征的相似度，并将具有最高相似度的人脸特征所对应的永久身份作为所述目标永久身份。

在本公开的一个实施例，所述轨迹聚类模块1103包括：逻辑注册单元，用于对所述第一人体轨迹和所述第二人体轨迹进行注册；聚类单元，用于调用聚类微服务对注册后的所述第一人体轨迹和所述第二人体轨迹进行聚类，以获取轨迹簇；身份检索单元，用于根据所述轨迹簇进行人体身份检索，以获取与所述轨迹簇对应的临时身份，并将所述轨迹簇与所述临时身份的对应关系作为所述第二轨迹映射关系。

在本公开的一个实施例，所述聚类单元配置为：对所述第一人体轨迹和所述第二人体轨迹分别进行特征提取，以获取与所述第一人体轨迹对应的第一轨迹特征和与所述第二人体轨迹对应的第二轨迹特征；计算所述第一轨迹特征之间、所述第二轨迹特征之间以及所述第一轨迹特征和所述第二轨迹特征之间的相似度，根据所述相似度对所述第一人体轨迹和所述第二人体轨迹进行聚类，以获取所述轨迹簇。

在本公开的一个实施例，所述轨迹簇的数量为多个，且各所述轨迹簇中包含一个或多个人体轨迹；所述身份检索单元包括：目标轨迹簇确定单元，用于获取各所述轨迹簇中各人体轨迹的平均质量分，根据所述平均质量分确定目标轨迹簇；检索分确定单元，用于获取与所述目标轨迹簇对应的簇平均特征，并根据所述簇平均特征在人体身份库中进行检索，以获取与所述目标轨迹簇对应的检索分；临时身份确定单元，用于根据所述检索分确定所述临时身份。

在本公开的一个实施例，所述目标轨迹簇确定单元配置为：获取各所述人体轨迹中所包含的抓拍图像对应的人体质量分；根据所述人体质量分和所述抓拍图像的数量确定各所述人体轨迹的平均质量分；将各所述轨迹簇中各人体轨迹的平均质量分与预设质量分阈值进行比较；当轨迹簇中所有人体轨迹的平均质量分均大于或等于所述预设质量分阈值时，将所述轨迹簇作为所述目标轨迹簇。

在本公开的一个实施例，所述检索分确定单元配置为：将所述目标轨迹簇中的人体轨迹按照平均质量分由大到小进行排序；依次获取第一预设数量的人体轨迹，根据所述第一预设数量的人体轨迹的轨迹特征确定第一平均轨迹特征，并将所述第一平均轨迹特征作为所述簇平均特征。

在本公开的一个实施例，所述人体身份库中包含多个人体身份编号和与各所述人体身份编号对应的多个注册人体轨迹；所述检索分确定单元配置为：遍历各所述人体身份编号，计算与所述人体身份编号对应的多个注册人体轨迹的平均质量分；将与所述人体身份编号对应的多个注册人体轨迹根据平均质量分由大到小进行排序，并依次获取第二预设数量的目标注册人体轨迹；根据所述目标注册人体轨迹的轨迹特征计算与所述人体身份编号对应的第二平均轨迹特征；计算所述簇平均特征与所述第二平均轨迹特征之间的相似度，以获取与所述目标轨迹簇对应的检索分。

在本公开的一个实施例，所述临时身份确定单元配置为：获取与所述目标轨迹簇对应的最高检索分，将所述最高检索分与第三预设阈值进行比较；当所述最高检索分大于所述第三预设阈值时，将与所述最高检索分对应的身份编号作为所述临时身份；当所述最高检索分小于或等于所述第三预设阈值时，根据所述目标轨迹簇中具有最高平均质量分的人体轨迹生成所述临时身份。

在本公开的一个实施例，所述轨迹检索模块1104配置为：对所述第三人体轨迹进行特征提取以获取第三轨迹特征，并对所述第一人体轨迹和所述第二人体轨迹分别进行特征提取以获取第四轨迹特征和第五轨迹特征；计算所述第三轨迹特征与所述第四轨迹特征以及所述第三轨迹特征与所述第五轨迹特征之间的相似度；将对应最高相似度的第三人体轨迹和第一人体轨迹进行映射或者将对应最高相似度的第三人体轨迹和第二人体轨迹进行映射，以获取所述第三轨迹映射关系。

在本公开的一个实施例，所述人体轨迹处理装置1100还包括：投票模块，用于当同一人体轨迹对应多个目标永久身份时，根据多身份投票算法确定与所述人体轨迹对应的最终目标永久身份。

在本公开的一个实施例，所述投票模块配置为：根据各所述目标永久身份的数量、与各所述目标永久身份对应的检索分、与各所述目标永久身份对应的平均质量分和与各所述目标永久身份对应的抓拍图像的拍摄时间对所述多个目标永久身份进行过滤，以确定所述最终目标永久身份。

图12示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。

需要说明的是，图12示出的电子设备的计算机系统1200仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统1200包括处理器1201，其中处理器1201可以包含：图形处理单元(graphicsprocessingunit，gpu)、中央处理单元(centralprocessingunit，cpu)，其可以根据存储在只读存储器(read-onlymemory，rom)1202中的程序或者从存储部分1208加载到随机访问存储器(randomaccessmemory，ram)1203中的程序而执行各种适当的动作和处理。在ram1203中，还存储有系统操作所需的各种程序和数据。处理器(gpu/cpu)1201、rom1202以及ram1203通过总线1204彼此相连。输入/输出(input/output，i/o)接口1205也连接至总线1204。

以下部件连接至i/o接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(cathoderaytube，crt)、液晶显示器(liquidcrystaldisplay，lcd)等以及扬声器等的输出部分1207；包括硬盘等的存储部分1208；以及包括诸如lan(localareanetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至i/o接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入存储部分1208。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被处理器(gpu/cpu)1201执行时，执行本申请的系统中限定的各种功能。在一些实施例中，计算机系统1200还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compactdiscread-onlymemory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。