封闭场所内人物再识别的方法、系统及终端设备与流程

本公开涉及视频处理领域，具体涉及一种封闭场所内人物再识别的方法、系统及终端设备。

背景技术：

视频处理是目前多媒体领域最热门的技术，主要分为视频编解码和目标信息识别两大类。前者为了节省视频数据的传输带宽，主要依靠传统的信息论理论，目前已经比较成熟；后者则为了提取用户信息，是了人工智能、计算机以及信息论等多门学科研究成果的交集，目前还处于快速发展阶段。

其中，随着人工智能的快速发展和日益被人们关注和追捧，其中的人物身份识别技术也得到了快速发展和并日益被人们关注。人物身份识别技术特别是封闭公共场所内人物身份再识别的技术可用于商场、学校、医院、地铁等智能结算、安防、客流分析等。

现有人物身份再识别多采用两种方式，一种是基于人物的轨迹跟踪，一种是基于人物的特征(如衣物颜色、身材等的特征)。上述两种方式均属于发展当中，未达到成熟。

在应用于视频监控领域的实时人物身份识别，尚有很多解决不力的地方，具体如下。

a.当监控区域较为狭窄，单一摄像头画面存在死角，且人物之间存在遮挡、交叉等情况，人物会随机的进、出场所。现有人物轨迹跟踪技术难以正确跟踪场所内多个人物的轨迹。

b.人物穿着、形态等特征之间，利用现有神经网络所提取的特征难以区分。故纯粹基于人物特征进行身份识别，精确度较差。

c.现有技术的效率也很难做到实时处理。

因此，需要一种新的人物身份再识别的方法。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现要素：

本公开的目的在于提供一种封闭场所内人物再识别的方法、系统及终端设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，公开一种封闭场所内人物再识别的方法，包括：

将封闭场所划分为包括入口区域在内的多个区域并且任一区域至少有一个摄像头进行拍摄；

基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定；以及

当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。

根据本公开的一示例实施方式，所述的方法还包括：当人物离开时，删除其特征信息并标志离开。

根据本公开的一示例实施方式，所述任一区域至少有一个摄像头进行拍摄包括：

任一区域有两个拍摄角度不同的摄像头进行拍摄。

根据本公开的一示例实施方式，所述基于入口区域内的人物的轨迹跟踪以确认新进入的人物包括：根据入口区域连续多帧拍摄画面所展示的人物轨迹以判断是否为新进入的人物。

根据本公开的一示例实施方式，所述获取人物的特征信息通过卷积神经网络技术来进行。

根据本公开的一示例实施方式，所述人物的特征信息包括：体形、穿着和/或相貌。

根据本公开的一示例实施方式，所述将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配包括：对所在区域内的所有人物进行所述匹配。

根据本公开的一示例实施方式，特征信息和身份号保存在人物特征数据库中。

根据本公开的第二方面，公开一种封闭场所内人物再识别的系统，包括：

监控模块，用于将封闭场所划分为包括入口区域在内的多个区域并且对任一区域至少用一个摄像头进行拍摄；

新进入人物确认模块，用于基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定；以及

再识别模块：用于当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。

根据本公开的一示例实施方式，所述系统还包括特征数据库，用于保存特征信息和身份号。

根据本公开的第三方面，公开一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现以下的方法步骤：

将封闭场所划分为包括入口区域在内的多个区域并且对任一区域至少用一个摄像头进行拍摄；

基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定；以及

当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。

根据本公开的第四方面，公开一种终端设备，其特征在于，包括：处理器；

存储器，存储用于所述处理器控制以下操作的指令：

将封闭场所划分为包括入口区域在内的多个区域并且对任一区域至少用一个摄像头进行拍摄；

基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定；以及

当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。

根据本公开的一些示例实施方式，通过采用基于多摄像头的、轨迹跟踪与特征匹配相结合的方案，来解决实时的、复杂场景下的人物身份再识别问题，取得较好的人物再识别效果。

根据本公开的一些示例实施方式，通过在场所内架设多个摄像头以覆盖不同角度不同区域，任意区域由两个以上摄像头可以从不同角度辐射到，可以解决人物之间的遮挡问题。

根据本公开的一些示例实施方式，通过对整个画面内的所有人物进行关联匹配，将所有人物与身份的关联匹配可以帮助找到全局最优匹配，与对单一检测框内的人物进行再识别相比，大大提高了特征比较的容错度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。

图1示出根据本公开一示例实施方式的一封闭场所内人物再识别的方法的流程图。

图2示出一封闭场所中入口区域的实拍图。

图3示出一封闭场所中某一非入口区域的实拍图。

图4示出一封闭场所中入口区域的另一实拍图。

图5示出根据本公开另一示例实施方式的一封闭场所内人物再识别的方法的流程图。

图6示出根据本公开一示例实施方式的一封闭场所内人物再识别的系统的方框图。

图7示出根据本公开一示例实施方式的终端设备。

具体示例实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些示例实施方式使得本公开的描述将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多示例实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的示例实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、步骤等。在其它情况下，不详细示出或描述公知结构、方法、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的目的在于提供一种封闭场所内人物再识别的方法、系统及终端设备。封闭场所内人物再识别的方法包括：将封闭场所划分为包括入口区域在内的多个区域并且任一区域至少有一个摄像头进行拍摄；基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定；以及当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。通过采用基于轨迹跟踪与特征匹配相结合的方案，来解决实时的、复杂场景下的人物身份再识别问题，取得较好的人物再识别效果。同时，通过在场所内架设多个摄像头以覆盖不同角度不同区域，任意区域由两个以上摄像头可以从不同角度辐射到，可以解决人物之间的遮挡问题。此外，通过对整个画面内的所有人物进行关联匹配，将所有人物与身份的关联匹配可以帮助找到全局最优匹配，与对单一检测框内的人物进行再识别相比，大大提高了特征比较的容错度。

下面结合图1-7对本公开的封闭场所内人物再识别的方法、系统及终端设备进行详细说明，其中，图1示出根据本公开一示例实施方式的一封闭场所内人物再识别的方法的流程图；图2示出一封闭场所中入口区域的实拍图；图3示出一封闭场所中某一非入口区域的实拍图；图4示出一封闭场所中入口区域的另一实拍图；图5示出根据本公开另一示例实施方式的一封闭场所内人物再识别的方法的流程图；图6示出根据本公开一示例实施方式的一封闭场所内人物再识别的系统的方框图；图7示出根据本公开一示例实施方式的终端设备。

在此需要特别说明的是，本公开的示例实施方式以无人便利店内的人物再识别为例进行说明，但本公开不以此为限，本公开的封闭场所内人物再识别的方法、系统及终端设备还可应用于商场、学校、医院、地铁等智能结算、安防、客流分析等领域。

首先结合图1-5对本公开的封闭场所内人物再识别的方法进行具体说明，其中，图1示出根据本公开一示例实施方式的一封闭场所内人物再识别的方法的流程图；图2示出一封闭场所中入口区域的实拍图；图3示出一封闭场所中某一非入口区域的实拍图；图4示出一封闭场所中入口区域的另一实拍图；图5示出根据本公开另一示例实施方式的一封闭场所内人物再识别的方法的流程图。

在进行具体说明之前先简介本公开进行封闭场所内人物再识别所使用的模型：当人物进入封闭场所时，系统通知算法有新进入者，本公开基于人物跟踪绑定新进入者，并收集其特征信息。当人物离开时，系统通知有人离开，则删除其特征信息并标志离开。当人物在场所内时，可以在任意时刻给出任意位置的人物身份信息，如：2017年10月10日9点30分，某一区域某一位置出现的人为tonny(只是假定的人名，也可以不起人名而是用身份号命名，直接命名为1、2…n号人物)。

图1示出根据本公开一示例实施方式的一封闭场所内人物再识别的方法的流程图。

在s102，将封闭场所划分为包括入口区域在内的多个区域并且任一区域至少有一个摄像头进行拍摄。

由于前述场所内可能较为狭窄，单一摄像头画面存在死角、人物之间存在重叠、遮挡等情形，往往采用多摄像头的布置，在场所内架设多个摄像头以覆盖不同角度不同区域。其原则是任意区域由两个以上摄像头可以从不同角度辐射到，可以解决人物之间的遮挡问题。

其中，多摄像头除了使得场所内无死角外，这些摄像头有其不同的职责，阐述如下：

a.主摄像头来监视入口区域，以监测新进入的人物，并跟踪该人物以获取人物的特征(如正面、侧面、背面的衣物、体貌特征)。之所以选取入口区域来收集特征，是由于此区域较为开阔，人物之间的遮挡、重叠等干扰较少，而不至于由于跟踪错误而造成特征的混淆。

如图2所示，大的白色框为跟踪区域范围，小的白色框为(大致画出的)入口的位置。可以根据区域范围内人的轨迹分析，来监测新进入入口的人，并获取其特征信息。

b.用于人物再识别的其他摄像头。将场所内各个区域，依据各摄像头的角度，分别指定一个职责摄像头。当需要识别某个区域的人的身份时，可以找到该区域对应的指定职责摄像头，调取其对应时刻的画面，如图3所示。

在此需要特别说明的是，监视入口区域的摄像头可以为一个，也可以为多个，本公开不以此为限。例如可以只用一个摄像头，既用于监测新进入的人物又用于入口区域内的人物再识别；或者为了提高效率和处理的实时性，也可以用一个摄像头用于监测新进入的人物，而同时用另外一个摄像头或另外多个不同拍摄角度的摄像头用于入口区域内的人物再识别。

在s104，基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定。

现有人物跟踪技术可依据时间分为实时跟踪与多帧全局跟踪两种。前者直接依据以往时刻的人物位置、特征信息来预测下一帧的人物位置，可用于实时视频监控。后者是将已拍摄视频的所有帧的人物进行“检测+关联”，只能用于事后的视频分析。

从性能上考虑，多帧全局跟踪能够充分利用多帧的信息，在解决人物之间的遮挡，及长时、短时从画面中失踪上表现更好，有更强的抗干扰能力。缺点是不能实时给出跟踪结果。本公开跟踪所要解决的问题是新入者与身份的绑定，以及特征信息的收集，故不需要实时给出跟踪路径，所以本公开采用多帧全局跟踪方案。

具体做法是，根据入口区域连续多帧拍摄画面所展示的人物轨迹以判断是否为新进入的人物，比如，当某一人物的轨迹显示其是由入口外的方向向入口内的方向延伸的(当然也可加入其它辅助判定条件)，可认为其为新进入的人物并赋予其唯一的身份号；当确认有新进入者后，本公开对门口区域启动约一预定时间段比如5秒钟(可根据需要选择3-10秒的时间)的跟踪和检测，在跟踪路径上收集新进入人物的特征信息，5秒后经过计算确认新进入者的特征信息并将其与赋予其唯一的身份号进行绑定，然后将特征信息和其对应身份号进行记录。

其中，本公开收集这些连续帧的检测框内的人物的卷积神经网络(cnn)特征作为其特征信息，具体来说，“检测”为基于卷积神经网络(cnn)进行的人物检测。“特征信息”为卷积神经网络(cnn)技术所提取的人物的形态、穿着、身材等各方面特征的集合。我们基于公开的用于人物检测及特征提取的cnn网络，加上收集、标注的多摄像头人物跟踪数据进行训练，来做行人检测，以及改善人物特征网络。

根据本公开的一示例实施方式，所述人物的特征信息包括：体形、穿着和/或相貌。其中体形可包括人物的高矮胖瘦等，穿着可包括人物的衣服类型和颜色等。

根据本公开的一示例实施方式，特征信息和身份号保存在人物特征数据库中。

在s106，当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。

由于在s104中，对每个新进入者都收集有特征信息，故可以基于特征信息的比对来识别任意人物检测框所框的人物的身份。当需要对封闭场所某一区域内某一人物进行再识别时，将通过人物所在区域的指定职责摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。例如如图3所示：当想知道右下角(站立于白色框处)在智能货架上取商品的男士的身份时，可通过该男士所在区域的指定职责摄像头获取的该男士的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为该男士的身份号，确定该男士的身份为顾客xxx(或xx号)。同样的，获取该男士的特征信息也通过卷积神经网络技术来进行。

进一步地，考虑到人物之间特征信息区分未必很分明(如穿着黑色衣服的两个人就不易区分)，本公开对整个画面内的所有人物进行关联匹配。这种将所有人物与身份的关联匹配可以帮助找到全局最优匹配，与对单一检测框内的人物进行再识别相比，大大提高了特征信息比较的容错度。该过程可实现实时处理。

具体示例如图4，在需要再识别的任意一帧内，利用已收集的特征信息，对区域内所有人进行最优关联匹配。也就是说，虽然我们只想对某一人物如图4中画面最右侧的黑衣女士进行再识别，但却可以通过对其所在区域内的所有人物进行匹配来大大提高特征比较的容错度，也就是说，由于该黑衣女士与其他穿着黑色或深色衣服的人不容易区分(即衣服颜色这一特征信息为黑色的身份号不止一个)而容易导致匹配错误，因此对所有人物都进行匹配，而其他穿着黑色或深色衣服的人可能具有其他类型的可以快速明确确认身份的明显区别于他人的特征，于是通过所述明显区别于他人的特征快速确认其他穿着黑色或深色衣服的人的身份(号)并将这些人(的身份号)排除，这样此时衣服颜色这一特征信息为黑色的身份号就只剩一个了，此身份号即为该黑衣女士的身份号。

根据本公开的一示例实施方式，当人物离开时，删除其特征信息并标志离开，如附图5中的s508所示。其中，s502-s506与s102-s106相同，在此不再赘述。

在s508，当监视入口(出入口共用的封闭场所)或出口(出入口分开的封闭场所)区域的摄像头检测到某一人物离开时，删除其特征信息并标志离开，同时释放其绑定的身份号。

图6示出根据本公开示例实施方式的一封闭场所内人物再识别的系统的方框图。

如图6所示，封闭场所内人物再识别的系统600可包括监控模块602、新进入人物确认模块604和再识别模块606。

其中，监控模块602用于将封闭场所划分为包括入口区域在内的多个区域并且对任一区域至少用一个摄像头进行拍摄。新进入人物确认模块604用于基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定。再识别模块606用于当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。

另外，系统600还可包括特征数据库608，用于保存特征信息和身份号。

作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的系统中所包含的；也可以是单独存在，而未装配入该系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该系统执行时，使得该系统可以执行：将封闭场所划分为包括入口区域在内的多个区域并且对任一区域至少用一个摄像头进行拍摄；基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定；以及当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。

图7示出根据本公开一示例实施方式的终端设备。

如图7所示，终端设备700可包括处理器710、存储器720。另外，根据一实施例，终端设备还可包括发射器及接收器。

处理器710可调用存储器720中存储的指令控制相关操作，如控制发射器和接收器进行信号收发等。根据一实施例，存储器720存储用于处理器710控制以下操作的指令：将封闭场所划分为包括入口区域在内的多个区域并且对任一区域至少用一个摄像头进行拍摄；基于入口区域内的人物的轨迹跟踪以确认新进入的人物并赋予其唯一的身份号，获取和记录其特征信息并与身份号绑定；以及当需要对封闭场所内某一人物进行再识别时，将通过人物所在区域的摄像头获取的人物的特征信息与已记录的特征信息进行匹配，以匹配度最高的特征信息绑定的身份号作为人物的身份号。处理器710可调用存储器720中存储的指令控制相关操作。易于理解，存储器720还可存储用于处理器710控制根据本公开实施例的其他操作的指令，这里不再赘述。

通过以上的详细描述，本领域的技术人员易于理解，根据本公开实施例的方法、系统及终端设备具有以下优点中的一个或多个。

根据本公开的一些示例实施方式，通过采用基于多摄像头的、轨迹跟踪与特征匹配相结合的方案，来解决实时的、复杂场景下的人物身份再识别问题，取得较好的人物再识别效果。

根据本公开的一些示例实施方式，通过在场所内架设多个摄像头以覆盖不同角度不同区域，任意区域由两个以上摄像头可以从不同角度辐射到，可以解决人物之间的遮挡问题。

根据本公开的一些示例实施方式，通过对整个画面内的所有人物进行关联匹配，将所有人物与身份的关联匹配可以帮助找到全局最优匹配，与对单一检测框内的人物进行再识别相比，大大提高了特征比较的容错度。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。