一种基于时空信息叠加深度特征的行人轨迹归档方法与流程

1.本发明涉及一种人脸识别技术领域，具体涉及一种基于时空信息叠加深度特征的行人轨迹归档方法。


背景技术：

2.在公开号为cn111126208a的发明专利中写到，将检测到的行人通过质量分数过滤之后分为含有人脸子集和无人脸子集，其中无人脸子集就是上述中的行人主体。在此之后，无人脸子集与已经归档中的人物中的无人脸子集进行特征相似度的匹配，当相似度超过某一个设定的阈值之后，便认为这两个比较的目标属于同一个行人；有人脸的子集则与已归档的有人脸的行人行进特征相似度的匹配，当超过设定的人脸相似度阈值之后，便认为这两个比较的目标属于同一个行人。同时，该专利中也提到，会去计算同一张包含多个行人的场景原图中每个行人检测框与人脸检测框的iou，iou越大则这两个检测框属于同一个人的概率则也越大，从而将判断为属于同一个人的行人子集和人脸子集归档。
3.iou，文中关于行人检测框和人脸检测框的iou的计算方式为两个检测框相交的面积除以两个检测框相并的面积人员档案中纯度和散度的定义，同一个人员档案中如果只包含一个人的行人和人脸，则我们认为它是纯的，否则是不纯的。假设同一个行人和人脸为一个id，那么同一个档案下包含的id数越少，这个档案的纯度越高，当只包含一个id的时候，纯度为1；如果容一个id被分为了不同的档案，那么这个id就散了，同一个id被分为的档案数越少，那么散度就越小，当一个id就是一个档案时，散度为1。理论上纯度的取值范围是(0, 1]，越大越好；散度的取值范围为[1, +∞)，越小越好。
[0004]
当部分行人穿着比较相似的时候，使用行人再识别技术得到被判断为同一人的两个行人子集可能不是同一个人，当一个行人检测框里面出现两个人脸检测框的时候，如果他们的iou都一样大，这个时候就很难得出哪个人脸检测框和行人检测框能真正匹配成一个人。另外，现有的行人归档方法还存在对行人图像的信息利用率较低的问题，比如行人的类似性别、年龄等诸多属性都没有使用到，以及缺乏对时间以及空间关系的利用，导致最后归档的行人可能存在不是同一个人的情况。
[0005]
现有的技术方案中，比较完善一点的方案就是使用人脸识别技术得到人脸的特征，使用行人再识别技术得到行人的特征，通过计算人脸检测框和行人检测框的iou来判断是否属于同一个人，然后进行归档。其中，包含人脸的子集则与已归档的行人中包含人脸子集的行人进行人脸特征相似度的比较，无人脸的子集则与已归档的行人中无人脸子集的行人进行行人特征相似度的比较，若相似度超过某个阈值，则归于同一个人物的档案；若相似度不达阈值，则新建人物档案。然而在进行无人脸子集相似度匹配的时候，神经网络模型通常是根据行人的着装服饰等方面来生成特征的，当人物的服饰一旦比较相似的时候，这个时候两个子集的相似度会变得非常高，而且，随着时间线的拉长，同一个人物档案里面出现了不同服饰的行人子集，那么就更容易与另一个人物档案中的行人子集发生高相似度匹配了，由此带来的问题便是一个人物档案里面的行人并不都是同一个人。如果不加以时间以
及空间的限制的话，一个城市可能多达上千万人的档案，互相匹配到高相似度的概率将会非常高。即使是在当前人脸识别技术已经发展的非常前沿的条件下，人员档案在上万数量级的前提下，或许很难出错，但是如果不加以时间空间限制，面临上千万的数量级，还是会出现误把两个人当成一个人的情况。
[0006]
而且，在现有的技术中，随着日积月累，人员档案中的数据量会堆积的越来越多，如果不加以处理，将当前检测到的人脸和行人与档案中子集进行特征相似度匹配的时候，会因为庞大的数据量导致计算性能大大降低。
[0007]
这种情况的一般解决方法是把特征相似度的阈值提高，但是这样做的后果就是可能会导致本来应该是同一个人的档案没有被归为一起，从而导致我们最终生成的人员档案的散度很大。


技术实现要素：

[0008]
本发明的目的在于提供一种基于时空信息叠加深度特征的行人轨迹归档方法，其在实际的使用中能够使得最终生成的档案纯度较高、散度较低。
[0009]
为解决上述技术问题，本发明所采用的技术方案是：一种基于时空信息叠加深度特征的行人轨迹归档方法，包括如下步骤：步骤1：先对摄像头记录的场景大图做人脸检测和行人检测，各自通过质量过滤之后提取行人和人脸的深度特征，对于每个人脸和行人检测框，基于其当前所处的位置以及特征，与上一条数据流中的人脸和行人检测框进行跟踪算法匹配；步骤2：形成人脸和行人各自的跟踪序列，再使用人脸和行人匹配算法，判断当前画面哪个人脸检测框和行人检测框是能够匹配到同一人，若能匹配到一起，则人脸和行人设定为同一个id，并形成一个人员的子集；若不能匹配到一起，则各自为一个id并形成独自的子集；步骤3：将这些子集与已有的人员档案中符合条件的进行搜索以及相似度匹配，如果与已有的人员档案相似度匹配成功，则把该子集加入到已有的人员档案中去，否则新建一个人员档案。
[0010]
其中，步骤1中，对摄像头记录的场景大图做人脸检测和行人检测，得到若干个人脸检测框和行人检测框，此处检测采用已经训练好的神经网络模型去做的检测。
[0011]
进一步优化，步骤2中，将检测到的人脸框和行人框与上一条数据流中的人脸框和行人框通过跟踪算法做位置和特征匹配时，将能与上一条数据流中的已存在id的人脸或者行人匹配成功的人脸或者行人检测框赋予相对应的id；如果是冷启动初始化的时候，这个时候系统还未建立任何id，则会为第一条数据中的每个人脸检测框和行人检测框新建赋予一个id。
[0012]
其中，步骤3中，进行搜索以及相似度匹配时，对当前数据中检测到的人脸和行人检测框做关联，这里使用统计的方式来做人脸与行人的关联；基于历史的数据统计，得到一个人脸检测框在行人检测框中的分布概率图，如果人脸框越靠近行人框的中间上边，则该人脸属于该人体的概率越大，人脸与行人关联成功之后，他们的id则变为同一个。
[0013]
其中，对已有的id，分为无人脸子集和有人脸子集，每一个id都向已归档的人员档案中进行搜索，此处搜索是通过时间和空间的限制缩小了搜索范围；
根据当前摄像头的朝向信息，以及连续抓拍到的行人的朝向信息，推断出行人的行进方向，从该人员最后一次出现在摄像头画面开始计算，按照正常的步行速度计算得出该行人从当前摄像头行走到下个可能相邻的摄像头之间的时间范围，通过该时间范围以及可能出现的空间范围，将已归档的人员档案缩小搜索范围，从而提高搜索速度和精度。
[0014]
进一步优化，当某一个id与已归档的人员档案中的某一个id的特征相似度超过设定阈值的时候，则认为他们属于同一个人，记录当前该人员的id，并在一段时间后选取该id的人员子集中具有代表性的数据进行归档。
[0015]
其中，在代表人员子集的选取上，针对同一个id的行人和人脸检测框，根据行人选取不同角度、不同姿态以及时间跨度相对较大的数据进行存储。
[0016]
与现有技术相比，本发明具有以下有益效果：本发明在人脸和行人特征相似度匹配的基础上加入了时间和空间的限制，在对一个检测到的行人或者人脸进行匹配的时候，缩小已归档的人员档案的搜索空间，使得最终匹配的结果更加精准。在进行人员档案归档的过程中，不能单单依赖检测到的行人和人脸的特征，需要引入时间和空间的逻辑关系，或升高或降低相似度匹配阈值，从而使得最终生成的档案纯度高、散度低。
附图说明
[0017]
图1为本发明人脸和行人检测框进行跟踪算法匹配原理图。
具体实施方式
[0018]
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明实施例的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。
[0019]
实施例一本实施例公开了一种基于时空信息叠加深度特征的行人轨迹归档方法，包括如下步骤：步骤1：先对摄像头记录的场景大图做人脸检测和行人检测，各自通过质量过滤之后提取行人和人脸的深度特征，对于每个人脸和行人检测框，基于其当前所处的位置以及特征，与上一条数据流中的人脸和行人检测框进行跟踪算法匹配；如图1所示：其为一个神经网络模型，中间的网络结构都是特征提取层，最后的蓝色圆圈部分输出层则为最后的深度特征，接下来的y的那一列则是根据深度特征做出的分类结果。但是我们输入样本的最终特征是以深度特征来表征的，它包含了样本的所有深度学习信息。
[0020]
步骤2：形成人脸和行人各自的跟踪序列，再使用人脸和行人匹配算法，判断当前画面哪个人脸检测框和行人检测框是能够匹配到同一人，若能匹配到一起，则人脸和行人设定为同一个id，并形成一个人员的子集；若不能匹配到一起，则各自为一个id并形成独自的子集；由于一张跟踪序列包含多个人脸或者人体图像，因为跟踪算法的本身的算法优势，这些序列的里面的人脸或者人体图像都属于同一个人，这样就形成了一个簇，在后期做
聚类的时候我们通常都希望我们的原始簇是纯的（意思是同一个簇只包含一个人的信息），所以这个序列是为了保证我们的人脸或者行人样本图像属于同一个人步骤3：将这些子集与已有的人员档案中符合条件的进行搜索以及相似度匹配，如果与已有的人员档案相似度匹配成功，则把该子集加入到已有的人员档案中去，否则新建一个人员档案。
[0021]
其中，步骤1中，对摄像头记录的场景大图做人脸检测和行人检测，得到若干个人脸检测框和行人检测框，此处检测采用已经训练好的神经网络模型去做的检测。
[0022]
在实际的使用中，由于每个人所偏向的网络模型不一样，对于检测算法来讲，常用的有faster-rcnn，ssd，yolo、 retinanet等算法，针对不同的场景选择不同的算法模型，比如移动端就使用yolo等轻量级的模型比较合适，服务器端的话在算力充足的情况下，可以使用大模型比如faster-rcnn。此处检测模型，我们默认已经使用训练好的网络模型，把样本输入进去之后，直接获取检测后的人脸或者行人图像结果，此处不再一一赘述。
[0023]
进一步优化，步骤2中，将检测到的人脸框和行人框与上一条数据流中的人脸框和行人框通过跟踪算法做位置和特征匹配时，将能与上一条数据流中的已存在id的人脸或者行人匹配成功的人脸或者行人检测框赋予相对应的id；如果是冷启动初始化的时候，这个时候系统还未建立任何id，则会为第一条数据中的每个人脸检测框和行人检测框新建赋予一个id。
[0024]
其中，步骤3中，进行搜索以及相似度匹配时，对当前数据中检测到的人脸和行人检测框做关联，这里使用统计的方式来做人脸与行人的关联；基于历史的数据统计，得到一个人脸检测框在行人检测框中的分布概率图，如果人脸框越靠近行人框的中间上边，则该人脸属于该人体的概率越大，人脸与行人关联成功之后，他们的id则变为同一个。
[0025]
其中，对已有的id，分为无人脸子集和有人脸子集，每一个id都向已归档的人员档案中进行搜索，此处搜索是通过时间和空间的限制缩小了搜索范围；根据当前摄像头的朝向信息，以及连续抓拍到的行人的朝向信息，推断出行人的行进方向，从该人员最后一次出现在摄像头画面开始计算，按照正常的步行速度计算得出该行人从当前摄像头行走到下个可能相邻的摄像头之间的时间范围，通过该时间范围以及可能出现的空间范围，将已归档的人员档案缩小搜索范围，从而提高搜索速度和精度。
[0026]
其中，当某一个id与已归档的人员档案中的某一个id的特征相似度超过设定阈值的时候，则认为他们属于同一个人，记录当前该人员的id，并在一段时间后选取该id的人员子集中具有代表性的数据进行归档。
[0027]
进一步限定，在代表人员子集的选取上，针对同一个id的行人和人脸检测框，根据行人选取不同角度、不同姿态以及时间跨度相对较大的数据进行存储。
[0028]
本实施例中，相对较大主要指的是，在同一个id的行人数据里面，选出时间最早的和时间最晚的，在这个区间里面等量切分成n份，（在不考虑性能的前提下，n越大越好），比如综合比较我们这里的n取10，则从该id人员图像的起始时间每隔一段时间取一张图像，最终在整个区间里面取10张图像。
[0029]
需要说明的是，本实施例中所述的深度特征的是通过训练好的深度学习神经网络模型输出的特征，也是网络模型的最后一层的输出结果，通常是一个高维度的向量。
[0030]
实施例二
本实施例公开了一种基于时空信息叠加深度特征的行人轨迹归档方法，其整体思路如下：先对摄像头记录的场景大图做人脸检测和行人检测，各自通过质量过滤之后提取行人和人脸的深度特征，对于每个人脸和行人检测框，基于其当前所处的位置以及特征，与上一条数据流中的人脸和行人检测框进行跟踪算法匹配；然后形成人脸和行人各自的跟踪序列，再使用人脸和行人匹配算法，判断当前画面哪个人脸检测框和行人检测框是能够匹配到同一人，若能匹配到一起，则人脸和行人设定为同一个id，并形成一个人员的子集；若不能匹配到一起，则各自为一个id并形成独自的子集；再将这些子集与已有的人员档案中符合条件的进行搜索以及相似度匹配，如果与已有的人员档案相似度匹配成功，则把该子集加入到已有的人员档案中去，否则新建一个人员档案。
[0031]
具体步骤如下：对摄像头记录的场景大图做人脸检测和行人检测，得到若干个人脸检测框和行人检测框，这里的检测是用已经训练好的神经网络模型去做的检测，这里不做过多叙述。
[0032]
将检测到的人脸框和行人框与上一条数据流中的人脸框和行人框通过跟踪算法做位置和特征匹配，将能与上一条数据流中的已存在id的人脸或者行人匹配成功的人脸或者行人检测框赋予相对应的id；如果是冷启动初始化的时候，这个时候系统还未建立任何id，则会为第一条数据中的每个人脸检测框和行人检测框新建赋予一个id。
[0033]
对当前数据中检测到的人脸和行人检测框做关联，这里使用统计的方式来做人脸与行人的关联；基于历史的数据统计，得到一个人脸检测框在行人检测框中的分布概率图，如果人脸框越靠近行人框的中间上边，则该人脸属于该人体的概率越大。人脸与行人关联成功之后，他们的id则变为同一个。
[0034]
对已有的id，分为无人脸子集和有人脸子集，每一个id都向已归档的人员档案中进行搜索，这里的搜索一定是通过时间和空间的限制缩小了搜索范围。根据当前摄像头的朝向信息，以及连续抓拍到的行人的朝向信息，我们可以推断出行人的行进方向，从该人员最后一次出现在摄像头画面开始计算，按照正常的步行速度计算得出该行人从当前摄像头行走到下个可能相邻的摄像头之间的时间范围，通过该时间范围以及可能出现的空间范围，将已归档的人员档案缩小搜索范围，从而提高搜索速度和精度。
[0035]
当某一个id与已归档的人员档案中的某一个id的特征相似度超过设定阈值的时候，则认为他们属于同一个人，记录当前该人员的id，并在一段时间后选取该id的人员子集中具有代表性的数据进行归档。在代表子集的选取上，我们针对同一个id的行人和人脸检测框，会根据行人选取不同角度、不同姿态以及时间跨度相对较大的数据进行存储，力求做到同一个行人的人体档案和人脸档案做到多样化，能更好地为后续归档搜索提供又快又准的保障。
[0036]
相比于现有的技术，仅仅使用人脸特征或行人特征或者人脸联合行人特征，是比较难做到长时空范围内的同一个行人仅仅只归为一个人员档案的。因为随着时间的推进，数据的堆积会越来越多，这个时候要想将同一个人归位一个档案相当困难，然而本提案逐一解决这些问题：
现有技术只考虑了人脸和行人的深度特征，为引入时间和空间的逻辑关系，然而基于现阶段的人脸识别技术和行人再识别技术，是无法100%做到同一个人的人脸特征高度相似的，相比之下行人特征的表征性会更差，更加无法代替人员的主要特征，因此纯粹用特征去进行人员的归档要么使得最后档案纯度较低，要么散度较高。而在引入时间和空间的逻辑关系之后，完美地解决了这一问题。
[0037]
现有技术计算所有的档案，庞大的数据量堆积会导致计算性能的降低，从而在归档的时候会消耗大量的时间。在本发明中，在进行人员档案归档的时候，选取一些比较有代表性的人脸和行人作为存储档案，以后进行搜索的时候只在这些代表点中进行搜索。由于时空关系和代表点的的引入，大大降低了搜索的范围，因而最终的计算性能可以大大地提高。
[0038]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0039]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出的是，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。