一种基于区块链的跨摄像机行人跟踪系统及方法与流程

文档序号:23419951发布日期:2020-12-25 11:42阅读:来源:国知局

技术特征:

1.一种基于区块链的跨摄像机行人跟踪系统,其特征在于,包括:入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块和区块链共享模块;其中:

入口模块,提供一个管理接口,方便用户从图形化终端管理,用户根据自己的实际需求,选择进入数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块的操作;作为用户登录的界面,用户登录时输入用户名和密码,核检用户名和密码开放对应的权限;对于普通用户,仅提供在线查看权限,不可导出各项数据;对于管理员,提供全部权限,从入口模块提供的数据导出接口导出各项数据;

数据收集模块,负责数据的收集,包括摄像机的实时视频数据,获取当前摄像机的编号;通过摄像机拍摄监控场景的图像,从摄像机提供的导出接口获取24小时内监控空间内连续的视频图像帧;将摄像机编号传递到区块链模块,将视频图像帧传递到短轨迹生成模块;

短轨迹生成模块:首先接收数据收集模块传入的视频图像帧,每接受8个视频图像帧,就使用yolov3检测网络处理这8个视频图像帧,得到8个视频图像帧中行人的检测框;根据得到的检测框,从8个视频帧中将对应的区域裁剪下来形成行人裁剪区域,将行人裁剪区域和对应的行人的检测框打包为行人的检测片图;使用聚类的方法对行人的检测片图进行聚类,生成最小长度为3帧,最大长度为8帧的短轨迹,使用完成训练的共现约束网络提取短轨迹的特征,最后将短轨迹以及提取出的短轨迹特征,传入跟踪模块;

跟踪模块,基于区块链的跨摄像机行人跟踪方法,跟踪多个行人,并为每一个行人维护多种数据,并将部分数据保存到数据库中,所述多种数据包括保存行人外观特征的特征池、未命中次数、历史轨迹、行人当前状态、行人的序号、命中次数、行人当前位置,其中命中次数是指该行人成功获得短轨迹匹配的次数,未命中次数是指该行人上一次获得成功匹配距离当前的帧数;所述当前状态包括敏感、确认、删除三者之一(其中敏感是指该行人可能是误检造成的,确认表示该行人正在被跟踪,删除表示该行人已经从检测区域内丢失);该模块实现时,首先接收短轨迹生成模块生成的短轨迹及短轨迹的特征,然后更新当前所跟踪的行人的状态,计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵;再根据当前所跟踪的行人的位置和输入的短轨迹,对相似度矩阵进行过滤,得到过滤后的相似度矩阵;过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决,会得到多个成对的矩阵下标,即为成功匹配的行人和短轨迹,则未得到成功匹配的行人和短轨迹称为未成功匹配的行人;未成功匹配的行人的未命中次数加一,未成功得到匹配的短轨迹被初始化为新的行人;在所有未成功匹配的行人和短轨迹处理完毕后,使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新;当所有跟踪的行人外观特征的特征池完成更新后,使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹,即不是由短轨迹生成模块直接产生的,而是根据行人历史轨迹估计得到的短轨迹;将虚拟短轨迹添加到跟踪的行人的历史轨迹中;如果入口模块结束跟踪的命令,则将所有跟踪的行人的历史轨迹保存到数据库中;

区块链模块,负责不同摄像机之间跟踪的行人的数据的共享;该模块检测跟踪模块跟踪行人的状态变化,如果跟踪模块中某一个跟踪的行人状态变为删除,则将该行人的特征池和序号还有当前相机的编号打包到一个区块中,并将此区块发送到区块链中;该模块同时不断检测区块链是否有新的区块,当有新区块被上传到区块链中时,下载新区块中的数据,若新区块中保存的摄像机编号与当前摄像机不同,则将新区块中的特征池以及行人的序号下载下来,使用reid网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别,如果reid网络判断该特征池和某个跟踪的行人是一致的,则向跟踪模块发送融合序号请求,该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号;

输出模块,提供两个数据接口,一个仅提供对数据库中行人的历史轨迹的查看,另一个不但查看,而且还提供导出行人历史轨迹的接口;该模块提供了用户查看信息的接口,封装了其余各个模块,使得各个模块对用户透明。

2.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统,其特征在于:所述短轨迹生成模块中,共现约束网络的结构和训练过程如下:

(1)共现约束网络接收长度为8的短轨迹作为输入,如果给定的短轨长度不足8,则用线性插值法插帧,使得短轨迹长度为8;

(2)建立共现约束网络,使用resnet50全局平均池化层前的网络结构作为骨干网络,后面使用一个固定分割层对骨干网络输出的特征图进行均匀分割,共分割为6块,每一块称为共现局部特征;使用1*1的卷积核和平均池化层处理所有共现局部特征,降低共现局部特征的维度从而得到压缩特征;压缩特征被输入到多头注意力层以计算压缩特征间的空间共现约束;同时,多个压缩特征被拼接为个体特征;从骨干网络到完成压缩特征的拼接的结构是对短轨迹中所有帧共享的,即,短轨迹中的每一帧经过同样的结构处理,最终得到各自的个体特征和各自的空间共现约束;所有帧的空间共现约束被打包为一个序列,并被输入到一个256个隐藏单元的lstm层中,lstm层的输出经过一个随机丢弃层后,随机丢弃层的输出被输入到另一个256个隐藏单元的lstm层中,该lstm层的输出被输入到了另一个随机丢弃层,该随机丢弃层的输出被输入进一个全连接层,全连接的输出被sofmax层转化为一组权重,利用改组时间权重,所有帧的个体特征被组合为短轨迹特征;短轨迹特征被输入到一个全连接层以进行短轨迹分类,即,网络最后一个全连接层输出短轨迹对应的标签;

(3)共现约束网络在ilids-vid(互联网上的公开数据集)上完成训练,该数据集中的视频数据被切分为长度为8的短轨迹,同一视频生成的短轨迹拥有相同的标签;所有短轨迹被输入到共现约束网络中,对短轨迹进行分类,获得预测的标签;通过计算共现约束网络预测的标签和数据集中真实的标签的损失,使用梯度下降法更新共现约束网络骨干网络后所有层的权重参数;当损失收敛后,固定权重参数并保存,同时保存共现约束网络的网络结构;

(4)短轨迹生成模块加载完成预训练的共现约束网络的权重参数,并使用该网络对聚类生成的短轨迹进行特征提取,得到短轨迹的特征。

3.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统,其特征在于:所述跟踪模块中,基于区块链的跨摄像机行人跟踪方法如下:

(1)接受短轨迹生成模块传递的短轨迹和短轨迹的特征,该特征为一个1536维度的特征向量;

(2)如果当前跟踪的行人为空,则转入步骤(6);否则,更新所有跟踪的行人的当前状态:如果跟踪的行人的当前状态是敏感,并且命中次数大于等于2,则更改其状态为确认;如果跟踪的行人的当前状态是确认,并且未命中次数大于等于18,则更改其状态为删除;如果跟踪的行人的当前状态是敏感,并且未命中次数大于等于3且命中次数等于0,则更改其状态为删除;

(3)建立相似度矩阵,计算当前跟踪的行人的特征池中的特征与短轨迹的特征之间的余弦距离,以此得到的余弦距离作为基本元素建立相似度矩阵;

(4)相似度矩阵过滤,计算当前跟踪的行人的位置和短轨迹的位置的距离,距离大于阈值的跟踪的行人与和短轨迹在相似度矩阵中的余弦距离被置为0;

(5)分配,相似度矩阵的最优化求解是一个二分图问题,使用匈牙利算法解决,得到多个成功的跟踪的行人与短轨迹的匹配,剩下的即为未成功匹配的短轨迹与未成功匹配的跟踪的行人;

(6)初始化新的跟踪的行人,未成功匹配的短轨迹被初始化未新的跟踪的行人,新的跟踪的行人的状态为敏感,新的跟踪的行人的特征池中添加对轨迹的外观特征,新的跟踪的行人的位置为短轨迹的边框的平均值,历史轨迹为短轨迹的所有边框未命中次数和命中次数初始化为0,序号为当前跟踪的行人的最大序号加1;

(7)使用基于时间模拟退火的特征修复算法对跟踪的行人的特征池中的进行更新,使用该算法对与确认的跟踪的行人匹配的短轨迹的外观特征进行修复,得到修复后的特征,并将修复后的特征加入确认的跟踪的行人特征池中;

(8)使用基于置信度虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹,将虚拟短轨迹添加到跟踪的行人的历史轨迹中;

(9)检测区块链模块是否有融合序号的请求,如果有,则根据请求中包含的序号修改当前跟踪的行人的序号;如果无情求,转入步骤(10);

(10)如果接收到了结束跟踪的命令,根据虚拟短轨迹与真实轨迹数量之比过滤跟踪的行人,高于阈值的删除,剩下的保存到数据库中,结束;如果未接收到入口模块发送的结束跟踪的命令,则转入步骤(1)。

4.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统,其特征在于:所述跟踪模块中,基于时间模拟退火的特征修复算法实现如下:

(1)基于时间模拟退火的特征修复算法的输入为当前跟踪的行人,短轨迹生成模块传递的短轨迹,基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配,以下称匹配集合;

(2)如果匹配集合为空,则转入步骤(7);否则,按顺序从匹配集合中取出一个匹配,包括短轨迹和跟踪的行人;

(3)如果跟踪的行人的状态为确认,转入步骤(4);否则,转入步骤(6);

(4)计算短轨迹的置信度和短轨迹和跟踪的行人的外观差异,并判断两者是否满足阈值,如果均满足阈值,转入步骤(5);否则,转入步骤(6);

(5)对短轨迹的特征进行修复,得到修复后的特征,将修复后的特征添加到跟踪的行人的特征池中;完成所述特征池的更新,保存所述特征池,并转入步骤(2);

(6)结束并退出。

5.根据权利要求1所述的基于区块链的跨摄像机行人跟踪系统,其特征在于:所述跟踪模块中,基于置信度的虚拟短轨迹算法如下:

(1)基于置信度的虚拟短轨迹算法的输入为当前跟踪的行人,短轨迹生成模块传递的短轨迹,基于区块链的行人跟踪方法得到的成功的跟踪的行人与短轨迹的匹配,以下称匹配集合;

(2)如果匹配集合为空,则转入步骤(7);否则,按顺序从匹配集合中取出一个匹配,包括短轨迹和跟踪的行人;

(3)如果跟踪的行人的状态不是删除,转入步骤(4);否则,转入步骤(6);

(4)计算短轨迹的置信度、短轨迹与跟踪的行人之间的外观差异,并判断两者是否满足阈值,如果均满足阈值,转入;否则,转入步骤(6);

(5)检测跟踪的行人的历史轨迹,判断在哪些帧发生了断裂,即该跟踪的行人在哪些帧是没有边框的,记录这些帧;

(6)对所有记录的帧,根据其前后帧的边框,使用插值算法插值出虚拟的边框;完成插值后,转入步骤(2);

(7)结束并退出。

6.一种基于区块链的跨摄像机行人跟踪方法,其特征在于,实现步骤如下:

(1)用户打开入口界面,根据界面提示输入自己的用户名和密码,登陆后入口模块会对用户名和密码进行核检,核检通过后允许用户登入系统;根据用户账户对应的权限信息,开放不同的权限,如果用户是管理员,则提供全部权限,开放数据导出接口,如果是普通用户,则仅提供在线查看功能;

(2)用户正常登陆系统,则开始执行行人跟踪任务。数据收集模块获得实时视频数据输入,并传递到短轨迹生成模块。短轨迹生成模块从获得的视频数据获得检测并生成短轨迹,同时使用共现约束网络完成短轨迹的特征提取,将短轨迹与其特征打包传递到跟踪模块;

(3)跟踪模块获得短轨迹生成模块传递的短轨迹和短轨迹特征,跟踪多个行人,更新当前所跟踪的行人的状态,计算当前跟踪的行人和接收的短轨迹之间的相似度矩阵;再根据当前所跟踪的行人的位置和输入的短轨迹,对相似度矩阵进行过滤,得到过滤后的相似度矩阵;过滤后的相似度矩阵的最优化分配方案使用匈牙利算法解决,得到成功匹配的行人和短轨迹;未成功匹配的行人的未命中次数加一,未成功得到匹配的短轨迹被初始化为新的行人;在所有未成功匹配的行人和短轨迹处理完毕后,使用基于时间模拟退火的特征修复算法对所有行人当前状态为确认的跟踪的行人外观特征的特征池进行更新;当所有跟踪的行人外观特征的特征池完成更新后,使用基于置信度的虚拟短轨迹算法对所有跟踪的行人增加虚拟短轨迹,即不是由短轨迹生成模块产生的,而是根据行人历史轨迹估计的短轨迹,将虚拟短轨迹添加到跟踪的行人的历史轨迹中;如果入口模块结束跟踪的命令,则将所有跟踪的行人的历史轨迹保存到数据库中;

(4)区块链模块与跟踪模块在系统中同时开始启动,以检测跟踪行人的状态变化,如果跟踪模块中某一个跟踪的行人状态变为删除,则将该行人的信息打包并发送到区块链中;该模块不断检测区块链是否有新的区块,当有新区块被上传到区块链中时,下载新区块中的数据,若新区块中保存的摄像机编号与当前摄像机不同,则将新区块中的特征池以及行人的序号下载下来,使用人重识别reid网络对该特征池与当前跟踪模块跟踪的所有行人做人重识别,如果reid网络判断该特征池和某个跟踪的行人是一致的,则向跟踪模块发送融合序号请求,该请求包含从新区块中下载的序号以及对应的当前跟踪模块跟踪的行人的序号;

(5)用户入口模块发送结束跟踪的指令,输出模块根据用户权限开放对应的接口供用户导出数据。


技术总结
本发明涉及一种基于区块链的跨摄像机行人跟踪系统及方法,包括以下6大模块:入口模块、数据收集模块、短轨迹生成模块、跟踪模块、输出模块、区块链共享模块。本发明主要完成跨摄像机场景下部署在摄像机端的行人跟踪任务和功能。用户可利用该系统,完成行人在跨摄像机监控场景下的跟踪,并保持跨摄像机监控场景下的行人标签的一致性。

技术研发人员:盛浩;王帅;张洋;刘洋;吕凯
受保护的技术使用者:北京航空航天大学
技术研发日:2020.08.06
技术公布日:2020.12.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1