一种多相机语义关联目标跟踪方法
【技术领域】
[0001] 本发明属于智能监控视频处理技术领域，涉及一种多相机语义关联目标跟踪方 法。
【背景技术】
[0002] 目前，安防监控系统的网络监控模式已经非常普及，但是，如果不充分利用网络间 的相机关联特性，将会导致如果在一个时间点，在一个相机监控视域中发现了关注目标，要 在另外的时间段，或者其他的相机监控视域中进行检索跟踪，就不得不重新再看一次录制 的视频，这样所增加的搜寻工作量将是巨大的，适应度低、有效性差，严重影响了搜寻相关 视频的效率。
【发明内容】
[0003]本发明的目的是提供一种多相机语义关联目标跟踪方法，解决了现有技术中的目 标跟踪方法，由于在监控网络的各个相机间没有充分利用相机间的关联特性，目标在不同 时间段，不同相机中重复识别时，需要发布到采集到的各个视频中搜寻，导致适应度低、有 效性差，工作量巨大的问题。
[0004] 本发明所采用的技术方案是，一种多相机语义关联目标跟踪方法，具体按照以下 步骤实施：
[0005] 步骤1、对监控网络中的多个相机的位置进行关联定义；
[0006] 步骤2、检测运动目标，并生成目标链；
[0007] 步骤3、生成目标链的语义特征；
[0008] 步骤4、根据用户确定的关注目标进行多相机关联匹配，给出候选目标；
[0009] 步骤5、确定关联相机中的相同目标，即成。
[0010] 本发明的有益效果是，方法步骤简单，便于实施，计算量小，结果准确性高，给出的 结果能够正确描述目标在监控网络中的行为表述。
【附图说明】
[0011] 图1是本发明监控网络相机位置关联示意图。
【具体实施方式】
[0012] 下面结合附图和【具体实施方式】对本发明进行详细说明。
[0013]本发明是一种多相机语义关联目标跟踪方法，整体上步骤包括：步骤1，标记监控 网络中的相邻关联相机；步骤2、检测运动目标，并生成目标链；步骤3、生成目标链的语义 特征；步骤4、根据用户确定的关注目标，提取关联相机的目标链，进行相似匹配，并给出相 似度高的前若干目标作为候选目标；步骤5、从候选目标中确定与步骤4的关注目标属于同 一目标的目标链，输出其语义特征中的行为特征，完成对目标的多相机关联跟踪。
[0014] 本发明的多相机语义关联目标跟踪方法，具体按照以下步骤实施：
[0015] 步骤1、对监控网络中的多个相机的位置进行关联定义
[0016] 将一个监控区域内的多个相机的位置以数字表示，之后，构建一个相机关联数据
[0017] 其中，Rk为第k个相机的关联表，M为监控网络覆盖区域内的相机个数，earner^ 为与第k个相机相关联的第q个相机的标号，q= 1，2,. . .，mk，mk为第k个相机相关联的相 机个数，为与之有道路连接的具有相邻关系的相机。
[0018] 参照图1，实施例中设置有10个相机，代号①②③......⑩分别表不第一个相机、第 二个相机、第三个相机……第十个相机，各个相机位置基本上按照从上到下，从左到右的顺 序设置，然后个别相机位置有些打乱，目的是模拟网络中新增相机的编号。
[0019]第1个相机的关联数据表札={2, 4}，即第1个相机与第2个、第4个相机关联；
[0020] 同理，第2个相机的关联数据表R2= {1，3}，表明第2个相机与第1个、第3个相 机关联；
[0021] 第3个相机的关联数据表R3= {2, 6, 8}，表明第3个相机与第2个、第6个、第8 个相机关联；
[0022] 第4个相机的关联数据表R4= {1，5}，表明第4个相机与第1个、第5个相机关 联；
[0023] 第5个相机的关联数据表R5= {4, 9}，表明第5个相机与第4个、第9个相机关 联；
[0024]第6个相机的关联数据表R6= {3, 10}，表明第6个相机与第3个、第10个相机关 联；
[0025] 第7个相机的关联数据表R7= {8, 10}，表明第7个相机与第8个、第10个相机关 联；
[0026] 第8个相机的关联数据表R8= {3, 7}，表明第8个相机与第3个、第7个相机关 联；
[0027]第9个相机的关联数据表R9= {5}，表明第9个相机与第5个相机关联；
[0028]第10个相机的关联数据表R1(l= {6, 7}，表明第10个相机与第6个、第7个相机 关联；
[0029] 将该相机关联数据表预存在数据库中。
[0030] 步骤2、检测运动目标，并生成目标链
[0031]对网络中的每个摄像头录制的监控视频，按照录制时间，进行分段，设基本段的帧 数为△t，考虑到计算复杂度等问题，优选以两个小时的录制视频为一个基本段，从每个基 本段中，分别提取其运动目标链，方法如下：
[0032] 设某个视频基本段为以，其中，k表示网络中的第k个相机，tk为该视频基本段的 起始时刻，持续帧数为△t后，该视频基本段的终止时刻为tk+△t(为描述方便起见，这里 以帧数的多少来描述时刻在时间轴上的移动），
[0033] 2. 1)按照背景差分法（在相关的专业书籍及论文中均可查到），从以中的每一帧 都检测出运动目标，
[0034] t为所在视频基本段中的帧序号，nt为在第t帧检测出的目标个数，
[0035] 那么对于在第t帧检测出nt个目标连通域，则以目标连通域的最小外接矩形的左 上角坐标(<，<)和右下角坐标(<)，./ = 1,2....，％来表示目标，在第t帧中检测出的 运动目标连通域所构成的集合表达式为：
[0036]
[0037] 2. 2)初始化
[0038] 令t=tk，取视频基本段的首帧为当前处理帧，得到的首帧目标连通域集合 为对⑴刀乂)，…,<(m，则视频基本段的目标链的个数Nk就为首帧目标链的个数，即 K=?\个，目标链的长度为f=1，〖=1，2,…，
[0039] 2. 3)按照相邻帧连通域的重叠面积最大认定为同一目标的方式生成目标链，设由 步骤2.1)得到的第〖+1帧目标连通域集合为财(/ + 1)，〇> + 1)，...，<(〃1)丨，被认定为与 第t帧相同目标的连通域假设有m个，未被认定为与前一帧相同目标的连通域假设有沉个， 兩+肌=气.！，则更新目标链的个数为％ = \ +瓦，更新目标链的链长//，i=\m 新公式如下：
[0040]
[0041] 重新循环2. 2)，直到所有视频基本段内的全部目标链生成完毕，即获得以中的Nk 个目标链-K7<，G^;，…，〇<;。
[0042] 步骤3、生成目标链的语义特征
[0043] 设由步骤2得到的以中的Nk个目标链为{C%f，G^，…，C/^ }，将其语义特征定义 为：
[0044]
[0045] 其中，
[0046] (<，_>〇是第i个目标链起始帧的目标连通域的最小外接矩形的左上角坐标；
[0047] (.<，<)是第i个目标链起始帧的目标连通域的最小外接矩形的右下角坐标；
[0048] 是第i个目标链的起始帧的帧序号；
[0049] /f是第i个目标链的链长；
[0050] /mmef是第i个目标链的关键帧，取目标链的+/f/2处的目标连通域所示的目 标为关键帧；
[0051] ('〇/〇/?/是第i个目标链关键帧的目标连通域的颜色直方图，（颜色直方图的求解 方法在相关的专业书籍及论文中均有介绍）；
[0052] 夂是第i个目标链的行为参数，采用一组二进制布尔量来描述，表达式为： ..,<]，其中的七个优选参数分别表示安防监控对人物行为的描述要 求，具体定义如下：
[0053] 3. 1)判定蹲下与否的行为
[0054] 根据人身高的先验高宽比，如果外接矩形高宽比小于站立时的比例数值，即认定 目标为蹲下姿态；否则认为没有蹲下，表达式如下：
[0055]
[0056] 3. 2)判定是否站立的行为
[0057] 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化可 忽略不计，即判断为站立姿态；否则判断为没有站立，表达式如下：
[0058]
[0059] 3. 3)判定是否步行的行为
[0060] 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化朝 着某个方向按照一定的速度变化，即判断为步行；否则判断为不是步行状态，表达式如下：[0061]
[0062] 3. 4)判定是否奔跑的行为
[0063] 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化朝 着某个方向按照较快的速度变化，即判断为奔跑；否则判断为不是奔跑状态，表达式如下：
[0064]
[0065] 3. 5)判定是否徘徊的行为
[0066] 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化是 来回折返的，即判断为徘徊；否则判断为不是徘徊状态，表达式如下：
[0067]
[0068] 3. 6)判定是否左顾右盼的行为
[0069] 根据目标链中的起始帧到终止帧中，目标头部面向镜头的头部肤色区域变化（脸 部面对镜头的程度）来确定