，如果头部肤色区域存在由小到大，由大到小的变化时，即判断 为左顾右盼；否则判断为不是左顾右盼的状态，表达式如下：
[0070]
[0071] 3. 7)判定是否接近的行为
[0072] 根据目标链中的起始帧到终止帧的外接矩形的位置与其他目标的外接矩形的位 置变化来确定，如果其外接矩形的位置与另外一个目标的外接矩形的位置越来越接近，直 至两个外接矩形之间存在粘连，即判断为具有接近其他目标的行为；否则判断为未接近其 他目标，表达式如下：
[0073]
[0074] 步骤4、根掂用尸佛足的天汪目称进仃多相机天联匹配，给出恢选目标
[0075]当用户在某个事发案件的视频中点击确定关注目标，采用人机交互方式，给出关 注时间段；
[0076] 再根据用户指定的信息，按照步骤1给出的相机关联数据表，查找相关联的相机 在关注时间段内的基本视频段，对满足条件的基本视频段内的所有目标链的关键帧，与关 注目标的关键帧进行颜色直方图匹配，按照欧式距离最近的准则，给出前NT()p个候选目标的 关键帧在界面上输出；
[0077] 考虑到目标丢失率低，以及用户观察时的方便性，优选NT()p= 10。
[0078] 步骤5、确定关联相机中的相同目标
[0079] 用户根据步骤4给出的匹配结果，对给出的前NT()p个候选目标进行确认，给出关联 相机内案发目标出现的结果，即匹配上的所有目标链中的行为特性，完成关注 目标的多相机关联跟踪，即成。
【主权项】
1. 一种多相机语义关联目标跟踪方法，其特征在于，具体按照以下步骤实施： 步骤1、对监控网络中的多个相机的位置进行关联定义； 步骤2、检测运动目标，并生成目标链； 步骤3、生成目标链的语义特征； 步骤4、根据用户确定的关注目标进行多相机关联匹配，给出候选目标； 步骤5、确定关联相机中的相同目标，即成。2. 根据权利要求1所述的多相机语义关联目标跟踪方法，其特征在于：所述的步骤1， 具体实施过程是： 将一个监控区域内的多个相机的位置以数字表示，之后，构建一个相机关联数据表其中，Rk为第k个相机的关联表，M为监控网络覆盖区域内的相机个数，为与 第k个相机相关联的第q个相机的标号，q= 1，2, . . .，mk，mk为第k个相机相关联的相机个 数，将该相机关联数据表预存在数据库中。3. 根据权利要求2所述的多相机语义关联目标跟踪方法，其特征在于：所述的相机关 联数据表的制作方法是， 各个相机位置基本上按照从上到下，从左到右的顺序编号，则有： 第1个相机的关联数据表&= {2, 4}，即第1个相机与第2个、第4个相机关联； 同理，第2个相机的关联数据表R2= {1，3}，表明第2个相机与第1个、第3个相机关 联； 第3个相机的关联数据表R3= {2, 6, 8}，表明第3个相机与第2个、第6个、第8个相 机关联； 第4个相机的关联数据表R4= {1，5}，表明第4个相机与第1个、第5个相机关联； 第5个相机的关联数据表R5= {4, 9}，表明第5个相机与第4个、第9个相机关联； 第6个相机的关联数据表R6= {3, 10}，表明第6个相机与第3个、第10个相机关联； 第7个相机的关联数据表R7= {8, 10}，表明第7个相机与第8个、第10个相机关联； 第8个相机的关联数据表R8= {3, 7}，表明第8个相机与第3个、第7个相机关联； 第9个相机的关联数据表R9= {5}，表明第9个相机与第5个相机关联； 第10个相机的关联数据表R1(l= {6, 7}，表明第10个相机与第6个、第7个相机关联。4. 根据权利要求2所述的多相机语义关联目标跟踪方法，其特征在于：所述的步骤2 中，具体实施过程是， 对网络中的每个摄像头录制的监控视频，按照录制时间，进行分段，设基本段的帧数为At，从每个基本段中，分别提取其运动目标链，方法如下： 设某个视频基本段为以，其中，k表示网络中的第k个相机，tk为该视频基本段的起始 时刻，持续帧数为At后，该视频基本段的终止时刻为tk+At， 2. 1)按照背景差分法，从以中的每一帧都检测出运动目标， t为所在视频基本段中的帧序号，nt为在第t帧检测出的目标个数， 那么对于在第t帧检测出nt个目标连通域，则以目标连通域的最小外接矩形的左上角 坐标(4.，戍）和右下角坐标〇<，戍），_/=U，...,n,来表示目标，在第t帧中检测出的运动 目标连通域所构成的集合表达式为：2. 2)初始化 令t=tk，取视频基本段的首帧为当前处理帧，得到的首帧目标连通域集合为 (0.则视频基本段的目标链的个数Nk就为首帧目标链的个数，即 乂=\个，目标链的长度为1,= 1，1 = 1，2，...，^; 2.3)按照相邻帧连通域的重叠面积最大认定为同一目标的方式生成目标链，设由 步骤2. 1)得到的第t+1帧目标连通域集合为_K〇i-iU〇+_i)，…，％ ?+1)丨，被认定为 与第t帧相同目标的连通域假设有m个，未被认定为与前一帧相同目标的连通域假设有 &个，& + ? = '+1，则更新目标链的个数为乂 =\+历，更新目标链的链长1卢，i= 1，2,. . .，Nk，更新公式如下：重新循环2. 2)，直到所有视频基本段内的全部目标链生成完毕，即获得以中的Nk个目 标链 …，c?4}。5.根据权利要求4所述的多相机语义关联目标跟踪方法，其特征在于：所述的步骤3 中，具体实施过程是， 设由步骤2得到的以中的Nk个目标链为{〇^，C^，...，C/4}，将其语义特征定义为：其中， (<，:<)是第i个目标链起始帧的目标连通域的最小外接矩形的左上角坐标； (?4,，J<)是第i个目标链起始帧的目标连通域的最小外接矩形的右下角坐标； /f是第i个目标链的起始帧的帧序号； /f是第i个目标链的链长； /mmef是第i个目标链的关键帧，取目标链的匕+/f/2处的目标连通域所示的目标为 关键帧； c〇/〇r/是第i个目标链关键帧的目标连通域的颜色直方图， &是第i个目标链的行为参数，采用一组二进制布尔量来描述，表达式为： _-( =[?，<，...,<]，其中的七个优选参数分别表示安防监控对人物行为的描述要 求，具体定义如下： 3. 1)判定蹲下与否的行为 根据人身高的先验高宽比，如果外接矩形高宽比小于站立时的比例数值，即认定目标 为蹲下姿态；否则认为没有蹲下，表达式如下：3. 2)判定是否站立的行为 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化可忽略 不计，即判断为站立姿态；否则判断为没有站立，表达式如下：3. 3)判定是否步行的行为 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化朝着某 个方向按照一定的速度变化，即判断为步行；否则判断为不是步行状态，表达式如下：3.4)判定是否奔跑的行为 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化朝着某 个方向按照较快的速度变化，即判断为奔跑；否则判断为不是奔跑状态，表达式如下：3. 5)判定是否徘徊的行为 根据目标链中的起始帧到终止帧的外接矩形的位置变化来确定，如果位置变化是来回 折返的，即判断为徘徊；否则判断为不是徘徊状态，表达式如下：3. 6)判定是否左顾右盼的行为 根据目标链中的起始帧到终止帧中，目标头部面向镜头的头部肤色区域变化（脸部面 对镜头的程度）来确定，如果头部肤色区域存在由小到大，由大到小的变化时，即判断为左 顾右盼；否则判断为不是左顾右盼的状杰，表汰式如下： 3. 7)判定是否接近的行为 根据目标链中的起始帧到终止帧的外接矩形的位置与其他目标的外接矩形的位置变 化来确定，如果其外接矩形的位置与另外一个目标的外接矩形的位置越来越接近，直至两 个外接矩形之间存在粘连，即判断为具有接近其他目标的行为；否则判断为未接近其他目 标，表达式如下：6. 根据权利要求5所述的多相机语义关联目标跟踪方法，其特征在于：所述的步骤4 中，具体实施过程是， 当用户在某个事发案件的视频中点击确定关注目标，采用人机交互方式，给出关注时 间段； 再根据用户指定的信息，按照步骤1给出的相机关联数据表，查找相关联的相机在关 注时间段内的基本视频段，对满足条件的基本视频段内的所有目标链的关键帧，与关注目 标的关键帧进行颜色直方图匹配，按照欧式距离最近的准则，给出前N T()P个候选目标的关键 帧在界面上输出。7. 根据权利要求6所述的多相机语义关联目标跟踪方法，其特征在于：所述的步骤5 中，用户根据步骤4给出的匹配结果，对给出的前N T()P个候选目标进行确认，给出关联相机 内案发目标出现的结果，即匹配上的所有目标链中的行为特性，完成关注目标 的多相机关联跟踪。
【专利摘要】本发明公开了一种多相机语义关联目标跟踪方法，步骤包括：步骤1、对监控网络中的多个相机的位置进行关联定义；步骤2、检测运动目标，并生成目标链；步骤3、生成目标链的语义特征；步骤4、根据用户确定的关注目标进行多相机关联匹配，给出候选目标；步骤5、确定关联相机中的相同目标，即成。本发明的方法，步骤简单，便于实施，计算量小，结果准确性高，给出的结果能够正确描述目标在监控网络中的行为表述。
【IPC分类】H04N7/18, G06T7/20
【公开号】CN104954743
【申请号】CN201510324658
【发明人】朱虹, 沈冬辰, 何毅枫, 高炳辉, 程玉爽, 郭松, 张静波, 路凯
【申请人】西安理工大学
【公开日】2015年9月30日
【申请日】2015年6月12日