专利名称：一种非重叠视域多摄像机网络中的人体目标跟踪方法
技术领域：
本发明涉及一种非重叠视域多摄像机网络中的人体目标跟踪方法，采用图像处理和计算机视觉等技术，属于视频监控技术领域。
背景技术：
视频监控作为一种全天候、全方位，实时以及智能化的监控手段，逐渐成为协助公共安全部门打击犯罪、维持社会安定、实施交通管理的重要手段。视频监控系统主要由两部分组成1)相机内跟踪，即在单个相机视域内进行目标的跟踪；幻相机间跟踪，即在相机视域之间进行目标的传递跟踪。目前相机内跟踪的研究主要集中在背景建模、前景检测、阴影去除、遮挡处理等关键问题上，已取得较好的解决效果，这些关键问题也是相机间跟踪的研究基础。相比于相机内跟踪，相机间跟踪更具有挑战性，因为不同摄像机成像角度和成像效果的差异，以及环境光照条件的不同，在不同摄像机中被跟踪目标的外观表现不具有连续性，并且在具有非重叠视域的摄像机网络中不可避免地存在盲区，被跟踪目标在该区域内的运动无法获知。以上诸多因素加剧了非重叠视域的多摄像机目标跟踪问题的复杂性和困难性，该问题目前仍处于初级研究阶段。研究资料表明，针对具有非重叠视域多摄像机监控网络，通常的研究方法是采用对摄像机进行标定或者建立环境模型从而获取摄像机视域之间单应性关系。事实上，对摄像机进行标定或者建立环境模型在现实条件下都是难以实现的，因为对监控网络中所有摄像机进行标定工作量巨大，特别是即使摄像机位置发生细微变化，也需要重新标定所有摄像机。目前非重叠视域多摄像机监控网络中目标跟踪问题的研究主要集中在不同摄像机中目标的匹配和摄像机之间拓扑关系的估计上。目前已有的目标匹配方法主要是对跟踪目标建立外观模型。Porikli等人于2003年在hternational Conference on Image Processing(图像处理国际会议)上发表的论文“Inter-camera color calibration by correlation model function”(基于相关模型函数的相机间颜色标定)提出采用相关系数矩阵分析和动态规划的方法建立相机对之间颜色变形的非参数模型。Javed等人于2005 年在 International Conference on Computer Vision and Pattern Recognition(计算机视觉与模式识别国际会议)上发表的论文“Appearance modeling for tracking in multiple non-overlapping cameras"(在具有非重叠视域多摄像机目标跟踪中外观建模方法)提出建立从一个相机到另一个相机的低维亮度转移函数，该函数可用于计算外观相似度。Gilbert 等人于 2006 年在 European Conference on Computer Vision (欧洲计算机视觉国际会议)上发表论文"Tracking objects across cameras by incrementally learning inter-camera colour calibration and patterns of activity" ( S；于 t匿机间颜色标定和运动模式的增量学习的目标跟踪法)提出基于Mimsell颜色空间的主颜色转换的亮度转移函数学习法。Javed等人于2008年在Computer Vision and Image Understanding(计算机视觉与图像处理)上发表论文“Modeling inter-cameraspace-time and appearance relationship for tracking across non-overlapping views"(针对非重叠视域多摄像机跟踪的时空和外观关系的建模)中提出运用颜色直方图建立外观模型。iTeixera等人于2008年在Pattern Recognition Letters (模式识别快报) 上发表论文“Video object matching across multiple independent views using local descriptors and adaptive learning”(基于局部描述算子和适应学习的多个独立摄像机的视频目标匹配)中运用一个量化的局部特征描述算子组成的直方图建立外观模型。然而，由于多摄像监控网络中存在光照、拍摄角度等多种不确定因素，以上特征无法对所有这些不确定因素同时具有鲁棒性。对于摄像机之间拓扑关系的估计，有多种研究方法。Javed等人于2003年在 International Conference on Image Processing(图像处理国际会议)上发表的论文 “Tracking across multiple cameras with disjoint views，，(具有邻接视域的多相机目标跟踪)中提出一个基于I^zen窗和高斯核的混合概率密度估计时间间隔、进出观测视域位置和进出观测视域时运动速度等组成的概率密度函数，整个估计过程是在有监督条件下通过学习训练数据集的方法实现。Dick等人于2004年在hternational Conference on Artificial htelligence (人工智能国际会议)上发表论文"A stochastic approach to tracking objects across multiple cameras”(多相机间目标跟踪的随机方法)提出采用随机转移矩阵描述行人在相机视域内或视域间的运动的模式。Makris等人于2004年在 International Conference on Computer Vision and Pattern Recognition (计算机视觉与模式识别会议)上发表论文"Bridging the gaps between cameras”(连接相机间的空隙)中提出在大量的观测结果中采用非监督学习建立行为模型的方法。以上方法旨在找到监控网络中同一目标在不同摄相机视域中连续轨迹的一系列关联，但是忽略了事实情况， 即存在有的目标在运动过程中在摄相机视域间发生转移，有的目标在运动过程中可能消失于监控网络的盲区，还可能会有新的目标进入监控网络中。因此以上基于一一匹配的关联信息所估计的拓扑关系并不完全正确，另外当监控环境发生变化时(监控网络中摄像机的添加、删除、移动等)，必须重新启动批处理训练过程才能获得新的拓扑关系。
发明内容
本发明解决的技术问题是提出一种非重叠视域多摄像机网络中的人体目标跟踪方法。为解决上述技术问题，本发明一种非重叠视域多摄像机网络中的人体目标跟踪方法，包括以下步骤步骤一、单摄像机的目标检测，在图像序列中将变化区域从背景图像中分离出来；步骤二、单摄像机的目标跟踪，得到目标在每个摄像机内完整平滑的运动轨迹；步骤三、多摄像机的目标关联，获得不同摄像机观测到的每个目标间的对应关系 包括目标特征提取和拓扑关系建立，所述目标特征提取是提取每一个人体运动目标HSV特征，具体为将检测到的目标原图从RGB空间转换到HSV空间，建立H、S、V分量直方图，提取人体运动目标的HSV特征；
所述拓扑关系建立，包括以下步骤步骤A、在时间窗约束条件下，针对单摄像机视域中新出现的目标构建关联假设空间Γ ；步骤B、计算该新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离；步骤C、根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标；步骤D、重复步骤A至步骤C，获得直至当前时刻之前的所有目标之间的关联关系；步骤Ε、根据步骤D中获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系。步骤四、目标连续跟踪，获得目标的完整轨迹。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述单摄像机的目标检测采用自适应背景提取方法，在图像序列中将变化区域从背景图像中分离出来，所述自适应背景提取方法为帧差法、减背景法或光流法。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述单摄像机的目标跟踪采用粒子滤波方法得到人体运动目标在单摄像机视域内完整平滑的运动轨迹。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述提取人体运动目标的HSV特征具体为根据人体测量学将人体划分成头部、躯干和腿部三部分， 设人体高度为H'，则这三部分所占比例分别为0. 16Η'，0.46Η'和0. 38Η'；针对上述三部分分别提取HSV特征，分别为f
Head-HSV，f Tors。-HSV 禾口 f Leg-HSV 0进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤A 中为单摄像机视域中新出现的目标构建关联假设空间r，具体为当摄像机视域检测到新目标时，判断该网络中其他摄像机视域离开的目标是否满足时间窗约束条件(1)，若满足则上述离开的目标为该新出现目标正确关联的候选目标，所有候选目标形成该新出现目标的关联假设空间Γ tJ+Tf < tenJ < tJ+Tf隱 (1)公式⑴为时间窗约束条件，其中，tj表示目标离开摄像机Ci视域的时间，tj表示该目标进入Cj摄像机视域的时间；Tfmin和T+max分别表示目标从离开摄像机Ci视域到进入摄像机视域所花费时间间隔的最小和最大阈值。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤B 计算新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离，具体为Bi、利用公式⑵欧式距离计算HSV特征的差异cKf” f2) = α *| |Η「Η2| | + β*| |S「&| | + Y*| |V「V2| (2)；式中，和f2分别表示HSV特征，H1^V1, S1和H2、V2、S2表示各自HSV特征中的H、 S、V分量，α、β和Y分别表示对HSV特征中的H、S、V分量所赋权值；Β2、根据HSV特征差异，利用公式(3)计算HSV特征相似度距离d (Pi, Pj) = wh*d (fHead-HSV厂fHead-HSVj) +wt*d (f\。rs。-HSV厂f\。rs。-HSVj) +W1^d (f
Leg-HSVi_f*Leg-HSVj)⑶；式中，Pi和Pj分别表示不同的人体目标，W^W0W1分别为分配给fHead_HSV、fTorso_Hsv> fLeg-HSV的加权系数，fHead-HSVi^ 。-HSVi、fLeg-HSVi分别表示Pi的头部、躯干和腿部的HSV特征， f Head-HSVj^ f Torso-HSVj > f Leg-HSVj分别表示Pj的头部、躯干和腿部的HSV特征。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤C 根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标，具体为Cl、根据摄像机的成像质量设置两个阈值Th1和Th2,计算新出现目标与其关联假设空间Γ中所有目标之间的相似度距离，并对计算出的相似度距离按照从小到大的顺序进行排列，并得到最小相似度距离dmin ；C2、判断关联假设空间Γ中是否存在与该新出现目标有关联关系的目标C2-1、当dmin彡Th1,则没有与该新出现目标有关联关系的目标；C2-2、当所有相似度距离中，仅有dmin < Th1，则dmin对应的关联假设空间Γ中的目标与该新出现的有关联关系；C2-3、当存在两个或两个以上相似度距离小于Th1，这些相似度距离形成集合F = Idfflin, d2，…，dM}，gd2-dmin>Th2，则相似度距离dmin所对应的关联假设空间Γ中目标为该新出现目标的关联，否则集合F中所有目标的转移时间中最短的目标作为新出现目标的关联，所述转移时间是指目标离开摄像机视域到新出现目标进入摄像机视域的时间间隔。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述步骤E 根据获得的所有目标的关联关系，建立摄像机网络的时空拓扑关系，具体为根据所有目标的关联关系，判断摄像机网络中任意两个摄像机视域在空间上是否存在直接的连接路径；若存在，则记录目标穿越这一路径所需的时间范围。进一步地，本发明非重叠视域多摄像机网络中的人体目标跟踪方法中，所述目标连续跟踪具体为(1)根据被跟踪目标当前位置，确定跟踪任务搜索区域和相应的跟踪任务搜索时间；(2)当被跟踪目标离开当前摄像机视域，对处于跟踪任务搜索区域的摄像机以及数据服务器发出跟踪任务指令；(3)处于跟踪任务搜索区域的摄像机接到跟踪任务指令后，在其对应的跟踪任务搜索时间内搜索被跟踪目标；(4)如果找到被跟踪目标，向数据服务器发送搜索成功的消息并继续跟踪任务转 ⑴；(5)如果数据服务器收到搜索成功的消息，清除上一次跟踪任务；如果数据服务器在一段时间内都没有收到搜索成功的消息，则跟踪任务失败。本发明与现有技术相比具有以下实质性特点和显著的进步本发明结合运动目标检测、目标关联和目标跟踪技术等，根据获得的摄像机网络时空拓扑关系，实现了人体运动目标在大范围场景内的连续跟踪，从而解决了单个摄像机视域范围有限的监控问题。本发明在非监督条件下不需要对摄像机进行事先标定，也不需要对视频数据进行训练，仅通过不断学习运动目标的运动趋势即能够对场景中感兴趣的人体目标实现预测和跟踪，且随着视频数据的积累逐步提高跟踪的准确程度。本发明非重叠视域多摄像机的人体目标连续跟踪对于提高监控系统的网络化、智能化具有重要意义。
图1为本发明非重叠视域多摄像机网络中的人体目标跟踪方法的流程图。图2为本发明中多摄像机目标关联的流程图。图3为实施例中非重叠视域摄像机分布格局图。图4为对人体目标提取的HSV人体外观特征示意图。图5为实施例中从摄像机C3视域离开的目标与进入摄像机C4视域的目标相关联的关联情况图。图6为实施例中当环境发生变化时从摄像机C1视域离开的目标与进入摄像机C4 视域的目标相关联的关联个数的变化情况图。图7 (a)为在摄像机C4中确定被跟踪的人体运动目标的跟踪结果示意图；图7(b)为在摄像机C4中确定被跟踪的人体运动目标在整个监控网络中的运动轨迹；图8 (a)为在摄像机C1确定被跟踪的人体运动目标的跟踪结果示意图；图8(b)为在摄像机C1确定被跟踪的人体运动目标在整个监控网络中的运动轨迹。
具体实施例方式下面结合附图和具体实施方式
对本发明作进一步详细的描述；本发明一种非重叠视域多摄像机网络中的人体目标跟踪方法，在具有非重叠视域多摄像机监控网络中，基于多路视频，采用单摄像机的目标检测、单摄像机的目标跟踪、多摄像机的目标关联和目标连续跟踪，实现人体运动目标的连续跟踪，如图1、图2、图4所示， 具体为步骤一、单摄像机的目标检测，为每一路摄像机采集到的图像序列构建背景模型， 即不含前景目标的场景图像，这里采用自适应背景提取方法，从图像序列中将变化区域从背景图像中分离出来，即可得到运动目标，其中自适应背景提取方法可以是帧差法、减背景法或光流法；步骤二、单摄像机的目标跟踪，采用粒子滤波技术得到人体运动目标在单摄像机视域内完整平滑的运动轨迹在运动目标出现遮挡或视频传输发生丢帧的情况下，根据 Camshift算法得到的运动目标在上一帧的运动参数，利用粒子滤波对当前帧运动目标的参数进行预测，从而保证运动目标在单摄像机视域内运动的连续性和平滑性，其中，运动的连续性是指相邻帧间目标的运动位移很小，运动的平滑性是指相邻帧间目标的运动不会发生突变；步骤三、多摄像机的目标关联包括目标特征提取和拓扑关系建立，获得不同摄像机观测到的每个目标间的对应关系(3-1)目标特征提取采用42维向量作为人体外观特征，首先把目标原图从RGB 空间转换到HSV空间，建立H(色相)、S(饱和度)、V(亮度)分量直方图，HSV特征fHSV定义如下
权利要求
1.一种非重叠视域多摄像机网络中的人体目标跟踪方法，包括以下步骤 步骤一、单摄像机的目标检测，在图像序列中将变化区域从背景图像中分离出来； 步骤二、单摄像机的目标跟踪，得到目标在每个摄像机内完整平滑的运动轨迹； 步骤三、多摄像机的目标关联，获得不同摄像机观测到的每个目标间的对应关系； 步骤四、目标连续跟踪，获得目标的完整轨迹，其特征在于所述步骤三中多摄像机的目标关联包括目标特征提取和拓扑关系建立， 其中所述目标特征提取是提取每一个人体运动目标HSV特征，具体为将检测到的目标原图从RGB空间转换到HSV空间，建立H、S、V分量直方图，提取人体运动目标的HSV特征； 所述拓扑关系建立，包括以下步骤步骤A、在时间窗约束条件下，针对单摄像机视域中新出现的目标构建关联假设空间Γ ；步骤B、计算该新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离；步骤C、根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标；步骤D、重复步骤A至步骤C，获得直至当前时刻之前的所有目标之间的关联关系； 步骤Ε、根据步骤D中获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系。
2.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述单摄像机的目标检测采用自适应背景提取方法，在图像序列中将变化区域从背景图像中分离出来。
3.根据权利要求2所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述自适应背景提取方法为帧差法、减背景法或光流法。
4.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述单摄像机的目标跟踪采用粒子滤波方法得到人体运动目标在单摄像机视域内完整平滑的运动轨迹。
5.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述提取人体运动目标的HSV特征具体为根据人体测量学将人体划分成头部、躯干和腿部三部分，设人体高度为H'，则这三部分所占比例分别为0. 16Η'，0.46Η'和0. 38Η'； 针对上述三部分分别提取HSV特征，分别为fHead-HSV、f Torso-HSV 禾口 f Leg-HSV 0
6.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述步骤A中为单摄像机视域中新出现的目标构建关联假设空间Γ，具体为当摄像机视域检测到新目标时，判断该网络中其他摄像机视域离开的目标是否满足时间窗约束条件 (1)，若满足则上述离开的目标为该新出现目标正确关联的候选目标，所有候选目标形成该新出现目标的关联假设空间Γ t i+T.. . < t J < t J+T· ■ (1)^ex 1 —mi η ^en^ex 1Ij-Iiiax V公式(1)为时间窗约束条件，其中，tj表示目标离开摄像机Ci视域的时间，tj表示该目标进入Cj摄像机视域的时间；TijIin和Tfmax分别表示目标从离开摄像机Ci视域到进入摄像机G视域所花费时间间隔的最小和最大阈值。
7.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述步骤B计算新出现目标与其关联假设空间Γ中的每一个目标之间HSV特征相似度距离，具体为Bi、利用公式(2)欧式距离计算HSV特征的差异(Kf^f2) = α*| H1-H2 | + β*| S1-S2 +Y* V1-V2 I (2)；式中，fi和f2分别表示HSV特征，H1^V1, S1和H2, V2, S2表示各自HSV特征中的H、S、V 分量，α、β和γ分别表示对HSV特征中的H、S、V分量所赋权值；Β2、根据HSV特征差异，利用公式C3)计算HSV特征相似度距离d (Pi，Pj-) — Wh*d (f*Head-HSVi_f*Head-HSVj) +Wt*d (f Torso-HSVi_f*Torso-HSVj)(f Leg-HSVi_f*Leg-HSVj)⑶；式中，Pi和Pj分别表示不同的人体目标，l、Wt、Wl分别为分配给f Head-HSV、f Torso-HSV、f Leg-HSV 的加权系数，fHead-HSVi^florso-HSVi ^fLeg-HSVi分别表示Pi的头部、躯干和腿部的HSV特征，fHead_HSVJ> f T0rs0-HSVj> f Leg-HSVj分别表示P」的头部、躯干和腿部的HSV特征。
8.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述步骤C根据目标关联规则，在关联假设空间Γ中确定与该新出现目标具有关联关系的目标，具体为Cl、根据摄像机的成像质量设置两个阈值Th1和Th2，计算新出现目标与其关联假设空间Γ中所有目标之间的相似度距离，并对计算出的相似度距离按照从小到大的顺序进行排列，并得到最小相似度距离dmin ；C2、判断关联假设空间Γ中是否存在与该新出现目标有关联关系的目标C2-1、当dmin ^ Th1,则没有与该新出现目标有关联关系的目标；C2-2、当所有相似度距离中，仅有ClminCTh1，则dmin对应的关联假设空间Γ中的目标与该新出现的有关联关系；C2-3、当存在两个或两个以上相似度距离小于Th1，这些相似度距离形成集合F= {dmin， d2，···，(1 }，若(12-(1_>1112，则相似度距离(1_所对应的关联假设空间Γ中目标为该新出现目标的关联，否则集合F中所有目标的转移时间中最短的目标作为新出现目标的关联， 所述转移时间是指目标离开摄像机视域到新出现目标进入摄像机视域的时间间隔。
9.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述步骤E根据获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系，具体为根据所有目标之间的关联关系，判断摄像机网络中任意两个摄像机视域在空间上是否存在直接的连接路径；若存在，则记录目标穿越这一路径所需的时间范围。
10.根据权利要求1所述的非重叠视域多摄像机网络中的人体目标跟踪方法，其特征在于所述目标连续跟踪具体为(1)根据被跟踪目标当前位置，确定跟踪任务搜索区域和相应的跟踪任务搜索时间；(2)当被跟踪目标离开当前摄像机视域，对处于跟踪任务搜索区域的摄像机以及数据服务器发出跟踪任务指令；(3)处于跟踪任务搜索区域的摄像机接到跟踪任务指令后，在其对应的跟踪任务搜索时间内搜索被跟踪目标；(4)如果找到被跟踪目标，向数据服务器发送搜索成功的消息并继续跟踪任务转(1)；(5)如果数据服务器收到搜索成功的消息，清除上一次跟踪任务；如果数据服务器在一段时间内都没有收到搜索成功的消息，则跟踪任务失败。
全文摘要
本发明公开了一种非重叠视域多摄像机网络中的人体目标跟踪方法，包括单摄像机的目标检测、单摄像机的目标跟踪、多摄像机的目标关联和目标连续跟踪，多摄像机的目标关联包括目标特征提取和拓扑关系建立，所述目标特征提取是提取每一个人体运动目标HSV特征，所述拓扑关系建立，根据获得的所有目标之间的关联关系，建立摄像机网络的时空拓扑关系。本发明实现了人体运动目标在大范围场景内的连续跟踪，解决了单个摄像机视域范围有限的监控问题。
文档编号G06T7/20GK102436662SQ20111038600
公开日2012年5月2日 申请日期2011年11月29日 优先权日2011年11月29日
发明者林国余, 陈旭 申请人:南京信息工程大学