专利名称：基于多相机的多目标定位跟踪方法及系统的制作方法
技术领域：
本发明涉及一种基于多相机的多目标定位跟踪方法及系统。
背景技术：
多目标跟踪是计算机视觉领域的一个热点研究问题，是运动目标行为理解的前提和基础，在机器人导航、视频理解、智能监控等领域都有着广泛的应用。多目标跟踪在具体实现过程中，最难处理的就是多目标相互之间频繁发生遮挡。在这种情况下，一个前景区域可能属于多个目标。根据传统的颜色分布，形状等信息，我们几乎不可能实现对运动目标准确的监控和跟踪。近年来，很多学者做了这方面的研究，所提出的方法可以大致分为两类 单相机跟踪和多相机跟踪方法。基于单相机的跟踪方法虽然处理起来比较简单，但是由于3D空间中的目标在2D 成像的过程中损失了很多信息，仅仅从一个视角去监控和跟踪目标很难很好的解决遮挡问题，进而无法获得准确的跟踪效果。因此，多相机跟踪方法越来越受到研究人员的重视，多相机跟踪的过程是利用多个相机从不同视角对多个目标进行独立的监控和跟踪，然后有效的融合各个视角的信息解决遮挡的问题，达到稳定跟踪的目的。公开号CN101887587视频监控中基于运动目标监控的多目标跟踪方法，所提出的方法属于单相机跟踪方法，在发生完全遮挡的情况下，跟踪不够稳定。另外该方法完全是基于单相机的运动目标监控结果来实现跟踪的，运动目标监控的结果在很多情况下会不准确，那必然会造成跟踪的不准确。公开号CN1011M^9A基于多目相机的三维人体运动跟踪的方法，该专利主要阐述的人体三维骨架关节的运动跟踪，和我们的方法解决的问题不同。Khan S. ^A 2009 ^-^t IEEE Transactions on Pattern Analysis and Machine Intelligence 上发表论文"Tracking Multiple Occluding People by Localizing on Multiple Scene Planes”提出了一种不需要完全标定相机的多相机跟踪方法，基于多相机间的单应性限制实现对多目标的跟踪。但上述方法利用混合高斯模型对背景进行建模，经常会产生空洞和阴影的问题， 目标监控的失败会给后续跟踪带来很大影响。该方法需要计算每个相机的隐消点才能得到多视角间的单应性矩阵，隐消点的计算是一个比较复杂的过程，而且隐消点的计算误差将会导致单应性矩阵的计算错误，进而导致对多目标跟踪的失败。另外一个问题是该方法利用图割理论对空间10层的定位信息进行处理来实现跟踪，导致该方法根本无法满足实时性要求。这三个显著的缺点大大限制了它在工程当中的应用。
发明内容
一种基于多视角的多目标定位跟踪方法，包括如下步骤首先在多视角安装多个相机和划定所述多个相机的公共监控区域，标定多个高度层；前景提取步骤，采用码本模型对采集的视频图像进行背景建模，采用背景减除法获取各视角视频图像的前景似然图像；单应性矩阵计算步骤，结合所述标定的不同高度层上的多个标志物的中心点位置，计算所标定不同高度层上多视角之间的单应性矩阵；前景似然融合步骤，选定多视角中的一个视角，作为参考视角，利用所述多视角间基于每一个度层的单应性矩阵，将所述前景提取步骤所提取的其它视角的前景似然图像， 映射到参考视角中，获得多个视角的前景似然融合图像；多层融合步骤，提取经前景似然融合步骤得到的，基于选定的多个高度层的定位信息，利用最短路径算法，处理每一层的定位信息，获取多层跟踪轨迹，结合前景监控的处理结果，完成对多目标的立体跟踪。所述前景提取步骤中背景减除法，背景减除法操作过程如下定义目标监控过程中，新输入像素为0 ，6，8)，其对应的码本为1步骤一计算当前像素的亮度I = R+G+B,定义布尔变量match = 0，并给阈值变量 ε赋值；步骤二在码本M中找到对应的码字Cm，若能找到相应的码字(；则判定为背景图像， 予以减除，能否找到相应码字Cm的判断标准如下c.像素^ct与某个码字的颜色相似度大于检测阈值ε颜色相似度定义为C0l0rdist(Xt，vm)，对于t时刻新输入的像素^ct
权利要求
1.一种基于多相机的多目标定位跟踪方法，其特征在于包括如下步骤首先在多视角安装多个相机，划定所述多个相机的公共监控区域，标定多个高度层； 前景提取步骤，采用码本模型对采集的视频图像进行背景建模，采用背景减除法获取各视角视频图像的前景似然图像；单应性矩阵计算步骤，结合所述标定的不同高度层上的多个标志物的中心点位置，计算所标定不同高度层上多视角之间的单应性矩阵；前景似然融合步骤，选定多视角中的一个视角作为参考视角，利用所述多视角间基于每一个度层的单应性矩阵，将所述前景提取步骤所提取的其它视角的前景似然图像，映射到参考视角中，获得多个视角的前景似然融合图像；多层融合步骤，提取经前景似然融合步骤得到的，基于选定的多个高度层的定位信息， 利用最短路径算法，处理每一层的定位信息，获取多层跟踪轨迹，结合前景提取的处理结果，完成对多目标的立体跟踪。
2.根据权利要求1所述的基于多视角的多目标定位跟踪方法，其特征还在于所述前景提取步骤中背景减除法，背景减除法操作过程如下定义目标监控过程中，新输入像素为& = (R，G，B)，其对应的码本为M,步骤一计算当前像素的亮度I = R+G+B，定义布尔变量match = 0，并给阈值变量ε赋值；步骤二在码本M中找到对应的码字Cm，若能找到相应的码字Cm则判定为背景图像，予以减除，能否找到相应码字Cm的判断标准如下a.像素^ct与某个码字的颜色相似度大于检测阈值ε颜色相似度定义为C0l0rdist(Xt，vm)，对于t时刻新输入的像素&colordrst (xf,νJ = Λ^Τψ^IKJI2其中 I IxtI I2 = R2+G2+B2，|M2 =w+G^W，〈Um〉2 =( ^+艮G+瓦5)2其中 i 取值为1、2……队1 、6、8为视频中1 、6、8通道中的相应的取值，乓G1曷为遍取i值后，相应R、 G、B通道的平均值；b.像素^ct的亮度在该码字的亮度范围内运动目标监控中亮度变化有一个范围，对于每个码字，其范围为[4 , /1]其中/ /_Jm、 m分别为亮度变化的最小值与最大值。
3.根据权利要求1所述的基于多视角的多目标定位跟踪方法，其特征还在于所述单应性矩阵运算步骤中，单应性矩阵的定义为从所述N个相机中，任意2个相机拍摄的视频图像分别记为Ii (i = 1，2，...N)和IjG =1,2,...N)为了保证单应性的存在，两个相机必须拍摄参考平面上的同一块区域，令X是平面JI上的任意一点，X在Ii和Ij中的像分别mk = (xk，yk)和m' k = (x' k,y' k)，k = 1,2,.. mXn, mXn为各个视角拍摄视频的分辨率，定义一个3X3的矩阵
4.根据权利要求1所述的基于多视角的多目标定位跟踪方法，其特征还在于所述多层融合步骤具有如下几个步骤a.在单个高度层上，利用连通区域监控，得到当前帧的多个定位信息团块，并计算所述各团块的质心与前一帧各质心的距离，取距离最短的团块作为匹配的目标团块；b.对比所述选定各高度层上不同团块的面积，选取面积最大的团块，作为视频追踪立体框的长宽信息结合前景提取单元所记录的高度信息，生成目标的立体框、锁定目标，完成对目标的跟踪。
5.一种基于多视角的多目标定位跟踪系统，其特征在于具有呈多视角分布的多个相机和所述多个相机的公共监控区域，所述公共监控区域具有选定的多个高度层；前景提取模块，采用码本模型对采集的视频图像进行背景建模，采用背景减除法获取各视角视频图像的前景似然图像；单应性矩阵计算模块，结合所述标定的不同高度层上多个标志物的中心点位置，计算所标定不同高度层上各视角间的单应性矩阵；前景似然融合模块，选定多视角中的一个视角，作为参考视角，将所述前景提取步骤所提取的其它视角的前景似然图像，映射到参考视角中，获得多个视角的前景似然融合图像；多层融合模块，提取经前景似然融合步骤得到的，基于选定的多个高度层的定位信息， 利用最短路径算法，处理每一层的定位信息；跟踪模块，获取多层跟踪轨迹，结合前景监控的处理结果，完成对多目标的立体跟踪。
6.根据权利要求5所述的基于多相机的多目标定位跟踪系统，其特征还在于所述前景似然融合单元，结合位于不同高度层的多标志物中心点的坐标，计算不同高度层上各视角间的单应性矩阵，选定所述构成多视角的多个视频监控设备中的一个设备作为参考视角，根据计算出的所述多视角间基于每一层面的单应性矩阵，将其它视角的前景似然图像， 映射到参考视角中，获得多个视角的前景似然融合图像。
全文摘要
一种基于多相机的多目标定位跟踪方法，其特征在于包括如下步骤首先在多视角安装多个相机，划定所述多个相机的公共监控区域，标定多个高度层；前景提取步骤，单应性矩阵计算步骤，前景似然融合步骤，和多层融合步骤，提取经前景似然融合步骤得到的，基于选定的多个高度层的定位信息，利用最短路径算法，处理每一层的定位信息，获取多层跟踪轨迹，结合前景提取的处理结果，完成对多目标的立体跟踪。本方法在跟踪过程中不需要计算多相机的隐消点，首次引入码本模型来解决多目标跟踪问题，提高了跟踪的准确性，具有稳定性好，实时性好，精度高的特点。
文档编号H04N7/18GK102243765SQ201110117119
公开日2011年11月16日 申请日期2011年5月6日 优先权日2011年5月6日
发明者姜明新, 李敏, 赵继印 申请人:大连民族学院