专利名称：：一种多摄像机场景下车辆接力跟踪方法
技术领域：
：本发明涉及智能视频监控系统中运动目标跟踪的方法，尤其涉及一种多摄像机场景下车辆接力跟踪方法。
背景技术：
：随着城市进程的加快，人们在加快道路基础设施的同时安装了大量的摄像机以扩大监控场景。然而，尽管多摄像机间存在很大的相关性，但呈现给用户的仅仅是不同监控器的分割场景，实际应用的监控系统也仅仅停留在单一摄像机相关算法的基础上。目前，基于多摄像机协同的监控技术和相关应用仍处于起步阶段，发展并不成熟因此，因此对多摄像机协同系统的开发是一个具有挑战性的课题。目前多摄像机跟踪方法主要包括1.基于摄像机标定的多摄像机跟踪算法当摄像机的标定信息和三维环境坐标信息已知，通过一定的映射函数把这些信息统一映射到同一个坐标系下，最后由较为简单的一维参数就能得到正确的多摄像机之间的对应关系，进而采用传统的跟踪方法实现对运动目标的跟踪。该类算法需要精确度较高的监控设备，多用于比赛场景下例如足球、曲棍球等场地具有标线的运动员跟踪问题。2.基于目标模型的多摄像机跟踪算法该算法的基本思想是提取目标的仿射不变特征建立目标模型，在目标检测过程中，直接提取出目标的这种特征，与模型比对，得出目标的身份。但是由于光照条件变化和摄像机本身参数差异，在不同摄像机不同视野下同一目标车辆的基本特征已发生了变化，目标模型的建立和匹配过程复杂，难以实现跟踪算法的实时性。3.基于特征融合的多摄像机跟踪算法该方法是解决多摄像机目标跟踪中的主要方法，在研究最初阶段选用的是目标的一些简单特征，如颜色、轮廓、位置信息等，然后利用统计学或者概率等方法得出最后的对应关系。随着数字图像处理技术的发展，目标特征提取更加容易可靠，使得目标交接成功率大大提高。其中，BradskiGaryR.在《应用于感知用户界面的人脸和目标实时跟踪方法》(发表在1998年第四届IEEE计算机视觉应用研讨会，第214-219页)“RealTimeFaceandObjectTrackingasaComponentofaPerceptualUserInterface"(the4thIEEEWorkshoponApplicationsofComputerVision.1998，pp.214-219)中提出了提出^CamShift(continuouslyadaptivemeanshift，持续自适应MeanSiift)算法，是一种基于颜色特征的目标跟踪方法。它以MeanShift算法为基础，加入自动更新模板的方法，当目标大小改变时可以自适应调整模板，以颜色直方图为目标模式，可以有效的解决目标变形和遮挡的问题，且运算效率较高。然而，交通场景下的多摄像机跟踪的特点与难点包括要求算法具有高鲁棒性和实时性以适应真实场景下的复杂环境和监控要求；已安装的摄像机设备精度不同，无法满足标定与精确特征提取的要求；如何充分利用已安装的硬件设备，花费最小的人力和物力实现多摄像机协同监控系统搭建工作。
发明内容本发明解决的问题为克服现有技术的不足，提供一种多摄像机场景下车辆跟踪方法和系统，主要应用于多摄像机间存在交叠视场区域的交通监控系统。该发明解决了摄像机交接过程中车辆唯一性身份确认问题，实现了复杂场景下车辆实时、准确的跟踪。本发明的技术解决方案一种多摄像机场景下车辆接力跟踪方法，其特征在于步骤如下(1)利用图像拼接算法，获得多摄像机监控场景的全景图像，具体实现如下步骤一获取相邻摄像机场景图像，利用SIFT算法提取图像特征；步骤二找出相邻图像与基准图像特征点欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比例阈值σ，则接受这一对匹配点，完成相邻场景图像特征匹配；步骤三利用随机采样一致性算法(RANSAC)，剔除错误的匹配对；步骤四采用了L-M(Levenberg-Marquardt)算法优化透视矩阵，提高RANSAC算法对图像变换的准确率；步骤五根据两幅图像匹配点的位置，确定摄像机交叠区域。(2)基于Camshift算法和运动预测器的分层目标接力跟踪方法，具体实现如下步骤一当车辆进入第一个摄像机视场内，手动标记车辆区域后，应用CamShift算法进行车辆跟踪；步骤二当跟踪过程中遇到遮挡、重叠、会车等复杂情况导致Camshift算法的计算目标的跟踪框突然变大或者变小时，利用运动预测方法暂时替代Camshift算法，维持跟踪框的大小，在跟踪框到达新的位置时再调用Camshift算法查找目标。(3)基于重叠区域边界的接力跟踪算法，具体实现如下当车辆从一个摄像机视野范围内进入另一个摄像机视野范围内时，将车辆的颜色特征信息作为查找模板，并将车辆的跟踪框大小也传递给下一个摄像机。基于改进的CamShift算法，同时引入车辆的运动信息。因此基于重叠区域边界，利用目标的颜色特征和运动信息设计一个综合目标交接算法如下设摄像机A和摄像机B的重叠边界为f(χ)(相对于A的视野)，在摄像机A的视野中行驶的目标车辆0在到达重叠边界时的位置为Oa(X，f(X))，根据图像配准过程获得的位置变换矩阵为权利要求一种多摄像机场景下车辆接力跟踪的方法，其特征在于步骤如下(1)利用图像拼接算法，获得多摄像机监控场景的全景图像，具体实现如下(1.1)获取相邻摄像机场景图像，利用SIFT算法提取图像特征；(1.2)找出相邻图像与基准图像特征点欧氏距离最近的前两个关键点，在这两个关键点中，如果最近的距离除以次近的距离小于某个比例阈值σ，则接受这一对匹配点，完成相邻场景图像特征匹配；(1.3)利用随机采样一致性算法RANSAC，剔除错误的匹配对；(1.4)采用了LM算法优化透视矩阵，提高RANSAC算法对图像变换的准确率；(1.5)确定摄像机交叠边界，提取某一摄像机背景图像中匹配成功的SIFT特征点所在位置的横坐标xi计算特征点横坐标均值，最终图像横坐标x＝时为触发边界，0#x为交叠区域；(2)基于Camshift算法和运动预测器的分层目标接力跟踪方法，具体实现如下(2.1)当车辆进入第一个摄像机视场内，手动标记车辆区域后，应用CamShift算法进行车辆跟踪；(2.2)当跟踪过程中遇到遮挡、重叠、会车等复杂情况导致Camshift算法的计算目标的跟踪框突然变大或者变小时，利用运动预测方法暂时替代Camshift算法，维持跟踪框的大小，在跟踪框到达新的位置时再调用Camshift算法查找目标；(3)基于重叠区域边界的接力跟踪算法，具体实现如下当车辆从一个摄像机视野范围内进入另一个摄像机视野范围内时，将车辆的颜色特征信息作为查找模板，并将车辆的跟踪框大小也传递给下一个摄像机；基于改进的CamShift算法，同时引入车辆的运动信息；因此基于重叠区域边界，利用目标的颜色特征和运动信息设计一个综合目标交接算法如下设摄像机A和摄像机B的重叠边界为f(x)——相对于A的视野，在摄像机A的视野中行驶的目标车辆O在到达重叠边界时的位置为oA(x，f(x))，根据图像配准过程获得的位置变换矩阵为<mrow><msub><mi>M</mi><mi>AB</mi></msub><mo>=</mo><mfencedopen='['close=']'><mtable><mtr><mtd><msub><mi>a</mi><mn>11</mn></msub></mtd><mtd><msub><mi>a</mi><mn>12</mn></msub></mtd><mtd><msub><mi>a</mi><mn>13</mn></msub></mtd></mtr><mtr><mtd><msub><mi>a</mi><mn>21</mn></msub></mtd><mtd><msub><mi>a</mi><mn>22</mn></msub></mtd><mtd><msub><mi>a</mi><mn>23</mn></msub></mtd></mtr></mtable></mfenced></mrow>则目标车辆O在B中的位置oB(x′，y′)可预测为<mrow><mfencedopen='['close=']'><mtable><mtr><mtd><msup><mi>x</mi><mo>′</mo></msup></mtd></mtr><mtr><mtd><msup><mi>y</mi><mo>′</mo></msup></mtd></mtr></mtable></mfenced><mo>=</mo><msub><mi>M</mi><mi>AB</mi></msub><mfencedopen='['close=']'><mtable><mtr><mtd><mi>x</mi></mtd></mtr><mtr><mtd><mi>f</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mi>w</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mtd></mtr></mtable></mfenced></mrow>其中w(x)为根据运动信息产生的调整因子；摄像机A利用获得的目标车辆颜色直方图的反向投影进行跟踪，当车辆驶入摄像机A与下一个相邻摄像机B的交叠边界时触发摄像机B的检测操作，同时摄像机A将颜色特征传递给摄像机B，并预测车辆将在B的视野中出现的位置，摄像机B会在预测位置附近进行检测，一旦发现与上一个摄像机传递过来的颜色特征相同的区域则认定为跟踪目标，进行跟踪。FSA00000289398800011.tif,FSA00000289398800012.tif,FSA00000289398800013.tif2.根据权利要求1所述的多摄像机场景下车辆接力跟踪的方法，其特征在于所述(2.2)中基于运动预测算法如下Camshift目标跟踪框采用椭圆表示法，计算跟踪区域的质心，也即椭圆的中心，并通过椭圆的方向表示目标车辆的车身方向；车辆在行驶过程中随着路面状况会改变行驶方向，表现在速度方向的改变和车身方向的调整；设在t时车辆的质心为Ot(χ⑴，y⑴)，由于两帧之间时间很短，车道比较平滑，车辆的运动变化较小，根据车辆在前两帧的运动方式预测车辆在第三帧的位置；通过三个状态向量S(t-Ι)，S(t)，S(t+Ι)保存目标的运动信息，其中S(t)=(χ,y,vx,vy,θ)其中x，y分别为目标质心相对于水平轴和垂直轴的坐标，vx，vy分别为质心在某时刻的速率，θ为车辆的方向角，即是通过Camshift算法求出的椭圆区域的方向角；根据牛顿运动定律，物体的位置满足以下公式3.根据权利要求1所述的多摄像机场景下车辆接力跟踪的方法，提炼出多摄像场景下车辆接力跟踪系统，该跟踪系统包括同步控制模块、摄像机融合模块、车辆跟踪模块、数据存储模块；同步控制模块进行系统时间同步，并将时间同步信息返回给摄像机；通过图像预处理软件将图像通过网络传递给摄像机融合模块将背景图像进行融合，将离散的路面图像连接成一个全局图像；车辆跟踪模块在全局范围内对车辆进行跟踪；最终通过网络将视频、背景以及目标信息存储到数据存储模块。全文摘要本发明公开了一种多摄像机场景下车辆接力跟踪方法。该方法利用了多摄像机协同工作，在复杂场景下实现了多个摄像机覆盖域内对车辆进行实时的持续跟踪。首先，对多摄像机获得的交通路面图像应用SIFT特征和RANSAC算法进行图像配准，并用L-M(Levenberg-Marquardt)算法优化RANSAC的变换矩阵，形成路面的全景图像；其次，提出一个基于Camshift算法和运动预测器的分层车辆跟踪方法，解决车辆交叠、部分遮挡和实时跟踪的问题；最后，提出基于交叠区域边界的多摄像机目标交接方法，当算法检测到目标进入两摄像机交叠区域时触发下一个摄像机进行车辆接力跟踪。本发明可广泛应用于室外场景中的智能监控系统或可疑车辆的持续跟踪系统，具有广阔的市场前景和应用价值。文档编号G06T7/20GK101950426SQ201010296640公开日2011年1月19日申请日期2010年9月29日优先权日2010年9月29日发明者李超,熊璋,王跃,郝久月,郭信谊申请人:北京航空航天大学