专利名称：基于双目摄像的跟踪系统的制作方法
技术领域：
本发明涉及的是一种图象识别技术领域的跟踪系统，具体地说，是一种基 于双目摄像的跟踪系统。
背景技术：
随着数码摄像头的普及，数字图像在生产和生活中占有了越来越重要的地 位。特别是在监控安保中，数字图像在目标识别和目标跟踪等方面起到了重要作 用。然后由于监控场景光照条件、视角的变化，影响了监控的准确性，使得基于 图像技术的全自动跟踪应用受到了限制。现实生活中的监控场景变化非常大，不 同场景在环境光照的影响、摄像机角度、目标遮挡和阴影等因素差别很大。甚至 在一些室外场景中，这些条件不同时刻也是不尽相同的。基于单摄像头的监控系 统往往对这些因素十分敏感，在真实场景的跟踪中准确性较低或者检测速度较 慢。因此这样的跟踪系统很难完成真实场景中的跟踪任务。针对这个问题常用的 处理方法是采用动态的背景建模或针对特定目标进行大样本的机器学习，然后这 两种处理方法对于周期性的背景变化和单个目标有一定效果，对比剧烈的背景变 化和多个复杂目标的无法处理。
经对现有技术的文献检索发现，Tao Zhao， Manoj Aggarwal, Rakesh Kumar and Harpeet Sawhney在《IEEE Computer Society Conference on Computer Vision and Pattern Recognition》(国际电气电子工程师协会计算机视觉与模式识别 2005年会议)一文"Real-time Wide Area Muti-Camera Stereo Tracking"(开 发区域多摄像机实时立体跟踪)，该文中提出一种基于单摄像机和多摄像机融合 的系统，单个摄像头在自身视角检测并跟踪人体，而多摄像机融合模块组合所有 对于同一人体的局部跟踪，形成全局跟踪。在检测中应用立体分割和跟踪方法处 理在复杂背景下的多人移动，并且利用时间空间的约束的融合方法对于多摄像机 进行综合处理。
上述系统的不足在于该系统虽然可以检测和跟踪多个人体目标，但是该 算法需要较多摄像机(文中是12对立体摄像机)，造成硬件成本较高。同时算 法没有办法计算目标的运动速度和方向，同时只能针对人体而不能针对任一物体 的检测和跟踪，如公路上汽车的检测和跟踪。
发明内容
本发明的目的在于克服现有技术中对于监控场景变化对跟踪系统性能存在 的不足，提供一种基于双目全自动的目标跟踪系统，使其根据双摄像头同时拍摄 的图像自动计算特征点到摄像机的距离，并还原出目标的真实世界坐标位置从而 分析目标的运动轨迹，可以应用于真实场景的目标跟踪以及目标密度和运动方向 的估计。
本发明是通过以下技术方案实现的，本发明包括以下几个模块输入模块、 特征提取模块、视差估计模块、世界坐标系计算模块、目标聚类模块、轨迹分析 模块，输入模块负责采集双目摄像系统拍摄的图像作为系统输入，所获得的左右 图像输入到特征提取模块。特征提取模块对输入图像提取特征点作为后续处理的 对象。视差估计模块对于特征提取模块提取出的特征点，根据相机的参数计算特 征点在相机坐标系中的空间坐标。世界坐标系计算模块将特征点在相机坐标系中 的坐标再转换为真实世界坐标系坐标。目标聚类模块根据特征点坐标，将多个特 征点聚合成一个代表空间中真实物体的集合。轨迹分析模块结合当前目标集合与 历史目标集合的位置给出目标在真实空间中的运动轨迹。
所述的输入模块，是指负责采集双目摄像系统的数字图像，所述的数字 图像是数码相机和数字扫描仪所能获取的图像以及数码摄像机所提供序列图像 中的一帧。
所述的特征提取模块，是指对输入图像计算中的每个像素邻域组成的矩 阵的特征值，当超过预设置的阈值时，则该点被认为是图像中的特征点。
所述的视差估计模块，是指对提取出的特征点在另一张输入图中寻找相 对应的同一点。由于左右摄像头视角的差异，同一个点在左右图像中对应的图像 坐标不同，而这个差异反应了它在摄像机坐标系中的空间位置的不同。匹配特征 点在两张图中的坐标位置，结合摄像头的参数，其在摄像机坐标系中的位置能被 准确的估计。
所述的世界坐标系计算模块，是指提取处理的特征点在得到了相机坐标
系下的坐标以后，需要更近一步转成世界坐标系。两个坐标系在系统运行之前进 行一些匹配后，两者的关系的映射关系可以获得。通过该映射关系，特征点在世 界坐标系中的坐标也是可知的。
所述的目标聚类模块，是指将在世界坐标系中所有的特征点，根据其高 度和位置聚合成几个集合，这些集合对应的目标在空间中的真实位置。
所述的轨迹分析模块，是指目标在每帧的空间坐标用集合表达后，这些 离散的位置点通过模型的来确定整个目标在空间中的真实运动轨迹。
本发明在跟踪中采用计算机视觉的方法，实验分析可以确定空间中目标的 运动与计算得到的轨迹基本符合。因此该方法可以通过双目摄像头对所拍摄的空
间区域中的目标进行跟踪识别。
本发明首先输入由双目摄像头所拍摄的两幅数字图像，以每个像素邻域范 围内的矩阵计算特征值为依据判断特征点。在图像坐标系下的特征点通过计算在 两幅图中的视差可以得到它在相机坐标系下的坐标，该坐标通过预先标定的世界 坐标系可转成世界坐标。聚类模块将这些特征点聚合成离散的集合来表达真实空 间物体，最后轨迹分析模型将目标在不同时刻的位置连接成运动轨迹。
本发明不仅能在光照变化剧烈的环境下检测目标，跟踪目标的运动轨迹， 而且能够得到目标的运动速度和区域的目标密度。与一般的检测跟踪方法相比， 能够更准确、更稳定的得到空间目标的轨迹，同时检测速度也可以满足正常的应 用，这样的特点使其在公共场所监控和人流车流统计中都有广泛的应用前景。本 发明基于计算机立体视觉理论的基础上，加入了模式识别，最优化方法等理论知 识，在变光照，复杂背景等条件下得到稳定地获取空间目标的运动轨迹。
图1为本发明系统结构框图2为本发明实施例的处理流程图3本发明应用实例示意图。
具体实施例方式
下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方 案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述 的实施例。
如图1所示，本实施例包括输入模块，特征提取模块，视差估计模块， 世界坐标系计算模块，目标聚类模块，轨迹分析模块，其中
所述输入模块负责采集双目摄像系统拍摄的图像作为系统输入，所获得的 左右图像输入到特征提取模块；
所述特征提取模块对输入图像提取特征点作为后续处理的对象；
所述视差估计模块对于特征提取模块提取出的特征点，根据相机的参数计 算特征点在相机坐标系中的空间坐标；
所述世界坐标系计算模块将特征点在相机坐标系中的坐标再转换为真实世 界坐标系坐标；
所述目标聚类模块根据特征点坐标，将多个特征点聚合成一个代表空间中 真实物体的集合；
所述轨迹分析模块结合当前目标集合与历史目标集合的位置给出目标在真 实空间中的运动轨迹。
所述的输入模块负责采集双目摄像系统的数字图像，所述的数字图像是数 码相机和数字扫描仪所能获取的图像以及数码摄像机所提供序列图像中的一帧， 将拍摄图像的每个像素值按顺序存入内存区域对应的内存单元中，如果输入图像 是彩色图像，则彩色图像将分为R、 G、 B三个通道分别保存。
所述的特征提取模块对输入图像计算中的每个像素邻域组成的矩阵的特征 值，当超过预设置的阈值时，则该点被认为是图像中的特征点。
所述的视差估计模块对提取出的特征点在另一张输入图中寻找相对应的同 一点，匹配特征点在两张图中的坐标位置，结合摄像头的参数，其在摄像机坐标 系中的位置能被准确的估计，其中匹配标准为由NCC算法计算特征点作为中心点 的矩阵之间对比差距，通过现实世界中的点在两张图像中位置的差别为视差，通 过得到视差，结合两个相机预先标定得到相机的内部、外部参数，将特征点在图 像中x, y坐标、视差转换为相机坐标下的坐标值。
所述的世界坐标系计算模块在提取处理的特征点得到了相机坐标系下 的坐标以后，将特征点的相机坐标系坐标再结合预先标定的世界坐标系与相机坐 标系的关系，将特征点再有相机坐标系投射到世界坐标系中。
所述的目标聚类模块将在世界坐标系中所有的特征点，根据其高度和位置
聚合成几个集合，这些集合对应的目标在空间中的真实位置。
所述的轨迹分析模块，是指目标在每帧的空间坐标用集合表达后，这些 离散的位置点通过模型的来确定整个目标在空间中的真实运动轨迹。
如图2所示，本实施例系统处理流程图。首先由输入模块读取左右两个摄 像机所拍摄的图像，特征提取模块在其中一张图中计算特征点，然后在另一张图 中寻找相对应的点。视差估计模块根据匹配好的两点在两张图中位置的差异，并 结合相机参数可以进一步计算特征点在相机坐标系中的坐标位置。世界坐标系计
算模块将特征点在相机坐标系中的坐标再转换为真实世界坐标系坐标；目标聚类
模块通过预先匹配的相机坐标系和世界坐标系之间的关系，通过聚类算法可以将 转换到世界坐标的特征点聚类成一些集合。最后，轨迹模块根据目标以往的位置 和当前的位置给出其在空间中运动的真实轨迹。
如图3所示，本实施例首先读入左右两个摄像机所拍摄的图像。然后在其中
一张图中计算特征点。通过这些特征点同另一张图进行匹配，计算相机坐标系下 坐标。再将这些点投影到世界坐标系中，可得到一些点的聚类通过投影，这些不 同的聚类用深浅不同的灰度标识后，可得到监控空间中目标的位置。通过对每帧
的处理，跟踪模块可以得到目标的真实运动轨迹。图3中的主窗口显示双目摄像 头拍摄得到的左右图像，运行时实时显示提取的特征点，新跳出来的窗口 "Cam" 实时显示地面监视区域、特征点在地面的投影、以及特征点的聚类结果和跟踪轨
权利要求
1、一种能够检测指定区域的目标并对其进行跟踪的系统，其特征在于，包括输入模块、特征提取模块、视差估计模块、世界坐标系计算模块、目标聚类模块、轨迹分析模块，其中所述输入模块负责采集双目摄像系统拍摄的图像作为系统输入，所获得的左右图像输入到特征提取模块；所述特征提取模块对输入图像提取特征点作为后续处理的对象；所述视差估计模块对于特征提取模块提取出的特征点，根据相机的参数计算特征点在相机坐标系中的空间坐标；所述世界坐标系计算模块将特征点在相机坐标系中的坐标再转换为真实世界坐标系坐标；所述目标聚类模块根据特征点坐标，将多个特征点聚合成一个代表空间中真实物体的集合；所述轨迹分析模块结合当前目标集合与历史目标集合的位置给出目标在真实空间中的运动轨迹。
2、 根据权利要求l所述的带有双目匹配功能的跟踪系统，其特征是，所述 的输入模块负责采集双目摄像系统的数字图像，所述的数字图像是数码相机和数 字扫描仪所能获取的图像以及数码摄像机所提供序列图像中的一帧，将拍摄图像 的每个像素值按顺序存入内存区域对应的内存单元中，如果输入图像是彩色图 像，则彩色图像将分为R、 G、 B三个通道分别保存。
3、 根据权利要求l所述的带有双目匹配功能的跟踪系统，其特征是，所述 的特征提取模块对输入图像计算中的每个像素邻域组成的矩阵的特征值，当超过 预设置的阈值时，则该点被认为是图像中的特征点。
4、 根据权利要求l所述的带有双目匹配功能的跟踪系统，其特征是，所述 的视差估计模块对提取出的特征点在另一张输入图中寻找相对应的同一点，匹配 特征点在两张图中的坐标位置，结合摄像头的参数，其在摄像机坐标系中的位置 能被准确的估计，其中匹配标准为由NCC算法计算特征点作为中心点的矩阵之间 对比差距，通过现实世界中的点在两张图像中位置的差别为视差，通过得到视差，结合两个相机预先标定得到相机的内部、外部参数，将特征点在图像中x， y坐 标、视差转换为相机坐标下的坐标值。
5、 根据权利要求l所述的带有双目匹配功能的跟踪系统，其特征是，所述 的世界坐标系计算模块在提取处理的特征点得到了相机坐标系下的坐标以后， 将特征点的相机坐标系坐标再结合预先标定的世界坐标系与相机坐标系的关系， 将特征点再有相机坐标系投射到世界坐标系中。
6、 根据权利要求l所述的带有双目匹配功能的跟踪系统，其特征是，所述 的目标聚类模块将在世界坐标系中所有的特征点，根据其高度和位置聚合成几个 集合，这些集合对应的目标在空间中的真实位置。
7、 根据权利要求l所述的带有双目匹配功能的跟踪系统，其特征是，所述 的轨迹分析模块，是指目标在每帧的空间坐标用集合表达后，这些离散的位置 点通过模型的来确定整个目标在空间中的真实运动轨迹。
全文摘要
本发明是一种计算机视觉领域的全自动的目标检测与跟踪系统，其中输入模块负责采集双目摄像机所拍摄的数字图像作为系统输入，所获得的数字图像输入到特征提取模块对其中一种图像进行特征分析出一些特征点作为随后的处理图像。通过匹配两张图像中特征点后计算出其视差，结合预先获知的相机内外参数，可计算出特征点的相机坐标系下坐标。进一步通过世界坐标系与相机坐标系的关系，可知特征点世界坐标系坐标。聚类模块将这些特征点聚类成集合表达目标位置，而轨迹分析模块估计时间序列上的目标位置得出目标的运动轨迹。本发明能有效、稳定的检测指定区域中的目标，并对其进行跟踪，计算运动轨迹。
文档编号G06T7/20GK101344965SQ20081004249
公开日2009年1月14日 申请日期2008年9月4日 优先权日2008年9月4日
发明者胡福乔, 岭 蔡, 赵宇明 申请人:上海交通大学