专利名称：一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统的制作方法
技术领域：
本发明涉及计算机视觉智能监控技术领域，特别涉及一种采用双目PTZ摄像机的视觉系统进行主从跟踪系统及其跟踪方法。
背景技术：
随着世界范围内对公共安全以及军事安全的迫切需求，智能视觉监控技术受到越来越多的重视。在智能视觉监控技术早期的应用中，智能程度很低，安全防范功能主要依靠人对监控视频中的事件进行判断，可靠度和自动化程度都很低。随着计算机处理性能的飞 速发展和计算机视觉理论的不断完善，智能视觉监控系统得到了巨大发展，其发展前景非常广阔，引起了很多学者和工程技术人员的高度重视。智能视觉监控系统的一个核心任务是对感兴趣的目标进行实时跟踪。传统的智能视觉监控系统多采用静止摄像机，由于摄像机视场固定，分辨率单一，无法获得跟踪目标的高分辨率图像，为日后的查询、举证等工作带来困难；随着硬件水平的提高，基于单目PTZ(Pan/Tilt/Zoom，云台全方位移动及镜头变倍、变焦控制)摄像机的主动跟踪系统得到了广泛研究与应用，这些系统可使目标以较大尺度出现在图像中心，但由于视场狭小丢失了全景信息，难以直观获得目标在场景中的位置。针对上述缺陷，包含PTZ摄像机的多目视觉系统成为智能监控中的研究热点，这些系统一般工作在主从模式下，主摄像机实现目标在全景下的跟踪，并控制PTZ摄像机对目标进行主动跟踪。现有主从系统中包括一个静止摄像机与一个PTZ摄像机相结合的系统构架，该系统主要问题在于监控视场有限，仅局限于静止摄像机的监控视场，无法适应于大场景下的监控；多静止摄像机与PTZ摄像机相结合的系统配置，该系统配置虽然为了扩大监控范围，但大大增大了硬件开销；全向摄像机与PTZ摄像机相结合的跟踪系统配置，该系统一般应用于室内场景，且由于全向摄像机分辨率低，较难实现两摄像机之间的信息融合。因此，寻找一种既能实现大范围场景下的监控，又能降低硬件开销的视觉跟踪方法是一个亟需解决的技术问题。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种双目PTZ视觉系统的主从跟踪系统及其跟踪方法。为了实现本发明的上述目的，根据本发明的一个方面，本发明提供了一种双目PTZ视觉系统的主从跟踪方法，包括如下步骤S1:对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型；S2 :建立球面坐标系，使所述两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵；
S3:选定王摄像机和从摄像机，并在王摄像机的观测图像上选定跟S示目标，使王摄像机在任意pan-tilt-zoom参数(PM, TM, ZM)下，由跟踪目标在从摄像机观测图像Im上的运动轨迹；4(/ = 1... )估计从摄像机 pan-t i I t-zoom 参数的；’Zs)</ = ；S4 :输出高分辨率全景图。本发明的双目PTZ视觉系统的主从跟踪方法既能实现大范围场景下的监控，又能降低硬件开销。
在本发明的一种优选实施方式中，两摄像机中的任意一台作为主摄像机，另外一台作为从摄像机。在本发明的另一种优选实施方式中，两个摄像机根据监控任务分别在监控场景中进行视觉巡视，当任何一个摄像机发现可疑物体后，即作为主摄像机采用静止摄像机下的跟踪方法对其进行跟踪，并进入主从工作模式，控制另一个摄像机作为从摄像机对可疑物体主动跟踪。本发明在大范围场景的监控中，实现两摄像机任意参数下的主从模式跟踪，并获得跟踪目标的高分辨率全景图像。由于实际应用中不同的监控场景或监控任务对应的pan-tilt-zoom参数不同，实现任意参数下的主从模式跟踪，具有更大的实际应用价值，也更加具有通用性，本发明只需要两摄像机安装固定，可方便处理两摄像机参数变化的情形，不受摄像机参数改变的影响。同时，本发明以高分辨率全景作为结果输出，在显示高分辨率目标图像的同时，更加直观地显示目标在整个监控场景中的运动信息，增强了可视性和实用性，并可用于后期目标的行为分析、姿态识别、步态分析等。为了实现本发明的上述目的，根据本发明的二个方面，本发明提供了一种双目PTZ视觉系统的主从跟踪系统，包括主机；第一摄像机和第二摄像机，所述第一摄像机和第二摄像机分别与主机相连，两摄像机中的任意一台作为主摄像机，另外一台作为从摄像机，图像捕获模块，所述图像捕获模块分别与所述第一摄像机和第二摄像机进行信息交互；第一摄像机控制模块和第二摄像机控制模块，所述第一摄像机控制模块控制第一摄像机的运转和观测模式，所述第二摄像机控制模块控制第二摄像机的运转和观测模式；所述第一摄像机和第二摄像机内还分别包括目标跟踪模块、目标预测模块、球面坐标模型模块和PTZ参数模块，在所述主摄像机内，所述目标跟踪模块对可疑对象进行跟踪，并将跟踪结果传输给所述目标预测模块，所述目标预测模块与从摄像机的球面坐标模型模块相连，所述目标预测模块对可疑对象的位置进行预测，并就预测结果传输给从摄像机，所述从摄像机的球面坐标模型模块对坐标进行变换，并将变换结果传输给PTZ参数模块计算PTZ参数，所述PTZ参数模块将计算的PTZ参数传输给相应的摄像机控制模块。本发明的双目PTZ视觉系统的主从跟踪系统的两个PTZ摄像机设计对称，二者的地位可以根据任务不同而互换，灵活性强，并且有利于后期的信息融合。本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中
图1是本发明双目PTZ视觉系统的主从跟踪系统的结构示意图；图2是本发明两个摄像机的PTZ参数几何关系示意图；图3是本发明估计从摄像机参数的流程图；图4是根据场景深度范围估计从摄像机纬度范围的示意图；图5是Pan-tilt参数估计示意图；图6是在本发明第一优选实施例中主从跟踪与高分辨率全景结果图；图7是在本发明第二优选实施例中主从跟踪与高分辨率全景结果图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、 “连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可 以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据 具体情况理解上述术语的具体含义。本发明提供了一种双目PTZ视觉系统的主从跟踪系统，如图1所示，包括主机(图 中没有示出)，第一摄像机和第二摄像机，该第一摄像机和第二摄像机分别与主机相连，两 摄像机中的任意一台作为主摄像机，另外一台作为从摄像机；该系统还包括图像捕获模块、 第一摄像机控制模块和第二摄像机控制模块，该图像捕获模块分别与第一摄像机和第二摄 像机进行信息交互；该第一摄像机控制模块控制第一摄像机的运转和观测模式，第二摄像 机控制模块控制第二摄像机的运转和观测模式；第一摄像机和第二摄像机内还分别包括目 标跟踪模块、目标预测模块、球面坐标模型模块和PTZ参数模块，在主摄像机内，目标跟踪 模块对可疑对象进行跟踪，并将跟踪结果传输给所述目标预测模块，目标预测模块与从摄 像机的球面坐标模型模块相连，目标预测模块对可疑对象的位置进行预测，并就预测结果 传输给从摄像机，从摄像机的球面坐标模型模块对坐标进行变换，并将变换结果传输给PTZ 参数模块计算PTZ参数，PTZ参数模块将计算的PTZ参数传输给相应的摄像机控制模块。本发明两个摄像机根据监控任务分别在监控场景中进行视觉巡视，当任何一个摄 像机发现可疑物体后，即作为主摄像机采用静止摄像机下的跟踪方法对其进行跟踪，并进 入主从工作模式，控制另一个摄像机作为从摄像机对可疑物体主动跟踪。本发明采用双目PTZ摄像机实现主从模式跟踪，之所以选择这样的硬件组合，是 因为PTZ摄像机是一种最简单的主动摄像机，既可以通过改变pan和tilt参数改变视角， 也可以通过改变zoom参数来改变图像分辨率，它的集成度很高，有比较成熟产品，随着硬 件成本的降低已经越来越多的用到实际应用中。另外，采用两个PTZ摄像机，由于两摄像机 的对称性，二者的地位可以根据任务不同而互换，灵活性强，并且有利于后期的信息融合。 同时，由于摄像机参数的可变性和可控性，可以通过切换pan-tilt-zoom参数切换监控视 场，实现用最少摄像机获得更大监控视场的目的。本发明还提供了一种双目PTZ视觉系统的主从跟踪方法，其可以但不限于采用本 发明图1所示的跟踪系统，该主从跟踪方法其包括如下步骤
S1:对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型；S2 :建立球面坐标系，使两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵；S3:选定王摄像机和从摄像机，并在王摄像机的观测图像上选定跟S示目标，使王摄像机在任意pan-tilt-zoom参数(PM, TM, ZM)下，由跟踪目标在从摄像机观测图像Im上的运动轨迹/4(/ = 1... )估计从摄像机pan-tilt-zoom参数(巧尤名)(/ = 1... >;S4 :输出高分辨率全景图。在本发明的一个优选实施方式中，本发明在主机中依次进行如下步骤第一步，对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型。在本实施方式中，利用特征点匹配的方法对两个PTZ摄像机分别标定外参矩阵R和内参矩阵K，其中，外参矩阵R仅与pan和tilt参数有关,且pan和tilt参数的旋转轴垂直相交于摄像机中心。标定内参矩阵K的步骤为首先，设定摄像机的像素纵横比ar和倾斜度S，在本实施方式中，取摄像机的像素纵横比\ = 1，倾斜度S = 0，且不考虑图像畸变影响；然后,采用zoom中心代替主点(uQ, V0),保证摄像机的pan和tilt参数不变,通过改变zoom参数获得图像序列，对每幅图像进行SIFT特征点提取，并对相邻两帧图像中的特征点进行匹配，最后用最小二乘方法得到zoom中心；最后，构造焦距f随zoom参数的变化模型,对于每个固定zoom参数值,通过少量改变pan和tilt参数得到多张图像，并通过图像配准估计焦距f，利用多组离散采样值{zoom, f}构造模型 f=fz (zoom)。通过以上步骤，PTZ摄像机的坐标系模型可以表达为
权利要求
1.一种双目PTZ视觉系统的主从跟踪方法，其特征在于，包括如下步骤 51:对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型； 52:建立球面坐标系,使所述两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵； S3:选定王摄像机和从摄像机，并在王摄像机的观测图像上选定跟S示目标，使王摄像机在任意pan-tilt-zoom参数(PM, Tm, Zm)下，由跟踪目标在从摄像机观测图像Im上的运动轨迹/4(/ = 1... )估计从摄像机 pan-tilt-zoom 参数(6;，4)(/ = 1..功； S4 :输出高分辨率全景图。
2.如权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述步骤SI包括对两个PTZ摄像机分别标定外参矩阵R和内参矩阵K，所述外参矩阵R仅与pan和tiIt参数有关，且pan和tilt参数的旋转轴垂直相交于摄像机中心。
3.如权利要求2所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述标定内参矩阵K的步骤为 531:设定摄像机的像素纵横比\和倾斜度S ； 532:采用zoom中心代替主点(U。, V0),保证摄像机的pan和tilt参数不变,通过改变zoom参数获得图像序列，对每幅图像进行SIFT特征点提取，并对相邻两帧图像中的特征点进行匹配，最后用最小二乘方法得到zoom中心； 533:构造焦距f随zoom参数的变化模型。
4.如权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述步骤S2包括如下步骤 S41 :手动采集两个摄像机在同一监控场景中的N对图像，使每对图像的视场基本保持一致； S42:分别对每对图像进行SIFT特征点提取与匹配，估计每对图像的基础矩阵Fj (j=l，...，N)，记录匹配的特征点对10 其中，j为N对图像的第j对图像，k为第jJ5对图像的第k对特征点，N为正整数； 543:估计球面坐标系的极点对(E1, E2}； 544:估计球面坐标系的参考零经度线； 545:得到变换矩阵R1, R2。
5.如权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，在所述步骤S3中，两摄像机中的任意一台作为主摄像机，另外一台作为从摄像机。
6.如权利要求1或5所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，两个摄像机根据监控任务分别在监控场景中进行视觉巡视，当任何一个摄像机发现可疑物体后，即作为主摄像机采用静止摄像机下的跟踪方法对其进行跟踪，并进入主从工作模式，控制另一个摄像机作为从摄像机对可疑物体主动跟踪。
7.权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述步骤S3包括如下步骤 S71在主摄像机的观测图像上选中跟踪目标； S72:估计每一时刻从摄像机的参数值;S73:跟踪过程中，计算跟踪目标中心位置与图像边界的距离，距离小于阈值T时，跟踪结束，两摄像机恢复预先设定位置。
8.权利要求7述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述步骤S72包括如下步骤 581:将主摄像机的观测图像坐标变换到主摄像机的摄像机坐标； 582:将主摄像机的摄像机坐标变换到主摄像机的球面坐标； 583:将主摄像机球面坐标映射到从摄像机球面坐标； 584:将从摄像机球面坐标变换到从摄像机的摄像机坐标及估计从摄像机的参数
9.如权利要求1所述的双目PTZ视觉系统的主从跟踪方法，其特征在于，所述步骤S4包括如下步骤 591:对主摄像机的图像《求取背景模型像素(x，y)处的更新公式为
10.一种双目PTZ视觉系统的主从跟踪系统，其特征在于，包括 主机； 第一摄像机和第二摄像机，所述第一摄像机和第二摄像机分别与主机相连，两摄像机中的任意一台作为主摄像机，另外一台作为从摄像机。； 图像捕获模块，所述图像捕获模块分别与所述第一摄像机和第二摄像机进行信息交互； 第一摄像机控制模块和第二摄像机控制模块，所述第一摄像机控制模块控制第一摄像机的运转和观测模式，所述第二摄像机控制模块控制第二摄像机的运转和观测模式； 所述第一摄像机和第二摄像机内还分别包括目标跟踪模块、目标预测模块、球面坐标模型模块和PTZ参数模块，在所述主摄像机内，所述目标跟踪模块对可疑对象进行跟踪，并将跟踪结果传输给所述目标预测模块，所述目标预测模块与从摄像机的球面坐标模型模块相连， 所述目标预测模块对可疑对象的位置进行预测，并就预测结果传输给从摄像机，所述从摄像机的球面坐标模型模块对坐标进行变换，并将变换结果传输给PTZ参数模块计算PTZ参数，所述PTZ参数模块将计算的PTZ参数传输给相应的摄像机控制模块。
全文摘要
本发明提出了一种双目PTZ视觉系统的主从跟踪方法及应用该方法的系统，该主从跟踪方法包括如下步骤对两个PTZ摄像机分别进行标定，得到摄像机坐标系模型；建立球面坐标系，使两个PTZ摄像机坐标系上的对应点在球面坐标系上的经度值保持一致，纬度差用来表达视角差异，对两个PTZ摄像机坐标系分别求取变换矩阵；选定主摄像机和从摄像机，在主摄像机的观测图像上选定跟踪目标，使主摄像机在任意pan-tilt-zoom参数(PM,TM,ZM)下估计从摄像机pan-tilt-zoom参数输出高分辨率全景图。本发明的主从跟踪方法既能实现大范围场景下的监控，又能降低硬件开销。本发明的主从跟踪系统的两个PTZ摄像机设计对称，二者的地位可以根据任务不同而互换，灵活性强，并且有利于后期的信息融合。
文档编号H04N7/18GK103024350SQ20121045467
公开日2013年4月3日 申请日期2012年11月13日 优先权日2012年11月13日
发明者周杰, 崔智高 申请人:清华大学