专利名称：一种多相机定位与跟踪方法及系统的制作方法
技术领域：
本发明涉及计算机视觉技术领域，尤其涉及的是一种多相机定位与跟踪方法及系 统。
背景技术：
20世纪80年代美国麻省理工学院人工智能实验室的Marr提出了一种基于两幅有 视差的二维平面图像，产生具有深度信息的立体图形的视觉计算理论，奠定了计算机立体 视觉发展的理论基础。相比于其他的立体视方法，如全息照相术、投影式三维显示和透镜板 三维成像等技术；计算机立体视觉技术模拟人类双眼处理景物的方式，测量简便可靠，在很 多领域具有应用价值。目前，较为流行的计算机立体视觉测量技术是基于双目立体视觉的三维测量技 术。双目视觉测距原理，如
图1所示，点P(x，y，z)代表带测量的空间点，P1和已分别代表 P点在两个相机成像面的投影，O1和O2分别代表两个相机的光心，0_xyz代表世界坐标系。相 机101的焦距Π和相机102的焦距Π相同，两相机的光轴平行，且二维成像平面与相机 101坐标系和相机102坐标系重合。两个相机之间的基线距离为b，则空间目标的深度Z则 可以用以下公式表达Z =—
d其中，d表示目标在两相机成像面中的视差(X1-Xr)。在实际应用中，由于在相机成像器件和光学镜头制造，测试环境光照和视差计算 等方面均存在误差，这些累积误差对双目视觉测量系统的测量精度产生了很大的影响。以 微视公司的MVC360SAM_GE60_STERE0双目视觉产品为例，其测量方向仅有物体的深度信 息，且精度约为150mm。所以，现有的基于双目视觉的测量技术具有测量精度较低，稳定性不 好，易受外界噪声干扰等缺点。因此，现有技术还有待于改进和发展。
发明内容
为了克服以往双目视觉测量方法易受外界噪声干扰的影响，本发明的目的在于提 供一种多相机定位与跟踪方法及系统，其不受外界的影响，可以实现较好的定位精度，且测
量稳定性高。本发明的技术方案如下一种多相机定位与跟踪方法，其中，包括步骤A、多个相机从不同的方位实时连续采集被测物体的图像信号；B、将采集到的各路图像信号通过图像畸变技术进行图像矫正；C、将矫正后的各路图像信号采用基于颜色空间模型的目标识别技术，进行目标识 另|J，找出被测物在各个相机中不同时刻的成像位置二维坐标；
D、将被测 物在各个相机中不同时刻的成像位置二维坐标通过优化算法进行2D坐 标插值计算；E、基于经过优化算法计算的被测物体，在所有相机成像面中的多个二维平面坐标 所构成的多条空间异面直线，通过三维坐标定位算法计算被测物的空间三维坐标。所述多相机定位与跟踪方法，其中，所述步骤C具体包括Cl、通过多次拍摄取平均值的方法，提取出被测物体矫正后的多路图像信号颜色 分量模型[R，G，B]；C2、对含有该被测物体待识别图像的每个像素的颜色分量[Rp，Gp，Bp]，和已提取 的颜色分量模型[R，G，B]做如下处理
权利要求
1.一种多相机定位与跟踪方法，其特征在于，包括步骤A、多个相机从不同的方位实时连续采集被测物体的图像信号；B、将采集到的各路图像信号通过图像畸变技术进行图像矫正；C、将矫正后的各路图像信号采用基于颜色空间模型的目标识别技术，进行目标识别， 找出被测物在各个相机中不同时刻的成像位置二维坐标；D、将被测物在各个相机中不同时刻的成像位置二维坐标通过优化算法进行2D坐标插 值计算；E、基于经过优化算法计算的被测物体，在所有相机成像面中的多个二维平面坐标所构 成的多条空间异面直线，通过三维坐标定位算法计算被测物的空间三维坐标。
2.根据权利要求1所述多相机定位与跟踪方法，其特征在于，所述步骤C具体包括 Cl、通过多次拍摄取平均值的方法，提取出被测物体矫正后的多路图像信号颜色分量模型[R，G，B]；C2、对含有该被测物体待识别图像的每个像素的颜色分量[Rp，Gp, Bp]，和已提取的颜 色分量模型[R，G，B]做如下处理Rc- RbPG-G1tB-B^< σbOr,, 08和％代表三个颜色分量的门限阈值，如果以上公式成立，则当前像素则被认 为是被测物体；C3、当找到图像中的所有目标的像素，则被测物体在该幅图像中即被识别出来，其二维 平面坐标可以用重心位置(x，y)表示。
3.根据权利要求1所述多相机定位与跟踪方法，其特征在于，所述步骤E具体包括 E1、获取被测物体在所有相机成像面中的，经过2D坐标插值计算的二维平面坐标(Xi， y》，其中，i = 1，2，... N，N表示系统的相机个数；E2、在世界坐标系Ow-XwYwZw中，定义相机的外部参数用平移向量(tx，ty，tz)和旋转角 度θ，Ψ，^表示，并建立相机的旋转R和平移向量t :ru = COS ψ cos φrn = sin Θ sin ψ cos φ-cos θ sin φ rn = cos Θ sin ψ cos φ-sin θ sin φ "2| = cos ψ sin φ 胃 φ ■ r22 二 sin θ sin ^ sin ^ + cos θ cos φ r23 = cos θ sin ψ sm. φ ~ sin Θ cos φ^31 =Sin ψ言一rn = sin ^ COS^-r33 = cos 权 sin ρE3、定义每个相机光心与相机成像面其中一点(x，y)连成的直线为极线； 令相机的焦距用f表示，则通过该相机光心和点(χ，y)的极线方程[Xw，Yw, Zw]，用如 下式子表达rurn R =hir22,23/31hir33txtytz
4.根据权利要求1所述多相机定位与跟踪方法，其特征在于，所述步骤D中的优化算法 采用最小二乘法、平均法或中值法。
5.根据权利要求4所述多相机定位与跟踪方法，其特征在于，当采用最小二乘法时，所 述步骤D具体包括步骤D1、计算被测物在各个相机中的不同时刻成像位置二维坐标(Xmk Ymk)，其中，m代表标 号为m的相机，k = 0，1，2. . . η代表不同时刻计算出的目标在相机m中的平面二维坐标； D2、对于坐标X，令Φ (χ) = ax2+bx+C，将η个χ坐标带入后得到 Xm0 = aO2 士 b0 士 c Xm1 = al2+bl+c Xm2 = a22+b2+cXmn = an2+bn+cD3、依据误差的最小平方和，求得参数a，b，c
6.根据权利要求4所述多相机定位与跟踪方法，其特征在于，当采用平均法时，所述步 骤D具体包括步骤D11、计算被测物在各个相机中的不同时刻成像位置二维坐标(Xmk Ymk)，其中，m代表标 号为m的相机，k = 0，1，2. . . η代表不同时刻计算出的目标在相机m中的平面二维坐标；D12、采用均值
7. 一种多相机定位与跟踪系统，其特征在于，包括多个图像视频采集设备、用于从不同的方位实时连续采集被测物体的图像信号，并将 所述被测物体的图像信号通过有线或者无线的方式传送至图像矫正模块；与多个图像视频采集设备联接的图像矫正模块，用于通过图像畸变技术对所述采集到 的各路图像信号进行矫正；与所述图像矫正模块联接的目标识别模块，用于将矫正后的各路图像信号采用基于颜 色空间模型的目标识别技术，进行目标识别，找出被测物在各个相机中不同时刻的成像位 置二维坐标；与所述目标识别模块联接的2D坐标插值计算模块，用于将被测物在各个相机中不同 时刻的成像位置二维坐标通过优化算法进行2D坐标插值计算；与所述2D坐标插值计算模块联接的三维定位计算模块，用于基于经过优化算法计算 的被测物体，在所有相机成像面中的多个二维平面坐标所构成的多条空间异面直线，通过 三维坐标定位算法计算被测物的空间三维坐标。
全文摘要
本发明公开了一种多相机定位与跟踪方法及系统，所述的方法包括多个相机从不同的方位实时连续采集被测物体的图像信号；将被测物在各个相机中不同时刻的成像位置二维坐标通过优化算法进行2D坐标插值计算；在所有相机成像面中的多个二维平面坐标所构成的多条空间异面直线，通过三维坐标定位算法计算被测物的空间三维坐标本。发明所提供的一种多相机定位与跟踪方法及系统，利用多相机成像的信息冗余特点，最大程度地克服相机内外参数误差和其他诸如光照等因素影响所带来的系统测量误差，可以实现较好的定位精度，达到5-20mm的定位精度，而且测量结果为待测目标的三维坐标信息，实现目标的三维空间坐标测量。
文档编号G01B11/03GK102072706SQ20091018952
公开日2011年5月25日 申请日期2009年11月20日 优先权日2009年11月20日
发明者刘伟, 胡超, 贺庆 申请人:深圳先进技术研究院