折反射全景相机与激光雷达数据融合标定方法

文档序号:9912145阅读:1529来源:国知局
折反射全景相机与激光雷达数据融合标定方法
【技术领域】
[0001] 本发明属于环境感知系统数据融合技术领域,特别涉及折反射全景相机与激光雷 达数据融合标定方法。
【背景技术】
[0002] 环境感知系统一直是移动机器人核心技术研究的一大热点,是实现移动机器人自 动化、智能化的关键。为了能实现移动机器人的自我环境感知,自主行走功能,测距定位平 台的搭建起着重要的作用。
[0003] 激光雷达和摄像机是现阶段最常使用的两种测距传感元件。其中,摄像机可以快 速获取空间中的图像通过数字图像处理,标定算法实现定位;激光雷达可以直接获取方位 和距离信息。然而移动机器人在未知的复杂环境中行走,仅仅通过单一种类的传感器很难 对环境进行准确的定位,将多种类传感器得到的数字信息进行合理的融合,成为机器人环 境感知系统研究的一个重要发展方向。其中,通过激光雷达是主要的测距手段,结合摄像机 实现联合标定是一种合理可行的联合标定方法。
[0004] 摄像机的标定一般基于单目、双目或多目。其标定方法大致可分为三类:传统摄像 机标定方法、主动视觉摄像机标定方法、摄像机自标定方法。传统的摄像机利用已知物体的 结构信息如标定板或标定快,优点是可以使用任意摄像机模型,标定精度高,但标定过程较 为复杂,需要标定物具有较高精度;主动视觉摄像机利用已知摄像机的相关运动信息,通过 线性求解标定,其鲁棒性较高但不能用于摄像机运动未知和无法控制的场合;摄像机自标 定方法是依靠多幅图像之间的相对关系进行标定,其灵活性强,仅需建立图像与图像之间 的转换关系便可进行标定,但这种标定方法属于非线性标定,鲁棒性不高。目前较为常用的 是传统的摄像机标定方法。
[0005] 随着摄像机技术、数字图像处理技术的快速发展,普通摄像机受到成像范围的影 响,在面对大视场的应用时往往需要多个摄像机进行拼接。这给成像系统的稳定性上造成 影响,同时也会增加摄像机标定的难度。近年来全景相机的引入解决了这一硬件问题。全景 相机的成像系统主要有旋转拼接全景成像、鱼眼镜头成像、折反射全景成像。基于传统拼接 技术的全景成像与多目相机的标定技术较为类似,形成的柱面全景图其标定方法较为复 杂,处理图像数据量比较大,不易进行联合标定;采用鱼眼镜头的全景成像图像,使用超广 角物镜,畸变模型不满足透视投影,设计加工成本大,标定难度高,也较为不适用于联合标 定;折反射式的全景相机利用折反射成像法,结构简单,成本适中,分辨率也可根据需求设 计,适合于联合标定。在折反射式的全景相机中按照反射面的形状又可分为两类:锥面、球 面等反射面属于第一类折反射全景相机,其入射光线不相交于一点,称为非单视点折反射 全景相机;反射面是抛物面、双曲面、椭球面的属于第二类,其入射光线相交于一点,称为单 视点折反射全景相机。
[0006] 激光测距的方法主要分为:相位法、脉冲法、三角法、干涉法。工程上常使用的是脉 冲和相位法。激光雷达探测可分为直接探测和相干探测,市面上绝大多数的激光雷达采用 的是直接探测的方法。探测器有单元、面、阵列三种。成像方法上又可分为无扫描和有扫描, 其中,有扫描的激光雷达会增大体积降低了可靠性与稳定性,它使得雷达只能用于低倾率, 小视场的情况下。无扫描激光雷达,可以避开很多机械运动部分,从而达到体积小、紧凑、大 视场、高可靠性。激光雷达已广泛应用于頂U、AGV、LGV等系统中。
[0007] 现有技术存在的问题有:1)单一的传感器无法准确完整的获取环境信息,2)传统 的摄像机无法完整显示360度范围内的图像信息;3)传统拼接技术的全景成像与采用鱼眼 镜头的全景成像图像不易进行联合标定。

【发明内容】

[0008] 为了获得较高的成像效果,从而得到较高精度的数字图像数据进行联合标定,本 发明提供折反射全景相机与激光雷达数据融合标定方法。
[0009 ]为实现上述目的,本发明通过以下技术方案来实现:
[0010]折反射全景相机与激光雷达数据融合标定方法
[0011] 采用单视点折反射式全景相机与激光雷达进行联合标定,首先建立全景标定模型 坐标系:世界坐标系、折反射镜面坐标系、摄像机镜头坐标系和图像成像坐标系,分别定义 为:Iw、Im、I。、Ip ;世界坐标系原点0w;折反射镜面坐标系原点0m和摄像机坐标系0。原点分别 为镜面二次曲面的上下焦点;图像成像坐标系的原点〇 P为其图像中心点,定义OmOcOp共线; 空间点Q在四个坐标系下的位置分别为:QjXDYwAKQjX^Y^Zd'QcIXc^Yc^ZcJ'QpUp, YP,ZP]T;
[0012] 标定过程包括以下步骤:
[0013 ] 1)单独二维摄像机标定,由图像成像坐标系点和世界坐标点关系Qp = KQC,得到摄 像机内参矩阵K;对摄像机进行内参标定;
[0014] 2)折反射镜面成像点压缩,按照各= 求解得到折反射镜面折射点参数 Xm、Ym、Zm;
[0015 ] 3)按照Qm=AMmwQw对折反射全景相机反求世界坐标点参数Xw、Yw、Zw;
[0016] 4)建立二维激光雷达的三维数据模型,由激光雷达获取参数q、0、Θ,得到
[0017] 5)构建全景相机与激光雷达数据融合标定模型,通过修正全景相机坐标系与激光 雷达坐标系下的共同的世界坐标系,由芯=求解两坐标之间的转换矩阵,得到最终 的全景相机与激光雷达联合标定矩阵:
[0018]
[0019] A(c,p,Xm,Ym,Zm)
[0020]
[0021] 其中,XP,YP,ZP为空间一点Q其在图像成像坐标系下的位置参数;f x,f y,cx,cy为摄 像机内参矩阵K的相关系数;^为折反射镜面成像点压缩比例系数;c全景相机折反射镜面 安装高度;Xm,Ym,Zm为空间一点Q求解得到的折反射镜面折射点参数;P为全景相机折反射镜 面安装位置参数;λ为关于(3,!)3^¥^2"这几个镜面参数的系数4、贫、0为激光雷达获得 的相关参数,其中,q为激光雷达所测得的距离数值,炉:为激光雷达的Ζ方向旋转角度,Θ为激 光雷达的扫描角度。
[0022] 作为本发明的进一步改进,步骤1)具体包括:
[0023] 1.1)建立针孔摄像机模型:Q为世界坐标系下的物点,q为图像平面上的成像点,在 针孔模型下有下式成立:
[0024]
[0025]其中,XP,YP为世界中点0?[乂1,¥|,2|]7以偏移方式投影于图像成像平面坐标参数汀 为焦距,引入两个不同焦距fx,fy使单个像素点在成像设备成正方形;cx和c y分别为X和Υ方 向上的相对光轴偏移量,F为物理焦距长度,S为成像仪单元尺寸;
[0026] 1.2)棋盘标定板进行标定:对棋盘的多个视场提取旋转和平移信息,得到世界坐 标系与图像坐标系的转换方程:
[0027]
[0028] 其中,RPW,TPW为成像坐标系向世界坐标系转换的旋转矩阵和平移矩阵;
[0029] 1.3)获得内参矩阵K,
[0030]
[0031]其中,S为畸变参数,在不考虑畸变的时候S = 0;
[0032]由Qp = KQc完成全景相机白盒标定的摄像机内参标定,具体为:
[0033]
[0034] 其中,XP,YP,ZP为空间一点Q在图像成像坐标系下的位置参数;X。,Y c,Zc为空间一点 Q投影于图像成像平面坐标参数;Xm,Ym,Zm为空间一点Q求解得到的折反射镜面折射点参数; fX,fy,CX,Cy为摄像机的四个内参。
[0035] 所述的棋盘至少10幅7X8的棋盘。
[0036] 作为本发明的进一步改进,步骤2)具体包括:
[0037] 2.1)单视点成像数学模型建立:得到下面几何关系式:
[0038]
[0039]其中,f为摄像机焦距;c为折反射镜安装高度;XC,YC,ZC为空间一点Q投影于图像成 像平面坐标参数;Xm,Ym,Zm为空间一点Q求解得到的折反射镜面折射点参数;
[0040] 2.改写为I:由于f相对于C很小,为简化计算可以通过改写得到下式:
[0041]
[0042] 其中,Qc、Qm为空间一点Q在图像成像坐标系下与全景相机折反射镜面坐标系下的 投影点;^为折反射镜面成像点压缩比例系数;M?为图像成像坐标系与全景相机折反射镜 面坐标系之间的转换矩阵;
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1