专利名称：一种宽视场结构光视觉测量系统及测量方法
技术领域：
本发明属于测量技术领域，涉及一种宽视场结构光视觉测量系统及测量方法。
背景技术：
在视觉三维测量中，宽视场场景信息的视觉三维感知测量具有代表性，是提高机器人自主导引时对更广泛未知环境信息的三维感知能力的最有效手段，如通过配置机载视觉三维测量系统，增强机器人获取不确定环境的三维信息的能力，从而提高机器人在科学研究和工业应用中的自主性和灵活性，使得机器人能够工作在恶劣环境或者不适合人长时间工作的环境下，例如检测水利电站的堤坝表面状态、管道内壁的形貌状态，以及深空探测中的未知环境三维信息获取等。传统的结构光三维视觉测量基于光学三角法，直接采用由摄像机、结构光投射器 和被测物构成三角关系，具有非接触、动态响应快、系统柔性好和精度适中等优点，在现代工业中广泛应用于生产过程的监控和测量，已成为许多在线问题最有效的解决途径。但是，传统的摄像机模型建立在一百多年前设计制造的第一种针孔照相机的基础上，其目的是为了获取图像并在照片上显影而不是为了识别图案，机器导航或者监视任务，结构简单，视场范围过小，因此，基于传统摄像机构建的结构光视觉测量系统测量范围受限，无法满足宽视场结构光三维视觉测量任务需求。
发明内容
本发明的技术解决问题是提供一种宽视场结构光视觉测量系统和测量方法，本发明所说的宽视场结构光视觉测量系统由宽视场结构光视觉传感器、计算机和标定靶标组成。宽视场结构光视觉传感器由摄像机，正四棱锥反射镜和四个结构光投射器组成。标定靶标包括一个平面靶标和一个准三维靶标。通过多结构光投射器拼接的方式向宽视场场景物体投射结构光，在被测物体表面形成变形结构光条，光条经过正四棱锥反射镜反射后进入摄像机成像，获得宽视场场景图像。根据宽视场结构光视觉测量系统的数学模型，通过光条点的图像坐标，计算出光条点的测量三维坐标，即被测物的表面三维数据，从而获得宽视场场景信息。通过正四棱锥反射镜的反射成像，扩大了摄像机的视场范围，与多结构光投射器相结合，为宽视场的视觉三维感知测量提供一种有效的技术途径。本发明的技术解决方案为一种宽视场结构光视觉测量系统及测量方法，其特征在于I、一种宽视场结构光视觉测量系统，其特征在于，I. I、它由宽视场结构光视觉传感器7、计算机和标定靶标8和9组成，其中宽视场结构光视觉传感器7包括摄像机1，正四棱锥反射镜2，结构光投射器3、4、5和6 ;正四棱锥反射镜2倒立放置在摄像机I的正前方；四个线结构光投射器3、4、5和6向四周宽视场场景内的被测物体投射结构光平面，在被测物体表面形成变形结构光条，光条经过四棱锥反射镜2反射后被摄像机I接收；
I. 2、所说的标定靶标8为一个二维平面靶标，靶标上有预先设置的特征点，在靶标平面上布置成矩阵排列的圆，圆的数量为10(Γ169个，其中有四个标志圆，任意三个标志圆均不共线，非标志圆的直径为9mm，标志圆直径为15mm，圆的直径精度为O. OOlmm,相邻两圆心的距离为15mm，其精度为O. 001mm，选取靶面上圆的圆心作为特征点，特征点数量为10(Γ169个；所说的标定靶标9为一个准三维靶标，由两个平面靶标8组成，夹角90° 120°，两靶标平面所确定的世界坐标系之间空间位置关系已知。2、使用如权利要求I所述的宽视场结构光视觉测量系统进行宽视场场景信息三维感知测量的方法，其特征在于，实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，具体步骤如下2. I、标定阶段2. I. I、调整正四棱锥反射镜2和摄像机I的相对位置，使摄像机I拍摄到的二维图像被均匀地划分为四个象限；调整摄像机镜头焦距，保证在正四棱锥的四周反射光路方向上距离摄像机40(T450mm范围内的物体所成图像较为清晰；调整结构光投射器3、4、5和 6，保证结构光投射到摄像机视场范围内；通过正四棱锥反射成像相当于四个虚拟摄像机从四个不同角度进行拍摄，称为虚拟摄像机1、2、3和4，四个虚拟摄像机与四个结构光投射器一一对应，形成四个结构光传感器；2. I. 2、标定四个结构光传感器参数，具体步骤如下步骤一，在每个虚拟摄像机的视场范围内，非平行自由移动靶标8至少五个位置，每移动一个位置拍摄一幅靶标图像，靶标上四个标志圆应该包含在拍摄图像内，提取特征点的图像坐标，并与其世界坐标对应，标定各虚拟摄像机内部参数，包括有效焦距、主点以及畸变系数；步骤二，在每个虚拟摄像机的视场范围内，打开对应的结构光投射器电源，自由移动靶标8至少两次，并保证投射光条经过靶标8的特征区域，每移动一个位置拍摄一幅图像，靶标上四个标志圆应该包含在拍摄图像内，提取靶标上特征点的图像坐标，并与其世界坐标对应，计算靶标平面与图像平面之间的单应矩阵；提取投射在靶标8上的直线光条中心点的图像坐标，根据靶标平面与图像平面之间的单应矩阵，计算光条中心点的三维坐标，进而拟合出各虚拟摄像机坐标系下对应光平面的空间方程；2. I. 3、标定各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量，具体步骤如下步骤一，将靶标9放置在虚拟摄像机I和2之间，保证一个靶标面在虚拟摄像机I的视场范围内，另一个靶标面在虚拟摄像机2的视场范围内，拍摄一幅图像，两个靶标面上的四个标志圆都应该包含在图像内；提取图像中两靶标面上特征点的图像坐标，并与各自的世界坐标对应，计算虚拟摄像机I和2的摄像机坐标系与各自对应的世界坐标系之间的旋转矩阵和平移矢量；根据靶标9上两个靶标面所确定的两个世界坐标系之间的旋转矩阵和平移矢量，计算虚拟摄像机I和2的摄像机坐标系之间的旋转矩阵和平移矢量；步骤二，将靶标9依次放置在虚拟摄像机2和3之间、虚拟摄像机3和4之间，采用步骤一的方法，计算相邻两摄像机坐标系之间的旋转矩阵和平移矢量；步骤三，选取虚拟摄像机I的摄像机坐标系为测量坐标系，根据相邻两摄像机坐标系之间的旋转矩阵和平移矢量，计算各虚拟摄像机与测量坐标系之间的旋转矩阵和平移矢量;2. I. 4、将标定好的结构光传感器参数以及各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量保存到系统参数文件中，以备测量阶段使用；2. 2、测量阶段2. 2. I、将宽视场结构光视觉传感器放置在待测宽视场场景中，打开四个结构光投射器，向宽视场场景内的被测物体投射结构光平面，在被测物体表面形成变形结构光条，拍摄一幅图像；提取图像中的光条中心点的图像坐标，根据其对应的结构光传感器参数，计算光条点在对应的虚拟摄像机坐标系下的三维坐标；根据虚拟摄像机坐标系与测量坐标系之间的空间关系，计算光条点在测量坐标系下的测量三维坐标；2. 2. 2、重复步骤2. 2. 1，进行新的被测物表面三维测量。本发明与现有技术相比的优点在于 一、采用正四棱锥反射镜反射成像，扩大了摄像机的视场范围，与结构光视觉测量相结合，实现了宽视场的视觉三维感知测量；二、系统结构简单，实用性强，摄像机与正四棱锥反射镜无需精确对准即能完成测量任务；三、采用平面靶标完成摄像机与光平面方程的标定，操作简单，标定精度较高。
图I为宽视场结构光视觉测量系统示意图；图2为二维平面标定靶标示意图；图3为准三维靶标示意图；图4为正四棱锥反射成像示意图；图5为宽视场结构光视觉测量系统数学模型示意图；图6为拍摄得到的宽视场图像；图7为三维测量实验结果。
具体实施例方式下面对本发明做进一步详细说明。本发明基于计算机视觉和图像处理技术，采用正四棱锥反射镜反射成像，扩大了摄像机的视场范围，同时通过多个结构光投射器拼接的方法进行宽视场结构光投射，完成宽视场场景信息的三维感知测量。本发明宽视场结构光视觉测量系统基本原理如图I所示，它由宽视场结构光视觉传感器7、计算机和标定靶标8和9组成，其中宽视场结构光视觉传感器7包括摄像机1，正四棱锥反射镜2，结构光投射器3、4、5和6。四个结构光投射器投射出结构光平面，在宽视场场景物体表面形成表形结构光条，光条经过正四棱锥反射镜相应反射面的反射之后进入摄像机成像。所说的标定靶标8为一个二维平面靶标，靶标上有预先设置的特征点，在靶标平面上布置成矩阵排列的圆，圆的数量为10(Γ169个，其中有四个标志圆，任意三个标志圆均不共线，非标志圆的直径为9mm，标志圆直径为15mm，圆的直径精度为O. 001mm，相邻两圆心的距离为15mm，其精度为O. 001mm，选取靶面上圆的圆心作为特征点，特征点数量为10(Γ169个；所说的标定靶标9为一个准三维靶标，由两个平面靶标8组成，两靶标平面所确定的世界坐标系之间空间位置关系已知。宽视场结构光视觉测量系统的工作原理为由摄像机拍摄带有光条的宽视场场景图像，由图像处理方法提取光条中心线的图像坐标，根据四个结构光传感器的参数以及各虚拟摄像机坐标系与测量坐标系的关系，由光条中心线的图像坐标计算光条中心线的测量 三维坐标。图5所示为宽视场结构光视觉测量系统数学模型示意图。Ocd-Xc^ycdZcd为虚拟摄像机i的摄像机坐标系，Oul-Xulyul为虚拟摄像机I的无畸变图像坐标系，点Onil是直线OcaZca与图像平面的交点，称为摄像机的主点。以下以虚拟摄像机I及其对应的结构光光平面为例进行说明。设结构光上任意一点P在Oel-Xc^yelZel下的坐标为Xel= (X。，y。，ze)T,在图像平面上的投影点为P'，在^-^—下齐次坐标为乂^“^^⑴丨)1。根据摄像机透视投影模型有
P Xul = A1Xcl[I]
0 U0式中，A1为虚拟摄像机I的内部参数矩阵，
权利要求
1.一种宽视场结构光视觉测量系统，其特征在于， I.I、它由宽视场结构光视觉传感器[7]、计算机和标定靶标[8]和[9]组成，其中宽视场结构光视觉传感器[7]包括摄像机[I]，正四棱锥反射镜[2]，结构光投射器[3]、[4]、[5]和[6];正四棱锥反射镜[2]倒立放置在摄像机[I]的正前方；四个线结构光投射器[3]、[4]、[5]和[6]向四周宽视场场景内的被测物体投射结构光平面，在被测物体表面形成变形结构光条，光条经过四棱锥反射镜[2]反射后被摄像机[I]接收； 1.2、所说的标定靶标[8]为一个二维平面靶标，靶标上有预先设置的特征点，在靶标平面上布置成矩阵排列的圆，圆的数量为10(T169个，其中有四个标志圆，任意三个标志圆均不共线，非标志圆的直径为9mm,标志圆直径为15mm,圆的直径精度为0. OOlmm,相邻两圆心的距离为15mm，其精度为0. 001mm，选取靶面上圆的圆心作为特征点，特征点数量为10(T169个；所说的标定靶标[9]为一个准三维靶标，由两个平面靶标[8]组成，夹角90° 120°，两靶标平面所确定的世界坐标系之间空间位置关系已知。
2.使用如权利要求I所述的宽视场结构光视觉测量系统进行宽视场场景信息三维感知测量的方法，其特征在于，实施过程分为标定阶段和测量阶段，进行一次标定即可连续测量，具体步骤如下 2.I、标定阶段 2.I. I、调整正四棱锥反射镜[2]和摄像机[I]的相对位置，使摄像机[I]拍摄到的二维图像被均匀地划分为四个象限；调整摄像机镜头焦距，保证在正四棱锥的四周反射光路方向上距离摄像机40(T450mm范围内的物体所成图像较为清晰；调整结构光投射器[3]、[4]、[5]和[6]，保证结构光投射到摄像机视场范围内；通过正四棱锥反射成像相当于四个虚拟摄像机从四个不同角度进行拍摄，称为虚拟摄像机1、2、3和4，四个虚拟摄像机与四个结构光投射器对应，形成四个结构光传感器； .2.I. 2、标定四个结构光传感器参数，具体步骤如下 步骤一，在每个虚拟摄像机的视场范围内，非平行自由移动靶标[8]至少五个位置，每移动一个位置拍摄一幅靶标图像，靶标上四个标志圆应该包含在拍摄图像内，提取特征点的图像坐标，并与其世界坐标对应，标定各虚拟摄像机内部参数，包括有效焦距、主点以及畸变系数； 步骤二，在每个虚拟摄像机的视场范围内，打开对应的结构光投射器电源，自由移动靶标[8]至少两次，并保证投射光条经过靶标[8]的特征区域，每移动一个位置拍摄一幅图像，靶标上四个标志圆应该包含在拍摄图像内，提取靶标上特征点的图像坐标，并与其世界坐标对应，计算靶标平面与图像平面之间的单应矩阵；提取投射在靶标[8]上的直线光条中心点的图像坐标，根据靶标平面与图像平面之间的单应矩阵，计算光条中心点的三维坐标，进而拟合出各虚拟摄像机坐标系下对应光平面的空间方程； .2.I. 3、标定各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量，具体步骤如下 步骤一，将靶标[9]放置在虚拟摄像机I和2之间，保证一个靶标面在虚拟摄像机I的视场范围内，另一个靶标面在虚拟摄像机2的视场范围内，拍摄一幅图像，两个靶标面上的四个标志圆都应该包含在图像内；提取图像中两靶标面上特征点的图像坐标，并与各自的世界坐标对应，计算虚拟摄像机I和2的摄像机坐标系与各自对应的世界坐标系之间的旋转矩阵和平移矢量；根据靶标[9]上两个靶标面所确定的两个世界坐标系之间的旋转矩阵和平移矢量，计算虚拟摄像机I和2的摄像机坐标系之间的旋转矩阵和平移矢量； 步骤二,将靶标[9]依次放置在虚拟摄像机2和3之间、虚拟摄像机3和4之间，采用步骤一的方法，计算相邻两摄像机坐标系之间的旋转矩阵和平移矢量； 步骤三，选取虚拟摄像机I的摄像机坐标系为测量坐标系，根据相邻两摄像机坐标系之间的旋转矩阵和平移矢量，计算各虚拟摄像机与测量坐标系之间的旋转矩阵和平移矢量; .2.I. 4、将标定好的结构光传感器参数以及各虚拟摄像机坐标系与测量坐标系之间的旋转矩阵和平移向量保存到系统参数文件中，以备测量阶段使用；.2.2、测量阶段 .2.2. I、将宽视场结构光视觉传感器放置在待测宽视场场景中，打开四个结构光投射器，向宽视场场景内的被测物体投射结构光平面，在被测物体表面形成变形结构光条，拍摄一幅图像；提取图像中的光条中心点的图像坐标，根据其对应的结构光传感器参数，计算光条点在对应的虚拟摄像机坐标系下的三维坐标；根据虚拟摄像机坐标系与测量坐标系之间的空间关系，计算光条点在测量坐标系下的测量三维坐标； . 2.2. 2、重复步骤2. 2. 1，进行新的被测物表面三维测量。
全文摘要
本发明属于测量技术领域，将提供一种宽视场结构光视觉测量系统和测量方法。本发明测量系统由宽视场结构光视觉传感器7、计算机、标定靶标8和9组成，其中宽视场结构光视觉传感器7包括摄像机1，正四棱锥反射镜2和四个结构光投射器3、4、5和6。本发明方法通过多个线结构光投射器拼接的方式向宽视场场景物体投射结构光，在被测物体表面形成变形结构光条，结构光条经过正四棱锥反射镜2反射后被摄像机1接收，所成图像由计算机进行采集，并由计算机对采集图像进行处理，提取出结构光条中心线的图像坐标，根据测量模型，计算出被测物体表面光条点的三维坐标，获得宽视场场景信息。本发明采用正四棱锥反射镜反射成像，扩大了摄像机的视场范围，并将其与结构光视觉测量技术相结合，实现宽视场场景信息三维感知测量。
文档编号G01C11/00GK102788559SQ20121025119
公开日2012年11月21日 申请日期2012年7月19日 优先权日2012年7月19日
发明者周富强, 彭斌 申请人:北京航空航天大学