本发明涉及一种全景立体成像光学系统，以及视觉测量领域，尤其涉及了一种全景环带立体成像系统及其标定方法与成像方法。
背景技术：
：基于平面圆柱投影原理的全景环带成像技术是一种与传统中心投影原理截然不同的新成像技术，可在无需转动成像系统的条件下，将周围360°的环带景物一次性地成像在同一个环带像面上，从光学原理上实现了360°全景凝视成像。如专利USPatent4,566,763,1986和USPatent5,473,474,1995所述，全景透镜采用平面圆柱投影法FCP(FlatCylinderPerspective)，将围绕光学系统光轴360°范围的圆柱视场投影到二维平面上的一个环形区域内。通过上下同轴放置的存在一定光轴方向位移的两个全景环带镜头单元不仅可以实现360°范围内无盲区的实时监控，还可以通过三角测量法计算出图像中物体与系统的距离，可以实现无死角的报警，并且该方法不需要后期的图像拼接，实时性好，算法简单，可以广泛的应用于机器人和车载系统中。由于全景环带镜头的视场极大，往往可以超过180°，一般的f-tanθ投影模型已不能适用，因此需要提出一种新的全景立体成像系统的标定方法，并且本方案不同于传统的双目视觉，并非左右设置两套光学系统，而是上下放置，因此其标定方法也较为特殊。技术实现要素：本发明的技术解决问题是：克服了现有技术的不足，提供了一种全景环带立体成像系统及其标定方法与成像方法，可以在不需要拼接与旋转机构的情况下获得360°环境中的物体距离。本发明采用的技术方案是：一、一种全景环带立体成像系统：包括两个结构相同的同光轴上下间隔布置的全景环带成像单元，两个成像单元的光轴同轴并垂直于地面，形成立体成像系统，全景环带成像单元的投影模型均符合f-θ成像模型。一般的无畸变模型符合f-tanθ模型，即实际像高和入射角的关系为f×tanθ，因此在接近90°时理论像高为无限大，而全景环带透镜的入射角会高于90°，因此通过引入桶形畸变的方法来避免像高无限大的情况，这类型的成像模型的实际像高和入射角的关系为f×θ。所述成像系统使用时光轴垂直于地面放置，与光轴垂直的直线为水平线，两个全景环带成像单元将绕光轴360°范围之内、水平线以下0°～20°、水平线以上0°～80°范围内的物体发出的光线投影到两个全景环带成像单元各自的成像面上，成像面呈环形，中心存在圆形盲区。所述的两个全景环带成像单元沿光轴方向的基线距d为10mm～100mm。所述的全景环带成像单元包括同一光轴下的环形折射面、环形反射面、圆形反射面、圆形折射面、中继转向透镜和成像面，环形折射面作为入射面，环形反射面位于环形折射面的正下方且其反射面朝上，圆形反射面连接在环形折射面的中心且其反射面朝下，圆形折射面连接在环形反射面的中心；入射光从环形折射面折射入射，经环形反射面反射到圆形反射面上，再经圆形反射面反射后经圆形折射面折射后出射，出射的光经中继转向透镜汇聚到成像面上。二、一种全景环带立体成像系统的标定方法，步骤如下：1)使用带棋盘格的标定板对两个结构相同的全景环带立体成像单元分别进行拍摄标定，获得各自的内参，内参包括镜头的投影中心坐标、近轴焦距、畸变方程系数、主点在虚拟像平面上的投影坐标等参数，主点为距离投影中心为一倍焦距的点，然后进行校正使得两个全景环带立体成像单元的内参在校正后相同；2)将两个全景环带成像单元上下同轴放置形成所述全景环带立体成像系统，使用相同的带棋盘格的标定板分别进行拍摄，获得全景环带立体成像系统的外参，外参包括两个全景环带成像单元的基线距以及两个全景环带成像单元分别相对于标定板所在平面的投影矩阵；3)建立世界坐标系，以带棋盘格的标定板所在平面的坐标系作为世界坐标系的XY轴，垂直于标定板的方向为世界坐标系的Z轴；对于两个全景环带成像单元分别建立空间上的虚拟成像平面局部坐标系O1X1Y1Z1和O2X2Y2Z2，其中O点为全景环带成像单元的成像面中心，作为虚拟成像平面局部坐标系的原点，成像面中心为成像面与光轴的交点，光轴方向作为Z轴，X轴和Y轴分别为垂直于光轴的投影平面的两个互相垂直方向；4)利用步骤2)获得的投影矩阵，旋转上方全景环带成像单元和下方全景环带成像单元的局部坐标系，完成对全景环带立体成像系统的标定。所述步骤3)中具体的是：O1、O2为下、上全景环带成像单元的成像面中心，Z1、Z2轴为下、上全景环带成像单元的Z轴方向，X1/X2轴分别表示下、上全景环带成像单元的X轴方向，Y1/Y2轴分别表示下、上全景环带成像单元的Y轴方向；所述步骤4)中旋转上方全景环带成像单元和下方全景环带成像单元的局部坐标系具体方法为：4.1)将上方全景环带成像单元的局部坐标系绕着原点O2旋转至其Z2轴与O1O2连线重合，4.2)然后将下方全景环带成像单元的局部坐标系绕着原点O1旋转至其Z1轴与O1O2连线重合；4.3)最后将上方全景环带成像单元或者下方全景环带成像单元的X-Y平面绕自身坐标系的Z轴旋转，使得上下全景环带成像单元的X和Y轴方向对齐一致。所述步骤4.1)～4.3)中的旋转角度是根据上方全景环带成像单元相对于下方全景环带成像单元的投影矩阵或者下方全景环带成像单元对于上方全景环带成像单元的投影矩阵获得，所述上方全景环带成像单元相对于下方全景环带成像单元的投影矩阵或者下方全景环带成像单元对于上方全景环带成像单元的投影矩阵是根据步骤2)获得的两个投影矩阵相除获得。三、一种全景环带立体成像系统的成像方法：步骤一、采用权利要求5～8任一所述的方法对上、下两个全景环带成像单元进行标定处理，获得内参和外参；步骤二、空间的物点发出两条光线，分别进入标定后的两个全景环带成像单元中，经过多次折射和反射后成像在各自的成像面上，根据全景环带成像单元的内参和外参获得两个成像点各自距离光轴之间的径向距离；步骤三、比较两个成像点各自距离光轴之间的径向距离获得两者差值，并结合成像系统已知的基线距，通过以下公式的三角测量法计算出该物点距离系统光轴的距离：z=f×dx2-x1]]>其中f为全景单元的标定焦距(以毫米为单位)，d为系统的基线距离(以像素为单位)，x1和x2为相同像点在两个像平面上的径向距离(以像素为单位)，z为计算出的物体的距离系统光轴的距离(以毫米为单位)。所述的两个成像点各自与光轴之间的径向距离具体是根据内参和外参将两个全景环带成像单元的成像图像沿着任意同一条极线分别展开成矩形，计算两个矩形中各自成像点位置的距离差异获得。本发明的有益效果是：本发明全景立体环带成像装置在不需要转动设备的情况下，使用两个光学系统即实现了360°无盲区的距离测量，并且与该发明相配套的立体标定方法不同于已有的双目标定方法，提出了一种非f-tanθ投影模型的标定方法，可以实现一次性快速标定。经过标定后的图像可以采用与双目视觉求取视差相同的方法计算物体的距离，实时性好，计算过程简单。附图说明图1是单个全景环带镜头的光路图；图2是单个全景环带镜头的像面分布图；图3是本发明的立体成像原理图；图4是本发明的虚拟像平面位置关系示意图与展开后的图像示意图；图5是本发明全景环带立体成像装置的图像标定方法流程；图6是本发明虚拟成像平面与同一物点的投影关系；图7是本发明校正虚拟成像平面的过程示意图。图中：环形折射面1、环形反射面2、圆形反射面3、圆形折射面4、中继转向透镜5、成像面6、上方全景环带成像单元7、下方全景环带成像单元8、光轴9；成像区域S1、盲区S2、成像点P、物点P0、第一成像点P1、第二成像点P2、上方成像单元主点M2、下方成像单元主点M1、基线距d、H为物点到第二个全景环带成像单元成像面的高度、S为物点到光轴的距离。具体实施方式下面结合附图及具体实施例对本发明作进一步详细说明。如图1所示，本发明包括两个结构相同的同光轴9上下间隔布置的全景环带成像单元，两个成像单元的光轴9同轴并垂直于地面，形成立体成像系统，全景环带成像单元均符合f-θ成像模型。本发明全景环带成像单元的结构是：一面为向外突出的环形折射面1，其中央部分为圆形反射面3，在环形折射面1的下方有向外突出的环形反射面2，其与环形折射面1之间连接部分为磨砂面，环形反射面2中心内圆区域为圆形折射面4，可以是凸面或凹面，也可以是平面，四个面组成一个实体。全景透镜的成像原理是：同一物点发出的光线从环形折射面1折射进入实体，然后被环形反射面2与圆形反射面3两次反射，最后从圆形折射面4折射出实体。光线通过全景透镜后在其内部或后方形成虚像，该虚像通过中继转向透镜5折射，成像于成像面6的成像点P。如图2所示，为本发明的单个全景环带镜头的像面分布图，由于存在原型反射面3的遮挡，近轴的光线无法进入全景透镜成像，因此会在成像面上形成圆形的盲区S2，而其能够成像的区域为环形的成像区域S1。如图3所示，为本发明的立体成像原理图。两个如图1所示的成像单元上下堆叠放置，且共光轴9，两单元虚拟主点M1和M2之间的间距为基线距d，使用时光轴垂直于地面放置。空间中任意一点P0发出两条光线，可以分别进入上方成像单元7和下方成像单元8，最终分别成像于第一成像点P1和第二成像点P2上，这两点距离光轴9的像素数略有差异，类似于双目视觉，通过该差异与基线距d与焦距f即可计算出P0点的空间坐标P0(S,H)。本发明获得的两张图像为两幅环状图像，由于两个成像单元是上下放置的，不同于一般的双目相机，基线并非沿着图像的水平方向，而是从图像中心发出的射线。类似于双目相机在计算视差前要对图像进行标定和校正，由于受到镜头自身的个体误差，两全景环带成像单元空间相对位置偏差和成像面的空间状态等影响，必须对获得的图像进行标定，具体的说是将上下两成像单元拍摄的具有一定视差的图像进行极线标定和校正，使得上下两全景环带成像单元拍摄的两幅图像的虚拟成像平面三个坐标轴方向一致，仅存在Z轴方向的位移。如图4左图所示，标定后的上下单元的虚拟图像平面的X和Y轴方向相同，Z轴同轴，任意通过Z轴的平面与虚拟成像平面的交线都是极线，同一物点形成的两成像点服从极线约束，两成像点与Z轴必在同一平面上。沿着任意一条极线将上下单元的环形图像展开成矩形，可获得两张全景图像，如图4右图所示，此时只要沿着纵向极线方向查找同一物点的在两幅图上的对应像点的距离差异即可获得视差值，结合已知的基线距d与焦距f，可采用常规的双目视觉算法，计算获得同一物点距离全景环带立体成像装置光轴的距离。将所有像素点进行匹配后即可获得一副全景深度图。DavideScaramuzz对鱼眼镜头和全景镜头等具有特殊投影模型的大畸变大视场成像系统给出了标定内参的方法，可标定出镜头在成像面上的投影中心，畸变方程系数，仿射变换矩阵等内参，整个标定过程与标定普通相机过程类似，也采用拍摄黑白棋盘格的方式进行，但并未给出如何标定由两个相同全景镜头组成的全景环带立体成像系统的方法。如图5所示，本发明实施例及其过程如下：对上下两个全景环带成像单元分别进行标定，获得各自的内参；两个全景环带成像单元拍摄相同的棋盘格可获得外参，建立空间上的两虚拟成像平面局部坐标系；计算上方虚拟成像平面相对于下方虚拟成像平面的投影矩阵；旋转上下坐标系的坐标轴，使得XYZ方向均一致且Z轴同轴，并获得各自的投影矩阵；将两幅经过投影矩阵校正后的图像沿着径向展开成矩形后，即变成了两幅普通的校正后的双目图像对，可通过常见的双目视觉算法计算物点的距离。下面分别对各主要步骤进行说明。(1)对上下两个全景环带成像单元分别进行标定，获得各自的内参。利用物理参数已知的黑白棋盘格拍摄多幅完整的图像，采用DavideScaramuzz提供的OcamCalibToolbox计算获得准确度较高的内参，具体包括镜头主点相对于成像平面的距离，图像中心的坐标，近轴焦距，以及每张黑白棋盘格相对于成像平面的投影矩阵。(2)两个全景环带镜头拍摄相同的棋盘格，获得两者的外参，建立空间上的虚拟成像平面局部坐标系O1X1Y1Z1和O2X2Y2Z2，其中O1/O2为成像点的投影中心，光轴方向为Z1/Z2轴，垂直于光轴的投影平面两垂直方向分别为X1/X2轴和Y1/Y2轴。通过上下两个全景环带成像单元同时拍摄一块黑白标定板，获得上下两个全景环带成像单元成像面相对于标定板上同一个物点的投影矩阵，由此建立上下全景环带成像单元的局部坐标系。若世界坐标系中任意一点投影到两个局部坐标系中，如图6左侧所示，大坐标为世界坐标系，小坐标为两虚拟成像平面所在坐标系。如果以下方坐标系作为世界坐标系，其中心法线为O1Z1轴，如图6右侧图所示，由于各种误差的存在，上方虚拟成像平面的中心法线O2Z2与O1Z1不同轴，需要对其进行校正。(3)将两全景相机拍摄相对于同一棋盘格的投影矩阵相除获得上方虚拟成像平面相对于下方虚拟成像平面的投影矩阵。对于一般的相机旋转和平移，世界坐标系中的任意一点P(X,Y,Z)投影到图像平面上可以用以下方程表示：K100T1XYZ1W=zuv1]]>KRt0T1XYZ1W=z′u′v′1]]>其中，第一个方程代表在虚拟成像平面在旋转前满足的方程，第二个方程代表虚拟成像平面在经过旋转和平移后满足的方程，K是包含焦距和图像中心坐标的相机内参矩阵，P’(u,v)为P在虚拟成像平面上的二维坐标。u表示空间中任意一点x方向的坐标，表示空间中任意一点y方向的坐标，z表示和z’分别为与旋转前后焦距相关常数，W表示世界坐标系。一般相机的内参矩阵为3*4的矩阵，外参为4*4的矩阵，所以K是不能求逆的，因为本方法不含平移(t＝[0；0；0])，因此外参矩阵可以缩减到3*3，可以求逆，只保留R，如下方程所示：K=fx0u000fyv000010⇒K′=fx0u00fyv0001Rt0T1⇒R]]>其中，K’为不含有平移的投影矩阵，R为旋转矩阵，t为平移矩阵。fx表示小孔成像模型的x方向的近轴焦距，fy表示小孔成像模型的y方向的近轴焦距，u0表示x方向的中心坐标，v0表示y方向的中心坐标，0T表示1*3的全0矩阵。消除相同的世界坐标(X,Y,Z,1)后，则旋转前后虚拟成像平面上的二维坐标(u,v)和(u’,v’)满足以下方程：u′v′1=zz′·K′RK′-1uv1]]>全景环带成像单元的内参矩阵在虚拟成像平面上的中心坐标(u’,v’)在步骤(1)中已经获得，但其中并没有给出焦距值，原因在于鱼眼镜头或全景镜头的畸变巨大，不满足小孔成像模型(或称之为f-tanθ模型)，此类镜头即使标定出焦距也只适用于近轴位置，非近轴视场的边缘畸变极大。这类畸变一般可以拟合成一个视场角与像点到图像中心距离r的多项式的和的形式，如以下方程所示：r(θ)＝a1θ+a2θ2+a4θ4+a6θ6+...+a2nθ2n其中，an为投影模型的畸变系数，θ为入射光与光轴的夹角，r为入射光在虚拟成像平面上的成像点与虚拟成像平面中心的距离。全景环带成像单元在设计时符合f-θ模型，因此以上方程可以简化为：r(θ)＝fθ其中，θ为入射光与光轴的夹角，f为全景环带成像单元标定后的焦距，r为入射光在虚拟成像平面上的成像点与虚拟成像平面中心的距离。因此其在图像上的坐标符合以下方程：x=fxZw·Xw=fx·tanθx]]>其中，x为投影点在虚拟成像平面上X方向的距离，θx为入射光与光轴的夹角在X轴方向的分量，XW和ZW分别表示物点在X和Z方向的世界坐标。由于符合f-θ模型，全景环带成像单元的Xw等价于θxZw，也就是说物空间坐标(XW,YW,ZW)可以写成(θxZw，θyZw，Zw),其中的角度均为弧度制。因此全景环带成像单元的投影方程可以表示为：ZWu′v′1=fx0u00fyv0001XWYWZW=fx0u00fyv0001θxZWθyZWZW=ZWfx0u00fyv0001θxθy1]]>其中(u’,v’)为投影点在虚拟成像平面上的坐标，θx和θy为入射光与光轴的夹角在X和Y轴方向的分量，YW分别表示物点在Y方向的世界坐标。因此，全景环带成像单元的成像模型也依然满足小孔成像的模型。上方全景环带成像单元相对于下方全景环带成像单元的投影矩阵M为：M=zz′·K′RK′-1]]>(4)利用以上获得投影矩阵，将上方虚拟成像平面的z2轴绕着O2旋转至与O1O2连线相同的方向，然后，将下方虚拟成像平面的z1轴绕着O1旋转至与O1O2连线相同的方向，最后旋转上方或下方虚拟成像平面的z轴，使得上下两虚拟成像平面的x和y轴方向一致。为了保证基线距离相同，同时使两虚拟成像平面的Z轴同轴，必须对两个虚拟成像平面进行三次旋转。在获得步骤(3)的矩阵M后，即可知道两个虚拟成像平面的旋转角度。如图7所示，首先计算出上方虚拟成像平面中心O1与下方虚拟成像平面中心O2的连线向量O1O2与下方虚拟成像平面法线O1Z1与上方虚拟成像平面法线O2Z2的夹角θ1和θ2，将两个夹角通过罗德里格斯方程转换为旋转矩阵M2和M1，接下来下方虚拟成像平面保持不变，计算上方虚拟成像平面X轴或Y轴相对于下方虚拟成像平面X轴或Y轴的角度θ2’，采用同样的方法转换为旋转矩阵M2’，因此上下虚拟成像平面的旋转矩阵分别为：Mdown=M1Mup=M2′·M2]]>其中，Mdown和Mup分别为下和上虚拟成像平面的旋转矩阵。原像平面上的坐标乘以以上各自的旋转矩阵后即可保证上下虚拟成像平面的坐标轴对齐，只存在Z方向的基线差异。(5)将两幅图像沿着径向展开成矩形，消除径向畸变，通过三角测量法比较同一物点在极线上的差异可获得该物点的距离。由于全景环带成像单元形成的图像是两个环形图像，沿着极线展开后既可以获得一副360°的无拼接全景图，将校正后的图像展开后即可获得如图4右侧的图像，图4右侧中上下的两幅图像只存在Y方向的视差，因此具体实施中是从两幅图像各自的左上角开始，沿着Y方向逐像素扫描，找到Y方向相似度最大的匹配点对，计算出两者Y方向的像素差异，结合已知的基线长度，即可计算出该匹配点距离装置光轴的距离。由此，本发明实现了在不需要转动设备的情况下360°无盲区的距离测量，并且可一次性快速标定，实时性好，具有其突出显著的技术效果。当前第1页1 2 3