专利名称：一种三点定标测量方法
技术领域：
本发明属于光学成像测量定位领域，具体说是一种智能汽车的视觉导航以及军用无人平台的环境感知等方法。
背景技术：
在所有的视觉导航系统和基于视觉的环境感知系统中，摄像机标定和视觉测量都是最基本的，也是最为关键的技术之一。摄像机标定指的是通过一些技术手段获取摄像机的内外参数或者是这些参数的某些组合，并建立摄像机逆投影模型。视觉测量则指的是根据摄像机摄取的图像中的像素坐标，计算与像素相对应景物点的世界坐标或者车体坐标系参考坐标。目前常用的摄像机标定方法首先要在路面与计算机屏幕图像中选取大量的“景物点——象素”二元组，然后代入摄像机模型，最后用最小二乘法求解，推导摄像机逆投影公式，而目前常用的视觉测量方法则是在智能汽车或军用无人平台执行任务的过程中，计算机实时地在屏幕图像中识别路面上的特征(例如车道线、障碍物、沟坑、水迹、石头、建筑物阴影等)，然后将这些特征上象素的计算机屏幕图像坐标代入摄像机逆投影公式，计算与特征象素对应的路面景物点的车体坐标系坐标，从而得出这些特征与车体之间的横向与纵向距离。
目前常用的摄像机标定方法不易于摄像机内外参数的维护。首先要选取大量的路面景物点及其对应象素，提高了标定计算量，其次最小二乘法计算复杂度也很大，这些都不利于摄像机的实时标定。而目前常用的视觉测量方法则应用了摄像机标定中求解出的摄像机内外参数建立的摄像机逆投影公式，这些公式的一般形式如下xv=H×c×dcr×dr×cosα+fsinαyv=H(fcosα-r×dr×sinα)r×dr×cosα+fsinα---(1)]]>公式1中，包含了大量的三角函数运算，而在计算机的内部计算中，三角函数是最为复杂的计算形式，每一个三角函数的求解都必须经过数十步甚至上百步计算机内部的加法运算来实现。因此，如果在嵌入式计算机中运用目前常用基于大量路面景物点的方法来实时实现摄像机标定于视觉测量，就必须要求较大的计算机内存储器容量和较高的CPU计算速度，从而提高了智能汽车视觉导航系统和军用无人平台环境感知系统的成本。
发明内容
本发明通过在路面上选择三个特定的景物点以及对应的三个像素，根据其之间的坐标关系推导像素到景物点之间的逆投影公式，实现摄象机标定与视觉测量计算。
本发明的一种优选技术方案为一种三点定标测量方法，所述测量方法包括以车体为中心建立车体坐标系，以摄像机为中心建立摄像机坐标系，车体正面朝向为Y轴垂直地面方向为Z轴垂直车体侧面的方向为X轴，在路面上画两条直线，其中一条直线与车体坐标系横轴平行，另一条直线与车体坐标轴纵轴平行，取所述直线的交点作为三点定标中的第一特定景物点，分别在所述两条直线的其他位置各选择一点作为三点定标中的第二特定景物点与第三特定景物点，根据三个特定景物点以及对应的在摄像镜头上投影的三个像素之间的坐标关系以及消失点的坐标计算与像素相对应的景物点的世界坐标和车体坐标系参考坐标。
本发明的更进一步的一种优选技术方案为摄相机坐标系与车体坐标系的关系为Xv，Yv，Zv，摄像机坐标系Xc，Yc，Zc，所述车体坐标系与摄像机坐标系关系为xc＝xvyc＝yvcosα+Hsinα，消失点的横坐标决定于平行线的斜率zc＝-Hcosα+yvsinαxi=(Bv1cosαH-Kvsinα)yi+Bv1fsinαH+Kvfcosα]]>xi=(Bv2cosαH-Kvsinα)yi+Bv2fsinαH+Kvfcosα]]>并记录消失点的坐标，将消失点的坐标代入
y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)×dy+y0.]]>x=r-VPrr0-VPr×c×dx(r0).]]>四、发明目的本发明的目的是为了解决目前方法的高成本问题，力求在路面上选取尽可能少的景物点来实现摄像机标定，而且力求最终推导出的摄像机逆投影公式中只包含加、减、乘、除四则运算，从而降低对计算机内存储器容量和CPU计算速度的要求，降低智能汽车视觉导航系统和军用无人平台环境感知系统的成本。
五、附
图1、图1为前投影小孔成像摄像机模型；2、图2为摄像机坐标系与车体坐标系；3、图3为纵向距离测量示意图；4、图4为横向距离计算示意图；5、图5为基于三点定标的摄像机标定与视觉测量示意图；6、图6为摄像机标定程序流程图；7、图7为视觉测量流程图。
六、实施例配套设施应用本发明的配套设施包括，普通摄像机，用于摄取道路图像，摄像机摄取的道路图像输入到图像采集卡，图像采集卡安装在计算机中，是计算机硬件系统的一部分，用于采集摄像机摄取的路面图像，计算机及其视觉处理软件系统，用于处理图像采集卡采集的道路图像，根据本发明编制的摄像机标定软件模块和视觉测量计算软件模块，包含于计算机视觉处理软件系统中。软件系统包括摄像机标定和视觉测量两个独立的软件模块，这两个模块嵌入到视觉处理计算机软件系统中。当进行摄像机标定时，按照摄像机标定处理流程图，计算机软件系统应用摄像机标定软件模块进行处理。一旦摄像机标定完毕，即可按照视觉测量计算流程，计算机软件系统应用视觉测量计算模块进行视觉测量计算处理。软件系统的核心是本发明中的两个计算公式y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)×dy+y0]]>x=r-VPrr0-VPr×c×dx(r0)]]>本发明采用常见的前投影小孔成像摄像机模型，如图1所示，其中像素平面表示计算机屏幕图像，像素平面坐标原点位于计算机屏幕图像中心。坐标系C表示摄像机坐标系。在3-D空间中取景物点P，其坐标为(xc，yc，zc)，与其对应的像素为P′，坐标为(c，r)，则根据空间几何，(xc，yc，zc)与(c，r)之间的关系可由公式2表示。
c×dcf=xcycr×drf=-zcyc---(2)]]>其中，dc表示每一像素对应的图像平面中的宽度，dr表示每一像素对应图像平面中的高度。令xi＝c×dc和yi＝r×dr，并代入公式2，得图像平面中像xif=xcycyif=-zcyc---(3)]]>素点(xi，yi)和(xc，yc，zc)之间的对应关系摄像机安装于车体顶部中心线上，与地面之间的距离为H，摄像机坐标系如图1所示，摄像机光轴与地面之间的夹角为α，摄像机光轴在地面的投影与车体的中轴线平行。车体坐标系的原点设于摄像机坐标系原点在地面上的投影，车体坐标系Y轴与摄像机光轴在地面的投影重合。摄像机坐标系与车体坐标系之间的关系如图2所示。
在路面上取一点P，P在摄像机坐标系中的坐标为(xv，yv，0)，在摄像机坐标系中的坐标为(xc，yc，zc)，则(xv，yv，0)与(xc，yc，zc)之间具有如下关系xc=xvyc=yvcosα+Hsinαzc=-Hcosα+yvsinα---(4)]]>将公式4代入公式3，得路面景物点在车体坐标系中的坐标(xv，yv，0)与对应像素在图像平面坐标系中坐标(xi，yi)的对应关系xi=fxvyvcosα+Hsinαyi=f(Hcosα-yvsinα)yvcosα+Hsinα---(5)]]>将公式2、1代入公式5并进行变换，得xv=H×c×dcr×dr×cosα+fsinαyv=H(fcosα-r×dr×sinα)r×dr×cosα+fsinα---(6)]]>目前常用的摄像机标定与视觉测量方法用的就是形如公式6计算公式。本发明为了避免大量景物点的选取以及避免公式6中的大量三角函数运算，将从下一步骤开始，逐步设计新的方法。
摄像机透视投影具有如下性质路面上的直线投影到图像平面和计算机屏幕仍然是直线如果摄像机的俯仰角不等于90°，路面上的平行线投影到图像平面和计算机屏幕后会汇聚于一点，即消失点，消失点的坐标与路面上平行线的斜率有关。
经推导，可得出路面上斜率为kv的平行直线在摄像机像素平面坐标系中消失点坐标(公式7)和计算机屏幕图像坐标系中的消失点坐标(公式8)。
VPxi=KvfcosαVPyi=-ftanα---(7)]]>
纵向距离测量指的是测量路面上一点与车体坐标系X轴之间的纵向距离VPc=Kvfdc×cosαVPr=-ftanαdr---(8)]]>如图3所示，在车体坐标系中取两点P0和P1，其坐标分别为(x0，y0)和(x0，y1)，与P0和P1对应的像素为P0′、P1′，其坐标分别为(c0，r0)和(c0，r1)。在路面上任取一点P，其坐标为(x，y)，与其对应的像素P′的坐标为(c，r)。经过测量得知P0和P1之间的纵向距离为dy，设点P和P0之间的纵向距离为k×dy，则有将公式6、8代入公式9并简化，可得k=y-y0y1-y0---(9)]]>公式10中，Y0表示路面上景物点P与车体之间的纵向距离，Y表示路面上任一点P与车体之间的纵向距离。
Y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)×dy+Y0---(10)]]>横向距离测量指的是测量路面上一点与车体坐标系Y轴之间的横向距离。
为了设计新的横向距离测量方法，本发明首先提出一个定理并证明。
定理在图像平面内任一水平线上任取两个像素P0′和P2′，与之对应的路面上的两个点为P0和P2，则P0和P2之间的横向距离与P0′和P2′之间的横向距离的比值是一个与P0′和P2′的横坐标无关的参数。
证明设P0和P2的坐标为(x0，y0)和(x2，y2)，P0′和P2′的坐标为(c0，r0)和(c2，r2)，则根据公式6有x2-x0c2-c0=H×dc×(c2-c0)r×dr×cosα+fsinαc2-c0=H×dcr×dr×cosα+fsinα---(11)]]>由公式11可知，P0和P2之间的横向距离与P0′和P2′之间的横向距离的比值与P0′和P2′的横坐标无关，而是一个与P0′和P2′的纵坐标有关的参数。而且P0′和P2′的纵坐标越大，这个参数越小。该参数的实际意义是在r行每一像素所对应的实际路面宽度，令其为dx(r)，则有dx(r)=H×dcr×dr×cosα+fsinα---(12)]]>实际应用中，只要适当选定计算机屏幕图像中的某一行，然后在这一行上任取两个像素，即可根据这两个像素的横坐标以及与其对应的景物点的横坐标很方便地计算出来。
如图4所示，如果预先在屏幕图像中适当选取一行作为参考线，其方程为r＝r0，并用上面介绍的方法计算出dx(r0)。此后在屏幕图像中任取一个像素P′，其坐标为(c，r)，与像素P′对应的景物点为P，其坐标为(x，y)。那么，如果连接路面上平行与车体坐标系Y轴平行的垂直线在图像平面中的消失点VP0和像素P′作一直线，则该像素直线对应的路面上的景物点直线也是与车体坐标系Y轴平行的垂直线，即这条像素直线上任一像素对应的景物点与车体之间的横向距离都相等。
如图4所示，过消失点VP0和像素P′作一直线，该直线与参考线的交点为P″，设点P″的坐标为(c′，r0)，有c′c=r-VPr0r0-VPr0⇒c′=r-VPr0r0-VPr0×c---(13)]]>像素P′对应的景物点与车体Y轴之间的横距离为X=c′×dx(r0)=r-VPr0r0-VPr0×c×dx(r0)---(14)]]>本发明规定好车体坐标系与摄像机坐标系之间的关系后，在车体前路面上作三条特定的直线，直线1和直线2平行于车体坐标系Y轴，直线3平行于车体坐标系X轴，取如图5所示的三个特定点，其中点P0(x0，y0)为直线1与直线3的交点，点P2(x2，y2)为直线2与直线3的交点，点P1(x1，y1)位于直线1上。路面上x1=x0y2=y0---(15)]]>三个景物点的坐标之间具有如下关系与路面上三个景物点对应的计算机屏幕图像坐标系中的三个像素分别是P0′(c0，r0)、P1′(c1，r1)和P2′(c2，r2)。这三个像素的坐标之间具有如下关系在计算机屏幕图像中，路面上直线1和直线3的投影像素线将相交于消失点(0，VPr)，将点P0(x0，y0)、P1(x1，y1)、P0′(c0，r0)、P1′(c1，r1)以及消失点(0，VPr)的坐标代入公式10，得纵向距离的测量计算公式y=(r0-r)(r-VPr)(r0-r1)(r1-VPr)×dy+y0---(17)]]>公式17中，r为计算机屏幕图像中任意一个像素的纵坐标，y表示与该像素对应的路面上景物点的纵坐标。
将点P0(x0，y0)、P2(x2，y2)、P0′(c0，r0)、P2′(c2，r2)以及消失点(0，VPr)的坐标代入公式14，得x=r-VPrr0-VPr×c×dx(r0)---(18)]]>公式18中，c、r分别为计算机屏幕图像中任意一个像素的横坐标与纵坐标，x为该像素对应的路面上景物点的横坐标。
由公式17、18可知，进行摄像机标定时，只需在路面上作三条如图5所示的三条直线，取三个特定点，这三个点P0(x0，y0)、P1(x1，y1)、P2(x2，y2)以及与这三个点相对应的三个像素P0′(c0，r0)、P1′(c1，r1)、P2′(c2，r2)的坐标即为已知，而消失点的纵坐标VPr也已知。因此，本发明设计的摄像机标定方法仅仅基于路面上的三个特定点，即可标定出本发明推导的逆投影公式17、18中的参数，与传统的标定方法相比，方便快捷。
一旦摄像机标定完成后，即可应用逆投影公式17、18进行视觉测量。即将计算机屏幕图像中任意一个像素的坐标值代入已经参数已标定的公式17、18，就可以计算出该像素对应的路面景物点在车体坐标系中的横、纵坐标，从而得出该景物点与车体参考原点之间的横向、纵向距离。
对比本发明推导的逆投影公式17、18和目前常用的逆投影公式6可知，公式17、18中代表定的参数都是路面上三个特定点以及与其对应的像素的坐标，标定方式简单，而且公式中没有三角函数计算。与传统的摄像机标定和视觉测量方法相比，本发明对嵌入式计算机的内存储器容量以及CPU速度的要求均有很大程度的降低，有利于嵌入式计算机系统中的实时实现。
权利要求
1.一种三点定标测量方法，所述测量方法包括以车体为中心建立坐标系，以摄像机为中心建立坐标系，车体正面朝向为Y轴垂直地面方向为Z轴垂直车体侧面的方向为X轴，其特征在于在路面上画两条直线，其中一条直线与车体坐标系横轴平行，另一条直线与车体坐标轴纵轴平行，取所述直线的交点作为三点定标中的第一特定景物点，分别在所述两条直线的其他位置各选择一点作为三点定标中的第二特定景物点与第三特定景物点，根据三个特定景物点以及对应的在摄像镜头上投影的三个像素之间的坐标关系以及消失点的坐标计算与像素相对应的景物点的世界坐标和车体坐标系参考坐标。
2.根据权利要求1所述的一种三点定标测量方法，其特征在于摄相机坐标系与车体坐标系的关系为Xv，Yv，Zv，摄像机坐标系Xc，Yc，Zc，所述车体坐标xc＝xv系与摄像机坐标系关系为 yc＝yvcosα+Hsinα。zc＝-Hcosα+yvsinα
3.根据权利要求1所述的一种三点定标测量方法，其特征在于消失点的横坐标决定于平行线的斜率xi=(Bv1cosαH-Kvsinα)yi+Bv1fsinαH+Kvfcosαxi=(Bv2cosαH-Kvsinα)yi+Bv2fsinαH+Kvfcosα]]>并记录消失点的坐标。
全文摘要
一种三点定标测量方法，所述测量方法包括以车体为中心建立坐标系，以摄像机为中心建立坐标系，车体正面朝向为Y轴垂直地面方向为Z轴垂直车体侧面的方向为X轴，在路面上画两条直线，其中一条直线与车体坐标系横轴平行，另一条直线与车体坐标轴纵轴平行，取所述直线的交点作为三点定标中的第一特定景物点，分别在所述两条直线的其他位置各选择一点作为三点定标中的第二特定景物点与第三特定景物点，根据三个特定景物点以及对应的在摄像镜头上投影的三个像素之间的坐标关系以及消失点的坐标计算与像素相对应的景物点的世界坐标和车体坐标系参考坐标。
文档编号G06T7/00GK101038153SQ20071000080
公开日2007年9月19日 申请日期2007年1月15日 优先权日2007年1月15日
发明者张朋飞 申请人:中国北方车辆研究所