专利名称：基于泰勒级数模型的全向立体视觉三维重建方法
技术领域：
本发明涉及获取360度范围内场景三维信息的计算机视觉方法，具体涉及 一种基于泰勒级数模型的全向立体视觉三维重建方法。
背景技术：
作为一种感知环境的特殊成像机制，全向视觉传感器克服了传统相机只能 对局部环境感知的缺点，在越来越多的领域得到广泛应用，如安全监控、视频 会议、基于图像的建模和机器人导航等。目前各种全向成像方式中，折反射系 统是获得360。视场最简单快捷的方法。它由普通相机与反射镜面组成。例如， 它可由双曲镜面、椭圆镜面或圆锥面和透视相机组成，也可由抛物镜面与正交 相机组成，还可以是二次折射二次反射的全景环形透镜的配置。如果要使所成 的全向图像在局部可以与普通透视相机所成的图像等效，折反射系统中的相机 与镜面之间要满足一定的位置关系以符合单视点约束的限制。这些不同的全向 视觉传感器有着不同的成像模型和计算方法，传统的研究方法是针对每一种特 定的镜面模型进行解析求解出模型参数，过程繁琐且不具备通用性。
许多学者试图找出能够囊括所有满足单视点约束折反射系统的统一模型， 并取得了一定的进展。目前应用最多的主要有四种统一模型(1)基于球面的统 一模型三维空间中的点首先中心投影到单位球面上，然后从北极点和球心之 间的某点透视投影到与光轴垂直的平面上。所有满足单视点约束的折反射相机, 都能用这个球面模型等效。同时，也提出了很多对该模型的摄像机标定算法。(2) 一般相机模型对每个抽样像素通过一个查找表与一条三维光线相关联，最后插 值得到成像的近似离散模型。(3)基于径向失真模型图像像素在三维空间中对
应的点只与它相对失真中心的径向距离有关，这是对普通相机径向校正的推广。
(4)基于泰勒级数模型它不要求折反射系统的具体镜面类型，将三维光线与图 像像素之间的对应关系用某个幂次的泰勒级数近似，全向相机的标定只需求解 这个多项式的系数即可获得内参。
在上述这些建模方法中，查找表的方法过于繁琐，不具有实用性；基于径 向失真的方法过于理想化，精确性不足，而对于球面模型方法来说，试图去解 析地求解镜面参数与相机的内参，最为精确。但须预知有关相机的参数，如镜 面参数的初值、焦距、视场等。但有时这种先验信息是很难获得的，如SONY
公司的RPU-C251全向相机并未给出有关的相机参数。基于泰勒级数的全向视
觉模型是目前唯一能够真正做到未知参数下对各种全向视觉传感器建模的方
法，它不依赖于具体的镜面模型和参数，而是用某幂次的泰勒级数来逼近全向
相机的成像过程。但遗憾的是，有关该模型应用的进一步研究目前为止尚未见
诸任何报道。
发明内容
本发明的目的在于提供一种基于泰勒级数模型的全向立体视觉三维重建方 法，建立了一套完整的全向立体视觉框架，推导了基于该模型的对极几何关系， 在标定得到的多项式空间中，提出了任意双目立体视觉配置下的本质矩阵计算 方法。提出了一种基于本质矩阵和保角映射的全向视觉外极线校正方法。最后， 根据特征点匹配结果，推导了到三维点的映射关系。
本发明采用的技术方案的步骤包括 (1)相机标定利用泰勒级数模型对全向视觉传感器进行标定，得到相机
内参；
(2) 对极几何关系求取包括计算双目全向相机之间的本质矩阵，并从中提 取相机的旋转和平移分量；
(3) 外极线校正对所拍摄的全向立体图像对进行外极线校正，使校正后的 极二次曲线与图像扫描线重合；
(4) 三维重建对校正后的立体图像对进行特征点匹配，根据匹配结果计算 点的三维坐标。
所述的利用泰勒级数模型的全向视觉传感器标定是利用平面上的已知三维 点及其它在图像上的对应点，进行两步最小二乘计算，先后得到了相机与平面 的旋转和平移、相机的内参，也就是泰勒级数的系数和阶次。
所述的对极几何关系求取，是基于泰勒级数模型的，只需图像平面到二次 曲面空间的一次性投影，求解本质矩阵，并根据场景的先验知识，提取相机的 旋转和平移分量。
所述的全向立体图像对的外极线校正是基于本质矩阵和保角映射的外极线 校正算法。
所述的三维重建包含以下步骤
(1) 特征点匹配对校正后的全向立体图像对进行特征点匹配，特征点提取
算法是SIFT角点或Harris角点；
(2) 校正图像坐标一原始图像坐标的投影变换将校正图像上的匹配点坐标
经过双极坐标变换和仿射变换，得到其在原始图像上的坐标；
(3) 原始图像坐标一镜面点坐标的投影变换由泰勒级数模型给出；
(4) 三维空间点一镜面点的投影变换假设世界坐标系与左相机镜面坐标系 重合，根据从本质矩阵中分解出的旋转和平移分量，计算三维点到泰勒级数模 型镜面的投影变换矩阵；
(5) 根据三维空间点到泰勒级数模型镜面的投影变换矩阵，用最小二乘求出 三维空间点的坐标。
本发明具有的有益效果是-
1. 本发明提出的基于泰勒级数模型的全向立体视觉三维重建方法，可适用 于各种全向视觉传感器，具有适用面广，精度高的特点；
2. 本发明提出的基于泰勒级数模型的全向立体视觉三维重建方法，可在全 向视觉传感器参数未知的情况下进行有效的三维重建。
图l是本发明方法的流程图。
图2是基于泰勒级数的全向成像模型。
图3是泰勒级数模型下双目全向立体视觉系统的对极几何关系。
图4是本质矩阵零空间的两个视角图示。
图5是双极坐标系示意图。
具体实施例方式
下面结合附图和具体实施方式
对本发明作进一步描述。
图1给出了依照本发明进行基于泰勒级数模型的全向三维重建方法流程图。
如图1所示，在步骤101中，对所使用的全向视觉传感器进行标定，所采 用的泰勒级数全向成像模型可用图2表示。三维世界中的点A首先投影到镜面 点A，后又成像于图像点A。该模型将各种全向成像方式下三维空间点到图像 平面的非线性映射关系统一用泰勒级数去近似，如下式所示。
<formula>formula see original document page 6</formula>
其中，^-;i7^是像素点到投影中心的欧氏距离。
由于镜面的旋转对称性，泰勒级数中不包含奇次项。根据最小重投影误差 准则，得到某幂次的镜面多项式。这个多项式的系数包括了从图像点到镜面点 的映射关系。该模型的标定借鉴了张正友提出的基于平面模板的标定方法，标
定后可得到相机的内参"W， -i…"P"0 。
关于泰勒级数模型的标定方法可参考文献1: D.Scammuzza， A Toolbox for Easy Calibrating Omnidirectional Cameras, Proceedings of the IEEE International Conference on Intelligent Robots and Systems, Beijing, China, October 2006.
泰勒级数模型避开了精确求解镜面和相机参数的困难，得到的反射模型是
一个虚拟的镜面。在实际应用中具有以下优点对相机与镜面之间的对齐偏差 不敏感，任何偏差导致的参数变化只体现在泰勒级数的系数上。同时，也将相 机镜头的失真考虑在内。
如图1所示，在步骤102中，对所采用的全向立体视觉相机进行对极几何 关系计算。对极几何描述了进行三维重建的二个相机之间的位置关系，同时也 约束了对应点在二幅图像上的投影位置，从而可将同名点的搜索从二维图像降
低到一维的直线或曲线上。图3给出了二个全向相机组成的双目立体视觉系统。
镜面坐标系原点分别为O,m,02m，假设三维世界点A在左右两个相机分别成像于
为化，p22。根据泰勒级数模型，镜面上的对应点分别为-<formula>formula see original document page 7</formula>
不失一般性，可假设世界坐标系与左相机镜面坐标系重合，右相机通过旋 转i 和平移/与它联系在一起。左相机中极平面0,^^的法线/2,4^经过旋转
及变换到右视角坐标系中为/22=/ /2|=及(,>^21)。同时向量^e^尸2^且fe丄^，所以 922 */22 = 0 ，整理后得到下式
其中，￡ =灯，r是"[《, ,U的反对称矩阵形式，即7"=<formula>formula see original document page 7</formula>对于^中的点^，它在02 定义了一条空间曲线(7 = &21。在泰勒级数模型
下，该曲线可以用图像上的一个圆近似。r是反对称矩阵，旋转矩阵/ 的秩为3， 本质矩阵E的秩为2,所以镜面上的空间曲线过二个固定的点 (/ = 1...2，_/ = 1...2)，
这就是极点。两个相机有四个极点，它们分别位于本质矩阵E的左右零空间，
且满足下式
每个图像的两个极点的连线与相机的相对位置一致，同时两条连线均过图 像的投影中心，如图4(a)、 (b)所示。
求解得到本质矩阵后，可从中提取相机的旋转和平移分量。 一般来说，及，
《与本质矩阵E之间不是一一对应关系。对于普通透视相机，可用对应点验证手
性关系(Chimlity)即可找到一组正确的运动分量。但由于全向图像的视角很大， 选择正确的旋转和平移比较复杂。在四组重建结果中，有两组的重建点位于相 机两个位置之间的一个平面上，这不符合实际情况，应该剔除。另外两组的重 建结果是互相颠倒的，可根据实际场景的先验知识，可以找到唯一正确的一组 旋转和平移。
求取了泰勒级数模型下的对极几何关系后，理论上即可将同名点的搜索降 为一维。但在泰勒模型下，这种对极几何是非线性的，即左图中的一点，在相 对应的右图上定义了一条曲线，如果匹配搜索沿着这条曲线进行，则不论是复 杂性还是效率上都带来很大的困难，因此有必要进行进一步处理，将原对应极 二次曲线上的点校正到同一条图像扫描线上。
如图1所示，在步骤103中，对全向立体图像对进行外极线校正。在泰勒 级数模型下， 一条外极线对应于全向图像上的一个圆，这些圆都过两个极点， 这与双极坐标系的一个维度o"相似，如图5中垂直方向的实线圆族所示，与之 正交的水平方向上的黑色虚线圆系为另一维r 。实际上前者是集合
i = {《IZ^i^2 = CT。
后者是集合
2= 2,
In-ez'
2/2
=r0
且Vfe/N V&eg，有f丄g,.，也就是说两族圆系互相正交(交点处的两条切线正交)。 因此，在足柯西一黎曼定律约束下，可以通过下面二式将图像平面W-v保角
映射到双极平面r-。
sinhr
coshr —cos cr
sm cr
cosh r — cos cr
以左图为例，首先将图像坐标系变换到以两极点连线的中点为原点的坐标系
中，X轴与两极点连线方向重合。可以用一组仿射变换来表达:
及L
<formula>formula see original document page 9</formula>
其中，P是向量^-4与原始图像坐标系横轴的夹角。
假设原始图像中一点仏=[^乂]、则经过仿射变换后，在以两极点连线的中
点为原点的坐标系中对应& = [A, & ]t : 校正后点《2的位置为
由此，原始图像中极线上的点，在校正后位于图像的c行上。经过校正的二
幅图像，它的对应点位于同一行上。
如图1所示，在步骤104中，对校正后的立体图对进行匹配，并计算其三维
坐标。假设外极线校正后左图像上的点^r"力，对应在右校正图像上的点 o-o)，其中^/>0即为视差。经过双极坐标变换和仿射变换，得到^r,^在
原始图像上的点分别为《，X2。从本质矩阵￡分解出旋转*和平移/分量。假设世
界坐标系与左相机镜面坐标系重合，则两个相机的投影矩阵为似,=[/ flj和
M2=[* /]。从三维空间点X-[义r ZT到泰勒模型镜面点的投影为<formula>formula see original document page 9</formula>
其中，<formula>formula see original document page 9</formula>
上式包含5个未知数，6个独立线性方程，是一个超定的方程组，利用最小 二乘就可以求出比例因子4，4和三维空间点X 。该方法与普通相机的线性三角 化法类似。由于定义在三维投影空间，后者只包括四个独立的方程。值得注意 的是，由于平移,是经过归一化的，最后的重建结果与实际场景相差一个比例因 子，这可通过测量该全向立体视觉系统的基线长度即可转换为绝对度量。
权利要求
1.一种基于泰勒级数模型的全向立体视觉三维重建方法，其特征在于，该方法的步骤如下(1)相机标定利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；(2)对极几何关系求取包括计算双目全向相机之间的本质矩阵，并从中提取相机的旋转和平移分量；(3)外极线校正对所拍摄的全向立体图像对进行外极线校正，使校正后的极二次曲线与图像扫描线重合；(4)三维重建对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。
2. 根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建 方法，其特征在于，所述的利用泰勒级数模型的全向视觉传感器标定是利用平 面上的已知三维点及其它在图像上的对应点，进行两步最小二乘计算，先后得 到了相机与平面的旋转和平移、相机的内参，也就是泰勒级数的系数和阶次。
3. 根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建 方法，其特征在于，所述的对极几何关系求取，是基于泰勒级数模型的，只需 图像平面到二次曲面空间的一次性投影，求解本质矩阵，并根据场景的先验知 识，提取相机的旋转和平移分量。
4. 根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建 方法，其特征在于，所述的全向立体图像对的外极线校正是基于本质矩阵和保 角映射的外极线校正算法。
5. 根据权利要求1所述的一种基于泰勒级数模型的全向立体视觉三维重建 方法，其特征在于，所述的三维重建包含以下步骤(1) 特征点匹配对校正后的全向立体图像对进行特征点匹配，特征点提取 算法是SIFT角点或Harris角点；(2) 校正图像坐标一原始图像坐标的投影变换将校正图像上的匹配点坐标 经过双极坐标变换和仿射变换，得到其在原始图像上的坐标；(3) 原始图像坐标一镜面点坐标的投影变换由泰勒级数模型给出；(4) 三维空间点一镜面点的投影变换假设世界坐标系与左相机镜面坐标系 重合，根据从本质矩阵中分解出的旋转和平移分量，计算三维点到泰勒级数模 型镜面的投影变换矩阵；(5)根据三维空间点到泰勒级数模型镜面的投影变换矩阵，用最小二乘求出 三维空间点的坐标。
全文摘要
本发明公开了一种基于泰勒级数模型的全向立体视觉三维重建方法。该方法的步骤包括相机标定利用泰勒级数模型对全向视觉传感器进行标定，得到相机内参；对极几何关系求取包括计算双目全向相机之间的本质矩阵，并从中提取相机的旋转和平移分量；外极线校正对所拍摄的全向立体图像对进行外极线校正，使校正后的极二次曲线与图像扫描线重合；三维重建对校正后的立体图像对进行特征点匹配，根据匹配结果计算点的三维坐标。本发明可适用于各种全向视觉传感器，具有适用面广，精度高的特点；可在全向视觉传感器参数未知的情况下进行有效的三维重建。
文档编号G06T17/00GK101354796SQ20081012079
公开日2009年1月28日 申请日期2008年9月5日 优先权日2008年9月5日
发明者刘加海, 刘济林, 朱云芳, 歆 杜, 杰 雷, 瑞 颜 申请人:浙江大学