专利名称：基于瞬时随机光照的三维曲面测量装置及方法
技术领域：
本发明属于三维传感和测量领域，特别涉及一种基于瞬时随机光照的三维曲 面测量装置及方法。
背景技术：
三维曲面测量技术是目前国内外三维传感和测量领域研究的热点之一，它广 泛应用于航空航天、汽车船舶、机械制造、生物医学等各个领域。目前主流的非 接触的测量方法主要有以下几种①激光单点测量法，由于此方法一次只能测量 一个点，虽然测量精度高，但效率极低；②激光线扫描法，这种方法是单线扫描， 与单点测量相比效率较高，测量精度较高，是比较成熟的方法，但此方法对被测 物体表面的测量，必须借助对激光线的精确运动控制方能实现；③莫尔条纹法， 此方法是将变形栅像与周期相同的参考光栅叠加，利用得到的图样描绘出被测物 体的等高线，它属于全场测量，可以测量动态物体，但测量精度不高，装置较复 杂；④结构光编码投影法，它向被测物体投射含有编码信息的结构光，通过分析 结构光照射下的被测物体图像实现三维物体表面点云测量，最常见的是光栅投 影，这种方法可以达到较高的精度和数据致密度，较为成熟，但是由于需要多次 投射光栅条纹并在时间序列上拍摄多幅图像，因此测量持续时间相对较长，在此 期间被测物体和测量设备均需要保持绝对静止，所以该方法对环境振动和测量设 备的结构稳定性都比较敏感，限制了其在某些特殊场合的应用。
发明内容
技术问题本发明的目的在于提供一种结构简单、便于实现、能够像普通照 相一样在瞬间完成一次拍摄测量、既适合于静态物体又可用于运动物体的三维曲 面测量装置及方法。
技术方案本发明的基于瞬时随机光场的三维曲面测量装置及方法不同于一
般的光栅条纹投影三维测量方法，本测量方法投射一幅纯随机图像在被测物体表 面，结合双目立体相机进行物体表面密集三维坐标点的测量。
该装置包括两个数码相机组成的双目立体相机对、 一个控制电路板、 一个瞬 时随机光场投射装置、 一台电脑以及一块标定板，两个数码相机和投影装置与控 制电路板相连接，控制电路板和电脑由控制线连接，双目立体相机对和电脑由数 字线连接；瞬时随机光场投射装置将一幅随机的黑白二值数字图像转移到具有透 光效果的物理介质上，光线照射在该物理介质上，并通过投影镜头，在被测物体 表面产生随机光照。
基于瞬时随机光照的三维曲面测量装置的测量方法包含以下步骤
a. 测量前利用平面标定板对双目立体相机对的固有成像参数和结构几何 参数进行标定；
b. 测量时电脑通过控制电路板启动双目立体相机对同步摄取一个没有辅 助光场投射的立体图像对，之后控制电路板立即启动随机光场投射装置，瞬间在 被测物体表面产生随机光照并持续毫秒级时间，这时双目立体相机对再次同步摄 取被测物体在随机光场照射下的立体图像对；
c. 电脑自动对步骤b拍摄的被测物体在随机光场照射下图像对进行分析处 理，获得被测物体表面密集的三维点坐标；
d. 电脑自动对歩骤b拍摄的没有辅助光场照射下的立体图像对进行分析处 理，获得图像中稳定的特征点的三维坐标，用于多次测量数据的拼合。
在第c步中，自动对随机光场照射下的立体图像对进行分析处理获得被测物 体表面密集的三维点坐标的方法，包含以下步骤-
① 综合图像特征点匹配算法以及区域匹配算法确定一个初始匹配点，
② 结合灰度信息和摄像机成像几何约束，在局部窗口内采用加权最小二乘 法对初始匹配进行亚像素精度迭代优化，同时获得匹配点的三维坐标；迭代过程 中根据两幅图像当前窗口内的图像灰度的均值和方差，对待匹配窗口进行灰度矫 正，以消除两幅图像之间整体灰度差异的影响，
③ 根据步骤②得到的最终匹配，确定该己匹配点的周围点的初始匹配， 对歩骤③中的初始匹配再按照步骤②中的方法进行亚像素精度优化，如
此迭代求得各像点对应的三维空间坐标。
有益效果本发明与现有技术相比，具有如下特色和优点
1. 根据一个随机光场照射下的立体图像对，即可在非接触的情况下，测量 出物体表面密集的三维点坐标。
2. 能够类似普通照相一样在毫秒瞬间内完成一次测量所需要的图像拍摄， 而不需要在时间序列上投射多个光线模式到被测物体表面，这使得本发明的方法 不仅适用于一般静态物体的测量，而且可以应用于运动物体的测量。另外，对测 量现场的振动、噪声、测量设备无法稳定摆放等其它测量方法比较敏感的问题， 本发明方法都有很好的适应性。
3. 光栅投影法通常需要实现光栅移动或转动的机械结构和运动控制装置， 而本发明的方法由于只需进行一次光线投射，被投射的随机图像模板直接固定在 投影装置中不动，不需要任何运动控制和执行机构，而且由于只在瞬间工作投影 光源产生的热量很少，通常不需要散热装置，这些原因可以使投影装置乃至整个 系统结构简单小巧。
4. 因为投射的是随机光场，因此本发明中的投射装置不像一般的光栅投影 系统那样对噪声、对比度、投影镜头畸变、光栅质量等有严格要求，可以降低成 本，易于工程实现。
图1是本发明的三维曲面测量装置的结构示意图； 图2是本发明瞬时随机光场投射装置的结构示意图； 图3是本发明纯随机模板的示意图； 图4是本发明三维坐标计算流程图。
以上的图中有数码相机组成的双目立体相机对1、控制电路板2、随机光 场投射装置3、电脑4、标定板5、反光镜a、光源b、隔热玻璃c、光栏板d、 具有随即图案的模板e、壳体f、投影镜头g。
具体实施例方式
本发明的测量装置包括两个数码相机组成的双目立体相机对、一个控制电路 板、 一个随机光场投射装置、 一台计算机及一块标定板。双目立体相机对和随机 光场投射装置通过控制线与控制电路板连接，控制电路板通过控制线路同电脑连 接，连接方式可以是串口也可以是并口方式。两个数码相机摄取图像传回计算机，
可以通过图像采集卡，也可以用IEEE1394方式实现。
本发明的基于随机光照的三维曲面测量方法，通过上述的三维曲面测量装置 实施，测量过程如下
第一歩，测量前利用平面标定板对双目立体相机的固有成像参数和结构几何 参数进行标定。
第二步，电脑通过控制电路板控制两个数码相机和投影装置获取测量所需要
的两个立体图像对。具体过程为用户通过计算机发布测量命令，控制电路板接 受命令首先控制两个数码相机同歩摄取一个没有辅助光线投射的立体图像对，该 图像对称为第一立体图像对，随后控制电路板立即启动随机光场投射装置中的光 源瞬间点亮，并持续毫秒级时间，光源照射前方的随机图样模板，并通过投影镜 头投射随机光场到被测物体表面，在投影光源处于高亮的短暂时间内，控制电路 板再次触发两个数码相机同步摄取被测物体在随机光照下的立体图像对，该图像 对称为第二立体图像对。摄取的两个图像对传回计算机做下一步处理。
第三步，计算机自动对摄取的第二立体图像对进行分析处理，产生被测物体 表面密集的三维空间坐标，方法主要流程为①综合图像特征点匹配算法以及区 域匹配算法确定一个初始匹配点；②结合灰度信息和摄像机成像几何约束，在局 部窗口内采用加权最小二乘法对初始匹配进行亚像素精度优化，同时获得匹配点 的三维坐标；③根据②中得到的最终匹配，确定该已经匹配的点的周围点的初始 匹配；④对③中的初始匹配再按照②中的方法进行亚像素精度优化，如此迭代求 得各像点对应的三维空间坐标。
第四步，电脑自动对摄取的第一立体图像对进行分析处理，提取图像中稳定 的特征点，并在图像对间进行特征点的匹配，在此基础上根据双目立体测量的三 角形原理，获得特征点的三维坐标。根据这些特征点的三维坐标进一歩实现多次 测量数据的拼合。
本发明的一个优选实例结合附图详述如下
参见图l，三维曲面测量装置由两个数码相机(l)、控制电路板(2)、随机光 场投射装置(3)和电脑(4)组成。另外还配有一块标定板(5)用于双目立体相机 内外参数的标定。随机光场投射装置(3)和两个数码相机(1)固定在支架上，且随 机光场投射装置(3)位于两个数码相机(1)之间，两个数码相机(1)和随机光场投
射装置(3)与控制电路板直接连接，控制电路板通过通信总线与电脑连接。两个 数码相机摄取的图像用数据线路传回计算机。
随机光场投射装置(3)结构如图2所示，本实例中光源b采用管形氙灯配以 高压触发电源。反光镜a采用半圆柱面镀银玻璃管，流灯光源发出的光线经隔热 玻璃c照射具有纯随机图案的玻璃质模板d， d上面的纯随机图案通过投影镜头 e成像在被测物体表面上，由图2中f示意。
图2所示的随机光场投射装置中具有纯随机图案的模板d的生成方式为首 先通过计算机程序生成一幅纯随机的黑白二值数字图像，如图3所示，程序的伪 代码如下
for (/=0toM;_/=0 toiV)
W,刀<=0 ;//将图像的每个像素先置黑 for to(MX孝)
W，刀<=256 ;〃将随机产生的像素位置置白
其中i^7VD(JQ表示在生成一个CT义之间的随机数，MxW为生成图像的分 辨率，实施例中取为400x300。产生的数字随机图像需要通过一定的手段转移到 具有透光效果的物理介质上，本实施例中通过光绘技术将数字随机图像转移到一 小片透明玻璃上。
本发明所述的三维曲面测量装置的测量过程，其特征在于测量前先利用平 面标定板对双目立体相机对的固有成像参数和结构几何参数进行标定；测量时测 量软件通过控制电路板(2)启动两个数码相机(1)同歩摄取一个没有辅助光线投 射的立体图像对，然后立即启动随机光场投射装置(3)，瞬间将模板上的纯随机 图案投射到被测物体表面并持续毫秒级时间，在投影光源处于高亮的短暂时间 内，两个数码相机(l)再次同步摄取被测物体在随机光场照射下的立体图像对。 摄取的两个图像对传回计算机做下一步处理。
本发明根据第二立体图像对计算产生物体表面的密集三维坐标点，其算法流 程如图4所示，具体方法如下
将第二立体图像对中的一个图像称为模板图像r，另一个称为待匹配图像 g。假设对于模板图像r上的某个像素点("'，v')，以该点为中心的一个小窗口内 的各个像素(",，v》在对应的待匹配图像G上的对应点(^:)可以通过式(i)的仿 射变换来表达
卜;="3 +，； + 5v, 定义带权值的最小二乘目标函数
FO。 ， ^ ，…，a5) = Z , v,) - , v)'》2 (2)
其中Z表示对以像素O'，V')为中心的窗口内的所有像素求和，M^为权值，取 为
，=exp(-~
其中d(^,V;)是像素(",，V"到窗口中心(z/，/)的距离，^取为窗口直 径。
对G(《,")进行线性Taylor展开
G(";.，v》=G(W,，v》+ ③
其中
〖'一 3G(M，V)
w 5w
v=v 乂'
将公式(3)带入公式(2)，并令
￡r = o， "o,i，..,，5
可以得到一个线性方程系统
Gx = b (4)
其中向量x-[A^ …A^]7是待定参数。
设一个三维点X在模板图像上的像素坐标为(w'，/)，根据数码相机成像模 型得到X在待匹配图像G上的像素坐标表示为
其中《(q>和《,(Q)表示成像模型。建立最小二乘目标函数
Av, j, z) = 0* +-尸 (X))2 + (v* + Av - A(X))2 将《(X)和《(X)做一阶Taylor展开
(5)
(6)
(7)
《,(X)=《(X") +1 Ar + * A少+ § Az 《(X)=《(X。 ) +1 Ax + * Ay + f" Az
将公式(7)带入公式(6)并令i = 0 ，其中A , / = 0,1， ， 4分别代表
Aw，Ai;，x，乂z，可以得到一个线性方程系统
Bx, = t (8)
其中向量x, Av Ax A少 Az]'为待求的未知量。
公式(4)和公式(8)分别代表了图像灰度信息和成像几何参数约束下的最小 二乘解，其中，Aw实际上就是Aa。， Av实际上就是A^。为此，对公式(4)和公
式(8)分别进行增广，得到
6i = b (9) Bi = t (10)
其中，i = [Aa。 …Aa5 Ax Ay Az]7'是待求的参数向量，其解为
i = (6' 6 + S7.6 /义)一 (6rb +『t / A) (11)
其中/l用于调节几何约束和灰度约束之间的权重，可以设定为l。由于问题本身 的非线性，转化为线性问题后需要迭代求解。迭代之前，首先通过图像特征提取 与匹配算法得到模板图像T和待匹配图像G之间最稳定的一对初始匹配点。设该 对初始点在模板图像上的坐标为(w',v')，在待匹配图像上的位置与("'，v')间的 视差为(Aw',Av')。则迭代的初始值设置为
a00 = =Av*X = fl40 = O,a,0 = a50 = 1 (12)
根据0/，v')和(Az/,aO，由双目立体视觉中的三角形原理可以计算(m',v')所对应的空间点坐标的初值X"，每次计算之后，可以得到增量解i，更新 & (A^0,l，…，5)和X(x，乂z)，再开始下一次的迭代计算。当解向量i当中的值
都足够小的时候，停止迭代,得到模板图像上像素0 V')的最终亚像素精度的
匹配位置及其对应的三维坐标X。根据(W',/)的最终匹配，由式(l)确定其周
围点的匹配初始值，再按照上述方法对其周围点进行亚像素精度的匹配优化和三 维点坐标优化，如此迭代求得模板图像中各像素对应的三维空间坐标。
在上述迭代过程中，还加入了一个对待匹配图像G进行灰度矫JH的过程，以 消除图像对间的灰度差异对图像匹配的影响，如图4所示。具体灰度矫正公式
为
其中G乂i7，F)为图像G中的07,"像素矫正后的灰度，G(i7，i7)为矫正前的灰度，
&和&分别表示图像T和图像G中当前窗口内图像灰度的方差， 和Wc则 分别表示图像T和图像G中当前窗口内图像灰度的均值。
本发明对摄取的第一立体图像对自动进行分析处理，提取该图像对中稳定的 特征点，并进而获得特征点的三维坐标，根据这些特征点的三维坐标进一步实现 多次不同视角下测量数据的拼合。实施例中具体采用的方法是通过在测场中布 置若干个黑色背景上的白色圆形标记点作为特征点，这些圆形标记点在图像中成 像为椭圆，通过亚像素边缘提取算法可以稳定地提取出成像椭圆的亚像素精度的 中心，利用视差梯度约束和极线约束，采用迭代松弛法，建立两幅图像上提取出 的亚像素精度椭圆中心之间的对应匹配，在此基础上根据双目立体测量的三角形 原理，就可以计算出各圆形标记点中心的三维坐标。两次测量中只要有三个以上 共同的不共线的特征点，就可以利用三点唯一确定一个坐标系的原理和最小二乘 法，得到两次测量的点云数据间的坐标变换，实现多次测量数据的拼合。
权利要求
1.一种基于瞬时随机光场的三维曲面测量装置，其特征在于该装置包括两个数码相机组成的双目立体相机对(1)、一个控制电路板(2)、一个瞬时随机光场投射装置(3)、一台电脑(4)以及一块标定板错误！未找到引用源。，两个数码相机(1)和投影装置(3)与控制电路板(2)相连接，控制电路板(2)和电脑(4)由控制线连接，双目立体相机对(1)和电脑(4)由数字线连接；瞬时随机光场投射装置(3)将一幅随机的黑白二值数字图像转移到具有透光效果的物理介质上，光线照射在该物理介质上，并通过投影镜头，在被测物体表面产生随机光照。
2. —种采用权利要求1所述的基于瞬时随机光照的三维曲面测量装置的测量 方法，其特征在于包含以下歩骤a. 测量前利用平面标定板(5)对双目立体相机对(l)的固有成像参数和结 构几何参数进行标定；b. 测量时电脑(5)通过控制电路板(2)启动双目立体相机对(l)同步摄取一个 没有辅助光场投射的立体图像对，之后控制电路板(2)立即启动随机光场投射装 置(3)，瞬间在被测物体表面产生随机光照并持续毫秒级时间，这时双目立体相 机对(l)再次同步摄取被测物体在随机光场照射下的立体图像对；c. 电脑自动对歩骤b拍摄的被测物体在随机光场照射下图像对进行分析处 理，获得被测物体表面密集的三维点坐标；d. 电脑自动对步骤b拍摄的没有辅助光场照射下的立体图像对进行分析处 理，获得图像中稳定的特征点的三维坐标，用于多次测量数据的拼合。
3. 如权利要求2所述的基于瞬时随机光照的三维曲面的测量方法，其特征在 于，在第c歩中，自动对随机光场照射下的立体图像对进行分析处理获得被测物 体表面密集的三维点坐^^的方法，包含以下步骤① 综合图像特征点匹配算法以及区域匹配算法确定一个初始匹配点，② 结合灰度信息和摄像机成像几何约束，在局部窗口内采用加权最小二乘 法对初始匹配进行亚像素精度迭代优化，同时获得匹配点的三维坐标；迭代过程 中根据两幅图像当前窗口内的图像灰度的均值和方差，对待匹配窗口进行灰度矫 正，以消除两幅图像之间整体灰度差异的影响，③ 根据步骤②得到的最终匹配，确定该已匹配点的周围点的初始匹配， 对步骤③中的初始匹配再按照歩骤②中的方法进行亚像素精度优化，如此迭代求得各像点对应的三维空间坐标。
全文摘要
基于瞬时随机光照的三维曲面测量装置及方法由两个数码相机、一个控制电路板、一个瞬时随机光场投射装置、一台电脑和一个标定板组成，电脑通过控制板控制两个相机同步摄取一个没有辅助光线投射的立体图像对，然后立即启动投影装置，投射出一幅纯随机的图像到被测物体表面，两个相机再次同步摄取被测物体在随机光场照射下的立体图像对；第一个立体图像对用于多视角测量拼合和产生三维模型的纹理；根据被测物体在随机光场照射下的立体图像对(第二个立体图像对)，在几何和灰度约束下采用加权最小二乘法建立像点间的亚像素对应，同时获得密集的三维点云。该方法具有测量持续时间短、结构简单、易于实现、适应现场测量的特点。
文档编号G06T7/00GK101373135SQ20081012290
公开日2009年2月25日 申请日期2008年7月1日 优先权日2008年7月1日
发明者刘胜兰, 辉 张, 张丽艳, 王宏涛, 陈鉴富 申请人:南京航空航天大学