专利名称：带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法
技术领域：
本发明涉及摄影术，并且特别涉及一种用于获取带有数据注释的全向图像和3维数据的方法和装置，以及动态范围扩展方法。
本申请被授权得到于2001年2月9日在美国提交的临时专利申请序号No.60/267,761的利益。
背景技术：
对于捕获和重建位于某一个位置上的人类视觉体验已经做了很多努力。全向拍摄是有效重建特定时刻某一个位置上的视觉体验的一种方法。全向拍摄可以覆盖水平360度且垂直180度，以便覆盖从拍摄视点出发的整个球状视野。
但是，为捕获和重建人类视觉体验，致力于捕获水平观察区域的临近区域比尽量覆盖整个球状视野更有效。因此，省略球状视野的上部和下部的全景图像仍被广泛或普遍地使用。
目前，用于捕获全向图像的现有技术方法可如下分类(a)使用非平面反光镜和照相机覆盖大约半球视角的方法；(b)使用多个平面反光镜和多个照相机覆盖更宽视角的方法；(c)通过连接随着照相机旋转而获取的多个图像来生成全景图像的方法；(d)产生随着行扫描照相机旋转获取的单个图像的方法(http//www.e-pan.com/index.html)；(e)通过多个照相机所获取的多个图像来覆盖更宽视角的方法，上述照相机中的每一个覆盖不同的视角(例如美国专利5,023,725)；和(f)使用具有鱼眼式镜头的照相机来覆盖大约半球视角的方法(例如美国专利5,185,667)。
上述每种方法本质上都具有优点和缺点。由于方法(a)和(f)试图使用单个照相机覆盖很宽的视角，所以它们倾向于产生低分辨率图像，除非照相机的图像传感器特别大。方法(b)不使用很大的反光镜，就难以覆盖宽垂直视角。方法(c)和(d)在照相机旋转时间内捕获全向图像，以致于在方法(c)中运动对象是在多个图像的不同位置上捕获的，或者在方法(d)中使运动对象失真。方法(e)使用多个照相机，以覆盖更宽的视角。在方法(e)中，随着照相机数目的增加，每个照相机可以覆盖较小的视角，并且极大地提高整个图像的分辨率。
但是，当采用方法(e)的图像捕获设备被安装到以正常驾驶速度运动的车辆上并捕获图像时，就难以精确控制该图像捕获设备中的每个照相机。
在快速运动的同时，某些所期望的对图像捕获的精确控制是(1)在所期望的拍摄位置上所有照相机的触发精确同步，和(2)不会造成运动模糊的面向不同方向的照相机的最佳曝光量的调整。
发明内容
本发明旨在通过在所期望的拍摄位置上给每个照相机精确发送触发信号，并且通过根据增益、偏移和曝光时间，计算每个照相机的最佳曝光量且给每个照相机发送曝光信号，来消除在应用中特别是在方法(e)中出现的问题。为精确确定所期望的拍摄位置，根据本发明的装置在运动的同时，使用GPS(全球定位系统)传感器、距离传感器和方向传感器来测量当前位置。
本发明也能够获取全向3维数据以及进行图像获取装置的动态范围扩展。
本发明的第一目的在于提供一种使用多层照相机组模块的带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法，上述方法和装置能够以对于相同对象的不同拍摄角度，来全向拍摄该装置的周围对象，以便获取3维数据。
本发明的第二目的在于提供一种使用多层照相机组模块的带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法，上述方法和装置也能够以不同曝光量获取相同对象的图像，以便扩展图像数据获取装置的动态范围。
本发明的第三目的在于提供一种带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法，该方法和装置注释所拍摄图像的拍摄位置和拍摄时间，以便该图像数据能够被用作地理信息，并且能够与其他GIS(地理信息系统)数据库中的其他地理信息结合使用。
本发明的第四目的在于提供一种使用多层照相机组模块的带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法，该方法和装置能够使相关的图像数据处理算法提高3维数据获取的计算速度。
为实现上述目的，全向图像和3维数据获取装置包括多照相机模块，其是以多个照相机对于平面上的特定点对称排列的方式构造的，每个照相机负责每个所分角度，以便照相机模块可以拍摄特定点的周围对象的全向连续全景照片；第一帧抓取器(grabber)，其每一个都与多照相机模块的每个照相机电连接，用于按帧抓取所拍摄的图像；曝光量计算器，其与第一帧抓取器电连接，用于基于按帧抓取的图像，计算每个照相机的曝光量；曝光信号发生器，其与每个照相机电连接，用于基于曝光量计算器计算的曝光量，将有关曝光信息作为信号发送；存储部件，其与每个第一帧抓取器电连接，用于根据拍摄位置和拍摄时间，存储照相机所拍摄的图像；GPS传感器，用于检测拍摄位置和拍摄时间；注释输入单元，其与GPS传感器电连接，用于基于GPS传感器的检测数据，计算与每一帧相对应的位置和时间，该注释输入单元与存储部件电连接，以便将所计算的每一帧中的位置和时间作为注释输入；触发信号发生器，其与存储部件、曝光信号发生器、注释输入单元电连接，该触发信号发生器给曝光信号发生器或注释输入单元选择性地发送触发信号，以便照相机根据触发信号开始拍摄对象；以及其中，垂直叠放或移位多照相机模块，以便沿高度方向形成至少两层。
该装置还包括多个光强度传感器，其与曝光量计算器电连接，用于使得曝光量计算器能够基于外部光强度，计算每个照相机的曝光量。
在该装置中，其中存储部件是包含硬盘、光盘、磁带和存储器的数字存储设备中的一个。
该装置还包括音频数字转换器，其与存储部件电连接，音频数字转换器将音频传感器检测的音频信号转换成数字信号作为音频剪辑(clip)，以便相应地附在每个图像或者图像组上，并被存储在该存储部件中。
该装置还包括摄像机，其经第二帧抓取器与存储部件电连接，上述第二帧抓取器用于按帧抓取所拍摄的运动图像，对于该存储部件，对应于每个图像或图像组的特有视频剪辑被存储在该存储部件中。
在该装置中，其中多照相机模块还具有至少一个位于其顶部的照相机，以便可以向上拍摄对象。
该装置还包括其上安装多照相机模块的移动工具，能够用于在移动的同时，进行照相机模块的连续全景拍摄。
该装置还包括距离传感器和方向传感器，分别用于检测每个照相机所拍摄的图像的距离和方向。
为实现上述目的，根据本发明的用于获取3维数据的方法包括如下步骤获取多个照相机沿高度方向所拍摄的对象的多个图像，多个多照相机模块沿高度方向放置，多照相机模块包括多个照相机，其相对于平面中的特定点对称排列，并且负责每个分配的视角，该视角是通过将360度除以照相机数目而计算出来的；搜索每个图像中的相应点；使用三角法提取距离信息；以及基于该距离信息获取3维数据。
为实现上述目的，根据本发明的用于扩展图像的动态范围的方法包括如下步骤获取对象的多个图像，该多个图像是由具有彼此不同的曝光量的多个照相机拍摄的，多个多照相机模块沿高度方向放置，多照相机模块包括多个照相机，其相对于平面上的特定点对称排列，并且负责每个分配的视角，该视角是通过将360度除以照相机数目而计算出来的；选择性地提取多个图像中的区域，其中，该区域包括在照相机的动态范围内；以及获取动态范围扩展的图像，其是通过组合该提取的区域而产生的。
在随后的说明书中，部分地阐明了本发明的其他优点、目的和特征，并且对于本领域普通技术人员来说，在考察下列内容之后或者在本发明的实践中，可以清楚地看出和理解本发明的其他优点、目的和特征。通过在书面说明书和本权利要求书以及附图中所特别指出的结构，能够实现和达到本发明的目的和其他优点。
本发明的示例性实施例，并且与说明书一起用来说明本发明的原理。上述附图可以提供对本发明的进一步理解，其包含在本申请中并构成本申请的一部分。在附图中图1说明根据本发明的第一实施例的全向3维图像数据获取装置的系统结构；图2A说明根据本发明的多照相机模块的第一示例性实施例；图2B说明根据本发明的多照相机模块的第二示例性实施例；
图2C说明根据本发明的多照相机模块的第三示例性实施例；图2D说明根据本发明的多照相机模块的第四示例性实施例；图2E说明根据本发明的多照相机模块的第五示例性实施例；图2F说明根据本发明的多照相机模块的第六示例性实施例；图3说明根据本发明的第二实施例的全向3维图像数据获取装置的系统结构；图4是说明本发明的多照相机模块被设置在机箱内的透视图；图5说明本发明的全向3维图像数据获取装置被安装在移动工具上的第一示例性实施例；图6说明本发明的全向3维图像数据获取装置被安装在移动工具上的第二示例性实施例；图7是说明根据本发明的用于获取3维数据的方法的流程图；图8说明根据本发明的用于使用所拍摄的图像来扩展照相机系统的动态范围的方法；图9是说明根据本发明的动态范围扩展方法的流程图；图10是说明根据本发明的球面坐标的透视图，该球面坐标被设置在多照相机模块上以应用图像处理算法；图11是说明图10的坐标上部的平面图；图12是说明根据本发明的用于应用图像处理算法的两层球面坐标的透视图；图13说明根据本发明的利用柱面投影的全景缝合(panorama stitching)原理；图14说明根据本发明的利用球面投影的全景缝合原理；图15是说明根据本发明的全向3维图像数据获取装置使用核面几何(epipolar geometry)获取3维深度数据的过程的流程图；图16说明根据本发明的示出使用球面坐标得到3维深度信息的原理的第一结构；图17说明根据本发明的示出使用旋转和校准的球面坐标得到3维深度信息的原理的第二结构；图18说明根据本发明的在经度和纬度上以2维数据结构的形式表示的球面图像表示法；
图19说明根据本发明的第一结构，其示出使用两组具有水平排列或水平移位的4个照相机的多照相机模块，来实现3维数据获取的原理；图20说明根据本发明的第二结构，其示出使用以垂直排列或垂直移位的方式设置的两层多照相机模块，来实现3维数据获取的原理；图21说明根据本发明的第三结构，其示出使用垂直排列或垂直移位的方式设置的三层多照相机模块，来实现3维数据获取的原理；图22说明根据本发明的第四结构，其示出使用垂直排列或垂直移位的方式设置的六层多照相机模块，来实现3维数据获取的原理；图23说明根据本发明的用于解释利用光流(optical flow)进行3维数据获取的多照相机模块的示例性设置；图24说明根据本发明当多照相机模块拍摄对象时该对象所对应的特定点；图25说明根据本发明由多照相机模块获取的图像所示出的光流；图26说明根据本发明在所拍摄的对象和多照相机模块组之间的核面(epipolar plane)；图27说明根据本发明的对多照相机模块的光流相对于核面的斜面的深度影响(depth effect)；图28是说明通过本发明的全向3维图像数据获取装置的位移来获取关于特定特征点的3维数据的原理的透视图；和图29说明当本发明的全向3维图像数据获取装置在移动的同时拍摄对象时对该对象进行特征跟踪的原理。
具体实施例方式
现在将详细参照本发明的优选实施例，并在附图中示出其示例。
图1说明根据本发明的第一实施例的全向3维图像数据获取装置的系统结构，图2A到2F说明根据本发明的多照相机模块的各种示例性实施例。
参照图1和图2A到2F，全向3维图像数据获取装置100包括多照相机模块10和与多照相机模块10电连接的计算机观察系统30。如此构造多照相机模块10相对于在中心的特定点对称排列多个照相机11，以便多照相机模块10可以360度全向拍摄对象200的照片。
这里，垂直叠放或者移位具有多个照相机的每个多照相机模块10，以便形成并且形成多层。形成多层的每个多照相机模块10能够通过改变对象200的视角和生成对象200的图像，来拍摄与其高度相对应的对象200。因此，通过合并来自每个多照相机模块10的多个照相机11的图像，图像获取装置可以获取3维数据。同时，如果叠放的多照相机模块10的每个照相机11使用不同曝光量拍摄对象200，那么，该装置就能够扩展动态范围。
计算机观察系统30将每个照相机11所拍摄的图像作为数字数据存储。计算机观察系统30的第一帧抓取器31按帧抓取多照相机模块10所拍摄的图像。注释输入单元35利用相应的拍摄位置和时间，输入与该图像相对应的注释，并且存储部件32存储具有注释的图像。
在装置100中，如此构造多照相机模块10多个照相机11的光轴被放置在相同的平面上，并且多个照相机11相对于在中心处的特定点对称排列。
每个照相机11负责每个所分的全向角度，以便能够使用全景拍摄技术实现360度拍摄。例如，在4个或5个照相机11构成多照相机模块10的情况下，每个照相机11负责大约90度或72度的角度。此外，叠放或者移位多个多照相机模块10以形成多层，以便允许多照相机模块10的多个照相机11能够沿高度方向从不同的拍摄角度拍摄对象200的图像。为此，多照相机模块10的多个照相机11沿高度方向排列。
此外，关于分层叠放的多照相机模块10，最上层多照相机模块10还包括如图2C、2D和2F所示的一个照相机11。设在多照相机模块10的顶部的该照相机11具有向上的拍摄方向，以便多照相机模块10可以实现向上的拍摄和全向拍摄。
第一帧抓取器31按帧抓取多照相机模块10的多个照相机11所拍摄的图像。当一个多照相机模块10对应于一层时，第一帧抓取器31分别与构成各层的每个照相机11相连。第一帧抓取器31按帧抓取的图像被存储在存储部件32中，并且，被同时发送到曝光量计算器33。可以从包含硬盘、光盘、磁带和存储器的数字存储设备中选择存储部件32，其将所拍摄的图像作为数字数据存储。
曝光量计算器33分析从第一帧抓取器31发送给曝光量计算器33的图像，从而计算每个照相机11的适当曝光量。将所计算的曝光量发送给与曝光量计算器33电连接的曝光信号发生器34。曝光信号发生器34基于该曝光量，给每个照相机11发送与每个照相机11应该曝光的程度相对应的信号。此时，使用GPS传感器20可以得到诸如拍摄位置和时间、距离和每个照相机11的方向等的地理信息，该GPS传感器20能够从卫星实时采集位置信息。
除GPS传感器20，还可以包含距离传感器37a和方向传感器37b以得到拍摄距离和方向。GPS传感器20可以从卫星实时接收位置数据，以便实时确认位置信息。但是，当在GPS信号可能被诸如高楼、隧道、森林等阻断的地区进行拍摄时，来自卫星的GPS信号可能会被切断。
如果如上所述，GPS信号的有效性显著恶化，那么距离传感器37a和方向传感器37b所检测的信号被用作辅助信息。
注释输入单元35与GPS传感器20、距离传感器37a和方向传感器37b电连接，以便接收由传感器20，37a和37b检测的地理信息数据。注释输入单元35输入与要存储在存储部件32中的每一帧相对应的注释。该注释是拍摄位置、方向和所拍摄图像的每一帧的拍摄时间。其中按帧输入注释的图像被存储在存储部件32中。这里，在照相机11拍摄之后或者在照相机11拍摄并发送到存储部件32的同时，存储部件32存储从照相机11发送的图像。此外，需要彼此相关地执行与存储和拍摄操作相关的传感器20、37a和37b的检测操作，以及诸如有关照相机11的曝光信息的计算和交换的操作。
当触发信号发生器36给曝光信号发生器34发送触发信号时，开始执行拍摄和存储操作以及与其相关的操作。
同时，触发信号发生器36与距离传感器37a和注释输入单元35电连接。
当注释拍摄位置和时间时，首先使用从GPS传感器20发送到注释输入单元35的地理信息。
如果GPS传感器20的有效性恶化，注释输入单元35使用距离传感器37a和方向传感器37b检测的信号来计算位置信息。
当存储部件32中的图像存储速度低于图像的获取速度时，触发信号发生器36的触发信号可以被暂时阻塞到曝光信号发生器34，以便图像存储操作跟上图像获取操作。
同时，存储部件32还与音频数字转换器38或摄像机39相连，以便将相应的音频剪辑或视频剪辑作为附属数据附在要存储在存储部件32中的每个图像或者每组图像上。音频数字转换器38将音频传感器38a检测的模拟音频信号转换成数字信号，以将其作为数字数据存储在存储部件32中。摄像机39在某一拍摄位置或以某一拍摄位置间隔来拍摄对象200的运动图像，其对应于所拍摄图像或所拍摄的图像组。第二帧抓取器39a按帧抓取运动图像，以将其存储在存储部件32中。
图3说明根据本发明的第二实施例的全向3维图像数据获取装置的系统结构。
参照图3，曝光量计算器33计算每个照相机11的曝光量。曝光信号发生器34将所计算的曝光信息发送给每个照相机11。这里，光强度传感器33a与曝光量计算器33电连接，以检测拍摄位置周围或者要拍摄的对象200之前的光强度。
因此，从光强度传感器33a发送的光强度检测信号被传送给曝光量计算器33，其计算每个照相机11的适当曝光量。通过曝光信号发生器34，将所计算的曝光量作为信号发送给每个照相机11。每个照相机11基于该曝光信号，控制其曝光量。
图4是说明本发明的多照相机模块被设置在机箱内的透视图，图5说明本发明的全向3维图像数据获取装置被安装在移动工具上的第一示例性实施例，图6说明本发明的全向3维图像数据获取装置被安装在移动工具上的第二示例性实施例。
参照图4到图6，多照相机模块10和计算机观察系统30被安装在具有移动功能的移动工具60上，以便在移动的同时拍摄对象200。多照相机模块10被设置在特定机箱40的内部，以保护其主体并仅将其镜头部分暴露在外部。机箱40的底部由支架50支撑，以将其升到特定高度，并且通过设置在移动工具60内的升降器70上下移动机箱40。移动工具60最好是具有驱动引擎的汽车，或者是能够通过人力移动或者通过其自身电源驱动的手推车。当照相机模块10在可行驶的公路上移动的同时拍摄对象200时，就使用汽车，而在照相机模块10在室内区域的人行道或走廊上移动的同时拍摄对象200时，就使用手推车。
图7是说明根据本发明的用于获取3维数据的方法的流程图。
如图7所示，首先，根据本发明的多照相机模块10包含多个照相机11，其相对于特定点彼此对称排列，并且其光心位于相同的水平面内。为获取3维数据，多照相机模块10被叠放或移位以便沿高度方向构成多层，同层照相机11的光轴是共面的，并且沿高度方向的面向相同方向的照相机11的光心在同一条线上。包含在每个形成多层的多照相机模块10中的所有照相机11根据高度方向拍摄或获取对象200的多个图像(S1100)。由于照相机11之间的高度差，所以对于相同对象200，每个照相机11所拍摄的图像都彼此不同。然后，该装置匹配图像中的相同对象200的特征点(S1200)，并通过使用几何三角法测量特征点的距离，来提取图像的距离信息(S1300)。然后，该装置基于所提取的距离信息来获取3维数据(S1400)。
图8说明根据本发明使用所拍摄的图像来扩展照相机系统的动态范围的方法。
参照图8，三个垂直分层的多照相机模块10使用不同的曝光量来拍摄相同对象200的3个图像。
每个照相机11具有有限的动态范围，因此，如果对象200的区域比动态范围的上限亮时，就将该区域记录为白色，并且如果对象200的区域比动态范围的下限暗时，就将该区域记录为黑色。在这两种情况下，都丢失了该区域的图像细节。如果照相机11使用不同的曝光量来记录相同的对象200，即使该对象200区域的亮度超过照相机11的动态范围，其他具有不同的曝光量的照相机11可以在动态范围内检测该区域。每个照相机11可以详细拍摄对象200的不同部分，并且通过从图像中选择较好区域(region)，来组合较好的图像。
图9是说明根据本发明的动态范围扩展方法的流程图。
如图9所示，为扩展动态范围，沿高度方向构造3组或3层多照相机模块10。这里，每组或每层多照相机模块10具有在平面上对称安装的多个照相机11，并使每个照相机11的光心在相同的平面上且位于特定点。此外，通过将360度除以照相机11的数目，来分配每个照相机11的视角。
然后，设有不同曝光量的每个照相机11拍摄对象200，从而在步骤S2100中获取来自多个照相机11的同一对象200的多个图像。
在所拍摄的多个图像中的每一个中选择性地提取适当曝光的区域。也就是说，在步骤S2200中，根据白平衡(white balance)和记录在该区域中的细节，在明确拍摄的图像中可能地选择适当曝光的区域。
因此，在步骤S2300中，在组合所提取的区域之后，就获得了动态范围已被扩展的最终图像。
即使上述方法使用3组多照相机模块10来获取动态范围扩展图像，应该容易理解可以使用任何数目的两个或多个照相机11来扩展动态范围。
图10是说明根据本发明的球面坐标的透视图，该球面坐标被设置在多照相机模块上，以应用图像处理算法。
具有多个照相机的广角或全向多照相机模块10可以具有多个光心。每个照相机11具有其自己的光心和有效视角，以便覆盖部分球面坐标。对于照相机11所覆盖的视角，全向图像传感器具有单个光心。在该示例性实施例中，初始采用和校准4个不同的球面坐标。即使该示例示出4个照相机11，应该明白可以使用任何数目的照相机11，而不用修改所公开的方法。这些球面坐标可以被旋转到任何方向，以便与成对的照相机11结合来更有效地应用核面几何。
图11是说明图10的坐标上部的平面图。
在该示例性实施例中，具有120度有效视角的4个照相机11使用一些重叠的视角来覆盖360度全景。
图12是说明根据本发明的用于应用图像处理算法的两层球面坐标的透视图。
该垂直排列在捕获水平360度全景图像中具有优势，这种图像是包含深度信息的人类的自然观察方向。设置球面坐标，以便使其轴和沿高度方向成对的两个照相机11的光心之间的连线共线。该球面坐标排列在应用核面几何中具有优势，该核面几何用于搜索两个图像之间的相应点。所述球面坐标的经线成为从成对的两个照相机11所拍摄的两个图像的核线(epipolar line)。
图13说明根据本发明的利用柱面投影的全景缝合原理，图14说明根据本发明的利用球面投影的全景缝合原理。也就是说，图13和14示出使用六面汇集图像的柱面投影或者球面投影的示例性全景图像生成。在展现之前，柱面或球面图像被映射到圆柱或球的表面，然后展现给用户，就像是通过计算机显示器上的观察器软件的窗口从圆柱或球的中心看到的。图13中的虚线示出从每个照相机11的光心投影的有效范围。
图15是说明根据本发明的由全向3维图像数据获取装置使用核面几何获取3维深度数据的过程的流程图。也即，图15示出使用球面坐标排列及应用核面几何的从图像数据获取到3维数据提取的步骤。该方法包括如下步骤假设球面坐标，其中，球面坐标的中心被设置成照相机11的投影中心，并且球面坐标的轴和照相机11的光轴共线(S100)。
通过经验校准或数学校准，来发现球面坐标上的点和照相机11的图像平面上的点之间的映射表和函数(S200)。
通过2个2D图像获取位置之间的小位移，来获取相同场景的2个图像(S300)。
使用映射表或函数，将这些2D图像映射到两个球的表面(或用来表示球的某些数据结构)(S400)。
在步骤S500中，旋转这些球的所述球面坐标，以使其轴和成对照相机11的光学投影中心之间的连线共线，并使两个球面坐标的0°经度在相同的方向上。
在步骤S600中，将核面几何应用于所述两个图像之间的相关点。
在步骤S700中，通过三角测量来确定相关点的空间位置。
此外，重复从S300到S700的步骤能够获取更多图像。
图16说明根据本发明的示出使用球面坐标得到3维深度信息的原理的第一结构，图17说明根据本发明的示出使用旋转和校准的球面坐标得到3维深度信息的原理的第二结构。也就是说，图16和图17说明从2个照相机11所拍摄的2个图像中提取3维深度信息的原理。这里，将每个照相机11的球面坐标S1、S2设置成照相机11的光心，并且球面坐标的轴和照相机11的光轴是共线的，且为所述球面坐标校准每个照相机11的映射查找表。
使用该初始球面坐标，两对照相机11之间的核面与其所述球面坐标的经线不是共面的。为使经线和核面共面，执行所述球面坐标的坐标旋转。通过将旋转功能函数应用于每个点，就可以旋转球面坐标。将旧坐标上的每个点一一映射到新坐标上的点。
图17说明通过坐标旋转得到的被设置给每个照相机11的新坐标，其中，坐标的中心分别是光心C1和C2，并且经线和核面是共面的，其中将每个球面坐标的0°经度调整到相同的方向上。
图18说明根据本发明的在经度和纬度上以2维数据结构的形式表示的球面图像表示法。也就是说，图18说明2个球面图像的示例性2维表示法。这里，X轴代表经度，且Y轴代表纬度。使用该表示法，经线就像是与Y轴平行的直线。
该表示法可以被直接映射到用于快速计算的2维矩阵。一些核(经度)线可以被存储在存储器的连续块中，这些块可以被更快地处理。当执行球面坐标旋转时，原始2维矩阵中的每个像素被映射成用于表示旋转后的球面坐标的新2维矩阵中的每个像素。
图19说明根据本发明的第一结构，其示出使用两组具有水平排列或水平移位的4个照相机11的多照相机模块10来得到3维数据获取的原理。
为确定对象200A的3维数据，使用照相机11 S1和S5。照相机11 S1和S5的球面坐标被适当旋转以与其基线校准，该基线包含照相机11 S1和S5的投影中心。
为确定对象200B的3维数据，使用照相机11 S3和S7。照相机11 S3和S7的球面坐标被适当旋转以与其基线校准，该基线包含照相机11 S3和S7的投影中心。
如果对象200A相对于多照相机模块10移动，从而从位置A移到另一位置A’，那么它就超出照相机11 S1的有效范围。在这种情况下，使用一对新照相机11 S2和S5，以便跟踪对象200A的移动，从而能够无缝跟踪对象200A。这是具有多照相机模块10的该全向照相机系统的另一新优点。
图20说明根据本发明的第二结构，其示出使用以垂直排列或垂直移位的方式设置的两层多照相机模块10得到3维数据获取的原理。如图20所示，全向照相机系统包括垂直排列或移位的各包含4个照相机11的两组或两层多照相机模块10。两个照相机11之间的基线和距离是固定的。球面坐标被设置成其坐标的中心是每个照相机11的光学投影中心，且核面和经线是共面的。该坐标排列在核线搜索中具有优势，因为经线变成核线。可以从两个球面坐标之间的对象200A的拍摄角度差值中计算出对象200A的深度信息。
图21说明根据本发明的第三结构，其示出使用垂直排列或垂直移位的方式设置的三层多照相机模块10得到3维数据获取的原理。如图21所示，全向照相机系统包括垂直排列或移位的各包含4个照相机11的三组或三层多照相机模块10。
计算距离的方法与两个照相机11的情况相同，但是三个照相机11提供更精确的距离信息，因为在最长基线距离与两个照相机系统的相同或更大时，两个相邻图像的不一致更小。
在两个图像之间的距离计算中，不一致量越小，特征点匹配就越精确，其中不一致量随照相机11的短基线距离一起出现。
但是照相机11的短基线距离会增加距离计算中的不精确性，因为即使不一致检测中的小误差也会产生大量的深度误差。3个照相机11的矩阵可以降低2个相邻图像之间的不一致量，以便在保持与两照相机系统相同的最长基线距离的同时，使点匹配更精确。
图22说明根据本发明的第四结构，其示出使用垂直排列或垂直移位的方式设置的六层多照相机模块到3维数据获取的原理。如图22所示，全向照相机系统包括垂直排列或移位的各包含4个照相机11的六组多照相机模块10。
通过增加多照相机模块10的数目，该系统可以增加最大基线距离，而不会增加相邻图像的不一致量。同时，来自多个照相机11的图像产生对象200的光流，其可以被用来确定对象200的深度。
图23到27说明根据照相机11的矩阵所获取的光流进行3维检测的原理。
图23说明根据本发明的用于解释使用光流进行3维数据获取的多照相机模块的示例性设置。也就是说，图23示出用于解释该原理的对象200和照相机11的示例性设置。线性排列照相机11，且其姿态相同，其光心位于相同的基线上。
图24说明根据本发明的当多照相机模块拍摄对象时该对象所对应的特定点。也就是说，图24说明从每个照相机11对对象200上的几个特征点进行观察的方向。例如，从每个照相机11A到F对点a的观察方向从右向左逐渐改变。
图25说明根据本发明由多照相机模块所获取的图像所示出的光流。也就是说，图25说明在照相机11A到F所拍摄的图像上的对象200的光流。照相机11A和F所拍摄的图像是完全不同的，但是照相机11B到E所拍摄的中间图像示出从照相机11A到F的对象的光流。
图26说明根据本发明在所拍摄的对象和多照相机模块组之间的核面。也就是说，图26说明该照相机11阵列的几个核面。
如图26所示，如果如图21所示设置每个照相机11的球面坐标，这些核面与相应的经线共面，因此就能够沿核线来搜索特征点匹配，上述核线是球面坐标的经线。
图27说明根据本发明的对多照相机模块的光流相对于核面的斜面的深度影响。也就是说，图27根据照相机11A到F所拍摄的图像来说明关于核面M的示例性光流，以便示出对象200的距离对光流的影响。
较近的对象200产生相对于Y轴的陡峭斜面，而较远的对象200产生相对于Y轴的平缓斜面。该图同时示出点(c，d)被点(a，b)之间的区域遮挡(occlusion)的情况。斜面的坡度确定对象200的深度。
图28是说明通过本发明的全向3维图像数据获取装置的位移来获取关于特定特征点的3维数据的原理的透视图。也就是说，图28说明移动全向照相机系统中的3维数据获取原理。例如，该移动系统可以用于获取城市3维建模的空间信息。通过对车辆的车轮旋转和方向变化进行计算，可以确定全向照相机系统的位移。通过应用三角法，由所跟踪特征点的观察方向的角距离中的变化和两个位置之间的照相机系统的位移就可以确定特征点的位置。利用垂直排列的照相机11的图像中的不一致，也可以确定所跟踪特征点的空间位置。这些深度信息的冗余源能够提高3维数据获取的精确性。
图29说明当本发明的全向3维图像数据获取装置在移动的同时拍摄对象时对该对象进行特征跟踪的原理。也就是说，图29说明城市环境中的3维数据获取的原理。城市结构大部分由垂直矩形平面构成，且线通常是垂直或者水平的。
如果在某一个位置上假设一个矩形平面，就可以沿着移动全向照相机系统的位移跟踪该矩形平面。这是比跟踪每个特征点更快的方法。当矩形平面的位置和姿态确定时，有关矩形平面的位置和姿态的信息也可以用于确定照相机11及其他图像的位置和姿态，其他图像也包括该矩形平面。
产业上的可利用性如上所述，在根据本发明的带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法中，即使在优选实施例中照相机11的数目是4到8，但是，安装在一个多照相机模块10上的照相机11的数目是随其体积的不同而可变的。此外，多照相机模块10的组数或层数是根据用户的需要而可变的。也就是说，多照相机模块10可以被垂直叠放或移位以形成一层或多层。
因此，全向图像和3维数据获取的方法和装置可以全向拍摄一个或多个对象，并获取其3维图像数据。同时，通过组合来自一个或多个多照相机模块10的多个照相机11的所获取的图像数据，该方法和装置可以扩展该图像的动态范围，上述多个照相机具有彼此不同的曝光量。
此外，该方法和装置将所获取的图像数据与诸如拍摄位置和拍摄时间的注释数据相关连，并生成与其他地理信息相关连的地理信息，并可用于其他地理信息系统，上述其他地理信息是在其他地理信息系统数据库中生成的。
该装置可被安装到移动工具中，以便在移动的同时，连续拍摄对象。
前述实施例仅仅是示例性的，并且不能被解释为对本发明的限制。本原理可被容易地应用于其他类型的装置。本发明的说明目的是用于示例性说明，而不是限制权利要求书的范围。多种替换、修改和变化对本领域技术人员来说是显而易见的。
由于可以在不背离本发明的精神和本质特征的情况下以几种形式体现本发明，所以应该理解上述实施例不被前述的任何细节限制，除非具体说明，而应被宽泛地认为是在如所附权利要求所限定的其精神和范围之内，因此所附权利旨在包含落在权利要求的集合和界限以及这些集合和界限的等同集合和界限内的所有的变化和修改。
权利要求
1.一种全向图像和3维数据获取装置，包括多照相机模块，其是以多个照相机相对于平面上的特定点对称排列的方式构造的，每个照相机负责每个所分角度，以便所述照相机模块可以拍摄所述特定点的周围对象的全向连续全景照片；第一帧抓取器，其每一个都与所述多照相机模块的每个所述照相机电连接，用于按帧抓取所拍摄的图像；曝光量计算器，其与所述第一帧抓取器电连接，用于基于所述按帧抓取的图像，计算每个照相机的曝光量；曝光信号发生器，其与每个照相机电连接，用于基于所述曝光量计算器计算的所述曝光量，将有关曝光的信息作为信号发送；存储部件，其与每个所述第一帧抓取器电连接，用于根据拍摄位置和拍摄时间来存储所述照相机所拍摄的图像；GPS传感器，用于检测所述拍摄位置和拍摄时间；注释输入单元，其与所述GPS传感器电连接，用于基于所述GPS传感器的检测数据，计算与每一帧相对应的位置和时间，所述注释输入单元与所述存储部件电连接，以便将所计算的位置和时间输入到每一帧中作为注释；和触发信号发生器，其与所述存储部件、所述曝光信号发生器、所述注释输入单元电连接，所述触发信号发生器给所述曝光信号发生器或所述注释输入单元选择性地发送触发信号，以便所述照相机根据所述触发信号开始拍摄所述对象；以及其中，所述多照相机模块被垂直叠放，并且沿高度方向形成至少两层。
2.如权利要求1所述的装置，还包括多个光强度传感器，其与所述曝光量计算器电连接，用于使得所述曝光量计算器能够基于外部光强度，计算每个所述照相机的所述曝光量。
3.如权利要求1所述的装置，其中所述存储部件是包含硬盘、光盘、磁带和存储器的数字存储设备中的一个。
4.如权利要求1所述的装置，还包括音频数字转换器，其与所述存储部件电连接，所述音频数字转换器将音频传感器检测的音频信号转换成数字信号作为音频剪辑(clip)，以便相应地附在每个图像或者图像组上以被存储在所述存储部件中。
5.如权利要求1所述的装置，还包括摄像机，其经第二帧抓取器与所述存储部件电连接，所述第二帧抓取器用于按帧抓取所拍摄的运动图像，对于所述存储部件，对应于每个图像或图像组的特有视频剪辑被存储在所述存储部件中。
6.如权利要求1所述的装置，其中所述多照相机模块还具有至少一个位于其顶部的照相机，以便可以向上拍摄对象。
7.如权利要求1所述的装置，还包括其上安装所述多照相机模块的移动工具，用于在移动的同时进行所述照相机模块的连续全景拍摄。
8.如权利要求1所述的装置，还包括距离传感器和方向传感器，分别用于检测每个照相机所拍摄的图像的距离和方向。
9.一种获取3维数据的方法，包括如下步骤获取所述照相机沿高度方向所拍摄的对象的多个图像，所述多照相机模块包括多个照相机，其相对于平面上的特定点对称排列，并且负责每个分配的视角，该视角是通过将360度除以所述照相机的数目而计算出来的；搜索每个图像中的相应点；使用三角法提取距离信息；以及基于所述距离信息获取3维数据。
10.一种用于扩展图像的动态范围的方法，包括如下步骤获取对象的多个图像，所述多个图像是由具有彼此不同的曝光量的照相机拍摄的，其中，所述多照相机模块包括多个照相机，其相对于平面上的特定点对称排列，并且负责每个分配的视角，该视角是通过将360度除以所述照相机的数目而计算出来的；选择性地提取所述多个图像中的区域，其中，所述区域包含在所述照相机的所述动态范围中；以及获取动态范围扩展的图像，其是通过组合所述提取区域而产生的。
11.一种全向图像和3维数据获取装置，包括多照相机模块，其是以多个照相机对于平面上的特定点对称排列的方式构造的，每个所述照相机负责每个所分角度，以便所述照相机模块可以拍摄所述特定点的周围对象的全向连续全景照片；升降器，用于垂直提升所述多照相机模块；第一帧抓取器，其每一个都与所述多照相机模块的每个照相机电连接，用于按帧抓取所拍摄的图像；曝光量计算器，其与所述第一帧抓取器电连接，用于基于所述按帧抓取的图像，计算每个照相机的曝光量；曝光信号发生器，其与每个照相机电连接，用于基于所述曝光量计算器计算的曝光量，将有关曝光的信息作为信号发送；存储部件，其与每个所述第一帧抓取器电连接，用于根据拍摄位置和拍摄时间来存储所述照相机所拍摄的图像；GPS传感器，用于检测所述拍摄位置和拍摄时间；注释输入单元，其与所述GPS传感器电连接，用于基于所述GPS传感器的检测数据，计算与每一帧相对应的位置和时间，所述注释输入单元与所述存储部件电连接，以便将所计算的位置和时间输入到每一帧中作为注释；和触发信号发生器，其与所述存储部件、所述曝光信号发生器、所述注释输入单元电连接，所述触发信号发生器给所述曝光信号发生器或所述注释输入单元选择性地发送触发信号，以便所述照相机根据所述触发信号开始拍摄所述对象。
全文摘要
带有数据注释的全向图像和3维数据获取的方法和装置以及动态范围扩展方法能够全向拍摄，获取由具有各自不同曝光量的照相机相对对象的高度方向而拍摄的3维图像，扩展动态范围，以及通过将诸如拍摄位置和时间的注释输入到所拍摄的图像中，来生成地理信息，该地理信息与其他地理信息系统数据库相关连。该装置包括一个或多个多照相机模块(10)，多照相机模块(10)沿高度方向叠放并形成多层，用于获取3维图像和扩展3维图像的动态范围，其中，每个多照相机模块(10)包含相对于平面上的特定点对称排列的多个照相机(11)。此外，该装置的多照相机模块与计算机观察系统(30)相连接，以便控制拍摄和存储(32)所拍摄的图像，并且能够被安装到移动工具上。
文档编号G06T3/00GK1531826SQ02807105
公开日2004年9月22日 申请日期2002年2月9日 优先权日2001年2月9日
发明者李求振, 权仁昭, 金浩原, 金俊植 申请人:李求振