专利名称：创建3维网络地图的方法和控制自动行进设备的方法
技术领域：
本发明涉及一种用于创建3维网格地图的方法，更具体地讲，涉及一种 通过利用立体全方位照相机辨别周围环境来创建3维网格地图的方法。
背景技术：
全方位照相机是利用旋转反射镜、聚光透镜和图像拾取装置同时在所有 方向上进行拍摄的照相系统，并且全方位照相机被应用到安全性设施、监控 摄像机(surveillance camera)和机器人视觉系统等。旋转反射镜可具有双曲 线形形状、球形形状、锥形形状或者它们的组合形状。电荷耦合器件(CCD) 或者互补金属氧化物半导体(CMOS)被用作图像拾取装置。被投射在图像 拾取装置的拾取表面上的图像(即，全方位图像)通过从旋转反射镜反射而 形成，并显示不适于观察的失真图像。因此，为了准确地观察图像，图像拾 取装置的输出坐标通过(例如)外部微处理器被转换，以产生新的全景图像。
通过全方位照相机获得的全方位图像提供了关于该照相机的周围的2维 信息。如果使用通过多个全方位照相机从不同方向拍摄的多个全方位图像， 则可以获得关于全方位照相机的周围的3维信息。包括多个全方位照相机的 图像设备被称作立体全方位照相机。通过使用立体全方位照相机来装备无人 驾驶车辆或者移动式机器人，由立体全方位照相机拍摄的全方位图像被用于 无人驾驶车辆或者移动式机器人的位置识别和地图的产生。
发明内容
因此，本发明的一方面在于提供这样一种方法，该方法能够在3维定位 和地图构建中在很短的时间内准确地识别3维位置并创建地图，以识别无人 驾驶车辆或者移动式机器人的当前位置和周围环境。本发明的其它方面和/或优点一部分在以下的描述中进行阐述， 一方面将 从描述中变得清楚，或者可以通过实施本发明而了解。
根据本发明，上述和/或其它方面可以通过提供一种用于创建3维网格地
图的方法被实现，该方法包括以下步骤利用立体全方位照相机获得周围的 全方位图像；利用所述全方位图像来确认当前的2维位置；执行全方位图像 的3维再现；通过将2维定位的结果和3维再现的结果结合来创建立体全方 位照相机的周围的3维网格地图。
使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。 可使用全方位图像的核线上的特征点来执行2维位置的确认。 可通过提取颜色边界获得特征点。 可使用3维再现的结果来获得3维网格的占据的程度。 如果由3维网格的体素占据的数超过预定数量，则对应的体素可被确定 为被占据。
根据本发明的另一方面，提供了一种用于控制自动行进设备的方法，该 方法包括以下步骤利用立体全方位照相机获取周围的全方位图像；利用所 述全方位图像来确认当前的2维位置；执行全方位图像的3维再现；通过将 2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3 维网格地图；基于所述3维再现来确定从当前位置到目标点的行进路径；控 制自动行进设备沿着所述行进路径行进到目标点。
使用全方位图像，通过2维定位和地图构建来执行2维位置的确认。 可使用全方位图像的核线上的特征点来执行2维位置的确认。 可通过提取颜色边界来获得特征点。 可使用3维再现的结果来获得3维网格的占据的程度。 如果由3维网格的体素占据的数超过预定数量，则对应的体素可被确定 为被占据。
通过下面结合附图对实施例进行的描述，本发明的这些和/或其它方面和 优点将会变得清楚和更加易于理解，其中
图1示出了根据本发明示例性实施例的立体全方位照相机 构造； 图2是示出图1中所示的立体全方位照相机的控制系统的框图；图3示出了由图1中的立体全方位照相机捕捉的图像； 图4示出了在图3中所示的两个全方位图像的全景图和视差图； 图5示出了根据本发明示例性实施例的立体全方位照相机的3维坐标提 取概念；
图6是示出根据本发明示例性实施例的定位和地图构建方法的流程图。
具体实施例方式
现在，将详细描述本发明的实施例，其示例在附图中被示出，其中，相 同的标号始终表示相同的元件。以下，将参照附图描述实施例，以解释本发明。
参照图1至图6描述用于创建3维网格地图的方法和利用该3维网格地 图来控制自动行进设备的方法的示例性实施例。当通过辨别无人驾驶车辆和 移动式机器人等的当前位置和周围环境来确定行进路径时，可以应用根据本 发明示例性实施例的用于创建3维网格地图的方法。该方法还可以被应用到 安全装置和监控装置等中。
全方位照相4几100包括4姿行布置并面向相同方向的第一全方位照相才几102和 第二全方位照相机104。虽然没有示出，但是第一全方位照相机102和第二 全方位照相才几04可以通过另外的固定单元一皮固定。
在第一全方位照相机102中，照相机模块102a面对旋转反射镜102b。 旋转反射镜102b反射第一全方位照相机102的外围360。的入射光，以使入射 光投射到照相机模块102a。照相机模块102a包括CCD 102c,以形成拾取表 面，并且照相机模块102a将在旋转反射镜102b处反射的入射光转换成电能， 从而产生图像信号。
第二全方位照相机104包括照相机模块104a和旋转反射镜104b。照相 机模块104a包括CCD 104c,以形成拾取表面，并且照相机模块104a将在旋 转反射镜104b处反射的入射光转换成电能，从而产生图像信号。
第一全方位照相机102和第二全方位照相机104的每个捕捉360。的视角 的图像(即，全方位图像)，以产生图像信号。但是，由于一个全方位图像仅 提供物体的2维信息，所以利用在不同位置捕捉的两个全方位图像来获得物 体的3维信息。
6方位照相机100的第一全方位照相机102和第二全方位照相机104电连接到 控制器202的输入端，以能够与控制器202通信。控制器202将从第一全方 位照相机102和第二全方位照相机104产生的电信号转换成图像信号，并从 通过图像信号获得的图像中创建立体全方位照相机100的周围的3维地图。 创建的3维地图被存储在存储器204中，并当立体全方位照相机100的位置 改变时被更新。如果无人驾驶车辆或者移动式机器人装备有立体全方位照相 机100,则通过从3维地图中识别无人驾驶车辆或者移动式机器人的当前位 置和周围地形来执行位置控制或者移动控制。
图3示出了由图1中的立体全方位照相机捕捉的图像。如图3所示，当 使用立体全方位照相机100来拍摄立体全方位照相机100的周围时，第一全 方位图像302通过第一全方位照相机102来捕捉，第二全方位图像304通过 第二全方位照相机104来捕捉。在本发明的示例性实施例中，获得了通过第 一全方位照相机102获得的第一全方位图像302的核线(epipolar line ) 306, 并且提取核线306上的特征点308以获得特征点308的2维坐标。使用特征 点308的2维坐标来创建3维网格地图。根据本发明的示例性实施例，使用 颜色边界提取方法来提取特征点308。
图4示出了在图3中所示的两个全方位图像的全景图和视差图。参照图 4,标号402表示第一全方位图像302的全景图，即，第一全景图，参考标号 404表示第二全方位图像304的全景图，即，第二全景图，参考标号406表 示第一全景图402和第二全景图404的立体匹配图(stereo matching map )， 即，视差图。在视差图406中，靠近立体全方位照相机100的物体表现得相 对明亮，远离立体全方位照相机100的物体显得相对暗。可以使用该亮度信 息(即，图像的深度)估计立体全方位照相机IOO和物体之间的距离。
图5示出了根据本发明示例性实施例的立体全方位照相机的3维坐标提 取概念。参照图5, b是基线，即，第一全方位照相机102和第二全方位照相 机104之间的距离，r'和r分别是旋转反射镜102b和104b的半径，p和p'是 各自全方位图像上的特征点，d'和d是第一全方位照相机102和第二全方位 照相机104与物体P之间的距离，a是第一全方位照相机102的中心和物体P 之间的连线与旋转反射镜102b所在的平面的夹角，p是第二全方位照相机104 的中心和物体p之间的连线与旋转反射镜或104b所在的平面的夹角。如图1所示，标号102c和104c分别表示第一全方位照相才几102和第二全方位照相 机104的拾取表面。
通过下面的等式(1 )获得第二全方位照相机104与物体P之间的距离d。 可以类似地获得第一全方位照相机102与物体P之间的距离d'。<formula>formula see original document page 8</formula>如果计算立体第二全方位照相机104与物体P之间的距离d，并且从图4 的全景图中计算物体P以立体全方位照相机100为基准的方位角，则可以获 得由下面的等式(2)表示的物体P的3维坐标P (X,Y,Z)。
<formula>formula see original document page 8</formula>
图6是示出根据本发明示例性实施例的定位和地图构建方法的流程图。 同时执行定位和地图构建被称为同步定位与地图构建(SLAM)。使用2维 SLAM 600a和3维SLAM 600b 二者来实现根据本发明示例性实施例的 SLAM。由于3维SLAM 600b需要大量的操作，所以结合2维SLAM 600a 和3维SLAM600b,从而减少操作的总数量，并提高定位和地图构建的速度。 如果在可以仅使用2维SLAM 600a可获得需要数据的情况下，仅执行2维 SLAM 600a，并且如果在需要3维SLAM 600b的情况下执行3维SLAM 600b， 则与当通过3维SLAM 600b获得全部数据时相比，所述操作的数量大大地减 少。用于定位的操作的数量的减少意味着能够更加快速地确认位置，还可以 意味着装备有立体全方位照相机100的自动行进设备(例如，无人驾驶车辆 或者移动式机器人)可以以更高的速度运动。
在2维SLAM 600a中，在步骤602中，分别使用立体全方位照相机100 的第 一全方位照相机102和第二全方位照相机104来获得第 一全方位图像302 和第二全方位图像304。在步骤604中，获取利用第一全方位照相机102获 得的第一全方位图像302的核线306,并且提取核线306上的特征点308。在 2维SLAM 600a中，获取特征点308的2维坐标。为此，使用3维SLAM 600b 的结果。
在3维SLAM 600b中，在步骤606中，通过第一全景图402和第二全景图404的立体匹配产生视差图406。在步骤608中，使用参照图5所述的方 法通过视差图406使立体全方位照相机100的周围的3维图像再现。
再参照2维SLAM 600a，在步骤610,通过将下面的等式(3)、等式(4) 和等式(5 )应用到立体全方位图像而获得被提取的特征点308的2维坐标。
足=肌——
z = +仏)
少
《
《 ft
在2维SLAM的等式(3)中，(A)是状态向量，^是输入向量，&是 输入误差，Z是测量值，《是测量误差。等式(3)的状态向量(^)由立体全 方位照相机100的位置和特征点308的2维坐标构成，如等式(4 )所示。等 式(5 )的测量值是由立体全方位照相机100测量的特征点的角度(方位角)。 使用等式(3)、等式(4)和等式(5),可以估计核线306上的特征点308的 位置和立体全方位照相才几100的位置。
如果根据本发明的立体全方位照相机IOO被安装在无人驾驶车辆、移动 式机器人等中，则立体全方位照相机可以运动。因此，在步骤612中，通过估计立体全方位照相机100的运动可以重新更新先前测量的2维坐标。
在步骤614中，通过将在2维SLAM 600a中获得的2维坐标的结果和在 3维SLAM 600b中获得的3维定位的结果结合，可以产生立体全方位照相机 100的周围的3维网格地图。如果由体素占据的数在指定的水平之上，则体 素被确定为被占据并且可以创建3维网格地图。如果在立体全方位照相机100 的视角领域内存在多个体素(即，如果可以确认占据或者不占据)，并且如果 由3维网格的体素占据的数超过预定数量，则对应的体素被确定为被占据。
虽然已经显示并描述了本发明的几个实施例，但是本领域技术人员应该 理解，在不脱离权利要求及其等同物限定其范围的本发明的原理和精神的情 况下，可以对这些实施例进行改变。
权利要求
1、一种用于创建3维网格地图的方法，包括以下步骤利用立体全方位照相机获得周围的全方位图像；利用所述全方位图像来确认当前的2维位置；执行全方位图像的3维再现；通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机的周围的3维网格地图。
2、 如权利要求l所述的方法，其中，使用全方位图像，通过2维定位和 地图构建来执行2维位置的确认。
3、 如权利要求2所述的方法，其中，使用全方位图像的核线上的特征点 来执行2维位置的确认。
4、 如权利要求3所述的方法，其中，通过提取颜色边界来获得特征点。
5、 如权利要求1所述的方法，其中，使用3维再现的结果来获得3维网 格的占据的程度。
6、 如权利要求5所述的方法，其中，如果由3维网格的体素占据的数超 过预定数量，则对应的体素被确定为被占据。
7、 一种用于控制自动行进设备的方法，包括以下步骤 利用立体全方位照相机获取周围的全方位图像；利用所述全方位图像来确认当前的2维位置； 执行全方位图像的3维再现；通过将2维定位的结果和3维再现的结果结合来创建立体全方位照相机 的周围的3维网格地图；基于所述3维再现来确定从当前位置到目标点的行进路径； 控制自动行进设备沿着所述行进路径行进到目标点。
8、 如权利要求7所述的方法，其中，使用全方位图像，通过2维定位和 地图构建来执行2维位置的确认。
9、 如权利要求8所述的方法，其中，使用全方位图像的核线上的特征点 来执行2维位置的确认。
10、 如权利要求8所述的方法，其中，通过提取颜色边界来获得特征点。
11、 如权利要求7所述的方法，其中，使用3维再现的结果来获得3维网格的占据的程度。
12、 如权利要求11所述的方法，其中，如果由3维网格的体素占据的数 超过预定数量，则对应的体素被确定为被占据。
13、 一种沿着路径运动的行进设备，包括控制器，用于从立体全方位照相机接收一个或者多个周围的全方位图像， 利用所述全方位图像确认当前的2维位置，执行全方位图像的3维再现，并 通过将2维定位的结果和3维再现的结果结合来建立立体全方位照相机的周 围的3维网格地图；运动装置，根据相对于3维网格地图的行进路径使行进设备的主体运动。
14、 一种创建3维网格地图的方法，包括利用一个或者多个全方位图像产生当前的2维位置并进行全方位图像的 3维再现；通过将2维定位的结果和3维再现的结果结合来创建3维网格地图。
全文摘要
一种创建3维网格地图的方法和控制自动行进设备的方法。在创建3维地图以辨别无人驾驶车辆或者移动式机器人的当前位置和周围环境的过程中，2维定位和3维图像再现被适当地使用，以更快地准确创建3维网格地图。
文档编号G06T17/05GK101650891SQ20091012687
公开日2010年2月17日 申请日期2009年3月24日 优先权日2008年8月12日
发明者卢庆植, 尹硕浚, 雄 权, 邢乘龙, 金贤圭 申请人:三星电子株式会社