专利名称：从地理参考图像提取及映射三维特征的制作方法
从地理参考图像提取及映射三维特征
背景技术：
本发明通常涉及物理对象的三维模型的更新和增强。镜像世界是对物理空间建模的虚拟空间。诸如第二人生(Second Life), Google地球(Googel Earth)和虚拟地球(Virtual Earth)的应用提供了可在上面创建虚拟城市的平台。这些虚拟城市是创建镜像世界的努力成果的一部分。诸如Google地球的程序的用户能够通过输入图像并建造可从任何地方共享的三维模型来创建镜像世界。然而，通常地，为了创建和共享这样的模型，用户必须具有高端计算和通信能力。
图I是本发明一个实施例的示意描绘；
图2是依照一个实施例的图I中示出的传感器组件的示意描绘；
图3是依照一个实施例的图I中示出的算法组件的示意描绘；
图4是依照一个实施例的同样在图I中示出的另外的算法组件的示意描绘；
图5是依照一个实施例的图I中示出的另外的算法组件的示意描绘；以及 图6是依照一个实施例的流程图。
具体实施例方式依照一些实施例，可使用移动因特网装置代替具有高端通信能力的高端计算系统来创造虚拟城市或镜像世界。移动因特网装置是通过无线连接工作并连接到因特网的任意装置。举一些示例，移动因特网装置的示例包括膝上型计算机、平板计算机、蜂窝电话、手持式计算机和电子游戏。依照一些实施例,非专家用户可在诸如Google地球或虚拟地球的连接的可视计算环境中增强三维模型的可视外观。从地理参考图像提取三维特征并将其建模的问题可简述为基于模型的三维跟踪问题。粗线框模型给出目标建筑物的轮廓和基本的几何信息。在一些实施例中，然后可使动态纹理映射自动化以创建照片真实感模型。参考图I，移动因特网装置10可包括控件12，控件12可以是一个或多个处理器或控制器。控件12可耦合到显示器14和无线接口 15，由此允许经由射频或光信号进行无线通信。在一个实施例中，无线接口可以是蜂窝电话接口，并且在其它实施例中，它可以是WiMAX 接口。(参见 IEEE 标准 802. 16-2004 : IEEE Standard for Local and MetropolitanArea Networks, Part 16 !Interface for Fixed Broadboard Wireless Access Systems,IEEE New York, New York，10016)。传感器集合16也耦合到控件12。在一个实施例中，这些传感器可包括一个或多个高分辨率摄像机20。这些传感器还可包括惯性导航系统(INS)传感器22。它们可包括全球定位系统、无线、惯性测量单元(IMU)和超声传感器。惯性导航系统传感器使用计算机、诸如加速度计的运动传感器、以及诸如陀螺仪的旋转传感器，从而在不需要外部参考的情况下经由航位推算法来计算移动对象的位置、定向和速度。在这种情况下，移动对象可以是移动因特网装置10。摄像机20可用于拍摄要从不同定向建模的对象的照片。这些定向和位置可由惯性导航系统22来记录。移动因特网装置10还可包括用于存储算法组件的存储设备18，它包括图像定向模块24、2D/3D配准(registration)模块26和纹理组件28。在一些实施例中，使用至少一个高分辨率摄像机，或者如果没有高分辨率摄像机可用，则可分别使用两个较低分辨率摄像机，以获得正视图和后视图。作为示例，定向传感器可以是陀螺仪、加速度计或磁力计。图像定向可通过摄像机校准、运动传感器融合和对应对齐来实现。二维和三维配准可以借助于基于模型的跟踪和映射以及基于基准的矫正。纹理合成可以借助于将不同颜色的图像混合到三维几何表面。参考图2，以惯性导航传感器形式的传感器组件22接收卫星、陀螺仪、加速度计、磁力计、控制点WiFi、射频(RF)或超声信号中的一个或多个信号以作为输入，这些信号给出关于移动因特网装置10的位置和定向信息。摄像机20记录真实世界情景S。摄像机20 和惯性导航系统传感器固定在一起，并且在捕获图像序列I1……In、位置(L=经度、纬度和高度)、旋转(R = H R3)矩阵和平移T数据时临时地同步。参考图3，算法组件24用于为图像定向。它包括用于提取相对定向参数(V-Cn的摄像机姿态恢复模块30和用于计算绝对定向参数P^n的传感器融合模块32。输入固有摄像机参数K是依赖于u和V坐标方向上的比例因子、主点和偏斜的3X3矩阵。例如，传感器融合算法32可使用卡尔曼(Kalman)滤波器或贝叶斯(Bayesian)网络。接着参考图4，2D/3D配准模块26又包括多个子模块。在一个实施例中，粗略的三维框模型可以以控制点集合Mi的形式进入。另一输入可以是使用摄像机20的用户捕获的图像序列，包括投影控制点mi。可沿着三维模型边缘在快速反射率变化的区域中对这些控制点采样。因此，可使用边缘，而不是使用点。预测的姿态PMi指示哪些控制点是可视的以及它们的新位置应该是什么。并且，通过最靠近模型边缘法线搜索水平、垂直或对角线方向上的对应距离(dist (PMymi))来更新新姿态。在一些实施例中，在具有足够多控制点的情况下，可通过对最小平方问题求解来优化姿态参数。因此，姿态设置模块34接收线框模型输入，并输出扫描线、控制点、模型段和可视边缘。在一些实施例中，接着在特征对齐子模块38中利用该信息来组合姿态设置和来自摄像机的图像序列，从而输出轮廓、梯度法线和高对比度边缘。可在视点关联子模块36中利用此来产生图像的可视视图，如Iv所指示。接着转向图5、具体来说是转向纹理合成模块28，为3D表面上的三角形的每个顶点计算对应的图像坐标，从而知道图像的内部和外部定向的参数(K，R, T)。在子模块40处运用几何修正以去除网格生成中的不精确的图像配准或误差(Poly)。可在遮挡去除级42中去除在要建模的对象的前面成像的外来的静态或移动对象(例如，行人、汽车、纪念碑或树木)(IV_R)。从不同位置或在不同照明条件下获得的不同图像的使用可导致辐射度的图像失真。对于每个纹素(texel)格(Tg),绑定(bind)包含有效投影的有效图像块(patch)的子集(Ip)。因此，子模块44将纹素格绑定到图像块以便为纹素格产生有效的图像块。一旦通过摄像机和传感器捕获到真实世界情景，便可使原始数据中的图像序列在时间上同步。在如之前已经描述地那样实现使用摄像机姿态恢复和传感器功能为图像定向、使用姿态预测、距离测量和视点关联的2D/3D配准、以及使用几何多边形细化、遮挡去除和纹素格-图像块绑定的纹理合成的算法组件之后，可更新镜像世界表示。因此，参考图6，通过摄像机20与传感器读数22 —起来捕获真实世界情景，从而产生图像序列46和原始数据48。图像序列将彩色图提供给摄像机恢复模块30，摄像机恢复模块30还从摄像机20接收固有摄像机参数K。摄像机恢复模块30产生相对姿态50和二维图像特征52。在56处检查二维图像特征以确定轮廓和梯度范数(gradient norm)是否对齐。如果是，则视点关联模块36将当前姿态下的可视二维视图传递到几何细化模块40。其后，可在42处进行遮挡去除。然后，在44处进行纹素格到图像块绑定。接着，可使用纹素格的有效图像块58来更新三维模型60中的纹理。
可在传感器融合模块32中使用诸如扩展卡尔曼滤波器(EKF)的合适的传感器融合技术来处理相对姿态50。传感器融合模块32融合相对姿态50和包括位置、旋转和平移信息的原始数据，以产生绝对姿态54。将绝对姿态54传递到接收来自三维模型60的反馈的姿态设置34。然后，在66处，将姿态设置34与二维图像特征52相比较以确定是否对齐。在一些实施例中，这可通过使用可视边缘作为控制点来进行，而不是如传统地那样通过使用点作为控制点来进行。在一些实施例中，本发明可在硬件、软件或固件中实现。在软件实施例中，指令序列可存储在诸如存储设备18的计算机可读介质上，以便由可以是处理器或控制器的合适的控件(如控件12)来运行。在这样的情况下，诸如在图I和图2-6中的模块24、26和28中所陈述的那些指令的指令可存储在诸如存储设备18的计算机可读介质上，以便由诸如控件12的处理器来运行。在一些实施例中，可通过非专家用户使用移动因特网装置来创建虚拟城市。在一些实施例中，用于动态纹理更新和增强的混合可视和传感器融合使用边缘特征来进行对齐，并通过利用惯性导航系统传感器来改善摄像机姿态恢复的准确性和处理时间。整篇说明书中提到“一个实施例”或“实施例”时表示，结合该实施例描述的特定特征、结构或特性包含在本发明内所涵盖的至少一个实现中。因此，出现短语“一个实施例”或“在实施例中”时不一定指相同的实施例。此外，这些特定的特征、结构或特性可以以不同于所示的特定实施例的其它合适的形式来制定，并且所有这样的形式可包括在本申请的权利要求内。虽然关于有限数量的实施例描述了本发明，但是本领域的技术人员将由此理解许多修改和变化。随附权利要求要覆盖落入本发明真正精神和范围内的所有这样的修改和变化。
权利要求
1.一种方法，包括 通过将输入几何模型轮廓与输入摄像机图像的边缘特征对齐来映射来自地理参考图像的三维特征。
2.根据权利要求I所述的方法，包括使用移动因特网装置来映射所述三维特征。
3.根据权利要求I所述的方法，包括使用惯性导航系统传感器来进行摄像机姿态恢复。
4.根据权利要求I所述的方法，包括创建镜像世界。
5.根据权利要求I所述的方法，包括组合惯性导航系统传感器数据和摄像机图像以用于纹理映射。
6.根据权利要求I所述的方法，包括使用固有摄像机参数来执行摄像机恢复。
7.一种存储指令的计算机可读介质，所述指令由计算机运行以 将输入几何模型轮廓与输入摄像机图像的边缘特征对齐，以便形成地理参考三维表示。
8.根据权利要求7所述的介质，还存储指令以使用移动因特网装置来将所述模型与所述边缘特征对齐。
9.根据权利要求7所述的介质，还存储指令以使用惯性导航系统传感器来进行摄像机姿态恢复。
10.根据权利要求7所述的介质，还存储指令以创建镜像世界。
11.根据权利要求7所述的介质，还存储指令以组合惯性导航系统传感器数据和摄像机图像以用于纹理映射。
12.根据权利要求7所述的介质，还存储指令以使用固有摄像机参数来执行摄像机恢复。
13.—种设备,包括 控件； 耦合到所述控件的摄像机； 耦合到所述控件的惯性导航系统传感器；以及 其中，所述控件用于将输入几何模型轮廓与来自所述摄像机的图像的边缘特征对齐。
14.根据权利要求13所述的设备，其中，所述设备是移动因特网装置。
15.根据权利要求13所述的设备，其中，所述设备是移动无线装置。
16.根据权利要求13所述的设备，用于创建镜像世界。
17.根据权利要求13所述的设备，所述控件用于组合惯性导航系统传感器数据和摄像机图像以用于纹理映射。
18.根据权利要求13所述的设备，包括传感器融合以将基于摄像机图像序列的相对定向参数与惯性导航系统传感器输入融合。
19.根据权利要求13所述的设备，包括全球定位系统接收器。
20.根据权利要求13所述的设备，包括加速度计。
全文摘要
可使用移动因特网装置来生成镜像世界描述。移动因特网装置可使用惯性导航系统传感器数据结合摄像机图像来开发三维模型。输入几何模型的轮廓可与输入摄像机图像的边缘特征对齐，以代替使用图像的点特征或激光扫描数据。
文档编号G09B25/06GK102713980SQ201080062892
公开日2012年10月3日 申请日期2010年2月1日 优先权日2010年2月1日
发明者D.丁, P.王, T.王, Y.张 申请人:英特尔公司