用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法

专利名称：用于从单一图像对3d对象进行测量、建模和地图制作的系统、计算机程序和方法
技术领域：
本发明涉及地图制作、调查、摄影测量、遥测、可视化和仿真、游戏、规划、地球数学、土木工程、地理学，尤其涉及从单一图像收集对象或对象之间的测量和尺寸信息，以及三维(3D)模型和地图及在分析、建模、地图制作和可视化中对这些信息的后续使用。
背景技术：
测量3D对象的常规方法被称为立体视觉，它获得对同一些对象所取的成对的立体图像。当给定每一图像的图像几何模型(IGM)时，可确定该对象的3D坐标信息。摄影测量方法通过选择共轭点来调查对象，并由此使用基于这些点的IGM来测量任何尺寸。然后通过使用立体视觉方法来生成3D模型和地图。
尤其是从机载传感器或卫星传感器对立体图像的采集更为昂贵，且与采集单个图像相比需要更长的传递时间。同样，由图像销售商维护的数据库中的大部分归档图像是单一图像(single image)。因此，对单一图像的使用对于诸如应急地图、国防、智能、电信和工程等应用是有利的。
没有开发已知的系统来从单一图像执行3D测量、建模和地图制作。本发明产生了一种可有效地获得3D测量结果并创建3D对象模型和地图的操作方法、计算机程序和系统。该系统由被设计成利用对象投影、阴影、对象几何结构和IGM的独特的实用程序和新颖的算法所构成。
IGM描述了对象空间和图像空间之间的几何关系，或相反的几何关系。两种广泛使用的IGM包括物理传感器模型和广义传感器模型。关系型功能模型(RFM)是一种广义传感器模型。
标识了以下相关的现有技术Jiang、W.、Tao、C.V.、Hu、Y.、Xu、Z.，2003年的3-D measurement from singleand stereo high-resolution satellite imagery based on the RFM(基于RFM的从单一和立体高分辨率卫星图像的3-D测量)，ASPRS Annual Conference(ASPRS年会)，5月5-9日，安克雷奇，AK，第7页。(该参考文献描述了使用基于RFM的方法从卫星图像获得的若干实验结果)OpenGIS联盟，1999，The OpenGIS Abstract Specification-Topic 7The EarthImagery Case(OpenGIS摘要说明-主题7地球图像情况)。(该参考文献提供了对地图制作、遥测和地球空间行业中使用的IGM的综述)。
Tao、C.V、Hu、Y.，2001年，A comprehensive study of the rational function modelfor photogrammetric processing(对用于摄影测量处理的关系型功能模型的综合研究)，Photogrammetric Engineering & Remote Sensing(摄影测量工程和遥测)，67(12)1347-1357。(该参考文献提供了RFM传感器模型的详细数学公式及其对准确性的实验研究)。
发明概述依照本发明的一个方面，提供了一种用于从至少一个三维对象的若干单一图像导出三维测量信息和/或创建三维模型和地图的方法，该方法包括以下步骤获得该对象的至少两个二维单一图像，该图像由图像数据构成，并与一图像几何模型(IGM)相关联；基于该IGM导出与该图像相关联的三维坐标信息，并将该三维坐标信息与该图像数据相关联；分析该图像数据，以便使用该IGM测量该对象的投影来导出包括涉及该对象的高度和/或点对点距离的测量数据；和/或测量该对象的阴影以导出包括涉及该对象的高度和/或点对点距离的测量数据；以及基于该对象的投影和/或阴影测量值来获得三维测量结果。
依照本发明的另一方面，提供了一种用于从至少一个三维对象的单一图像中导出三维测量信息和/或创建三维模型和地图的系统，该系统包括至少一个计算机；以及操作上链接到该计算机的程序，以便使该计算机能够获得该对象的至少一个二维单一图像，该图像由图像数据构成，并与图像几何模型(IGM)相关联；基于该IGM导出与该图像相关联的三维坐标信息，并将该三维坐标信息与该图像数据相关联；分析该图像数据，以便使用该IGM测量该对象的投影以导出包括涉及该对象的高度和/或点对点距离的测量数据；和/或测量该对象的阴影以导出包括涉及该对象的高度和/或点对点距离的测量数据；以及基于该对象的投影和/或阴影测量值来获得三维测量结果。
依照本发明的又一方面，提供了一种计算机可使用介质，该计算机可使用介质包括用于定义计算机上的测量实用程序的指令，该测量实用程序可被操作以便获得对象的至少一个二维单一图像，该图像由图像数据构成，并与图像几何模型(IGM)相关联；基于该IGM导出与该图像相关联的三维坐标信息，并将该三维坐标信息与该图像数据相关联；分析该图像数据，以便使用该IGM测量对象的投影以导出包括涉及该对象的高度和/或点对点距离的测量数据；和/或测量该对象的阴影以导出包括涉及该对象的高度和/或点对点距离的测量数据；以及基于该对象的投影和/或阴影测量值获得三维测量结果。
本发明提供了一种用于在IGM(包括RMF传感器模型)的支持下从单一图像中导出3D测量信息和创建3D模型和地图的方法，其中(i)单一图像是可用的，(ii)要测量静态和动态对象，(iii)没有立体取景装置可用，或(iv)不能标识来自立体图像对的共轭点。
本发明包括一种使得能够根据本发明的方法从图像容易地访问和使用测量信息的系统。该系统由从单一图像获得3D测量结果和创建3D模型和3D地图的实用程序组成。该系统一般由适用于处理由本发明的计算机程序提供的指令的计算机系统构成。
本发明的计算机程序由计算机应用程序构成，该计算机应用程序包括(1)使得能够从支持IGM的2D图像中作出测量的测量实用程序，该测量实用程序包括投影测量实用程序和阴影测量实用程序。该投影测量实用程序和阴影测量实用程序协同工作以使能够通过投影测量实用程序、阴影测量实用程序或两者在IGM的支持下进行点对点测量；以及(2)基于由本发明的测量实用程序作出的测量有效地创建3D模型和地图的模型生成实用程序。采用RFM，该应用程序可被应用于支持RFM等的任何图像(例如，卫星或航空)。本发明能够从单一图像中进行3D测量、建模和地图制作。
本发明的方法的另一方面包括用于从单一图像中获得测量信息，即三维中的任何两点之间的距离，以及用于从该测量结果中创建3D模型，随后从单一图像中生成3D地图的方法。具体地，本发明提供了一些方法，用于1.通过使用IGM的投影测量实用程序的操作测量一个或多个对象的投影，以导出该对象的高度、点对点距离等；2.通过使用IGM的阴影测量实用程序的操作测量一个或多个对象的阴影，以导出静态(包括建筑物、天桥、桥等)和动态对象(包括空中的飞机)的高度、点对点距离。这些对象可能没有地面上的接地面(footprint)。
3.通过使用投影和/或阴影数据与IGM的协作来获得3D测量值。
4.通过使用实现一个或多个算法的模型生成实用程序来创建3D模型和地图。
本发明的方法的另一方面是对本发明的特定算法的应用以进行所描述的测量。
本发明可被应用于具有RFM支持的任何图像。这是由于RFM是传感器独立的，且能够被普遍地应用于多个传感器的这一事实。由此，从本发明所得的计算机程序可用于任何图像，而无需改变其底层传感器模型。
附图简述下文中仅通过示例，并参考以下附图提供了本发明的某些实施例的详细描述，附图中

图1a用于访问本发明的计算机程序产品的功能的代表性图形用户界面的概念图。所示的工具栏按钮使得能够访问本发明的各实用程序的功能。
图1b示出本发明的计算机程序的资源的程序资源图。
图2a图像显示窗口中显示的测量实用程序8的概念图。
图2b示出在假定平地表面的情况下，图像中的投影和阴影、IGM、对象和太阳角之间的关系的示意图。
图3通过在单一图像中交叉具有Z标高的平面来确定水平位置(X，Y)的图示。标高Z以某一增量改变来调整。
图4a使用基于IGM的投影测量实用程序对建筑物的高度测量的示意图。
图4b使用基于IGM的本发明的投影测量实用程序对建筑物的高度测量的图示。
图5示出太阳位置和对象阴影的位移之间的关系的图。
图6示出本发明的方法的示意图，更具体地示出在假定非平地表面的情况下绘制对象的投影和阴影的方法。
图7a示出本发明的框图，它示出了对图像中的可测量阴影，使用阴影信息对对象高度的测量。
图7b示出本发明的框图，它示出了对图像中的非可测量阴影，使用阴影信息对对象高度的测量。
图8a示出对对象(为建筑物)使用阴影测量实用程序，从其基点开始进行的高度测量的示意图。
图8b本发明的图示，示出了对对象(为建筑物)使用阴影测量实用程序，从其基点开始进行的高度测量。
图9a、9b、9c和9d根据本发明使用阴影测量实用程序从其阴影端点开始的高度测量的图示，a)在图9a的情况下为对飞机的测量，b)在图9b的情况下为对天桥的测量，c)在图9c的情况下为对树的测量，d)在图9d的情况下为对烟囱的测量。
图10a使用本发明的阴影测量实用程序的基点确定的图示，其中飞机的高度被示为57.1m。
图10b根据本发明画线标记的图示，该线将基点与跑道的着陆点链接，并且水平距离被示为158.1m。
图10c通过将线标记升高到飞机的高度来示出本发明，且斜距被示为165.8m。
图11a画连接两个对象的基点的线标记的本发明的操作的图示。
图11b通过在操作中示出将线标记的两端的基点升高到其各自屋顶的高度来示出本发明。
图12a示出了本发明的一个特定方面，其中确定了飞机的头部点和尾部点的基点。
图12b进一步示出了图12a所示的本发明的特定方面其中示出了连接两个基点的线。
图13a和13b进一步示出了本发明，其中测量多层建筑物的高度，其中，在图13a中，测量并锁定屋顶的第一层的高度，并且该高度为31m，而在图13b中，从锁定的高度开始测量屋顶的第二层相对于第一层的高度。
图14在不使用数字地形模型(DTM)的情况下补偿所测量的对象尺寸的系统偏差的示意图。
图15a、15b、15c、15d和15e根据本发明的用于3D地图的基底选择方法的图示；其中，在图15a中，选择基点；在图15b和15c中，通过用户动态地更新注释和当前Z等级(实际情况中由黄线给出)来改变Z等级；在图15d中，使用3D地图实用程序(多边形)来画出建筑物顶部的轮廓；在图15e中，启用并显示建筑物接地面。
图16a、16b和16c用于根据本发明对平顶建筑物进行3D建模的屋顶接地面位移的图示其中，在图16a中，使用3D多边形地图制作工具示出了屋顶轮廓的地图；在图16b中，示出了屋顶轮廓的水平位移以与建筑物基底一致；在图16c中，示出了构造该3D建筑物模型。
图17a在对具有人字形、削边人字形、屋脊和棚屋顶形状的建筑物建模中支持的屋顶形状的示意图。
图18a、18b根据本发明从2D矢量映射创建3D矢量映射的图示其中，在图18a中，示出了在导入到计算机程序之后对2D映射矢量的选择；在图18b中，示出了通过使用IGM升高到建筑物顶部而将2D映射矢量映射到3D矢量中。
图19一般示出了对web和网络环境开发本发明的系统图。
在附图中，通过示例示出了本发明的较佳实施例。可明确理解，说明书和附图仅用于说明的目的，且作为对理解的帮助，而不旨在定义本发明的限制。
较佳实施例的详细描述1.本发明的概括描述在本发明的一方面，提供了一种计算机程序，它使用测量实用程序从单一图像中获得单一的、复合的和多个对象以及对象与对象之间的关系的测量结果，并随后使用模型生成实用程序创建3D模型和地图。3D模型和地图常规上是使用立体图像对(本上下文中一般称为“立体对”)来执行的。在其一个实施例中，本发明作为能够从单一图像中获得3D测量并产生3D模型和地图的软件产品能得到最好的理解。
计算机程序的接口可参考图1a得到最好的理解。本发明的计算机程序的元素可参考图1b得到最好的理解。从本发明中得到的实用程序允许通过使用从单一图像获得的测量结果来开发3D模型和地图。
本发明的方法可通过参考图2到17得到最好的理解，并在下文中进一步描述。本发明的计算机程序由适用于向计算机提供指令来实现本发明的方法的计算机应用程序构成。本发明的系统可参考图1b得到最好的理解。
在其一方面，本发明提供了被设计成通过使用投影或阴影及其组合来从单一图像中获得对象和对象之间的3D测量结果的测量实用程序8(如图1a和1b所示)，以及被设计成生成3D模型和地图的模型生成实用程序9。
●本发明允许收集各种各样的测量结果及其派生物(例如，体积)。
●本发明使用模型生成实用程序9来从单一图像中快速且有效地构造包括复杂屋顶结构的3D模型(例如，建筑物)以及后续的3D产品(3D现场地图和3D市内或自然场景)。
●如先前所述的，常规上，通过使用立体图像对来提取3D模型。通常，需要特殊的取景装置来执行提取工作。采用本发明，可在不使用立体图像或特殊取景装置的情况下获得3D测量结果和3D模型。
●使用RFM作为底层的IGM，本发明可用于带有RFM支持的任何传感器图像(卫星和航空等)，并且无需改变任何程序配置。本发明对于任何传感器图像变为可缩放的、灵活的和可互操作的。即，一个程序可支持多个传感图像。
●此外，对诸如汽车、飞机、云等许多动态对象的测量(包括其移动特征)可根据本发明来获得，例如飞机的高度和方位。大多数基于机载或卫星的立体对不是同时捕捉的。由此，移动对象的尺寸并不能使用立体对来容易地测量。
本发明允许的测量包括3D尺寸中的高度、距离，视线距离的线(例如，两个建筑物屋顶之间的距离，塔和接收机之间的距离)，体积，3D中的方位及其派生物。可通过使用模型生成实用程序，使用测量信息来生成3D模型和地图。3D模型可以是具有复杂屋顶结构的建筑物、容器、仓、塔等。
可根据本发明来测量的对象包括●地面上的单个对象，例如建筑物、塔、树等，或地面“之上”的对象，例如飞机、桥等。
●复合对象多层复杂建筑物屋顶、复杂结构等。
●多个对象一群对象，例如住宅建筑物街区的体积测量、森林区域的破坏评估。
●对象与对象的关系涉及对象与对象的空间关系的测量，例如，蜂窝塔和位于移动的地面汽车中的接收机之间的3D距离。
对象可以是静止(例如，建筑物、树等)或动态(例如，飞机、移动的汽车等)的。它也包括真实的对象和合成对象(即计算机生成的)。
本发明能够以各种细节等级或地面采样距离对对象进行测量、建模和地图制作。本发明公开中所称的单一图像可包括●卫星图像●航空图像●地面图像，以及●由具有适当校准的图像几何模型(诸如RFM)的传感器获取的其它图像。这些图像的地面采样距离的范围可从几英寸到几米。
2.接口描述图1提供了具有用于访问本发明的测量实用程序8和模型生成实用程序9功能的代表性用户界面的概念图。该用户界面是以已知的方式来提供的。
●按钮1显示了图像平面中鼠标的图像坐标。
●按钮2显示了对应于图像点的对象点的地面坐标，且该地面坐标是使用图3所示的公式1来计算的。数据和地图投影较佳地在对话框中设置。
●按钮3允许向程序输入图像、IGM和DTM数据(可任选)●按钮4示出了包括尺寸、模型和地图的3D信息的输出。
●按钮5打开/关闭测量实用程序8。系统中的对话框给出了用于选择投影测量实用程序(或投影标尺)12或阴影测量实用程序(或阴影标尺)14(这些实用程序在图1b中示出)的两个单选按钮。按钮6打开/关闭模型生成实用程序9。在其一个特定方面，计算机程序实现用于生成3D模型和地图的一系列新颖算法，如下所述。
●按钮7显示了绘图结果和相关联的信息。
应当理解，本发明构想了对使操作者能够访问测量实用程序8和模型生成实用程序9的功能的替换用户界面的使用。
3.测量实用程序如先前所描述的，本发明提供了测量实用程序8，它使用IGM来从单一图像中测量对象的和对象之间的尺寸。测量实用程序8启用了本发明的处理，由此准许使用投影或阴影信息或其组合来进行3D测量。测量实用程序8最好地被理解为WindowsTM程序，它允许根据其图像几何结构来显示单一图像(如上所述)，并根据本发明的方法来处理该单一图像。具体地，测量实用程序8使得操作者能够使用鼠标或其它合适的接口设备来指向并点击图像中所选择的点，由此进行以下所述的测量。
测量实用程序8以已知的方式来编程。此处的公开示出了本发明的测量实用程序8的一个代表性计算机应用程序实施例。如图1b中所示，测量实用程序8被链接到用于显示图像的显示工具10。测量实用程序8也被链接到数据输入源11。该输入数据源11储存对象的3D测量所需的所有数据，包括图像数据、IGM和DTM(可任选)。对测量实用程序8的操作的数据输入被储存到数据库(或文件)(未示出)中，或在其它实施例中，在运行中分析。计算器13支持投影测量实用程序12和阴影测量实用程序14的功能。计算器13最好地被理解为根据此处所描述的方法和公式来处理输入数据的实用程序。计算器还基于模型数据(例如，IGM或DTM)来分析输入数据，且因此也最好地被理解为建模器和/或分析器。模型生成实用程序9被链接到测量实用程序8。它实现了允许3D模型的有效重建的算法。
●在一个实施例中，本发明依赖于由适用的IGM确定的特定成像处理。该成像处理一般提供了图像的定向信息。在本发明的一个特定实施例中，所使用的IGM是关系型功能模型，即能够支持多个传感器(传感器独立)的传感器模型(OGC，1999Tao和Hu，2001)。所使用的IGM还可包括公知的模型，诸如基于共线公式、直接线性变换和其它等的模型。
●所使用的图像可使用诸如机架、自动搜索干扰振荡器或SAR等不同的成像传感器由地面、航空或卫星平台来采集。
●测量实用程序8较佳地被编程为使得它能够组合对象的投影和阴影以测量这些对象(如下所述)。
●测量实用程序8也较佳地被编程(如上所述)为实现以下所述的用于测量诸如飞机等动态对象的过程。
●测量实用程序8可测量地面上或地面上方的对象，诸如天桥、桥、高架桥等。地面上方的对象在地面上没有物理基点。
测量实用程序实现基于对象的投影或阴影以及这两者的算法。
可测量投影和阴影的元素(包括基点15、尖点16和阴影端点17)之间的关系的概念解释可参考图2a来最好地理解。图2b示出了关于对象、IGM和太阳角之间的关系的本发明的示意图。对象在地面上垂直伸出，且其高度为h。如果基点的3D坐标是(X0，Y0，Z0)，则对象的真正尖端在(X0，Y0，Z2)处。Z0是对象底部的标高，它可从数字地形模型(DTM)或恒定平面中检索，或者是用户设定的值。Z2是对象尖端的标高。
使用以下公式来解出(X，Y)，如图3所示。
vrvc=∂r/∂X∂r/∂Y∂c/∂X∂c/∂YΔXΔY-r-r^c-c^---(1)]]>其中r和c是图像中所选择的点的行和列坐标； 和 是估算的值，ΔX和ΔY是修正。
3.1基于投影的测量算法操作者可通过调整标高Z来获得高度测量值。
示例1-当全部投影可见时的测量进行实验以表明本发明关于基于投影的测量的优点。可画出投影标尺，迭代地可视化调整的高度信息直到标尺线到达对象的真正尖端。在图4a中，线1001表示建筑物的轮廓。当操作者通过指示建筑物的基底(粗黑圈1002)开始，然后提升浮动光标的高度(粗黑线1003)。当迭代地升高光标时，它在图像中的位置由IGM实时计算，且在图形用户界面中连续地画出光标。一旦光标接触到图像中的屋顶边缘(粗黑圈1004)，则该交互式过程停止。在实际的界面中，线1003将作为绿色出现，作为本发明的一个代表性实施例。如图4b所示的屋顶的高度是48.6m。该操作可在对象接地面的边界处完成。
3.2基于阴影的测量算法对平地表面的测量如图2b所示，阴影端点的3D坐标是(X1，Y1，Z1)，且对于平地表面，Z1等于Z0。阴影的阴影长度l由太阳海拔高度来确定。长度l、对象高度h和太阳海拔高度之间的关系通过以下平地表面上的公式来确定l＝h/tanθ＝(Z2-Z0)/tanθ (2)其中，h是对象的高度，θ是太阳的海拔高度。
在图2b中，假定地形是平地，则如图5所示，阴影端点相对于对象在地面上的位置的坐标偏移通过以下公式获得ΔX＝X1-X0＝l·sin(α)＝h·sinα/tanθ(3)ΔY＝X1-Y0＝l·cos(α)＝h·cosα/tanθ对非平地表面的测量如图6所示，平地上的阴影长度l和在角度为ψ的斜面上的阴影长度s、对象高度h和太阳海拔高度之间的关系可通过以下非平地表面上的公式来确定ΔX＝X1-X0＝s·cos(ψ)sin(α) (4)ΔY＝X1-Y0＝s·cos(ψ)cos(α)其中ψ=arctan(Z1-Z0ΔX2+ΔY2)---(5)]]>
s＝l·sinθ/sin(θ+ψ)＝h·cos(θ)/sin(θ+ψ)(6)l＝h/tanθ＝(Z2-Z0)/tanθ(7)检查地形地貌的不同情况。
基于阴影的测量的步骤图7a示出了本发明的方法对对象的可测量阴影的应用。该处理流程一般具有5个步骤。操作者选择图像中的基点，其地面坐标使用公式1来计算。然后，操作者按照增量改变ΔZ来调整Z的值。在对象的附近，阴影端点的地面坐标偏移使用用于平地的公式3，或用于非平地的公式4来获得。在图像中，使用IGM的地面-图像变换来投射阴影端点，并且画出阴影标尺的曲线。如果阴影标尺很好地拟合图像线，则该过程终止。
图7b示出了对对象的不可测量阴影的处理。该工作流一般具有6个步骤。操作者应当选择图像中的阴影端点，其地面坐标也使用公式1来计算。然后，操作者按照ΔZ来调整标高Z。从端点中减去所计算的偏移以估算基点的地面坐标。画出投影标尺和阴影标尺的曲线。投影标尺用于判断它是否到达了对象的尖端。如果两个标尺都在图像中很好地拟合了投影和阴影的可见部分，则该过程终止。
示例2-当全部阴影可见时的测量进行实验以表明本发明对于基于阴影的测量的目的的优点。在此处所示的图形用户界面中，在图像上画出阴影标尺(在实际的界面中，线将作为蓝色出现，作为本发明的一个代表性实施例)。迭代地调整高度信息，直到标尺线拟合图像中的整个阴影。如图8a所示，操作者通过在图像中定位对象阴影的端点(圈1005)开始，然后提升浮动光标的高度。当升高光标时，如图7b所示地更新基点的位置，且其在图像中的位置通过IGM来计算。在图形用户界面中画出了连接基点和阴影端点的线(点线1006)和连接基点和升高的光标的第二条线(1007)。一旦光标到达了图像中对象的顶边(圈1008)，该交互式过程停止。如图8b所示，屋顶的高度为48.4m，它接近于使用示例1中的投影实用程序所测量的高度值。
示例3-当投影和阴影局部可见时的测量演示了若干种情况以表明基于阴影的测量的本发明对于不可测量的投影和阴影的优点。在以下情况中，对象的基点不能可靠地定位，或者不存在，但是阴影标尺可准确地定位基点。在图9中，通过点线来测量阴影(1009)，并通过粗线来测量投影(1010)。两条线的交点是要定位的基点。
图9a示出了对空中的飞机的测量。飞机在空中，且在地面上没有物理基点。所测得的高度为57.1m。在图9b中，测量天桥，点线(1011)是所测得的阴影长度，而粗线(1012)是所测得的高度(13.gm)。在图9c中，测量树，点线(1013)是所测得的阴影长度，而粗线(1014)是所测得的投影高度(29.4m)。图9d示出了对其基点可被准确定位的烟囱的测量，并且高度为100.7m。点线(1015)是所测得的阴影长度，而粗线(1016)是所测得的投影高度。如图9a到9d所示，这些对象的基点可在使用关于太阳位置的信息和IGM时从阴影端点中推导出来，并且在实际的情况中，作为本发明的代表性实施例，测得的阴影作为蓝色的线出现，而测得的投影作为绿色的线出现。
示例4-测量对象与对象的关系进行一个实验以表明本发明对于两个对象的任何两点之间的尺寸测量的优点。
如图10a所示，飞机在地面上的基点使用阴影标尺来确定，而飞机的高度为57.1m(粗线1017)。然后，画出线标记(点划线1018)(图10b)以连接机场跑道的基点和着陆点，且地面上的这一距离为158.1m。最后，在图10c中，线标记的基点被升高到飞机的高度，且斜距(点划线1019)变为165.gm。
如图11a所示，当连接两个建筑物的两个基点时，斜距(点划线1019)为193.1m。在图11b中，两个点都使用投影标尺被升高到其对应的屋顶高度，且斜距(点划线1020)变为193.3m。
示例5-测量对象的方位进行一个实验以表明本发明对任何对象的方位测量的优点。如图12a所示，飞机的头部点(1021处)和尾部点(1022处)的基点使用阴影标尺来确定。然后，如图12b所示，画出方位线标记(虚线1023)以连接这两个基点，并且在UTM地图投影下，角度为285.2°。
示例6-测量复合对象进行一个实验以表明本发明对于具有复杂结构的建筑物的高度测量的优点。如图13所示，可使用投影和/或阴影标尺从单一图像中测量多层建筑物屋顶的不同层。在图13a中，该屋顶的第一层的高度(线1024)使用投影标尺来测量，然后锁定系统中的该高度，且该高度为31m。如图13b所示，该屋顶的第二层相对于第一层的高度(线1026)从该锁定的高度开始测量，并且该高度为5.5m。这示出了第二层的高度相对于地面为36.5m。
3.3系统偏差的补偿当在缺少DTM和/或GCP的情况下进行测量时，会在垂直和水平方向上发生系统偏差。这导致其尺寸中的变化，也使得所测量的对象的位置发生位移。
如图14所示，由于地形可用性，对象高度的测量误差(Δh)由飞行高度(H)、对象高度(h)和垂直位移(ΔH)来确定，由下式给出Δh=h′-h=-ΔHHh---(8a)]]>其中，h′是使用测量实用程序所测得的对象高度。使用公式8a，当稍后DTM变为可用时，可自动为这些对象补偿由于垂直漂移引起的对象高度的系统误差。每一对象的高度单独地修正，因为它通常具有不同的基本高度。
类似地，对象的水平尺寸的误差由下式确定Δl=l′-l=-ΔHHl---(8b)]]>其中，l′和l分别是所测得的真实对象尺寸。使用公式8b，在DTM稍后变为可用时，以与上文对所测得的对象尺寸所描述的相同的方式对那些3D测量的对象尺寸自动补偿由于垂直漂移所引起的系统误差。
对由于缺少DTM而引起的对象位移的修正可通过为对象的任一点计算该位移来实现。该过程涉及若干步骤。首先，将原始图像和DTM加载到计算机系统中。其次，加载所测得的3D对象模型。在一个特定的实施例中，弹出一消息，以指示是否需要偏差补偿。如果是，则使用IGM将属于该3D模型的一个点(例如，第一点)投影到图像平面。然后，使用公式1将投影的图像点与DTM相交。第三，计算该点的原始位置和其与DTM相交的位置之间的X、Y和Z坐标之差。第四，将属于该3D模型的每一点位移相同的差值。所更新的3D模型较佳地被保存回磁盘文件中。
对由于缺少GCP而引起的对象位移的修正也可通过执行一4步过程来实现。首先，将原始图像、GCP和可任选的DTM加载到计算机系统中，并通过使用GCP来改进IGM。其次，使用原始IGM将属于该3D模型的一个点(例如，第一点)投影到图像平面上。然后，通过使用公式1和改进的IGM将所投影的图像点与DTM相交。第三，计算该点的原始位置和其与增加相交的位置之间的X、Y和Z坐标之差。第四，将属于该3D模型的每一点位移相同的距离。所更新的3D模型被保存回磁盘文件中。
4.测量结果及其派生物的收集因此，如上所述，本发明的计算机程序可用于收集对象的和对象之间的各种各样3D测量值。它通过使用测量实用程序8，利用了对象的投影、阴影及其组合，如上所述。
可以已知的方式获得测量之后结果开发许多测量派结果生物。这些派生物包括但不限于，体积、方位、面积、高度差、视线等。测量结果及其派生物可用于生成用于市内规划、地形分析、交通和水文流域分析、应急响应、减灾等的许多3D产品。
5.3D模型和地图的创建本发明的计算机程序通过使用模型生成实用程序来创建3D模型和地图。
示例7-通过基底选择方法的3D模型创建在该制作3D结构的地图的方法中，允许Z等级调整模式，之后使用鼠标或类似的指示设备来标记结构的基底(图15a)。同样，可使用各种按键组合来容纳对光标的锁定/解锁。然后，例如使用向上翻页/向下翻页键来调整Z等级，并且Z等级(粗线1027)的改变在图像平面中向用户可视化(在实际的情况中，通过黄色线)(图15b)。当到达期望的等级时(图15c)，用户选择3D地图制作工具，通常是多边形工具，并画出结构顶部的轮廓(粗线1028，在实际情况中由预定义的线颜色来表示)，如图15d所示。Z等级调整模式可被禁用，且然后可通过启用显示接地面模式来检查投影的结构的基点。接地面模式使用IGM来画出投影的接地面(点线1029，在实际情况中，它是预定义轮廓线的深色颜色)，如图15e所示。然后，如果需要持久存储，可将所需的3D模型保存到数据库或文件结构(未示出)中。它也可用于通过捕捉建筑物的可见面并将它们用作3D可视模型(未示出)中的纹理来生成3D虚拟场景。
示例8-通过屋顶接-地面位移方法的3D模型创建执行3D建筑物建模的过程可通过在屋顶和接地面之间执行相对位移或运动来实现。该制作3D结构的地图的方法通过首先数字化投影在图像平面中的其屋顶轮廓(如图16a所示的粗线1030)捕捉其周长。该轮廓然后使用IGM在图像平面中位移(图16b)，以与结构的基底对齐。在所提供的示例中，这是通过按下向上翻页/向下翻页键(图16b)来实现的。该算法可在模型接地面的一部分不可见时创建3D模型(图16c)。
在这一计算机化的系统中支持多种类型的建筑物屋顶形状。如图17所示，某些典型的屋顶类型是平面、人字形、削边的人字形、屋脊和棚屋顶形状。该计算机程序可通过基本屋顶类型的组合来产生具有任何复杂的屋顶类型的3D建筑物模型。
图9-从2D矢量生成3D地图2D矢量坐标(r，c)被加载到计算机应用程序中，且对于每一2D位置，与所映射的特征的基面相一致地分配Z等级坐标(图3)。每一特征然后通过以下动作被映射到第三维中用户选择要映射到第三维的特征(粗线1031，通常由8个圈来表示)，然后按下向上翻页键来改变该特征中的所有节点的Z等级坐标。Z等级的改变通过IGM被投影到图像平面，从而给出了关于Z等级改变的视觉反馈。当到达所期望的等级时(图18b)，用户停止改变Z等级，并可选择将该特征保存到数据库(未示出)。
6.准确度评估详尽地测试并评估测量准确度。概括而言，这些测试结果表明可实现辅助计量准确度，并且由此对各种各样的商业应用程序都是可接受的。该准确度依赖于飞行高度、对象高度、地形可用性、图像分辨率、图像像素测量和IGM准确度。
本发明也构想了集成附加特征以增强本发明的操作。例如，可将允许基于预定参数进行更有效收敛的处理内置到测量实用程序的功能中。
7.计算机平台由于它易于部署、低计算开销、对IGM(即RFM)的较少限制以及不需要立体取景装置，因此测量实用程序和模型生成实用程序可在诸如PC、工作站、服务器、PDA等最普及的计算机化平台中采用。
8.启用web或网络的环境由于其易于部署、低计算开销、对图像几何模型有较少限制以及不需要立体取景装置，因此测量实用程序8和模型生成实用程序9对于诸如web、因特网以及无线网络等基于网络的应用程序是理想的。
图19示出了本发明可在启用web的环境中以各种形式(阴影组件)来部署。它可被部署为客户机应用程序20、基于web浏览器的插件(ActiveX控件)或Java小程序22、应用程序服务器24和基于门户的web服务26。本发明也可按已知的方式几乎不要任何修改被嵌入在无线门户、PDA或蜂窝电话等计算机化平台中。
9.商业应用本发明能够对各种各样的应用利用图像的优势，这些应用包括●获得关键的设施和目标信息，诸如建筑物高度、樑下净空、道路宽度、跑道长度或森林采伐量；●创建关键设施的3D现场地图，诸如核电站、机场、市区、用于公共安全和国际情报的关键基础设施；●对于保险审计和应急响应，测量由灾难引起的破坏面积(诸如森林大火、洪水、地震)；●对城市开发、可视化和仿真、游戏、行政管理、交通、土木工程等进行建模和规划。
其应用是广泛的●国防●环境●国土安全●电信●可视化和仿真●农业●本地政府●地质学
●地图制作●森林学●公用事业●不动产●交通规划●保险●媒体●娱乐和游戏本发明的其它变化和修改是可能的。例如，可将附加特征内置到本发明的计算机程序产品中，以在基本的3D测量和此处提供的模型数据上构建，以基于单一图像来提供例如每平方公理的密度、市内阴影估算等。本发明的计算机产品可与其它应用相结合。所有这些修改或变化都被认为落入由所附权利要求书所定义的本发明的领域和范围之内。
权利要求
1.一种用于从至少一个三维对象的单一图像中导出三维测量信息和/或创建三维模型和地图的方法，所述方法包括以下步骤(a)获得所述对象的至少一个二维单一图像，所述图像由图像数据构成，并与一图像几何模型(IGM)相关联；(b)基于所述IGM导出与所述图像相关联的三维坐标信息，并将所述三维坐标信息与所述图像数据相关联；(c)分析所述图像数据，以便(i)使用所述IGM测量所述对象的投影，以导出包括涉及所述对象的高度和/或点对点距离的测量数据；和/或(ii)测量所述对象的阴影，以导出包括涉及所述对象的高度和/或点对点距离的测量数据；以及(d)基于所述对象的投影和/或阴影测量值获得三维测量结果。
2.如权利要求1所述的方法，其特征在于，所述图像数据是通过测量实用程序的操作来分析的。
3.如权利要求1所述的方法，其特征在于，还包括基于所述投影和/或阴影测量创建三维模型或地图的步骤。
4.如权利要求1所述的方法，其特征在于，还包括通过模型生成实用程序的操作创建三维模型或地图的步骤，所述模型生成实用程序可用于利用由所述测量实用程序提供的数据来创建三维模型或地图。
5.如权利要求1所述的方法，其特征在于，使用关系型功能模型(RFM)作为所述IGM。
6.如权利要求1所述的方法，其特征在于，所述对象的投影是使用投影标尺来测量的，且其阴影是使用阴影标尺来测量的，所述投影标尺和阴影标尺的每一个可通过链接到所述测量实用程序的图形用户界面来访问。
7.如权利要求6所述的方法，其特征在于，还包括操作者使用所述投影标尺的步骤，其中所述投影标尺拟合所述对象在图像中的投影，并且其中(a)在所述投影为可测量的情况下，所述投影从所述对象的基点到真正尖端完全投射在所述图像中；以及(b)在所述投影为不可测量的情况下，所述方法还包括投射所述不可测量投影的步骤。
8.如权利要求6所述的方法，其特征在于，还包括操作者使用所述阴影标尺的步骤，其中，所述阴影标尺在图像中拟合所述对象的阴影，并且其中(a)在所述阴影是可测量的情况下，所述阴影从所述阴影的基点到端点完全投射在所述图像中；以及(b)在所述阴影为不可测量的情况下，所述方法还包括投射所述不可测量阴影的步骤。
9.如权利要求8所述的方法，其特征在于，还包括在所述对象的阴影为可测量的情况下测量所述对象阴影的以下步骤(a)用户通过与所述图像相关联的图形用户界面的操作选择所述图像中的一个基点；(b)通过测量实用程序的操作，使用所述IGM计算所述基点的地面坐标；(c)通过经由所述图形用户界面的操作选择和调整所述对象的高度来调整所述对象的高度；(d)所述测量实用程序计算所估算的阴影端点相对于所述基点的偏移；以及(e)用户通过所述测量实用程序的操作，使用所述IGM将所述对象的阴影端点投射到所述图像中。
10.如权利要求8所述的方法，其特征在于，还包括在所述对象的阴影为不可测量的情况下测量所述对象的阴影的以下步骤(a)用户通过与所述图像相关联的图形用户界面的操作选择所述图像中的一个阴影端点；(b)通过测量实用程序的操作，使用所述IGM计算所述阴影端点的地面坐标；(c)通过经由所述图形用户界面的操作选择和调整所述对象的高度来调整所述对象的高度；(d)所述测量实用程序计算所估算的阴影端点相对于所述基点的偏移；(e)所述测量实用程序计算对应的投影标尺的位置；以及(f)当所述投影标尺到达所述对象的真正尖端时，用户通过所述测量实用程序的操作，使用所述IGM将所述对象的基点投射到所述图像。
11.如权利要求9所述的方法，其特征在于，所述测量实用程序经由以下公式来计算所述基点的地面坐标(X，Y)vrvc=∂r/∂X∂r/∂Y∂c/∂X∂c/∂YΔXΔY-r-r^c-c^]]>其中，r和c是图像中所选择的点的行和列坐标； 和 是通过将X、Y和Z的适当的值代入到IGM中估算的值；ΔX和ΔY是对初始值的修正；r/X、r/Y、c/X、c/Y是偏导。
12.如权利要求9所述的方法，其特征在于，所述阴影的偏移是经由以下公式对所述对象附近的平地计算的ΔX＝X1-X0＝l·sin(α)＝h·sinα/tanθΔY＝Y1-Y0＝l·cos(α)＝h·cosα/tanθ其中，h是所述对象的高度，θ是取所述图像时太阳的海拔高度，l是阴影长度。
13.如权利要求9所述的方法，其特征在于，所述阴影的偏移是经由以下公式，对所述对象附近的非平地计算的ΔX＝X1-X0＝s·cos(ψ)sin(α)ΔY＝Y1-Y0＝s·cos(ψ)cos(α)其中ψ=arctan(Z1-Z0ΔX2+ΔY2)]]>s＝l·sinθ/sin(θ+ψ)＝h·cos(θ)/sin(θ+ψ)l＝h/tanθ＝(Z2-Z0)/tanθ；并且其中l是平地上的阴影长度，s是角度为ψ的斜面上的阴影长度，对象高度为h，太阳海拔高度为θ。
14.如权利要求9所述的方法，其特征在于，在所述对象被定位在平面上，所述阴影端点的坐标为(X1，Y1，Z1)且对平面Z1等于Z0的情况下，所述对象的阴影长度是经由以下公式来计算的l＝h/tanθ＝(Z2-Z0)/tanθ其中，h是所述对象的高度，θ是取所述图像时太阳的海拔高度。
15.如权利要求1所述的方法，其特征在于，所述三维测量包括以下的一个或多个(a)高度，(b)3D距离，(c)视线距离，(d)体积，或(e)3D方位。
16.如权利要求1所述的方法，其特征在于，所述方法还包括从至少一个三维对象的单一图像中导出测量信息的步骤，其中所述对象的全投影在所述图像中可见，所述方法还包括以下步骤(a)用户通过与所述图像相关联的图形用户界面的操作选择图像中一个基点；(b)通过测量实用程序的操作，使用所述IGM计算所述基点的地面坐标；(c)通过经由所述图形用户界面的操作选择和调整所述对象的所选长度来调整所述对象的所选长度；(d)所述测量实用程序计算所述对象的所选长度。
17.如权利要求1所述的方法，其特征在于，所述方法还包括从至少一个三维对象的单一图像中导出测量信息的步骤，其中，所述三维对象的全阴影在所述图像中可见，所述方法还包括以下步骤(a)用户通过与所述图像相关联的图形用户界面的操作在所述图像上绘出阴影标尺；(b)所述测量实用程序使用所述IGM计算所述阴影端点和基点的坐标；(c)所述测量实用程序还使用所述IGM计算对应的投影标尺的端点和基点的坐标；(d)用户通过所述图形用户界面的操作迭代地调整与所述对象相关联的高度信息，直到所述阴影标尺基本上拟合所述对象的整个阴影，和/或所述投影标尺到达所述对象的真正尖端；以及(e)所述测量实用程序使用所述IGM计算所述对象的高度。
18.如权利要求1所述的方法，其特征在于，所述方法还包括从其基点不可见或不存在的三维对象的单一图像中导出测量信息的步骤，还包括以下步骤(a)用户通过与所述图像相关联的图形用户界面的操作在所述图像上绘制阴影标尺；(b)所述测量实用程序使用所述IGM计算所述阴影端点和基点的坐标；(c)所述测量实用程序还使用所述IGM计算对应的投影标尺的端点和基点的坐标；(d)用户通过所述图形用户界面的操作，迭代地调整与所述对象相关联的高度信息，直到所述投影标尺到达所述对象的真正尖端；以及(e)所述测量实用程序使用所述IGM计算所述对象的高度。
19.如权利要求1所述的方法，其特征在于，还包括在捕捉单一图像时补偿出现在水平和垂直方向中的系统偏差的步骤。
20.如权利要求3所述的方法，其特征在于，还包括为所述对象建立形状几何结构，并使用所述对象形状几何结构来创建三维模型和/或地图的步骤。
21.如权利要求3所述的方法，其特征在于，还包括通过所述模型生成实用程序的操作创建变化形状的3D模型的步骤。
22.如权利要求3所述的方法，其特征在于，还包括通过模型生成实用程序的操作创建变化屋顶结构的3D模型的步骤。
23.一种用于从至少一个三维对象的单一图像中导出三维测量信息和/或创建三维模型和地图的系统，所述系统包括(a)至少一个计算机；以及(b)操作上链接到所述计算机，以便使所述计算机能够执行以下步骤的计算机程序(i)获得所述对象的至少一个二维单一图像，所述图像由图像数据构成，并与一图像几何模型(IGM)相关联；(ii)基于所述IGM导出与所述图像相关联的三维坐标信息，并将所述三维坐标信息与所述图像数据相关联；(iii)分析所述图像数据，以便(A)使用所述IGM测量所述对象的投影，以导出包括涉及所述对象的高度和/或点对点距离的测量数据；和/或(B)测量所述对象的阴影，以导出包括涉及所述对象的高度和/或点对点距离的测量数据；以及(iv)基于所述对象的投影和/或阴影测量值获得三维测量结果。
24.如权利要求23所述的系统，其特征在于，所述计算机程序还操作上链接到所述计算机，以定义可用于利用由所述测量实用程序提供的数据来创建三维模型或地图的模型生成实用程序。
25.如权利要求21所述的系统，其特征在于，所述系统还包括服务器计算机，其中，所述计算机程序被加载到服务器计算机上，所述服务器计算机可由所述计算机通过网络来访问，所述服务器计算机提供在所述计算机处通过网络对所述测量实用程序的功能的访问。
26.一种计算机可使用介质，所述计算机可使用介质包括用于定义计算机上的测量实用程序的指令，所述测量实用程序可用于(i)获得所述对象的至少一个二维单一图像，所述图像由图像数据构成，并与一图像几何模型(IGM)相关联；(ii)基于所述IGM导出与所述图像相关联的三维坐标信息，并将所述三维坐标信息与所述图像数据相关联；(iii)分析所述图像数据，以便(A)使用所述IGM测量所述对象的投影，以导出包括涉及所述对象的高度和/或点对点距离的测量数据；和/或(B)测量所述对象的阴影，以导出包括涉及所述对象的高度和/或点对点距离的测量数据；以及(iv)基于所述对象的投影和/或阴影测量值获得三维测量结果。
全文摘要
提供了一种用于从至少一个三维对象的单一图像中导出三维测量信息和/或创建三维模型和地图的方法。该方法包括以下步骤(a)获得对象的至少一个二维单一图像，该图像由图像数据构成，并与一图像几何模型(IGM)相关联；(b)基于该IGM导出与该图像相关联的三维坐标信息，并将该三维坐标信息与该图像数据相关联；(c)分析该图像数据，以便(i)使用IGM测量对象的投影以导出包括涉及该对象的高度和/或点对点距离的测量数据，和/或(ii)测量对象的阴影以导出包括涉及该对象的高度和/或点对点距离的测量数据；以及(d)基于对象的投影和/或阴影测量值获得三维测量结果。在该方法的另一方面，该方法还包括基于投影和/或阴影测量创建三维模型或地图的步骤。也提供了用于处理本发明的方法的一系列算法。还基于所公开的方法提供了一种用于从至少一个三维对象的单一图像中导出三维测量信息和/创建三维模型和地图的计算机系统和相关的计算机程序。
文档编号G06T17/05GK1918451SQ200580002523
公开日2007年2月21日 申请日期2005年1月14日 优先权日2004年1月16日
发明者V·C·陶, Y·胡, P·兰森, A·克洛特鲁, W·江 申请人:微软合并公司