用于使用感测的位置数据来生成三维模型的系统和方法
【技术领域】
[0001] 本发明的实施例一般地设及图像建模，更具体地设及使用与图像相关联的位置数 据来生成图像模型。
【背景技术】
[0002] =维（3D)建模是一种开发=维对象的数学表示的过程。该数学表示可W被称作 3D模型。例如，立方体的3D模型可W包括该立方体的角、边和面的数学表示，它们能够被用 来生成该立方体的各种视图。在计算机环境中，该各种视图能够被擅染W便作为二维图像 进行显示，运与用户在从各种有利点观看物体时所看到的相类似。该多个视图的显示能够 被用来创建仿真。例如，立方体的各个视图能够被依序显示W生成对用户在它们绕立方体 行走时所看到的进行重建的仿真。虽然出于说明的目的描述了立方体，但是将要意识到的 是，类似的3D建模技术能够被用来生成任意各种物体的3D模型。例如，业主可W生成其家 的3D模型，其能够被用来为预期买主形成他们家的内部和外部的"虚拟游览"。类似的建模 技术能够被应用来生成3D模型W便创建虚拟现实仿真等等。
[0003] 在一些情况下，3D模型使用3D摄影来生成。利用3D摄影，从不同的有利点捕捉物 体的多个摄影图像，并且运些图像被组合W生成该物体的3D模型。在用于生成3D模型的 传统系统中，使用专用的硬件和软件来捕捉并处理图像W构建3D模型。例如，可W使用专 用的3D重建软件来识别物体图像之间的匹配点，并且对该匹配点进行处理W估计点在真 实世界中对应于图像中的点的位置（即，真实视觉坐标）。运些点能够被组合W创建物体的 3D模型。
[0004] 不幸的是，常规的3D建模技术是耗时的并且可能不准确。例如，常规的3D建模算 法可能依赖于估计和插值，运要求大量处理来生成适当结果并且可能最终生成不准确的结 果。此外，常规的3D建模技术无法在用户对于3D模型的当前状态不满意时为他们提供重新 捕捉图像视图或者获取附加图像的机会。例如，在常规的批处理技术中，用户可能被要求获 取生成3D模型时所使用的所有图像，并且可能对图像批次应用后处理来生成3D模型。不 幸的是，在生成3D模型的时候用户可能已经离开了该物体的地点，并且因此可能没有机会 返回该地点来捕捉该物体的附加图像。
【发明内容】
阳0化]提供了用于生成地理位置的摄影游览的方法和装置的各个实施例。在一些实施例 中，提供了一种计算机实现的用于生成=维（3D)模型的方法。该方法包括接收指示相机设 备在其被用来获取第一二维（2D)图像的时候或者接近此时的定向的感测位置数据的第一 集合，该感测位置数据的第一集合由用来获取第一 2D图像的相机设备的传感器提供；接收 指示相机设备在其被用来获取第二二维（2D)图像的时候或者接近此时的定向的感测位置 数据的第二集合，该感测位置数据的第二集合由用来获取第二2D图像的相机设备的传感 器提供；使用感测位置数据的第一和第二集合对于包括该第一和第二2D图像的图像对确 定感测的旋转矩阵；对于该图像对识别计算的相机变换矩阵，计算的变换包括所述计算的 平移矢量和所述计算的旋转矩阵；对于该图像对生成感测的相机变换矩阵，感测的相机变 换包括平移矢量和感测的旋转矩阵；识别第一和第二2D图像的匹配点集合；确定与使用感 测的相机变换的匹配点集合的变换相关联的第一误差是否小于与使用所述计算的相机变 换的匹配点集合的变换相关联的第二误差；W及响应于确定与使用感测的相机变换的匹配 点集合的变换相关联的第一误差小于与使用所述计算的相机变换的匹配点集合的变换相 关联的第二误差，使用感测的相机变换来生成3D模型，并且将该3D模型存储在3D模型库 集中。
[0006]在一些实施例中，识别计算的相机变换包括使用第一和第二2D图像的匹配点集 合得出多个候选计算变换矩阵，该候选所计算变换矩阵每一个均包括转移分量和所计算的 旋转矩阵，识别该多个候选计算变换矩阵中与最低变换误差相关联的一个候选的计算的变 换矩阵，并且将与最低变换误差相关联的该候选的计算的变换矩阵识别为计算的相机变 换。在一些实施例中，使用匹配点集合得出多个候选的计算的变换矩阵包括使用匹配点集 合来计算第一和第二2D图像之间的基础矩阵，基于该基础矩阵来计算本质矩阵，并且经由 奇异值分解将该本质矩阵分解为四个候选计算变换矩阵。
[0007]在一些实施例中，该匹配点集合包括第一和第二2D图像的匹配点集合的子集。在 一些实施例中，该匹配点集合包括第一和第二2D图像的匹配点集合中的5个匹配点。
[0008]在一些实施例中，确定与使用感测的相机变换的匹配点集合的变换相关联的第一 误差是否小于与使用计算的相机变换的匹配点集合的变换相关联的第二误差包括选择第 一和第二2D图像的匹配点集合的子集，确定与使用计算的相机变换的匹配点子集之间的 变换相关联的第一误差，确定与使用感测的相机变换的匹配点子集之间的变换相关联的第 二误差，并且将该第一误差与第二误差进行比较W确定与使用感测的相机变换的匹配点子 集的变换相关联的第一误差是否小于与使用所计算的相机变换的匹配点子集的变换相关 联的第二误差。
[0009]在一些实施例中，使用感测的相机变换矩阵生成3D模型包括将匹配点集合中的 匹配点变换为3D坐标，并且将该3D坐标添加至3D模型。
[0010] 在一些实施例中，计算的相机变换的平移矢量和感测的相机变换的平移矢量是相 同的。在一些实施例中，感测位置数据的第一集合指示相机设备在其被用来捕捉第一二维 (2D)图像的时候或者接近此时的位置，感测位置数据的第二集合指示相机设备在其被用来 捕捉第二二维（2D)图像的时候或者接近此时的位置，并且该方法进一步包括使用感测位 置数据的第一和第二集合对于包括该第一和第二2D图像的图像对确定感测的旋转矩阵， 感测的相机变换的平移矢量包括该感测的旋转矩阵，并且所计算的相机变换的平移矢量基 于该第一和第二2D图像的匹配点进行计算。
[0011] 在一些实施例中，该传感器包括巧螺仪。
[0012] 在一些实施例中，提供了一种非瞬态的计算机可读介质，其包括存储于其上的程 序指令，该程序指令能够被处理器执行而导致用于生成=维（3D)模型的W下步骤。该步骤 包括：接收指示相机设备在其被用来获取第一二维（2D)图像的时候或者接近此时的定向 的感测位置数据的第一集合，该感测位置数据的第一集合由用来获取第一 2D图像的相机 设备的传感器提供；接收指示相机设备在其被用来获取第二二维（2D)图像的时候或者接 近此时的定向的感测位置数据的第二集合，该感测位置数据的第二集合由用来获取第二2D图像的相机设备的传感器提供；使用感测位置数据的第一和第二集合对于包括该第一和第 二2D图像的图像对确定感测的旋转矩阵；对于该图像对识别计算的相机变换矩阵，计算的 变换包括计算的平移矢量和计算的旋转矩阵；对于该图像对生成感测的相机变换矩阵，感 测的相机变换包括平移矢量和感测的旋转矩阵；识别第一和第二2D图像的匹配点集合；确 定与使用感测的相机变换的匹配点集合的变换相关联的第一误差是否小于与使用计算的 相机变换的匹配点集合的变换相关联的第二误差；W及响应于确定与使用感测的相机变换 的匹配点集合的变换相关联的第一误差小于与使用计算的相机变换的匹配点集合的变换 相关联的第二误差，使用感测的相机变换生成3D模型，并且将该3D模型存储在3D模型库 集中。
[0013] 在一些实施例中，提供了一种计算机实现的用于生成=维（3D)模型的方法。该方 法包括：接收指示相机设备在其被用来获取第一二维（2D)图像的时候或者接近此时的位 置的感测位置数据的第一集合，该感测位置数据的第一集合由用来获取第一 2D图像的相 机设备的集成传感器提供；接收指示相机设备在其被用来获取第二二维（2D)图像的时候 或者接近此时的位置的定位传感器数据的第二集合，感测位置数据的该第二集合由用来获 取第二2D图像的相机设备的集成传感器提供；使用感测位置数据的第一和第二集合来确 定第一和第二2D图像之间的感测的旋转矩阵和/或感测的平移矢量；识别包括计算的平移 矢量和计算的旋转矩阵的计算的相机变换；生成包括感测的旋转矩阵和/或感测的平移矢 量的感测的相机变换；识别第一和第二2D图像的匹配点集合；确定与使用感测的相机变换 的匹配点集合的变换相关联的第一误差是否小于与使用计算的相机变换的匹配点集合的 变换相关联的第二误差；W及响应于确定与使用感测的相机变换的匹配点集合的变换相关 联的第一误差小于与使用计算的相机变换的匹配点集合的变换相关联的第二误差；使用感 测的相机变换来生成3D模型，并且将该3D模型存储在3D模型库集中。
【附图说明】
[0014] 图1是图示依据本技术的一个或多个实施例的生成物体的=维（3D)模型的方法 的流程图。
[0015] 图2图示了依据本技术的一个或多个实施例的一个物体W及从绕该物体的各个 有利点拍摄的2D图像。
[0016] 图3图示了依据本技术的一个或多个实施例的图像对的示例性匹配点。
[0017] 图4是图示依据本技术的一个或多个实施例的建模环境的框图。
[0018] 图5是图示依据本技术的一个或多个实施例的示例性计算机系统的框图。
【具体实施方式】
[0019] 如W下更为详细讨论的，提供了一种用于使用位置数据来生成=维（3D)模型的 系统和方法。3D模型可W包括物体的数学表示。在一些情况下，3D模型能够被用来生成与 物体相关的各种视图。例如，立方体的3D模型可W包括该立方体的角、边和面的数学表示， 它们能够被用来生成该立方体的各种视图。运样的视图能够被用来对用户在从各种有利点 观看物体时所看到的进行仿真。3D模型可W包括对应于真实世界中的点（即，真实世界坐 标）的3D点（例如，3D坐标）的集合。例如，立方体的3D模型可W包括对应于该立方体的 八个角的真实世界位置、沿该立方体的边的各个位置W及该立方体的六个面上的各个位置 的3D坐标的集合。
[0020] 在一些实施例中，使用多个图像来生成3D模型。例如，可W使用从关于物体的不 同有利点拍摄的该物体的多个二维（2D)图像来生成该物体的3D模型。在一些实施例中， 通过识别多个图像内的匹配点并且将该匹配点变换为用来生成3D模型的3D坐标而生成3D 模型。例如，从第一有利点拍摄的第一 2D图像（图像A)中描绘立方体的表面上的五个不 同位置的五个部分与从接近于该第一图像的有利点的第二有利点拍摄的第二2D图像（图 像B)的五个相对应部分匹配。两个图像内的五个匹配点的位置能够被变换W生成五个相 对应的3D坐标，它们表示该立方体的表面上的五个不同位置的真实世界位置。
[0021] 运样的变换能够使用各种2D图像对之间的任意数量的匹配点来进行W生成用于 生成3D模型时使用的任意数量的3D坐标。例如，第一和第二图像（图像A和B)之间、第 一图像和第=图像（图像A和C)之间、第二和第=图像（图像B和C)等之间的其它匹配 点集合能够被识别并且被用来识别另外的3D坐标集合W便包含在该立方体的3D模型中。
[0022] 在一些实施例中，到3D坐标的变换包括生成图像之间的变换矩阵（或"变换"）。 例如，第一图像（图像A)和第二图像（图像B)之间的五个随机匹配点能够被用来生成变 换矩阵灯AB)。该变换矩阵灯AB)随后能够被用来将图像A和B的点映射至3D/真实世界 坐标。
[0023] 在一些实施例中，用于两个图像的变换矩阵借助于位置数据而生成，上述位置数 据指示相机设备在其被用来获取对开发该变换时所使用的图像的时候或者接近此时的定 向。例如，对于图像A和B生成变换矩阵可W至少部分基于感测位置数据的第一集合W及感 测位置数据的第二集合，该感测位置数据的第一集合指示相机设备在其被用来获取第一二 维（2D)图像的时候或者接近此时的定向/位置，