用于为了三维图像生成来标记图像的系统和方法
【专利说明】用于为了三维图像生成来标记图像的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2013年8月5日提交的美国专利申请N0.13/958，776以及于2012年10月18日提交的美国临时专利申请N0.61/715，363的优先权，它们通过引用全文合并于此。
【背景技术】
[0003]在计算机图形中，三维(3D)建模涉及生成物体的3D表面的表示。该表示可以被称为3D物体数据模型，并且能够经由3D渲染而被渲染或显示为二维图像或者被显示为3D图像。3D物体数据模型使用3D空间中点的集合来表示3D物体，上述点通过诸如三角形、线条、曲面等的各种几何实体来连接。现在存在各种技术用于例如利用点云和几何形状来生成3D物体数据模型。
[0004]作为数据的集合，3D模型能够通过手工、自动地创建，或者例如能够对物体进行扫描。作为一个示例，艺术家可以手工生成物体的能够被用作3D模型的3D图像。作为另一个示例，可以从多个不同角度对给定物体进行扫描，并且所扫描的图像能够被组合以生成该物体的3D图像。作为又另一个示例，可以使用物体的图像来生成点云，所述点云能够被算法处理以生成3D图像。
[0005]3D物体数据模型可以包括定义该物体的体积的固态模型，或者可以包括表示该物体的表面(例如边界)的壳体或边界模型。由于物体的外观很大程度上取决于该物体的外貌，所以边界表示常见于计算机图形中。
[0006]3D模型在各种领域中有所使用，并且可以使用多种不同类型的接口来显示。示例接口可以提供使得用户和3D模型之间能够进行交互的功能。
【发明内容】
[0007]本申请公开了用于为了三维(3D)图像生成来标记图像的系统和方法。在一个方面，描述了一种方法。该方法可以包括在计算设备处接收物体的第一图像集合。该第一图像集合中的图像可以是从关于该物体的各个角度被捕获的。该方法还可以包括接收该物体的第二图像集合。该第二图像集合中的图像可以是从关于该物体的各个角度被捕获的、并且可以被索引为使得该第二图像集合中的每个图像对应于该第一图像集合中的相应图像。该第二图像集合中的图像可以是在将图案投影于该物体上的同时被捕获的。该方法可以进一步包括将该第二图像集合中的每个图像中的图案部分与该第二图像集合中在空间上相邻的图像中的相对应的图案部分进行匹配，以便在空间上对准该第二图像集合中的图像。该方法还可以包括基于该第二图像集合中的图像针对该第一图像集合中的图像的索引来确定该第一图像集合中对应于该第二图像集合中空间对准的图像的相应图像。该方法可以进一步包括基于该第一图像集合中被确定为对应于该第二图像集合中空间对准的图像的相应图像来生成该物体的3D图像。
[0008]在另一个方面，描述了一种其上存储有指令的非瞬时计算机可读介质，该指令能够由计算设备执行以使得该计算设备执行功能。该功能可以包括接收物体的第一图像集合。该第一图像集合中的图像可以是从关于该物体的各个角度被捕获的。该功能还可以包括接收该物体的第二图像集合。该第二图像集合中的图像可以是从关于该物体的各个角度被捕获的、并且可以被索引为使得该第二图像集合中的每个图像对应于该第一图像集合中的相应图像。该第二图像集合中的图像可以是在将图案投影于该物体上的同时被捕获的。该功能可以进一步包括将该第二图像集合中的每个图像中的图案部分与该第二图像集合中在空间上相邻的图像中的相对应图案部分进行匹配，以便在空间上对准该第二图像集合中的图像。该功能还可以包括基于该第二图像集合中的图像针对该第一图像集合中的图像的索引来确定该第一图像集合中对应于该第二图像集合中的空间对准的图像的相应图像。该功能可以进一步包括基于该第一图像集合中被确定为对应于该第二图像集合中的空间对准的图像的相应图像来生成该物体的3D图像。
[0009]在又另一个方面，描述了一种系统。该系统可以包括标记模块，其可以被配置为在物体上投射描绘图案的标记。该系统还可以包括图像捕获模块，其被配置为接收该物体的第一图像集合。该第一图像集合中的图像可以是从关于该物体的各个角度被捕获的。该图像捕获模块还可以被配置为接收该物体的第二图像集合。该第二图像集合中的图像可以是从关于该物体的各个角度被捕获的、并且可以被索引为使得该第二图像集合中的每个图像对应于该第一图像集合中的相应图像。该第二图像集合中的图像可以是在将图案投影于该物体上的同时被捕获的。该系统可以进一步包括图像生成模块，其耦合至该图像捕获模块并且被配置为将该第二图像集合中的每个图像中的给定图案部分与该第二图像集合中在空间上相邻的图像中的相对应图案部分进行匹配，以便在空间上对准该第二图像集合中的图像，该图像生成模块可以被配置为基于该第二图像集合中的图像针对该第一图像集合中的图像的索引来确定该第一图像集合中对应于该第二图像集合中的空间对准的图像的相应图像，并且该图像生成模块可以被配置为基于该第一图像集合中被确定为对应于该第二图像集合中的空间对准的图像的相应图像来生成该物体的3D图像。
[0010]以上
【发明内容】
仅是说明性的而并非意在以任何方式进行限制。除了以上所描述的说明性方面、实施例和特征之外，另外的方面、实施例和特征将通过参考附图和以下详细描述而是显而易见的。
【附图说明】
[0011]图1图示了依据一个实施例的用于物体数据建模的示例系统。
[0012]图2图示了依据一个实施例的用于物体数据建模的另一示例系统。
[0013]图3图示了依据一个实施例的用于进行图像标记和三维(3D)图像生成的示例方法的流程图。
[0014]图4A图示了依据一个实施例的物体以及绕物体进行360°旋转以捕获该物体的图像的相机。
[0015]图4B图示了依据一个实施例的在物体上投射标记的图案的示例光源。
[0016]图4C图示了依据一个实施例的在不同位置的在物体上投射标记的图案的示例光源。
[0017]图5A图示了依据一个实施例的包括标记的两个图像的示例。
[0018]图5B-5D图示了依据一个实施例的图像对准的示例迭代。
[0019]图5E图示了依据一个实施例的包括标记的物体的两个相交侧面的两个图像的示例。
[0020]图5F图示了依据一个实施例的基于在物体上投影的标记对该物体的两个相交侧面的两个图像所进行的对准。
[0021]图6图示了依据一个实施例的用于图像标记和3D图像生成的示例系统。
[0022]图7是图示在依据这里所描述的至少一些实施例布置的计算系统中使用的示例计算设备的功能框图。
[0023]图8是图示包括用于在根据这里所描述的至少一些实施例布置的计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念性部分视图的示意。
【具体实施方式】
[0024]以下【具体实施方式】参考附图描述了所公开系统和方法的各种特征和功能。在图中，除非上下文另外指示，否则相似的附图标记识别相似的组件。这里所描述的说明性系统和方法实施例不意在作为限制。可以容易理解的是，所公开的系统和方法的某些方面能够以各种不同配置进行布置和组合，所有这些都在这里得到预期。
[0025]本公开可以公开用于进行图像标记以及物体的三维(3D)图像生成的方法和系统。在一个示例中，计算设备可以被配置为接收物体的高分辨率的第一图像集合以捕获该物体的细节。该计算设备还可以被配置为接收较低分辨率的第二图像集合，其包括投影在该物体上的标记并且被进行索引以对应于第一图像集合中的图像(例如，第二图像集合中的每个图像可以对应于第一图像集合中的一个相应图像)。该计算设备可以被配置为基于投影在该物体上的标记而在空间上对准第二图像集合中的图像，并且确定该第一图像集合中对应于该第二图像集合中空间对准的图像的相应图像。该计算设备然后可以从该第一图像集合中的相应图像来生成该物体的3D图像。
[0026]现在参考附图，图1图示了依据一个实施例的用于物体数据建模的示例系统100。系统10包括输入源102，其耦合至服务器104和数据库106。服务器104还被示为耦合至数据库106和输出目标108。系统100可以包括更多或更少的组件，并且输入源102、服务器104、数据库106和输出目标108中的每一个也可以包括多个元件，或者输入源102、服务器104、数据库106和输出目标108中的每一个也可以互连。因此，系统100的所描述的功能中的一个或多个可以被划分到另外的功能或物理组件，或者被组合为较少的功能或物理组件。在一些另外的实施例中，可以向图1所示的示例增加另外的功能和/或物理组件。
[0027]系统100的组件可以被耦合或配置为能够经由网络(未示出)进行通信，例如，上述网络诸如是局域网(LAN)、广域网(WAN)、无线网络(WiFi)或互联网。此外，系统100中的任意组件可以使用有线或无线通信相互耦合。例如，输入源102与服务器104之间的通信链路可以包括有线连接，诸如串行或并行总线，或者包括无线链路，诸如蓝牙、IEEE802.1KlEEE 802.11 也指 IEEE 802.11-2007、IEEE 802.lln-2009 或者任意其它 IEEE
802.11版本)，或者其它的基于无线的通信链路。
[0028]输入源102可以是可以从其接收3D物体数据模型的任意源。在一些示例中，3D模型获取(形状和外观)可以通过与提供商或制造商进行工作以3D扫描物体来实现。例如，结构光扫描仪可以捕获物体的图像并且可以使用单色立体相机和模式投影仪来恢复该物体的形状。在其它示例中，可以使用高分辨率的DSLR来捕获彩色纹理信息的图像。在又其它的示例中，可以针对每个物体接收绘图的原始计算机辅助绘图(CAD)集合。因此，输入源102可以以各种形式向服务器104提供3D物体数据模型。作为一个示例，可以将物体的多个扫描处理为融合网格和资产数据模型，并且以该形式提供给服务器104。
[0029]服务器104包括模型构建器110、物体数据模型处理器112、语义和搜索索引114、和图像库116、阴影器应用118、材料应用120以及物体数据模型渲染器/观看器122。服务器104的任何组件都可以互相耦合。此外，服务器104的任何组件都可以替选地为耦合至服务器104的单独组件。例如，服务器104可以进一步包括处理器和存储器，所述存储器包括可由该处理器执行以执行服务器104的组件的功能的指令。
[0030]模型构建器110从输入源102接收每个物体的网格数据集合，其可以包括定义密集表面网格几何形状的数据集合，并且可以以3D生成该物体的动画模型。例如，模型构建器110可以从该网格表面执行相干纹理展开，并且确定从几何形状所仿真的表面纹理。
[0031]物体数据模型处理器112也可以从输入源102接收每个物体的网格数据集合并且生成显示网格。例如，所扫描的网格图像可以利用纹理预留抽取进行抽取(例如，从五百万到120000个表面)。还可以执行纹理地图生成以确定地图渲染的色彩纹理。纹理地图生成可以包括使用具有色彩但是没有UV(2D纹理空间的坐标系统)展开的网格数据集合(H)来生成具有UV展开但是没有色彩的网格(D)。作为示例，对于图像的单个输出纹理像素，处理可以包括针对UV中的给定点确定该网格UV映射D中的三角形，并且使用三角局部坐标移动至网格上相关联的3D点。双向射线可以沿该三角形的法线进行投射以与网格H相交，并且可以将色彩、法线和位移用于输出。为了生成整个纹理图像，该图像中的每个像素都可以被处理。
[0032]在一些示例中，模型构建