像素显示器的色彩和强度调制的使用的制作方法

像素显示器的色彩和强度调制的使用的制作方法
【专利摘要】本公开涉及像素显示器的色彩和强度调制的使用，具体说，涉及利用具有多元显示器、摄像头和控制器的移动设备来确定目标物体的3D模型的方法和系统。多元显示器被配置为产生光场。光场的至少一部分从目标物体反射。摄像头被配置为基于从目标物体反射的光场的部分捕获多个图像。控制器被配置为基于图像确定目标物体的3D模型。3D模型包括关于目标物体的三维形状和色彩信息。在一些实施例中，光场可以包括特定的光图案、光谱内容和其它形式的调制光/结构光。
【专利说明】像素显示器的色彩和强度调制的使用
【技术领域】
[0001]本公开涉及像素显示器的色彩和强度调制的使用。
【背景技术】
[0002]在计算机图形学中，三维(3D)建模涉及产生物体的3D表面的表示。该表示可以称为3D物体数据模型，或简称为3D模型，并可以经由3D渲染(render)而被渲染为或显示为二维图像，或者可以被显示为三维图像。3D物体数据模型可以利用通过诸如三角形、线和曲面等的各种几何实体连接的、在3D空间中点的集合来表示3D物体。存在利用点云和几何形状产生3D物体数据模型的各种技术。

【发明内容】

[0003]在第一方面中，提供一种移动设备。该移动设备包括多元显示器、摄像头和控制器。所述多元显示器被配置为产生光场。光场的至少一部分从目标物体反射。所述摄像头被配置为基于从目标物体反射的光场的一部分捕获多个图像。所述摄像头还被配置为同步于对光场的至少一次调制来捕获多个图像。控制器被配置为基于多个图像接收目标物体的3D模型。3D模型包括关于目标物体的三维形状和色彩信息。控制器还被配置为基于3D模型确定目标物体的形状、目标物体的外观和目标物体的材料中的至少一个。
[0004]在第二方面中，提供一种方法。该方法包括用移动设备照明目标物体。移动设备包括多元显示器和摄像头。多元显示器被配置为产生调制光场。调制光场照明目标物体。该方法包括利用摄像头捕获目标物体的多个图像。多个图像的捕获被配置为同步于对调制光场的至少一次调制。该方法还包括基于多个图像接收目标物体的3D模型。3D模型包括关于目标物体的三维形状和色彩信息。另外，该方法包括基于3D模型确定目标物体的形状、目标物体的外观和目标物体的材料中的至少一个。
[0005]在第三方面中，提供一种非瞬时计算机可读介质。该非瞬时计算机可读介质包括计算设备可执行以使计算设备执行功能的指令，该功能包括用计算设备照明目标物体。计算设备包括多元显示器和摄像头。多元显示器被配置为产生光场。光场照明目标物体。该功能包括利用摄像头捕获目标物体的多个图像。功能还包括基于多个图像接收目标物体的3D模型。3D模型包括关于目标物体的三维形状和色彩信息。另外，功能包括基于3D模型确定目标物体的形状、目标物体的外观和目标物体的材料中的至少一个。
[0006]前述的
【发明内容】
仅是示例性的且不是旨在任何形式的限制。除了上述的示例性的方面、实施例和特征之外，参考图和下面详细的描述，更多的方面、实施例和特征将变得明显。
【专利附图】

【附图说明】
[0007]图1A是依照示例实施例的服务器系统的功能方框图；
[0008]图1B是依照示例实施例的分布式计算架构的功能方框图；[0009]图1C是依照示例实施例的计算设备的功能方框图；
[0010]图1D是依照示例实施例的基于云的服务器系统的功能方框图；
[0011]图1E是依照不例实施例的计算机程序广品的不意图；
[0012]图2A是依照示例实施例的移动设备的功能方框图；
[0013]图2B-2D依照示例实施例展示了移动设备的前视图、侧视图和后视图；
[0014]图3A依照示例实施例示出了利用移动设备捕获目标物体的图像的场景；
[0015]图3B依照示例实施例示出了利用移动设备捕获目标物体的图像的场景；
[0016]图3C依照示例实施例示出了利用移动设备捕获目标物体的图像的场景；
[0017]图3D依照示例实施例示出了利用移动设备捕获目标物体的图像的场景；
[0018]图4是依照示例实施例的方法的流程图。
【具体实施方式】
[0019]在下面的详细描述中，参考了构成其一部分的附图。在附图中，类似的标记通常标识类似的组件，除非上下文给出相反指示。在详细描述和图中描述的示例性实施例不是意图进行限制。在不脱离这里提出的主题的精神或范围的情况下，可以使用其它的实施例，也可以做出其它改变。将很容易理解，本公开的方面，如这里一般描述的和在图中示出的，可以以很多种不同的配置来安排、替代、组合或分开，所有这些都在本文的构想之内。
[0020]这里公开的示例实施例涉及利用从移动设备的多元(mult1-element)显示器产生的光场照明(illuminating)目标物体；基于从目标物体反射的光场的部分、利用摄像头(camera)捕获多个图像；以及基于图像确定目标物体的3D模型。
[0021]这里公开的一些方法可以通过移动设备部分地或全部地实施，可以有或没有移动设备用户的交互。取决于特定的实施例，移动设备可以表示平板计算机、膝上型计算机、智能电话、无线蜂窝式电话或任何其它的移动计算设备。在这些示例中，移动设备的多元显示器可以被用于照明目标物体。目标物体可以是在移动设备上的摄像头的视场内的任何物体。在一些实施例中，多元显示器可以提供包括白光和/或有色光的光场。附加地或可替换地，多元显示器可以从多元显示器的不同部分产生光，以便从不同的角度提供对目标物体的照明(lighting)。可以对多元显示器产生的光场进行其它调制(如强度、空间的、色彩、偏振等)。
[0022]当光场的至少一部分正在照明目标物体时，摄像头可以捕获目标物体以及从目标物体反射的光场的部分的图像。基于捕获的图像，可以确定3D模型。3D模型可以包括关于目标物体的三维形状和色彩信息。除了目标物体的几何范围(extents)和色彩之外，三维形状和色彩信息还可以包括比如关于目标物体的照明信息(目标物体表面的亮度和反射率)的更多的元素。
[0023]可选地，可以通过移动设备发送基于3D模型的搜索查询。搜索查询可以是为了特定的目的(如，为了搜索目标物体的价格和可以购买目标物体的位置)，或者搜索查询可以是一般性的(如，为了一般地提供关于目标物体的更多信息)。移动设备还可以可选地接收搜索查询结果。搜索查询结果可以，例如，包括来自服务器的响应，该响应指示关于目标物体和/或与目标物体类似的物体的更多信息。搜索查询结果可以附加地或可替换地包括获得目标物体的另外的图像的建议。[0024]这里公开的方法的部分可以部分地通过服务器实施。在示例性实施例中，服务器可以接收包括目标物体的3D模型的搜索查询(如，来自移动设备的搜索查询)。3D模型可以基于目标物体的多个图像，并且3D模型可以包括关于目标物体的三维形状和色彩信息。可以在第一比较中将3D模型与形状搜索数据库进行比较。服务器可以基于第一比较产生搜索查询结果。搜索查询结果可以包括关于目标物体的信息、关于与目标物体类似的一个或多个物体的信息和/或获得目标物体的更多图像的建议。服务器可以发送搜索查询结果(例如，到移动设备)。
[0025]附加地或可替换地，(例如，在基于云的服务器中的)一个或多个服务器可以执行目标物体的3D模型的确定中的一些或全部。例如，移动设备可以捕获目标的多个图像。图像可以被发送到服务器，且服务器可以确定目标物体的3D模型。3D模型可以接着被发送到移动设备并被移动设备接收。在本公开的上下文内可以有服务器和移动设备之间的其它交互。
[0026]这里还描述了移动设备。除了其他元件之外，移动设备可以包括多元显示器、摄像头和控制器。多元显示器可以是LCD显示器或本领域已知的其它任何的多像素阵列显示器。多元显示器可以被配置为提供可以照明目标物体的光场。光场的一部分可以从目标物体反射。摄像头可以被配置为基于从目标物体反射的光场的部分获得目标物体的多个图像。控制器可以被配置为基于图像确定目标物体的3D模型。3D模型可以包括关于目标物体的三维形状和色彩信息。
[0027]可选地，控制器还可以被配置为基于3D模型发送搜索查询并且也接收搜索查询结果。多元显示器还可以被配置为显示3D模型的渲染表示以及关于3D模型的其它信息。
[0028]这里还公开了具有存储的指令的非瞬时计算机可读介质。指令可以是计算设备可执行的，以使计算设备执行与上述方法中描述的那些功能类似的功能。
[0029]本领域技术人员将会理解，有很多不同的特定的方法和系统，所述的方法和系统可以被用于以移动设备的多元显示器产生的光场照明目标物体，基于从目标物体反射的光场的部分捕获多个图像，以及基于图像确定目标物体的3D模型。这些特定的方法和系统中的每个在本公开的上下文内是可预期的，且下面描述若干个示例实施例。
[0030]图1A示出了用于物体数据建模的示例系统100。系统100包括耦合到服务器104和数据库106的输入源102。服务器也被显示为耦合到数据库106和输出目标108。系统100可以包括更多的或更少的组件，并且输入源102、服务器104、数据库106和输出目标108中的每个同样可以包括多个元件，或者输入源102、服务器104、数据库106和输出目标108中的每个同样可以相互连接。因此，所描述的系统100的功能中的一个或多个可以被划分到附加的功能或物理组件中，或被组合成更少的功能或物体组件中。在某些其他的示例中，附加的功能和/或物理组件可以被增加到图1A示出的示例中。
[0031]系统100的组件可以耦合到网络(未示出)，或者被配置为能够经由网络(未示出)通信，所述的网络诸如例如局域网(LAN)、广域网(WAN)、无线网络(W1-Fi)或者因特网。另夕卜，系统100的任意组件可以利用有线或无线通信相互耦合。例如，输入源102和服务器104之间的通信链路可以包括比如串行总线或并行总线的有线连接，或无线连接，所述无线连接比如蓝牙、IEEE802.11 (IEEE802.11 可以指的是 IEEE802.11-2007、IEEE802.lln-2009或任何其它的IEEE802.11版本)、或其它基于无线的通信链路。[0032]输入源102可以是比如移动设备的源，从所述源可以接收3D模型，或物体数据模型。在一些示例中，3D模型获取(形状和外观)可以通过与供应商或制造商一起工作以扫描3D的目标物体来完成。例如，结构光扫描仪可以捕获目标物体的图像且可以利用单色立体摄像头和图案投影仪来恢复目标物体的形状。从图像恢复三维形状和色彩信息的各种方法是本领域已知的。例如，运动恢复结构(Structure From Motion, SFM)、立体视法(stereoscopy)、多视角法(multiscopy)、用结构光照明、以及计算机视觉和3D成像领域已知的其它技术可以被单独使用或以各种组合使用来形成3D模型。
[0033]在其它的示例中，输入源102可以包括可以被用于捕获色彩纹理信息的图像的高分辨率数码单反(Digital Single-Lens Reflex, DSLR)照相机。在其它示例中，对于每一个物体可以接收一组原始(raw)计算机辅助制图(CAD)绘图。在又一个示例中，移动设备(如，电话、平板计算机、膝上型计算机等)可以获取目标物体的多个图像且可以从所述图像确定3D模型。因此，输入源102可以以各种形式将3D模型提供给服务器104。作为一个示例，物体的多重扫描可以被处理成合并的网格(merged mesh)和资产数据(assets data)模型，并以那个形式提供给服务器104。作为另一个示例，输入源102可以在搜索查询的上下文内提供3D模型。
[0034]可替换地，移动设备可以具有可以产生光场的多元显示器。光场的一部分可以从目标物体反射。移动设备可以包括摄像头，该摄像头可以基于从目标物体反射的光场的部分捕获多个图像。来自移动设备的这些图像可以代表输入源，系统从所述输入源确定3D模型信息。可替换地，移动设备可以确定3D模型且3D模型(以及其它信息)可以被认为是到所描述的系统的输入。
[0035]服务器104包括模型构造器110、物体数据模型处理器112、语义学和搜索索引114以及图形库116。服务器104的任意组件可以彼此耦合。另外，可替换地，服务器104的任意组件可以是耦合到服务器104的分离的组件。服务器104还可以包括例如处理器和存储器，所述存储器包括可被处理器执行以执行服务器104的组件的功能的指令。
[0036]模型构造器110接收来自输入源102的每个物体的网格数据集，该网络数据集可以包括定义稠密表面网格几何(dense surface mesh geometry)的数据集,且可以产生3D的物体的动画模型。例如，模型构造器110可以执行从网格表面的一致性纹理拆解，并确定由几何学仿真的表面的纹理。
[0037]物体数据模型处理器112还可以接收来自输入源102的每个物体的网格数据集并产生显示网格。例如，扫描的网格图像可以利用纹理保存简化(decimation)进行简化(如，从5百万到120,000个表面)。纹理映射的产生也可以被执行以确定用于映射渲染的色彩纹理。为产生整个纹理映射，每个图像像素可以与预定的纹理像素关联。
[0038]语义学和搜索索引114可以接收捕获的图像或已被简化和压缩的处理过的图像，并可以执行纹理重采样以及基于形状的索引。例如，对于每个物体，语义学和搜索索引114可以将图像的组分(如，每个像素)索引为或标注为具有特定的纹理、颜色、形状、几何图形、属性等。
[0039]例如，图形库116可以包括WebGL或OpenGL网格压缩以减少网格文件大小。例如，图形库116可以以用于在浏览器上的显示的形式提供3D物体数据模型(或3D模型)。在一些示例中，3D物体数据模型查看器可以被用于显示3D物体数据模型的图像。例如，3D物体数据模型查看器可以利用在网络浏览器内的WebGL或OpenGL实现。
[0040]形状搜索数据库106可以以从捕获的原始数据到用于显示的处理过的数据的任意数量的各种形式存储3D物体数据模型的所有数据集。另外，形状搜索数据库106可以用作用于与3D模型进行比较的形状参考库。例如，一旦从输入源102接收到搜索查询形式的3D模型，该3D模型可以与形状搜索数据库106进行比较以便获得用于产生搜索查询结果的信息。搜索查询结果可以包括比如在形状搜索数据库106中的在形状、纹理、色彩、大小、体积界(bound volume)、亮度、反射率和/或任何其他索引的物体属性的任意组合方面类似的物体的信息。
[0041]形状搜索数据库106被通信地耦合到服务器104，但不要求其以物理方式或以其它方式连接到服务器104。形状搜索数据库106也可以被集成到服务器104中。形状搜索数据库106可以与系统100的其它元件协同使用以便确定3D模型和形状搜索数据库106的物体之间是否存在匹配。
[0042]输出目标108可以包括许多不同的目标，比如在因特网上的网页、搜索引擎、数据库等。输出目标108可以包括3D物体数据模型查看器，其允许基于3D物体数据模型实现产品广告或产品搜索。在这里的示例中，输出目标108还可以包括输入源102。例如，移动设备可以以搜索查询将3D模型提供给系统100并被认为是输入源102。在这样的实例中，系统100可以产生搜索查询结果并将搜索查询结果发送给移动设备。因此，移动设备也可以被认为是输出目标108。其它的输出目标108是可能的。例如，搜索查询结果可以从系统100发送到不同的移动设备。
[0043]图1B、图1C和图1D示出了在依照这里描述的至少一些实施例安排的系统中使用的计算设备的示例。取决于特定的实施例，计算设备可以是个人计算机、移动设备、蜂窝式电话、可穿戴计算机、平板计算机、或服务器。计算设备可以被用于实现下述系统和方法:所述系统和方法用于用光场照明目标物体，基于获得从目标物体反射的光场的部分获得多个图像，并基于图像产生目标物体的3D模型。方法可以可选地包括发送/接收包括3D模型的搜索查询，将3D模型与形状搜索数据库比较，基于比较产生搜索查询结果，以及发送/接收搜索查询结果，如上所述并如图1A所示，以及如在本公开内的其它地方所示。
[0044]图1B不出了服务器设备128、130,其被配置为经由网络126与可编程设备124a、124b和124c通信。网络126可以对应于LAN、广域网(WAN)、公司内部网、公共因特网、或被配置为提供联网的计算设备之间的通信路径的任何其它类型的网络。网络126也可以对应于一个或多个LAN、WAN、公司内部网和/或公共因特网的组合。
[0045]虽然图1B仅示出了三个可编程设备，但是分布式应用架构可以服务数十、数百、数千、或甚至更多的可编程设备。此外，可编程设备124a、124b和124c(或任意附加的可编程设备)可以是任意种类的计算设备，如膝上型计算机、平板计算机、桌上型计算机、网络终端、无线通信设备(如蜂窝式电话或智能电话)、等等。在一些实施例中，可编程设备124a、124b和124c可以专注于软件应用的设计和使用。在其它实施例中，可编程设备124a、124b和124c可以是被配置为执行许多任务且不必专注于软件开发工具的通用计算机。
[0046]服务器设备128、130可以被配置为执行可编程设备124a、124b和/或124c所请求的一项或多项服务。例如，服务器设备128和/或130可以将内容提供给可编程设备124a-124c。内容可以包括但不限于，网页、超文本、脚本、比如经编译的软件的二进制数据、图像、音频和/或视频。内容可以包括压缩和/或未压缩的内容。内容可以是加密的和/或未加密的。其它类型的内容也是可能的。
[0047]作为另一个示例，服务器设备128和/或130可以向可编程设备124a_124c提供到用于数据库、搜索、计算、图形的、音频、视频、万维网/因特网利用和/或其它功能的软件的访问。服务器设备的很多其它示例也是可能的。
[0048]图1C是依照示例实施例的计算设备(如，系统)的方框图。具体来说，图1C示出的计算设备150可以被配置为执行服务器设备128、130、网络126、和/或可编程设备124a、124b、124c中的一个或多个的一个或多个功能。计算设备150可以包括用户接口模块151、网络通信接口模块152、一个或多个处理器153和数据存储器154，所有的这些可以经由系统总线、网络、或其它连接机制155连接在一起。
[0049]用户接口模块151可以是可操作的以发送数据到外部用户输入/输出设备和/或从外部用户输入/输出设备接收数据。例如，用户接口模块151可以被配置为发送数据到用户输入设备和/或从用户输入设备接收数据，所述用户输入设备比如键盘、键区、触摸屏、计算机鼠标、跟踪球、操纵杆、照相机、声音识别模块和/或其它类似设备。用户接口模块151也可以被配置为将输出提供给用户显示设备，比如一个或多个阴极射线管(CRT)、液晶显示器(IXD)、发光二极管(LED)、利用数字光处理(DLP)技术的显示器、打印机、电灯泡和/或其它类似设备，或者现在已知的或者以后开发的。用户接口模块151也可以被配置为产生听得见的输出，如扬声器、扬声器插口、音频输出端口、音频输出设备、耳机和/或其它类似设备。
[0050]网络通信接口模块152可以包括一个或多个无线接口 157和/或一个或多个有线接口 158，无线接口 157和有线接口 158可被配置为经由比如如图1B所示的网络126的网络进行通信。无线接口 157可以包括一个或多个无线发送器、接收器和/或收发器，如蓝牙收发器、紫蜂收发器、W1-Fi收发器、WiMAX收发器和/或被配置为经由无线网络通信的其它类似类型的无线收发器。有线接口 158可以包括一个或多个有线发送器、接收器和/或收发器，如以太网收发器、通用串行总线(USB)收发器、或被配置为经由双绞线、同轴电缆、光纤链接、或类似的到有线网络的物理连接通信的类似收发器。
[0051]在一些实施例中，网络通信接口模块152可以被配置为提供可靠的、安全的和/或已认证的通信。对于这里描述的每个通信，可以提供用于确保可靠通信(也就是有保证的信息递送)的信息，该信息或许作为消息首部和/或尾部(footer)(如，包/消息序列信息、封装首部和/或尾部、大小/时间信息和比如CRC和/或奇偶校验值的发送验证信息)的一部分被提供。可以利用比如，但不限于，DES、AES、RSA、Diffie-Hellman和/或DSA的一个或多个密码协议和/或算法来对通信进行保护(例如，编码或加密)和/或解密/解码。其它密码协议和/或算法也可以被使用、或与这里列出那些协议一起使用，以保护(然后解密/解码)通信。
[0052]处理器153可以包括一个或多个通用处理器和/或一个或多个专用处理器(如，数字信号处理器、专用集成电路，等)。处理器153可以被配置为执行包括在数据存储器154中的计算机可读程序指令156a和/或如这里所述的其它指令。
[0053]数据存储器154可以包括可以被处理器153中的至少一个读取和/或访问的一个或多个计算机可读存储介质。一个或多个计算机可读存储介质可以包括可以整体地或部分地与处理器153中的至少一个集成的易失性和/或非易失性存储器组件，如光学的、磁的、有机的或其它存储器或盘存储器。在一些实施例中，数据存储器154可以利用单个物理设备(如，一个光学的、磁的、有机的或其它的存储器或盘存储器单元)实现，然而在其它实施例中，数据存储器154可以利用两个或多个物理设备实现。
[0054]数据存储器154可以包括计算机可读程序指令156a、真实环境156b、和可能的附加数据。真实环境156b可以存储软件应用的一个或多个过程和/或线程使用的数据中的至少一些。在一些实施例中，数据存储器154可以附加地包括执行这里描述的方法和技术的至少一部分和/或这里描述的设备和网络的功能的至少一部分所需的存储器。
[0055]图1D依照示例实施例描绘了被安排为基于云的服务器系统的计算集群159a、159b和159c的网络126。服务器设备128和/或130可以是基于云的设备,所述基于云的设备存储程序逻辑和/或基于云的应用和/或服务的数据。在一些实施例中，服务器设备128和/或130可以是存在于单个计算中心中的单个计算设备。在其它实施例中，服务器设备128和/或130可以包括在单个计算中心中的许多计算设备或者甚至是位于处在不同地理位置的许多计算中心中的多个计算设备。例如，图1B描绘了存在于不同物理位置中的服务器设备128和130中的每个。
[0056]在一些实施例中，在服务器设备128和/或130的数据和服务可以被编码为存储在有形的计算机可读介质(或计算机可读存储器介质)中的且可被可编程设备124a、124b和124c和/或其它计算设备访问的计算机可读信息。在一些实施例中，在服务器设备128和/或130的数据可以存储在单个盘驱动器或其它有形的存储器介质上，或者可以在位于一个或多个不同地理位置的许多盘驱动器或其它有形的存储器介质上实现。
[0057]图1D依照示例实施例描绘了基于云的服务器系统。在图1D中，服务器设备128和/或130的功能可以在三个计算集群159a、159b和159c之中分布。计算集群159a可以包括通过局部集群网络162a连接的一个或多个计算设备150a、集群存储器阵列160a和集群路由器161a。类似地，计算集群159b可以包括通过局部集群网络162b连接的一个或多个计算设备150b、集群存储器阵列160b和集群路由器161b。同样地，计算集群159c可以包括通过局部集群网络162c连接的一个或多个计算设备150c、集群存储器阵列160c和集群路由器161c。
[0058]在一些实施例中，计算集群159a、159b和159c中的每个可以具有相同数量的计算设备、相同数量的集群存储器阵列和相同数量的集群路由器。然而，在其它实施例中，每个计算集群可以有不同数量的计算设备、不同数量的集群存储器阵列和不同数量的集群路由器。在每个计算集群中的计算设备、集群存储器阵列和集群路由器的数量可以取决于分配到每个计算集群的计算任务或任务。
[0059]在计算集群159a中，例如，计算设备150a可以被配置为执行服务器130的各种计算任务。在一个实施例中，服务器130的各种功能性可以分布在计算设备150a、150b和150c中的一个或多个之中。在计算集群159b、159c中的计算设备150b、150c可以被配置为类似于在计算集群159a中的计算设备150a。另一方面，在一些实施例中，计算设备150a、150b和150c可以被配置为执行不同的功能。
[0060]在一些实施例中，与服务器设备128和/或130关联的计算任务和存储的数据可以至少部分地基于服务器设备128和/或130的处理要求、计算设备150a、150b和150c的处理能力、在每个计算集群中的计算设备之间的和计算集群本身之间的网络链接的延迟、和/或可以有助于整个系统构架的成本、速度、容错、弹性、效率和/或其它设计目标的其它因素而跨计算设备150a、150b和150c分布。
[0061]计算集群159a、159b和159c的集群存储器阵列160a、160b和160c可以是包括盘
阵列控制器的数据存储器阵列，所述盘阵列控制器被配置为管理对硬盘驱动器组的读和写访问。盘阵列控制器，单独地或与它们各自的计算设备协同，也可以被配置为管理存储在集群存储器阵列中的数据的备份或冗余副本，以防范盘驱动器或其它集群存储器阵列故障和/或网络故障，所述故障和/或网络故障阻止一个或多个计算设备访问一个或多个集群存储器阵列。
[0062]与服务器设备128和/或130的功能可以跨计算集群159a、159b和159c的计算设备150a、150b和150c分布的方式类似，这些组件的各种活跃部分和/或备用部分也可以跨集群存储器阵列160a、160b和160c分布。例如，一些集群存储器阵列可以被配置为存储服务器设备128的数据，而其它集群存储器阵列可以存储服务器设备130的数据。另外，一些集群存储器阵列可以被配置为存储在其它集群存储器阵列中存储的数据的备份版本。
[0063]在计算集群159a、159b和159c中的集群路由器161a、161b和161c可以包括网络设备，该网络设备被配置为为计算集群提供内部通信和外部通信。例如，在计算集群159a中的集群路由器161a可以包括一个或多个因特网交换和路由设备，所述因特网交换和路由设备被配置为提供(i)在计算设备150a和集群存储器阵列160a之间的经由局部集群网络162a的局域网通信，以及(ii)在计算集群159a和计算集群159b和159c之间的经由到网络126的广域网连接163a的广域网通信。集群路由器161b和161c可以包括与集群路由器161a类似的网络设备，且集群路由器161b和161c可以为计算集群15%和159c执行与集群路由器161a为计算集群159a执行的网络功能类似的网络功能。
[0064]在一些实施例中，集群路由器161a、161b和161c的配置可以至少部分地基于计算设备和集群存储器阵列的数据通信要求、在集群路由器161a、161b和161c中的网络设备的通信能力、局部网络162a、162b和162c的延迟和吞吐量、广域网络链接163a、163b和163c的延迟、吞吐量和成本、和/或可以有助于适当系统构架的成本、速度、容错、弹性、效率和/或其它设计目标的其它因素。
[0065]图2A不出了移动设备200的功能方框图,移动设备200如本公开描述的被配置为用来自多元显示器的光场照明目标物体，基于从多元显示器反射的光场的部分捕获多个图像，并从图像确定目标物体的3D模型。
[0066]在不例实施例中，移动设备200可以包括比如图像捕犾系统202、定位系统204、显示器206和外围设备208的子系统以及电源210、控制器212、存储器214和用户接口 216。
[0067]图像捕获系统202可以包括比如2D图像处理器218、图像传感器220、照相机光学器件(camera optics) 222、3D模型构造器224和照度计(light meter) 226的组件。定位系统204可以包括比如陀螺仪228、加速计230和测距仪232的组件。显示器206可以包括多元显示器面板234和显示器调制器236，且外围设备208可以包括无线通信接口 238、触摸板/触摸屏240、麦克风242、扬声器244和快门按钮246。
[0068]在一些示例中，多元显示器可以包括IXD显示器或可以被配置为提供光场或许多不同光场的任何其它多像素阵列显示器。多元显示器可以包括多个发光二极管(LED)且每个LED或LED组可以被分开控制。在其它示例中，显示器206可以包括两个或更多个显示器面板，且每个可以被分开控制。在进一步的示例中，多元显示器面板234的各种元件可以包括像素、LED、面板，或者显示器206的部分可以被认为是显示器206的元件。在这里的一些示例中，多元显示器面板234的元件可以独立于多元显示器面板234的其它元件操作或被控制。
[0069]移动设备200可以表示静态照相机、视频摄像机、蜂窝式电话、网络相机、平板设备、或本领域已知的任何其它图像捕获设备。此外，移动设备200可以是可穿戴计算系统的一部分和/或被集成到任意数量的本领域已知的计算设备中。
[0070]移动设备200可以被用在3D机器视觉中。例如，移动设备200的各种实施例可以用机器人控制系统(如，自动扫描系统)来实现以用多元显示器的光场照明目标物体，基于从目标物体反射的光场的部分捕获图像，并基于图像确定目标物体的3D模型。
[0071]电源210可以将电力提供给移动设备200的各种组件，并可以表示，例如，可充电的锂离子电池。本领域已知的其它电源材料和类型也是可以的。
[0072]移动设备200的许多或所有功能可以被控制器212控制。控制器212可以包括执行存储在如存储器214的非瞬时计算机可读介质中的指令的一个或多个处理器(如微处理器)。控制器212可以控制用户接口 216在多元显示器面板234上显示3D模型。另外，控制器212可以控制显示器调制器236产生用于目标物体照明的光场。控制器212也可以控制图像捕获系统202和移动设备200的各种其它组件。控制器212也可以表示可以用于以分布式方式控制移动设备200的单个组件或子系统的多个计算设备。
[0073]除了指令之外，存储器214可以存储如之前捕获的2D图像和3D模型的数据。因此，存储器214可以用作与3D物体模型有关的信息的数据存储。这样的信息可以在目标物体照明、图像捕获和3D模型构造过程期间、在不同的点被移动设备200和控制器212使用。
[0074]移动设备200可以包括用于将信息提供给移动设备200的用户或从移动设备200的用户接收输入的用户接口 216。用户接口 216可以控制可以在多元显示器面板234上显示的交互图像的内容和/或布局或实现对其的控制。此外，用户接口 216可以包括在一组外围设备208内的一个或多个输入/输出设备，比如触摸板/触摸屏240、麦克风242和扬声器244。控制器212可以基于通过用户接口 216接收到的输入控制移动设备200的功能。例如，控制器212可以利用来自触摸板/触摸屏240的用户输入，控制图像捕获系统202何时应当开始用来自多元显示器面板234的光场照明目标物体并基于从目标物体反射的光场的部分捕获多个图像时。
[0075]图像捕获系统202可以包括与可以在数码相机中发现的那些组件类似的若干组件。特别地，图像捕获系统202可以包括被配置为将视场提供给图像传感器220的各种照相机光学器件222。图像捕获系统202还可以包括被配置为至少操作图像数据以创建多个2D图像文件并还从2D图像文件产生3D模型的各种其它处理器。这些处理器可以包括2D图像处理器218和3D模型构造器224。图像捕获系统202还可以包括照度计226。在一些实施例中，照度计226可以被配置为将基于从目标物体反射的光场的部分的光测量提供给控制器212。光测量可以被用于设定曝光参数，所述曝光参数可以包括当捕获目标物体的多个图像时使用的ISO、快门速度和光圈设置。此外，用户接口 216可以响应于光测量操作。例如，如果亮度级被确定为低于预定阈值，用户接口 216可以请求、提供指令、或者以其它方式警告用户在图像捕获期间保持移动设备200稳定。可替换地，用户接口 216可以请求用户移动移动设备200，以便更完全地和/或从不同的位置照明目标物体。
[0076]定位系统204可以被配置为将与移动设备200的当前位置和当前方位有关的数据提供给控制器212。
[0077]陀螺仪228 可以是微机电系统(microelectromechamical system,MEMS)陀螺仪、光纤陀螺仪、或本领域已知的其它类型的陀螺仪。陀螺仪228可以被配置为将方位信息提供给控制器212。定位系统204还可以包括加速计230，其被配置为将动作输入数据提供给控制器212。加速计230可以是本领域已知的已知加速计类型中的一种或任意组合，已知加速计类型比如压电的、光学的、电阻的、电容的、剪切式(shear mode)、应变计(straingauge)、表面声波、激光器、MEMS,等等。
[0078]测距仪232可以包括在定位系统204中。在一些示例实施例中，测距仪232可以被用于确定到目标物体的距离。在这些实施例中，距离信息可以被用于确定照相机光学器件222的适当焦距。例如，测距仪232可以利用比如超声或红外照明器和检测器产生现场的粗糙深度映射(rough deep map)。粗糙深度映射可以与多个获取的图像协同使用以确定目标物体的3D模型。测距仪232可以包括用于测距的任意已知的方式，如LIDAR、RADAR、微波测距仪等。
[0079]显不器206可以包括多兀显不器面板234和显不器调制器236。多兀显不器面板234可以是IXD显示器、LED显示器或本领域已知的任何其它的面显示器。显示器调制器236可以被配置为调制多元显示器，以便用可以帮助确定目标物体的3D模型的各种光场照明目标物体。例如，光场可以包括偏振光、结构光、彩色光、以及从多元显示器面板234的不同部分产生的光。其它类型的光场是可能的。显示器206可以被配置为将各种图形提供给移动设备200的用户。例如，显示器206可以用作用户接口 216的一部分，以将图像、文本、菜单和指令显示给用户。
[0080]显示器206可以可替换地或附加地包括投影仪237，其可以被用于将光场投影到目标物体上。与多元显示器面板234类似，投影仪237可以被控制以提供多个不同的光场，所述多个不同的光场可以包括点和线图形、爱里斑(airy pattern)和光谱变化的图形等。在一些实施例中，投影仪可以将光聚焦在目标物体上，使得目标物体被用比多元显示器面板更多的光子照亮。
[0081]在一些实施例中，相比于环境光源，显示器206可以被配置为提供大部分入射到目标物体上的光子。换句话说，移动设备200的显示器206可以是提供对目标物体的照明的主要光源。
[0082]显示器206还可以包括光调节器，所述光调节器可以以临时或永久的方式固定附着于或耦合到移动设备200，以便调节显示器206 (多元显示器面板234或者投影仪)产生的光。光调节器可以包括，但不限于，栅格(grid)、光栅和/或衍射光学元件的任意组合。也可以使用本领域已知的将特有的结构提供给光场(如，点阵列、线阵列、爱里斑等)的其它光调节器。
[0083]移动设备200可以包括一组外围设备208，其可以被配置为将输入提供到移动设备200或其它地方的用户以及提供来自移动设备200或其它地方的用户的输出。在一个示例中，移动设备200可以包括用于与一个或多个设备直接地或经由通信网络无线通信的无线通信接口 238。例如，无线通信接口 238可以使用3G蜂窝式通信，如CDMA、EVDO、GSM/GPRS、或4G蜂窝式通信，如WiMAX或LTE。可替换地，无线通信接口 238可以比如利用WiFi与无线局域网(WLAN)通信。在一些实施例中，无线通信接口 238可以例如使用红外链接、蓝牙或紫蜂直接与设备通信。
[0084]快门按钮246可以被移动设备200的用户使用以捕获目标物体的图像和/或触发这里描述的方法。快门按钮246可以通过机械方式按压。在一些实施例中，移动设备200可以没有快门按钮246。例如，图像的捕获可以全自动地或者以另一种方式启动，例如响应于经由麦克风242的语音命令、利用触摸板/触摸屏240的触摸输入、或与经由无线通信接口 238与移动设备200通信的远程设备。
[0085]移动设备200的组件可以被配置为以与它们各自的系统内部或外部的其它组件互连的方式工作。例如，在示例实施例中，移动设备200的用户可以在移动设备200处于3D目标建模模式下时按下快门按钮246。响应于用户输入，测距仪232可以确定到在照相机光学器件222视场内的相关目标物体的距离。照相机光学器件222可以自动聚集在目标物体上。多元显示器面板234可以被显示器调制器236控制以用光场照明目标物体。照度计225可以被控制器212控制以至少基于从目标物体反射的光场的部分以及照相机光学器件222和图像传感器220的各种特性来设定正确的曝光，如光圈和ISO设置。响应于设定正确的曝光，图像传感器220可以被控制器212控制以捕获目标物体的多个图像。来自图像传感器220的原始数据可以被发送到2D图像处理器218以便将原始图像文件转换成压缩的图像格式，如联合图像专家组(JPEG)标准文件格式。图像可以被发送到3D模型构造器224以便确定目标物体的3D模型。
[0086]虽然图2A示出了移动设备200的各种组件被集成到移动设备200中，所述各种组件也就是无线通信接口 238、控制器212、存储器214、图像传感器220、多元显示器面板234和用户接口 216，但是这些组件中的一个或多个可以与移动设备200分开地安装或关联。例如，图像传感器220可以与移动设备200分开安装。因此，移动设备200可以以可以位于分开的位置或相同的位置的设备元件的形式提供。组成移动设备200的设备元件可以以或者有线或者无线的方式通信地耦合在一起。
[0087]图2B-2D示出了包括如主体252、前置摄像头254、多元显示器256、快门按钮258和其它按钮260的各种元件的移动设备250。移动设备250还可以包括后置摄像头262。前置摄像头254位于当在操作中通常面向用户的移动设备250的一面上或在具有多元显示器的设备的一面上。后置摄像头262位于与前置摄像头254相对的移动设备250的一面上。当然，将摄像头称为前置和后置是任意的，且移动设备252可以包括位于移动设备252的不同侧面上的许多摄像头。移动设备250的元件可以包括针对图2A描述的元件中的一些或全部。虽然移动设备250被描述为平板计算机，但是其它实施例是可能的。例如，在其它示例之中，移动设备250可以是智能电话，可穿戴计算机或膝上型计算机。
[0088]多元显示器256可以表示LED显示器、IXD显示器、等离子体显示器或本领域已知的任何其它面发光显示器。多元显示器256可以被配置为提供光场以照明目标物体。多元显示器256可以提供现场的瞬间照明或持续照明。多元显示器256也可以被配置为提供包括结构光、偏振光、有特定光谱内容的光和/或来自多兀显不器256的特定部分的光的光场。已知的且被用于从物体恢复3D模型的其它类型的光场在本公开的上下文内是可能的。[0089]前置摄像头254可以包括图像传感器及如透镜的关联的光学元件。前置摄像头254可以提供变焦能力或可以具有固定焦距的透镜。在其它实施例中，可交换的透镜可以与前置摄像头254 —起使用。
[0090]前置摄像头254可以具有可变的机械光圈和机械快门。前置摄像头254可以可替换地包括电子快门。前置摄像头254可以被配置为捕获静态图像、视频图像、或两者。此夕卜，前置摄像头254可以表示单视场(monoscopic)摄像头、立体(stereoscopic)摄像头或多视角(multiscopic)摄像头。
[0091 ] 移动设备250可以被配置为使用多元显示器256和前置摄像头254以捕获目标物体的图像。图像可以是多个静态图像或视频流。图像捕获可以通过按下快门按钮258、按下软按键(softkey)或通过其它触发方式触发。取决于具体的实施例，可以以特定的时间间隔、在按下快门按钮258时、在目标物体具有适合的照明条件时、在将移动设备250移动了预定的距离时、或根据不同的预定捕获时间表，来自动捕获图像。
[0092]控制器，比如图2A的控制器212，可以被用于基于多个捕获的图像确定目标物体的3D模型。3D模型可以包括关于目标物体的三维形状和色彩信息。3D模型也可以包括关于目标物体的其它形式的信息，包括关于目标物体的反射率和亮度信息。3D模型可以包括目标物体的点云模型和/或线框模型。3D模型可以利用计算机视觉和3D成像领域中已知的若干方法确定，包括运动恢复结构(SFM)和立体视法/多视角法技术。
[0093]移动设备250的控制器可以可选地被配置为发送包括3D模型的搜索查询。搜索查询可以是对关于目标物体的更多一般信息的请求。可替换地，搜索查询可以是对比如目标物体的部件编号和型号的关于目标物体的信息的特定请求。对关于目标物体的其它类型的信息的特定请求是可能的。搜索查询可以经由任意类型的有线或无线通信接口(如，比如无线通信接口 238)或任何其它的数据传输的方式来发送。
[0094]另外，移动设备250的控制器可以可选地被配置为接收搜索查询结果。搜索查询结果可以经由任意类型的有线或无线通信链路或另外的数据传输方式被接收。搜索查询结果可以包括，例如，关于目标物体的信息、关于与目标物体类似的物体的信息、和/或获取目标物体的另外的图像的建议。
[0095]在一些实施例中，移动设备250可以被配置为固定附着于、或耦合到、机动安装架(motorized mount)(例如，比如图2A示出的机动安装架248)。这样的机动安装架可以被用于，比如，在一组预定的关于目标物体的不同视场、视角、和/或位置之间移动移动设备。机动安装架248可以被控制器212控制以便基于多个图像确定目标物体的3D模型，所述多个图像至少部分地在机动安装架在一组关于目标物体的不同视场、视角、和/或位置之间移动时被捕获。
[0096]多元显示器256可以被配置为显示3D模型的渲染表示。渲染表示可以在目标物体的图像捕获期间和/或在目标物体的图像捕获之后在多元显示器256上显示。渲染表示可以由移动设备250利用已知的3D渲染技术和目标物体的3D模型产生。多元显示器256可以被配置为显示包括目标物体的单视场图像、立体图像、或多视角图像的渲染表示。
[0097]多元显示器256也可以被配置为基于搜索查询结果显示消息。例如，如果搜索查询结果包括获取目标物体右方的附加图像的建议，则多元显示器256可以显示，“围绕目标物体将移动设备向右移动。”附加地或可替换地，在多元显示器256上可以显示箭头以指导移动设备的用户将它在关于目标物体的特定方向上移动。
[0098]图3A示出了利用移动设备捕获目标物体的图像的场景300。图3A包括可以与图2A的移动设备200类似的移动设备302。移动设备302可以包括具有视场的摄像头304。移动设备302可以处于可以被认为是目标物体的订书机308的局部环境中。在一些实施例中，快门按钮306可以被用于触发照明和图像捕获过程。多元显示器316可以被用于用光场314照明目标物体。光场可以包括如上所述的特定的光模式(如，利用偏振滤波器的偏振光、有特定光谱内容的光、源自多元显示器316的不同位置的光，等)。光场可以可替换地包括一个或多个点阵列、条带阵列、栅格图案、同心圆图案、爱里斑和/或干涉图案作为元素。
[0099]在如图3B示出的一个示例场景318中，多元显示器的下部分322变亮而上部分320未变亮。这可以被认为是第一光场。图3C示出了场景324，其中多元显示器的上部分326变亮而下部分328未变亮。这可以被认为是第二光场。如果当订书机308被第一光场和第二光场照明时捕获订书机328的相应图像，从所述图像可以确定更多的形状、色彩和纹理(以及其它属性)信息。例如，订书机钉盒310可以由高反射率金属材料，如不锈钢制成。用第一光场照明的订书机308的图像可以包括在订书机钉盒310上的第一位置的镜面反射。在第二光场照明下的订书机308的图像可以包括在订书机钉盒310上的第二位置的镜面反射。各个镜面反射的第一位置和第二位置(和多个图像的其它方面)之间的区别可以提供关于订书机308的形状和材料的信息。因此，通过在各种调制光场下捕获多个图像，可以确定3D模型。此外，镜面反射和其它已知的光/事项的相互作用(如光致发光、吸收、和/或特定于材料的其他光谱特征)也可以被用于确定目标物体的材料。
[0100]取决于实施例，光场的强度可以是使得入射到物体上的大部分光源自多元显示器316。换句话说，相比于如环境光的其它光源，多元显示器316可以用作主要光源。前置摄像头304可以被用于捕获订书机308的多个图像。捕获的图像可以基于由订书机308反射的多元显示器316产生的光场的一部分。可以从一个或多个不同的观看视角(如在图3D中示出的观看视角)来捕获图像，以便获得关于目标物体的更完整的数据集。
[0101]移动设备302的控制器可以被配置为基于获得的图像和光场确定订书机308的3D模型。3D模型可以利用本领域已知的各种方法比如运动恢复结构(SFM)以及其它的2D到3D转换和3D模型构造技术来确定。3D模型可以包括点云和组成形状的多边形的集合。可以包括在3D模型中的其它信息包括纹理、色彩、反射率和与3D模型的不同区域有关的其它信息。
[0102]控制器可以可选地被配置为发送包括3D模型的搜索查询。此外，控制器可以可选地被配置为接收搜索查询结果。
[0103]方法400被提供用于利用移动设备执行以下操作:用从多元显示器产生的光场照明目标物体，捕获目标物体的多个图像，从图像确定3D模型，并确定包括形状、外观和材料的目标物体的至少一个方面。方法可以利用图2-3示出的和上述的任意装置执行，然而其它的配置也可以被使用。图4示出了在示例方法中的步骤，然而应该理解，在其它实施例中，步骤可以以不同的顺序出现且步骤可以被增加或减少。
[0104]另外，方法400可以包括由方块402-408中的一个或多个示出的一个或多个操作、功能或动作。虽然方块以顺序的次序示出，但是这些方块也可以并行执行、和/或与这里描述的次序不同的次序执行。同样，基于期望的实现方式，不同的方块可以组合成更少的方块、分解成附加的方块、和/或被移除。此外，对于这里公开的方法400以及其它过程和方法，每个方块可以表示程序代码的模块、片段或部分，所述程序代码包括可由处理器或计算设备执行以实现特定逻辑功能或过程中的步骤的一个或多个指令。程序代码可以存储在任意类型的计算机可读介质上，诸如例如包括磁盘或硬盘驱动的存储设备。计算机可读介质可以包括非瞬时计算机可读介质，诸如例如在短时间段内存储数据的像寄存器存储器、处理器高速缓存和随机存取存储器(RAM)的计算机可读介质。计算机可读介质还可以包括非瞬时介质，比如二次或持续长期存储器，例如只读存储器(ROM)、光盘或磁盘、致密盘只读存储器(CD-ROM)。
[0105]步骤402包括用移动设备照明目标物体。移动设备包括多元显示器和摄像头。多元显示器被配置为产生照明目标物体的调制光场。参照图2A，目标物体可以是在移动设备200的图像捕获系统202的视场内的任意物体。步骤402可以通过利用移动设备200的用户接口 216的用户交互或通过按压快门按钮246来触发。可替换地，步骤402可以被自动触发或通过一些其它的方式触发。
[0106]步骤402还可以被示出为如图3A所示。在示例实施例中，具有前置摄像头304的移动设备302可以用多元显示器316产生的光场314照明订书机308。订书机308可以被称为目标物体。
[0107]步骤404包括利用摄像头(比如前置摄像头304)捕获目标物体的多个图像。响应于用户选择3D模型模式或另一触发器，如快门按钮306或软按键，移动设备302可以开始获取目标物体的图像。除了其他触发之外，图像获取可以基于摄像头的特定时间表、特定时间间隔、特定位置/方位来执行。
[0108]多个图像可以利用单目镜摄像头、立体摄像头或多视场摄像头来捕获。此外，图像捕获可以全部或部分地由至少一个有源(active)距离传感器执行。移动设备的多元显示器可以用光场照明目标物体，且多个图像可以基于从目标物体反射的所产生的光场的一部分。多元显示器可以例如是可见光LED或IXD显示器。其它实施例可以包括任何其它已知类型的面光显示器。
[0109]多元显示器可以为目标物体提供照明，所述照明包括具有一个或多个特定空间模式的光场、具有一个或多个特定光谱内容的光以及其它形式的结构光和/或调制光。空间光模式可以被用于恢复关于目标物体的三维信息，以便确定目标物体的3D模型。此外，其它信息，如形状、外观、反射率、吸收、材料成分等也可以通过在用这样的光场照明目标物体时捕获的多个图像的信息恢复。
[0110]图像捕获可以同步于对光场的一次或多次调制。例如，如图3B所示，第一场景318可以包括多元显示器未变亮的上部分320和多元显示器变亮的下部分322。多元显示器产生的这种“半开、半闭”的照明模式可以被认为是照明目标物体的第一光场。可以基于从目标物体反射的第一光场的部分捕获目标物体(在本例中为订书机308)的图像。
[0111]在图3C示出的第二场景324期间可以捕获一个或多个不同的图像。在这样的场景中，多元显示器的上部分326可以变亮而多元显示器的下部分328可以未变亮。在第二场景324期间捕获的图像基于从订书机308反射的第二光场的一部分。
[0112]步骤406包括基于多个图像接收或确定目标物体的3D模型。3D模型可以包括关于目标物体的三维形状和色彩信息。此外，3D模型可以包括关于亮度、反射率的信息以及关于目标物体的一般照明信息。其它关于目标物体的信息也可以包括在3D模型中。当移动设备200正在捕获目标物体的多个图像时可以连续地执行步骤406。例如，当正在捕获目标图像的新图像时，移动设备200可以向3D模型增加点云和色彩信息。
[0113]步骤406可以由处理图像数据以产生3D模型的移动设备执行，或由将图像数据提供给服务器、并从服务器接收3D模型或这些功能的组合的移动设备执行。
[0114]步骤408包括基于3D模型确定目标物体的形状、目标物体的外观、以及目标物体的材料中的至少一个。换句话说，基于确定的3D模型，可以确定关于目标物体的附加信息。例如，利用上述示例，可以基于当分别通过场景318和324的第一光场和第二光场照明订书机308时捕获的订书机308的图像之间的比较来确定附加信息。
[0115]基于多个图像可以确定其它信息。例如，可以基于多个图像确定3D模型的纹理。在上述示例中，利用源自不同空间位置(图3B和图3C)的光场捕获的图像之间的区别可以提示3D模型的特定纹理。在另一示例中，从捕获的图像的区域检测的镜面反射(如，从金属订书钉盒)可以指示在3D模型的对应区域中的平滑纹理。
[0116]方法的一个示例可以包括利用移动设备捕获空间(room)的多个图像以及空间的内容。例如，用户可以触发3D建模模式，3D建模模式可以启动对多个图像的捕获。然后，用户可以移动移动设备以便从很多的观看角度捕获图像。此外，可以扫描空间中特定的物体。这样，空间的3D模型以及它的内容可以被确定。本领域技术人员将会意识到，所述方法可以在各种各样的其它示例场景中被使用。其它场景的每个在这里都是可预期的。
[0117]方法可以包括可选的步骤，比如至少部分地基于3D模型从移动设备发送搜索查询。搜索查询可以仅包括3D模型。可替换地，搜索查询可以包括其它搜索条件。例如，用户可以请求关于目标物体的定价信息。因此，搜索查询可以包括3D模型以及对物品价格的特定请求。特定的搜索查询的其它示例是可能的。一旦关于目标物体的预定量的信息已经合并到3D模型中，就可以出现可选的搜索查询步骤。例如，一旦已经从图像确定了至少粗糙的点云‘壳’，就可以发送搜索查询。可替换地，一旦目标物体的图像获取开始，就可以周期性地发送搜索查询。因此，搜索查询可以包括关于目标物体的部分的3D模型信息。例如，这样的部分的3D模型搜索查询可以足以实现从基于云的服务器系统获得有用的搜索查询结果。
[0118]在公开的方法中的另一可选步骤包括在移动设备接收搜索查询结果。搜索查询结果可以是来自服务器或任何其它计算设备的响应。取决于情形，搜索查询结果可以包括，i)关于目标物体的信息(如，目标物体的定价、位置、大小和模型数量等)；ii)关于与目标物体类似的物体的信息；和/或iii)获取目标物体的更多图像的建议。可选方法步骤可以取决于发送的搜索查询结果的频率连续地执行。因此，可以经由用户的移动设备通知用户需要捕获更多的图像。经由搜索查询结果的其它反馈类型是可能的。
[0119]在可选方法步骤的一个示例中，可能需要更多的3D模型数据以便将目标物体与形状搜索数据库中的其它类似物体区分开来，所述形状搜索数据库比如参照图1A描述的形状搜索数据库。例如，关于在图3A中的捕获的订书机308的图像，例如因为订书机的背部可能不在前置摄像头304的视场中，所以订书机308的3D模型的各部分可能不完整。
[0120]可以接收建议从目标物体的特定视点获取更多图像的搜索查询结果。作为响应，移动设备可以将反馈提供给移动设备的用户以移动移动设备，这样可以获取更多的图像，以便填充缺少的3D模型数据。例如，移动设备可以接收捕获订书机308的背部的更多图像的建议，并且移动设备可以从新视角捕获图像以便完成3D模型数据，例如如图3D所示的。随后，新数据可以被增加到3D模型，并且可以发送一个或多个新的搜索查询以便获得更实际的搜索查询结果。
[0121]其它的搜索查询结果类型是可能的。例如，搜索查询结果可以包括关于目标物体的信息。由上述示例，订书机制造商、订书机模型和购买位置可以被包括在搜索查询结果中。此外，关于与目标物体类似的物体的信息可以被包括在搜索查询结果中。例如，搜索查询结果可以包括关于与目标物体有类似的主体风格的订书机的信息。
[0122]示例方法，如图4的方法400，可以全部地或部分地由移动设备执行。因此，在这里可以以示例的方式将这样的方法描述为由移动设备实施。然而，应该理解，示例方法可以全部地或部分地由其它计算设备实施。例如，示例方法可以全部地或部分地由基于云的服务器系统实施，该基于云的服务器系统从诸如移动设备的设备接收数据。在其它实施例中，示例方法可以由比如移动电话、平板计算机和/或膝上型或桌上型计算机的一个或多个不同的计算设备全部地或部分地实施。可以实施示例方法的步骤的计算设备的其他示例或计算设备的组合也是可能的。
[0123]本领域技术人员将会理解，有其它类似的方法可以执行以下操作:用移动设备的多元显示器产生的光场照明目标物体，基于从目标物体反射的光场的部分捕获图像，并基于图像确定目标物体的3D模型。这些类似的方法在这里是暗含地预期的。
[0124]在一些实施例中，公开的方法可以被实现为以机器可读的格式编码在非瞬时计算机可读存储器介质上、或编码在其它非瞬时介质或制品上的计算机程序指令。图1E是示出依据这里呈现的至少一些实施例安排的包括用于在计算设备上执行计算机过程的计算机程序的示例计算机程序产品的概念局部视图的图解视图。
[0125]在一个实施例中，利用信号承载介质172提供示例计算机程序产品170。信号承载介质172可以包括一个或多个程序指令174，所述一个或多个程序指令174当被一个或多个处理器执行时可以提供以上关于图1A-1D和图2-4描述的功能或部分功能。在一些示例中，信号承载介质172可以包括计算机可读介质176，比如，但不限于，硬盘驱动、致密盘(⑶)、数字视频盘(DVD)、数字磁带、存储器等。在一些实现方式中，信号承载介质172可以包含计算机可记录介质178，比如，但不限于，存储器、读/写(R/W)⑶、R/W DVD等。在一些实现方式中，信号承载介质172可以包括通信介质180，比如，但不限于，数字和/或模拟通信介质(如，光纤缆线、波导、有线通信链路、无线通信链路等)。因此，例如，信号承载介质172可以由无线形式的通信介质180传输。
[0126]一个或多个程序指令174可以是，例如，计算机可执行指令和/或逻辑实现的指令。在一些示例中，比如图1C的计算设备150的计算设备可以被配置为响应于通过计算机可读介质176、计算机可记录介质178和/或通信介质180中的一个或多个传输给计算设备150的编程指令174来提供各种操作、功能、或动作。
[0127]非瞬时计算机可读介质也可以分布在可以彼此位于远距离位置的多个数据存储元件之中。执行一些或所有的存储指令的计算设备可以是移动设备，比如图2A示出的移动设备200。可替换地，执行一些或所有的存储指令的计算设备可以是另一计算设备，比如图1A不出的服务器104。[0128]上面的详细描述参照附图描述了公开的系统、设备和方法的各种特征和功能。尽管这里已经公开了各个方面和实施例，但是对本领域技术人员来说，其它方面和实施例将是明显的。这里公开的各个方面和实施例是为了示例的目的而非旨在限制，真正的范围由权利要求指示。
【权利要求】
1.一种移动设备，包括: 多元显示器，其中该多元显示器被配置为产生光场，其中该光场的至少一部分从目标物体反射； 摄像头，其中该摄像头被配置为基于从目标物体反射的光场的部分捕获多个图像，并且被配置为与对光场的至少一次调制同步地捕获所述多个图像；以及 控制器，其中该控制器被配置为基于所述多个图像接收目标物体的3D模型，其中该3D模型包括关于目标物体的三维形状和色彩信息，其中该控制器还被配置为基于3D模型确定目标物体的形状、目标物体的外观和目标物体的材料中的至少一个。
2.根据权利要求1所述的移动设备，其中，控制器还被配置为: 发送搜索查询，其中该搜索查询包括3D模型；以及 接收搜索查询结果。
3.根据权利要求1所述的移动设备，还包括投影仪，其被配置为提供朝向目标物体的第二光场。
4.根据权利要求1所述的移动设备，其中多元显示器包括多个发光二极管。
5.根据权利要求1所述的移动设备，其中光场包括点阵列、条带阵列、栅格图案、同心圆图案、爱里斑和干涉图案中的至少一个。
6.根据权利要求1所述的移动设备，其中光场被配置为相比于环境光源提供入射到目标物体上的大部分光子。
7.根据权利要求1所述的移动设备，其中移动设备包括第一面和与第一面相对的第二面，其中多元显示器和摄像头位于第一面上。
8.根据权利要求1所述的移动设备，其中控制器被配置为调制多元显示器使得光场展示至少一次调制，并且其中摄像头被配置为与光场的至少一次调制同步地捕获多个图像。
9.根据权利要求1所述的移动设备，其中光场的至少一次调制包括改变光场的色彩内容。
10.根据权利要求9所述的移动设备，其中控制器还被配置为基于光场的色彩内容和目标物体的多个图像确定目标物体的材料。
11.根据权利要求1所述的移动设备，其中光场的至少一次调制包括改变光场的发光强度。
12.根据权利要求1所述的移动设备，还包括耦合到多元显示器的光调节器，其中光调节器被配置为调节多元显示器产生的光。
13.根据权利要求12所述的移动设备，其中光调节器包括栅格、光栅和衍射光学元件中的一个或多个。
14.根据权利要求1所述的移动设备，还包括机动安装架，其中移动设备被配置为固定地附着于机动安装架，并且其中控制器被配置为控制机动安装架，以使得在不同的视场之间移动移动设备，其中摄像头还被配置为从不同的视场捕获多个图像，并且其中控制器还被配置为基于来自不同视场的多个图像确定目标物体的3D模型。
15.根据权利要求1所述的移动设备，其中控制器还被配置为基于目标物体的多个图像确定3D模型的纹理，并且其中基于3D模型的纹理确定目标物体的材料。
16.根据权利要求1所述的移动设备，其中控制器还被配置为基于目标物体的多个图像确定3D模型的反射率，并且其中基于3D模型的反射率确定目标物体的材料。
17.—种方法,包括: 用移动设备照明目标物体，其中移动设备包括多元显示器和摄像头，其中多元显示器被配置为产生调制光场，其中调制光场照明目标物体； 利用摄像头捕获目标物体的多个图像，其中多个图像的捕获被配置为与对调制光场的至少一次调制同步；以及 基于多个图像接收目标物体的3D模型，其中3D模型包括关于目标物体的三维形状和色彩信息；以及 基于3D模型确定目标物体的形状、目标物体的外观和目标物体的材料中的至少一个。
18.根据权利要求17所述的方法，还包括基于目标物体的多个图像确定3D模型的纹理，并且其中基于3D模型的纹理确定目标物体的材料。
19.根据权利要求17所述的方法，还包括基于目标物体的多个图像确定3D模型的反射率,并且其中基于3D模型的反射率确定目标物体的材料。
20.根据权利要求17所述的方法，还包括基于目标物体的多个图像确定3D模型的色彩，并且其中基于3D模型的色彩确定目标物体的材料。
21.根据权利要求17所述的方法，其中目标物体包括空间和空间的内容，并且其中接收目标物体的3D模型包括确定空间的3D模型。
22.—种非瞬时计算机可读介质，其具有存储于其中的指令，该指令能被计算设备执行以使计算设备执行功能，所述功能包括: 用计算设备照明目标物体，其中计算设备包括多元显示器和摄像头，其中多元显示器被配置为产生光场，其中光场照明目标物体； 利用摄像头捕获目标物体的多个图像； 基于所述多个图像接收目标物体的3D模型，其中3D模型包括关于目标物体的三维形状和色彩信息；以及 基于3D模型确定目标物体的形状、目标物体的外观和目标物体的材料中的至少一个。
23.根据权利要求22所述的非瞬时计算机可读介质，还包括指令，所述指令能被计算设备执行以使计算设备执行功能，该功能包括基于目标物体的多个图像确定3D模型的纹理，并且其中基于3D模型的纹理确定目标物体的材料。
24.根据权利要求22所述的非瞬时计算机可读介质，还包括指令，所述指令能被计算设备执行以使计算设备执行功能，该功能包括基于目标物体的多个图像确定3D模型的反射率,并且其中基于3D模型的反射率确定目标物体的材料。
25.根据权利要求22所述的非瞬时计算机可读介质，还包括指令，所述指令能被计算设备执行以使计算设备执行功能，该功能包括基于目标物体的多个图像确定3D模型的色彩，并且其中基于3D模型的色彩确定目标物体的材料。
【文档编号】G06K9/00GK103577803SQ201310316738
【公开日】2014年2月12日 申请日期:2013年7月25日 优先权日:2012年7月25日
【发明者】J.J.库夫纳, A.波尔索希, C.加普尔, R.西克曼 申请人:谷歌公司