用于在数据集产生期间的观察指导的可视化的制作方法

相关申请的交叉引用

本申请要求2015年4月3日提交的第14/678,654号美国专利申请的优先权，所述申请是2014年12月23日提交的第62/096,341号美国临时专利申请的非临时申请，且以全文引用的方式并入本文中。

本公开的实施例大体上涉及物体捕获。具体来说，本公开的实施例涉及用于在数据集产生期间的观察指导的可视化的方法。

背景技术：

关于三维物体的数据集可利用图像捕获装置从多个角度捕获所述物体的图像来产生。此类数据集可包含从以不同角度捕获的对象的图像中提取的特征，并且可用于数个应用。例如，数据集可用于检测三维物体在增强现实应用中的存在。如上文所描述的数据集可供增强现实应用或相关联的应用使用以确定例如三维物体在相机视图中的姿势。

如上文所描述，为了产生数据集，从不同角度获取物体的图像。关于物体的图像是否已经在特定角度下捕获到令人满意的程度的指导和反馈信息可能对正在从不同角度捕获物体的图像的用户来说是有用的。当所得数据集可以预定成功率或更好地用于特定角度下的特定目的时，已经将物体图像捕获到令人满意的程度。一个此类目的可为(例如)使用数据集检测三维物体和它在特定角度下的相机视图中的姿势。关于特定角度和/或特定距离下的捕获信息的质量的其它指导可同样有用。已知的方法可能需要捕获物体的图像的用户具有丰富的关于特征提取和相关处理的知识。提供对用户要求更低的更直观的指导的方法可为有用的。

技术实现要素：

本文公开的实施例可包含一种用于向捕获三维物体的图像的用户提供可视指导的方法，包括：产生包括多个连续块的虚拟对齐球面，其中所述多个块中的每一个对应于一系列连续的图像捕获角度；在图像捕获相机视图中呈现虚拟对齐球面的至少一部分；确定是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度；以及至少部分地基于对是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度的确定，向特定块分配色彩。

本文公开的另一实施例可包含一种用于向捕获三维物体的图像的用户提供可视指导的设备，包括：存储器；以及处理器，其用于：产生包括多个连续块的虚拟对齐球面，其中所述多个块中的每一个对应于一系列连续的图像捕获角度，在图像捕获相机视图中呈现虚拟对齐球面的至少一部分，确定是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度，以及至少部分地基于对是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度的确定，向特定块分配色彩。

本文公开的另一实施例可包含一种用于向捕获三维物体的图像的用户提供可视指导的设备，包括：用于产生包括多个连续块的虚拟对齐球面的装置，其中所述多个块中的每一个对应于一系列连续的图像捕获角度；用于在图像捕获相机视图中呈现虚拟对齐球面的至少一部分的装置；用于确定是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度的装置；以及用于至少部分地基于对是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度的确定而向特定块分配色彩的装置。

本文公开的额外实施例可包含一种包含代码的非暂时性计算机可读媒体，所述代码由处理器执行时使所述处理器进行以下操作：产生包括多个连续块的虚拟对齐球面，其中所述多个块中的每一个对应于一系列连续的图像捕获角度，在图像捕获相机视图中呈现虚拟对齐球面的至少一部分，确定是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度，以及至少部分地基于对是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度的确定，向特定块分配色彩。

附图说明

图1说明其中可实践本公开的实施例的计算装置的实施例。

图2说明示例性图像捕获相机视图。

图3是说明用于用户界面事件的运行时间自适应非均匀映射的示例性方法的流程图。

图4说明示例性图像捕获相机视图。

具体实施方式

词语“示例性”或“实例”在本文中用于意指“充当实例、例子或说明”。本文中描述为“示例性”或“实例”的任何方面或实施例未必应被解释为比其它方面或实施例优选或有利。

如本文所使用，术语“计算系统或装置”指代任何形式的可编程计算机装置，包含但不限于膝上型计算机和桌上型计算机、平板计算机、智能电话、电视、家用电器、蜂窝电话、个人电视装置、个人数据助理(pda)、掌上型计算机、无线电子邮件接收器、具多媒体因特网功能的蜂窝电话、全球定位系统(gps)接收器、无线游戏控制器、交通工具(例如汽车)内的接收器、交互式游戏装置、笔记本计算机、智能笔记本计算机、上网本、移动电视装置或任何数据处理设备。

图1中说明适应于用于在数据集产生期间的观察指导的可视化的方法的实例计算装置100。计算装置100被示出为包括硬件元件，所述硬件元件可经由总线105进行电耦合(或可按需要以其它方式进行通信)。硬件元件可包含：一或多个处理器110，包含但不限于一或多个通用处理器和/或一或多个专用处理器(例如数字信号处理芯片、图形加速处理器和/或类似物)；一或多个输入装置115，其可包含但不限于一或多个传感器、鼠标、键盘、小键盘、触摸屏、手势输入装置、麦克风、相机和/或类似物；以及一或多个输出装置120，其可包含但不限于显示装置121、扬声器、打印机和/或类似物。

计算装置100可进一步包含一或多个非暂时性存储装置125(和/或与一或多个非暂时性存储装置125通信)，其可包括但不限于本地和/或网络可存取的存储装置，和/或可包含但不限于磁盘驱动器、驱动阵列、光学存储装置、固态存储装置，例如随机存取存储器(“ram”)和/或只读存储器(“rom”)，它们可为可编程的、可快闪更新的和/或类似物。此类存储装置可经配置以实施任何适当的数据存储，包含但不限于各种文件系统、数据库结构和/或类似物。

计算装置还可包含通信子系统130，其可包含但不限于调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置和/或芯片组(例如蓝牙装置、802.11装置、wi-fi装置、wimax装置、蜂窝通信装置等)和/或类似物。通信子系统130可准许数据与网络、其它计算装置和/或本文中所描述的任何其它装置进行交换。在一个实施例中，计算装置100可进一步包括工作存储器135，其可包含ram或rom装置，如上文所描述。应了解，计算装置100可为移动装置或非移动装置，并且可具有无线和/或有线连接。

计算装置100还可包括被示出为当前位于工作存储器135内的软件元件，包含操作系统140、装置驱动程序、可执行库和/或其它代码，例如一或多个应用程序145，所述代码可包括由实施例提供的方法或系统或可经设计以实施由实施例提供的方法和/或配置由实施例提供的系统，如本文中将描述。仅举例来说，关于下文论述的方法所描述的一或多个程序可实施为可由计算装置100(和/或计算装置100内的处理器110)执行的代码和/或指令；接着，在一个方面中，此类代码和/或指令可用于配置和/或调适通用计算机(或其它装置)以根据所描述的方法执行一或多个操作。

这些指令和/或代码的集合可存储在非暂时性计算机可读存储媒体上，例如上文所述的存储装置125。在一些情况下，存储媒体可并入在计算装置(例如系统100)内。在其它实施例中，存储媒体可与计算装置(例如可装卸式媒体例如压缩光盘)分离，和/或在安装包中提供，以使得存储媒体可用于利用其上存储的指令/代码编程、配置和/或调适通用计算机。这些指令可采取可执行代码的形式，所述可执行代码可由计算机化计算装置100执行，和/或可采取源和/或可安装代码的形式，所述指令在编译和/或安装于计算装置100(例如使用多种通常可用的编译程序、安装程序、压缩/解压缩公用程序等中的任一种)后接着采取可执行代码的形式。

本公开的实施例产生虚拟对齐球面并在图像捕获相机视图中呈现虚拟球面或虚拟球面的相关部分，以在从不同角度捕获三维物体的图像时指导用户。虚拟球面被划分成多个连续块，所述多个连续块中的每一个以直观的方式与一系列连续的图像捕获角度相关联。在初始化时，虚拟球面上的所有块被分配第一色彩，并且如此显示在图像捕获相机视图中以指示尚未从任何角度将物体的图像捕获到令人满意的程度。当已经从与虚拟球面上的块相关联的一系列特定的连续角度将物体的图像捕获到令人满意的程度时，就向块分配不同于第一色彩的第二色彩，并且如此显示以指示已经从一系列特定的连续角度将物体的图像捕获到令人满意的程度。当与基于图像产生的数据集和/或包括图像的数据集相关联的质量值超过预定阈值时，可确定已经从一系列特定的连续角度将物体的图像捕获到令人满意的程度。已经在特定角度下将物体的图像捕获到令人满意的程度指示所得数据集可以预定成功率或更好地用于特定角度下的特定目的。一个此类目的可为(例如)使用数据集检测三维物体和/或它在特定角度下的相机视图中的姿势。

参考图2，示出了示例性图像捕获相机视图200。可在图像捕获相机视图200中看见三维物体，即金属罐210。围绕金属罐210呈现虚拟指导对齐球面220的一部分以在从不同角度捕获金属罐210的图像的过程中指导用户，从而可以产生金属罐210的数据集。虚拟指导对齐球面220被划分成多个块230，所述多个块230中的每一个与一系列连续的角度相关联。如图2中可见，块230a中的一些以第一色彩，即红色呈现，以指示尚未从与这些块230a相关联的一系列特定的角度将金属罐210的图像捕获到令人满意的程度。一些其它块230b以第二色彩，即绿色呈现，以指示已经从与这些块230b相关联的一系列特定的角度将金属罐210的图像捕获到令人满意的程度。

参考图3，示出了说明用于向捕获三维物体的图像的用户提供可视指导的示例性方法300的流程图。在框310处，产生包括多个连续块的虚拟对齐球面，其中所述多个块中的每一个对应于一系列连续的图像捕获角度。在一个实施例中，虚拟对齐球面的中心可处于所捕获的三维物体的图心，并且三维物体在相机视图中呈现时可完全处于虚拟球面内部。在框320处，在图像捕获相机视图中呈现虚拟对齐球面的至少一部分。然后，在框330处，对于每一块，确定是否已经从与所述块相关联的一系列图像捕获角度将三维物体的图像捕获到令人满意的程度。当与基于图像产生的数据集和/或包括图像的数据集相关联的质量值超过预定阈值时，可确定已经从一系列特定的连续角度将物体的图像捕获到令人满意的程度。已经针对一系列特定的角度将物体的图像捕获到令人满意的程度指示所得数据集可以预定成功率或更好地用于一系列特定的角度下的特定目的。之后，在框340处，至少部分地基于对是否已经从与块相关联的一系列图像捕获角度将三维物体的图像捕获到令人满意的程度的确定，向每一块分配色彩。如果确定尚未从与块相关联的一系列图像捕获角度将三维物体的图像捕获到令人满意的程度，那么向块分配第一色彩，例如红色；如果确定已经从与块相关联的一系列图像捕获角度将三维物体的图像捕获到令人满意的程度，那么向块分配不同于第一色彩的第二色彩，例如绿色。

本公开的实施例可适应于进一步提供关于由使用虚拟对齐球面以更精细的粒度从特定角度捕获的三维物体的图像产生的数据集的部分的质量的信息。对于特定角度，与所述角度相关联的数据集的部分的质量可为与(例如)数据集可用于检测三维物体和/或它在所述特定角度下的相机视图中的姿势的程度有关的值。分配到虚拟球面上的块的多个色彩可用于表示具有不同质量的数据集信息。例如，第一色彩可指示较差质量；第二色彩可指示一般质量；以及第三色彩可指示良好质量。第一、第二和第三色彩可彼此不同。应注意，实施例不受所使用的色彩的数目限制。可使用多于三个的色彩以更精细的粒度来表示不同的数据集质量。因此，虚拟对齐球面可适应于告知捕获图像的用户关于三维物体的图像已经从不同图像捕获角度捕获的程度，而不仅仅指示是否已经从不同的捕获角度将三维物体的图像捕获到令人满意的程度。

参考图4，示出了示例性图像捕获相机视图400。与图2相比较，图4示出了具有块430的虚拟指导对齐球面420，所述块430被分配多于两种色彩以使得虚拟对齐球面420可告知捕获图像的用户关于三维物体410的图像已经从不同图像捕获角度捕获的程度，而不仅仅指示是否已经从不同图像捕获角度将三维物体410的图像捕获到令人满意的程度。如图4中可见，一些块430为蓝色，其可指示数据集的相关联部分具有较差质量。在一些实施例中，这可指示使用数据集可能难以且不大可能成功检测三维物体410和/或它在一系列对应的角度下的相机视图中的姿势。一些其它块430为黄色，其可指示数据集的相关联部分具有一般质量。在一些实施例中，这可指示使用数据集检测三维物体410和/或它在一系列对应的角度下的姿势可能具有一半机会成功。一些另外的块430为红色，其可指示数据集的相关联部分具有良好质量。在一些实施例中，这可指示使用数据集检测三维物体410和/或它在一系列对应的角度下的姿势可能具有很大机会成功。因此，与图2的虚拟指导对齐球面220相比较，图4的虚拟指导对齐球面420可向以更精细粒度捕获三维物体的图像的用户提供指导信息。

还设想对本公开的实施例的进一步调适。例如，可使用其它三维或甚至二维形状，而不是虚拟对齐球面。作为三维形状的实例，可使用虚拟立方体。

此外，如图4中所说明的和上文所述的本公开的实施例可适应于针对三维物体和图像捕获装置(例如装置100)之间的不同距离提供单独的指导信息。在一个实施例中，可产生多个虚拟指导对齐球面，并且每一球面可对应于三维物体和图像捕获装置之间的特定距离。多个虚拟球面可为同心的，并且它们的中心可处于三维物体的图心。对应于较短距离的虚拟球面可小于对应于较长距离的虚拟球面(例如对应于较短距离的虚拟球面可具有更小半径)。在一个实施例中，三维物体在相机视图中呈现时可完全处于最小球面内部。捕获虚拟对象的图像的用户可通过(例如)将图像捕获装置移动得更接近或远离三维物体而在图像捕获相机视图中的虚拟球面之间切换，并且对应的虚拟球面将在图像捕获相机视图中呈现。因此，可向用户提供在不同相机距离下的数据集信息质量。

还设想可在相同虚拟对齐球面上提供用于三维物体和图像捕获装置之间的不同距离的指导信息。用于实现这一提供的一个示例性方法是使用在虚拟球面的块上呈现的经色彩译码的符号或字符。符号或字符可指示相对或绝对相机距离，并且符号或字符的色彩可指示与如由符号或字符指示的距离和如由块指示的角度范围相关联的数据集的部分的质量。色彩译码方案可与上文所述的那些相同。例如，块上的红色“+”符号可指示对应于与块指示的角度相同的角度但距离更短的数据集的部分具有高质量，并且另一块上的蓝色“-”符号可指示对应于与块指示的角度范围相同的角度范围但距离更长的数据集的部分具有较差质量。

因此，本公开的实施例向从多个角度捕获三维物体的图像的用户提供直观的可视指导信息。在本公开的实施例的协助下，用户可以直观地理解由他或她已经捕获的图像产生的数据集的状态。还应了解，本公开的实施例还可在增强现实创作和运行时间期间使用。

一个实施例涉及一种用于向捕获三维物体的图像的用户提供可视指导的设备(例如装置100)，包括：存储器135；以及处理器110，其用于：产生包括多个连续块的虚拟对齐球面，其中所述多个块中的每一个对应于一系列连续的图像捕获角度，在图像捕获相机视图中呈现虚拟对齐球面的至少一部分，确定是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度，以及至少部分地基于对是否已经从与特定块相关联的一系列特定的图像捕获角度将三维物体的图像捕获到预定的令人满意的程度的确定，向特定块分配色彩。

应了解，先前描述的本公开的各方面可结合计算装置100的处理器101执行指令(例如应用)来实施，如先前描述。具体来说，装置的电路，包含但不限于处理器，可在应用、程序、例程的控制下或对用于执行根据本发明的实施例的方法或过程(例如图3的过程)指令的执行下进行操作。例如，此类程序可实施在固件或软件中(例如存储在存储器和/或其它位置)，并且可通过处理器和/或装置的其它电路实施。另外，应了解，术语处理器、微处理器、电路、控制器等指代能够执行逻辑、命令、指令、软件、固件、功能性等的任何类型的逻辑或电路。

本文中的教示可并入到多种设备(例如装置)中(例如在多种设备内实施或通过多种设备执行)。例如，本文教示的一或多个方面可并入到以下各者中：一般计算装置、桌上型计算机、移动计算机、移动装置、电话(例如蜂窝电话)、个人数据助理、平板计算机、膝上型计算机、平板计算机、娱乐装置(例如音乐或视频装置)、头戴式耳机(例如头戴受话器、耳机等)、医疗装置(例如生物计量传感器、心率监测仪、计步器、ekg装置等)、用户i/o装置、计算机、服务器、销售点装置、娱乐装置、机顶盒或任何其它合适的装置。

在一些方面中，无线装置可包括用于通信系统的存取装置(例如wi-fi存取点)。例如，此类存取装置可经由有线或无线通信链路而提供通过收发器到另一网络(例如，例如因特网或蜂窝网络的广域网)的连接性。因此，存取装置可使另一装置(例如wi-fi站)能够存取另一网络或某一其它功能性。另外，应了解，所述装置中的一或两者可为便携式，或在一些情况下，相对非便携式。

应了解，当装置为移动或无线装置时，其可经由一或多个无线通信链路通过无线网络进行通信，所述装置基于或以其它方式支持任何合适的无线通信技术。例如，在一些方面中，无线装置及其它装置可与包含无线网络的网络相关联。在一些方面中，网络可包括人体局域网或个人局域网(例如超宽带网络)。在一些方面中，网络可包括局域网或广域网。无线装置可支持或以其它方式使用多种无线通信技术、协议或标准中的一或多者，例如3g、lte、高级lte、4g、cdma、tdma、ofdm、ofdma、wimax和wi-fi。类似地，无线装置可支持或以其它方式使用多种对应的调制或多路复用方案中的一或多个。无线装置因此可包含适当组件(例如空中接口)以使用上文或其它无线通信技术建立一或多个无线通信链路及经由一或多个无线通信链路来通信。例如，装置可包括具有相关联的发射器和接收器组件(例如发射器与接收器)的无线收发器，所述无线收发器可包含有助于通过无线媒体的通信的各种组件(例如信号产生器和信号处理器)。众所周知，移动无线装置因此可无线地与其它移动装置、蜂窝电话、其它有线和无线计算机、因特网网站等通信。

所属领域的技术人员应理解，可以使用多种不同技术和技艺中的任一种来表示信息和信号。例如，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。

所属领域的技术人员将进一步了解，结合本文中所公开的实施例予以描述的各种说明性逻辑块、模块、引擎、电路及算法步骤可被实施为电子硬件、计算机软件或这两者的组合。为清晰地说明硬件与软件的此可互换性，上文已大体就各种说明性组件、块、模块、引擎、电路和步骤的功能性对它们加以描述。此类功能性是实施为硬件还是软件取决于特定应用和施加于整个系统的设计约束。熟练的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施决策不应被解释为会引起脱离本公开的范围。

可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文所描述的功能的任何组合来实施或执行结合本文中所公开的实施例而描述的各种说明性逻辑块、模块和电路。通用处理器可为微处理器，但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器也可实施为计算装置的组合，例如dsp和微处理器的组合、多个微处理器、与dsp核心结合的一或多个微处理器，或任何其它此类配置。

结合本文中所公开的实施例描述的方法或算法的步骤可直接体现于硬件、由处理器执行的软件模块或这两者的组合中。软件模块可驻存在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可装卸式磁盘、cd-rom，或所属领域中已知的任何其它形式的存储媒体中。示例性存储媒体耦合到处理器，使得处理器可从存储媒体读取信息以及将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。处理器和存储媒体可驻存在asic中。asic可驻存在用户终端中。在替代方案中，处理器和存储媒体可作为离散组件驻存在用户终端中。

在一或多个示例性实施例中，所描述的功能可以在硬件、软件、固件或其任何组合中实施。如果在软件中实施为计算机程序产品，那么功能或模块可作为一或多个指令或代码存储在非暂时性计算机可读媒体上或通过非暂时性计算机可读媒体传输。计算机可读媒体可包含计算机存储媒体和通信媒体两者，通信媒体包含促进计算机程序从一个位置传送到另一位置的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。借助于实例而非限制，此类非暂时性计算机可读媒体可包括ram、rom、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。例如，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(dsl)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源发射软件，那么同轴缆线、光纤缆线、双绞线、dsl或例如红外线、无线电和微波等无线技术包含于媒体的定义中。如本文中所使用，磁盘和光盘包含压缩光盘(cd)、激光光盘、光学光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘通常用激光以光学方式再现数据。以上各项的组合也应包含在非暂时性计算机可读媒体的范围内。

提供对所公开的实施例的先前描述以使得所属领域的技术人员能够制作或使用本发明。所属领域的技术人员将容易了解对这些实施例的各种修改，且可在不脱离本公开的精神或范围的情况下将本文定义的一般原理应用到其它实施例。因此，本公开并不希望限于本文所示的实施例，而应被赋予与本文所公开的原理和新颖特征相一致的最广泛范围。