用于捕获全景图像的方法和装置制造方法

用于捕获全景图像的方法和装置制造方法
【专利摘要】本发明提供了一种利用便携式设备(100、150、170、190、195)促进全景图像(210)捕获的方法和装置(100、150、170、190、195)。此类全景图像通常由多个图像部分(212、214、216、218)形成，其在使相机(195)扫描穿过一定范围运动时拍摄，并且所述图像部分(212、214、216、218)以数字方式“拼接”在一起以形成全景图像(210)。本发明提供了一种用户界面，以引导用户以某方式定位和/或移动所述便携式设备(100、150、170、190、195)，利用所述方式将能够捕获适于形成所述预期全景图像(210)的多个图像(212、214、216、218)。在许多实例中，诸如在操作期间移动和/或定位相机的全景图形捕获操作的参数将被实时监测，并且所监测的参数将用于向用户提供关于可改进图像捕获过程的任何调整的反馈。
【专利说明】用于捕获全景图像的方法和装置
[0001]优先权要求
[0002]本申请要求提交于2012年9月29日的美国专利申请序列号13/631，931和提交于2012年6月8日的美国临时专利申请序列号61/657，376的优先权，上述申请在此以引用的方式全文并入本文。

【技术领域】
[0003]本发明整体涉及用于捕获全景图像的方法和装置，并且具体地讲涉及提供用户界面(“UI”)以促进捕获全景图像的此类方法和装置。

【背景技术】
[0004]全景图像为一个图像，该图像具有在一个方向(例如，通常水平方向)比在另一个方向(例如，垂直方向)上显著较宽(例如，2x、3x或更多倍)的至少一个维度。但从功能的角度来看，包含的视场大于捕获图像所用相机(并因此必须由多个所捕获图像形成)的所捕获图像可视为全景图像。可使用专用相机设备或包括在移动设备，诸如平板电脑、智能电话、计算机等(本文统称为“相机设备”)中的相机组件捕获全景图像。在一些系统中，可通过使用位于相机设备中或支撑相机设备以促进直接捕获全景图像的旋转机构来捕获全景图像。或者，可通过使用全景镜头结构捕获伪全景图像。然而，旋转机构价格昂贵并且往往体积大；并且全景镜头通常无法提供理想的图像质量。
[0005]捕获全景图像的另一方式为通过在将相机扫描通过感兴趣的主题时捕获一系列常规数字图像，并且将图像以数字形式组合以形成一个全景图像。在这种技术中，相机设备通常由用户以连续方式移动，并且操作以按顺序捕获可组合以限定全景图像的一系列图像。当前方法和装置涉及通过移动相机设备解决源自此类全景图像捕获的问题。在此类系统中，用户例如在横向或水平方向上移动相机设备，或围绕枢转点旋转相机设备。通常在相机设备的单一扫描过程中通过一定范围的移动来获取将共同限定最终全景图像的所有图像。如果至少一个图像未完全捕获在包括全景图像的所述一系列图像内，则将产生不完整的(损坏的)全景图像或将不产生全景图像。图像校正或估算软件可能无法完全补偿图像的不完整部分。
[0006]在此类情况下，可能是用户错误，而非设备错误，导致损坏(或丢失)的全景图像。最常见地，此类损坏或丢失图像源自于用户以某种方式操作相机设备，该方式可阻止相机设备捕获组合以形成全景图像所必需的图像中的每一者。因此，有利的是为用户提供指令和指导，以促进正确操作相机设备以用于获取形成全景图像所必需的数字图像。由于用户的适当操作在一些情况下将取决于所正在使用的系统和/或所正在捕获的图像的参数，因此在一些实施例中另外将有利的是将在图像捕获过程期间存在的设备约束计算在内以促进引导用户正确获取图像。并且在一些实施例中，有利的是提供易于用户理解并且将直观对应于进行中的图像捕获的用户指令和指导。


【发明内容】

[0007]本发明描述了通过便携式设备促进全景图像捕获的系统、方法和装置的各种实施例。在如本文所述的各种实施例中，提供了用户界面以向用户提供反馈来引导以某种方式定位和/或移动便携式设备，利用该方式将能够捕获适于以数字方式“拼接”在一起以形成全景图像的多个图像。在许多实施例中，如本文所述，将实时(即，在图像捕获过程期间)监测全景图像处理操作(诸如例如操作期间相机的移动和/或定位)的参数，并且所监测的参数将用于向用户提供关于将改进捕获过程的任何调整的反馈。在许多实施例中，对于用户而言，该反馈将为非文本的，或将至少包括非文本视觉元素，和/或其他非文本指示器。
[0008]根据结合以举例的方式示出根据实施例的特征的附图所进行的以下详细描述，本发明的其他特征和方面将变得显而易见。

【专利附图】

【附图说明】
[0009]一些实施例以举例的方式示出并且不限制于附图的图中，其中:
[0010]图1A-1E根据一些实施例示出了具有相机的示例性便携式设备。
[0011]图2A根据一些实施例示出了将使用便携式设备进行捕获的全景图像的概念图；而图2B示出了从前视图示出的可用于捕获图像的示例性便携式设备；并且图2C示出了从后视图示出的图2B的示例性便携式设备。
[0012]图3示出了通过使用全景图像捕获用户界面向用户提供指导以促进图像捕获过程来获取全景图像的示例性流程图。
[0013]图4根据一些示例性实施例示出了用于提供全景图像捕获用户界面(UI)的示例性流程图。
[0014]图5示出了框图，其根据一些示例性实施例示出了包括在便携式设备中以用于实现全景图像捕获Π的示例性模块。
[0015]图6A-6U根据一些示例性实施例示出了设置在便携式设备的显示器上以促进全景图像捕获的示例性Π屏幕。
[0016]图7根据一些示例性实施例示出了图1A-1E的便携式设备中的任一者的示例性架构的框图表现形式。

【具体实施方式】
[0017]以下详细描述参考各个附图，其示出了经选择以示出可如何实践新方法和装置的实例的各种细节。该讨论涉及至少部分地参考这些附图的本发明主题的各种实例，并且足够详细地描述了所示实施例，以使得本领域的技术人员能够实践新方法和装置。除了本文所讨论的例示性实例之外，还可利用许多其他实施例实践本发明主题，并且可在不脱离本发明主题范围的前提下进行除了本文具体讨论的另选形式之外的许多结构和操作变更。
[0018]在该描述中，提到“一个实施例”或“实施例”或者提到“一个实例”或“实例”意指提到的特征包括或可包括在本发明的至少一个实施例或实例中。在该描述中独立提到“实施例”或“一个实施例”或提到“一个实例”或“实例”并非旨在一定指代相同实施例或实例；然而，除非如此表述或对于得益于本发明的本领域普通技术人员而言将是显而易见的，否则此类实施例两者不是互相排斥的。因此，本发明可包括本文所述实施例和实例以及如基于本发明的所有权利要求以及此类权利要求的法律等同形式的范围内所限定的另外实施例和实例的多种组合和/或结合。
[0019]出于本说明书的目的，如本文所用的“基于处理器的系统”或“处理系统”包括使用一个或多个微处理器、微控制器、和/或数字信号处理器或具有运行“程序”的能力的其他设备(所有此类设备在本文称为“处理器”)的一个系统。“程序”为任何可执行机器代码指令集，并且如本文所用，包括用户级应用程序以及系统定向应用程序或守护进程。
[0020]图1A-1E示出了具有图像捕获单元的示例性便携式设备，各自包括与用于捕获图像数据的其他部件(诸如操作性地布置有成像器件的一个或多个镜头)以及设备结合以提供至少基本图像处理功能的图像捕获设备(诸如电荷耦合器件(CCD)成像器件、CMOS成像器件等)。此类基本图像处理功能包括但并非一定限于对所捕获的图像数据进行足够处理以将该数据保持在缓冲区或长期内存存储器中，使得可检索经处理的数据以用于进一步处理来形成单一全景图像。在一些实例中，此类基本图像处理以及另外的图像处理可由成像器件自身执行。因此，如本文所用，每个便携式设备为“相机设备”。
[0021]以下仅仅是可结合如本文所公开的新方法和装置的设备的一些实例。示例性便携式设备包括:移动电话或智能电话100、便携式平板电脑150、音频/视频设备170(诸如多媒体显示设备)、个人计算机190 (诸如膝上型电脑或上网本)、相机195以及包括图像捕获单元(例如，相机)、显示器和陀螺仪的任何类型的移动设备。移动电话/智能电话100、便携式平板电脑150、音频/视频设备170、膝上型计算机190和相机195中的每一者将包括显不器(其在图1A、1B和IE的实例中的每一者中不为触摸传感器面板102、104、106 ;但每一个也可为简单的视频显示器，如在图1C和ID的实例中分别示为108和110)。对本领域的技术人员来说将显而易见的是，对于图1A-1E的大多数设备而言，设备将在与图中所示显示器相对的表面上包括图像捕获单元。虽然一些设备可包括面向与显示器相同方向的一个另外图像捕获单元，但在大多数情况下，将使用一个面向相反方向的图像捕获单元来获取全景图像。图2C中示出了此类设备的一个实例。
[0022]每个设备还将包括控制器组件112、114、116、118、120，该组件将包括至少一个处理器。移动电话/智能电话100、便携式平板电脑150、音频/视频设备170、膝上型计算机190和相机195中的每一者也可包括其他部件，诸如下列中的一者或多者:电源按钮、菜单按钮、首页按钮、音量按钮、相机单元的闪光光源、一个或多个输入/输出插孔或连接器、和/或操作设备或与设备进行交互的其他部件。图7中提供了示例性便携式设备200的框图，并且与此相关进行讨论。
[0023]图2A根据一些实施例示出了将使用便携式设备200进行捕获的全景图像210的概念图。示例性便携式设备200包括两个图像捕获单元(在图2B中为222，并且在图2C中为224)，与如本领域中所公知的常规控制和处理电路组合以用于捕获和处理图像数据。如上所述，面向后部的图像捕获单元(如图2C中在224处所示)将通常用于在用户查看面向相反方向的显示器上的Π时捕获全景图像。便携式设备200的特定配置可规定图像捕获单元在设备上的位置。图像捕获单元所要求的处理可至少部分地由系统处理器提供；但更常见地将由图像捕获芯片或组件内或以其他方式与之关联的专用处理器处理。
[0024]为了捕获全景图像，用户将便携式设备200移动通过相对于感兴趣的对象或场景的特定扫描路径，以便获取对应于感兴趣的对象或场景的成像数据。便携式设备200遍历的扫描路径通常为大体水平(即，在从左到右方向或从右到左方向上)或大体垂直(即，从上到下，或从下到上)。图2中所示的示例性扫描方向220包括在从左到右方向上沿X轴的扫描路径；并且将通常包括与由X轴和y轴所形成的平面不共线的部件。例如，用户可使便携式设备200在位于扫描方向220上并还具有旋转部件的半圆形路径中移动，该路径通常围绕位于沿某条线的某个位置的垂直轴，所述线在延伸穿过便携式设备的某个部分的垂直轴与穿过支持便携式设备的用户的垂直轴之间延伸；但可能的是用户可沿弧线移动，从而将轴放置在用户后面的某个位置。
[0025]全景图像210包括由便携式设备200捕获的两个或更多个图像，这些图像以数字方式拼接在一起以形成单个合成图像。如图2所示，全景图像210包括第一图像212、第二图像214、第三图像216和第四图像218 (各自为“一个图像部分”，并且共同为“多个图像部分”)。当便携式设备200遍历扫描路径220时，便携式设备200分别按顺序并连续地捕获图像部分212、214、216和218。尽管示出了四个图像部分，但应当理解，图像部分的数量或图像部分中的任一者的宽度可不同于图2所示。与图像捕获单元相关联的镜头的视场将通常部分确定可获取的给定图像部分的最大宽度。然而，由于更多的重叠图像数据，捕获图像部分中的较大一者(其中每一个图像部分表示与作为相对较窄“片”(相对于全帧视图)的前一个图像部分的差异)据信会提供较高图像质量。此类捕获大于将需要的最少图像部分的相对较大数量图像部分(其中每个图像部分接近于全视场帧)将需要相对较大的处理带宽和较大内存容量，因为更多个图像(具有较大图像内容重叠)将拼接在一起以形成全景图像。因此，图像部分捕获中的此类较大间隔尺寸可影响最大安全扫描速度，并且有可能影响全景图像的最大维度。在一些实施例中，由于图像捕获在特定扫描路径范围上是连续的，因此在全景图像210内可能无法辨别任何分立的图像部分。在任何情况下，全景图像210沿X轴比沿y轴具有显著较宽的视图。或者，全景图像210的维度可沿y轴比沿z轴显著较大。
[0026]通过考虑图像部分212、214、216和218将显而易见的是，每个图像部分的全帧将无法拼接到后续图像部分，除非在捕获这两个图像部分时便携式设备200处于相同垂直位置，并且在捕获这两个图像部分时也处于相同角朝向。就在垂直方向上具有延伸维度的全景图像而言，便携式设备200将需要保持在相同水平位置，但角朝向通常将改变。合适全景图像获取中的附加因素为使便携式设备在某个速度下移动，使得可完全捕获每个图像部分。
[0027]图3提供了通过使用全景图像捕获用户界面(“Π”)向用户提供适当指导以促进图像捕获过程来获取全景图像的一个示例性方法的流程图300。一旦操作将用于获取全景图像的便携式设备200在302处进入全景捕获模式，系统就将在304处显示图像捕获单元的用户界面。用户界面可呈现为多种形式，其中一些实例在本文中于图6A-U中提供。在接近捕获第一图像部分时，在306处将检测至少第一设备状态。在许多实施例中，该第一设备状态将用作基线参考以引导对后续图像部分进行捕获。在一些实施例中，将检测多个参数的设备状态以用于以后参考。
[0028]在全景图像捕获过程期间，在捕获到第一图像部分之后，在308处系统将检测与捕获第二图像部分相关联的第二设备状态。第二设备状态可选自多个参数，包括例如便携式设备(308A)的垂直位置，便携式设备(308B)的水平位置或便携式设备(308C)的角朝向。在至少一些实施例中，将在实际捕获第二图像部分之前确定第二设备状态。如果所确定的第二设备状态指示便携式设备(200)的位置改变对于全景图像捕获过程将是有益的，则将通过所显示的用户界面提供扫描指导指示器，指示第二设备状态的适当改变。例如，如果确定在捕获第一图像部分之后升高了便携式设备的垂直位置，则可通过用户界面提供降低垂直位置的扫描指导指示器。
[0029]在一些实施例中，可提供另外的指导。例如，图3中还示出了由虚线指示的另外可选步骤312、314和316。在另外可选步骤的所提供实例中，在312处，系统确定接近捕获第二图像部分时的扫描速度(即，便携式设备正在移动的速度)。在314处，系统随后将确定所检测到的扫描速度是否在优选的扫描速度范围之外；使得扫描速度可不利地影响全景图像捕获过程。如果做出该确定，则包括非文本元素的视觉导向将显示在便携式设备的显示器上，以引导用户在优选速度范围内的速度下移动便携式设备。在下文的图6A-Q中提供了此类非文本视觉导向的多个实例。
[0030]接下来将在318处确定关于全景捕获过程是否已结束，诸如通过用户启动控件来停止捕获。或者，全景捕获过程可自动结束，诸如通过系统确定与捕获全景图像不一致的便携式设备的移动，诸如用户将便携式设备的移动停止预先确定的持续时间，或通过明显改变便携式设备的朝向，诸如设备明显降低或倾斜那样。如果在320处全景捕获过程已结束，则在322处过程将终止。如果在324处全景捕获过程尚未结束，则过程将返回以如308和310(以及任何可选步骤)处所示重复检测，直至图像捕获过程在320处确实结束。当然，如果不执行如在312-316处所示的可选操作，则318的确定将在310处所示的操作之后立即执行。在许多实施例中，与如在306处所确定的捕获第一图像部分相关联的所检测设备状态将用作对所有后续图像部分进行捕获的参考。然而，作为一种另选的操作方法，接近捕获任何后续图像部分时的设备状态可参考接近紧接的前一个图像部分时所检测到的设备状态。在这个操作方法中，参考值将总是与捕获紧接的前一个图像部分而非第一图像部分相关联。
[0031]现在参见系统的结构和操作，图4根据一些实施例示出了用于获取全景图像的示例性流程图400。图5示出了框图，该框图示出了包括在示例性便携式设备200中以用于实现全景图像捕获Π的示例性模块500。图6A-6Q根据流程图400和模块500示出了对应于便携式设备200的取景器或其他显示屏的示例性UI屏幕。下文结合彼此描述图4、5和6A~6Qo
[0032]首先参考图5来描述便携式设备的结构，该示例性便携式设备200的部件500包括图像获取模块502、全景图像处理模块504、设备朝向、设备运动和/或处理器负载模块506以及UI模块508。尽管模块502-508在图5中示为不同模块以易于理解，但应当理解，模块502-508可实施为比所示模块更少或更多的模块。例如，在一些系统中，全景图像处理模块504的功能可部分或完全由图像获取模块502的图像捕获单元510实施。
[0033]在大多数实施例中，模块500将包括一个或多个软件部件、程序、应用程序、应用或其他代码基数单元或指令，其被配置为由包括在便携式设备200中的一个或多个处理器(例如，处理器102)执行以提供全景图像捕获的一个或多个实施例的功能或操作。在此类情况下，模块500可为包括在便携式设备200中的相机应用程序(或适当的图像捕获应用程序)的一部分或与该应用程序分开。在许多情况下，对于本领域技术人员将显而易见的是，(除了包含可执行指令的机器可读介质之外)模块中的一者或多者还将包括一个或多个另外的硬件部件。例如，图像获取模块502将包括用于捕获图像的图像获取单元510，以及提供用于控制图像获取单元的所需的另外功能，诸如虚拟或硬件实现的控件，诸如:控件按钮，以启动(并且在一些情况下结束)图像捕获；控件，以缩放视场；照明控件等；并且将在必要时提供输入以控制图像捕获单元510。
[0034]现在参见如图4的流程图中所示的示例性过程流程，用户启用便携式设备200的图像捕获单元(例如，相机)或启动包括在便携式设备200中的相机应用程序(或其他适当的图像捕获应用程序)。便携式设备200为用户提供在一个或多个图像捕获模式(诸如常规照片模式和全景照片模式)之间选择的选项。可例如通过显示于便携式设备的触摸屏上的虚拟按钮来进行全景模式的选择(参见例如图6U)。便携式设备200还可提供一种或多种图像配置设置，诸如但不限于指定分辨率、颜色、黑白照片、高动态范围(HDR)成像，其中任一者也可以类似方式通过触摸屏上的虚拟按钮来进行选择或取消选择。当然，在便携式设备不包括触摸屏的情况下，可使用其他常规按钮或其他控件进行选择/取消选择。当用户选择全景模式时，便携式设备200被配置为启动或开始全景操作模式以获取全景图像(框 402) ο
[0035]接下来在框404处，用户定位便携式设备200的图像捕获单元以捕获感兴趣的对象或场景的(第一)部分(即，“第一图像部分”)，并且启动图像捕获(诸如通过致动真实或虚拟按钮)。图像获取模块502从而被配置为获取该第一图像部分302(在图3中)(例如，以获取全景图像300的至少第一部分)。用户沿全景扫描路径(例如，沿图2中的扫描方向210)定位并且(理想地)连续移动便携式设备200，以捕获对应于感兴趣的对象/场景的图像数据。此类定位和连续移动在本领域中也称为扫描、平移或遍历扫描(或正在扫描)路径。通过沿全景扫描路径的连续移动，便携式设备200对应地将感兴趣对象/场景的新部分带到图像捕获单元的视场内。继而，通过便携式设备200连续获取对应于感兴趣的对象/场景的此类新部分的新图像数据。在框404中获取图像数据基本上连续进行，其处于与通过捕获多个帧连续获取视频图像的相同情景中，诸如以每秒所选数量的图像帧递增，并且基本上是实时的；但在捕获全景图像时，捕获帧的速率可通常显著小于捕获视频图像的速率。另外，就全景图像而言，与视频图像的多个分立帧不同，一次将可看到整个全景图像。
[0036]在框404处获取图像数据时，在许多系统中，模块506被配置为接收传感器数据，并且被配置为随后在框406处响应于该数据来检测或监测各种设备状态参数中的一者或多者。包括在便携式设备200中的一个或多个传感器(图7中的832)(诸如例如陀螺仪、加速度计、角朝向传感器等)各自被配置为提供设备状态信息，诸如但不限于设备朝向或设备运动信息。此类设备朝向信息可包括在全景图像捕获过程期间检测便携式设备200在y方向上的向上/向下移动的量。该设备朝向信息也可包括在全景图像捕获过程期间检测便携式设备200相对于x-y平面的倾斜量。设备运动信息包括在全景图像捕获过程期间检测X方向(扫描方向220)上的扫描速度或速率。
[0037]在许多实施例中，模块506也被配置为追踪当前处理器负载或容量，并且另外优选地被配置为引发即将发生的可影响设备捕获全景图像的能力的处理器负载或容量。如本文所用，处理器负载包括便携式设备200 (尤其是进行图像处理的一个或多个处理器)的图像处理能力，并且还包括在图像捕获期间发生的其他处理需求，该需求将影响图像处理，诸如但不限于服务其他应用程序、处理通信等；并且还包括对所捕获图像部分的可用内存容量的任何限制，使得当处理器无法足够快地处理所存储图像以释放内存中的空间而允许图像捕获时，内存可变满。在大多数实施例中，优选的是设备朝向、设备运动和/或设备处理器负载监测大体上连续进行，诸如按定期间隔并且实时进行(即，在扫描和图像捕获操作期间)。
[0038]返回流程图400的获取图像数据分支，在框408处通过全景图像处理模块504处理框404的所获取图像数据。所获取图像数据可由处理器102处理。在一些实施例中，图像处理还可包括该进一步处理，包括将连续图像部分实时拼接在一起，使得动态生成全景图像。在其他实施例中，图像处理可包括将所接收图像数据转换为适于在便携式设备200上显示的形式(例如，初步图像转换)，并且稍后进行最终处理，诸如在完整全景图像的图像数据获取结束之后。
[0039]接下来，在框410处，显示临时或取景器图像。在执行该操作时，Π模块508被配置为在便携式设备200的显示器110上显示表示正在捕获的最当前图像部分的图像部分。此类图像部分可为对应于框404的所获取图像数据的图像部分。处理框408可与临时图像(框410)的显示同时进行并且在此之后继续。
[0040]所显示图像部分可称为临时图像或取景器图像，因为该图像部分可呈现为最终图像的近似程度，其足以提供取景器功能来引导用户捕获感兴趣的主题。例如，临时图像可在低于最终图像分辨率的分辨率下提供。将临时图像呈现给用户以用作正被便携式设备200捕获的对象/场景的实时反馈。例如，图6A示出了示例性屏幕600，该屏幕示出了显示于便携式设备200上的临时图像602。便携式设备200移动时，临时图像602相应地更新以向用户提供正被捕获的场景的当前视觉导向。
[0041]处理后的图像数据存储在框412处。存储处理后的图像数据以用于进一步动作，其可包括例如下列中的一者或多者:进一步处理、等待全景图像的下一个片段、或传输到另一个设备等。
[0042]在图像获取、处理和显示操作的同时，在框406处检测的设备状态信息用于提供直观Π以进一步促进图像捕获。在框414处，模块506被配置为确定原始或初始扫描线位置，该定位表示开始给定全景图像的图像捕获时的y轴上的位置。原始扫描线位置对应于开始图像捕获时便携式设备200的垂直位置(即，初始扫描路径垂直位置)。在一些实施例中，该初始垂直位置将包括垂直朝向，诸如便携式设备相对于水平或垂直轴的倾斜角度。对于给定全景图像而言该原始扫描线位置保持不变。模块506也被配置为确定当前扫描线位置(也称为当前扫描线位置)，该定位表示在扫描路径的当前遍历点处的y轴上的位置。用户沿给定全景图像的扫描路径移动便携式设备200时，便携式设备200可相对于原始扫描线位置向上或向下移动，或可相对于该原始扫描线位置倾斜。此类向上或向下、或者倾斜、偏离将通常导致达不到最佳的全景图像，因为此类偏离具有使相对于常规矩形显示格式的图像连续部分变窄的效果。因此，在一些实施例中，平移期间相对于初始扫描线位置的此类向上或向下移动、和/或倾斜在图像捕获期间于显示器上指示(框416)，并且优选地至少部分由非文本指示器指示。在一些实施例中，一些文本指示器可与非文本指示器结合地使用。
[0043]图6A的屏幕600示出了示例性非文本视觉指示器(图像、提示或线索)，其设置有临时图像602以引导用户在扫描期间垂直定位便携式设备。该视觉非文本指示器可按不同的半透明度作为临时图像602上方的层而提供。例如，非文本指示器可为100%不透明或小于100%不透明(即，半透明的)。在一些实施例中，与垂直位置引导相关的非文本指示器将包括原始扫描线位置指示器604、当前扫描线位置指示器606和垂直位置校正指示器608。由于所检测当前扫描线相对于原始扫描线位置的位置随时间相应地改变，因此当前扫描线位置指示器606相对于原始扫描线位置指示器604的位置可随时间改变。当前扫描线位置指示器606可位于原始扫描线位置指示器604上方、与之重合或下方。扫描线位置指示器604和606可在所有时刻显示给用户(但，在扫描开始时，当前扫描线指示器606可不可见或与原始扫描线指示器606重合)。在其他实例中，两条线均不可显示给用户(或者仅可显示原始扫描线指示器线)，直至出现需要用户校正的偏离。垂直位置校正指示器608被配置为向用户指示向上或向下(视情况而定)移动便携式设备200，以将便携式设备200重新定位回到原始扫描线位置。图6A将垂直位置校正指示器608示为向下指向箭头，因为当前扫描线位置指示器606定位在原始扫描线位置指示器604上方。或者，垂直位置校正指示器608可为多种可想到的元素中的任一者，其将向用户传达必要的移动。仅作为许多可能的此类指示器的一些实例，位置校正指示器可为静态的，诸如被朝向为示出所需移动的方向的恒定箭头；或可为许多可能形式的活动或动画指示器，诸如例如闪烁箭头、变色箭头、在所需方向上的连续或顺序运动中的一组V型条纹(例如，在存在对应于扫描线位置指示器604和606的指示器的情况下，V型条纹或其他指示器可在当前扫描线位置指示器606和原始扫描线位置指示器604之间延伸)。
[0044]当前扫描线位置指示器606可响应于一个或多个传感器来确定。例如，如可从加速度计测量得出，当前扫描线指示器的放置可仅对垂直面中的移动进行响应。然而，垂直定位图像的较大风险当前据信为用户非预期地倾斜便携式设备。因此，在一些实施例中，当前扫描线指示器606的位置将基于来自倾斜传感器的输入，诸如陀螺仪以及用于垂直定位的传感器。当然，在一些实施例中，仅倾斜传感器测量可用于确定当前扫描线指示器606的位置。在确定当前扫描线指示器606的放置时依赖两种类型测量的情况下，在一些实施例中，考虑到倾斜将对图像捕获过程具有较大负面影响的可能性，将以较大加权的方式提供倾斜测量。
[0045]另外，在一些实施例中，其他非视觉指示器也可与可见Π —起使用(或可能取代其使用)，非视觉指示器诸如为听觉信号或某种形式的触觉反馈。例如，给定音调或音量的音频信号可在当前扫描线开始偏离原始扫描线(不管扫描线指示器604和606是否显示给用户)时呈现，并且如果扫描线之间的偏离增加，可随后对其进行修改，诸如提升强度(诸如通过调高音调或音量)；并且通过在校正偏离时类似地降低强度。在一些实施例中，触觉脉冲可施加于便携式设备表面，从而响应于扫描线之间的偏离程度而再次在频率和/或强度方面改变。
[0046]这样，便携式设备200实时提供直观Π元素以协助用户在全景图像的捕获期间相对于扫描路径来正确定位便携式设备200 (其将通常但不一定是垂直位置)。Π元素被配置为类似游戏的元素，以使用户在图像捕获过程期间“像游戏一样操作”而使两个扫描线指示器(指示器604和606)尽可能接近彼此。应当理解，并非所有实施例必须包括独立的位置校正指示器(如在608处所示)。例如，用户可仅仅出于使得两个扫描线指示器(指示器604和606)彼此对准的目的而移动相机。然而，如果用户对于必需的移动方向不确定，则当用户确定所需移动方向时可在不正确方向上存在不可取的移动。因此，在许多实施例中，UI将受益于位置校正指示器的存在。
[0047]在框418处，模块506被配置为确定水平方向(x方向)上的扫描或平移速度，在该速度下处理器102可进行所获取图像数据(和其他处理器需求)的图像处理，而无需不必要地减慢扫描(因为用户将通常想要尽快捕获全景图像)。在一些此类实施例中，模块506被配置为预测随后的处理器负载以确定(先验式)安全扫描速度，在该速度下可在图像数据获取不超过便携式设备200的图像处理能力的前提下捕获图像，如前文所述。图像处理能力也可取决于多个因素，诸如但不限于图像分辨率(分辨率越低，就可需要越少处理)、用户在图像获取期间的抖动或摇动的量等等。如果图像数据获取-其取决于扫描速度-超过图像处理能力/速度，则所得全景图像可包含图像间隙或可能没有任何全景图像。所确定的扫描速度预测随后的图像处理能力，以阻止在图像数据的处理中丢失间隙；其不对已经超过或接近超负荷点的图像处理能力进行反应以警告用户减慢扫描速度。所确定的扫描速度可为最大安全扫描速度(该速度当然可包括内置到所确定的速度中的某个安全限度)。或者，所确定的速度可为将允许合适且有效的图像捕获的一系列可接受速度内的目标速度；或所确定的速度可仅仅是一系列可接受的速度。
[0048]在一些实施例中，系统可能不寻求计算扫描速度，但可依赖预定阈值扫描速度，该速度在据信允许适于形成全景图像的图像捕获的值下确定。然而，此类系统将无法明确解决诸如处理器负载的任何状况，其可使得性能在初始用于确定阈值扫描速度的预期参数之外。
[0049]一旦确定了最大安全扫描速度，Π模块508就被配置为显示非文本指示器以引导用户在图像捕获过程(框420)期间提供便携式设备200的所确定扫描速度(或所确定的扫描速度范围内的速度)。非文本视觉指示器可为静态的、动画的、变色的等等。确定框418和显示框420将通常实时连续进行。
[0050]同样，这些非文本视觉指示器可按不同的半透明度作为临时图像602上方的层而提供。例如，非文本指示器、图像或线索可为100%不透明或小于100%不透明。此类非文本指示器也可设置在相对于临时图像602的任何位置-叠加在临时图像602的顶部、中部、底部或其他部分之上的叠层。在其他实施例中，与优选扫描速度相关联的非文本指示器可设置在屏幕的顶部区域中，而临时图像602设置在顶部区域下方的屏幕区域中(或反之亦然)。在本发明中设想了这些和其他Π配置。
[0051]图6B-6T示出了 Π屏幕的实例，其示出了临时图像602和非文本指示器，在许多情况下包括显示于便携式设备200上的表示安全或优选扫描速度的非文本指示器。图6B示出了示例性屏幕610，其示出了临时图像602和扫描速度指示器区域612。扫描速度指示器区域612示为临时图像602的顶部部分上方的叠层。在该实例中，扫描速度指示器区域612 (也称为扫描速度指示器条)包括前一个捕获图像部分614、当前捕获图像部分616和扫描速度指示器618。扫描速度指示器区域612传达不止一种类型的信息。前一个捕获图像部分614和当前捕获图像部分616 —起包括捕获到该点的全景图像的初步图像。在许多实施例中，当前捕获图像部分616将与临时图像602具有相同内容。在一些实施例中，图像部分614和616以适当比例显示以指示捕获全景图像时的进度量。在一些实施例中，Π将被配置为使得延伸跨越整个屏幕宽度(如由前一个图像捕获部分614、当前图像捕获部分616和扫描速度指示器区域612所占据)的所捕获图像将已达到用于捕获全景图像水平维度的预定限度。或者，前一个捕获图像部分614和当前捕获图像部分616可用指示朝完成全景图像捕获进度的颜色条取代；或此类颜色条可示为沿着那些图像部分和/或扫描速度指示器区域612或叠加在其上方。
[0052]在一个实施例中，扫描速度指示器618包括箭头图像，如果最大扫描速度(诸如框418中计算的扫描速度)不同于当前扫描速度，则该箭头图像会改变尺寸。当然，如通过本文所述的各种实施例将显而易见的是，可将最大扫描速度之外的速度用作参考。参考可为对于系统确定或识别为适当扫描速度的任何参考速度。扫描速度指示器618的尺寸改变可与相对于当前扫描速度的所建议改变量成比例。例如当在框418中确定用户可更快扫描(例如，“更快进行”指示器)时，箭头尺寸增加。相反地，当在框418中确定用户应当更慢扫描或平移(例如，“更慢进行”指示器)时，箭头尺寸减小。箭头图像指向朝右方向，其为与扫描方向相同的方向。如果扫描方向为从右到左，则可构想箭头图像指向朝左方向。如果扫描方向为向上或向下，则将使用类似规定。
[0053]在另一个实施例中，扫描速度指示器618包括具有特定颜色的箭头图像，其取决于在框418中计算的扫描速度。箭头图像颜色可为交通灯颜色，诸如黄色、绿色或红色。可提供黄色箭头图像例如以警告用户他/她正在接近最大扫描速度(同样，诸如在框418中所计算)。相反地，在当前扫描速度远低于所计算的扫描速度时，可提供绿色箭头图像。当然，可使用红色符号(诸如正方形、八边形等)指示用户停止扫描。
[0054]在另选的实施例中，扫描速度指示器618包括箭头图像，该箭头图像根据在框418中计算的扫描速度闪烁或以其他方式动画化。另外，非视觉信号(诸如上述的听觉或触觉信号)可用于以信号通知用户改变扫描速度。除了使用音调强度来指示转变到有问题的扫描速度外，可利用触觉反馈(诸如在用户接近最大扫描速度时的增加强度的脉冲或振动)来引导用户。
[0055]图6C示出了图6B的扫描速度指示器区域612的另选扫描速度指示器622。扫描速度指示器区域622通过包括扫描速度指示器624而非扫描速度指示器618而不同于扫描速度指示器区域612。扫描速度指示器624包括箭头之外的图像，诸如圆圈或交通灯符号。扫描速度指示器624根据如在框418中所计算的速度而显示具体的颜色，如上所述。扫描速度指示器624可以交通灯颜色示出，诸如黄色、绿色或红色。
[0056]图6D示出了包括扫描速度指示器634和扫描方向指示器636的扫描速度指示器区域632。扫描速度指示器634包括不同于箭头的图像，诸如圆圈或交通灯符号。扫描速度指示器634根据在框418中计算的扫描速度而显示不同的颜色，如上所述。扫描速度指示器634可以交通灯颜色示出，诸如黄色、绿色或红色。扫描方向指示器636包括图像，该图像指示其中用户应当扫描或平移便携式设备200的方向(例如，指向右的箭头)。
[0057]图6E示出了包括扫描速度指示器644和全景图像指示器646的扫描速度指示器区域642。扫描速度指示器644包括多个箭头、V型条纹或其他图像，其表示向右方向并且以动画形式来表示在框418中确定的扫描速度。示例性动画可具有许多可想到的形式，包括仅仅作为一些实例的以下各项:致使表示向右方向的多个箭头、V型条纹或其他图像根据所确定的扫描速度进行闪烁；致使箭头、V型条纹或其他图像根据所确定的扫描速度改变颜色或根据所确定的扫描速度改变尺寸；高亮显示表示向右方向的多个箭头、V型条纹或其他图像的连续部分以根据所确定的扫描速度模拟从左到右的移动；等等。需注意，如果通过从右到左的扫描捕获全景图像，则表示向右方向的多个箭头、V型条纹或其他图像可相反地表示向左方向。全景图像指示器646可包括上面针对图6B所述的前一个捕获图像部分614和当前捕获图像部分616，或指示朝完成全景图像捕获进度的颜色条。
[0058]图6F示出了包括扫描速度指示器654和全景图像指示器656的扫描速度指示器区域652。扫描速度指示器654包括多个箭头、V型条纹或其他图像，其表示向右方向并且通过动画形式来识别扫描速度。所识别的扫描速度可选自多个选项，并且速度的显示可类似地为多个选项中的一者。例如，所识别的扫描速度可为如在图4的框406处检测的相机设备的所检测到的扫描速度；或可为先前所确定的建议扫描速度；或可为安全扫描速度，如在图4的框418处所确定。因此，对于要显示的每种可能类型的速度的扫描速度指示器而言，可能有许多显示选项。例如，在一个实施例中，其中扫描为从左到右，表示向右方向的多个箭头、V型条纹或其他图像根据从左到右方向上的时间而显示在不同位置，从而指示所识别方向上的运动。作为一个实例，当表示向右方向的多个箭头、V型条纹或其他图像到达最右位置时，显示图案从左到右重复(或其可根据所显示的元素数量较早地开始重复)。作为适当动画的另一个实例，当所识别的扫描速度为先前所建议速度或所确定安全速度的任一者时，动画可被配置为当相机设备的移动在可接受范围(其可确定为大约为或低于先前所确定的建议速度或所确定的安全速度)内时使动画图像在所建立的速率下“移动”，但被配置为当速度接近或超过该范围时移动更慢，或甚至开始向后移动，从而向用户建议减慢相机设备的移动。仅作为一种另选形式，动画图像(无论箭头、V型条纹等)可在相机设备正在可接受范围内移动时保持静止，但在正向或方向方向上移动以建议需要分别加快或减慢相机设备的移动速率。通过系统响应于实时状况确定安全速度时，可使用类似动画来建议适当的相机设备移动。作为一个实例，所确定的扫描速度越快，表示向右方向的多个箭头、V型条纹或其他图像从左到右的行进就可越快。或者，如果扫描速度接近最大安全扫描速度(在扫描操作期间该速度可变化)，则箭头或V型条纹可开始向后移动(但仍指向右)，以指示需要减慢扫描速度。如上所述，如果扫描方向为从右到左，则多个箭头、V型条纹或其他图像将表示向左方向并且其显示图案也将为从右到左；并且对于在任一方向上的垂直扫描类似。全景图像指示器656可包括如上针对图6B所述的前一个捕获图像部分614和当前捕获图像部分616，或指示朝完成全景图像捕获进度的颜色条。
[0059]图6G示出了扫描速度指示器区域662，其包括前一个捕获图像部分614、当前捕获图像部分616、便携式设备指示器667和扫描速度指示器618。便携式设备指示器667包括表示便携式设备200的图像，该图像相对于当前捕获图像部分616定位，使得当前捕获图像部分616看起来显示于(虚拟)便携式设备指示器667的“显示器”上。换句话讲，全景图像捕获过程概念上由扫描速度指示器区域662表示，所述区域为已捕获的全景图像的部分(通过前一个捕获图像部分614示出)、捕获全景图像下一个部分的便携式设备200 (通过便携式设备指示器667和当前捕获图像部分616示出)以及便携式设备200的(随后)方向和扫描速度(通过扫描速度指示器618示出)。
[0060]如上面相对于图6B所述，扫描速度指示器618可为根据在框418中计算的扫描速度而改变尺寸的箭头图像、取决于所计算的扫描速度的具体颜色的箭头图像、或者根据所计算的扫描速度而闪烁或以其他方式动画化的箭头图像。箭头图像指向朝右方向，其为与扫描方向相同的方向。如果扫描方向为从右到左，则可设想箭头图像指向朝左方向。
[0061]图6H示出了扫描速度指示器区域672，其类似于扫描速度指示器区域662 (图6G)，不同的是用扫描速度指示器624替代了扫描速度指示器618。以上相对于图6C描述扫描速度指示器624。该扫描速度指示器624可位于便携式设备指示器667右侧、上方或下方。
[0062]图61示出了扫描速度指示器区域682，其类似于扫描速度指示器区域662 (图6G)，不同的是用扫描速度指示器684替代了扫描速度指示器618。扫描速度指示器684可位于便携式设备指示器667右侧、上方或下方。扫描速度指示器684包括根据最大扫描速度(同样，例如，如框418中所计算)向右移动的点或其他图像。扫描速度指示器684被配置为移动图像，用户“像游戏一样操作”该图像而与便携式设备指示器667同步(其表示便携式设备实时扫描以捕获全景图像)。例如，扫描速度指示器684可为移动点，其类似于卡拉OK歌词屏幕中通常所示的那些。扫描速度指示器因此设定用户通过移动设备而匹配的速度，使得便携式设备指示器与扫描速度指示器684保持同步。因此，扫描速度指示器区域682被配置为提供类似游戏的环境，其呈现优选的扫描速度和有趣界面以使用户响应于所呈现的扫描速度进行响应。
[0063]图6J-6K示出了扫描速度指示器区域692，其类似于扫描速度指示器区域682 (图61)，不同的是用扫描速度指示器694替代了扫描速度指示器684。扫描速度指示器694包括表示便携式设备200的另一个图像，其位于便携式设备指示器667的右侧。扫描速度指示器694作为不同于便携式设备指示器667呈现的半透明的、不太清晰的或其他图像而呈现。例如，图6J示出了以虚线呈现的扫描速度指示器694。作为另一个实例，图6K示出了作为重像而呈现的扫描速度指示器694。扫描速度指示器694被配置为根据在框418中计算的扫描速度向右移动。与上面针对图61所述的游戏方面类似，显示扫描速度指示器694以使用户尝试与便携式设备指示器667同步。在用户与之同步(或未同步)时，在便携式设备200上更新便携式设备指示器667和扫描速度指示器694相对于彼此的位置。
[0064]图6L示出了扫描速度指示器区域702，其类似于扫描速度指示器区域692 (图6J-6K)，不同的是用扫描速度指示器704代替了扫描速度指示器694。扫描速度指示器704包括颜色条，其以根据在框418中计算的扫描速度的速率朝右填充。扫描速度指示器704定位在紧靠便携式设备指示器667右侧。例如，扫描速度指示器704可为绿色条。如上面针对图6J-6K所述，用户可通过以特定速度移动便携式设备200来“像游戏一样操作”而与扫描速度指示器704同步。在用户与之同步(或未同步)时，在便携式设备200上更新便携式设备指示器667和扫描速度指示器704相对于彼此的位置。
[0065]图6M示出了包括扫描速度指示器714的扫描速度指示器区域712。扫描速度指示器714被配置为颜色条(例如，绿色)，该颜色条以根据在框418中计算的扫描速度的速率朝右填充。例如，扫描速度指示器714的水平长度可与所检测扫描速度与安全或最大扫描速度的比率成比例。或者，用作扫描速度指示器714的条可以不同地使用，诸如用于指示捕获全景图像方面的进度量；而条的颜色用于反映扫描速度的适当性。
[0066]图6N-60各自示出了 UI，其包括为全景图像捕获提供指导的交互式元素。如相对于图6B所述，扫描速度指示器720为适当扫描速度提供指导，并且还指示扫描的方向；但与图6B的扫描速度指示器618不同，扫描速度指示器720为诸如将在具有触摸屏显示器的设备上显示的交互式元素。响应于用户触摸，如通过扫描速度指示器720上方的阴影区域722所指示，箭头将反转方向，如图60中所示。在所示实施例中，扫描速度指示器720基本上保持相同位置，但响应于触摸输入而反转方向。作为另外一种选择，响应于触摸输入，扫描速度指示器720可移动到初始帧724的相对侧726，使得指示器720将“引导”扫描，并且因此将不需要叠加在被捕获以形成全景图像的图像部分的一者或多者上方。
[0067]图6P-6Q各自示出了另选的UI，其被配置为启动全景捕获扫描时如果用户碰巧使相机设备倾斜偏离其中设备被朝向的平面，则向用户提供反馈。例如，图6P示出了初始图像部分728。尽管可能有其他另选形式，但可合理地假设当用户开始扫描操作时，相机被正确地朝向来捕获预期主题。然而，当用户开始将扫描相机设备的移动时，存在朝向可变化的风险。如图6Q中所示，从初始图像部分728和随后图像部分730的比较结果可以看出，后者图像部分与初始图像部分728不邻接；并且通过两个图像部分的比较结果可进行视觉检测，在图像的顶部存在更大的开放空间维度，指示图像已倾斜远离初始平面，其中相机的顶部移动远离主题，从而使图片向下移动到取景器内。因此，显示了垂直倾斜指示器738，在该实例中其包括由水平连接器736连接的一对基本上垂直延伸的指导横杆732、734。由于所述的相机倾斜，横杆的顶部以与正移动靠近用户的相机设备的上部保持一致的表现形式会聚。在一些实施例中，横杆将实时更新，并且当相机倾斜朝原始位置反转时，相对的横杆将朝彼此更平行的关系移动。可响应于陀螺仪或相机设备中的其他倾斜传感器来生成这种类型的倾斜参考。
[0068]图6R-6T示出了 UI的配置，所述配置至少部分地表示上面参考图6B所讨论展示的另选形式。由于这些图中的Π元素中的一些与图6B中的元素类似，因此除了放置之外已对相同的元素进行类似地编号，但具有撇号标识符(即，614’、616’等)。从图6B与图6R的比较结果可以看出，图6B的前一个图像捕获部分614和当前图像捕获部分616已分别从显示器的顶部移至用户指导面板，在这种情况下由周围边界738限定。用户指导面板叠加在临时图像602的中心部分上方。另外，扫描速度指示器618’还通过结合当前扫描线位置指示器740而用作垂直位置指示器的一部分。在任何全景捕获过程开始时，原始扫描线位置指示器740都将与穿过扫描速度指示器618’的箭头形状的中心的纵向轴对准。在便携式设备的垂直位置从原始位置改变的范围内，则原始扫描线指示器将示为相对于扫描速度指示器618’的恒定位置偏移。如上面相对于图6B所讨论，便携式设备的垂直位置可包括相对于参考的垂直距离和相对于水平或垂直面的垂直朝向(即，倾斜)中的一者或两者。因此，例如，在被配置为确定包括倾斜的垂直位置的便携式设备的实施例的实例中，如果在使用期间便携式设备的顶部向后(远离原始朝向)倾斜，则原始扫描线位置指示器740将移动到扫描速度指示器618’的中心纵向轴上方的位置，从而向用户指示倾斜需要被反转，使得原始扫描线位置指示器740将再次与扫描线指示器618’的中心纵向轴对准。作为另选形式，实施例可被配置为使得代替扫描速度指示器618’保持在Π中的固定位置并且原始扫描线位置指示器740响应于便携式设备的垂直位置中的改变而使位置变化，原始扫描线位置指示器740可保持在UI中的固定位置并且扫描速度指示器618’响应于便携式设备的垂直位置中的变化向上或向下移动。
[0069]图6S示出了图6T的Π上的变化，其中临时图像为可见的，但可见度减小，诸如通过在明显较低视亮度下显示(或“变灰”)，如通过交叉阴影线所指示，以便协助用户聚焦于边界738内的用户指导面板。另外，Π包括指示器区域742，此处为屏幕上显示的对比色“光”，以指示正在进行全景图像捕获。作为指示器区域742的另选形式，当全景图像捕获在进行中时，可使边界738的外观改变外观，诸如通过改变颜色。
[0070]图6T示出了图6R和6S的Π上的变化，其中UI中提供了用于开始和停止全景图像捕获过程的控件。在该实例中，触摸屏上的区域形成虚拟按钮以接收输入来开始和停止过程，如分别在744和748处所指示。由于Π反映全景图像捕获过程在进行中，因此“开始”按钮变灰(或可完全从屏幕中去除)，如通过点线表现形式所指示。作为另选形式，在一些实施例中，将仅提供单一虚拟按钮，并且其可被配置为显示第一图例以提示并接收用户输入来开始全景图像捕获；并且一旦开始，就显示另一图例以提示并接收用户输入来停止全景图像捕获。如本文所讨论的其他Π —样，声音可与控件相关联以开始和停止全景图像捕获。例如，可呈现与接收用户输入相关联的不同“哔声”声音来开始和停止全景图像捕获。仅作为一个实例，可呈现不同的哔声模式，诸如当开始图像捕获时发出一声哔声以及当图像捕获结束时发出两声哔声。
[0071]图6U示出了用于通过使用屏幕上的虚拟按钮选择一个或多个图像捕获模式而启动全景捕获模式的UI，在所示实例中为通过虚拟按钮750选择全景捕获模式或通过虚拟按钮752选择高动态范围图像捕获。例如，一旦用户选择了全景捕获模式，就可呈现特定于全景捕获过程的UI，例如诸如在图6A-6T的任何一者中所示的那些Π中的任一者。
[0072]在本文中设想了用于呈现优选扫描速度的这些和其他变型形式；并且对于许多实施例而言，一旦已向用户提供了指导，系统就将继续监测系统状态并且将向用户提供持续反馈。例如，再次参见图4，一旦临时图像、扫描线指示器和/或扫描速度指示器显示于便携式设备200上，如果全景图像捕获仍在进行中(框422并且无分支424)，则框404-420就实时重复。框404-420的下一个迭代包括用户对所显示信息响应的反馈环路，诸如使便携式设备200向上或向下移动以与原始扫描线对准或使便携式设备200更快或更慢平移。
[0073]另一方面，如果已到达扫描路径的末端(框422并且存在“是”分支426)，则给定全景图像的图像数据捕获完成。扫描路径的末端可为隐式或显式的。例如，如果便携式设备200的全景操作模式具有180度的最大扫描路径范围，则一旦检测到180度的扫描范围，便携式设备200就可自动终止图像捕获。作为另一个实例，如上所述，用户可致动设置在便携式设备200上的停止全景图像捕获按钮或图标，诸如设置在Π内或Π屏幕的菜单栏(例如，6B的屏幕610的底部部分)内的按钮或图标(即，虚拟按钮)。
[0074]应当理解，扫描线指示器和扫描速度指示器可一起或单独设置有临时图像。在一个实施例中，临时图像和扫描线指示器可一起显示于便携式设备200上(框410和416)，诸如图6A中所示。在另一个实施例中，临时图像和扫描速度指示器可一起显示于便携式设备200上(框410和420)，诸如图6B-6Q中所示。在另一个实施例中，临时图像、扫描线指示器和扫描速度指示器可全部一起显示于便携式设备200上(框410、416和420)，如图6R-6T中所示。还可设想的是，在框404-420的给定迭代期间，框404-420中的一者或多者可比框404-420中的其他者出现地更加频繁。
[0075]这样，便携式设备200被配置为在使用便携式设备200扫描感兴趣的对象/场景以捕获此类感兴趣的对象/场景的全景照片期间提供实时的垂直和/或水平方向扫描指导指示器。垂直方向扫描指导指示器包括原始扫描线、当前扫描线和指示器的至少非文本图像，以便于用户水平重新定位便携式设备200 (例如，使设备从当前位置向上或向下移动)以将当前扫描线与原始扫描线对准。水平方向扫描指导指示器包括至少一个根据所计算扫描速度(也称为估算扫描速度、随后的扫描速度或安全扫描速度)的扫描速度指示器，在该速度下扫描速度尽可能地快并且将不超过便携式设备200的随后的图像处理能力。在扫描期间可提供另外的信息，诸如但不限于对应于正被捕获的当前图像的初步图像或指示朝完成全景图像捕获进度量的图像。
[0076]图7示出了图1A-1E的便携式设备中的任一者(各自在“便携式设备”200的范围内，并且各自还为“相机设备”，如本文所述)的示例性架构的框图表现形式。便携式设备200的许多配置将包括一个或多个处理器，该处理器将按照一个或多个指令集操作，以用于使机器执行本文所讨论的方法中的任一者或多者，以及另外的功能。
[0077]示例性便携式设备200 (也称为“移动设备” 200)包括处理器802 (例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器804和静态存储器806，其经由总线808彼此通信。示例性便携式设备200还包括视频显示单元810 (例如,液晶显示器(IXD)、有机发光二极管(OLED)显示器、红外触摸屏、或阴极射线管(CRT))。在一些实施例中，视频显示单元810将包括触摸传感器面板102 (图1A-1E)。便携式设备200还包括一个或多个输入单元230 (例如，相机、图像捕获单元、机器可读信息读取器等)和一个或多个传感器832(例如，角速度传感器，诸如陀螺仪、加速度计、全球定位系统(GPS)单元，和/或其他设备状态或运动传感器)；并且可包括相关单元，诸如相机的闪光光源。在许多实施例中，便携式设备200还将包括数字字母混合输入设备812 (例如，键盘，其可为机械的或虚拟的)、光标控制设备814(例如，鼠标、跟踪垫、跟踪球等)、磁盘驱动器单元816、信号生成设备828 (例如，扬声器)、和网络接口设备820 (例如，收发器、WiFi收发器、蜂窝收发器等)。
[0078]在一些实施例中，控制器组件104包括处理器802。在其他实施例中，控制器组件104包括处理器802、一个或多个输入单元830以及一个或多个传感器832。在其他实施例中，控制器组件104包括处理器802、一个或多个输入单元830、一个或多个传感器832、主存储器804、静态存储器806以及图8中所述的一个或多个其他部件。
[0079]磁盘驱动器单元816包括机器可读介质818，在其上存储有一个或多个可执行指令824 (例如，应用程序)集，所述指令体现本文所述的方法或功能的任一者或多者。代替磁盘驱动器单元，可利用固态存储设备，诸如包括闪存存储器(或另一种形式的大体非易失性存储装置)的那些。可执行指令824也可在便携式设备200对其执行期间完全或至少部分地驻留在主存储器804内和/或处理器802内；主存储器804和处理器802也构成机器可读介质。或者，该指令仅可暂时存储在便携式设备200内的机器可读介质上，并且直至这个时间可进行外部存储，并且经由网络接口设备820通过网络826接收。
[0080]虽然机器可读介质818在示例性实施例中示为单一介质，但如本文所用的术语“机器可读介质”应当被认为包括所有形式的存储介质，作为所有形式中的单一介质或多个介质的任一者；例如，集中式或分布式数据库和/或相关联的高速缓存和服务器；一个或多个存储设备，诸如存储驱动器(包括例如磁性和光学驱动器以及存储机构)，以及存储器设备或模块(无论主存储器、处理器内部或外部的高速缓存存储器还是缓冲器)的一个或多个实例。术语“机器可读介质”或“计算机可读介质”应被认为包括任何有形非暂时性介质，该介质能够存储或编码用于由机器执行的指令序列并且使得机器执行方法中的任一者。术语“非暂时性介质”明确包括所有形式的存储驱动器(光学、磁性等)和所有形式的存储器设备(例如，DRAM、(具有所有存储器设计)的闪存、SRAM、MRAM、相位变化等)以及被设计来存储任何类型信息以供以后检索的所有其他结构。
[0081]应当理解，为清晰起见，以上描述参考不同的功能单元或处理器对一些实施例进行描述。然而，显而易见的是，在不偏离本发明的前提下，可使用不同功能单元、处理器或域之间的功能性的任何合适分布。例如，示为要由独立处理器或控制器执行的功能可由相同处理器或控制器执行。因此，对具体功能单元的参考将仅被视为对用于提供所描述的功能的合适方法的参考，而非指示严格的逻辑或物理结构或组织。
[0082]通过以上描述显而易见的是，某些系统或过程在本文描述为在一个或多个“模块”中或通过使用一个或多个“模块”来实施。如本文所用的“模块”为装置，该装置被配置为通过软件、固件、硬件或其任何组合来执行所识别的功能。当模块的功能通过软件或固件在任何部分执行时，该模块包括至少一个机器可读介质(如本文之前所描述)，该介质具有指令，所述指令当由一个或多个处理器执行时执行在软件或固件中实施的相关联功能。在该描述参考由“电路”执行的某项功能时，应当清楚地理解，作为另外一种选择可通过软件或固件至少部分地实施任何此类功能。至少部分地在程序指令中实施的独立“模块”可通过机器可读介质中的一个或多个实例来实施；因此对此类“模块”的参考不会针对所识别的模块提出任何独立硬件或指令的任何分离。
[0083]考虑到其中模块被临时配置(例如，编程)的实施例，无需在任何一个时刻配置或实例化模块或部件中的每一者。例如，在模块包括用于由通用处理器实施的程序指令的情况下，此类处理器可在不同时刻被配置为相应的不同模块。软件可相应地将处理器配置为在一个时刻构成特定模块以及在不同时刻构成不同模块；或可同时实施所有模块。
[0084]在不脱离本发明精神和范围的前提下，可在本文所述和所示的技术和结构中进行许多另外的修改和变型。因此，应当清楚理解，本发明仅由权利要求及其等同形式的范围限定。
【权利要求】
1.一种使用具有显示器和图像捕获单元的便携式设备来促进获取全景图像的方法，所述方法包括: 在所述显示器上显示用于所述图像捕获单元的用户界面； 检测与捕获所述全景图像的第一图像部分相关联的第一设备状态； 检测与捕获所述全景图像的第二图像部分相关联的第二设备状态，其中所述第二图像部分在所述第一图像部分之后捕获，其中所述第二设备状态包括以下的至少一者: 所述便携式设备的垂直位置， 所述便携式设备的水平位置，和 所述便携式设备的角朝向；以及 响应于所检测到的第一设备状态和第二设备状态，在所述便携式设备处提供扫描指导指示器以改变所述第二设备状态。
2.根据权利要求1所述的方法，其中所述第一设备状态包括在扫描路径开始处所述便携式设备的原始垂直位置；并且其中所述第二设备状态包括邻近捕获所述第二图像部分之前所述便携式设备的垂直位置。
3.根据权利要求2所述的方法，其中所述扫描指导指示器包括: 当前扫描线指示器，其对应于所述便携式设备的当前垂直位置； 原始扫描线指示器，其对应于所述便携式设备的原始垂直位置，其中两个所述扫描线指示器之间的距离示出两个所述位置之间的垂直位移；以及 扫描线对准指示器，其方向为将所述便携式设备的当前垂直位置移动至接近所述便携式设备的原始垂直位置。
4.根据权利要求1所述的方法，其中所述扫描指导指示器包括非文本视觉元素、听觉指示器和触觉指示器中的一者。
5.根据权利要求1所述的方法，其中所述便携式设备显示器用作所述图像捕获单元的取景器；并且其中所述取景器在捕获之前显示所述第二图像部分的初步图像，并且所述扫描指导指示器覆盖在所述初步图像上。
6.根据权利要求1所述的方法，还包括: 确定所述便携式设备的扫描速度在优选速度范围之外；以及 在所述显示器上显示非文本视觉引导，以引导用户在所述优选扫描速度范围内移动所述便携式设备。
7.根据权利要求6所述的方法，其中所述非文本视觉引导包括至少一个动画视觉元素。
8.一种便携式设备，包括: 显示器； 至少一个存储设备； 设备运动传感器和朝向传感器中的至少一个传感器； 图像捕获单元；以及 至少一个处理器，所述至少一个处理器与所述显示器、所述存储器、所述传感器以及所述图像捕获单元可操作地通信； 其中所述存储设备包括指令，所述指令当由所述至少一个处理器执行时执行包括以下的操作: 在所述显示器上提供用于所述图像捕获单元的用户界面； 检测与捕获全景图像的第一图像部分相关联的第一设备状态； 检测与捕获所述全景图像的第二图像部分相关联的第二设备状态，其中所述第二图像部分在所述第一图像部分之后捕获，其中所述第二设备状态包括以下的至少一者: 所述便携式设备的垂直位置， 所述便携式设备的水平位置，和 所述便携式设备的角朝向；以及 响应于所检测到的第一设备状态和第二设备状态，在所述便携式设备处提供扫描指导指示器以改变所述第二设备状态。
9.根据权利要求8所述的便携式设备，其中所述传感器包括角速度传感器、陀螺仪和加速度计中的至少一者。
10.根据权利要求8所述的便携式设备，其中所述便携式设备表示移动电话、智能电话、平板电脑、多媒体回放设备、个人计算机、膝上型电脑和相机中的一者。
11.根据权利要求8所述的便携式设备，其中所述扫描指导指示器包括非文本视觉元素、听觉指示器和触觉指示器中的至少一者。
12.根据权利要求8所述的便携式设备，其中所述第一设备状态包括在扫描路径开始处所述便携式设备的原始垂直位置，并且其中所述第二设备状态包括邻近捕获所述第二图像部分之前所述便携式设备的垂直位置。
13.根据权利要求11所述的便携式设备，其中所述扫描指导指示器包括: 当前扫描线指示器，其对应于所述便携式设备的垂直位置； 原始扫描线指示器，其对应于所述原始垂直位置，其中两个所述扫描线指示器之间的距离示出两个所述位置之间的垂直位移；以及 扫描线对准指示器，其方向为将所述便携式设备的当前垂直位置移动至接近所述便携式设备的原始垂直位置。
14.根据权利要求1所述的方法，还包括: 确定所述便携式设备的扫描速度在优选速度范围之外；以及 在所述显示器上显示非文本视觉引导，以引导用户在所述优选扫描速度范围内移动所述便携式设备。
15.根据权利要求14所述的方法，其中所述非文本视觉引导包括至少一个动画视觉元素。
16.一种包括指令的非暂态机器可读介质，所述指令当由处理器执行时使便携式设备的处理器执行包括以下的操作: 在所述便携式设备的显示器上显示用户界面，所述用户界面用于所述便携式设备的图像捕获单元； 确定与获取全景图像的第一图像部分相关联的第一设备状态的传感器指示； 检测与捕获所述全景图像的第二图像部分相关联的第二设备状态的传感器指示，其中所述第二图像部分在所述第一图像部分之后捕获，其中所述第二设备状态包括以下中的至少一者: 所述便携式设备的垂直位置， 所述便携式设备的水平位置，和 所述便携式设备的角朝向；以及 响应于所检测到的第一设备状态和第二设备状态，在所述便携式设备处提供扫描指导指示器以改变所述第二设备状态。
17.根据权利要求16所述的计算机可读介质，其中所述扫描指导指示器包括非文本视觉元素、听觉指示器和触觉指示器中的至少一者。
18.根据权利要求16所述的计算机可读介质，其中确定所述第一设备状态包括确定在扫描路径开始处所述便携式设备的原始垂直位置，并且其中确定所述第二设备状态包括确定邻近捕获所述第二图像部分之前所述便携式设备的垂直位置。
19.根据权利要求16所述的计算机可读介质，其中所述扫描指导指示器包括: 当前扫描线指示器，其对应于所述便携式设备的垂直位置； 原始扫描线指示器，其对应于所述原始垂直位置，其中两个所述扫描线指示器之间的距离示出两个所述位置之间的垂直位移；以及 扫描线对准指示器，其方向为将所述便携式设备的当前垂直位置移动至接近所述便携式设备的原始垂直位置。
20.一种使用具有显示器和图像捕获单元的便携式设备来促进获取全景图像的方法，所述方法包括: 在所述显示器上显示用于所述图像捕获单元的用户界面； 检测与捕获所述全景图像的图像部分相关联的扫描速度； 确定所述便携式设备的随后的图像处理能力； 响应于所述设备的所确定的随后的图像处理能力，确定所检测的扫描速度在用于捕获全景图像的图像部分的一个或多个优选扫描速度之外；以及 在所述显示器上，显示扫描指导指示器以朝一个或多个所述优选扫描速度改变所述扫描速度。
21.根据权利要求20所述的方法，其中所述扫描指导指示器包括交互式元素。
22.根据权利要求20所述的方法，其中所述扫描指导指示器包括所确定的扫描速度与一个或多个所述优选扫描速度之间的速度差的指示器。
23.根据权利要求20所述的方法，其中所述扫描指导指示器包括速度校正指示器。
24.根据权利要求20所述的方法，其中所述扫描指导指示器指示所确定的扫描速度。
25.一种便携式设备，包括: 显示器； 至少一个存储设备； 设备运动传感器和朝向传感器中的至少一个传感器； 图像捕获单元；以及 至少一个处理器，所述至少一个处理器与所述显示器、所述存储器、所述传感器以及所述图像捕获单元可操作地通信； 其中所述存储设备包括指令，所述指令当由所述至少一个处理器执行时执行包括以下的操作: 在所述显示器上显示用于所述图像捕获单元的用户界面； 检测与捕获全景图像的图像部分相关联的扫描速度； 确定所述便携式设备的随后的图像处理能力； 响应于所述设备的所确定的随后的图像处理能力，确定所检测的扫描速度在用于捕获全景图像的图像部分的一个或多个优选扫描速度之外；以及 在所述显示器上，显示扫描指导指示器以朝一个或多个所述优选扫描速度改变所述扫描速度。
26.根据权利要求25所述的便携式设备，其中所述扫描指导指示器包括交互式元素。
27.根据权利要求25所述的便携式设备，其中所述扫描指导指示器包括所确定的扫描速度与一个或多个所述优选扫描速度之间的速度差的指示器。
28.根据权利要求25所述的便携式设备，其中所述扫描指导指示器包括速度校正指示器。
29.根据权利要求25所述的便携式设备，其中所述扫描指导指示器指示所确定的扫描速度。
【文档编号】G03B37/04GK104364712SQ201380030007
【公开日】2015年2月18日 申请日期:2013年6月5日 优先权日:2012年6月8日
【发明者】C·G·卡鲁纳姆尼, G·N·克里斯提, S·J·福斯特尔, R·R·戴尔尹尔 申请人:苹果公司