环绕视图中的对象及层的分析及操控的制作方法

环绕视图中的对象及层的分析及操控的制作方法
【专利摘要】本发明的各个实施例大体上涉及用于分析及操控图像及视频的系统及方法。根据特定实施例，连同位置信息数据一起分析多个图像与视频之间的空间关系以用于产生在本文称为呈现在装置上的环绕视图的表示的目的。包含在所述环绕视图中的对象可通过沿轴操控所述装置而沿对应轴操控。在特定实施例中，环绕视图可被分离为层。效果可施加于此类层中的一或多者以增强所述环绕视图的交互式及沉浸式观看体验。
【专利说明】环绕视图中的对象及层的分析及操控
[0001 ] 相关申请案的交叉参考
[0002]本申请案根据35U.S.C.§119主张Holzer等人在2013年11月12日申请的标题是“用于提供环绕视图的系统及方法(Systems and Methods For Providing Surround Views)”的第61/903,359号临时美国专利申请案(代理人案号FYSNP001P)的优先权，所述申请案是以引用方式且针对所有目的而全部引入本文中。
技术领域
[0003]本发明涉及环绕视图中的层，本发明包含提供多视图交互式数字媒体表示。
【背景技术】
[0004]由于现代计算平台及技术逐渐转移到包含相机传感器作为原生获取输入流的移动及穿戴式装置，以不同于更传统的二维(2D)平面图像及视频的形式数字地记录并保留瞬间的愿望变得更加明显。传统的数字媒体格式通常将其观看者限于被动体验。例如，2D平面图像可从一个角度观看且被限于放大及缩小。因此，例如2D平面图像的传统数字媒体格式无法轻易使其自身以高保真度重现记忆及事件。
[0005]当前预测(参考:KPCB“互联网趋势2012(Internet Trends 2012)介绍”)指示在线数字地捕捉的视觉数据的数量将每隔几年加倍一次。随着视觉数据的此数量增加，对远比当前可用的机制复杂的搜索及索引机制的需要也随之增加。不幸的是，仍未设计出针对此类目的2D图像或2D视频。因此，希望允许用户观看并加索引于视觉数据以及查询并快速接收来视觉数据的有意义的结果的改善机制。

【发明内容】

[0006]本发明的各个实施例大体上涉及用于分析及操控图像及视频的系统及方法。根据特定实施例，分析多个图像与视频之间的空间关系连同位置信息数据以用于产生在本文称为呈现在装置上的环绕视图的表示的目的。包含在所述环绕视图中的对象可通过沿轴操控所述装置而沿对应轴操控。在特定实施例中，环绕视图可被分离为层。效果可施加于此类层中的一或多者以增强所述环绕视图的交互式及沉浸式观看体验。
【附图说明】
[0007]通过参考结合附图进行的以下描述可最佳地了解本发明，所述【附图说明】本发明的特定实施例。
[0008]图1说明环绕视图获取系统的实例。
[0009]图2说明用于产生环绕视图的过程流程的实例。
[0010]图3说明可被融合到三维(3D)模型中以产生沉浸式体验的多个相机视图的一个实例。
[0011 ]图4A说明环绕视图中的内容及背景的分离的一个实例。
[0012]图4B说明环绕视图中的分层的一个实例。
[0013]图4C说明用于修改环绕视图中的层的过程的一个实例。
[0014]图5A到5B分别说明凹视图及凸视图的实例，其中所述两个视图均使用后置相机捕捉风格。
[0015]图6A到6E说明用于环绕视图的各种捕捉模式的实例。
[0016]图7A说明用于记录可用于产生环绕视图的数据的过程的一个实例。
[0017]图7B说明动态全景捕捉过程的一个实例。
[0018]图7C说明其中通过旋转轴旋转捕捉装置的动态全景捕捉过程的一个实例。
[0019]图7D说明具有动态内容的动态全景的一个实例。
[0020]图7E说明捕捉具有3D效果的动态全景的一个实例。
[0021]图7F说明具有视差效果的动态全景的一个实例。
[0022 ]图7G说明对象全景捕捉过程的一个实例。
[0023]图7H说明对象全景投影在其上的背景全景的一个实例。
[0024]图71说明构成对象全景的多个对象的一个实例。
[0025]图7J说明基于用户浏览改变对象全景的视角的一个实例。
[0026]图7K说明自拍全景捕捉过程的一个实例。
[0027]图7L说明自拍全景投影在其上的背景全景的一个实例。
[0028]图7M说明基于用户浏览的全景的扩展视图的一个实例。
[0029]图8说明其中三维内容与二维全景背景混合的环绕视图的实例。
[0030]图9说明同时由独立观看者记录的空间-时间环绕视图的一个实例。
[0031]图10说明复杂环绕视图到较小、线性部分的分离的一个实例。
[0032]图11说明多个环绕视图到多环绕视图的组合的一个实例。
[0033]图12说明用于提示用户需要感兴趣对象的额外视图以提供更精确环绕视图的过程的一个实例。
[0034]图13A到13B说明用于提示用户搜索对象的额外视图的实例。
[0035]图14说明用于浏览环绕视图的过程的一个实例。
[0036]图15说明环绕视图的基于滑动的浏览的实例。
[0037]图16A说明用于如移动装置及浏览器上所示的环绕视图的共享服务的实例。
[0038]图16B说明移动装置上的环绕视图相关通知的实例。
[0039]图17A说明用于提供对象分段的过程的一个实例。
[0040]图17B说明从不同角度观看的分段对象的一个实例。
[0041]图18说明可用于环绕视图产生的各种数据源及可与环绕视图一起使用的各种应用程序的一个实例。
[0042]图19说明用于提供对象的视觉搜索的过程的一个实例，其中搜索查询包含对象的环绕视图且所搜索的数据包含三维模型。
[0043]图20说明用于提供对象的视觉搜索的过程的一个实例，其中搜索查询包含对象的环绕视图且所搜索的数据包含二维模型。
[0044]图21说明视觉搜索过程的实例。
[0045]图22说明用于提供对象的视觉搜索的过程的实例，其中搜索查询包含对象的三维视图且所搜索的数据包含环绕视图。
[0046]图23说明可与本发明的各个实施例一起使用的计算机系统的特定实例。
【具体实施方式】
[0047]现在将详细地参考本发明的一些特定实例，其包含
【发明人】预期用于实行本发明的最佳模式。附图中说明此类特定实施例的实例。虽然结合此类特定实施例描述本发明，但是应了解，其不旨在将本发明限于所描述的实施例。相反地，其旨在涵盖如可包含在如由随附权利要求书界定的本发明的精神及范围内的替代、修改及等效物。
[0048]在以下描述中，陈述数种特定细节以提供对本发明的透彻理解。本发明的特定实施例可在无此类特定细节中的一些或所有的情况下实施。在其它实例中，并未详细描述众所周知的过程操作以免不必要地混淆本发明。
[0049]本发明的各个方面大体上涉及用于分析多个图像与视频之间的空间关系连同位置信息数据的系统及方法以用于产生单个表示(环绕视图)的目的，所述环绕视图消除了数据中的冗余度且给用户呈现交互式及沉浸式主动观看体验。根据各个实施例，主动是在给用户提供控制显示在屏幕上的视觉信息的视角的能力的背景下描述。在特定实例实施例中，环绕视图数据结构(及相关算法)原本是针对(但不限于)涉及视觉搜索的应用而建立。
[0050]根据本发明的各个实施例，环绕视图是多视图交互式数字媒体表示。参考图1，示出了环绕视图获取系统100的一个实例。在本实例实施例中，环绕视图获取系统100是以可用来产生环绕视图的流程序列描绘。根据各个实施例，用来产生环绕视图的数据可源自于各种来源。特定地说，例如(但不限于)二维(2D)图像104的数据可用来产生环绕视图。此类2D图像取决于应用可包含彩色图像数据流(例如，多个图像序列、视频数据等)或各种图像格式中的任一者的多个图像。可用来产生环绕视图的另一数据源包含位置信息106。此位置信息106可获自例如加速度计、陀螺仪、磁力计、GPS、WiF1、类頂U系统(惯性测量单元系统)等的来源。可用来产生环绕视图的又另一数据源可包含深度图像108。此类深度图像可包含深度、3D或视差图像数据流等，且可由例如(但不限于)立体相机、飞行时间相机、三维相机等的装置捕捉。
[0051]在本实例实施例中，数据接着可一起融合在传感器融合块110处。在一些实施例中，环绕视图可由包含2D图像104及位置信息106两者的数据组合而产生，但无所提供的任何深度图像108。在其它实施例中，深度图像108及位置信息106可一起在传感器融合块110处使用。取决于应用及可用数据，图像数据的各个组合可与106处的位置信息一起使用。
[0052]在本实例实施例中，已一起融合在传感器融合块110处的数据接着用于内容建模112及背景建模114。如关于图4更详细地描述，图像中特征化的主题可被分离为内容及背景。内容可被描绘为感兴趣对象且背景可被描绘为环绕感兴趣对象的场景。根据各个实施例，内容可为描绘感兴趣对象的三维模型，但是内容在一些实施例中可为二维图像，如下文关于图4更详细地描述。此外，在一些实施例中，背景可为描绘环绕感兴趣对象的场景的二维模型。虽然在许多实例中背景可提供环绕感兴趣对象的场景的二维视图，但是背景在一些实施例中也可包含三维方面。例如，背景可被描绘为沿圆柱形“画布”的“平面”图像，使得“平面”图像出现在圆柱体的表面上。此外，例如当一些对象在环绕场景中被识别为三维对象时，一些实例可包含三维背景模型。根据各个实施例，由内容建模112及背景建模114提供的模型可通过组合图像及位置信息数据而产生，如关于图3更详细地描述。
[0053]根据各个实施例，基于指定的感兴趣对象确定环绕视图的背景及内容。在一些实例中，基于图像及位置信息数据的处理而自动地选取感兴趣对象。例如，如果在一系列图像中检测到主导对象，那么此对象被选择作为内容。在其它实例中，如图1中所示，可选取用户指定目标102。然而，应注意，在一些应用中可在无用户指定目标的情况下产生环绕视图。
[0054]在本实例实施例中，可在增强算法块116处施加一或多种增强算法。在特定实例实施例中，无关于所采用的捕捉模式的类型，在环绕视图数据的捕捉期间可采用各种算法。此类算法可用来增强用户体验。例如，在环绕视图数据的捕捉期间可使用自动帧选择、稳定化、视图插值、滤波器及/或压缩。在一些实例中，此类增强算法可在获取图像数据之后施加于所述数据。在其它实例中，此类增强算法可在捕捉环绕视图数据期间施加于图像数据。
[0055]根据特定实例实施例，可使用自动帧选择来产生更舒服的环绕视图。具体地说，自动地选择帧使得帧之间的过渡将更较为顺利或甚至更顺利。此自动帧选择在一些应用中可结合模糊及过度曝光检测以及更均匀取样姿态使得帧更均匀分布。
[0056]在一些实例实施例中，稳定化可以类似于针对视频使用的方式对环绕视图使用稳定化。特定地说，环绕视图中的关键帧可经稳定化以产生例如更顺利过渡的改善、对内容等产生改善/增强的关注。然而，不同于视频，对于环绕视图存在例如通过使用IMU信息、深度信息、计算机视觉技术、待稳定区域的直接选择、面部检测等进行的稳定化的许多额外来源。
[0057]例如，頂U信息可对稳定化极有帮助。特定地说，頂U信息提供可发生在图像捕捉期间的相机颤动的估计，但是有时候提供大概或嘈杂估计。此估计可用来去除、取消及/或降低此相机颤动的影响。
[0058]在一些实例中，深度信息(如果可用的话)可用来提供对环绕视图的稳定化。因为环绕视图中的感兴趣点是三维的而非二维的，所以此类感兴趣点更加受到约束，且此类点的跟踪/匹配随着搜索空间减小而简化。此外，感兴趣点的描述符可使用颜色及深度信息，且因此变得更加有所区别。此外，自动或半自动内容选择可更易于与深度信息一起提供。例如，当用户选择图像的特定像素时，此选择可经扩展以填充接触其的整个表面。此外，内容还可通过使用基于深度的前景/背景区分来自动地选择。在各个实例中，即便背景改变，内容仍然可保持相对稳定/可见。
[0059]根据各个实例，计算机视觉技术还可用来提供对环绕视图的稳定化。例如，可检测并跟踪关键点。然而，在某些场景(例如具有视差的动态场景或静态场景)中，不存在可稳定一切的简单扭曲。因此，存在平衡，其中场景的某些方面接收对稳定化的更多关注且场景的其它方面接收更少关注。因为环绕视图通常关注特定的感兴趣对象，所以可对环绕视图进行内容加权使得感兴趣对象在一些实例中最大程度地稳定化。
[0060]改善环绕视图中的稳定化的另一方式包含屏幕区域的直接选择。例如，如果用户点击以关注屏幕区域，接着记录凸环绕视图，那么所点击的区域可最大程度地稳定化。此允许稳定化算法关注特定的感兴趣区域或对象。
[0061]在一些实例中，可使用面部检测来提供稳定化。例如，当利用前置相机进行记录时，通常可能的是，用户是场景中的感兴趣对象。因此，可使用面部检测以对关于所述区域的稳定化加权。当面部检测足够精确时，面部特征本身(例如眼睛、鼻子、嘴巴)可用作区域来稳定化，而非使用通用关键点。
[0062]根据各个实例，可使用视图插值来改善观看体验。特定地说，为了避免稳定帧之间的突然“跳跃”，可即时地呈现合成的中间视图。此可通过经内容加权的关键点跟踪及如上所述的頂U信息以及通过致密的像素对像素匹配而告知。如果深度信息是可用的，那么可发生起因于失配像素的更少假影，由此简化过程。如上所述，在一些实施例中，可在环绕视图的捕捉期间施加视图插值。在其它实施例中，可在环绕视图产生期间施加视图插值。
[0063]在一些实例中，在环绕视图的捕捉或产生期间还可使用滤波器以增强观看体验。正当许多流行的相片共享服务提供可施加于静态、二维图像的美学滤波器，美学滤波器可类似地施加于环绕图像。然而，因为环绕视图表示比二维图像更明确且三维信息在环绕视图中是可用的，所以此类滤波器可经扩展以包含二维相片中未定义的效果。例如，在环绕视图中，可给背景(B卩，背景(context))添加运动模糊，而内容保持清晰。在另一实例中，可将投射阴影(drop shadow)添加到环绕视图中的感兴趣对象。
[0064]在各个实例中，压缩也可用作增强算法116。特定地说，压缩可用来通过降低数据上传及下载成本增强用户体验。因为环绕视图使用空间信息，所以对于环绕视图可发送的数据远少于典型的视频，并同时维持环绕视图的所需质量。具体地说，MU、关键点跟踪及用户输入结合上述视图插值均可减少在环绕视图的上传或下载期间必须被传送到装置及从装置传送的数据量。例如，如果感兴趣对象可经适当识别，那么可对内容及背景选取可变压缩风格。在一些实例中，此可变压缩风格可包含背景信息(即，背景)的较低质量分辨率及前景信息(即，内容)的较高质量分辨率。在此类实例中，所发射的数据量可通过牺牲某些背景质量并同时维持内容的所需质量级而减少。
[0065]在当前实施例中，在施加任何增强算法之后产生环绕视图118。环绕视图可提供多视图交互式数字媒体表示。在各个实例中，环绕视图可包含内容的三维模型及背景的三维模型。然而，在一些实例中，背景可表示如沿表面(例如圆柱形或其它形状的表面)投影的场景或背景的“平面”视图，使得背景并非纯二维背景。在又其它实例中，背景可包含三维方面。
[0066]根据各个实施例，环绕视图提供优于传统二维图像或视频的数个优点。一些此类优点包含:应付移动场景、移动获取装置或其两者的能力;将三维中的场景的部分建模的能力;去除不必要的、冗余信息并减小输出数据集的存储器占用面积的能力；区分内容与背景的能力；使用内容与背景之间的相异以改善用户体验的能力;使用内容与背景之间的相异以改善存储器占用面积的能力(实例将是内容的高质量压缩及背景的低质量压缩)；使特殊的特征描述符与环绕视图关联的能力，所述特征描述符允许环绕视图在高等级的效率及精确度的情况下加索引；及用户交互并改变环绕视图的视角的能力。在特定实例实施例中，上述特性可原本地结合在环绕视图表示中，且提供在各种应用中使用的能力。例如，环绕视图可用来增强各种领域，例如电子商务、视觉搜索、3D打印、文件共享、用户交互及娱乐。
[0067]根据各个实例实施例，一旦产生环绕视图118，可提供对额外图像数据的获取用户反馈120。特定地说，如果环绕视图被确定为需要额外视图来提供内容或背景的更精确模型，那么用户可被提示提供额外视图。一旦此类额外视图被环绕视图获取系统100接收，此类额外视图可由系统100处理并被结合到环绕视图中。
[0068]参考图2，示出了用于产生环绕视图200的过程流程图的实例。在本实例中，在202处获得多个图像。根据各个实施例，多个图像可包含二维(2D)图像或数据流。此类2D图像可包含可用来产生环绕视图的位置信息。在一些实施例中，多个图像可包含也如上文关于图1所述的深度图像108。在各个实例中，深度图像还可包含位置信息。
[0069]根据各个实施例，202处获得的多个图像可包含各种来源及特性。例如，多个图像可获自多个用户。此类图像可为收集自互联网的来自相同事件的不同用户的图像集合，例如音乐会上获得的2D图像或视频等。在一些实例中，多个图像可包含具有不同时间信息的图像。特定地说，可在相同的感兴趣对象的不同时间处拍摄图像。例如，可在不同时刻、不同季节等获得特定雕塑的多个图像。在其它实例中，多个图像可表示移动对象。例如，图像可包含移动通过场景的感兴趣对象，例如沿道路行进的交通工具或在空中行进的飞机。在其它实例中，图像可包含也正在移动的感兴趣对象，例如跳舞、跑步、旋转等的人。
[0070]在本实例实施例中，多个图像在204处可被融合到内容及背景模型中。根据各个实施例，图像中特征化的主题可被分离为内容及背景。内容可被描绘为感兴趣对象且背景可被描绘为环绕感兴趣对象的场景。根据各个实施例，内容可为描绘感兴趣对象的三维模型，且内容在一些实施例中可为二维图像。
[0071 ]根据本实例实施例，一或多种增强算法可在206处施加于内容及背景模型。此类算法可用来增强用户体验。例如，可使用例如自动帧选择、稳定化、视图插值、滤波器及/或压缩的增强算法。在一些实例中，此类增强算法可在图像的捕捉期间施加于图像数据。在其它实例中，此类增强算法可在获取图像数据之后施加于所述数据。
[0072]在当前实施例中，在208处从内容及背景模型产生环绕视图。环绕视图可提供多视图交互式数字媒体表示。在各个实例中，环绕视图可包含内容的三维模型及背景的三维模型。根据各个实施例，取决于捕捉的模式及图像的视角，环绕视图模型可包含某些特性。例如，不同风格的环绕视图的一些实例包含局部凹环绕视图、局部凸环绕视图及局部平面环绕视图。然而，应注意，取决于应用，环绕视图可包含视图及特性的组合。
[0073]参考图3，示出了可一起融合到三维(3D)模型中以产生沉浸式体验的多个相机视图的一个实例。根据各个实施例，可从各个视角捕捉多个图像且并将其融合在一起以提供环绕视图。在本实例实施例中，三个相机312、314及316分别位于紧邻感兴趣对象308的位置322、324及326处。场景可环绕例如对象310的感兴趣对象308。来自其相应相机312、314及316的视图302、304及306包含重叠主题。具体地说，每一视图302、304及306包含感兴趣对象308及环绕对象310的场景的不同程度的可见性。例如，视图302包含是环绕对象310的场景的部分的圆柱体前面的感兴趣对象308的视图。视图306示出了圆柱体一侧的感兴趣对象308，且视图304示出了无圆柱体的任何视图的感兴趣对象。
[0074]在本实例实施例中，各个视图302、304及316连同其分别相关联位置322、324及326提供关于感兴趣对象308及可用来产生环绕视图的周围背景的丰富信息源。例如，当一起分析时，各个视图302、304及326提供关于感兴趣对象的不同侧的信息及感兴趣对象与场景之间的关系。根据各个实施例，此信息可用来将感兴趣对象308解析为内容并将场景解析为背景。此外，又如上文关于图1及2所述，各种算法可施加于由此类视角产生的图像以在观看环绕视图时产生沉浸式、交互式体验。
[0075]图4A说明环绕视图中的内容及背景的分离的一个实例。根据本发明的各个实施例，环绕视图是场景400的多视图交互式数字媒体表示。参考图4A，示出了位于场景400中的用户402。用户402捕捉感兴趣对象(例如雕塑)的图像。由用户捕捉的图像构成可用来产生环绕视图的数字视觉数据。
[0076]根据本发明的各个实施例，包含在环绕视图中的数字视觉数据可在字义上及/或实际上分离为内容404及背景406。根据特定实施例，内容404可包含感兴趣的对象、人或场景，而背景406表示环绕内容404的场景的剩余元素。在一些实例中，环绕视图可将内容404表示为三维数据，且可将背景406表示为二维全景背景。在其它实例中，环绕视图可将内容404及背景406均表示为二维全景场景。在又其它实例中，内容404及背景406可包含三维组件或方面。在特定实施例中，环绕视图描绘内容404及背景406的方式取决于用来获取图像的捕捉模式。
[0077]在一些实例中，例如(但不限于)对象、人或对象或人的部分的记录，其中只有对象、人或其部分是可见的;大的平面区域的记录;及其中所捕捉数据出现在无穷远(即，没有对象紧靠相机)的场景的记录，内容404及背景406可相同。在此类实例中，所产生的环绕视图可具有类似于其它类型的数字媒体(例如全景)的一些特性。然而，根据各个实施例，环绕视图包含区分其与此类现有类型的数字媒体的额外特征。例如，环绕视图可表示移动数据。此外，环绕视图不限于特定圆柱形、球形或平移移动。各种运动可利用相机或其它捕捉装置用来捕捉图像数据。此外，不同于拼合全景，环绕视图可显示相同对象的不同侧。
[0078]虽然环绕视图在一些应用中可被分离为内容及背景，但是环绕视图在其它应用中也可被分离为层。参考图4B，示出了环绕视图中的分层的一个实例。在此实例中，分层环绕视图410被分离为不同层418、420及422。每一层418、420及422可包含对象(或一组对象)、人、动态场景元素、背景等。此外，此类层418、420及422中的每一者可被指派深度。
[0079]根据各个实施例，不同层418、420及422可以不同方式显示。例如，不同的滤波器(例如，灰阶滤波器、模糊等)可施加于一些层，但不施加于其它层。在其它实例中，不同层可以不同速度彼此相对移动，使得当用户滑动环绕视图时，提供更好的三维效果。类似地，当用户沿视差方向滑动时，层可不同地移位以提供更好的三维效果。此外，当显示环绕视图时可省略一或多层，使得可从环绕视图去除多余对象等。
[0080]在本实例中，示出了用户412正握持捕捉装置414。用户412沿捕捉运动416移动捕捉装置414。当所捕捉图像用来产生环绕视图时，层418、420及422基于深度而分离。此类层接着可取决于应用在环绕视图中加以不同处理或观看。
[0081]参考图4C，示出了用于产生环绕视图430中具有经修改层的环绕视图的过程的一个实例。特定地说，在432处获得具有第一层及第二层的第一环绕视图。如上文关于图4B所述，环绕视图可被划分为不同层。在本实例中，第一层包含第一深度且第二层包含第二深度。
[0082]接着，在434处选择第一层。根据各个实例，选择第一层包含选择第一深度内的数据。更具体地说，选择第一深度内的数据包含选择位于第一深度内的视觉数据。根据各个实施例，第一层可包含例如对象、人、动态场景元素、背景等的特征。在一些实例中，第一层的选择是在无用户输入的情况下自动地执行。在其它实例中，第一层的选择是使用用户指导交互而半自动地执行。
[0083]在选择第一层之后，在436处施加效果于第一环绕视图内的第一层以产生经修改第一层。在一个实例中，所施加效果可为滤波器，例如模糊滤波器、灰阶滤波器等。在另一实例中，所施加效果可包含以第一速度相对于第二层移动第一层，第二层是以第二速度移动。当第一速度不同于第二速度时，在一些实例中可改善三维效果。在一些应用中，可发生视差效果，由此产生三维效果。
[0084]接着，在438处产生包含经修改第一层及第二层的第二环绕视图。如上所述，在一些应用中，施加一或多种效果于第一层可改善环绕视图的三维效果。在此类应用中，第二环绕视图与第一环绕视图相比可改善三维效果。在不同实例中可施加其它效果，且其它效果可强调或淡化第一环绕视图的各个方面以产生第二环绕视图。此外，在一些应用中，可省略第二环绕视图中的层。具体地说，当第一环绕视图包含第三层时，第二环绕视图省略此第三层。在一个实例中，此第三层可包含在经产生第二环绕视图中将“被编辑删除”的对象或人。在另一实例中，此第三层可包含背景或背景元素，且所产生的第二环绕视图将不包含背景或背景元素。当然，取决于应用，任何对象或特征均可位于此经省略第三层中。
[0085]图5A到5B分别说明凹视图及凸视图的实例，其中两个视图均使用后置相机捕捉风格。特定地说，如果使用相机手机，那么此类视图使用手机背侧上且远离用户的相机。在特定实施例中，凹视图及凸视图可影响在环绕视图中如何指定内容及背景。
[0086]参考图5A，示出了其中用户沿垂直轴508站立的凹视图500的一个实例。在此实例中，用户握持相机，使得相机位置502在图像捕捉期间不会离开轴508。然而，随着用户绕轴508枢转，相机捕捉用户周围的场景的全景视图，从而形成凹视图。在此实施例中，感兴趣对象504及远距离场景506由于其中捕捉图像的方式而全部被类似地观看。在此实例中，凹视图中的所有对象均出现在无穷远处，因此根据此视图，内容等于背景。
[0087]参考图5B，示出了其中当捕捉感兴趣对象524的图像时用户改变位置的凸视图520的一个实例。在此实例中，用户在感兴趣对象524周围移动，从相机位置528、530和532对感兴趣对象的不同侧拍摄照片。所获得的图像中的每一者包含感兴趣对象的视图及远距离场景526的背景。在本实例中，感兴趣对象524表示内容，且远距离场景526表示此凸视图中的背景。
[0088]图6A到6E说明环绕视图的各种捕捉模式的实例。虽然各种运动可用于捕捉环绕视图且不限于任何特定类型的运动，但是三种普通类型的运动可用于捕捉结合环绕视图描述的特定特征或视图。此类三种类型的运动可分别产生局部凹环绕视图、局部凸环绕视图及局部平面环绕视图。在一些实例中，环绕视图可包含相同环绕视图内的各种类型的运动。
[0089]参考图6A，示出了所捕捉的后置凹环绕视图的实例。根据各个实施例，局部凹环绕视图是其中相机或其它步骤装置的视角发散的一个环绕视图。在一维中，此可类似于捕捉球形360全景(纯旋转)所需要的运动，但是运动可被推广到其中视图面朝外的任何弯曲滑动运动。在本实例中，体验是静止观看者远望(可能动态的)背景。
[0090]在本实例实施例中，用户602使用后置相机606捕捉朝向地球600并远离用户602的图像。如各个实例中所描述，后置相机是指具有远离用户的相机(例如，智能手机背侧的相机)的装置。相机以凹运动608移动使得视图604a、604b和604c捕捉捕捉区域609的各个部分。
[0091]参考图6B，示出了所捕捉的后置凸环绕视图的实例。根据各个实施例，局部凸环绕视图是其中视角朝小的感兴趣对象收敛的一个环绕视图。在一些实例中，局部凸环绕视图可提供绕点飞行的体验，使得观看者可看见小对象的多侧。可为“感兴趣对象”的此对象可从环绕视图分段以变为内容，且任何环绕数据可经分段以变为背景。先前技术未能辨识媒体共享景观中的此类型的视角。
[0092]在本实例实施例中，用户602使用后置相机614捕捉朝向地球600并远离用户602的图像。相机以凸运动610移动使得视图612a、612b和612 c捕捉捕捉区域611的各个部分。如上所述，地球600在一些实例中可包含感兴趣对象，且凸运动610可绕此对象飞行。视图612a、612b和612c在此类实例中可包含此对象的不同侧的视图。
[0093]参考图6C，示出了所捕捉的前置凹环绕视图的实例。如各个实例中所描述，前置相机是指具有面朝用户的相机(例如，智能手机前面的相机)的装置。例如，前置相机通常用于“自拍”(即，拍摄用户的自画像)。
[0094]在本实例实施例中，相机620面向用户602。相机遵循凹运动606使得视图618a、618b和618c在角度含义中彼此发散。捕捉区域617遵循包含圆周处的用户的凹形状。
[0095]参考图6D，示出了所捕捉的前置凸环绕视图的实例。在本实例实施例中，相机626面朝用户602。相机遵循凸运动622使得视图624a、624b及624c朝用户602收敛。捕捉区域617遵循环绕用户602的凹形状。
[0096]参考图6E，示出了所捕捉的后置平面视图的实例。在特定实例实施例中，局部平面环绕视图是其中相机的旋转与其平移相比为小的一个环绕视图。在局部平面环绕视图中，视角保持大概平行，且视差效果占主导。在此类型的环绕视图中，还可存在“感兴趣对象”，但是其位置在不同视图中并未保持固定。先前技术未能辨识媒体共享景观中的此类型的视角。
[0097]在本实例实施例中，相机632远离用户602并且朝向地球600。相机遵循大体上线性运动628使得捕捉区域629大体上遵循直线。视图630a、630b及630c具有大体上平行的视线。多个视图中观看的对象可表现为在每一视图中具有不同的或转变的背景场景。此外，对象的稍微不同侧在不同视图中是可见的。使用视差效果，关于对象的位置及特性的信息可产生于提供多于任何一个静态图像的信息的环绕视图中。
[0098]如上所述，可使用各种模式来捕捉环绕视图的图像。在单独图像的捕捉期间或在场景的连续记录期间可使用包含局部凹、局部凸及局部线性运动的此类模式。此记录可捕捉单个会话期间的一系列图像。
[0099]根据本发明的各个实施例，可从以数种方式获取的数据产生环绕视图。图7A说明用于记录可用于产生环绕视图的数据的过程的一个实例。在此实例中，通过移动相机穿过空间获取数据。特定地说，用户点击捕捉装置700上的记录按钮702以开始记录。由于捕捉装置716的移动遵循大体上向左方向，对象714以大体上向右运动移动跨过屏幕，如由对象的移动716所指示。具体地说，用户按下视图708中的记录按钮702且接着将捕捉装置在视图710中向左移动。随着捕捉装置向左移动，对象714表现为在视图710与712之间向右移动。在一些实例中，当用户完成记录时，可再次点击记录按钮702。在其它实例中，用户可点击记录按钮并在记录按钮期间握持记录按钮，且释放记录按钮以停止记录。在当前实施例中，记录捕捉可用于产生环绕视图的一系列图像。
[0100]根据各个实施例，取决于捕捉过程中使用的移动的类型，可在环绕视图中捕捉不同类型的全景。特定地说，可基于所捕捉的数据产生动态全景、对象全景及自拍全景。在一些实施例中，可如关于图7A描述般记录所捕捉的数据。
[0101]图7B到7F说明关于可与环绕视图一起产生的动态全景的实例。特别参考图7B，示出了动态全景捕捉过程720的一个实例。在本实例中，用户722沿捕捉运动726移动捕捉装置724。此捕捉运动726可包含旋转、摆动、平移(等)捕捉装置724。在此捕捉过程期间，产生场景728的全景，且保持场景内的动态内容。例如，移动对象作为动态内容保留在全景内。
[0102]参考图7C，示出了其中捕捉装置732通过旋转轴734旋转的动态全景捕捉过程730的特定实例。特定地说，捕捉装置732沿旋转轴734绕其中心旋转。此纯旋转捕捉场景736的全景。根据各个实例，此类型的全景可提供捕捉特定时刻的场景中的实体的“平面”场景。此“平面”场景可为二维图像，或可为投影在圆柱体、表面等上的图像。
[0103]参考图7D，示出了具有动态内容744的动态全景740的一个实例。一旦捕捉全景，如上文关于图7B到7C描述，可由用户浏览动态全景740。在本实例中，当用户浏览动态全景740时，动态内容744变为动画。例如，随着用户滑动场景742，动态内容744可被看见关于场景742移动。
[0104]参考图7E，示出了捕捉具有3D效果的动态全景的一个实例。在本实例中，如果捕捉装置没有精确地绕其相机中心旋转(如图7C中)，那么可通过当用户浏览动态内容时以不同速度移动全景的不同部分而获得3D效果。虽然附近的人或对象750将在标准全景捕捉过程中产生假影，但是如果捕捉装置没有精确地绕其相机中心旋转(如图7C中)，那么此类“缺陷”可用于通过当滑动/浏览动态全景时以不同速度移动对象750对用户产生3D印象。特定地说，所示的捕捉装置745使用捕捉远距离场景746及附近的人/对象750的捕捉运动748。根据各个实施例，附近的人/对象750的移动可被捕捉为环绕视图内的3D运动，而远距离场景746随着用户浏览环绕视图而表现为静态。
[0105]参考图7F，示出了具有视差效果的动态全景750的一个实例。当垂直于全景方向752滑动时通过施加视差效果呈现三维效果。特定地说，当沿视差方向754垂直于全景方向滑动时，附近的对象沿视差方向754移位，同时远距离场景保持静止或移动程度小于附近的对象。
[0106]图7G到7J说明关于可与环绕视图一起产生的对象全景的实例。参考图7G，示出了对象全景捕捉过程的一个实例。特定地说，捕捉装置766沿捕捉运动760绕对象762移动。捕捉装置766的一个特定实例是智能手机。当捕捉对象762的各个视图及角度时，捕捉装置766还捕捉背景764的全景视图。所得环绕视图包含对象762的全景视图。
[0107]在一些实施例中，可通过将对象全景投影到背景全景上而产生环绕视图，背景全景的实例在图7H上示出。特定地说，此种全景768是使用背景全景770并将前景对象全景772投影到背景全景770上而建立。在一些实例中，如关于图17A到17B更详细地描述，对象全景可为获自环绕视图的分段内容。
[0108]根据各个实施例，多个对象可构成对象全景。参考图71，示出了用于构成对象全景的对象780的群组的捕捉过程的一个实例。如所示，捕捉装置776可在前景对象周围移动，前景对象可为位于类似于捕捉装置的距离处的单个对象或对象780的群组。捕捉装置776可沿捕捉运动778在对象或对象780的群组周围移动，使得捕捉对象的各个视图及角度。所得环绕视图可包含对象780的群组的对象全景，其中远距离背景782用作背景。
[0109]根据各个实例，对象全景允许用户浏览对象周围。参考图7J，示出了基于用户浏览改变对象的视角的一个实例。在此实例中，示出了环绕视图全景784的三个视图。在环绕视图全景中，背景全景788被示为在前景对象786前面。由于用户通过滑动环绕视图或以其它方式与环绕视图交互而浏览全景，可改变对象的位置、对象的视角或这两者。在本实例中，用户可沿主全景轴的方向滑动。浏览可使前景对象786在此视图中旋转。在一些实例中，远距离背景全景788由于前景对象全景旋转或以其它方式移动而无法改变。
[0110]根据各个实施例，对象全景还可包含视差效果。当垂直于主全景轴的方向滑动/浏览时，可看见此类视差效果。类似于图7F，当垂直于全景方向滑动时可呈现三维效果。特定地说，当沿视差方向垂直于全景方向滑动时，附近的对象沿视差方向移位，同时远距离场景保持静止或移动程度小于附近的对象。
[0111]虽然先前实例涉及对象全景中的静态内容及背景(background context)，但是动态内容也可集成在对象全景中作为前景对象或背景或者这两者。例如，动态内容可以类似于结合图7D中描述的方式的方式特征化。类似地，动态背景也可包含在对象全景中。
[0112]可包含在环绕视图中的另一类型的全景是自拍全景。在一些实例中，自拍全景可为获自环绕视图的分段内容，如关于图17A到17B更详细地描述。图7K到7U兑明涉及可与环绕视图一起产生的自拍全景的实例。参考图7K，示出了自拍全景捕捉过程790的一个实例。特定地说，用户794沿捕捉运动796移动捕捉装置792并同时捕捉用户794的图像。在一些实例中，捕捉装置792可使用前置相机，例如包含在智能手机上的相机。在其它实例中，可使用数码相机或其它图像记录装置。自拍全景可与此类图像一起产生，其中背景798提供背景。
[0113]参考图71，示出了自拍全景投影在其上的背景全景的一个实例。在本实例中，环绕视图全景723是由自拍全景721投影在其上的背景全景725建立。根据各个实例，自拍全景可包含一个人或多个人，类似于结合图71描述的对象或对象群组。在本实例中，自拍全景可包含动态内容。例如，当捕捉装置移动时用户可看见捕捉装置，或用户可在移动捕捉装置时保持静止。可捕捉用户的移动并同时记录自拍全景721。此类动态元素将被映射到全景中，且可在与所得自拍全景721交互时显示。例如，可记录并捕捉用户的眨眼。自拍全景的浏览可以类似于结合图7J描述的方式的方式进行。特定地说，自拍全景721中的人的位置及视角可通过用户以主全景轴的方向滑动/浏览而改变。根据各个实施例，自拍全景721还可包含视差效果。当垂直于主全景轴的方向滑动/浏览时可看见此类视差效果。此外，类似于图7F，当垂直于全景方向滑动时可呈现三维效果。特定地说，当沿视差方向垂直于全景方向滑动时，附近的对象沿视差方向移位，同时远距离场景保持静止或移动程度小于附近的对象。
[0114]如上所述，各种类型的全景可与环绕视图一起产生。此外，可以不同方式观看及浏览环绕视图。参考图7M，示出了基于用户浏览提供的全景的扩展视图的一个实例。在本实例中，可能的视图727包含全景(full panorama)视图729、记录视图731及扩展视图733。全景视图729包含环绕视图中的信息的完整视图。记录视图731包含捕捉在图像及/或记录中的视觉数据。扩展视图733更多地示出了记录视图731中的一个时刻期间可见的事务，但是更少地示出全景视图729中的一个时刻期间可见的事务。扩展视图733中可见的全景729的部分是由用户浏览界定。扩展视图733尤其对自拍或对象全景感兴趣，因为扩展视图遵循全景中的对象/人，并示出了大于相机在记录时可见的视图的视图。本质上，在环绕视图的浏览期间向扩展视图733中的用户提供更多背景。
[0115]根据各个实施例，一旦捕捉一系列图像，此类图像可用于产生环绕视图。参考图8，示出了其中三维内容与二维全景背景混合的环绕视图的实例。在本实例实施例中，捕捉装置820的移动遵循局部凸运动，使得捕捉装置在感兴趣对象(S卩，坐在椅子上的人)周围移动。感兴趣对象被描绘为内容808，且环绕场景(S卩，房间)被描绘为背景810。在当前实施例中，随着捕捉装置820的移动在内容808周围向左移动，内容旋转相对于捕捉装置812的方向是向右的逆时针方向。视图802、804及806示出了坐在椅子上的人相对于房间的旋转的前进。
[0116]根据各个实施例，用于产生环绕视图的一系列图像可通过用户记录场景、感兴趣对象等而捕捉。此外，在一些实例中，多个用户可促成获取用于产生环绕视图的一系列图像。参考图9，示出了同时由独立观察者记录的空间-时间环绕视图的一个实例。
[0117]在本实例实施例中，相机904、906、908、910、912及914位于不同位置处。在一些实例中，此类相机904、906、908、910、912及914可与独立观察者相关联。例如，独立观察者可为音乐会、演出、比赛项目等的观众成员。在其它实例中，相机904、906、908、910、912及914可放置在三脚架、支架等上。在当前实施例中，相机904、906、908、910、912及914分别用于捕捉感兴趣对象900的视图904a、906a、908a、910a、912a及914a，其中地球902提供背景场景。在一些实例中，由相机904、906、908、910、912及914捕捉的图像可集中并一起在单个环绕视图中使用。相机904、906、908、910、912及914中的每一者提供相对于感兴趣对象900的不同视角，因此将来自此类不同位置的图像集中提供关于感兴趣对象900的不同视角的信息。此夕卜，相机904、906、908、910、912及914可在一定时间跨度内提供来自其相应位置的一系列图像，使得从此类系列图像产生的环绕视图可包含时间信息且还可指示随时间变化的移动。
[0118]如上文关于各个实施例所描述，环绕视图可与各种捕捉模式相关联。此外，环绕视图可包含相同环绕视图中的不同捕捉模式或不同捕捉运动。因此，环绕视图在一些实例中可被分离为较小部分。参考图10，示出了复杂的环绕视图到较小线性部分的分离的一个实例。在本实例中，复杂的环绕视图1000包含遵循滑动L运动的捕捉区域1026，滑动L运动包含相机1010的两个分离线性运动1022及1024。与此类分离线性运动相关联的环绕视图可被分解为线性环绕视图1002及线性环绕视图1004。应注意，虽然线性运动1022及1024在一些实施例中可循序及连续地捕捉，但是此类线性运动1022及1024在其它实施例中还可在单独会话中捕捉。
[0119]在本实例实施例中，线性环绕视图1002及线性环绕视图1004可独立处理，且与过渡1006结合以对用户提供连续体验。以此方式将运动分解为较小线性组成部分可提供各种优点。例如，将此类较小线性组成部分分解为离散可载入部分可辅助针对带宽目的而压缩数据。类似地，非线性环绕视图还可分离为离散组成部分。在一些实例中，环绕视图可基于局部捕捉运动而分解。例如，复杂的运动可被分解为局部凸部分及线性部分。在另一实例中，复杂的运动可被分解为单独的局部凸部分。应认识到，任何数目的运动可包含在复杂的环绕视图1000中，且取决于应用，复杂的环绕视图1000可被分解为任何数目的单独部分。
[0120]虽然在一些应用中，预期分离复杂的环绕视图，但是在其它应用中，预期组合多个环绕视图。参考图11，示出了包含组合为多环绕视图1100的多个环绕视图的图的一个实例。在此实例中，矩形表示各个环绕视图1102、1104、1106、1108、1110、1112、1114及1116，且每一矩形的长度指示每一环绕视图的主导运动。环绕视图之间的直线指示其间的可能过渡1118、1120、1122、1124、1126、1128、1130及1132。
[0121]在一些实例中，环绕视图可提供以极有效方式在空间上及时间上分割场景的方式。对于极大规模场景，可使用多环绕视图1100数据。特定地说，多环绕视图1100可包含一起连接在空间图中的环绕视图的集合。个别环绕视图可由单个来源(例如单个用户)或由多个来源(例如多个用户)收集。此外，个别环绕视图可循序、并行捕捉，或在不同时间完全不相关。然而，为了连接个别环绕视图，必须存在内容、背景或位置或此类特征的组合的一定重叠。因此，任何两个环绕视图将需要具有内容、背景及/或位置的一定重叠以提供多环绕视图1100的一部分。个别环绕视图可通过此重叠彼此链接且一起拼合以形成多环绕视图1100。根据各个实例，可使用具有前置、后置或前置和后置相机的捕捉装置的任何组合。
[0122]在一些实施例中，多环绕视图1100可经推广以更完全捕捉整个环境。极类似于“摄影观光”收集相片到离散、空间上相邻组成部分的图中，多个环绕视图可组合为整个场景图。在一些实例中，此可使用获自但不限于图像匹配/跟踪、深度匹配/跟踪、IMU、用户输入及/或GPS的信息而实现。在此图或多环绕视图内，用户可在所记录运动的终点处或无论图中何处存在与其它环绕视图的重叠均在不同环绕视图之间切换。多环绕视图优于“摄影观光”的一个优点是，用户可按照需要浏览环绕视图且更多视觉信息可存储在多个视图中。相比之下，传统的“摄影观光”通常自动地或通过允许用户利用计算机鼠标或键击摇拍全景来限制可向观看者示出的视图。
[0123]根据各个实施例，环绕视图是产自图像集。取决于应用，此类图像可通过用户意图产生环绕视图而捕捉或取回自存储装置。因为环绕视图对于某个量的可见度没有限制或约束，所以可明显提供关于对象或场景的不同视图的更多视觉信息。更具体地说，虽然单个视角对于充分描述三维对象来说是模糊的，但是对象的多个视图可提供更特定且更详细信息。此类多个视图可提供足够多信息以允许视觉搜索查询来产生更精确搜索结果。因为环绕视图提供来自对象的许多侧的视图，所以适用于搜索的相异视图在其不可用时可选自环绕视图或从用户请求。例如，如果所捕捉或以其它方式提供的数据不足以允许以足够高确定性辨识或产生感兴趣对象或场景，那么捕捉系统可引导用户继续移动捕捉装置或提供额外图像数据。在特定实施例中，如果环绕视图被确定需要额外视图来产生更精确模型，那么用户可被提示提供额外图像。
[0124]参考图12，示出了用于提示用户需要额外图像1200来提供更精确环绕视图的过程的一个实例。在本实例中，在1202处从捕捉装置或存储装置接收图像。接着，在1204处确定所提供图像是否足以允许辨识感兴趣对象。如果图像不足以允许辨识感兴趣对象，那么在1206处给用户提示以从不同视角提供额外视图。在一些实例中，提示用户从不同视角提供一或多个额外视图可包含推荐一或多个特定视角。如果用户正主动捕捉图像，那么当在一些实例中检测到相异视角时可提示用户。根据各个实施例，可基于与已接收的图像相关联的位置确定提供一或多个特定视角的推荐。此外，提示用户从不同视角提供一或多个额外图像可包含取决于应用使用特定捕捉模式(例如，局部凹环绕视图、局部凸环绕视图或局部平面环绕视图)的推荐。
[0125]接着，系统在1208处从用户接收此类额外图像。一旦接收到额外图像，再次确定图像是否足以允许辨识感兴趣对象。此过程继续进行直到确定图像足以允许辨识感兴趣对象为止。在一些实施例中，所述过程可结束于此时刻且可产生环绕视图。
[0126]任选地，一旦确定图像足以允许辨识感兴趣对象，接着在1210处可确定图像是否足以区分感兴趣对象与类似但不匹配物品。当使用视觉搜索时此确定可尤其有帮助，所述视觉搜索的实例在下文关于图19到22更详细地描述。特定地说，感兴趣对象可区分可从需要额外视图的特定角度看见的特征。例如，如果从前角拍摄图片，那么人的画像无法充分示出人的发型。可能需要提供人的后面的额外图片以确定人是具有短发还是仅仅向后梳的发型。在另一实例中，如果穿戴衬衫的人的图片在一侧上是平坦的且额外视图将示出袖子或背侧上的印花或其它标志等，那么所述图片可能授权额外提示。
[0127]在一些实施例中，确定图像不足以区分感兴趣对象与类似但不匹配物品包含确定匹配搜索结果的次数超过预定阈值。特定地说，如果找到极多次搜索结果，那么可确定可能需要额外视图来缩小搜索准则。例如，如果杯子的搜索产生极多次匹配(例如20次以上)，那么可能需要杯子的额外视图来缩缩小索结果。
[0128]如果在1210处图像不足以区分感兴趣对象与类似但不匹配物品，那么在1212处给用户提示从不同视角提供额外图像。在一些实例中，提示用户从不同视角提供一或多个额外视图可包含推荐一或多个特定视角。如果用户正主动捕捉图像，那么当在一些实例中检测到相异视角时可提示用户。根据各个实施例，可基于与已接收的图像相关联的位置确定提供一或多个特定视角的推荐。此外，提示用户从不同视角提供一或多个额外图像可包含取决于应用使用特定捕捉模式(例如，局部凹环绕视图、局部凸环绕视图或局部平面环绕视图)的推荐。
[0129]接着，系统在1214处从用户接收此类额外图像。一旦接收到额外图像，再次确定图像是否足以区分感兴趣对象与类似但不匹配物品。此过程继续进行直到确定图像足以区分感兴趣对象与类似但不匹配物品为止。接着，所述过程可结束且可从图像产生环绕视图。
[0130]参考图13A到13B，示出了从用户请求额外图像以提供更精确环绕视图的提示的实例。特定地说，示出了具有搜索屏幕的装置1300。在图13A中，提供视觉搜索查询1302的实例。此视觉搜索查询1302包含白色杯子的图像。结果1306包含具有白色背景的各个杯子。在特定实施例中，如果找到大量搜索结果，那么可提供提示1304以针对搜索请求从用户请求额外图像数据。
[0131]在图13B中，响应于图13A中的提示1304提供另一视觉搜索查询1310的实例。此视觉搜索查询1310提供对象的不同视角且提供关于杯子上的图形的更特定信息。此视觉搜索查询1310产生更有针对性且更精确的新结果1312。在一些实例中，可提供额外提示1308以通知用户搜索完成。
[0132]—旦产生环绕视图，其可在各种应用中、在特定实施例中使用。环绕视图的一种应用包含允许用户浏览环绕视图或以其它方式与其交互。根据各个实施例，环绕视图经设计以模拟由于用户与环绕视图交互而物理地存在于场景中的感觉。此体验不但取决于相机的视角，而且取决于所观看的环绕视图的类型。虽然总的来说环绕视图无需具有特定固定的几何形状，但是在环绕视图的局部分段内可表示不同类型的几何形状，在特定实施例中例如凹、凸及平面环绕视图。
[0133]在特定实例实施例中，浏览模式是由环绕视图中表示的几何形状的类型而告知。例如，在凹环绕视图的情况下，旋转装置(例如，智能手机等)的动作可模仿远望环绕场景的静止观查者的旋转。在一些应用中，以一个方向滑动屏幕可使视图以相反方向旋转。此效果类似于用户站在空心圆柱体内侧且推动其壁以在用户周围旋转。在具有凸环绕视图的其它实例中，旋转装置可使视图以其倚靠的方向飞行，使得感兴趣对象保持居中。在一些应用中，以一个方向滑动屏幕使视角以相同方向旋转:此产生将感兴趣对象绕其轴旋转或使用户在对象周围旋转的感觉。在具有平面视图的一些实例中，旋转或移动装置可使视图以装置移动的方向平移。此外，以一个方向滑动屏幕可使视图以相反方向平移，就如同将前景对象推到侧面一样。
[0134]在一些实例中，用户能够浏览多环绕视图或环绕视图的图，其中个别环绕视图可逐片段地载入且必要时可载入进一步环绕视图(例如，当进一步环绕视图与当前环绕视图相邻/重叠及/或用户朝其浏览时)。如果用户到达环绕视图中的某个点(其中两个或两个以上环绕视图重叠)，那么用户可选择遵循所述重叠环绕视图中的哪一个环绕视图。在一些实例中，遵循哪一个环绕视图的选择可基于用户滑动或移动装置的方向。
[0135]参考图14，示出了用于浏览环绕视图1400的过程的一个实例。在本实例中，在1402处从用户接收观看环绕视图中的感兴趣对象的请求。根据各个实施例，所述请求还可为观看无特定感兴趣对象的环绕视图(例如当观看景观或全景视图时)的泛用请求。接着，在1404处存取对象的三维模型。此三维模型可包含经存储环绕视图的全部或一部分。例如，三维模型在一些应用中可为分段内容视图。接着在1406处将来自第一视角的初始图像发送到输出装置。此第一视角用作用于观看输出装置上的环绕视图的起始点。
[0136]在当前实施例中，接着接收用户动作以从第二视角观看感兴趣对象。取决于应用，此用户动作可包含移动(例如，倾斜、平移、旋转等)输入装置、滑动屏幕等。例如，用户动作可对应于与局部凹环绕视图、局部凸环绕视图或局部平面环绕视图等相关联的运动。根据各个实施例，对象视图可通过将装置绕某个轴旋转而绕相同轴旋转。例如，对象视图可通过将装置绕垂直旋转而沿垂直轴旋转。基于用户动作的特性，在1410处处理三维模型。例如，可检测输入装置的移动且可寻找感兴趣对象的对应视角。取决于应用，输入装置及输出装置可均包含在移动装置等中。在一些实例中，经请求图像对应于产生环绕视图之前捕捉的图像。在其它实例中，基于三维模型(例如，通过插值等)产生经请求图像。可在1412处将来自此视角的图像发送到输出装置。在一些实施例中，可将选定图像连同关于选定图像的精确度的确定性程度一起提供到输出装置。例如，在一些应用中，当使用插值算法来产生来自特定视角的图像时，确定性程度可改变且可提供到用户。在其它实例中，可向输出装置提供指示环绕视图中是否存在不充足的信息来提供经请求图像的消息。
[0137]在一些实施例中，可发送1406处的初始图像与1412处的经请求图像之间的中间图像。特定地说，此类中间图像可对应于位于与初始图像相关联的第一视角与关联于经请求图像的第二视角之间的视角。此外，此类中间图像可基于用户动作的特性来选择。例如，中间图像可遵循与用户动作相关联的输入装置的移动路径，使得中间图像提供感兴趣对象的视觉浏览。
[0138]参考图15，示出了环绕视图的基于滑动的浏览的实例。在本实例中，示出了用户浏览环绕视图时装置1500的三个视图。特定地说，输入1510是用户在装置1500的屏幕上进行的滑动。随着用户从右到左滑动，感兴趣对象相对于滑动方向1508移动。具体地说，如由图像1506、1504及1502的前进所示，输入1510允许用户在感兴趣对象(S卩，戴太阳眼镜的人)周围旋转。
[0139]在本实例中，装置屏幕上的滑动可对应于虚拟视图的旋转。然而，在其它实例实施例中可使用其它输入模式。例如，环绕视图还可通过以各个方向倾斜装置并使用装置定向方向来引导环绕视图中的浏览而浏览。在另一实例中，浏览还可基于用户移动屏幕。因此，滑动运动可允许用户看见环绕视图周围，就如同观看者将装置指向感兴趣对象一样。在又另一实例中，可使用网站提供与网页浏览器中的环绕视图的交互。在此实例中，滑动及/或运动传感器不可用，且可通过与鼠标或其它光标或输入装置的交互来取代。
[0140]根据各个实施例，环绕视图还可包含可在浏览期间观看的加标签。加标签可提供对对象、人、产品或环绕视图内的其它物品的识别。特定地说，环绕视图中的加标签是用于向用户/客户呈现产品及促销所述元素或物品的极强大工具。在一个实例中，标签1512可遵循被加标签的物品的位置，使得可从不同角度观看物品同时标签位置仍然保持有效。标签1512可存储不同类型的数据，例如名称(例如，用户名、产品名称等)、描述、到网站/网店的链接、价格信息、用于购买经加标签对象的直接选项、类似对象的列表等。在一些实例中，当用户选择环绕视图中的物品时，标签变得可见。在其它实例中，可自动地显示标签。此外，在一些应用中可通过选择标签1512存取额外信息。例如，当用户选择标签时，例如描述、链接等的额外信息可显示在屏幕上。
[0141]在一些实施例中，用户可通过选择环绕视图的一个视角中的点或区域而产生标签1512。此点或区域接着被自动地传播到其它视角中。替代地，标签位置可由应用程序基于不同信息(例如，面部检测、对象检测、清晰对象、被识别为前景的对象等)而自动地向用户推荐。在一些实例中，对象检测可由已知对象或对象类型/类别的数据库进行。
[0142]在本实例中，标签1512识别环绕视图中的衬衫。当然，可包含任何文本或标题，例如名称、品牌等。此标签1512可被映射到环绕视图中的特定位置使得标签与所选定的任何视图中的相同位置或点相关联。如上所述，在一些实施例中，标签1512可包含可通过点击或以其它方式选择标签存取的额外信息。虽然加标签在图15中示出，但是应注意，在一些实例中环绕视图可不包含加标签。
[0143]根据各个实施例，环绕视图可以各种方式存储及存取。此外，在许多应用中可使用环绕视图。参考图16A，示出了用于移动装置1602及浏览器1604上的环绕视图的共享服务的实例。移动装置1602及浏览器1604被示为替代缩略图显示器1600，因为取决于应用，环绕视图可由任一接口存取。根据各个实施例，可以不同方式向用户呈现一组环绕视图，所述方式包含(但不限于):画廊、馈送及/或网站。例如，画廊可用于向用户呈现缩略图的集合。此类缩略图可由用户或自动地选自环绕视图。在一些实例中，缩略图的大小可基于特性而改变，所述特性例如(但不限于):基于其含有的内容的结构及大小的自动选定大小;及/或环绕视图的流行度。在另一实例中，可使用馈送以使用交互式缩略图呈现环绕视图。
[0144]在本实例中，来自移动装置1602的环绕视图缩略图包含缩略图1604及标题/标记/描述1604。缩略图1604可包含来自环绕视图的图像。标题/标记/描述1604可包含关于环绕视图的信息，例如内容的标题、文件名、描述、标记、标签等。
[0145]此外，在本实例中，来自浏览器1604的环绕视图缩略图包含缩略图1606、标题/标记/描述1608及通知1610。缩略图1606可包含来自环绕视图的图像。标题/标记/描述1608可包含关于环绕视图的信息，例如内容的标题、文件名、描述、标记、标签等。此外，通知1610可包含例如关于环绕视图的评论、关于匹配内容、推荐内容等的更新的信息。虽然移动版本上没有示出，但是也可包含通知，但是在一些实施例中，对布局及空间考虑的兴趣中可省略通知。在一些实例中，通知可作为环绕视图应用程序的部分提供在移动装置上。
[0146]参考图16B，示出了移动装置上的基于环绕视图的通知的实例。特定地说，示出了装置1622的替代通知屏幕1620，其包含不同的通知格式。在一些实例中，用户可取决于用户的偏好在此类屏幕之间浏览。
[0147]在本实例中，屏幕1624包含通知1626，其包含基于来自最近环绕视图的内容对用户的建议。特定地说，建议涉及基于应用程序对用户关注雕塑的发现的希腊之行。在一些实例中，此发现可由用户的存储或最近浏览的环绕视图中发现的内容推断。
[0148]在本实例中，屏幕1628包含基于来自用户已存储、浏览等的环绕视图的内容的通知1630。例如，一个通知是对附近零售店可购得的一双鞋子的建议，所述鞋子类似于如环绕视图模型中提供的用户的鞋子。建议还包含对到零售店的地图的链接。此建议可基于用户保存的一对鞋子的环绕视图。另一通知是对连接到共享共同兴趣/爱好的另一用户的建议。在此实例中，建议是基于用户已检测到的对帽子的兴趣。此类建议在一些应用中可作为“推送”通知而自动地提供。建议的内容可基于用户的环绕视图或浏览历史，且在一些实例中可使用视觉搜索算法，例如关于图19到22描述的算法。
[0149]屏幕1630示出了当前实例中的通知1632的另一形式。不同应用程序的各个图标被特征化在屏幕1630上。用户环绕视图应用程序的图标包含嵌入在图标中的通知1632，其示出了有多少通知等待用户。根据各个实施例，当用户选择图标时，可显示通知及/或可启动应用程序。
[0150]根据本发明的各个实施例，环绕视图可用于分段或分离来自静态或动态场景的对象。因为环绕视图包含由图像数据导出的相异3D建模特性及信息，所以环绕视图提供分段的唯一机会。在一些实例中，通过将感兴趣对象视为环绕视图内容且将场景的剩余部分表达为背景，对象可被分段并被视为单独实体。此外，环绕视图环境在一些实例中可用于完善分段过程。在各个实施例中，可使用用户引导交互自动地或半自动地选取内容。用于环绕视图对象分段的一个重要用途是在电子商务中的产品展示的背景中，产品展示的实例在图17B中示出。此外，在视觉搜索应用的背景中，基于环绕视图的对象分段可用于产生适用于训练可作用于大的数据库上的人造智能搜索算法的对象模型。
[0151]参考图17，示出了用于提供对象分段1700的过程的一个实例。在1702处，获得对象的第一环绕视图。接着，在1704处从第一环绕视图选择内容。在一些实例中，在无用户输入的情况下自动地选择内容。在其它实例中，使用用户引导交互半自动地选择内容。接着在1706处将来自第一环绕视图的内容分段。在一些实例中，通过基于提供在第一环绕视图中的信息(包含来自多个相机视角的图像)以三维重建内容的模型来将内容分段。在特定实例实施例中，可通过在来自环绕视图中可见的多个相机视角的三维中重建感兴趣对象或其部分有效地采用用于基于迭代优化算法(例如图形模型)选择并初始化分段算法的机制。此过程可对多帧重复，且优化直到分段达到所需质量输出为止。此外，将内容分段可包含使用背景以确定内容参数。
[0152]在本实例中，一旦将来自第一环绕视图的内容分段，产生包含对象但无环绕对象的内容或场景的第二环绕视图。在1708处，提供此第二环绕视图。在一些实例中，接着可将第二环绕视图存储在数据库中。在各个应用中可使用此第二环绕视图。例如，经分段内容包含用于电子商务的产品。如图17B中说明，经分段内容可用于从各个视角示出产品。另一应用包含使用第二环绕视图作为人工智能训练的对象模型。在又另一应用中，3D打印中可使用第二环绕视图。在此应用中，来自第二环绕视图的数据用于3D打印机。
[0153]虽然当前实例描述了将来自第一环绕视图的内容分段，但是应注意在其它实例中也可将背景分段。例如，在一些应用中，背景场景可被分段并被呈现为第二环绕视图。特定地说，背景可选自第一环绕视图，且可将来自第一环绕视图的背景分段，使得背景被分离为相异交互式模型。所得环绕视图将接着包含环绕对象但排除对象本身的场景。各种应用中也可使用分段背景模型。例如，来自所得环绕视图的数据可被发送到3D打印机。在一些实例中，此可被打印为平面或弯曲表面上的全景背景。如果还打印背景模型，那么感兴趣对象可被放置在全景背景前面以产生环绕视图的三维“相片”或模型。在另一应用中，经分段背景可被用作不同的感兴趣对象的背景。替代地，经分段内容可被放置在新的经分段背景中。在此类实例中，提供替代内容或背景允许感兴趣对象被放置到新的背景中等。例如，人的环绕视图可被放置在各种背景中，示出站在一个环绕视图中的海滩上且站在另一环绕视图中的雪地中的人。
[0154]参考图17B，示出了从不同角度观看的经分段对象的一个实例。特定地说，示出了运动鞋的旋转视图1720。对象视图1722、1724、1726、1728及1730从各个角度或视角示出了运动鞋。如所示，对象本身被示出没有任何背景(background)或背景(context)。根据各个实施例，经分段对象的此类不同视图可自动地获自环绕视图内容。此类类型的旋转视图的一种应用是在电子商务中从不同角度示出产品。根据各个实施例，另一应用可为视觉搜索。
[0155]根据各个实施例，环绕视图可产自获自各种来源的数据且可在数种应用中使用。参考图18，示出了说明可用于环绕视图产生的各种来源及可与环绕视图一起使用的各种应用的一个实例的方框图。在本实例中，环绕视图产生及应用程序1800包含用于图像数据1808的来源，例如互联网画廊1802、资源库1804和用户1806。特定地说，资源库可包含数据库、硬盘、存储装置等。此外，用户1806可包含例如在智能手机等上的图像捕捉期间直接获自用户的图像及信息。虽然已指示数据源的此类特定实例，但是数据也可获自其它来源。此信息可被收集为图像数据1808以在特定实施例中产生环绕视图1810。
[0156]在本实例中，可在各种应用中使用环绕视图1810。如所示，在例如电子商务1812、视觉搜索1814、3D打印1816、文件共享1818、用户交互1820及娱乐1822的应用中使用环绕视图。当然，此列表只是说明性的，且也可在未明确提及的其它应用中使用环绕视图。
[0157]如上文关于分段所描述，可在电子商务1812中使用环绕视图。例如，环绕视图可用于允许购物者从各个角度观看产品。在一些应用中，购物者可甚至使用环绕视图以确定大小、尺寸及适合性。特定地说，购物者可提供自我模型并根据环绕视图确定产品是否将适合模型。环绕视图还可在如下文关于图19到22更详细描述的视觉搜索1814中使用。一些视觉搜索应用还可涉及电子商务，例如当用户尝试寻找匹配视觉搜索查询的特定产品时。
[0158]分段的另一应用包含三维打印(3D打印)1816。三维打印最近被识别为将改善未来十年的全球经济的未来突破性技术中的一者。根据各个实施例，可3D打印来自环绕视图的内容。此外，还可打印环绕视图中的全景背景。在一些实例中，经打印背景可补充用户的最终3D打印产品，其将有可能保持3D打印格式的记忆。例如，背景可被打印为位于3D内容后面的平面或任何其它几何形状(球形、圆柱形、U形等)。
[0159]如上文关于图16A所述，环绕视图可连同缩略图一起存储以供用户存取之用。在一些实例中，此类型的应用可用于用户之间的文件共享1818。例如，站点可包含使用户以类似于当前相片共享站点的方式共享环绕视图的基础设施。在一些应用中，文件共享1818还可直接在用户之间实施。
[0160]又如关于图14和15所述，用户交互是环绕视图的另一应用。特定地说，用户可为了让自己高兴或娱乐而浏览环绕视图。将此概念扩展到娱乐1822，可以数种方式使用环绕视图。例如，可在广告、视频等中使用环绕视图。
[0161]如先前所述，环绕视图的一个应用是视觉搜索。图19、20及22描绘使用环绕视图的视觉搜索的实例。根据各个实施例，使用环绕视图可在搜索结果中提供的辨别力远高于迄今为止的任何其它数字媒体表示。特定地说，分离环绕视图中的内容及背景的能力是可在视觉搜索中使用的重要方面。
[0162]例如2D图像的现有数字媒体格式在其不具有足够多的原本可用的辨别信息的含义中不适用于加索引。因此，对用于从现有数字媒体格式中提取这种信息的算法及机制的研究花费了数百万美元。此对例如面部辨识的某些问题产生令人满意的结果，但是一般来说，确定来自单个图像的3D形状的问题在现有技术中是不适定的。虽然可通过使用图像或2D视频的序列减小误报及漏报的程度，但是先前可用的3D空间重建方法仍然是不适当的。
[0163]根据各个实施例，例如基于位置的信息的额外数据源(用于产生环绕视图)提供改善视觉辨识及搜索的能力的有价值信息。在特定实例实施例中，环绕视图的两个组成部分(背景及内容)均显著地促成视觉辨识过程。在特定实例实施例中，内容供应的三维信息的可用性可显著地减少必须经评估以辨识场景的查询对象或部分的推测的次数。根据各个实施例，内容的三维信息可帮助分类(即，确定对象所属的一般类别)，且二维结构信息可指示更多关于对象的特定实例的事务。在许多情况中，环绕视图中的背景信息还可通过解释其中查询对象所处场景的类型辅助查询对象的分类。
[0164]除提供可用于寻找对象的特定实例的信息之外，环绕视图原本也适用于回答例如“何种其它对象在形状及外观上类似? ”的问题。在各个实例中，类似于响应于网页搜索查询提供的前N个最佳匹配，环绕视图可连同对象分类及辨识算法一起使用以指示“最接近匹配”。
[0165]可以各种方式使用及/或实施使用环绕视图的视觉搜索。在一个实例中，使用环绕视图的视觉搜索可在对机器人的对象辨识中使用。在另一实例中，使用环绕视图的视觉搜索可在社交媒体管理中使用。特定地说，通过分析被发布到各种社交网络的环绕视图数据及辨识场景的对象及部分，可自动地产生更好索引。通过产生此类型的信息，可管理馈送且可增强搜索体验。
[0166]其中使用环绕视图的视觉搜索可被使用的另一实例是在可称为“搜索及购物”的购物背景中。特定地说，此视觉搜索可允许形状及外观类似但是可能在附近的其它商店中以不同价格出售的物品的辨识。例如，参考图21，视觉搜索查询可产生可购买的类似产品。
[0167]其中使用环绕视图的视觉搜索可被使用的又另一实例是在可称为“搜索及适合”的购物背景中。根据各个实施例，因为环绕视图内容是三维的，所以可提取精确测量且可使用此信息以确定环绕视图中表示的特定对象是否将适合某个背景(例如，鞋适合脚、灯适合房间等)。
[0168]在另一实例中，使用环绕视图的视觉搜索还可用于提供更好的营销建议引擎。例如，通过分析出现在由各个用户产生的环绕视图中的对象的类型，可以自然、私密及非侵入方式回答例如“人们实际上在其日常生活中使用何种类型的产品”的问题。收集此类型的信息可促进改善的建议引擎、降低及/或停止多余的垃圾邮件或营销广告，由此提升大部分用户的生活质量。图16B示出了其中可根据本发明的各个实施例提供建议的一个实施方案。
[0169]参考图19，示出了用于提供对象1900的视觉搜索的过程的一个实例，其中搜索查询包含对象的环绕视图，且所搜索的数据包含三维模型。在1902处，接收包含第一环绕视图的视觉搜索查询。接着在1904处比较此第一环绕视图与所存储的环绕视图。在一些实施例中，此比较可包含针对第一环绕视图中的对象提取第一测量信息并将其与提取自一或多个所存储的环绕视图的第二测量信息进行比较。例如，此类型的测量信息可用于搜索例如衣月艮、鞋子或饰品的物品。
[0170]接着，在1906处确定任何所存储的环绕视图是否对应于第一环绕视图。在一些实例中，此确定是基于所存储的环绕视图中的任一者中的主题的形状是否类似于第一环绕视图中的对象。在其它实例中，此确定是基于所存储的环绕视图中的主题中的任一者的外观是否类似于第一环绕视图中的对象。在又其它实例中，此确定是基于所存储的环绕视图中的任何主题是否包含第一环绕视图中所包含的类似结构。在一些实例中，此确定是基于与所存储的环绕视图相关联的背景中的任一者是否匹配第一环绕视图的背景。在另一实例中，此确定是基于与所存储的环绕视图相关联的测量信息是否在尺寸上适合与第一环绕视图相关联的对象。当然，此类基础中的任一者可彼此结合使用。
[0171]一旦作出此确定，在1908处产生匹配结果的排名列表。在一些实施例中，产生匹配结果的排名列表包含指示所存储的环绕视图中的任一者在尺寸上适合与第一测量信息相关联的对象的程度。根据各个实施例，此排名列表可包含显示匹配结果的缩略图。在一些实例中，可包含到零售店的链接连同缩略图。此外，在一些应用中可包含关于匹配结果的信息(例如名称、品牌、价格、来源等)。
[0172]虽然先前实例包含使用环绕视图作为视觉搜索查询以在所存储的环绕视图或三维模型内进行搜索，但是当前基础设施仍然包含大量的二维图像。例如，互联网提供对可易于存取的数个二维图像的存取。因此，使用环绕视图以在所存储的二维图像内搜索匹配可提供具有当前二维基础设施的环绕视图的有利应用。
[0173]参考图20，示出了用于提供对象2000的视觉搜索的过程的一个实例，其中搜索查询包含对象的环绕视图，且所搜索的数据包含二维图像。在2002处，接收包含第一环绕视图的视觉搜索查询。接着，在2004处从环绕视图选择对象视图。特定地说，一个或多个二维图像是选自环绕视图。因为此类对象视图将与二维存储图像进行比较，所以选择多个视图可增加找到匹配的机率。此外，从环绕视图选择一个或多个对象视图可包含选择提供对象的相异特性的辨识的对象视图。
[0174]在本实例中，接着在2006处比较对象视图与所存储图像。在一些实施例中，可从所存储环绕视图提取所存储图像中的一或多者。在一些实例中，可从数据库取回此类所存储环绕视图。在各个实例中，比较一或多个对象视图与所存储图像包含比较环绕视图中的对象的形状与所存储图像。在其它实例中，比较一或多个对象视图与所存储图像包含比较环绕视图中的对象的外观与所存储图像。此外，比较一或多个对象视图与所存储图像包含比较环绕视图中的对象的结构与所存储图像。在一些实施例中，比较一或多个对象视图与所存储图像包含比较环绕视图中的对象的背景与所存储图像。当然，用于比较的此类准则中的任一者可彼此结合使用。
[0175]接着，在2008处确定任何所存储图像是否对应于对象视图。一旦作出此确定，在2010处产生匹配结果的排名列表。根据各个实施例中，此排名列表可包含显示匹配结果的缩略图。在一些实例中，可包含到零售店的链接连同缩略图。此外，在一些应用中可包含关于匹配结果的信息(例如名称、品牌、价格、来源等)。
[0176]参考图21，示出了视觉搜索过程2100的实例。在本实例中，在2102处获得图像。此类图像可由用户捕捉或从所存储文件取出。接着，根据各个实施例，基于图像产生环绕视图。此环绕视图接着用作在2104处提交的视觉搜索查询。在此实例中，环绕视图可用于回答例如“数据库中的哪些其它对象看起来像查询对象”的问题。如所说明，环绕视图可归因于其更好的语义信息能力帮助将视觉搜索范例从寻找其它“看起来像查询的图像”转变为寻找其它“看起来像查询的对象”。如上文关于图19和20所述，接着可比较环绕视图与所存储环绕视图或图像且可在2106处提供匹配结果的列表。
[0177]虽然视觉搜索的先前实例包含使用环绕视图作为搜索查询，但是在一些实施例中提供对二维图像的搜索查询也可能是有利的。参考图22，示出了用于提供对象2200的视觉搜索的过程的实例，其中搜索查询包含对象的二维视图，且所述搜索的数据包含环绕视图。在2202处，接收包含待搜索的对象的二维视图的视觉搜索查询。在一些实例中，从对象环绕视图获得二维视图，其中对象环绕视图包含对象的三维模型。接着，在2204处比较二维视图与环绕视图。在一些实例中，可比较二维视图与环绕视图中的一或多个内容视图。特定地说，可比较二维视图与提取自来自不同视角的环绕视图的一或多个二维图像。根据各个实例，提取自环绕视图的二维图像对应于提供内容的相异特性的辨识的视角。在其它实例中，比较二维视图与一或多个环绕视图包含比较二维视图与一或多个内容模型。可使用各种准则以比较图像或模型，例如对象的形状、外观、结构及背景。当然，用于比较的此类准则中的任一者可彼此结合使用。
[0178]参考图23，示出了可用于实施本发明的特定实例的计算机系统的特定实例。例如，计算机系统2300可用于提供根据上述各个实施例的环绕视图。根据特定实例实施例，适用于实施本发明的特定实施例的系统2300包含处理器2301、存储器2303、接口 2311及总线2315 (例如，PCI总线)。接口 2311可包含分离的输入及输出接口，或可为支持这两种操作的统一接口。当在适当软件或固件的控制下作用时，处理器2301负责例如优化的此类任务。也可使用各种具体配置的装置来取代处理器2301或除处理器2301之外还可使用各种具体配置的装置。完整的实施方案也可在定制硬件中进行。接口 2311通常经配置以通过网络发送及接收数据分组或数据片段。装置支持的接口的特定实例包含以太网接口、帧中继接口、电缆接口、DSL接口、令牌环接口等。
[0179]此外，可提供各种极高速接口，例如快速以太网接口、千兆以太网接口、ATM接口、HSSI接口、POS接口、H)DI接口等。通常，此类接口可包含适用于与适当媒体通信的端口。在一些情况中，其还可包含独立处理器，且在一些实例中包含易失性RAM。独立处理器可控制此类通信密集型任务，例如分组交换、媒体控制及管理。
[0180]根据特定实例实施例，系统2300使用存储器2303以存储数据及程序指令并维持本地端高速缓冲存储器。程序指令可控制(例如)操作系统及/或一或多个应用程序的操作。(若干)存储器还可经配置以存储所接收的元数据及分批请求的元数据。
[0181]因为此类信息及程序指令可用来实施本文描述的系统/方法，所以本发明涉及有形、机器可读媒体，其包含用于执行本文描述的各种操作的程序指令、状态信息等。机器可读媒体的实例包含硬盘、软盘、磁带、光学媒体(例如CD-ROM光盘及DVD);磁-光媒体(例如光盘)及经具体配置以存储及执行程序指令的硬件装置(例如只读存储器(ROM)及可编程只读存储器(PROM))。程序指令的实例包含例如由编译器产生的机器码及含有可通过计算机使用解译器执行的较高层级代码的文件。
[0182]虽然上文为了方便起见以单数描述许多组件及过程，但是所属领域技术人员将明白，也可使用多个组件及重复过程以实践本发明的技术。
[0183]虽然已特别参考本发明的特定实施例示出并描述了本发明，但是所属领域技术人员将了解，可在不脱离本发明的精神或范围的情况下对所揭示的实施例作出形式及细节上的改变。因此预期本发明被解译为包含落在本发明的真正精神及范围内的所有变动及等效物。
【主权项】
1.一种方法，其包括: 获得对象的第一环绕视图，所述第一环绕视图对应于所述对象的多视图交互式数字媒体表示，其中所述第一环绕视图包含第一层及第二层，其中所述第一层包含第一深度且所述第二层包含第二深度； 从所述第一环绕视图选择所述第一层，其中选择所述第一层包含选择所述第一深度内的数据； 施加效果于所述第一环绕视图内的所述第一层以产生经修改第一层;及 产生包含所述经修改第一层及所述第二层的第二环绕视图。2.根据权利要求1所述的方法，其中所述第一环绕视图进一步包含第三层，所述第三层包含第三深度。3.根据权利要求2所述的方法，其中所述第二环绕视图是使用所述经修改第一层、所述第二层及所述第三层产生。4.根据权利要求1所述的方法，其中所述第一层包含对象。5.根据权利要求4所述的方法，其中所述对象是人。6.根据权利要求1所述的方法，其中所述第一层包含动态场景元素。7.根据权利要求1所述的方法，其中所述效果是模糊滤波器。8.根据权利要求7所述的方法，其中所述效果是灰阶滤波器。9.根据权利要求1所述的方法，其中所述效果包含以第一速度移动所述第一层，其中所述第二层是以第二速度移动，且其中所述第一速度不同于所述第二速度。10.根据权利要求1所述的方法，其中所述第一环绕视图包含第三层，且其中所述第二环绕视图省略所述第三层。11.根据权利要求1所述的方法，其中选择所述第一层是在无用户输入的情况下自动地执行。12.根据权利要求1所述的方法，其中所述对象显示在装置上，其中所述对象的视角是通过将所述装置倾斜及旋转而操控。13.根据权利要求12所述的方法，其中所述对象的所述视角是通过将所述装置沿对应于所述对象的相同轴的轴旋转而操控。14.根据权利要求1所述的方法，其中所述对象显示在装置上，其中所述对象的视角是通过扫视显示器而操控。15.一种计算机可读媒体，其包括: 用于获得对象的第一环绕视图的计算机代码，所述第一环绕视图对应于所述对象的多视图交互式数字媒体表示，其中所述第一环绕视图包含第一层及第二层，其中所述第一层包含第一深度且所述第二层包含第二深度； 用于从所述第一环绕视图选择所述第一层的计算机代码，其中选择所述第一层包含选择所述第一深度内的数据； 用于施加效果于所述第一环绕视图内的所述第一层以产生经修改第一层的计算机代码;及 用于产生包含所述经修改第一层及所述第二层的第二环绕视图的计算机代码。16.根据权利要求15所述的计算机可读媒体，其中所述第一环绕视图进一步包含第三层，所述第三层包含第三深度。17.根据权利要求16所述的计算机可读媒体，其中所述第二环绕视图是使用所述经修改第一层、所述第二层及所述第三层产生。18.根据权利要求15所述的计算机可读媒体，其中所述第一层包含对象。19.根据权利要求15所述的计算机可读媒体，其中所述第一层包含动态场景元素。20.—种系统，其包括: 用于获得对象的第一环绕视图的构件，所述第一环绕视图对应于所述对象的多视图交互式数字媒体表示，其中所述第一环绕视图包含第一层及第二层，其中所述第一层包含第一深度且所述第二层包含第二深度； 用于从所述第一环绕视图选择所述第一层的构件，其中选择所述第一层包含选择所述第一深度内的数据； 用于施加效果于所述第一环绕视图内的所述第一层以产生经修改第一层的构件； 及 用于产生包含所述经修改第一层及所述第二层的第二环绕视图的构件。
【文档编号】G06T19/00GK105849781SQ201480070202
【公开日】2016年8月10日
【申请日】2014年11月12日
【发明人】S·J·J·霍尔泽, S·D·米勒, R·B·鲁苏
【申请人】扉时公司