在增强现实系统中动态保留情景要素的制作方法

在增强现实系统中动态保留情景要素的制作方法
【专利说明】在増强现实系统中动态保留情景要素
优先权申请的所有主题通过引用的方式以这些主题没有与本文不一致的程度并入本文中。
技术领域
[0001]本说明书涉及数据采集、数据处理和数据显示技术。

【发明内容】

[0002]—实施例提供了一种系统。在一个实施方案中，系统包括但不限于:用于接收与增强现实设备的视野的项目、方面或要素中的至少一个相关联的用户请求的电路；用于确定至少一个项目、方面或要素的第一呈现(presentat1n)相对于所述增强现实设备的所述视野具有能用于用户交互的有限时间段的电路；以及用于响应于用于确定至少一个项目、方面或要素的第一呈现相对于所述增强现实设备的所述视野具有能用于交互的有限时间段的电路的至少一个输出来维持所述第一呈现或提供基本相似的第二呈现中的至少一种的电路。除了前述，在构成本公开的部分的权利要求书、附图以及文本中还描述了其它系统方面。
[0003]在一个或多个不同的方面，关联的系统包括但不限于，用于实现本文谈及的方法方面的电路和/或编程；该电路/或编程实际上可以是被配置成根据系统设计者的设计选择实现本文谈及的方法方面的硬件、软件和/或固件的任意组合。
[0004]在一个或多个不同的方面，关联的系统包括但不限于，用于实现本文谈及的方法方面的计算装置和/或编程；该计算装置/或编程实际上可以是被配置成根据系统设计者的设计选择实现本文谈及的方法方面的硬件、软件和/或固件的任意组合。
[0005]—实施例提供了一种计算机实施的方法。在一个实施方案中，该方法包括但不限于:接收与增强现实设备的视野的项目、方面或要素中的至少一个相关联的用户请求；确定至少一个项目、方面或要素的第一呈现相对于所述增强现实设备的所述视野具有能用于用户交互的有限时间段；以及响应于确定至少一个项目、方面或要素的第一呈现相对于所述增强现实设备的所述视野具有能用于交互的有限时间段来维持所述第一呈现或提供基本相似的第二呈现中的至少一种。除了前述，在构成本公开的部分的权利要求书、附图以及文本中还描述了其它方法方面。
[0006]—实施例提供了包括计算机程序产品的制品。在一个实施方案中，该制品包括但不限于由一个或多个指令配置的信号承载介质，该一个或多个指令涉及:接收与增强现实设备的视野的项目、方面或要素中的至少一个相关联的用户请求；确定至少一个项目、方面或要素的第一呈现相对于所述增强现实设备的所述视野具有能用于用户交互的有限时间段；以及响应于确定至少一个项目、方面或要素的第一呈现相对于所述增强现实设备的所述视野具有能用于交互的有限时间段来维持所述第一呈现或提供基本相似的第二呈现中的至少一种。除了前述，在构成本公开的部分的权利要求书、附图以及文本中还描述了其它计算机程序产品方面。
[0007]—实施例提供了一种系统。在一个实施方案中，该系统包括但不限于计算设备和指令。该指令在计算设备上执行时使该计算设备来:接收与增强现实设备的视野的项目、方面或要素中的至少一个相关联的用户请求；确定至少一个项目、方面或要素的第一呈现相对于所述增强现实设备的所述视野具有能用于用户交互的有限时间段；以及响应于确定至少一个项目、方面或要素的第一呈现相对于所述增强现实设备的所述视野具有能用于交互的有限时间段来维持所述第一呈现或提供基本相似的第二呈现中的至少一种。除了前述，在构成本公开的部分的权利要求书、附图以及文本中还描述了其它系统方面。
[0008]除上述之外，在教导，例如，本公开的文本(例如，权利要求书和/或【具体实施方式】)和/或附图中阐述并描述了各种其他方法和/或系统和/或程序产品方面。
[0009]上述内容是概要并且因此可以包含细节的简化、概括、包含和/或省略；因此，本领域技术人员应当理解该概要仅仅是说明性的，并且不是旨在以任何方式限制。通过本文阐述的教导将明白本文描述的设备和/或方法和/或其他主题的其他方面、特征和优点。
【附图说明】
[0010]现在参照图1，图示了增强现实设备的多个实例。
[0011]图2图示了增强现实设备及其照相机的视角的真实世界视野。
[0012]图3图示了一个实施例，其中用户与系统交互以选择、拖动或放置书的增强现实呈现。
[0013]图4图示了在增强现实系统中用于选择、拖拽和放置的系统的实例，其中实施例或许可以在设备中实施并且/或者通过网络实施，这可以作为用于介绍本文所述的一种或多种方法和/或设备的背景。
[0014]现在参照图5，示出了表示与在增强现实系统中选择、拖拽和放置相关的示例的操作的操作流程的实例，这可以用作介绍本文所述的一种或多种方法和/或设备的背景。
[0015]图6图示了图5的示例的操作流程的可供选择的实施例。
[0016]图7图示了图5的示例的操作流程的可供选择的实施例。
[0017]图8图示了图5的示例的操作流程的可供选择的实施例。
[0018]图9图示了图5的示例的操作流程的可供选择的实施例。
[0019]图10图示了图5的示例的操作流程的可供选择的实施例。
[0020]图11图示了图5的示例的操作流程的可供选择的实施例。
[0021]图12图示了图5的示例的操作流程的可供选择的实施例。
[0022]现在参照图13，示出了表示与在增强现实系统中选择、拖拽和放置相关的示例的操作的操作流程的实例，这可以用作介绍本文所述的一种或多种方法和/或设备的背景。
[0023]现在参照图14，示出了表示与在增强现实系统中选择、拖拽和放置相关的示例的操作的操作流程的实例，这可以用作介绍本文所述的一种或多种方法和/或设备的背景。
[0024]图15图示了在增强现实系统中用于动态保留情景要素的系统的实例，其中实施例或许可以在设备中实施并且/或者通过网络实施，这可以作为用于介绍本文所述的一种或多种方法和/或设备的背景。
[0025]图16-18图示了不能动态保留增强现实系统中的情景要素的情形。示出了用户尝试并未能选择显示的移动的人的实例。
[0026]图19-23图示了能动态保留增强现实系统中的情景要素的情形。示出了用户尝试并成功选择并与之交互的显示的(初始)移动的人的实例。
[0027]现在参照图24，示出了表示与在增强现实系统中动态保留情景要素相关的示例的操作的操作流程的实例，这可以用作介绍本文所述的一种或多种方法和/或设备的背景。
[0028]图25图示了图24的示例的操作流程的可供选择的实施例。
[0029]图26图示了图24的示例的操作流程的可供选择的实施例。
[0030]图27图示了图24的示例的操作流程的可供选择的实施例。
[0031]图28图示了图24的示例的操作流程的可供选择的实施例。
[0032]现在参照图29，示出了表示与在增强现实系统中动态保留情景要素相关的示例的操作的操作流程的实例，这可以用作介绍本文所述的一种或多种方法和/或设备的背景。
[0033]图30图示了图29的示例的操作流程的可供选择的实施例。
[0034]在不同附图中使用相同的符号通常表示相似或相同的项目，除非上下文另有指不O
【具体实施方式】
[0035]在人们通过增强现实设备(例如，专用增强现实设备(如Google Glass眼镜)、智能手机、数字照相机、便携式摄像机和平板电脑)交互的世界中，增强现实显示屏或界面在真实世界提供了上面覆盖一个或多个计算机生成的对象、数字图像或功能的窗口。在结构上和语义上，增强现实用户界面从根本上响应于物理接近用户设备的物理状态。物理现实的方面通常呈现在屏幕上；然而，即使它们未呈现在屏幕上，它们通常也在一定程度上影响屏幕上发生的情况。这可能与虚拟现实形成对照，在虚拟现实中，用户的感觉通常被提供完全计算机生成的主题或环境，如同人造感觉机制。
交叉现实拖放
[0036]出于对读者的礼貌并且参照本文的附图，一般“100系列”的附图标记通常指的是图1首先引入/描述的项目，“200系列”的附图标记通常指的是图2首先引入/描述的项目，“300系列”的附图标记通常指的是图3首先引入/描述的项目，等等。
[0037]在以下详细描述中，参照构成本发明的一部分的附图。在附图中，相似的符号通常标识相似的组件，除非上下文中另有说明。【具体实施方式】、附图和权利要求书中描述的示例性实施例并不意味着限制。在不脱离本文公开的主题的精神或范围的情况下，可以利用其他实现方案，并且可以进行其他修改。
[0038]作为背景，传统的计算机屏幕“桌面”区域包括允许强大的图形对象操作的拖放功能和环境。这通常涉及(I)源，(2)对象，和(3)目的地。这三要素可以确定拖拽过程的操作语义。
[0039]在增强现实情形中，如本文所述，用户可以从真实世界执行拖拽操作到增强现实(“AR”)视野或显示屏中，并且反之亦然。例如，如果用户在书店戴着AR眼镜，则用户就可以看到在眼镜上显示的AR购物车。用户然后可以在书店找到书架上真实的书，指着真实的书，取下或者以其他方式将书的增强现实呈现放入AR购物车中。当用户到达收银台或登记以购买书时，用户可以从购物车抓取AR书，将其放在真实的收银机上，书店可以在真实的收银机启动点支付，并且完成交易。用户也可以选择将物理的书快递给自己或者作为别人的礼物的选项，和/或递送电子书到装置。
[0040]又如，用户坐在家里的起居室可以查看他的AR设备，该设备上显示例如与Netflix视频在功能上链接的DVD堆层的增强现实呈现。用户可以触碰并抓取视频的增强现实呈现，例如，星球大战，并将其拖拽到起居室的电视机上，从而通知Netflix开始在(已联网的)电视上播放星球大战的视频流，同时用户的Netflix账号中注释用户何时在什么设备上只看什么内容。在某些情况下，这可能涉及信用卡账号或银行帐号的关联的记账。
[0041]又如，用户在电影院大厅可以看到明年上映的星球大战冒险故事的最新介绍的电影海报。用户可以抓取电影海报的增强现实呈现到他的增强现实显示屏上的增强现实愿望清单上，从而更新例如他的Netflix队列以计划通知该电影何时上映，并且/或者Netflix上何时可供观察。
[0042]在每个这些实例中，照相机或其他检测器将识别并标记动作的来源，换句话讲，“拖拽”的起始。这是待拖拽的对象。接着照相机或其他检测器将监视“拖拽”或远离源对象的动作，并且最终照相机或其他检测器将识别或标记目的地或“放置”。这是增强现实呈现将前往的重要位置。用户可以明确地标记动作的每个端点，例如，通过声音、触摸(AR设备的或对象的)、姿势或其他信号。
[0043]与计算机桌面环境上的传统拖放不同，不仅有识别步骤，而且用户指向仅有有限数量的可用目标(用于约束识别问题)的屏幕上的事物。在一个实施例中，约束可以是电影播放器应用(例如，hulu或Netflix)在AR设备或另一个设备(如接近用户的电视)上运行。又如，如果例如kindle设备之类的电子阅读器在购书体验期间正在运行，那么这可以用作约束以告知系统在识别步骤期间查找环境中的书。
[0044]识别预期的对象通常来自通过AR设备观察情景的照相机的图像数据进行。可以考虑用户所处的语境。例如，AR设备可以识别书店的类型或者项目的系列，例如，书或DVD ;或者甚至对象的不同系列，例如，杂货店的项目。
[0045]语音可以用于在拖拽对象之前通知用于将其“抓取”的正确识别。也可以使用标记拖拽开始的其他方式，例如，触摸对象、点击对象、触摸AR设备本身的敏感部分，例如按钮或触摸屏，和/或做出已经预编程在AR设备中以告诉系统已经做出用于拖拽的选择的姿势。
[0046]在一个实施例中，语音可以单独用于拖放增强现实呈现。
[0047]在另一个实施例中，眼睛跟踪可以用于辨别、识别并选择用户正在看什么，跟踪运动的弧线，拖拽或传送以及辨别、识别并选择放置的目的地。
[0048]如本文所用，“增强”、“虚拟”或“增强现实呈现”可以指的是添加到真实屏幕的显示屏上的事物，例如，计算机生成的图像。
[0049]在一个实施例中，系统可以包括手持式增强现实设备，其具有至少一个传感器(例如，照相机)、至少一个用于用户输出的图像显示屏以及至少一个用于用户输入的触摸屏(或其他类似装置)。按照用户的指示，增强现实设备可以激活并显示增强现实情景，其包括真实界面对象(例如，由增强现实设备的照相机成像的对象)以及至少一个对象的增强现实呈现。
[0050]在一个实施例中，检测并选择(例如，通过第一姿势、语音命令或一些其他预定的方法)增强现实显示屏中的真实界面对象，然后使其在增强现实界面中移动(例如，增强现实设备使用第二姿势、语音命令或一些其他的预定方法来跟踪运动)作为对象的增强现实(或虚拟)呈现，保持第一真实界面对象未改动，或者从情景中去除第一真实界面对象。响应于选择和移动增强现实界面中的真实界面对象，在增强现实界面中呈现用于放置对象的增强现实呈现的至少一个目的地，可能接近真实界面对象。显示屏上用于放置的目的地可以包括在一些情况下当放置对象时会传达对象的增强现实呈现的功能的缩略图、图标或者一些其他符号。目的地图标或符号表示可以放置(例如，通过第三姿势、语音识别或一些其他预定方法)真实界面对象的呈现的对象。
[0051]例如，假设用户正在看零售店中的增强现实情景。她将看到商店中的真实对象(例如，书、微波炉和家用器皿)以及增强现实显示屏中的虚拟对象(例如，产品注释以及无论她走到哪里都跟着她的购物车)。如果她想购买一本书，她就看着书架，在增强现实界面内，她可以用手势“拾取”真实的牛津英语字典的全部十二卷的呈现，拖拽，并将它们的增强现实呈现放置到她的虚拟购物车中用于结算，此时她可以决定例如购买真实的书或书的电子副本或两者。
[0052]在另一个实施例中，选择(例如，通过第一姿势、语音命令、触摸或一些其他预定的方法)增强现实显示屏中的虚拟界面对象，然后使其在增强现实界面中移动(通过第二姿势、语音命令或一些其他的预定方法)。响应于选择和移动增强现实界面中的虚拟界面对象，在增强现实界面中接近真实界面对象可以呈现至少一个真实界面对象。增强现实界面中的每个真实界面对象表示可以放置(例如，通过第三姿势、语音识别或一些其他预定方法)虚拟界面对象的对象。
[0053]例如，假设你正在观察你的家庭娱乐室的增强现实情景。你看到该室内所有的真实对象(例如，电视机、桌子、沙发、书架等等)叠加着增强(例如，你拥有的数字电影的列表，或许由电视机的桌子上的一堆虚拟DVD表不)。你想看你拥有的一部数字James Bond电影，所以在增强现实界面内，你拾取虚拟的Goldfinger DVD，拖拽，并且将其放置在真实的电视机屏幕上。接着真实的电视机上将开始播放电影(或者它可以覆盖着真实的电视机的增强，所以仅用户能看到，或者两种情况都可以)。
[0054]又如，朋友给用户一张照片，用户想把它发布到她的社交网络主页上，例如，她的Facebook主页。她可以用手势或语音选择照片，拖拽所得的照片的增强现实呈现到她的增强现实设备的角落的FBb图标上，并将其放置在那以登录她的Facebook主页作为照片的数字副本去向的目的地。这对于待添加到Pinterest的图像、将要添加到个人电子日记的笔记以及其他个人数据存储库具有类似的工作过程。
[0055]出于对读者的礼貌并且参照本文的附图，一般“100系列”的附图标记通常指的是图1首先引入/描述的项目，“200系列”的附图标记通常指的是图2首先引入/描述的项目，“300系列”的附图标记通常指的是图3首先引入/描述的项目，等等。
[0056]在以下详细描述中，参照构成本发明的一部分的附图。在附图中，相似的符号通常标识相似的组件，除非上下文中另有说明。【具体实施方式】、附图和权利要求书中描述的示例性实施例并不意味着限制。在不脱离本文公开的主题的精神或范围的情况下，可以利用其他实现方案，并且可以进行其他修改。
[0057]图1示出了可用于与用户进行增强现实交互的几个设备。这些设备包括具有平板照相机屏幕102的平板设备100、具有智能照相机屏幕1