基于相机取景器中识别的内容生成和渲染运动图形效果的制作方法

基于相机取景器中识别的内容生成和渲染运动图形效果
1.相关申请的交叉引用
2.本技术是于2020年9月16日提交的标题为“generating and rendering motion graphics effects based on recognized content in camera view finder(基于相机取景器中识别的内容生成和渲染运动图形效果)”的美国非临时专利申请no.16/948,384的继续申请，并要求其优先权，其要求于2019年9月18日提交的美国临时专利申请no.62/901,904的优先权，其公开内容通过引用整体并入本文。
3.本技术还要求于2019年9月18日提交的美国临时专利申请no.62/901,904的优先权，其公开内容通过引用整体并入本文。
技术领域
4.本文档总体上涉及用于基于在取景器中识别内容来生成包括在相机取景器的视觉场景中的元素的运动图形的方法。


背景技术：

5.诸如智能电话和平板电脑的电子设备继续演进并向消费者提供新的和/或改进的功能性能。例如，这样的设备可以使用设备中包括的相机捕获视觉场景。这种使用人工智能、计算机视觉和/或机器学习的设备可以标识给定视图内的内容并提供(例如，获得)关于所标识内容的信息。然而，存在用于为给定视觉场景内的内容提供与用户相关的信息的附加方法的可能性。


技术实现要素：

6.一个或多个计算机的系统可以被配置成借助于具有在系统上安装的软件、固件、硬件或它们的组合来执行特定操作或动作，该软件、固件、硬件或它们的组合在操作中使该系统执行动作。一个或多个计算机程序可以被配置成借助于包括指令来执行特定操作或动作，所述指令在由数据处理装置执行时使该装置执行动作。
7.在一个总体方面，提供了一种用于描绘ar内容的计算机实现的方法。该方法可以包括由电子设备接收在描绘由电子设备板载的相机捕获的多帧实时视觉场景的查看窗口内的视觉场景，由电子设备标识视觉场景的多个元素，由电子设备并基于在视觉场景中标识的多个元素，检测与多个元素中的至少一个相关联的至少一个图形指示符，由电子设备检测与至少一个元素相关联的至少一个边界，以及在查看窗口中并且基于对至少一个图形指示符的检测在检测到的边界内生成增强现实(ar)运动图形。响应于确定与至少一个元素相关的内容可用，该方法可以包括检索该内容并且在查看窗口内视觉地指示对至少一个元素的ar跟踪控件。
8.实施方式可以包括以下方面中的任意一个或所有方面。在一些实施方式中，该方法还包括响应于确定与至少一个元素相关的内容不可用而消散ar运动图形。在一些实施方式中，ar运动图形包括在至少一个图形指示符的位所处发起并扩展到边界的动画效果，该
动画效果包括在检测到的边界内呈现的移动元素。
9.在一些实施方式中，ar跟踪控件是播放按钮，该播放按钮被配置成在查看窗口中发起对内容的沉浸式ar体验，并且该方法可以进一步被配置成从访问电子设备的用户接收在播放按钮上的输入触发沉浸式ar体验的执行。
10.在一些实施方式中，检测到的边界限定至少一个元素的边缘，所限定的边缘被配置成包含ar运动图形到视觉场景的一部分。在一些实施方式中，图形指示符是标志，并且ar运动图形包括在检测到的边界内呈现的多个动画和非重叠形状。在一些实施方式中，至少一个元素是虚拟对象并且检测到的边界限定虚拟对象的表面。在一些实施方式中，至少一个元素是虚拟对象并且检测到的边界限定虚拟对象的体积。在一些实施方式中，检索到的内容是基于电子设备的地理位所。
11.所描述的技术的实施方式可以包括硬件、方法或过程、和/或计算机可访问介质上的计算机软件。在附图和以下描述中阐述了一种或多种实施方式的细节。从描述和附图以及从权利要求中，其他特征将是显而易见的。
附图说明
12.图1a-1b描绘可以使用这里描述的方法来分析和修改的视觉场景。
13.图2是图示根据示例实施方式的被配置成采用本文所述的方法的系统的框图。
14.图3a、3b、3c、3d和3e是示意性地图示根据示例实施方式的电子设备的用户界面(ui)的图。
15.图4a、4b、4c和4d是图示根据示例实施方式的为视觉场景生成增强现实(ar)运动图形效果的序列的图。
16.图5是根据本文描述的实施方式的利用由相机捕获识别的标志触发的动画视觉场景来实施用户体验(ux)的示例过程的流程图。
17.图6是可用于实现本文描述的技术的计算设备和移动计算设备的示例。
18.各种附图中相同的参考符号指示相同的元件。
具体实施方式
19.此文档描述了用于为视觉场景的各方面生成运动图形效果的示例方法。运动图形效果可以基于检测到显示视觉场景的电子设备的视觉显示器内的一个或多个图形指示符(例如，诸如图标、标志、闪光、启示、数据、按钮、图形、动画、图像等的内容)而被触发。运动图形效果可以是在场景中检测到此类图形指示符时立即(实时)生成和/或渲染的增强现实(ar)效果和内容。检测可以通过(或访问)显示视觉场景和图形指示符的电子设备板载的相机来执行。
20.一般而言，本文描述的运动图形效果可以为检测到的用户界面(ui)内容(例如，标志、图标、内容、元素、对象等)提供视觉反馈。视觉反馈可以向电子设备的用户指示附加内容和/或信息可用于呈现。在一些实施方式中，视觉反馈可以指示附加内容和/或信息正在被下载、流式传输和/或以其他方式获得以在电子设备上呈现给用户。在一些实施方式中，图形指示符被打印(例如，在物理世界中)或渲染(在虚拟世界中)在特定对象上。
21.本文描述的系统可以包括运动图形效果作为在电子设备的显示屏上描绘的视觉
指示，同时生成、检索或以其他方式获得关于在视觉场景中的与视觉场景中的识别的内容(例如，图形指示符)相一致的元素的特定信息。运动图形效果可以包括但不限于亮化项目、放大项目、淡入或淡出项目、使与检索到的与一个或多个图形指示符(例如，标志)和/或其他2d或3d视觉效果等相关联的内容相一致的视觉场景的部分模糊(例如，变暗)。
22.本文描述的系统和方法可以检测(例如，识别)特定场景内和电子设备处的图标、标志或其他元素，例如，以触发本文描述的视觉反馈的生成。图标、标志或其他元素可以与和电子设备(例如，在电子设备上执行的软件中的嵌入组件)相关联的品牌、指示符或数据相关。图标、标志或其他元素可以与和电子设备相关联的相机的取景器内的查看项目或对象相关联的品牌、指示符或数据相关。
23.通过为可在设备的屏幕内显示的ar内容提供有界周长或有界体积，本文描述的系统和方法可以提供优于传统系统的优势。例如，这里描述的系统和方法可以确保特定的ar内容不会过度扩展到场景中的其他内容或元素。在一些实施方式中，本文描述的系统可以利用虚拟对象边界或边缘、屏幕边界、文本边界或边缘和/或其他可检测的表面、体积或形状来确保ar内容是有界的。在一些实施方式中，可以基于场景中元素之间的对比效果和/或纹理变化来确定边界。
24.本文描述的系统和方法可以通过向用户提供附加内容可用和可访问的指示来提供优于传统系统的优点。指示可以是用户友好且非侵入性的图形，同时向用户传达可以访问附加的上下文相关内容。通过使用边界，可以启用直观且更有效的用户交互，例如，可以允许在更短的时间帧内履行某些任务。这可以节省时间，并且进而节省电池消耗。
25.通常，本文描述的方法可以使用电子设备来实现，诸如智能手机、平板电脑、增强现实(ar)和/或虚拟现实(vr)眼镜/耳机、膝上型计算机等。例如，可以在电子设备上提供用户体验(ux)(例如，作为相关联的运动图形效果功能性的一部分)，其中ux可以被配置成显示由相机捕获真实世界内容生成的视觉场景和在捕获场景期间检测电子设备的视窗(view window)中的一个或多个识别的标识(例如，标志、图形、标记、商标、品牌、图像、徽章、字符、符号、动画等)。被识别的标志可以表示能够识别特定想法、产品、名称、人、设备等的公开标识的符号。在一些实施方式中，标志可以被表示为与特定对象或内容相关联的唯一标记。在一些实施方式中，标志可以表示为可由本文所述电子设备中的相机检测和读取的机器可读代码(例如，qr码、条形码等)。
26.例如，本文描述的系统和方法可以使用检测到的(例如，和识别的)标志来标识电子设备的视觉显示内的在视图显示中描绘的场景中感兴趣的项目(例如，元素)。感兴趣的项目可能关于预限定和/或识别的标志(例如，图形、标记、商标、品牌、图像、徽章、字符、符号、动画等)。例如，预限定和/或识别的标志可以与和感兴趣的项目相关的附加内容相关联，并且可以在系统识别标志时检索这样的附加内容。在一些实施方式中，基于电子设备的地理位所(例如，通过电子设备的定位系统——例如，gps——确定)来检索附加内容。在一些实施方式中，基于在电子设备板载的相机的取景器中捕获标志，可以预限定标志以对应于可以在电子设备的显示器中检索和显示给用户的内容。
27.在本文描述的示例实施方式中，计算机视觉和/或机器学习可用于标识(查找、定位等)和识别视觉场景中的个别元素(例如，标志)以提供由电子设备接收、可访问电子设备等的附加内容。在一些实施方式中，这样的视觉场景可以是由电子设备的相机捕获(即，动
态捕获)的多帧、实时视觉场景(例如，视频)。在一些实施方式中，视觉场景可以是存储在电子设备上或提供给电子设备的单帧图像(例如，照片)的形式。标识视觉场景的元素可以包括对视觉场景执行文本识别和/或图像识别。此外，电子设备(例如，与一个或多个其他设备结合工作)可以基于识别的文本、识别的对象(例如，日志)、视觉场景的地理位所(地理定位)(例如，由包括在电子设备中的地理位置设备确定)和/或诸如用户输入的其他信息(使用机器学习、人工智能等)确定视觉场景的上下文。例如，可以基于在视觉场景中识别的文本与已知词汇的比较、在视觉场景中标识的对象(例如，标志)与已知图像的数据库的比较和/或与视觉场景相关联的地理位置等来确定视觉场景的上下文。
28.例如，用户可以使用电子设备的相机来捕获(查看等)图书馆中书中的图像。使用这里描述的方法，可以分析书籍的图像，包括识别书中的文本、标志、图像等。将识别出的文本、标志和/或图像与已知的词汇/内容/数据进行比较可以指示文本、标志和/或图像描绘了书中可以访问的附加信息或其他内容。将识别出的标志(或书中包括的其他图像)与已知图像进行比较可以匹配与特定标志相关联的已知图像(或内容)。基于前述分析，电子设备可以匹配特定的标志，这可以触发与标志和/或场景中示出的元素(例如，书)相关联的附加/辅助数据的检索。在此描述的系统和方法可以确定附加数据的放置并且可以确定在附加数据在电子设备的屏幕上显示给用户之前可以向用户显示的任何运动图形效果的放置和大小调整。
29.如上所述，并且在下面进一步讨论，在一些实施方式中，电子设备可以包括允许用户查看视觉场景(例如，实时、多帧视图、单帧照片视图等)的ux，并选取用户希望标识(亮化、展开等)或移除(模糊、变暗等)的视觉场景的元素(例如，通过选择标志宣称检索附加内容的意图)。ux可以被配置成向用户提供具有与用户宣称的意图相一致(例如，与一个或多个标识的标志相一致)的视觉指示的各自视觉场景的视图(例如，在电子设备的显示器上的ux内)。
30.在描绘运动图形和/或其他ar内容之前，电子设备可以分析各自的视觉场景以标识该视觉场景的个别元素(例如，标志、文本、文本的分组、对象等)。在识别特定元素(例如，标志、文本、文本的分组、对象等)后，可以在ui中的视觉场景的视图中描绘一个或多个视觉指示(亮化、图标、模糊、变暗等)，同时电子设备获得与识别的元素相对应的相关信息。在一些实施方式中，电子设备可以与电子设备可访问的一个或多个服务器一起操作以获得相关信息。在获得与所识别的元素对应的相关信息后，可以将视觉指示替换为相关信息，该相关信息可以呈现在电子设备的显示器中。
31.如上所述，计算机视觉、机器学习和/或人工智能可以被用于标识、分割和跟踪包括在视觉场景中的元素，以及确定(例如，解释、理解)视觉场景的上下文。下面关于图2讨论用于执行这种机器学习的示例方法。这些实施方式是通过示例进行讨论的，并且目的是为了说明，并且可以使用其他机器学习方法。特定的机器学习方法将至少部分取决于特定的实施方式、被分析的特定图像或视觉场景等。
32.在一些实施方式中，实现本文描述的技术的电子设备可以与一个或多个其他设备结合操作，诸如一个或多个服务器计算机(例如，互联网服务器、数据库服务器等)或其他适当的设备，诸如下面关于图6描述的那些。这种设备可以帮助检索和/或提供场景中特定元素和/或项目的附加信息。
33.图1a描绘了可以使用本文描述的方法来分析和修改的视觉场景100a。用户102被示为使用电子设备104准备在与设备104的板载相机相关联的取景器中捕获视觉场景100a的元素。视觉场景100a表示其中用户可以四处走动的物理场景。视觉场景100a还包括多个元素，其至少包括海报106、书108、桌子110和书柜112。可以在任何特定场景中描绘任何数量的元素。一个或多个元素可以包括图形指示符，该图形指示符可以被捕获图形指示符的视图的电子设备识别。对此类图形指示符的识别可以触发运动图形、文本和ar内容的生成、放置和显示，以提供关于场景中描绘的元素(或其他内容)的补充信息。
34.给定视觉场景100a的特定元素将取决于特定实施方式。使用在此描述的方法，视觉场景100a可以例如由电子设备104上板载的相机捕获，或者可以以其他方式提供给设备104。特定元素可以包括可以由电子设备104板载的相机识别的一个或多个图形指示符(例如，图标、标志、闪光、启示、数据、按钮、图形、动画、图像、视频等)。例如，图形指示符114是与书108中的内容相关联的图标。在另一示例中，海报106包括冲浪板118上的图形指示符116(例如，#bg)。视觉指示符116可以是表示制造海滩相关产品的品牌(例如，beach gear)的标志。海报106可以是与标志#bg有关的广告内容(例如，图形指示符116)。电子设备104可以识别场景中的任何或所有图形指示符(例如，标志114和标志116)。识别这些标志可以触发与图形指示符相关联的信息的检索和显示。
35.在操作中，电子设备104(例如，使用图2的元件)可以接收电子设备104的屏幕(例如，查看窗口、取景器等)中的任何或所有视觉场景100a。一般而言，电子设备可以使用板载相机以在电子设备104的屏幕中呈现多帧实时视觉。然后电子设备104可以分析视觉场景100a以标识任意数量的元素、视觉指示符、vr和/或ar内容等。
36.如图1b所示，用户102正在访问电子设备104并且在设备104的屏幕(例如，查看窗口)中捕获海报106的一部分120。在部分120中，标志116(例如，#bg)被捕获。标志可以是图形指示符，如本公开通篇所使用的。图形指示符可以与海报106和可从一个或多个来源检索的其他内容或信息相关联。这里，电子设备可以检测(例如，并且识别)标志。在检测和识别标志116时，电子设备104可以确定和/或检测与海报106相关联的至少一个边界(例如，边界122)。然后可以向用户视觉地指示边界122。如这里所示，边界122是虚线。然而，在操作中，电子设备104可以从已识别的海报106(或从已识别的标志116)开始边界并且向外移动边界直到已识别的边缘、颜色变化、纹理变化或其他视觉指示符以结束边界。
37.然后设备104可以在设备104的查看窗口中在检测到的边界内生成ar运动图形124(例如，点/圆圈)。其他ar/vr运动图形也是可能的。ar运动图形124可以包括动画效果(例如，点增长、闪烁、闪耀等)。ar运动图形124可以在至少一个图形指示符(例如，标志116)的位所处发起并且可以扩展到边界122，如点126和128所示。这样的运动图形可以用于指示附加的信息/内容可用于元素(例如，冲浪板118)和识别的图形指示符(例如，标志116)。可以在设备104检索附加信息/内容的同时显示运动图形。响应于确定信息/内容可用于海报106、冲浪板118和/或标志116，电子设备104可以检索这样的信息/内容并且可以视觉地指示(例如，渲染、显示、提供等)设备104的查看窗口内的海报106、冲浪板118或标志116上的ar跟踪控件(例如，播放按钮、可选择的对象、触发器等)。
38.图2是根据本文描述的实施方式的用于横越增强现实(ar)体验的示例电子设备200的框图。一般而言，设备200可以是(或有权访问)电子设备，该电子设备可以生成增强现
实(或混合现实)环境并在电子设备200板载的相机202的取景器中提供ui元素和视觉场景201，随着用户接近物理空间中的特定对象。ui元素可以包括贯穿本公开描述的图标、标志或其他图形指示符。
39.在一些实施方式中，设备200是由用户在物理空间中操作的移动设备。移动设备可由访问内容(例如，在相机202的取景器中捕获的内容)的用户使用。使用移动设备访问内容可以包括检测和/或选择取景器内的元素以触发与所访问的内容有关的附加内容的显示。例如，当设备200检测到相关信息可能可用(例如，在服务器设备处、在移动设备上的本地存储器处或在其他设备处)时，ar内容、vr内容和/或混合现实(mr)内容可以从服务器设备、从移动设备上的本地存储器或从连接到或有权访问可访问设备200的网络的其他设备访问。在一些实施方式中，ar内容、vr内容和/或mr内容可以在电子设备200上本地访问。然后另外的相关内容可以通过网络访问并且在电子设备200上提供。
40.在操作中，电子设备200可以检测图形指示符，诸如图标，确定其中在表面和/或体积上呈现内容，生成和显示关于表面和/或体积的图形效果(例如，视觉反馈、视觉指示和/或动画)，并呈现与图形指示符相对应的相关信息。在一些实施方式中，电子设备200可以确定相关信息对于特定检测到的图形指示符(例如，图标)不可用。在这样的示例中，设备200可以触发初始运动图形214并且然后可以在确定相关信息不可用于显示时减弱或淡出图形。
41.如图2中所示，电子设备200包括用户界面系统204。用户界面系统204至少包括ui元素生成器206、输出设备208和输入设备210。ui元素生成器206至少包括图形指示符212、运动图形214和ar内容216。一般来说，ui元素生成器206可以生成图形指示符212(例如，图标、标志、闪光、启示、数据、按钮、图形、动画、图像、视频等)、2d或3d ar运动图形214和/或2d或3d ar内容216。在一些实施方式中，ui元素生成器206可以访问边界检测器218以确定对象、表面和/或其他内容的边界和/或边缘。边界检测器218可以被用于在ar环境中放置图形指示符212、ar运动图形214和/或ar内容216。
42.在一些实施方式中，ar运动图形214可以包括具有一个或多个动画对象或文本(例如，移动元素)、材料设计过渡、波纹等的动画效果，呈现为在通过边界检测器218检测到的检测边界内的ar运动图形。在一些实施方式中，动画效果包括从中心、边缘或其他位所开始以推送的擦除效果和/或从这些位所的动画内容或效果。
43.在一些实施方式中，ui元素生成器206将ui元素(例如，图形指示符212、ar运动图形214和/或ar内容216)生成为特定形状、表面、对象、闪光、启示、点、像素等等。例如，可以基于特定图形指示符212和预定义图形之间的预定连接来生成ar运动图形214。即，如果图形指示符212是产品标志，则预定义图形可以包括例如通过生成向中心位所提供3d波纹的图形来配置表面以接收产品。在下载产品图像并完成图形之后，然后可以将产品放置在中心。
44.输出设备208可以包括例如用于视觉输出的显示器、用于音频输出的扬声器等。输入设备210可以包括例如可以接收触觉用户输入的触摸输入设备、可以接收可听用户输入的麦克风等。
45.设备200还包括跟踪系统220。跟踪系统220可以跟踪ar环境中的用户移动、电子设备移动和/或vr/ar对象移动。跟踪系统220至少包括手势检测器222、ar应用225、图形指示
检测器224，并且可以利用神经网络226进行预测性跟踪等。
46.神经网络226可以包括对图像进行操作以计算例如面部位所、对象位所、ar内容位所等的检测器，以便于当用户(或内容)在物理空间中移动时对移动用户(或相机202的取景器中的移动内容)的预测位所进行建模。例如，此类网络226可以被用于相对于在相机馈送中捕获的移动用户放置ar/mr内容。在一些实施方式中，设备200不使用神经网络226。
47.ar内容216可以包括流式传输或分发到一个或多个计算设备的音频/视频信号。ar内容216还可以包括ar应用程序225和/或在设备200上运行(执行)以生成3d场景、音频信号和/或视频信号的其他应用程序和算法(或从其检索到)。ar内容216可以分发或发送到一个或多个计算设备，诸如电子设备200。在示例实施方式中，ar内容216、图形指示符212以及/或者运动图形214包括三维场景、事实、可执行内容、评论、地址详情、基于时间的列表、书段落、参考资料和/或图像、视频和在设备200上本地或通过网络(未示出)检索的其他交互式内容。
48.在一些实施方式中，ar应用225可以提供对象表面数据228。例如，ar应用225可以确定在电子设备200的相机202的取景器中呈现的对象的面积和/或体积。这样的确定可以用于评估相机202的取景器中对象的哪些部分(或其他详情)可以以ar内容216和/或运动图形214覆盖。在一些实施方式中，ar内容216和/或运动图形214可以包括与图形指示符212有关的数据。例如，这样的数据可以表示通过第三方信息提供者经由ar应用225提供的数据，包括但不限于广告、事实、可执行内容、指令、方向、意见、和/或选项。在一些实施方式中，数据可以表示使用内容检索器230从互联网收集的数据，例如，关于相机202的取景器中的物理位所或物理对象的数据。在一些实施方式中，数据可以表示使用深度机器学习和/或神经网络226经由人工智能算法收集的信息来生成并向访问电子设200的用户提供可操作的选项和信息。
49.电子设备200还可以包括一个或多个处理器，包括但不限于中央处理单元(cpu)和/或图形处理单元(gpu)和/或数字信号处理器(dsp)232、存储器234。设备200的任何元件可以包括(或被编程有)存储在存储器234中并由处理器232执行(例如，以实现系统204、220和传感系统236的ux/ui或其他功能)的机器可读指令。
50.设备200还包括感测系统236。在操作中，电子设备200还可以包括任何数量的传感器和/或设备。例如，设备200可以包括(或可以访问)例如光传感器、惯性测量单元(imu)传感器238、音频传感器240、图像传感器242、图像分析器244、深度传感器246(例如，生成深度数据248)、相机202、距离/接近传感器(未示出)、位置传感器(未示出)和/或其他传感器和/或传感器的不同组合。包括在电子设备200中的一些传感器可以提供设备200的位置检测和跟踪。设备200的一些传感器可以提供物理环境的图像的捕获以显示在用户界面系统204的组件上。
51.imu传感器238可以用作基于由imu传感器238进行的测量来检测电子设备200在3d空间中的3d定向。imu传感器238可以包括一个或多个加速度计、陀螺仪、磁力计、和其他此类传感器。通常，例如，imu传感器238可以检测电子设备的运动、移动、速度和/或加速度。在一些实施方式中，例如，可以基于由imu传感器238提供的数据来检测电子设备200的姿势。基于检测到的姿势，电子设备200可以更新在设备200的屏幕中描绘的内容以例如，当设备移动时反映电子设备200的改变的姿势。
52.例如，图像传感器242可以检测与相机捕获以及内容在相机202的取景器内的移动相关联的背景数据的变化。相机202可以包括后向捕获模式和前向捕获模式。前向捕获模式可以捕获包括任何背景风景的用户。电子设备200可用于检测移动并在用户随电子设备200移动时提供特定ui元素，并在对应于移动的位所中适当地描绘ar内容。
53.ar应用225可以使用图像分析器244和/或图像缓冲器(未示出)以基于图形指示符212和任何相关内容(诸如ar内容216)生成用于在电子设备200上显示的图像。例如，由相机202捕获的一个或多个图像可以存储在图像缓冲区中，以供用户在捕获和存储的图像内放置图像内容和/或ar内容。图像分析器244可以确定图像的各种属性，诸如ar内容可以被定位在其上的对象位所和ui表面。在一些实施方式中，图像分析器244可以分析由相机202捕获的图像，作为搜索和获得与由捕获到的图像表示的数据的附加相关信息的基础。设备200可以利用这种相关信息来提供与ar环境中呈现的特定对象和/或图形指示符212相关联的相关事实、媒体和其他ui内容。
54.深度数据248可以由一个或多个深度传感器246捕获。例如，深度传感器246可以捕获深度数据248以在ar内容在电子设备200上的2d和/或3d呈现中使用。此类深度传感器246可以被视为连同ar应用程序225一起的感测系统236中的深度捕获组件的一部分，以用于表征由相机202捕获的场景以便于在3d显示器上正确地表示它们。跟踪系统220可以跟踪用户头部的位置和定向，使得可以用与用户当前的视点相对应的外观来渲染3d呈现。
55.多种类型的深度感测或深度捕获中的任意一种可以被用于生成深度数据248。与来自相机202的捕获到的内容相关联的检测信号可被处理以生成对应于一些或全部场景的深度数据248。深度数据248可以被用于评估如何放置特定运动图形214和/或图形指示符212。例如，深度数据248可以指示特定3d图形可在场景中的特定位所内被动画化。类似地，深度数据248可以被用于为场景中的动画生成的图形放置控件或其他访问点。
56.深度数据248可以包括或基于关于反映深度传感器(例如，深度传感器246)和场景中的对象之间的距离的场景的任何信息。深度数据248针对与场景中的对象对应的图像中的内容反映到对象的距离(或深度)。例如，相机202和深度传感器246之间的空间关系可以是已知的，并且可以用于将由相机241捕获的图像与来自深度传感器246的信号相关以生成用于图像、场景和/或相机馈送的深度数据248。深度数据248可以被用于确定特定对象和/或运动图形的边界。
57.gps 250可以为电子设备200提供全球定位检测。可以使用gps250确定用户的位所。可以经由gps 250确定场景中和场景外用户周围的位所。ar应用225可以基于经由gps 250检索的数据提供图形指示符212、运动图形214和/或附加的ar内容216。
58.(在电子设备200上操作的)设备200还可以包括控制系统252。控制系统252可以包括例如功率控制设备、音频和视频控制设备、光学控制设备和/或其他此类设备和/或设备的不同组合。
59.用户界面系统204、跟踪系统220、感测系统236和/或控制系统252可以包括更多或更少的设备，这取决于特定的实施方式，并且这些系统中的每一个可以具有与图2中示出的不同的物理布置。设备200还可以包括一个或多个处理器(例如，与系统204、220、236和/或252通信的cpu/gpu/dsp 232、存储器234、相机202和通信模块254。通信模块254可以提供电子设备200和其他外部设备之间的通信。处理器232被配置成执行指令(例如，计算机程序)
以执行特定任务。在一些实施方式中，处理器232中的至少一个执行暴露深度密集ui元素的交互性以向访问电子设备200内的ar环境的用户提供图形指示符212、运动图形214和ar内容216的指令。存储器234可以在电子设备200中的组件当中的整个通信和交互中被利用。
60.此外，电子设备200可以使用或访问一个或多个vr/ar/mr外围设备(未示出)。示例外围设备可以包括任何数量的控制器、计算设备、头戴式显示设备、相机、扬声器、跟踪系统和/或与电子设备200通信的其他设备。
61.图3a、3b、3c、3d和3e是示意性地图示根据示例实施方式的电子设备300的ui 302的图。在一些实施方式中，设备300可以用于实现图1a和图1b的设备104。设备300可以是根据图2的设备200。在图3a-3e中，描述了用于实现用户体验(ux)的示例方法，其具有由相机捕获识别的标志或其他符号触发的动画化的视觉场景。在一些实施方式中，在设备104中发生的ux可以是ui元素生成器206的操作的一部分，并且允许控制ui元素生成器206的操作，诸如实现本文描述的方法。
62.在图3a-3e的每一个中，仅示出了示例ui 302的一部分。例如，在图3a-3e，图示了ui 302的上部(顶部)。在其他ui和/或ux实施方式中，此类元素或其他元素的其他布置是可能的。
63.如图3a中所示，ui 302包括场景304，该场景304包括第一元素306、第二元素308和图形指示符310(例如，标志)。随着设备300用板载相机捕获场景元素，图形指示符310可以被电子设备300识别。识别图形指示符，诸如指示符310，可以触发要在ui 302中描绘的附加效果。
64.参考图3b，在识别视觉指示符310之后示出ui 302的示例。在此示例中，电子设备300识别场景304中的视觉指示符310并且标识元素306和308。因为元素308与视觉指示符310相关联，所以设备300可以确定用于描绘与元素308和/或指示符310有关的任何附加内容的有关边界。例如，设备300可以确定或检测元素308的3d边界并且可以指示这样的边界，如虚线312所示，其限定元素308的体积。
65.这里，设备300可以通过在指示符310处开始边界并且使边界增长以吞没或限定整个元素308来生成这样的限定的边界312。在一些实施方式中，设备300可以通过选择单个表面并使用例如图形效果、动画效果、线条效果、照明效果等将该表面指示为限定的边界为元素308生成限定的边界。在一些实施方式中，元素308可以是虚拟对象和检测到的边界312限定虚拟对象的体积。
66.在限定边界时，设备300可以在检测到的边界内生成ar运动图形效果314，如图3c中所示。ar运动图形314可以包括在至少一个图形指示符(例如，图3b中的指示符310)的位所处发起的动画效果并且可以扩展到边界312。在一些实施方式中，图形指示符310是标志并且ar运动图形314包括在检测到的边界内呈现的多个动画和非重叠形状，如图1b中的点126所示。
67.如图3d中所示，并且响应于确定与元素308相关的内容可用，电子设备300可以检索内容316并且在设备300的查看窗口内的元素308上视觉地指示ar跟踪控件318。设备300的用户可以选择控件318来访问附加信息/内容316。在一些实施方式中，边界312被配置成确保内容316和控件318保持在元素308内。
68.在一些实施方式中，ar跟踪控件318是播放按钮，其被配置成在设备300的查看窗
口中发起对内容的沉浸式ar体验。访问电子设备300的用户可以在播放按钮(例如，控件318)处提供输入以触发沉浸式ar体验的执行。在一些实施方式中，ar跟踪控件318可以经由沉浸式ar体验自动执行本文描述的图形效果。在一些实施方式中，ar跟踪控件318可以基于眼神接触、头部运动、位所检测和/或用户手势来触发这样的效果。
69.在一些实施方式中，附加内容或相关内容可能不可用于特定的识别标志(例如，视觉指示符310)。在这样的示例中，电子设备300可以确定没有内容可用并且作为响应，可以消散ar运动图形效果314。这样的消散可以导致在没有附加内容、边界或图形的情况下呈现场景304，如图3e中所示。
70.图4a、4b、4c和4d是图示为视觉场景生成ar运动图形效果的示例序列的图。场景100a(图1a)的一部分400被示出为用户102使用电子设备104来捕获桌子110上的书108的视图。这里，设备104捕获图形指示符402(例如，在书108中的标志)。
71.在图4a-4d中，描述了用于实现用户体验(ux)的示例方法，其具有由相机捕获识别的标志或其他符号触发的动画视觉场景。在一些实施方式中，在设备104中发生的ux可以是ui元素生成器206的操作的一部分，并且允许控制ui元素生成器206的操作，诸如实现本文描述的方法。在图4a-4d的每一个中，仅示出了示例场景100a的一部分。在其他ui和/或ux实施方式中，此类元素或其他元素的其他布置是可能的。
72.如图4a中所示，场景部分400包括第一元素(书108)和第二元素(桌子110)。任何数量的附加元素、对象、文本、应用或其他ui内容都是可能的。场景部分400包括图形指示符402(例如，标志)。随着设备104用板载相机捕获场景元素，图形指示符402可以被电子设备104识别。识别图形指示符，诸如指示符402，可以触发要在场景部分400中呈现的ui中描绘的附加效果。
73.参考图4b，在识别视觉指示符402之后示出了场景部分400的示例。在此示例中，电子设备104识别视觉指示符402并且标识元素108和110。因为元素(例如，书108)与视觉指示符402相关联，所以设备104可以确定相关边界404用于描绘任何额外的与书108和/或指示符402相关的内容。例如，设备104可以确定或检测元素108的3d边界并且可以指示这样的边界，如虚线404所示，其限定书108的表面。
74.这里，设备104可以通过在图形指示符402(例如，图标、标志)处开始边界并且使边界增长以吞没或限定块108的整个表面来生成这样的限定边界404。在一些实施方式中，书108可以是被描绘用于在设备104的查看窗口中的视图的虚拟对象，并且在此描述的指示符402和其他效果可以应用于虚拟对象(作为ar内容)。例如，限定的边界404可以被检测为虚拟对象书108的边缘(或表面)。然后边界404可以被配置成包含(例如，限制到边界)任何应用的ar运动图形。
75.在限定边界时，设备104可以在书108的检测边界内生成ar运动图形效果406/408，如图4c中所示。ar运动图形406/408可以包括在至少一个图形指示符(例如，图4b中的指示符402)的位所处发起的动画效果并且可以扩展到边界404。
76.在此示例中，设备104生成移动书108中已经存在的内容的ar运动图形406/408。在图4c中，水408已经从图4b中描绘的水位所移动。类似地，树406已经从图4b中描绘的树位所移动。
77.如图4d中所示，并且响应于确定与元素108相关的内容可用，电子设备104可以检
索内容410并且在设备104的查看窗口内视觉地指示元素108上的ar跟踪控件412。设备104的用户可以选择控件412来访问附加信息/内容410。
78.图5是根据本文描述的实施方式的利用由相机捕获识别的标志触发的动画视觉场景来实施用户体验(ux)的示例过程500的流程图。过程500是关于图2中描述的电子设备和/或系统600的示例实施方式来描述的，但是应当理解，过程500可以由具有其他配置的设备和系统来实现。
79.在框502处，过程500可以包括由电子设备接收查看窗口内的视觉场景，该视觉场景描绘了由电子设备板载的相机捕获的多帧实时视觉场景。例如，电子设备200可以接收由板载相机捕获的视觉场景201。在一些实施方式中，视觉场景201还包括与相机捕获的内容组合的附加ar和/或vr内容。
80.在框504处，过程500可以包括由电子设备标识视觉场景的多个元素。例如，电子设备200可以标识场景部分400中的诸如书本108和桌子110之类的元素。标识这些元素可以由边界检测器218、图形指示符检测器224、图像传感器242、ar应用225、和/或深度传感器246单独或者组合地执行。
81.在框506处，过程500可以包括由电子设备并且基于在视觉场景中标识的多个元素来检测与多个元素中的至少一个相关联的至少一个图形指示符。例如，电子设备200可以使用图形指示符检测器224来检测一个或多个图形指示符，诸如标志402。
82.在框508处，过程500可以包括由电子设备检测与至少一个元素相关联的至少一个边界。例如，电子设备200可以使用边界检测器218来检测书108或桌子110上的表面、边缘、体积或其他限定的位所。这样的边界可以用于在场景400中显示附加的ar内容。
83.在框510处，过程500可以包括在查看窗口中并且基于对至少一个图形指示符的检测在检测到的边界内生成ar运动图形。例如，电子设备200可以生成ar运动图形，诸如动画、虚拟对象或可以在例如限定的边界404内渲染的其他图形。ar运动图形可以指示正在下载附加信息。在一些实施方式中，ar运动图形对应于标志和关于标志的信息。在一些实施方式中，ar运动图形包括在捕获的场景内动画化场景元素。例如，书108包括可以在设备200检测到图形指示符402时动画化的图形。
84.在块512处，过程500可以包括响应于确定与至少一个元素相关的内容可用，检索内容并且在查看窗口内的至少一个元素上视觉地指示ar跟踪控件。例如，响应于确定这样的信息存在，电子设备200可以检索与指示符402相关联的内容和/或关于书108的信息。例如，设备200可以生成搜索查询以收集关于书108的信息。在另一个示例中，设备200可以例如从私有数据库中检索由图形指示符402编码的数据。在一些实施方式中，在检索任何或所有上述信息时，电子设备可以生成ar跟踪控件(例如，可选元素)，诸如检索链接412，以在用户希望查看此类信息时提供对信息的访问。可以在六个自由度中跟踪ar跟踪控件以确保控件可以在用户或设备200在物理世界中移动时在场景中移动。
85.图6示出示例计算机设备600和示例移动计算机设备650，其可以与本文描述的技术一起使用。关于计算机设备600和/或移动计算机设备650描述的特征可以包括在上述设备200中。计算设备600旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他适当的计算机。计算设备650旨在表示各种形式的移动设备，诸如，个人数字助理、蜂窝电话、智能电话和其他类似的计算
设备。此处所示的部件、它们的连接和关系以及它们的功能意味着仅是示例性的，并不意味着限制本文档中描述和/或要求保护的主题的实施方式。
86.计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和高速扩展端口610的高速接口608以及连接到低速总线614和存储设备606的低速接口612。部件602、604、606、608、610和612中的每一个都使用各种总线互连，并且可以安装在通用主板上或视情况以其他方式安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604或存储设备606中的指令，以在外部输入/输出设备——诸如耦合到高速接口608的显示器616——上显示gui的图形信息。在其他实施方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。同样，可以连接多个计算设备600，每个设备提供必要操作的部分(例如，作为服务器组、刀片服务器组或多处理器系统)。
87.存储器604将信息存储在计算设备600内。在一种实施方式中，存储器604是一个或多个易失性存储单元。在另一实施方式中，存储器604是一个或多个非易失性存储单元。存储器604也可以是另一种形式的计算机可读介质，诸如，磁盘或光盘。
88.存储设备606能够为计算设备600提供大容量存储。在一种实施方式中，存储设备606可以是或包含计算机可读介质，诸如，软盘设备、硬盘设备、光盘设备、磁带设备、闪存或其他类似的固态存储设备或设备阵列，包括存储区域网络或其他配置中的设备。计算机程序产品可以有形地体现在信息载体中。该计算机程序产品还可以包含在被执行时执行一种或多种方法(诸如，上述方法)的指令。信息载体是计算机或机器可读介质，诸如，存储器604、存储设备606或处理器602上的存储器。
89.高速控制器608管理计算设备600的带宽密集型操作，而低速控制器612管理较低带宽密集型操作。这种功能分配仅是示例性的。在一种实施方式中，高速控制器608(例如，通过图形处理器或加速器)耦合至存储器604、显示器616，以及耦合至可以接受各种扩展卡(未示出)的高速扩展端口610。在该实施方式中，低速控制器612耦合到存储设备606和低速扩展端口614。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口可以例如通过网络适配器耦合到诸如键盘、指示设备、扫描仪的一个或多个输入/输出设备或诸如交换机或路由器的网络设备。
90.计算设备600可以以多种不同的形式实现，如图所示。例如，它可以被实现为标准服务器620，或者在一组这样的服务器中被实现多次。它也可以实现为机架服务器系统624的一部分。此外，它还可以实现在诸如膝上型计算机622之类的个人计算机中。可替代地，来自计算设备600的部件可以与诸如设备650的移动设备(未示出)中的其他部件组合。每个这样的设备可以包含一个或多个计算设备600、650，并且整个系统可以由彼此通信的多个计算设备600、650组成。
91.除了其他部件之外，计算设备650包括处理器652、存储器664、诸如显示器654的输入/输出设备、通信接口666和收发器668。设备650还可以配备有存储设备，诸如，微驱动器或其他设备，以提供附加的存储。部件650、652、664、654、666和668中的每一个都使用各种总线互连，并且部件中的若干个可以安装在通用主板上或视情况以其他方式安装。
92.处理器652可以在计算设备650内执行指令，包括存储在存储器664中的指令。处理器可以被实现为包括单独的以及多个模拟和数字处理器的芯片的芯片组。处理器可以提供例如用于设备650的其他部件的协调——诸如对用户接口的控制、由设备650运行的应用以
及由设备650进行的无线通信。
93.处理器652可以通过控制接口658和耦合到显示器654的显示接口656与用户通信。显示器654可以是例如tft lcd(薄膜晶体管液晶显示器)或oled(有机发光二极管)显示器或其他合适的显示技术。显示接口656可以包括用于驱动显示器654向用户呈现图形和其他信息的适当电路。控制接口658可以从用户接收命令并且将它们转换以提交给处理器652。另外，可以提供与处理器652通信的外部接口662，以便实现设备650与其他设备的近区域通信。外部接口662可以例如在一些实施方式中提供用于有线通信，或者在其他实施方式中提供用于无线通信，并且也可以使用多个接口。
94.存储器664将信息存储在计算设备650内。存储器664可以被实现为计算机可读介质、易失性存储单元或一个或多个非易失性存储单元中的一个或多个。还可以提供扩展存储器674，并通过扩展接口672将其连接到设备650，扩展接口672可以包括例如simm(单列存储器模块)卡接口。这样的扩展存储器674可以为设备650提供额外的存储空间，或者还可以为设备650存储应用或其他信息。具体地，扩展存储器674可以包括用于执行或补充上述过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器674可以被提供为设备650的安全模块，并且可以用允许安全使用设备650的指令来编程。此外，可以经由simm卡以及附加信息——诸如以不可入侵的方式在simm卡上放置标识信息——来提供安全应用。
95.存储器可包括例如闪存和/或nvram存储器，如下所述。在一种实施方式中，计算机程序产品有形地体现在信息载体中。该计算机程序产品包含在被执行时执行一种或多种方法(诸如，上述方法)的指令。信息载体是计算机或机器可读介质，诸如，存储器664、扩展存储器674或处理器652上的存储器，其可以例如通过收发器668或外部接口662接收。
96.设备650可以通过通信接口666进行无线通信，该通信接口在必要时可以包括数字信号处理电路。通信接口666可以提供各种模式或协议下(诸如，gsm语音呼叫、sms、ems或mms消息收发、cdma、tdma、pdc、wcdma、cdma2000或gprs等等)的通信。这样的通信可以例如通过射频收发器668发生。此外，短距离通信可能发生，诸如，使用蓝牙、wi-fi或其他这样的收发器(未示出)。此外，gps(全球定位系统)接收器模块670可以向设备650提供其他与导航和位置相关的无线数据，设备650上运行的应用可以适当地使用上述数据。
97.设备650还可以使用音频编解码器660以听觉方式进行通信，该音频编解码器可以从用户接收语音信息并将其转换为可用的数字信息。音频编解码器660可以类似地诸如通过扬声器在设备650的听筒中为用户生成可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括记录的声音(例如，语音消息、音乐文件等)并且还可以包括由在设备650上运行的应用生成的声音。
98.如图所示，可以以多种不同形式来实现计算设备650。例如，它可以被实现为蜂窝电话680。它也可以被实现为智能电话682、个人数字助理或其他类似的移动设备的一部分。
99.本文描述的各种技术的实施方式可以以数字电子电路、或以计算机硬件、固件、软件或它们的组合来实现。可以将本文描述的各种技术实现为计算机程序产品，即，有形地体现在例如机器可读存储设备或传播的信号的信息载体中的计算机程序，以由数据处理装置——例如，可编程处理器、计算机或多台计算机——执行或控制数据处理装置的操作。可以以任何形式的编程语言，包括编译或解释语言，编写诸如上述计算机程序之类的计算机程序，并且可以以任何形式——包括作为独立程序或作为模块、部件、子例程或其他适合在
计算环境中使用的单元——来部署该计算机程序。可以将计算机程序部署为在一个站点处的一台计算机或多台计算机上执行，或分布在多个站点上并通过通信网络互连。
100.方法步骤可以由执行计算机程序以通过对输入数据进行操作并生成输出来执行功能的一个或多个可编程处理器来执行。方法步骤也可以由专用逻辑电路——例如，fpga(现场可编程门阵列)或asic(专用集成电路)——执行，并且装置可以实现为上述专用逻辑电路。
101.适合于执行计算机程序的处理器包括例如通用和专用微处理器以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的元件可以包括至少一个用于执行指令的处理器和一个或多个用于存储指令和数据的存储设备。通常，计算机还可包括一个或多个用于存储数据的大容量存储设备，例如，磁、磁光盘或光盘，或计算机可操作地耦合以从一个或多个大容量存储设备接收数据或将数据传输到一个或多个大容量存储设备，或两者都有。适合于体现计算机程序指令和数据的信息载体包括所有形式的非易失性存储器，例如包括半导体存储器设备，例如eprom、eeprom和闪存设备；磁盘，例如内部硬盘或可移动磁盘；磁光盘；以及cd-rom和dvd-rom磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。
102.为了提供与用户的交互，可以在具有用于向用户显示信息的显示设备——例如，阴极射线管(crt)或液晶显示器(lcd——监视器、和用户可以通过其向计算机提供输入的键盘和例如鼠标或轨迹球的指示设备的计算机上实现实施方式。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。
103.可以在包括后端部件——例如作为数据服务器，或者包括中间件部件——例如应用服务器，或者包括前端部件——例如具有用户通过其可与实施方式进行交互的图形用户界面或web浏览器的客户端计算机，或者包括这样的后端、中间件或前端部件的组合的计算系统中实现实施方式。部件可以通过例如通信网络的数字数据通信的任何形式或媒介互连。通信网络的示例包括局域网(lan)和广域网(wan)，例如，互联网。
104.可使用配置用于与包括用户设备、用户界面(ui)设备、用户终端、客户端设备或定制设备的用户接口的硬件和/或软件的任何适当组合来实现根据本文所述的示例实施例的计算设备。该计算设备可以被实现为便携式计算设备，诸如，例如膝上型计算机。该计算设备可以被实现为适于与用户接口的某种其他类型的便携式计算设备，例如，pda、笔记本计算机或平板计算机。可以将计算设备实现为适于与用户接口的某种其他类型的计算设备，例如，pc。该计算设备可以被实现为适于与用户接口并且适于通过包括移动通信网络的网络进行无线通信的便携式通信设备(例如，移动电话、智能电话、无线蜂窝电话等)。
105.计算机系统(例如，计算设备)可以被配置为使用包括适用于通过网络进行通信的射频(rf)、微波频率(mwf)和/或红外频率(irf)无线通信技术和协议的任何已知的无线通信技术和协议，经由与网络服务器建立的通信链路，通过网络与网络服务器无线地通信。
106.根据本公开的各个方面，可以在数字电子电路中，或在计算机硬件、固件、软件或它们的组合中实现本文描述的各种技术的实施方式。可以将实施方式实现为计算机程序产品(例如，有形地体现在信息载体、机器可读存储设备、计算机可读介质、有形计算机可读介
质中的计算机程序)，以用于通过数据处理装置(例如，可编程处理器、计算机或多台计算机)进行处理，或控制上述数据处理装置的操作。在一些实施方式中，有形的计算机可读存储介质可以被配置为存储指令，该指令在被执行时使处理器执行过程。可以以任何形式的编程语言(包括编译或解释的语言)编写诸如上述计算机程序之类的计算机程序，并且可以以包括作为独立程序或作为模块、部件、子例程或其他适合在计算环境中使用的单元的任何形式来部署该计算机程序。可以将计算机程序部署为在一个站点处的一台计算机或多台计算机上进行处理，或者分布在多个站点上并通过通信网络互连。
107.本文公开的特定结构和功能细节仅出于描述示例实施例的目的而具有代表性。然而，示例实施例可以以许多替代形式来体现，并且不应被解释为仅限于在此阐述的实施例。
108.本文所使用的术语仅出于描述特定实施例的目的，并且不旨在限制实施例。如本文所使用的，单数形式“一”，“一个”和“该”也意图包括复数形式，除非上下文另外明确指出。将进一步理解的是，当在本说明书中使用时，术语“包括(comprise)”，“包括(comprising)”，“包含(include)”和/或“包含(including)”规定了所述特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或其组的存在或添加。
109.将理解的是，当一个元件被称为“耦合”、“连接”或“响应”于另一个元件或在另一个元件“上”时，它可以直接被耦合、连接或响应，或者直接位于其上，也可以存在其他元件或中间元件。相比之下，当一个元件被称为“直接耦合”，“直接连接”或“直接响应”于另一个元件或“直接在”另一个元件“上”时，不存在中间元件。如本文所使用的，术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
110.为了便于描述，在本文中可以使用空间相对术语，诸如“在...下方”，“在...之下”，“在...下部”，“在...之上”，“在...上部”等，以描述如图所示的一个元件或特征与另一个元件或特征的关系。将理解的是，除了附图中描绘的定向之外，空间相对术语还意图涵盖设备在使用或操作中的不同方向。例如，如果图中的设备被翻转，则被描述为在其他元件或特征“之下”或“下方”的元件将被定向为在其他元件或特征“之上”。因此，术语“在
……
之下”可以涵盖上和下两个定向。可以以其他方式定向设备(旋转60度或在其他定向)，并且可以相应地解释本文中使用的空间相对描述符。
111.将理解，尽管在本文中可以使用术语“第一”，“第二”等来描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于区分一个元素和另一个元素。因此，在不脱离本实施例的教导的情况下，“第一”元件可以被称为“第二”元件。
112.除非另有定义，否则本文中使用的所有术语(包括技术和科学术语)具有与本发明概念所属领域的普通技术人员通常所理解的相同的含义。还将理解的是，诸如在常用词典中定义的那些术语应被解释为具有与它们在相关领域和/或本说明书的上下文中的含义一致的含义，并且将不会以理想化或过于正式的意义来解释，除非在此明确定义。
113.尽管已经如本文中所描述的那样说明了所描述的实施方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，将理解，所附权利要求旨在覆盖落入实施方式的范围内的所有此类修改和改变。应当理解，它们仅以示例而非限制的方式给出，并且可以进行形式和细节上的各种改变。除相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的
不同实施方式的功能、部件和/或特征的各种组合和/或子组合。
114.在一些实施方式中，计算设备650可以包括触摸屏。例如，用户可以通过特定方式与触摸屏交互，所述方式可以模仿触摸屏上发生的事情和ar空间中发生的事情。例如，用户可以用捏合式动作来缩放触摸屏上显示的内容。触摸屏上的这种捏合式动作会导致ar空间中提供的信息被放大。在另一个示例中，计算设备在计算机生成的3d环境中可以被渲染为虚拟书本。在ar空间中，可以在ar空间中显示书的页面，并且可将用户的手指滑过触摸屏解释为翻动/翻转虚拟书本的页面。随着每个页面的翻动/翻转，除了看到页面内容改变之外，还可以向用户提供音频反馈，诸如在书本中翻页的声音。
115.在一些实施方式中，可以在计算机生成的3d环境中渲染除计算设备之外的一个或多个输入设备(例如鼠标、键盘)。可以将所渲染的输入设备(例如，所渲染的鼠标、所渲染的键盘)用于在ar空间中渲染以控制ar空间中的对象。
116.计算设备600旨在表示各种形式的数字计算机和设备，包括但不限于膝上型计算机、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其他合适的计算机。计算设备650旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文所示组件、它们的连接和关系以及它们的功能仅仅是作为示例，而不是要限制本文档中描述和/或要求保护的主题的实施方式。
117.已经描述了许多实施例。然而，将会理解，可以在不脱离本说明书的精神和范围的情况下进行各种修改。
118.此外，附图所示逻辑流程并不要求所示的特定顺序或连续顺序来实现期望的结果。此外，可以向所示流程提供其他步骤，也可以从所示流程消除其他步骤，并且可以向所述系统添加其他组件，也可以从所述系统删除其他组件。因此，其他实施例落入所附权利要求的范围。
119.尽管已经如本文中所描述的那样说明了所描述的实施方式的某些特征，但是本领域技术人员现在将想到许多修改、替换、改变和等同物。因此，将理解，所附权利要求旨在覆盖落入实施方式的范围内的所有此类修改和改变。应当理解，它们仅以示例而非限制的方式给出，并且可以进行形式和细节上的各种改变。除相互排斥的组合之外，本文描述的装置和/或方法的任何部分可以以任何组合进行组合。本文描述的实施方式可以包括所描述的不同实施方式的功能、部件和/或特征的各种组合和/或子组合。