用于控制增强现实设备的装置和方法
【技术领域】
[0001]本公开内容总体上涉及用于控制增强现实设备的装置和方法。
【背景技术】
[0002]在移动设备显示器上用于增强现实的用户接口不够直观。与移动设备上的增强现实进行交互的传统方法，要求用户将设备很接近地指在目标上以增强内容并且触摸移动设备的显示器以用于进一步的控制。这要求在看显示器和看真实世界场景中的真实对象之间的经常的内容切换。因此，与增强现实交互的传统方法不够直观。因此，需要改进的与增强现实交互的方法以提高效率以及用户体验和控制。
[0003]利用先进的移动显示器(例如，被配置为显示内容的头戴式光学设备)，极大地扩大了视野。因此，用于指向和增强兴趣对象的高效的处理技术和不同种类的用户输入是对于增强现实系统有价值的特征。
【发明内容】
[0004]在本公开内容的一个方面，提供了一种装置、方法和计算机程序产品。所述装置检测在真实世界场景中的第一区域上的眼睛凝视，设置包围所述第一区域的边界，所述边界不包括真实世界场景中的至少第二区域，在所述边界内的所述第一区域上执行对象识别过程，以及禁止在所述至少第二区域上执行对象识别过程。
【附图说明】
[0005]图1是示出了被配置为显示内容的光学设备的图。
[0006]图2示出了真实世界场景。
[0007]图3示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0008]图4示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0009]图5示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0010]图6示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0011]图7示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0012]图8示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0013]图9示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0014]图10示出了用户通过光学设备的镜片正在观察到的真实世界场景。
[0015]图11是用于被配置为显示内容的光学设备的方法的流程图。
[0016]图12是用于被配置为显示内容的光学设备的方法的流程图。
[0017]图13是用于被配置为显示内容的光学设备的方法的流程图。
[0018]图14是用于被配置为显示内容的光学设备的方法的流程图。
[0019]图15是用于被配置为显示内容的光学设备的方法的流程图。
[0020]图16是用于被配置为显示内容的光学设备的方法的流程图。
[0021]图17是示出了在示例性装置中的不同模块/单元/部件的操作的概念上的流程图。
[0022]图18是示出了采用处理系统的装置的硬件实现方式的示例的图。
【具体实施方式】
[0023]下面结合附图所阐述的【具体实施方式】旨在作为对各种配置的描述，而不旨在表示可以实践本文描述的概念的唯一配置。出于提供对各种概念的透彻理解的目的，【具体实施方式】包括特定细节。然而，对于本领域技术人员而言将显而易见的是，可以在不具有这些特定细节的情况下实践这些概念。在一些实例中，以框图的形式示出公知的结构和部件，以避免模糊这些概念。
[0024]现将参照各种装置和方法来呈现用于控制增强现实设备的若干方面。这些装置和方法将在下面的【具体实施方式】中进行描述，并且在附图中通过各种块、模块、部件、电路、步骤、过程、算法等等(其统称为“元件”)来示出。可以使用电子硬件、计算机软件或者其任意组合来实现这些元件。至于这些要素是实现成硬件还是实现成软件，取决于具体的应用和对整个系统所施加的设计约束。
[0025]通过示例的方式，可以利用包括一个或多个处理器的“处理系统”来实现元件或元件的任意部分或元件的任意组合。处理器的示例包括被配置为执行贯穿本公开内容所描述的各种功能的微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑器件(PLD)、状态机、门控逻辑、离散硬件电路以及其它适当的硬件。在处理系统中的一个或多个处理器可以执行软件。无论软件被称为软件、固件、中间件、微代码、硬件描述语言还是其它，其应当被广义地将解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行的线程、过程、函数等。
[0026]因此，在一个或多个示例性实施例中，所描述的功能可以用硬件、软件、固件或者其任意组合来实现。如果用软件来实现，则可以将这些功能存储或编码为计算机可读介质上的一个或多个指令或代码。计算机可读介质包括计算机存储介质。存储介质可以是计算机能够存取的任何可用介质。通过示例的方式而不是限制的方式，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质。如本文中所使用的，光盘和磁盘包括压缩光盘(CD)、激光光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地复制数据，而光盘则利用激光来光学地复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
[0027]图1是示出了被配置为显示内容的光学设备100的图。如图1所示，光学设备100包括框102、镜腿部分104和106，以及安装在框102上的镜片108和110。该光学设备100还包括后置摄像头112和118、前置摄像头114和120以及传感器116和122。在一个方面，传感器116和122中的每个传感器可以包括用于检测手势的一个或多个接近度类型的传感器和用于检测语音命令的一个或多个麦克风。
[0028]在一个方面，光学设备100可以被配置为使用户能够以直观方式与日常环境交互的增强现实(AR)显示器(也称为“AR眼镜”或“头戴式显示器”)。在一种配置中，镜片108和/或镜片110可以由诸如玻璃或塑料之类的清澈或透明的材料形成，以允许用户在穿戴光学设备100时清晰地观察到真实世界场景。光学设备100可以被配置为使用本领域已知的方法通过镜片108和/或镜片110来投影诸如数字AR影像之类的内容。因此，用户在穿戴光学设备100时可以同时观察真实世界场景和所投影的数字内容。
[0029]在一个方面，参考图1，前置摄像头114和/或前置摄像头120可以捕捉用户的视野。后置摄像头112和/或后置摄像头118可以当用户通过镜片108和110观察真实世界场景的时候检测用户的眼睛凝视。用户通过镜片108和110所观察的真实世界场景的示例在图2中示出。如图2中所示，真实世界场景200包括前景中的汽车202，并且包括背景中的市场204、公交牌206和建筑物208。
[0030]图3示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景300。在图3中，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景300中汽车202所位于的区域上。光学设备100然后可以设置包围该区域的边界310。光学设备100可以在边界310内的区域上执行对象识别过程，并且可以禁止在边界310之外的区域上执行对象识别过程。
[0031]图4示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景400。在图4中，用户可以随着汽车202沿着公路422移动来凝视汽车202，而光学设备100可以随着眼睛凝视跟随移动的汽车202来检测用户的眼睛凝视。如图4所示，光学设备100可以最初在真实世界场景400中与所检测到的用户的眼睛凝视相对应的区域上设置边界409。然后光学设备100可以跟踪用户的眼睛凝视，以自动地在真实世界场景中与随着眼睛凝视跟随汽车202所检测到的用户的眼睛凝视相对应的区域上设置边界410。光学设备100然后可以在边界410内的区域上执行对象识别过程，并且可以禁止在边界410之外的区域上执行对象识别过程。
[0032]图5示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景500。在图5中，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景500中汽车202所位于的区域上。光学设备100然后可以设置包围该区域的边界510。光学设备100可以在边界510内的区域上执行对象识别过程，并且可以禁止在边界510之外的区域上执行对象识别过程。在一个方面，如果对象识别过程未能确定对象，则光学设备100可以自动地调节边界510的大小。例如，如图5所示，如果对象识别过程在边界510内不能识别汽车202，则光学设备100可以将边界510的大小增加到边界520的大小。在一种配置中，边界的大小可以以预先确定的量增加。例如，移动设备可以通过使原始边界的大小加倍来增加边界的大小。
[0033]在另一方面，如图6所示，光学设备100可以减小边界的大小。例如，如果光学设备100的电池电量水平较低并且光学设备100在节电状态下操作，那么光学设备100可以将真实世界场景600中的边界630减小到边界640的大小。在一种配置中，边界的大小可以以预先确定的量减小。例如，光学设备100可以将边界的大小减小到原始边界大小的一半。光学设备100然后可以在边界640内的区域上执行对象识别过程，并且可以禁止在边界640之外的区域上执行对象识别过程。因此，通过减小边界的大小并且在减小的边界内的区域上执行对象识别过程，光学设备100可以减小识别对象所需要的处理的量，并因此可以节约电池电量。
[0034]图7示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景700。在图7中，用户可以凝视公交牌206，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景700中公交牌206所位于的区域上。光学设备100可以设置包围该区域的边界710。光学设备100然后可以在边界710内的区域上执行对象识别过程，并且可以禁止在边界710之外的区域上执行对象识别过程。在一个方面，光学设备100可以调节如图8的真实世界场景800中所示出的边界710内的真实世界场景700的一部分的放大率(也称为“缩放”)。在一个方面，光学设备100可以响应于经由传感器116和/或传感器122所接收到的手势和/或语音命令来执行该放大。在一种配置中，手势可以是“捏拉缩放”手势。在另一方面，当用户的眼睛凝视的持续时间超过时间门限时，光学设备100可以执行该放大。在另一方面，当在边界710内的对象在超过时间门限之前被识别，光学设备100可以执行该放大以便于提供该对象的更好的视图。在一种配置中，光学设备100所显示的接近该对象的应用图标(在图8中未示出)也可以被放大。
[0035]图9示出了用户通过光学设备100的镜片108和110正在观察到的真实世界场景900。在图9中，用户可以凝视汽车202，而光学设备100可以使用后置摄像头112和/或后置摄像头118来检测到用户的眼睛凝视在真实世界场景900中汽车202所位于的区域上。光学设备100然后可以设置包围该区域的边界910。光学设备100可以显示包括一个或多个照片编辑工具的照片编辑界面912，照片编辑工具可以用于在利用前置摄像头114和/或前置摄像头120捕捉真实世界场景900的照片之前编辑边界910内的区域。例如，照片编辑工具可以包括艺术滤镜应用工具914和/或其它照片编辑工具，例如，剪贴画插入工具、颜色饱和度工具、深褐色调转换工具和黑与白转换工具。在一个方面，照片编辑工具可以响应于经由传感器116和/或传感器122所接收到的语音命令和/