用于虚拟现实中的基于上下文的应用分组的方法和装置与流程

文档序号:12594865阅读:185来源:国知局
本公开一般涉及头戴式显示器(head-mountabledisplay,HMD)。更具体的说,本公开涉及用于HMD的三维(3D)用户界面(UI)。
背景技术
::尽管HMD技术已经发展很长时间并且可穿戴技术产品越来越可见,但是缺乏一种用于虚拟现实(VR)应用和增强现实(AR)应用两者的HMD的专门的UI框架。当前HMD技术专注于主内容显示器(maincontentdisplay)的实施和处理,而对UI的关注很少。技术实现要素:提供了用于虚拟现实模式中的应用选择的方法。所述方法包括接收应用的选择。所述方法还包括确定用户设备的显示器是否处于虚拟现实模式。所述方法还包括,响应于用户设备处于虚拟现实模式,确定所选择的应用是否被包括在应用的分组(groupingofapplications)中。所述分组包括与所选择的应用有关的一个或多个应用。所述方法还包括,响应于所选择的应用被包括在应用的分组中,运行应用的分组。所述方法还包括将所运行的应用的分组提供给显示器。提供了用于虚拟现实模式中的应用选择的装置。所述装置包括存储器元件、显示器、和处理电路。存储器元件被配置为存储应用的分组。所述显示器被配置为显示应用的分组。处理电路被配置为接收应用的选择。处理电路还被配置为确定用户设备是否处于虚拟现实模式。处理电路还被配置为,响应于用户设备处于虚拟现实模式,确定所选择的应用是否被包括在应用的分组中。所述分组包括与所选择的应用有关的一个或多个应用。处理电路还被配置为,响应于所选择的应用被包括在应用的分组中,运行应用的分组。处理电路还被配置为将所运行的应用的分组提供给用户设备的显示器。从下面的附图、描述、和权利要求,本领域技术人员可以容易地清楚其它技术特征。在进行下面的详细描述之前,阐述贯穿本专利文档使用的一定词语和短语的定义可能是有利的。术语“耦合”和它的衍生词指代两个或更多个元素之间的任何直接或者间接通信,不管那些元素是否彼此物理接触。术语“发送”、“接收”、和“通信”以及它们的衍生词包含直接通信和间接通信两者。术语“包括”和“包含”以及它们的衍生词意味着包括但不限于。术语“或者”是包括性的,意味着和/或。短语“与...相关联”以及它的衍生词意味着包括、被包括在...内、与...互连、包含、被包含在...内、连接到...或者与...相连接、耦合到...或者与...耦合、可与...通信、与...协作、交织、并列、接近于、绑定到...或者与...绑定、具有、具有...属性、和...有关系或者与...有关系、等等。术语“控制器”意味着控制至少一个操作的任何设备、系统、或者它们的一部分。这样的控制器可以以硬件、或者硬件和软件的组合、和/或固件来实施。与任何特殊控制器相关联的功能可以是集中式的或者分布式的,无论在本地还是远程地。短语“...中的至少一个”当与一列项目一起使用时,意味着所列出的项目中的一个或多个的不同组合可以被使用,并且所述列中的仅仅一个项目可能被需要。例如,“A、B、和C中的至少一个”包括以下组合中的任何一个:A、B、C、A和B、A和C、B和C、以及A和B和C。而且,下面描述的各种功能可以通过一个或多个计算机程序来实施或支持,所述计算机程序中的每一个由计算机可读程序代码形成并且被具体实现在计算机可读介质中。术语“应用”和“程序”指的是被适配以便以合适的计算机可读程序代码来实施的一个或多个计算机程序、软件组件、指令集、程序、功能、对象、类、实例、相关数据、或者它们的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码,包括源代码、目标代码、和可执行代码。短语“计算机可读介质”包括能够被计算机存取的任何类型的介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频盘(DVD)、或者任何其它类型的存储器。“非瞬时性”计算机可读介质排除传输瞬时性的电信号或者其它信号的有线、无线、光学、或者其它通信链路。非瞬时性计算机可读介质包括数据可以被永久地存储在其中的介质和数据可以被存储在其中并且稍后被重写的介质,诸如可再写光盘或者可擦除存储器设备。贯穿本专利文档提供了其它一定词语和短语的定义。本领域普通技术人员应该理解,在许多实例(即使不是大多数实例)中,这样的定义适用于这样定义的词语和短语的现有使用和将来使用。附图说明为了能对本公开和它的优点有更完整的理解,现在参考结合附图的以下描述,其中类似的参考标号代表类似的部分:图1示出了根据本公开的实施例的示例HMD,并且本公开实施例可以在该HMD中被实施;图2示出了根据本公开实施例的示例HMD;图3示出了根据本公开实施例的HMD中的示例视图;图4示出了根据本公开实施例的多窗口视图;图5示出了根据本公开实施例的应用的分组;和图6示出了根据本公开实施例的虚拟现实模式下的应用选择的过程。具体实施方式下文所讨论的图1到6、以及本专利文档中用于描述本公开的原理的各种实施例只是以例示的方式,而不应该以任何方式解释为限制本公开的范围。本领域的技术人员将理解,本公开的原理可以在适当安排的系统或设备中被实施。图1示出了根据本公开实施例的、并且可以在其中实施本公开实施例的示例HMD100。图1中示出的HMD100的实施例只是为了例示,HMD100可以具有多种配置,并且图1不会将本公开的范围限制于HMD的任何特定实施方式。在各种实施例中,HMD100可以采取不同形式,并且本公开不会限制在任何特定形式。例如,HMD100可以是可安装在用于VR应用和/或AR应用的耳机(headset)内的移动通信设备,诸如,例如,移动设备、用户设备、移动台、用户站、无线终端、智能电话、平板计算机等等。在其它的示例中,HMD100可以包括耳机并且可以采取可穿戴电子设备的形式(诸如,例如,眼镜、护目镜、头盔等等)以用于VR应用和/或AR应用。如图1中所示,HMD100包括天线105、射频(RF)收发器110、发送(TX)处理电路115、麦克风120和接收(RX)处理电路125。HMD100还包括扬声器130、处理器140、输入/输出(I/O)接口(IF)145、触摸屏150、显示器155、存储器160以及一个或多个传感器165。存储器160包括操作系统(OS)161和一个或多个应用162。RF收发器110从天线105接收由用于网络(例如,WiFi、蓝牙、蜂窝网络、5G、LTE、LTE-A、WiMAX,或任何其它类型的无线网络)的接入点(例如,基站、WiFi路由器、蓝牙设备)发送的传入RF信号。RF收发器110将传入RF信号下变频以生成中频(IF)或基带信号。IF或基带信号被发送到RX处理电路125,RX处理电路125通过滤波、解码和/或数字化所述基带或IF信号来生成经处理的基带信号。RX处理电路125向扬声器130(例如针对音频数据)或向处理器140(诸如,针对网络浏览数据)发送经处理的基带信号以用于进一步处理。TX处理电路115从麦克风120接收模拟或者数字语音数据,或者从处理器140接收其它传出基带数据(诸如网络数据、电子邮件、或者交互式视频游戏数据)。TX处理电路115对所述传出基带数据进行编码、复用、和/或数字化以生成经处理的基带或者IF信号。RF收发器110从TX处理电路115接收传出的经处理的基带或者IF信号,并且将该基带或者IF信号上变频为经由天线105发送的RF信号。处理器140能够包括一个或多个处理器或者其它处理设备,并且运行存储在存储器160中的OS161以便控制HMD100的总体操作。例如,处理器140能够根据熟知的原理,通过RF收发器110、RX处理电路125、和TX处理电路115来控制正向信道信号的接收和反向信道信号的发送。在一些实施例中,处理器140包括至少一个微处理器或者微控制器。处理器140还能够运行驻留在存储器160中的其它进程和程序。处理器140能够按照正在运行的进程的要求,将数据移动到存储器160中或者将数据从存储器160移出。在一些实施例中,处理器140被配置为基于OS161或者响应于从eNB或运营商接收的信号,来运行应用162。处理器140还耦合到I/O接口145,其为HMD100提供连接到其它设备(诸如膝上型计算机和手持计算机)的能力。I/O接口145是这些附件和处理器140之间的通信路径。处理器140还耦合到触摸屏150和显示器155。HMD100的操作者能够使用触摸屏150来输入数据和/或输入到HMD100中。显示器155可以是液晶显示器、发光二极管(LED)显示器、光学LED(OLED)、有源矩阵OLED(AMOLED)、或者能够渲染诸如来自网站、视频、游戏等等的文本和/或图形的其它显示器。存储器160耦合到处理器140。存储器160的一部分能够包括随机存取存储器(RAM),而存储器160的另一部分能够包括快闪存储器或者其它只读存储器(ROM)。HMD100还包括一个或多个传感器165,其能够计量物理量或者检测HMD100的激活状态,并且将所计量的或者所检测的信息转换成电信号。例如,传感器165可以包括例如位于以下各项上的用于触摸输入的一个或多个按钮:耳机或者HMD100、相机、手势传感器、陀螺仪或者陀螺仪传感器、空气压力传感器、磁传感器或者磁力计、加速度传感器或者加速计、握持传感器、接近传感器、颜色传感器165H(例如,红绿蓝(RGB)传感器)、生物物理传感器、温度/湿度传感器、亮度传感器165K、紫外线(UV)传感器、肌电描记(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、IR传感器、超声传感器、虹膜传感器、指纹传感器等等。(多个)传感器165还能够包括用于控制包括在其中的传感器中的至少一个的控制电路。如将在下面更详细地讨论的,这些(多个)传感器165中的一个或多个可以用来控制UI、检测UI输入、确定用户的朝向和面对方向以用于3D内容显示识别等等。这些(多个)传感器165中的任何一个可以位于HMD100内,位于被配置为固定(hold)HMD100的耳机内,或者位于耳机和HMD100两者中(例如,在HMD100包括耳机的实施例中)。触摸屏150能够包括触摸板、(数字)笔传感器、按键、或者超声波输入设备。触摸屏150能够识别,例如,电容式方案、压敏式方案、红外线方案、或者超声波方案当中的至少一个方案中的触摸输入。触摸屏150还能够包括控制电路。在电容式方案中,触摸屏150能够识别触摸或者接近。如下面更详细地描述的,HMD100可以包括用于为HMD提供3DUI的电路和用于为HMD提供3DUI的应用。虽然图1示出了HMD100的一个示例,但是可以对图1做出各种改变。例如,图1中的各种组件可以被组合、被进一步划分、或者被省略,并且额外的组件可以根据特殊的需求而被添加。作为特定示例,处理器140可以被划分为多个处理器,诸如一个或多个中央处理单元(CPU)以及一个或多个图形处理单元(GPU)。并且,虽然图1示出了配置为移动电话、平板计算机、或者智能电话的HMD100,但是HMD100可以被配置为作为其它类型的移动设备或者固定设备来操作。图2示出了根据本公开的实施例的示例的HMD200。HMD200可以是如图1中所示的HMD100的一个配置的一个示例。如图所示,HMD200的仅仅一侧被示出。图3示出了根据本公开的实施例的HMD304中的示例的视图302。在图3中,用户正在佩戴HMD304并且正在看着视图302。视图302包括九十六度的观看角度。在不同的实施例中,其它观看角度能够被使用。本公开的各种实施例认识到并且考虑到具有大尺寸的(megasized)屏幕和九十六度的观看角度的HMD304允许用户感受到超出周边视觉(peripheralvision)的世界。在具有被作为屏幕的移动设备LCD的HMD304上存在应用。用户可能想要在不移除HMD304的情况下使用移动设备。用户可能期望在VR世界和现实世界之间无缝切换。在示例中,用户正在观看HMD304中的电影,并且想要编写电子邮件。在这个示例中,用户能够在不移除HMD304的情况下,在VR环境中起草电子邮件。移动设备能够显示VR世界中的移动设备环境。图4示出了根据本公开的实施例的多窗口视图400。在图4中,视图400包括多个窗口402-406。本公开的各种实施例认识到并且考虑到难以高效地使用在VR环境中启动(launch)的多个窗口。本公开的各种实施例提供了多个屏幕作为VR顶端(VRtop)的一部分。窗口402是天气,窗口404是视频,而窗口406是公司的股票值。窗口402-406中的所有这三个应用都是来自安装在VR装备(VRGear)上的移动设备。在窗口402-406中的每一个中启动或者运行的应用可以基于用户上下文和/或分组。相关的应用在多个窗口402-406上被启动。在各种实施例中,应用的分组能够被预定义,被基于使用图案(usagepattern)而动态地设定,通过位置来设定,通过时间来设定,或者它们的组合。可以从用户设备的存储器元件或者网络服务器中的数据中获得所述使用图案。图5示出了根据本公开的实施例的应用的分组500。在图5中,照片应用502、电子邮件应用504、文档存储应用506是分组500的一部分。在一个示例的实施例中,如果用户正在撰写电子邮件并且想要将图片和文档附加到这封电子邮件,则该用户可能需要访问三个应用以便附加所述图片和文档。所述三个应用可以是电子邮件应用502、照片应用504、和文档存储应用506。在这个示例中,电子邮件应用502是主应用,反之照片应用504和文档存储应用506是相关应用,用户从所述相关应用中选择内容以复制到或插入到主应用中。当用户选择电子邮件应用502以用于运行时,照片应用504和文档存储应用506被自动地启动。图6示出了根据本公开的实施例的用于虚拟现实模式中的应用选择的过程600。在图6中,虚拟现实模式可以被定义为其中HMD被用于虚拟现实或者增强现实的模式。在某些实施例中,HMD或者用户设备的观看角度以使得多个应用可以被同时观看。过程600可以被图1的一个或多个组件(诸如控制器、处理器、和/或处理电路)执行。在操作602,处理器接收应用的选择。所述选择可以通过用户输入来做出,并且处理器可以从用户输入设备(诸如触摸屏)接收所述选择。在操作604,处理器确定用户设备的操作系统的模式是否是虚拟现实模式。如果所述模式不是虚拟现实模式,则过程600结束,并且应用可以以正常方式运行。如果所述模式是虚拟现实模式,则在操作606,处理器确定应用是否是应用的分组的一部分。应用的分组可以被预定义,可以是动态的,或者可以基于位置和时间。在不同的实施例中,一些分组可以被预定义,而其它分组可以是动态的或者可以基于位置和时间。如果所述应用不是应用的分组的一部分,则在操作610,处理器允许用户选择额外的应用以便利用所选择的应用进行观看。由于虚拟现实模式中的用户设备的观看角度,所选择的应用和所述额外的应用能够全部被同时观看。如果所述应用是应用的分组的一部分,则在操作612,处理器运行应用的分组并且将所述分组提供给用户设备的显示器。虽然已经利用示范性实施例描述了本公开,但是本领域技术人员可以想到各种改变和修改。期望的是本公开包含落入所附权利要求的范围内的改变和修改。当前第1页1 2 3 当前第1页1 2 3 
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1