基于用户的大脑活动和凝视修改用户界面的制作方法
目前存在眼睛跟踪系统(在本文中也可以被称为“凝视跟踪系统”)，其可以测量计算机用户的眼睛活动以确定用户的眼睛聚焦的位置(在本文中也可以被称为用户“凝视”的位置)。例如，某些眼睛跟踪系统可以确定用户的眼睛在显示设备上聚焦的位置。然后，该信息可以用于各种目的，诸如基于用户凝视的位置来选择应该接收用户界面(“ui”)焦点(即，接收用户输入)的ui窗口。
然而，诸如上述那些的眼睛跟踪系统可能在某些情况下错误地改变ui焦点。例如，用户可以主要在具有ui焦点的第一ui窗口中工作，并且因此主要是在查看第一ui窗口。然而，有时候，用户可能暂时凝视第二ui窗口，以获得用于在第一ui窗口中使用的信息。在这种情况下，即使用户不意图向第二ui窗口提供输入，诸如上述的眼睛跟踪系统也可以将ui焦点从第一ui窗口改变到第二ui窗口。因此，用户然后将必须手动选择第一ui窗口以便将ui的焦点返回到该窗口。以这种方式不正确地改变ui焦点对于用户来说可能是令人沮丧和耗时的，并且导致计算设备操作效率低于其它情况。
关于这些和其它考虑，提出了本文所公开的内容。
技术实现要素：
本文描述了用于基于用户的大脑活动和凝视来修改由计算设备提供的ui的方面的技术。通过所公开的技术的实施方式，可以生成或修改由计算设备提供的ui，使得以与用户的凝视的位置和用户的当前精神状态都一致的方式来配置ui。例如但不限于，ui窗口或另一种类型的ui对象可以不仅基于用户的凝视而且还基于用户的大脑活动来接收ui焦点。通过除了用户的凝视之外还利用大脑活动，实现本文所公开的技术的计算设备可以更加准确地选择将接收ui焦点(即，接收用户输入)并以其它方式生成或定制ui的ui窗口。因此，可以更有效地操作这样的计算设备，从而减少计算设备的功耗，减少由计算设备所使用的处理器周期的数目，并且潜在地延长计算设备的电池寿命。除了本文具体标识的那些技术益处之外的技术益处也可以通过所公开的技术的实施方式来实现。
根据本文所公开的一种配置，使用标识由计算设备提供的ui的状态的数据、标识计算设备的用户的大脑活动的数据、以及标识计算设备的用户的凝视的数据来训练机器学习分类器(其在本文中也可以被称为“机器学习模型”)。可以利用大脑活动传感器来检测用户的大脑活动，该大脑活动传感器诸如但不限于适合于对计算设备的用户执行脑电图(“eeg”)的电极。可以利用凝视传感器(其在本文中也可以被称为“眼睛跟踪传感器”)来检测用户的凝视，该凝视传感器诸如但不限于红外(“ir”)发射器和传感器或可见光传感器。还可以使用表示由一个或多个生物传感器收集的计算设备的用户的其它生物信号的数据来训练机器学习分类器。例如但不限于，用户的心率、皮肤电反应、温度、毛细管动作、瞳孔扩张、面部表情和/或语音信号也可以被用来训练机器学习分类器。
一旦经过训练，机器学习分类器就可以基于用户的当前大脑活动、凝视以及可能的其它生物数据来为由计算设备提供的ui选择ui状态。例如但不限于，可以从被耦合到计算设备的大脑活动传感器接收标识用户的大脑活动的数据。可以从被耦合到计算设备的凝视传感器接收标识用户凝视的位置的凝视数据。机器学习分类器可以利用标识用户的大脑活动和凝视的数据来为由计算设备提供的ui选择适当的状态。然后可以根据所选择的ui状态生成或配置由计算设备提供的ui。
在一些配置中，应用编程接口(“api”)暴露接口，通过该接口，在计算设备上执行的操作系统和应用可以获得标识由机器学习分类器选择的ui状态的数据。通过使用该数据，操作系统和应用可以修改它们提供的最适合用户当前的精神状态和凝视的ui。现在将提供方式的若干说明性示例，以该方式，可以基于用户的大脑活动和凝视修改由计算设备(包括操作系统和在其上执行的应用)提供的ui。
在一种配置中，可以基于用户的大脑活动和凝视来修改ui对象(诸如ui窗口或ui控件)的大小。例如但不限于，如果用户的大脑活动指示用户正在专注并且用户的凝视指示他们的眼睛聚焦在ui对象上，则ui对象的大小可以增加。用户当前未查看的其它ui对象的大小也可以减小。
在另一种配置中，可以基于用户的大脑活动和凝视来关注或以其它方式选择在ui中处于焦点的ui对象(即，当前接收用户输入的窗口或其它类型的ui对象)。例如但不限于，如果用户的大脑活动指示用户正在专注并且用户的凝视指示用户的眼睛聚焦在ui对象上，则可以将ui的焦点提供给ui对象。以这种方式，可以将ui焦点提供给用户同时正在查看并且专注于的ui窗口。用户正在查看但是没有专注于的ui窗口将不会接收到ui焦点。
在另一示例配置中，可以由计算设备基于用户的大脑活动和凝视来放大或全屏呈现ui窗口。例如但不限于，如果用户的大脑活动指示高水平专注并且用户正在凝视单个ui窗口，则可以将ui窗口放大或者全屏呈现给用户，从而允许用户更大程度地聚焦在特定的窗口上。另一方面，如果用户正在专注但是用户的凝视在多个窗口之间交替，则ui窗口将不以全屏模式呈现。如果用户的大脑活动随后减少，则ui窗口可以返回到其原始(即，非全屏)大小。
在其它配置中，可以基于用户的大脑活动和凝视来配置或修改ui对象的布局、位置、数目、排序和/或视觉属性。在这方面，应当理解，上面所提供的示例仅仅是说明性的，并且可以基于其它配置中的用户的大脑活动和凝视以其它方式修改由计算设备提供的ui的其它方面。还应当理解，上面所简要描述并且在下面更详细描述的主题内容可以被实现为计算机控制的装置、计算机进程、计算设备、或者诸如计算机可读介质之类的制品。通过阅读以下具体实施方式和对相关联的附图的回顾，这些和各种其它特征将是明显的。
提供本发明内容是为了以简化的形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题内容的关键特征或必要特征，也不旨在将本发明内容用于限制所要求保护的主题内容的范围。此外，所要求保护的主题内容不限于解决在本公开的任何部分中提到的任何或所有缺点的实施方式。
附图说明
图1是示出被配置为实现本文所公开的功能的说明性计算设备的配置和操作的方面的计算设备架构图；
图2是图示根据一种特定配置的本文所公开的用于训练机器学习分类器以基于用户的当前大脑活动和用户的凝视来标识ui状态的一种机制的方面的软件架构图；
图3是示出根据一种配置的用于训练机器学习分类器以基于用户的当前大脑活动和凝视来标识ui状态的例程的方面的流程图；
图4是示出根据一种配置的用于基于用户的当前大脑活动和凝视来修改由计算设备提供的ui的例程的方面的流程图；
图5是示出可以被用于实现本文所公开的各种技术的方面的头戴式增强现实显示设备的示例配置的示意图；
图6是示出用于计算设备的说明性计算机硬件和软件架构的计算机架构图，该计算设备能够实现本文所呈现的技术的方面；
图7是图示能够实现本文所呈现的技术的方面的分布式计算环境的计算机系统架构和网络图；以及
图8是图示用于移动计算设备的计算设备架构的计算机架构图，该移动计算设备能够实现本文所呈现的技术的方面。
具体实施方式
以下详细描述针对用于基于用户的大脑活动和凝视来生成或修改计算设备的ui的技术。如上面所简要讨论的，通过本文所公开的技术的实施方式，可以基于用户当前的大脑活动和凝视来生成或修改由计算设备提供的ui的状态，从而允许计算设备以更有效的方式操作。除了本文具体标识的那些技术益处之外的技术益处也可以通过所公开的技术的实施方式来实现。
虽然在与计算设备上的操作系统和应用的执行一起执行的程序模块的一般上下文中呈现了本文所描述的主题内容，但是本领域技术人员将认识到，可以与其它类型的程序模块组合来执行其它实施方式。通常，程序模块包括例程、程序、部件、数据结构和执行特定任务或实现特定抽象数据类型的其它类型的结构。此外，本领域技术人员将理解，本文所描述的主题内容可以用其它计算机系统配置来实践，其它计算机系统配置包括但不限于：头戴式增强现实显示设备、头戴式虚拟现实(“vr”)设备、手持式计算设备、台式或膝上型计算设备、写字板或平板计算设备、服务器计算机、多处理器系统、基于微处理器的或可编程的消费电子产品、小型计算机、大型计算机、智能电话、游戏控制台、机顶盒和其它类型的计算设备。
在以下详细描述中，参考形成其一部分、并且通过图示的方式被示出为特定配置或示例的附图。现在参考附图，其中贯穿若干附图，相同的附图标记表示相同的元件，将描述用于基于计算设备的用户的大脑活动和凝视来修改由计算设备提供的ui的各种技术的方面。
图1是示出根据一个说明性配置的被配置为实现本文所公开的功能的说明性计算设备100的配置和操作的方面的计算设备架构图。如图1所示，并且如上面所简要描述的，计算设备100被配置为基于计算设备100的用户102的大脑活动和凝视来修改其操作的方面。为了提供该功能，计算设备100配备有一个或多个大脑活动传感器104。如上所述，例如，大脑活动传感器104可以是适合于在计算设备100的用户102上执行eeg的电极。由大脑活动传感器104测量的用户102的大脑活动可以被表示为大脑活动数据106。
如本领域技术人员所知，eeg带宽被分成多个频带，包括alpha频带和beta频带。alpha频带位于8hz至15hz之间。在该频段内的活动可以指示放松的或沉思的用户。beta频带位于16hz和21hz之间。该频段内的活动可以指示积极思考、聚精会神或高度专注的用户。如下面将更详细描述的，大脑活动传感器104可以检测这些频带中的活动，并且可能检测其它活动，并且生成表示活动的大脑活动数据106。
应当理解，虽然频域分析传统上被用于临床环境中的eeg分析，但它是来自每个大脑活动传感器104处可用的原始时间序列模拟数据的变换。给定的传感器104具有随时间改变的某种电压，并且可以在一些配置中利用诸如傅立叶变换的频域变换来评估变化，以获得一组频率及其相对幅度。在频域分析中，上述alpha频带和beta频带对于大范围的生物活动是有用的近似。
然而并且一般来说，频域变换是实时近似和有损的。因此，在诸如本文所述的机器学习环境中，这种类型的变换可能不是必需的或期望的。为了解决该缺点，可以训练诸如本文所公开的机器学习模型，以便与从频域变换相比，从原始电极电压用更高精度标识eeg数据中的模式。因此，应当理解，本文所公开的各种配置可以使用由大脑活动传感器104直接生成的时间序列数据、已经变换到频域中的数据或者表示已经以另一方式变换的电极电压的数据来训练机器学习分类器112。
在这方面，还应当理解，出于讨论的目的，已经简化了图1中所示的大脑活动传感器104的说明和eeg的讨论。可以利用大脑活动传感器104和相关部件的更复杂的布置，诸如用于放大由大脑活动传感器104提供的信号的差分放大器。这些配置是本领域技术人员已知的。
还如图1所示，计算设备100还可以配备有凝视传感器107。凝视传感器107可以与显示设备126集成在一起或者在显示设备126的外部被提供。例如，ir发射器可以被光学地耦合到显示设备126。ir发射器可以将ir照射朝着用户102的眼睛引导。然后，ir传感器或诸如ir相机的传感器可以测量从用户眼睛反射的ir照射。
对于用户102的每只眼睛的瞳孔位置可以从由ir传感器捕获的ir传感器数据来标识，并且基于眼睛的模型(例如gullstrand眼睛模型)和瞳孔位置，对于用户的眼睛中的每只眼睛的凝视线(如图1中的虚线所示)可以从近似的中央凹位置延伸来确定(例如，通过在计算设备100上执行的软件)。然后可以标识用户凝视在显示器视场中的位置。凝视点处的对象可以被标识为焦点对象。当显示设备126是半透明的时，如在下面所描述的配置中，凝视传感器107可以被用于标识用户102正在关注于的物理世界中的对象。凝视数据109是标识用户凝视的位置的数据。
在一种配置中，显示设备126包括平面波导，其用作显示器的一部分并且还集成眼睛跟踪功能。特别地，可以利用一个或多个光学元件(诸如镜子或光栅)，其将表示来自平面波导的图像的可见光朝着用户的眼睛引导。在该配置中，反射元件可以执行ir光的双向反射，作为眼睛跟踪系统的一部分。ir照射和反射也穿过平面波导，用于跟踪用户眼睛(通常是用户的瞳孔)的位置和移动。使用这种机制，可以确定当利用计算设备100时用户凝视的位置。在这方面，应当理解，本文所描述的眼睛跟踪系统仅仅是说明性的，并且在其它配置中可以利用其它系统来确定用户凝视的位置。
还如图1所示，计算设备100可以配备有一个或多个生物传感器108。生物传感器108是能够生成表示计算设备100的用户102的其它(即除了大脑活动之外)生物信号的生物数据110的传感器。例如但不限于，用户102的心率、皮肤电反应、温度、毛细管动作、瞳孔扩张、面部表情和/或语音信号可以由生物传感器108测量并由生物数据110表示。其它类型的生物传感器108可以被用于测量其它配置中的其它类型的生物信号。
大脑活动数据106、凝视数据109以及可能的生物数据110可以实时或接近实时地被提供给在计算设备100上执行的机器学习分类器112。如下面更详细讨论的，机器学习分类器112(其在本文中也可以被称为“机器学习模型”)是可以基于用户102在操作计算设备100时的当前大脑活动和凝视以及可能的其它生物信号选择用于操作计算设备100的ui状态114的分类器。下面将参考图2和图3提供与机器学习分类器112的训练有关的细节，以基于用户的大脑活动和凝视来为由计算设备100提供的ui选择ui状态。
还如图1所示，在一些配置中在计算设备100上执行api116，用于向操作系统118、应用120或在计算设备100上执行的另一类型的程序模块提供标识所选择的ui状态114的数据。应用120和操作系统118可以分别向api116提交请求122a和122b，用于基于用户102的当前大脑活动标识要被利用的当前ui状态114的数据。
标识由api116提供的当前ui状态114的数据可以例如指示用户102正在专注或聚精会神于特定ui对象(诸如ui窗口)，并且因此ui窗口将以全屏模式来呈现(即，被呈现为使其显示在由显示设备126提供的整个显示器上)。在这方面，应当理解，ui状态114可以以各种方式来表达。例如但不限于，ui状态114可以被表示为对应用120或操作系统118的指令，以基于用户的当前大脑活动和凝视以特定方式分别配置或修改它们的ui124b和124a。例如，ui状态114可以指示ui对象(如ui窗口)将由应用120或操作系统118关注、重新调整大小或缩放、重新布置或者以其它方式修改(例如，修改其它视觉属性，如亮度、字体大小、对比度等)。在其它配置中ui状态114可以以其它方式来表达。
应用120和操作系统118可以从api116接收标识所选择的ui状态114的数据，并且基于指定的ui状态114分别修改ui124b和124a。例如但不限于，应用120可以配置或修改在显示设备126上被呈现给用户102的ui窗口、ui控件、图像或其它类型的ui对象。类似地，操作系统118可以基于用户102的大脑活动和凝视来修改ui124a在显示设备126上呈现给用户102的ui124a的方面。
现在将提供可以基于用户102的大脑活动和凝视来修改计算设备的ui状态的方式的几个说明性示例，ui状态包括分别由操作系统118提供的ui124a和由在其上执行的应用120提供的ui124b。如上所述，下面所提供的示例仅仅是说明性的。在其它配置中可以基于用户102的大脑活动和凝视来不同地配置或修改ui124a和124b。
在一种配置中，ui对象(诸如，在ui124a或124b中所呈现的ui控件或ui窗口)的大小可以基于用户的大脑活动和凝视来修改。例如但不限于，如果针对用户102的大脑活动数据106指示用户102正在专注并且凝视数据109指示用户的眼睛聚焦在ui对象上，则ui对象的大小可以增加。例如，可以增加ui窗口、ui控件、图像、视频或可以在ui内被呈现的另一类型的对象的大小。用户102当前没有查看或专注于的其它ui对象的大小可以减小。
在另一种配置中，可以基于用户120的大脑活动和他们凝视的位置来关注或以其它方式选择处于焦点的ui(诸如ui124a或ui124b)内的ui对象(即，窗口或当前接收用户输入的其它类型的ui对象)。例如但不限于，如果针对用户102的大脑活动数据106指示用户102正在专注并且针对用户102的凝视数据109指示用户的眼睛聚焦在特定ui对象上，那么可以将ui124的焦点提供给用户102正在关注的ui对象。以这种方式，可以将ui焦点提供给用户102同时正在查看并且专注于的ui窗口(或其它类型的ui对象)。用户102正在查看但是没有专注于的ui窗口将不会接收到ui焦点。
在另一示例配置中，ui窗口(或另一种类型的ui对象)可以由计算设备100基于用户102的大脑活动和凝视来呈现或全屏放大。例如但不限于，如果针对用户102的大脑活动数据106指示高水平专注度并且针对用户102的凝视数据109正在凝视单个ui窗口，则ui窗口可以被放大或呈现为完整屏幕，从而允许用户102更大程度地聚焦于特定的ui窗口。另一方面，如果用户102正在专注但是用户凝视的位置在多个ui窗口之间交替，则ui窗口将不以全屏模式来呈现。如果大脑活动数据106指示用户的大脑活动已经减少，则ui窗口可以返回到其原始(即，非全屏幕)大小。
在其它配置中，可以基于用户102的大脑活动和凝视来配置或修改ui对象的布局、位置、数目或排序。例如但不限于，ui窗口的布局可以被修改，诸如例如使得更加突出地呈现用户102正在专注于和查看的ui窗口。以类似的方式，可以基于用户的大脑活动和凝视来配置或修改ui对象的视觉属性，诸如但不限于ui对象的亮度、对比度、字体大小、比例或颜色。在这方面，应当理解，上面所提供的示例仅仅是说明性的，并且在其它配置中可以根据用户的大脑活动和凝视以其它方式配置或修改由计算设备100提供的ui。
图2是图示本文所公开的一种机制的方面的软件架构图，根据一种特定的配置，该机制用于训练机器学习分类器112以基于用户102的当前大脑活动和凝视来标识针对由计算设备100提供的ui的ui状态114。在一种配置中，机器学习引擎200被用来训练机器学习分类器112以基于用户的大脑活动和凝视对由计算设备100提供的ui的ui状态114进行分类。特别地，机器学习引擎200在用户102正在利用计算设备100时接收由大脑活动传感器104生成的大脑活动数据106a。
机器学习引擎200还接收ui状态数据202，其描述在接收到大脑活动数据106a时由计算设备100提供的ui的当前ui状态。例如，在上面所给出的示例中，ui状态数据202可以指定用户是否在全屏查看ui窗口或者ui窗口是否具有ui焦点。ui状态数据202可以限定在其它配置中由计算设备100提供的ui的当前状态的其它方面。
如图2所示，在一些配置中机器学习引擎200还可以接收生物数据110a。如上所述，生物数据110a描述了在用户102正在利用计算设备100时除了大脑活动和凝视之外的用户102的生物信号。以这种方式，用户的大脑活动、凝视和生物信号都可以被关联到各种ui状态。
机器学习引擎200可以利用各种机器学习技术来训练机器学习分类器112。例如但不限于，可以利用朴素贝叶斯(“
如上所述，一旦机器学习分类器112已经被充分训练好，机器学习分类器112就可以被用于基于用户102的大脑活动数据106b和凝视数据109b以及可能的生物数据110b来标识用于计算设备100的操作的ui状态114。还如上所述，在一些配置中，可以经由api116将标识所选择的ui状态114的数据提供给操作系统118或应用120。在其它配置中，可以利用其它机制来将标识ui状态114的数据提供给操作系统118和应用120。在下面关于图3提供了关于机器学习分类器112的训练的附加细节。
在这方面，应当理解，虽然在一些配置中利用机器学习分类器112，但是其它配置可以不利用机器学习分类器112。例如但不限于，在一些配置中，可以基于大脑活动数据106b和凝视数据109b来确定ui状态114，而不考虑用户的先前行为。例如，如在上面所描述的示例配置中，可以在不利用机器学习分类器112的情况下将焦点提供给用户正在查看并专注于的ui窗口。在其它配置中，ui124的其它方面也可以以上述方式来修改，而不利用机器学习分类器112。
图3是示出根据一种配置的用于训练机器学习分类器112以基于用户102的当前大脑活动和凝视来标识用于操作计算设备100的ui状态114的例程300的方面的流程图。应当理解，本文所述的关于图3和图4以及其它图的逻辑操作可以被实现(1)作为在计算设备上运行的计算机实现的动作或程序模块的序列和/或(2)作为计算设备内的互连机器逻辑电路或电路模块。
本文所公开的技术的特定实施方式是取决于计算设备的性能和其它要求的选择问题。相应地，本文中所描述的逻辑操作被不同地称为状态、操作、结构设备、动作或模块。这些状态、操作、结构设备、动作和模块可以以软件、固件、专用数字逻辑及其任何组合来实现。还应当理解，可以执行比附图中所示和本文所描述的更多或更少的操作。这些操作也可以以与本文所描述的顺序不同的顺序来执行。
例程300开始于操作302，其中机器学习引擎200获得大脑活动数据106a。如上面关于图1和图2所讨论的，大脑活动数据106a由大脑活动传感器104生成，并且描述了在使用计算设备100时用户102的大脑活动。从操作302，例程300进行到操作303，其中机器学习引擎获得凝视数据109。如上所述，凝视数据109标识用户凝视的位置。从操作303，例程300进行到操作304。
在操作304处，机器学习引擎200在一些配置中从生物传感器108接收生物数据110a。如上面关于图1和图2所讨论的，生物传感器108是能够生成描述计算设备100的用户102的生物信号的生物数据110a的传感器。例如但不限于，用户102的心率、皮肤电反应、温度、毛细管动作、瞳孔扩张、面部表情和/或语音信号可以由生物传感器108测量并且由生物数据110a表示。在其它配置中，其它类型的生物传感器108可以被用来测量其它类型的生物信号以及提供其它类型的生物数据110a。
从操作304，例程300进行到操作306，其中机器学习引擎200获得ui状态数据202。如上面关于图2所讨论的，ui状态数据202描述了在接收到大脑活动数据106a和凝视数据109b时的当前ui状态的方面。例程300然后从操作306进行到操作308，其中机器学习引擎200使用大脑活动数据106a、凝视数据109、ui状态数据202以及在一些配置中的生物数据110a来训练机器学习分类器112。如上面关于图2所讨论的，在不同的配置中，可以利用各种类型的机器学习算法来训练机器学习分类器112。从操作308，例程300进行到操作310。
在操作310处，机器学习引擎200确定机器学习分类器112的训练是否完成。可以利用各种机制来确定训练是否完成。例如但不限于，可以将用户102的实际行为与由机器学习分类器112预测的行为进行比较，以确定机器学习分类器112是否能够预测由用户102使用的ui的状态大于预定的时间百分比。如果机器学习分类器112可以预测正确的ui状态多于预定的时间百分比，则可以认为机器学习分类器112的训练完成。在其它配置中，还可以利用其它机制来确定机器学习分类器112的训练是否完成。
如果机器学习分类器112的训练未完成，则例程300从操作310返回到操作302，其中机器学习分类器112的训练可以以上述方式进行。如果训练完成，则例程300从操作310进行到操作312，其中可以部署机器学习分类器112以基于用户102的大脑活动数据106b、凝视数据109以及可能的生物数据110b来标识由计算设备100提供的ui124的ui状态。例程300然后从操作312进行到操作314，在操作314结束。
图4是示出根据一种配置的用于基于用户102的当前大脑活动和凝视来配置修改由计算设备100提供的ui124的例程400的方面的流程图。例程400开始于操作402，其中机器学习分类器112接收针对用户102的当前大脑活动数据106b。从操作402，例程400进行到操作403。
在操作403处，机器学习分类器112接收针对用户102的凝视数据109b。例程400然后从操作403进行到操作404，其中，在一些配置中，机器学习分类器112接收针对用户102的生物数据110b。例程400然后从操作404进行到操作406。
在操作406处，机器学习分类器112基于所接收的大脑活动数据106b、凝视数据109b以及在一些配置中的生物数据110b来标识针对由计算设备100提供的ui的ui状态114。如图4中的虚线所示，可以重复执行关于操作402、403、404和406所描述的进程，以便基于用户当前的大脑活动和凝视连续地标识针对由计算设备100提供的ui的适当的ui状态114。
在操作408处，api116被暴露用于将所选择的ui状态114提供给操作系统118和应用120。如果在操作410处接收到对于标识所选择的ui状态114的数据的请求122，则例程400进行到操作412，其中api116用指定所选择的ui状态114的数据来响应请求。然后，请求应用120或操作系统118可以基于所标识的ui状态114来调整其ui124。以上提供了操作系统118和应用128可以如何调整其ui状态的各种示例。
从操作414，例程400返回到操作402，其中可以重复上述进程，以便连续地调整由操作系统118和应用128提供的ui的ui状态。如上所述，尽管在图1-图4所示的配置中利用了机器学习分类器112，但是应当理解，在其它配置中可以在不使用机器学习的情况下实现本文所公开的功能。
应当进一步理解，在计算设备100上执行的上述各种软件部件可以使用或组合使用二进制可执行文件、动态链接库(“dll”)、api、网络服务、脚本文件、解释程序代码、软件容器、目标文件、适合于即时(“jit”)编译的字节码，和/或可以由处理器执行的其它类型的程序代码来实现，以执行本文关于图1-图8所描述的操作。也可以利用本文中未具体提及的其它类型的软件部件。
图5是示出可以被用于实现本文所公开的各种技术的方面的头戴式增强现实显示设备500的示例的示意图。如上面所简要讨论的，本文所公开的各种技术可以通过或者组合使用这种头戴式增强现实显示设备500来实现，以便基于佩戴者的大脑活动和凝视来修改头戴式增强现实显示设备500的操作的方面。为了提供该功能和其它类型的功能，头戴式增强现实显示设备500可以包括一个或多个传感器502a、502b和显示器504。传感器502a、502b可以包括追踪传感器，该追踪传感器包括但不限于：深度相机和/或传感器、惯性传感器以及光学传感器。
在一些示例中，如图5所示，传感器502a和502b被安装在头戴式增强现实显示设备500上，以便从第一人称视角(即，从头戴式增强现实显示设备500的佩戴者的视角)捕获信息。在附加的或备选的示例中，传感器502可以在头戴式增强现实显示设备500的外部。在这种示例中，传感器502可以被布置在房间中(例如，置于整个房间的各个位置)并且与头戴式增强现实显示设备500相关联，以便从第三人称视角捕获信息。在又一示例中，传感器502可以在头戴式增强现实显示设备500的外部，但是可以与一个或多个可穿戴设备相关联，该一个或多个可穿戴设备被配置为收集与可穿戴设备的佩戴者相关联的数据。
如上所述，头戴式增强现实显示设备500还可以包括一个或多个大脑活动传感器104、凝视传感器107和一个或多个生物传感器108。还如上所述，大脑活动传感器104可以包括电极，该电极适于测量头戴式增强现实显示设备500的佩戴者的eeg或另一类型的大脑活动。凝视传感器107可以被安装在显示器504的前面，以便测量用户凝视的位置。如上所述，凝视传感器107可以确定用户凝视的位置，以便确定用户的眼睛是否聚焦在ui对象上、在显示器504上所呈现的全息对象上或者真实世界对象上。尽管凝视传感器107被示出为与设备500集成在一起，但是在其它配置中，凝视传感器107可以位于设备500的外部。
生物传感器108可以包括一个或多个生理传感器，用于测量用户的心率、呼吸、皮肤电导、温度或其它类型的生物信号。如图5所示，在一种配置中，大脑活动传感器104和生物传感器108被嵌入在头戴式增强现实显示设备500的头带506中，以便与佩戴者的皮肤相接触。在其它配置中，大脑活动传感器104和生物传感器108可以位于头戴式增强现实显示设备500的另一部分中。
显示器504可以向头戴式增强现实显示设备500的佩戴者(例如，用户102)呈现视觉内容。在一些示例中，显示器504可以呈现视觉内容以增强佩戴者在空间区域中对其实际环境的察看，该空间区域占据大体上与佩戴者的实际视野共同延伸的区。在其它示例中，显示器504可以呈现内容以增强相对于在空间区域中的佩戴者的佩戴者的环境，该空间区域占据佩戴者的实际视野的较小部分。显示器504可以包括透明显示器，该透明显示器使得佩戴者能够同时察看视觉内容和佩戴者的实际环境两者。
透明显示器可以包括光学透视显示器、视频透视显示器和其它类型的透明显示器，在光学透视显示器中用户直接看见他们的实际环境，在视频透视显示器中用户在从安装的相机获得的视频图像中观察他们的环境。显示器504可以向用户102呈现视觉内容(其在本文中可以被称为“全息图”)，使得视觉内容增强在空间区域内用户对他们的实际环境的察看。
基于头戴式增强现实显示设备500的用户的视角和/或位置，由头戴式增强现实显示设备500提供的视觉内容可以不同地出现。例如，所呈现的视觉内容的大小可以基于用户到内容的接近度而不同。可以利用传感器502a和502b来确定用户到真实世界对象的接近度以及对应地用户到由头戴式增强现实显示设备500在显示器504上呈现的视觉内容的接近度。
附加地或备选地，在显示器504上由头戴式增强现实显示设备500呈现的内容的形状可以基于佩戴者和/或头戴式增强现实显示设备500的优势点而不同。例如，在显示器504上所呈现的视觉内容在头戴式增强现实显示设备500的佩戴者在直接查看内容时可以具有一个形状，但是在佩戴者从侧面查看内容时可以具有不同的形状。如上所述，还可以基于佩戴者的大脑活动和凝视来选择或修改在显示器504上所呈现的视觉内容。
为了提供本文所公开的该功能和其它功能，头戴式增强现实显示设备500可以包括一个或多个处理单元和计算机可读介质(图5中未被示出)，用于执行本文所公开的软件部件，该软件部件包括操作系统118和/或应用120，操作系统118和/或应用120被配置为基于头戴式增强现实显示设备500的佩戴者的大脑活动和凝视来改变操作系统118和/或应用120提供的ui的方面。下面关于图6和图8提供了用于实现头戴式增强现实显示设备500的几种说明性硬件配置。
图6是示出用于计算设备600的架构的计算机架构图，该计算设备600能够执行本文所描述的技术的方面。图6中所图示的架构可以被用来实现头戴式增强现实显示设备500或服务器计算机、移动电话、电子阅读器、智能电话、台式计算机、上网本计算机、平板或写字板计算机、膝上型计算机、游戏控制台、机顶盒或者适于执行本文所呈现的软件部件的另一类型的计算设备。
在这方面，应当理解，图6中所示出的计算设备600可以被用来实现能够执行本文所呈现的任何软件部件的计算设备。例如但不限于，参照计算设备600所描述的计算架构可以被用来实现头戴式增强现实显示设备500和/或实现用于执行上述任何其它软件部件的计算设备的其它类型。包括定制集成电路和片上系统(“soc”)的硬件配置的其它类型还可以被用来实现头戴式增强现实显示设备500。
图6中所图示的计算设备600包括中央处理单元602(“cpu”)、系统存储器604和系统总线610，系统存储器604包括随机存取存储器606(“ram”)和只读存储器(“rom”)608，系统总线610将存储器604耦合到cpu602。包含基本例程的基本输入/输出系统被存储在rom608中，基本例程有助于在计算设备600内的元件之间传递信息，诸如在启动期间。计算设备600进一步包括大容量存储设备612，用于存储操作系统614以及一个或多个程序，该一个或多个程序包括但不限于操作系统118、应用120、机器学习分类器112和api116。大容量存储设备612还可以被配置为存储本文所描述的但是在图6中没有具体示出的其它类型的程序和数据。
大容量存储设备612通过被连接到总线610的大容量存储控制器(未被示出)被连接到cpu602。大容量存储设备612及其相关联的计算机可读介质为计算设备600提供非易失性存储。尽管本文所包含的计算机可读介质的描述指的是大容量存储设备，诸如硬盘、cd-rom驱动器、dvd-rom驱动器或通用存储总线(“usb”)存储密钥，但是本领域技术人员应当理解，计算机可读介质可以是计算设备600可以访问的任何可用的计算机存储介质或者通信介质。
通信介质包括计算机可读指令、数据结构、程序模块或调制的数据信号中的其它数据(诸如载波或其它传输机制)，并且包括任何递送介质。术语“调制的数据信号”指的是以对信号中的信息进行编码的方式来改变或设置其特性中的一个或多个特性的信号。通过示例的方式而不是限制，通信介质包括有线介质(诸如，有线网络或直接有线连接)和无线介质(诸如，声学、射频、红外和其它无线介质)。上述任何的组合也应该被包括在计算机可读介质的范围内。
通过示例的方式而不是限制，计算机存储介质可以包括以任何方法或技术实现的用于存储信息(诸如，计算机可读指令、数据结构、程序模块或其它数据)的易失性和非易失性、可移动的和不可移动的介质。例如，计算机存储介质包括但不限于：ram、rom、eprom、eeprom、闪速存储器或其它固态存储器设备、cd-rom、数字多用盘(“dvd”)、hd-dvd、blu-ray或其它光学存储盘、盒式磁带、磁带、磁盘存储装置或其它磁存储设备、或者可以被用来存储所需信息并且可以由计算设备600访问的任何其它介质。出于权利要求的目的，短语“计算机存储介质”及其变型不包括波或信号本身或通信介质。
根据各种配置，计算设备600可以通过诸如网络618的网络使用到远程计算机的逻辑连接在网络环境中操作。计算设备600可以通过被连接到总线610的网络接口单元620连接到网络618。应当理解，网络接口单元620还可以被用于连接到其它类型的网络和远程计算机系统。计算设备600还可以包括输入/输出控制器616，用于接收和处理来自多个其它设备的输入，这些其它设备包括大脑活动传感器104、生物传感器106、凝视传感器107、键盘、鼠标、触摸输入或电子触笔(图6中未示出其全部)。类似地，输入/输出控制器616可以将输出提供给显示屏幕(诸如，显示器504或显示设备126)、打印机或其它类型的输出设备(图6中未示出其全部)。
应当理解，本文所描述的软件部件(诸如但不限于，机器学习分类器112和api116)可以在被加载到cpu602中并被执行时将cpu602和整体计算设备600从通用计算设备变换为专用计算设备，该专用计算设备被定制为促进本文所公开的功能。cpu602可以从任何数目的晶体管或其它分立的电路元件来构造，其可以单独地或共同地呈现任何数目的状态。更具体地，cpu602可以响应于在本文所公开的软件模块内所包含的可执行指令来作为有限状态机器操作，这些软件模块诸如但不限于机器学习分类器112、机器学习引擎200、api116、应用120和操作系统118。这些计算机可执行指令可以通过指定cpu602如何在状态之间切换来变换cpu602，从而变换构成cpu602的晶体管或其它分立的硬件元件。
对本文所呈现的软件部件进行编码还可以变换本文所呈现的计算机可读介质的物理结构。在本说明书的不同实施方式中，物理结构的具体变换取决于各种因素。这种因素的示例包括但不限于被用来实现计算机可读介质的技术，无论计算机可读介质被表征为主存储装置还是次级存储装置等。例如，如果计算机可读介质被实现为基于半导体的存储器，则本文所公开的软件可以通过变换半导体存储器的物理状态来在计算机可读介质上进行编码。例如，软件可以变换晶体管、电容器或构成半导体存储器的其它分立电路元件的状态。软件还可以变换这种部件的物理状态，以便在其上存储数据。
作为另一示例，本文所公开的计算机可读介质可以使用磁性或光学技术来实现。在这种实施方式中，当软件在其中被编码时，本文所呈现的软件部件可以变换磁性或光学介质的物理状态。这些变换可以包括改变给定的磁性介质内的特定位置的磁性特性。这些变换还可以包括改变给定的光学介质内的特定位置的物理特征或特性，以改变这些位置的光学特性。在不偏离本说明书的范围和精神的情况下，物理介质的其它变换是可能的，其中所提供的上述示例仅仅用于促进本讨论。
鉴于上述情况，应当理解，许多类型的物理变换发生在计算设备600中，以便存储和执行本文所呈现的软件部件。还应当理解，用于计算设备600的在图6中所示出的架构或者类似的架构可以被用来实现其它类型的计算设备，包括手持式计算机、可穿戴计算设备、vr计算设备、嵌入式计算机系统、诸如智能电话和平板电脑的移动设备以及本领域技术人员已知的其它类型的计算设备。还可以设想，计算设备600可以不包括图6中所示出的所有的部件，可以包括没有在图6中被明确示出的其它部件，或者可以利用与图6中所示出的架构完全不同的架构。
图7示出了说明性的分布式计算环境702的方面，该说明性的分布式计算环境702可以与本文所公开的技术组合起来使用，用于基于用户的大脑活动和凝视来修改计算设备的操作。根据各种实施方式，分布式计算环境702在网络703上、与网络703通信或者作为网络703的一部分进行操作。一个或多个客户端设备706a-706n(在下文中统一地和/或一般地被称为“客户端706”)可以经由网络703和/或其它连接(图7中未被图示)来与分布式计算环境702通信。
在所图示的配置中，客户端706包括：计算设备706a(诸如，膝上型计算机、台式计算机或其它计算设备)；“写字板”或平板计算设备(“平板计算设备”)706b；移动计算设备706c(诸如，移动电话、智能电话或其它移动计算设备)；服务器计算机706d；和/或其它设备706n(诸如头戴式增强现实显示设备500或头戴式vr设备)。
应当理解，虚拟地，任何数目的客户端706可以与分布式计算环境702通信。本文中参照图6和图8图示和描述了针对客户端706的两个示例计算架构。在这方面，应当理解，所图示的客户端706和本文所说明和描述的计算架构是说明性的，并且不应该被解释为以任何方式限制。
在所图示的配置中，分布式计算环境702包括应用服务器704、数据存储装置710和一个或多个网络接口712。根据各种实施方式，应用服务器704可以由作为网络703的一部分或者与网络703通信来执行的一个或多个服务器计算机来提供。应用服务器704可以托管各种服务、虚拟机、门户和/或其它资源。在所图示的配置中，应用服务器704托管一个或多个虚拟机714，用于托管应用、网络服务或者其它类型的应用和/或服务。应当理解，该配置是说明性的，并且不应该被解释为以任何方式限制。应用服务器704还可以托管或提供对一个或多个网络门户、链接页面、网站和/或其它信息(“网络门户”)716的访问。
根据各种实施方式，应用服务器704还包括一个或多个邮箱服务718以及一个或多个消息服务720。邮箱服务718可以包括电子邮件(“电子邮件”)服务。邮箱服务718还可以包括各种个人信息管理(“pim”)服务，包括但不限于：日历服务、联系管理服务、协作服务和/或其它服务。消息服务720可以包括但不限于：即时消息(“im”)服务、聊天服务、论坛服务和/或其它通信服务。
应用服务器704还可以包括一个或多个社交网络服务722。社交网络服务722可以提供各种类型的社交网络服务，包括但不限于：用于分享或者发布状态更新、即时消息、链接、图片、视频和/或其它信息的服务；用于评论或显示对文章、产品、博客或其它资源的兴趣的服务和/或其它服务。在一些配置中，社交网络服务722由facebook社交网络服务、linkedin专业网络服务、myspace社交网络服务、foursquare地理网络服务、yammer办公室同事网络服务等提供，或者包括这些服务。在其他配置中，社交网络服务722由可以被称为“社交网络提供商”的其它服务、站点和/或提供商来提供。例如，在各种活动和/或环境(诸如，阅读已发表的文章、对商品或服务评论、发表、协作、游戏等)期间，一些网站允许用户经由电子邮件、聊天服务和/或其它工具来进行交互。其它服务是可能的，并且是预期的。
社交网络服务722还可以包括评论、博客和/或微博服务。这种服务的示例包括但不限于：yelp评论服务、kudzu评价服务、officetalk企业微博服务、twitter消息服务等。应当理解，出于简洁起见，上面的服务列表不是详尽无遗的，并且本文中没有提及大量附加的和/或备选的社交网络服务722。这样，上述配置是说明性的，并且不应该被解释为以任何方式限制。
还如图7所示，应用服务器704还可以托管其它服务、应用、门户和/或其它资源(“其它服务”)724。其它服务724可以包括但不限于本文所描述的任何其它软件部件。因此，可以理解，分布式计算环境702可以提供本文所公开的技术与各种邮箱、消息、博客、社交网络、生产率和/或其它类型的服务或资源的集成。例如但不限于，本文所公开的技术可以被用于基于用户的大脑活动和凝视来修改由图7中所示出的网络服务呈现的ui。为了提供该功能，api116可以将ui状态114暴露于各种网络服务。反过来，网络服务可以基于用户的大脑活动和凝视来修改它们的操作的方面。在其它配置中，本文所公开的技术还可以以其它方式与附图中所示出的网络服务集成在一起。
如上所述，分布式计算环境702可以包括数据存储装置710。根据各种实施方式，由在网络703上操作的或者与网络703通信操作的一个或多个数据库来提供数据存储装置710的功能。还可以由被配置为托管用于分布式计算环境702的数据的一个或多个服务器计算机来提供数据存储装置710的功能。数据存储装置710可以包括、托管或提供一个或多个真实的或虚拟的数据存储库726a-726n(下文中统一地和/或一般地被称为“数据存储库726”)。数据存储库726被配置为托管由应用服务器704使用或创建的数据和/或其它数据。
分布式计算环境702可以与网络接口712通信或者由网络接口712访问。网络接口712可以包括各种类型的网络硬件和软件，用于支持两个或多个计算设备之间的通信，两个或多个计算设备包括但不限于客户端706和应用服务器704。应当理解，网络接口712还可以被用来连接到其它类型的网络和/或计算机系统。
应当理解，本文所描述的分布式计算环境702可以利用任何数目的虚拟计算资源和/或其它分布式计算功能来实现本文所描述的软件元件的任何方面，该虚拟计算资源和/或其它分布式计算功能可以被配置为执行本文所公开的软件部件的任何方面。根据本文所公开的技术的各种实施方式，分布式计算环境702将本文所描述的软件功能中的一些或全部软件功能作为服务提供给客户端706。例如，分布式计算环境702可以实现机器学习引擎200和/或机器学习分类器112。
应当理解，客户端706还可以包括真实或虚拟机，其包括但不限于：服务器计算机、网络服务器、个人计算机、移动计算设备、vr设备、可穿戴计算设备、智能电话和/或其它设备。这样，本文所公开的技术的各种实施方式使得被配置为访问分布式计算环境702的任何设备能够利用本文所描述的功能。
现在转到图8，将针对能够执行本文所描述的各种软件部件的计算设备来描述说明性的计算设备架构800。计算设备架构800适用于计算设备，该计算设备部分由于形成因素、无线连接和/或电池供电操作而促进移动计算。在一些配置中，计算设备包括但不限于：智能移动电话、平板设备、写字板设备、便携式视频游戏设备或可穿戴计算设备，诸如vr设备和图5中所示出的头戴式增强现实显示设备500。
计算设备架构800还适用于图7中所示出的任何客户端706。此外，计算设备架构800的方面适用于传统台式计算机、便携式计算机(例如，膝上型计算机、笔记本计算机、超便携式计算机和上网本)、服务器计算机、智能电话、平板或写字板设备以及其它计算机设备(诸如本文中参照图7所描述的那些计算机设备)。例如，本文中在下面所公开的单点触摸和多点触摸的方面可以被应用于台式计算机，该台式计算机利用触摸屏或者一些其它触控设备，诸如触控式跟踪板或触控式鼠标。计算设备架构800还可以被用来实现计算设备108和/或其它类型的计算设备，用于实现或消费本文所描述的功能。
图8中所图示的计算设备架构800包括处理器802、存储器部件804、网络连接部件806、传感器部件808、输入/输出部件810和功率部件812。在所图示的配置中，处理器802与存储器部件804、网络连接部件806、传感器部件808、输入/输出(“i/o”)部件810和功率部件812通信。尽管在图8中所图示的个体部件之间没有示出任何连接，但是部件可以被电连接，以便交互以及实施设备功能。在一些配置中，部件被布置为使得经由一个或多个总线(未被示出)来通信。
处理器802包括一个或多个cpu核，该一个或多个cpu核被配置为处理数据、执行一个或多个程序(诸如，机器学习分类器112和api116)的计算机可执行指令以及与计算设备架构800的其它部件通信，以便执行本文所描述的功能的方面。处理器802可以被用来执行本文所呈现的软件部件的方面，并且特别是至少部分地利用触控式或者非触摸的基于手势的输入的那些软件部件的方面。
在一些配置中，处理器802包括图形处理单元(“gpu”)，其被配置为加速由cpu执行的操作，该操作包括但不限于：由执行通用科学和工程计算应用以及图形密集型计算应用(诸如，高分辨率视频(例如，720p、1080p、4k或更大的分辨率)、视频游戏、3d建模应用等)执行的操作。在一些配置中，处理器802被配置为与分立的gpu(未被示出)通信。在任何情况下，cpu和gpu可以根据共同处理cpu/gpu计算模型来配置，其中应用的序列部分在cpu上执行，并且计算密集型部分由gpu来加速。
在一些配置中，处理器802是soc连同本文中在下面所描述的其它部件中的一个或多个部件，或者处理器802被包括在soc连同本文中在下面所描述的其它部件中的一个或多个部件中。例如，soc可以包括处理器802、gpu、一个或多个网络连接部件806和一个或多个传感器部件808。在一些配置中，部分地利用封装堆叠封装(“pop”)集成电路封装技术来制造处理器802。此外，处理器802可以是单核处理器或多核处理器。
处理器802可以根据arm架构来创建，该arm架构可从英国剑桥的armholdings获得许可证。备选地，处理器802可以根据x86架构(诸如，可从加利福尼亚山景城的intelcorporation等获得的)来创建。在一些配置中，处理器802是可从加利福尼亚圣地亚哥的qualcomm获得的snapdragonsoc、可从加利福尼亚圣克拉拉的nvidia获得的tegrasoc、可从韩国首尔的samsung获得的hummingbirdsoc、可从德克萨斯达拉斯的texasinstruments获得的开放式多媒体应用平台(“omap”)soc、上述任何soc的定制版本或者专有的soc。
存储器部件804包括ram814、rom816、集成存储存储器(“集成存储装置”)818和可移动存储存储器(“可移动存储装置”)820。在一些配置中，ram814或其一部分、rom816或其一部分和/或ram814和rom816的某种组合被集成在处理器802中。在一些配置中，rom816被配置为存储固件、操作系统118或其一部分(例如，操作系统内核)和/或引导加载程序，以从集成存储装置818或可移动存储装置820加载操作系统内核。
集成存储装置818可以包括固态存储器、硬盘或者固态存储器和硬盘的组合。集成存储装置818可以被焊接或者以其它方式连接到逻辑板，处理器802或本文所描述的其它部件也可以被连接到逻辑板上。这样，集成存储装置818被集成到计算设备中。集成存储装置818可以被配置为存储操作系统或其一部分、应用程序、数据或本文所描述的其它软件部件。
可移动存储装置820可以包括固态存储器、硬盘或者固态存储器和硬盘的组合。在一些配置中，可移动存储装置820被提供以代替集成存储装置818。在其它配置中，可移动存储装置820被提供为附加的可选存储装置。在一些配置中，可移动存储装置820与集成存储装置818逻辑地组合，以使得总可用存储装置是可用的并且向用户显示为集成存储装置818和可移动存储装置820的总组合容量。
可移动存储装置820被配置为将被插入可移动存储存储器槽(未被示出)或者其它机构中，通过可移动存储存储器槽或者其它机构将可移动存储装置820插入和固定以促进连接，可移动存储装置820通过该连接可以与计算设备的其它部件(诸如，处理器802)通信。可移动存储装置820可以被嵌入各种存储器卡格式中，包括但不限于：pc卡、compactflash卡、存储器棒、安全数字(“sd”)、minisd、microsd、通用集成电路卡(“uicc”)(例如，用户标识模块(“sim”)或者通用sim(“usim”))、专有格式等。
可以理解，存储器部件804中的一个或多个存储器部件可以存储操作系统。根据各种配置，操作系统包括但不限于：来自microsoftcorporation的windowsmobileos、windowsphoneos或者windowsos、来自加拿大安大略滑铁卢的researchinmotion,ltd的blackberryos、来自加利福尼亚库比蒂诺的appleinc的ios以及来自加利福尼亚山景城的google,inc的androidos。还可以利用其它操作系统。
网络连接部件806包括无线广域网部件(“wwan部件”)822、无线局域网部件(“wlan部件”)824和无线个人区域网部件(“wpan部件”)826。网络连接部件806促进向网络828的通信以及来自网络828的通信，其可以是wwan、wlan或者wpan。尽管说明了单个网络828，但是网络连接部件806可以促进与多个网络的同时通信。例如，网络连接部件806可以经由一个或多个wwan、wlan或wpan促进与多个网络的同时通信。
网络828可以是wwan，诸如利用一个或多个移动电信技术的移动电信网络，以经由wwan部件822来向利用计算设备架构800的计算设备提供语音和/或数据服务。移动电信技术可以包括但不限于：全球移动通信系统(“gsm”)、码分多址(“cdma”)one、cdma2000、通用移动通信系统(“umts”)、长期演进(“lte”)和全球微波接入互操作性(“wimax”)。
此外，网络828可以利用各种通道访问方法(其可以由上述标准使用或者可以不由上述标准使用)，包括但不限于：时分多址(“tdma”)、频分多址(“fdma”)、cdma、宽带(“w-cdma”)、正交频分复用(“ofdm”)、空分多址(“sdma”)等。可以使用通用分组无线业务(“gprs”)、全球演进的增强数据速率(“edge”)、高速分组接入(“hspa”)协议族(包括高速下行链路分组接入(“hsdpa”)、增强上行链路(“eul”)或者另外被称为高速上行链路分组接入(“hsupa”)、演进的hspa(“hspa+”))、lte以及各种其它当前或未来的无线数据接入标准来提供数据通信。网络828可以被配置为利用上面的技术的任何组合来提供语音和/或数据通信。网络828可以被配置为或者适配为根据未来一代技术来提供语音和/或数据通信。
在一些配置中，wwan部件822被配置为提供与网络828的双多模连接性。例如，wwan部件822可以被配置为提供与网络828的连接性，其中网络828经由gsm和umts技术或者经由技术的一些其它组合来提供服务。备选地，多个wwan部件822可以被用来执行这种功能性和/或提供附加的功能来支持其它不兼容的技术(即，不能够由单个wwan部件支持)。wwan部件822可以促进与多个网络(例如，umts网络和lte网络)的类似的连接性。
网络828可以是wlan，其根据一个或多个电气与电子工程师协会(“ieee”)104.11标准来操作，诸如ieee104.11a、104.11b、104.11g、104.11n和/或未来的104.11标准(在本文中被统一称为wi-fi)。草案104.11标准也是预期的。在一些配置中，利用一个或多个无线wi-fi接入点来实现wlan。在一些配置中，一个或多个无线wi-fi接入点是与用作wi-fi热点的wwan连接的另一计算设备。wlan部件824被配置为经由wi-fi接入点来连接到网络828。这种连接可以经由各种加密技术来保护，这些加密技术包括但不限于：wi-fi保护访问(“wpa”)、wpa2、有线等效隐私(“wep”)等。
网络828可以是wpan，其根据红外数据协会(“irda”)、bluetooth、无线通用串行总线(“usb”)、z波、zigbee或一些其它短程无线技术来操作。在一些配置中，wpan部件826被配置为经由wpan来促进与其它设备(诸如，外围设备、计算机或者其它计算设备)的通信。
传感器部件808包括磁力计830、环境光传感器832、接近度传感器834、加速计836、陀螺仪838和全球定位系统传感器(“gps传感器”)840。可以设想，其它传感器(诸如但不限于，传感器502a和502b、大脑活动传感器104、凝视传感器107、生物传感器108、温度传感器或冲击检测传感器)也可以被并入计算设备架构800中。
磁力计830被配置为测量磁场的强度和方向。在一些配置中，磁力计830向被存储在存储器部件804中的一个存储器部件内的罗盘应用程序提供测量，以便为用户在包括基本方向(北、南、东、西)的参考系中提供准确的方向。可以向包括罗盘部件的导航应用程序提供类似的测量。由磁力计830获得的测量的其它用途是预期的。
环境光传感器832被配置为测量环境光。在一些配置中，环境光传感器832向被存储在存储器部件804中的一个存储器部件内的应用提供测量，以便自动调整显示器(下面所描述的)的亮度，以补偿微光和强光环境。由环境光传感器832获得的测量的其它用途是预期的。
接近度传感器834被配置为在不直接接触的情况下检测接近计算设备的对象或物体的存在。在一些配置中，接近度传感器834检测用户的身体(例如，用户的脸部)的存在，并且将该信息提供给被存储在存储器部件804中的一个存储器部件内的应用程序，该应用程序利用接近度信息来启用或禁用计算设备的一些功能。例如，电话应用程序可以响应于接收到接近度信息而自动禁用触摸屏(下面所描述的)，以便在通话期间用户的脸部不会无意中结束通话或者启用/禁用电话应用程序中的其它功能。由接近度传感器834检测到的接近度的其它用途是预期的。
加速计836被配置为测量加速度。在一些配置中，来自加速计836的输出由应用程序用作输入机构，以控制应用程序的一些功能。在一些配置中，来自加速计836的输出被提供给应用程序，用于在景观模式和肖像模式之间切换、计算坐标加速度或者检测降落。加速计836的其它用途是预期的。
陀螺仪838被配置为测量和维持取向。在一些配置中，来自陀螺仪838的输出由应用程序用作输入机构，以控制应用程序的一些功能。例如，陀螺仪838可以被用于在视频游戏应用或者一些其它应用中的3d环境内精确识别移动。在一些配置中，应用程序利用来自陀螺仪838和加速计836的输出来加强对一些功能的控制。陀螺仪838的其它用途是预期的。
gps传感器840被配置为接收来自gps卫星的信号，用于在计算位置中使用。需要或者受益于位置信息的任何应用程序可以使用由gps传感器840计算的位置。例如，由gps传感器840计算的位置可以与导航应用程序一起使用，以提供从该位置到目的地的方向或者从目的地到该位置的方向。此外，gps传感器840可以被用来向外部基于位置的服务(诸如，e911服务)提供位置信息。gps传感器840可以利用一个或多个网络连接部件806来获得经由wi-fi、wimax和/或蜂窝三角技术生成的位置信息，以帮助gps传感器840获得位置固定。gps传感器840还可以被用在辅助gps(“a-gps”)系统中。
i/o部件810包括显示器842、触摸屏844、数据i/o接口部件(“数据i/o”)846、音频i/o接口部件(“音频i/o”)848、视频i/o接口部件(“视频i/o”)850和相机852。在一些配置中，显示器842和触摸屏844被组合起来。在一些配置中，数据i/o部件846、音频i/o部件848和视频i/o部件850中的两个或更多个被组合起来。i/o部件810可以包括被配置为支持下面所描述的各种接口的分立的处理器，或者可以包括内置于处理器802的处理功能。
显示器842是被配置为以视觉形式呈现信息的输出设备。特别地，显示器842可以呈现图形用户界面(“gui”)元件、文本、图像、视频、通知、虚拟按钮、虚拟键盘、消息数据、互联网内容、设备状态、时间、日期、日历数据、偏好、地图信息、位置信息和能够以视觉形式呈现的任何其它信息。在一些配置中，显示器842是利用任何有源或无源矩阵技术和任何背光技术(如果被使用)的液晶显示器(“lcd”)。在一些配置中，显示器842是有机发光二极管(“oled”)显示器。其它显示器类型是预期的，诸如但不限于上面关于图5所讨论的透明显示器。
触摸屏844是被配置为检测触摸的存在和位置的输入设备。触摸屏844可以是电阻式触摸屏、电容性触摸屏、表面声波触摸屏、红外触摸屏、光学成像触摸屏、色散信号触摸屏、声脉冲识别触摸屏，或者可以利用任何其它触摸屏技术。在一些配置中，触摸屏844作为透明层被并入在显示器842的顶部上，以使得用户能够使用一次或多次触摸来与在显示器842上所呈现的对象或其它信息交互。在其它配置中，触摸屏844是触摸板，其被并入在不包括显示器842的计算设备的表面上。例如，计算设备可以具有被并入在显示器842的顶部上的触摸屏以及在与显示器842相对的表面上的触摸板。
在一些配置中，触摸屏844是单点触摸触摸屏。在其它配置中，触摸屏844是多点触摸触摸屏。在一些配置中，触摸屏844被配置为检测离散触摸、单点触摸手势和/或多点触摸手势。为了方便，这些在本文中被统一称为“手势”。现在将描述几个手势。应当理解，这些手势是说明性的，并且不旨在限制所附的权利要求的范围。此外，所描述的手势、附加的手势和/或备选的手势可以在软件中被实现，用于与触摸屏844一起使用。这样，开发人员可以创建特定于具体应用程序的手势。
在一些配置中，触摸屏844支持轻敲手势，其中用户在显示器842上所呈现的项上轻敲触摸屏844一次。轻敲手势可以出于各种原因被使用，包括但不限于打开或启动用户轻敲的任何，诸如表示协同创作应用110的图形图标。在一些配置中，触摸屏844支持双击手势，其中用户在显示器842上所呈现的项上轻敲触摸屏844两次。双击手势可以出于各种原因被使用，包括但不限于分阶段放大或缩小。在一些配置中，触摸屏844支持轻敲和保持手势，其中用户轻敲触摸屏844并且维持接触达至少预定时间。轻敲和保持手势可以出于各种原因被使用，包括但不限于打开特定于上下文的菜单。
在一些配置中，触摸屏844支持平移手势，其中用户将手指放置在触摸屏844上并且维持与触摸屏844的接触，同时在触摸屏844上移动手指。平移手势可以出于各种原因被使用，包括但不限于以受控速率移动通过屏幕、图像或菜单。多指平移手势也是预期的。在一些配置中，触摸屏844支持轻拂手势，其中用户在用户想要屏幕移动的方向上挥动手指。轻拂手势可以出于各种原因被使用，包括但不限于水平或垂直滚动通过菜单或页面。在一些配置中，触摸屏844支持捏和伸的手势，其中用户在触摸屏844上利用两个手指(例如，拇指和食指)进行捏的动作或者移动将两个手指分开。捏和伸的手势可以出于各种原因被使用，包括但不限于逐渐放大或缩小网站、地图或图片。
尽管已经参照一个或多个手指的使用呈现了上述手势，以便执行手势，但是其它附属物(诸如脚趾)或者对象(诸如触笔)可以被用来与触摸屏844交互。这样，上面的手势应该被理解为说明性的，而不应该被解释为以任何方式限制。
数据i/o接口部件846被配置为促进数据向计算设备的输入以及数据从计算设备的输出。在一些配置中，数据i/o接口部件846包括连接器，其被配置为提供计算设备和计算机系统之间的有线连接，例如，用于同步操作的目的。连接器可以是专用连接器或标准连接器，诸如usb、微型usb、迷你usb、usb-c等。在一些配置中，连接器是对接连接器，用于将计算设备与另一设备(诸如对接站、音频设备(例如，数字音乐播放器)或者视频设备)对接。
音频i/o接口部件848被配置为向计算设备提供音频输入和/或输出的能力。在一些配置中，音频i/o接口部件848包括被配置为收集音频信号的麦克风。在一些配置中，音频i/o接口部件848包括被配置为向耳机或者其它外部扬声器提供连接的耳机插孔。在一些配置中，音频i/o接口部件848包括用于音频信号的输出的扬声器。在一些配置中，音频i/o接口部件848包括光学音频电缆输出。
视频i/o接口部件850被配置为向计算设备提供视频输入和/或输出的能力。在一些配置中，视频i/o接口部件850包括视频连接器，其被配置为从另一设备(例如，视频媒体播放器，诸如dvd或blu-ray播放器)接收视频作为输入或者向另一设备(例如，监视器、电视或者一些其它外部显示器)发送视频作为输出。在一些配置中，视频i/o接口部件850包括高清晰度多媒体接口(“hdmi”)、迷你hdmi、微型hdmi、displayport或者专用连接器，以输入/输出视频内容。在一些配置中，视频i/o接口部件850或其部分与音频i/o接口部件848或其部分组合在一起。
相机852可以被配置为捕获静止图像和/或视频。相机852可以利用电荷耦合设备(“ccd”)或者互补金属氧化物半导体(“cmos”)图像传感器来捕获图像。在一些配置中，相机852包括闪光灯，以帮助在弱光环境中拍摄图片。针对相机852的设置可以被实现为硬件或软件按钮。
尽管未被图示，但是一个或多个硬件按钮还可以被包括在计算设备架构800中。硬件按钮可以被用于控制计算设备的一些操作方面。硬件按钮可以是专用按钮或者多用按钮。硬件按钮可以是机械的或者基于传感器的。
所图示的功率部件812包括一个或多个电池854，其可以被连接到电池量表856。电池854可以是可充电的或者一次性的。可充电电池类型包括但不限于：锂聚合物、锂离子、镍镉和镍金属氢化物。电池854中的每个电池可以由一个或多个电池单元制成。
电池量表856可以被配置为测量电池参数，诸如电流、电压和温度。在一些配置中，电池量表856被配置为测量电池的放电速率、温度、使用年龄和其它因素的影响，以在一定误差百分比内预测剩余寿命。在一些配置中，电池量表856向应用程序提供测量，该应用程序被配置为利用测量来向用户呈现有用的功率管理数据。功率管理数据可以包括使用的电池百分比、剩余的电池百分比、电池状态、剩余时间、剩余容量(例如，以瓦时为单位)、电流消耗和电压中的一个或多个。
功率部件812还可以包括功率连接器(未被示出)，其可以与前述i/o部件810中的一个或多个i/o部件组合起来。功率部件812可以经由功率i/o部件来与外部功率系统或充电装备接合。还可以利用其它配置。
鉴于上述内容，可以理解，本文所呈现的本公开内容还涵盖在下面的条款中所阐述的主题内容：
条款1：一种计算机实现的方法，包括：使用标识针对由计算设备提供的用户界面(ui)的第一ui状态的数据、标识计算设备的用户的第一大脑活动的数据以及标识用户的凝视的第一位置的数据来训练机器学习模型；在操作计算设备的同时，接收标识用户的第二大脑活动的数据以及标识用户的凝视的第二位置的数据；利用机器学习模型、标识用户的第二大脑活动的数据以及标识用户的凝视的第二位置的数据，来选择针对由计算设备提供的ui的第二ui状态；以及使得由计算设备提供的ui根据所选择的第二ui状态来操作。
条款2：根据条款1的计算机实现的方法，进一步包括通过应用编程接口(api)暴露标识所选择的第二ui状态的数据。
条款3：根据条款1和2的计算机实现的方法，其中使得由计算设备提供的ui根据所选择的第二ui状态来操作包括修改由计算设备提供的ui中的一个或多个ui对象的大小。
条款4：根据条款1至3的计算机实现的方法，其中使得由计算设备提供的ui根据所选择的第二ui状态来操作包括修改由计算设备提供的ui中的一个或多个ui对象的焦点。
条款5：根据条款1至4的计算机实现的方法，其中使得由计算设备提供的ui根据所选择的第二ui状态来操作包括修改由计算设备提供的ui中的一个或多个ui对象的布局。
条款6：根据条款1至5的计算机实现的方法，其中使得由计算设备提供的ui根据所选择的第二ui状态来操作包括修改由计算设备提供的ui中的一个或多个ui对象的位置。
条款7：根据条款1至6的计算机实现的方法，其中使得由计算设备提供的ui根据所选择的第二ui状态来操作包括修改由计算设备提供的ui中的ui对象的数目。
条款8：根据条款1至7的计算机实现的方法，其中使得由计算设备提供的ui根据所选择的第二ui状态来操作包括修改由计算设备提供的ui中的ui对象的排序。
条款9：根据条款1至8的计算机实现的方法，其中使得由计算设备提供的ui根据所选择的第二ui状态来操作包括使得在由计算设备提供的ui中的ui对象以全屏操作模式而被呈现。
条款10：一种装置，包括：一个或多个处理器；以及至少一个计算机存储介质，具有存储在其上的计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时，使得装置：暴露应用编程接口(api)，用于提供标识针对由装置呈现的用户界面(ui)的状态的数据；在api处接收请求；利用机器学习模型来选择针对ui的多个ui状态中的一个ui状态，多个ui状态中的一个ui状态至少部分地基于标识装置的用户的大脑活动的数据以及标识装置的用户的凝视的位置的数据来而被选择；以及响应于请求，提供标识针对ui的多个ui状态中的所选择的一个ui状态的数据。
条款11：根据条款10的装置，其中至少一个计算机存储介质具有存储在其上的进一步的计算机可执行指令，以使得由装置呈现的ui根据多个ui状态中的所选择的一个ui状态来操作。
条款12：根据条款10至11的装置，其中使得由装置呈现的ui根据多个ui状态中的所选择的一个ui状态来操作包括修改由装置呈现的ui中的一个或多个ui对象的大小。
条款13：根据条款10或12的装置，其中使得由装置呈现的ui根据多个ui状态中的所选择的一个ui状态来操作包括修改由装置呈现的ui中的一个或多个ui对象的焦点。
条款14：根据条款10至13的装置，其中使得由装置呈现的ui根据多个ui状态中的所选择的一个ui状态来操作包括修改由装置呈现的ui中的ui对象的数目。
条款15：根据条款10至14的装置，其中使得由装置呈现的ui根据多个ui状态中的所选择的一个ui状态来操作包括使得在由装置呈现的ui中的ui对象以全屏操作模式来呈现。
条款16：一种计算机存储介质，具有存储在其上的计算机可执行指令，该计算机可执行指令在由一个或多个处理器执行时，使得处理器：在操作计算设备的同时，接收标识计算设备的用户的第一大脑活动的数据以及标识用户的凝视的位置的第一数据；在操作计算设备的同时，至少部分地基于标识用户的第一大脑活动的数据以及标识用户的凝视的位置的第一数据来选择针对由计算设备提供的ui的状态；以及使得由计算设备提供的ui根据所选择的ui状态来操作。
条款17：根据条款16的计算机存储介质，具有存储在其上的进一步的计算机可执行指令，以通过应用编程接口(api)暴露标识所选择的ui状态的数据。
条款18：根据条款16至17的计算机存储介质，其中针对由计算设备提供的ui的状态是利用机器学习模型来选择的，该机器学习模型是使用标识计算设备的用户的第二大脑活动的数据以及标识用户的凝视的第二位置的数据来训练的。
条款19：根据条款16至18的计算机存储介质，其中使得由计算设备提供的ui根据所选择的ui状态来操作包括修改由计算设备提供的ui中的一个或多个ui对象的焦点。
条款20：根据条款16至19的计算机存储介质，其中使得由计算设备提供的ui根据所选择的ui状态来操作包括修改由计算设备提供的ui中的一个或多个ui对象的大小。
基于前述，应当理解，本文中已经公开了用于基于用户的大脑活动和凝视来修改ui的状态的各种技术。尽管本文所呈现的主题内容已经用特定于计算机结构特征、方法和变换行为、具体计算机器和计算机可读介质的语言进行了描述，但是应当理解，在所附的权利要求书中阐述的主题内容不必限于本文所述的特定特征、行为或介质。相反地，特定特征、动作或介质被公开为实现所要求保护的主题内容的示例形式。
上述主题内容仅通过说明的方式来提供，并且不应该被解释为限制。在不遵循所说明和描述的示例配置和应用，并且不偏离所附的权利要求书中阐述的本公开的范围的情况下，可以对本文所描述的主题内容进行各种修改和改变。
- 还没有人留言评论。精彩留言会获得点赞！