基于用户的眼睛行为来引导虚拟代理的制作方法

1.本公开涉及虚拟代理的显示，具体地涉及基于用户的眼睛行为来控制虚拟代理。


背景技术：

2.在各种情况下，设备显示虚拟代理，并且设备的用户通过向设备提供用户输入来与虚拟代理进行交互。然而，用户交互通常是麻烦的，诸如当用户的手部跨环境朝向虚拟代理移动以便选择或操纵虚拟代理时。因此，用户交互可导致用户不适，从而导致设备接收不准确的用户输入并且整体上降低用户体验。此外，设备缺少用于使用户能够直观地与虚拟代理进行交互的机构。


技术实现要素：

3.根据一些具体实施，在具有一个或多个处理器、非暂态存储器和显示器的电子设备处执行一种方法。该方法包括在显示器上显示与第一视见平截头体相关联的虚拟代理。第一视见平截头体包括与用户相关联的用户化身，并且用户化身包括一只或多只眼睛的视觉表示。该方法包括，在显示与第一视见平截头体相关联的虚拟代理时，获得指示与用户的眼睛相关联的眼睛行为的眼睛跟踪数据，基于眼睛行为来更新一只或多只眼睛的视觉表示，以及基于更新和与电子设备相关联的场景信息来引导虚拟代理执行动作。
4.根据一些具体实施，一种电子设备包括一个或多个处理器、非暂态存储器和显示器。一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且一个或多个程序包括用于执行或导致执行本文所述的方法中的任一种方法的操作的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，当由电子设备的一个或多个处理器执行时，这些指令使得该设备执行或导致执行本文所述方法中的任一种方法的操作。根据一些具体实施，一种电子设备包括用于执行或导致执行本文所述的方法中的任一种方法的操作的装置。根据一些具体实施，一种用于在电子设备中使用的信息处理装置包括用于执行或导致执行本文所述方法中的任一种方法的操作的装置。
附图说明
5.为了更好地理解各种所述具体实施，应结合以下附图参考下面的具体实施方式，其中类似的附图标号在所有附图中指示对应的部分。
6.图1是根据一些具体实施的便携式多功能设备的示例的框图。
7.图2a至图2u是根据一些具体实施引导虚拟代理基于用户的相应的眼睛行为来执行各种动作的示例。
8.图3是根据一些具体实施的引导虚拟代理基于用户的眼睛行为来执行各种动作的方法的流程图的示例。
具体实施方式
9.在各种情况下，设备显示虚拟代理，并且设备的用户通过向设备提供用户输入来与虚拟代理进行交互。例如，设备包括跟踪用户的手部的移动的肢体跟踪器，并且设备基于该跟踪来操纵虚拟代理的显示。然而，用户交互通常是麻烦的，例如当用户的手部经过环境朝向虚拟代理移动时。因此，用户交互可导致用户身体上或其他方面的不适，例如用户的手部疲劳。用户不适通常导致用户向设备提供不准确的(例如，非预期的)输入，从而导致不反映用户意图的对虚拟代理的操纵(或缺乏操纵)。
10.相比之下，本文所公开的各种具体实施包括用于基于用户的眼睛行为(例如，眼睛移动)和场景信息来引导虚拟代理执行动作的方法、系统和电子设备。为此，电子设备可包括眼睛跟踪器，该眼睛跟踪器获得指示用户的眼睛行为的眼睛跟踪数据。例如，眼睛行为指示焦点位置或眼睛图案，诸如飞快扫视或微扫视移动。作为一个示例，电子设备确定用户的焦点位置(例如，注视)被引导到特定对象，并且作为响应，电子设备引导虚拟代理朝向该特定对象移动或者引导虚拟代理将其自身的注视移动到该特定对象。该动作可包括改变虚拟代理的一只或多只虚拟眼睛的外观，移动虚拟代理的身体或头部，从虚拟代理发出声音，等等。例如，眼睛行为包括从第一焦点位置到第二焦点位置的改变。因此，电子设备引导虚拟代理的虚拟眼睛改变到距第二焦点位置的距离短于阈值距离的焦点位置。场景信息的示例包括环境类型(例如，虚拟现实(vr)环境、增强现实(ar)环境、混合现实(mr)环境)、场景氛围(例如，黑暗且安静的房间)、关于场景内的对象的信息、场景位置(例如，室外与室内)，等等。
11.具体实施方式
12.现在将详细地参考具体实施，这些具体实施的实施例在附图中示出。下面的详细描述中示出许多具体细节，以便提供对各种所描述的具体实施的充分理解。但是，对本领域的普通技术人员将显而易见的是，各种所描述的具体实施可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细地描述众所周知的方法、过程、部件、电路和网络，从而不会不必要地使具体实施的各个方面晦涩难懂。
13.还将理解的是，虽然在一些情况下，术语“第一”、“第二”等在本文中用于描述各种元件，但是这些元件不应受到这些术语限制。这些术语只是用于将一个元件与另一元件区分开。例如，第一接触可被命名为第二接触，并且类似地，第二接触可被命名为第一接触，而不脱离各种所描述的具体实施的范围。第一接触和第二接触均为接触，但它们不是同一个接触，除非上下文另外明确指示。
14.在本文中对各种所述具体实施的描述中所使用的术语只是为了描述特定具体实施的目的，而并非旨在进行限制。如在对各种所述具体实施的描述中和所附权利要求书中所使用的那样，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另外明确地指示。还将理解的是，本文中所使用的术语“和/或”是指并且涵盖相关联的所列出的项目中的一个或多个项目的任何和全部可能的组合。还将理解的是，术语“包括”(“includes”、“including”、“comprises”和/或“comprising”)在本说明书中使用时是指定存在所陈述的特征、整数、步骤、操作、元件和/或部件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其分组。
15.如本文中所使用，根据上下文，术语“如果”任选地被解释为意指“当
……
时”或“在
……
时”或“响应于确定”或“响应于检测到”。类似地，根据上下文，短语“如果确定
……”
或“如果检测到[所陈述的条件或事件]”任选地被解释为意指“在确定
……
时”或“响应于确定
……”
或“在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
[0016]
物理环境是指人们在没有电子设备帮助的情况下能够对其感测和/或与其交互的物理世界。物理环境可包括物理特征，诸如物理表面或物理对象。例如，物理环境对应于包括物理树木、物理建筑物和物理人的物理公园。人们能够诸如通过视觉、触觉、听觉、味觉和嗅觉来直接感测物理环境和/或与物理环境交互。相反，扩展现实(xr)环境是指人们经由电子设备感测和/或交互的完全或部分模拟的环境。例如，xr环境可包括增强现实(ar)内容、混合现实(mr)内容、虚拟现实(vr)内容等。在xr系统的情况下，跟踪人的物理运动的一个子集或其表示，并且作为响应，以符合至少一个物理定律的方式调节在xr系统中模拟的一个或多个虚拟对象的一个或多个特征。例如，xr系统可以检测头部移动，并且作为响应，以与此类视图和声音在物理环境中变化的方式类似的方式调节呈现给人的图形内容和声场。又如，xr系统可以检测呈现xr环境的电子设备(例如，移动电话、平板电脑、膝上型电脑等)的移动，并且作为响应，以类似于此类视图和声音在物理环境中将如何改变的方式调节呈现给人的图形内容和声场。在一些情况下(例如，出于可达性原因)，xr系统可响应于物理运动的表示(例如，声音命令)来调节xr环境中图形内容的特征。
[0017]
有许多不同类型的电子系统使人能够感测和/或与各种xr环境交互。示例包括头戴式系统、基于投影的系统、平视显示器(hud)、集成有显示能力的车辆挡风玻璃、集成有显示能力的窗户、被形成为设计用于放置在人的眼睛上的透镜的显示器(例如，类似于隐形眼镜)、耳机/听筒、扬声器阵列、输入系统(例如，具有或不具有触觉反馈的可穿戴或手持式控制器)、智能电话、平板电脑、以及台式/膝上型计算机。头戴式系统可具有集成不透明显示器和一个或多个扬声器。另选地，头戴式系统可被配置为接受外部不透明显示器(例如，智能电话)。头戴式系统可结合用于捕获物理环境的图像或视频的一个或多个成像传感器、和/或用于捕获物理环境的音频的一个或多个麦克风。头戴式系统可具有透明或半透明显示器，而不是不透明显示器。透明或半透明显示器可以具有媒介，代表图像的光通过该媒介被引导到人的眼睛。显示器可以利用数字光投影、oled、led、uled、硅基液晶、激光扫描光源或这些技术的任意组合。媒介可以是光学波导、全息图媒介、光学组合器、光学反射器、或它们的任意组合。在一些具体实施中，透明或半透明显示器可被配置为选择性地变得不透明。基于投影的系统可以采用将图形图像投影到人的视网膜上的视网膜投影技术。投影系统也可以被配置为将虚拟对象投影到物理环境中，例如作为全息图或在物理表面上。
[0018]
图1是根据一些具体实施的便携式多功能设备100(为了简洁起见，在本文中有时也称为“电子设备100”)的示例的框图。电子设备100包括存储器102(例如，一个或多个非暂态计算机可读存储介质)、存储器控制器122、一个或多个处理单元(cpu)120、外围设备接口118、输入/输出(i/o)子系统106、显示系统112、惯性测量单元(imu)130、图像传感器143(例如，相机)、接触强度传感器165、音频传感器113(例如麦克风)、眼睛跟踪传感器164(例如，包括在头戴式设备(hmd)内)、肢体跟踪传感器150以及其他输入或控制设备116。在一些具体实施中，电子设备100对应于移动电话、平板电脑、膝上型电脑、可穿戴计算设备、头戴式设备(hmd)、头戴式壳体(例如，电子设备100滑动到或以其他方式附接到头戴式壳体)等中
的一种。在一些具体实施中，头戴式壳体被成形为形成用于接收具有显示器的电子设备100的接收器。
[0019]
在一些具体实施中，外围设备接口118、一个或多个处理单元120和存储器控制器122任选地在单个芯片诸如芯片103上实现。在一些其他具体实施中，它们任选地在独立的芯片上实现。
[0020]
i/o子系统106将电子设备100上的输入/输出外围设备诸如显示系统112和其他输入或控制设备116与外围设备接口118耦接。i/o子系统106任选地包括显示控制器156、图像传感器控制器158、强度传感器控制器159、音频控制器157、眼睛跟踪控制器160、用于其他输入或控制设备的一个或多个输入控制器152、imu控制器132、肢体跟踪控制器180和隐私子系统170。一个或多个输入控制器152从其他输入或控制设备116接收电信号/将电信号发送到该其他输入或控制设备。其他输入控制设备116任选地包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击轮等。在一些另选的具体实施中，一个或多个输入控制器152任选地与以下各项中的任一者耦接(或不与以下各项中的任一者耦接)：键盘、红外线端口、通用串行总线(usb)端口、触笔、手指可穿戴设备和/或指针设备诸如鼠标。一个或多个按钮任选地包括下压按钮。在一些具体实施中，其他输入或控制设备116包括获得关于电子设备100相对于特定对象的位置和/或定向的信息的定位系统(例如，gps)。在一些具体实施中，其他输入或控制设备116包括获得表征物理环境内的物理对象的深度信息的深度传感器和/或飞行时间传感器。在一些具体实施中，其他输入或控制设备116包括环境光传感器，其感测来自物理环境的环境光并且输出对应的环境光数据。
[0021]
显示系统112提供电子设备100与用户之间的输入接口和输出接口。显示控制器156从显示系统112接收电信号和/或将电信号发送至该显示系统。显示系统112向用户显示视觉输出。视觉输出任选地包括图形、文本、图标、视频以及其任何组合(在本文中有时称为“计算机生成的内容”)。在一些具体实施中，一些视觉输出或全部视觉输出对应于用户界面对象。如本文所用，术语“示能表示”是指用户交互式图形用户界面对象(例如，被配置为对被引向图形用户界面对象的输入进行响应的图形用户界面对象)。用户交互式图形用户界面对象的示例包括但不限于按钮、滑块、图标、可选择菜单项、开关、超链接或其他用户界面控件。
[0022]
显示系统112可具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器、或传感器组。显示系统112和显示控制器156(与存储器102中的任何相关联的模块和/或指令集一起)检测显示系统112上的接触(和该接触的任何移动或中断)，并且将检测到的接触转换为与被显示在显示系统112上的用户界面对象(例如，一个或多个软按键、图标、网页或图像)的交互。在示例性具体实施中，显示系统112和用户之间的接触点对应于用户的手指或手指可穿戴设备。
[0023]
显示系统112任选地使用lcd(液晶显示器)技术、lpd(发光聚合物显示器)技术或led(发光二极管)技术，但是在其他具体实施中使用其他显示技术。显示系统112和显示控制器156任选地使用现在已知的或以后将开发出的多种触摸感测技术中的任何技术以及其他接近传感器阵列或用于确定与显示系统112接触的一个或多个点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外线技术和表面声波技术。
[0024]
用户任选地使用任何合适的物体或附加物诸如触笔、手指可佩戴设备、手指等来与显示系统112接触。在一些具体实施中，将用户界面设计成与基于手指的接触和手势一起工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些具体实施中，电子设备100将基于手指的粗略输入转化为精确的指针/光标位置或命令以用于执行用户所期望的动作。
[0025]
音频电路还接收由音频传感器113(例如，麦克风)从声波转换的电信号。音频电路将电信号转换为音频数据，并且将音频数据传输到外围设备接口118以用于处理。音频数据任选地由外围设备接口118检索自和/或传输到存储器102和/或rf电路。在一些具体实施中，音频电路还包括耳麦插孔。该耳麦插孔提供音频电路与可移除的音频输入/输出外围设备之间的接口，该可移除的音频输入/输出外围设备为诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
[0026]
惯性测量单元(imu)130包括加速度计、陀螺仪和/或磁力仪，以便测量相对于电子设备100的各种力、角速率和/或磁场信息。因此，根据各种具体实施，imu 130检测电子设备100的一个或多个位置改变输入，诸如电子设备100被摇动、旋转、沿特定方向移动等。
[0027]
图像传感器143捕获静态图像和/或视频。在一些具体实施中，光学传感器143位于电子设备100的背面上，与电子设备100正面上的触摸屏相背对，使得触摸屏能够用作用于静态图像和/或视频图像采集的取景器。在一些具体实施中，另一图像传感器143位于电子设备100的正面上，使得获取该用户的图像(例如，用于自拍、用于当用户在触摸屏上观看其他视频会议参与者时进行视频会议等等)。在一些具体实施中，图像传感器集成在hmd内。例如，图像传感器143输出表示物理环境内的物理对象(例如，物理代理)的图像数据。
[0028]
接触强度传感器165检测电子设备100上的接触的强度(例如，电子设备100的触敏表面上的触摸输入)。接触强度传感器165与i/o子系统106中的强度传感器控制器159耦接。接触强度传感器165任选地包括一个或多个压阻应变仪、电容式力传感器、电气力传感器、压电力传感器、光学力传感器、电容式触敏表面或其他强度传感器(例如，用于测量触敏表面上的接触的力(或压力)的传感器)。接触强度传感器165从物理环境接收接触强度信息(例如，压力信息或压力信息的代用物)。在一些具体实施中，至少一个接触强度传感器165与电子设备100的触敏表面并置排列或邻近。在一些具体实施中，至少一个接触强度传感器165位于电子设备100的侧面上。
[0029]
眼睛跟踪传感器164检测电子设备100的用户的眼睛注视，并且生成指示用户的注视位置的眼睛跟踪数据。在各种具体实施中，眼睛跟踪数据包括指示用户在显示面板上的固定点(例如，关注点)的数据，该显示面板为诸如头戴式设备(hmd)、头戴式壳体或平视显示器内的显示面板。
[0030]
肢体跟踪传感器150获取指示用户的肢体位置的肢体跟踪数据。例如，在一些具体实施中，肢体跟踪传感器150对应于获得指示特定对象内用户的手或手指的位置的手部跟踪数据的手部跟踪传感器。在一些具体实施中，肢体跟踪传感器150利用计算机视觉技术以基于相机图像来估计肢体的姿态。
[0031]
在各种具体实施中，电子设备100包括隐私子系统170，该隐私子系统包括与用户信息相关联的一个或多个隐私设置滤波器，诸如包括在与用户相关联的肢体跟踪数据、眼睛注视数据和/或身体位置数据中的用户信息。在一些具体实施中，隐私子系统170选择性
地防止和/或限制电子设备100或其部分获取和/或传输用户信息。为此，隐私子系统170响应于提示用户进行用户偏好和/或选择来从用户接收用户偏好和/或选择。在一些具体实施中，隐私子系统170防止电子设备100获取和/或传输用户信息，除非并且直到隐私子系统170从用户获取到知情同意。在一些具体实施中，隐私子系统170匿名化(例如，加扰或模糊)某些类型的用户信息。例如，隐私子系统170接收指定隐私子系统170匿名化哪些类型的用户信息的用户输入。作为另一示例，隐私子系统170独立于用户指定(例如，自动地)匿名化可能包括敏感和/或识别信息的某些类型的用户信息。
[0032]
图2a至图2u是根据一些具体实施引导虚拟代理基于用户的相应的眼睛行为来执行各种动作的示例。如图2a所示，物理环境200包括第一物理墙201、第二物理墙202和物理边柜204。物理边柜204的长边缘(长度)基本上平行于第二物理墙202，并且物理边柜204的短边缘(宽度)基本上平行于第一物理墙201。
[0033]
物理环境200还包括持有电子设备210的用户50。电子设备210包括与物理环境200的可视区域214相关联的显示器212。可视区域214包括第一物理墙201的一部分，第二物理墙202的一部分，以及物理边柜204。在一些具体实施中，电子设备210对应于移动设备，诸如智能电话、平板电脑、可穿戴设备等。用户50包括眼睛52，用户50的另一只眼睛在图2a中未示出。
[0034]
在一些具体实施中，电子设备210对应于包括集成显示器(例如，内置显示器)的头戴式设备(hmd)。在一些具体实施中，电子设备210包括头戴式壳体。在各种具体实施中，头戴式壳体包括附接区，具有显示器的另一设备可附接到该附接区。在各种具体实施中，头戴式壳体被成形为形成用于接收包括显示器的另一设备(例如，电子设备210)的接收器。例如，在一些具体实施中，电子设备210滑动/卡扣到头戴式壳体中或以其他方式附接到该头戴式壳体。
[0035]
在一些具体实施中，电子设备210包括图像传感器，诸如场景相机。图像传感器可以捕获表征物理环境200的图像数据。图像数据可以对应于图像或图像序列(例如，视频流)。电子设备210可包括将图像数据与计算机生成的内容(例如，图2d中所示的虚拟棒球222和虚拟代理224)合成的合成系统。为此，在一些具体实施中，电子设备210包括渲染系统(例如，图形处理单元(gpu))，该渲染系统渲染对象以便生成对应的计算机生成的内容。
[0036]
在一些具体实施中，电子设备210包括透视显示器。透视显示器允许来自物理环境200的环境光穿过透视显示器，并且物理环境的表示是环境光的函数。在一些具体实施中，透视显示器是允许物理表面光学透视的附加显示器，诸如光学hmd(ohmd)。例如，不同于使用图像数据的纯合成，透视显示器能够从显示器反射投影图像，同时使用户视觉能够透过显示器。
[0037]
如图2b所示，在一些具体实施中，电子设备210包括眼睛跟踪器214。眼睛跟踪器214获得指示与用户50的眼睛52相关联的眼睛行为的眼睛跟踪数据。例如，眼睛行为指示视线、焦点(例如，注视)位置、眼睛移动等中的一者或多者。例如，如图2b所示，基于眼睛跟踪数据，眼睛跟踪器214确定第一用户视线54a。如图2c所示，第一用户视线54a在第一焦点位置56a处与第一物理墙201相交。换句话讲，用户50的眼睛52聚焦在第一物理墙201的一点或一部分上。
[0038]
如图2d所示，在一些具体实施中，电子设备210根据操作环境220诸如上述xr环境
来操作。为此，在一些具体实施中，电子设备210经由图像传感器获得表征物理环境200的图像数据。图像传感器可具有大致对应于显示器212的可视区域214的视场。因此，图像数据包括物理环境200的物理特征的相应表示。因此，操作环境220包括第一物理墙201、第二物理墙202和物理边柜204的相应表示。此外，操作环境220包括各种计算机生成的内容，包括驻留在物理边柜204上的虚拟棒球222、虚拟狗224，以及用户化身230。在一些具体实施中，电子设备210将图像数据与计算机生成的内容合成，以便生成操作环境220。在一些具体实施中，电子设备210在显示器212上显示物理特征的相应表示，并且进一步显示虚拟棒球222和虚拟狗224。
[0039]
用户化身230与用户50相关联(例如，可视地表示)。因此，用户化身230包括眼睛232的视觉表示，该视觉表示可以表示用户50的眼睛52。在一些具体实施中，基于与用户50相关联的第一用户视线54a，电子设备210确定与用户化身230相关联的第一化身视线234a。例如，如图2d所示，第一化身视线234a与第一物理墙201的第一点236a相交，该第一点大致对应于与用户50的眼睛52相关联的第一焦点位置56a。
[0040]
在一些具体实施中，电子设备210参与与另一电子设备的共存会话，使得电子设备210和另一电子设备能够根据操作环境220并发地操作。因此，另一电子设备可以显示用户化身230，并且电子设备210可以显示表示另一电子设备的用户的用户化身。
[0041]
虚拟狗224包括与第一视见平截头体228a相关联的虚拟眼睛226。需注意，第一视见平截头体228a包括用户化身230。换句话讲，虚拟狗224聚焦在包括用户化身230的操作环境220的区域上，使得虚拟狗224能够响应于用户化身230的眼睛行为。电子设备210基于用户50的眼睛52的对应的跟踪的眼睛行为来确定用户化身230的眼睛行为。
[0042]
如图2e所示，眼睛跟踪器214跟踪用户50的眼睛52并且确定从第一用户视线54a到第二用户视线54b的改变。第二用户视线54b与物理环境200的第二焦点位置56b相交，该第二焦点位置对应于物理边柜204上方和右侧的点。
[0043]
基于第二焦点位置56b的改变，电子设备210更新用户化身230的眼睛232的视觉表示，如图2f所示。即，眼睛232的视觉表示从第一化身视线234a改变到第二化身视线234b，该第二化身视线大致对应于第二用户视线54b。需注意，第二化身视线234b与虚拟狗224上的第二点236b相交。换句话讲，用户化身230的焦点被引导到虚拟狗224。
[0044]
在一些具体实施中，基于用户化身230的焦点被引导到虚拟狗224，电子设备224激活虚拟狗224(例如，使虚拟狗224能够执行动作)。在一些具体实施中，如图2f和图2g所示，电子设备210将虚拟狗224的外观从实线边界改变为虚线边界，以便指示激活。改变显示器212上的虚拟狗224的外观向用户50提供虚拟狗224已经被激活的反馈，从而降低用户50提供试图激活虚拟狗224的后续输入的可能性，并且由此降低电子设备210的资源利用。
[0045]
如图2h所示，眼睛跟踪器214跟踪用户50的眼睛52并且确定从第二用户视线54b到第三用户视线54c的改变。第三用户视线54c与物理环境200的第三焦点位置56c相交。第三焦点位置56c对应于物理边柜204的顶表面上的点。
[0046]
基于第三焦点位置56c的改变，电子设备210更新用户化身230的眼睛232的视觉表示，如图2i所示。即，眼睛232的视觉表示从第二化身视线234b改变到第三化身视线234c，该第三化身视线大致对应于第三用户视线54c。需注意，第三化身视线234c与虚拟棒球222上的第三点236c相交。换句话讲，用户化身230的焦点被引导到虚拟棒球222。
[0047]
如图2j所示，眼睛跟踪器214跟踪用户50的眼睛52并且确定从第三用户视线54c到与第二焦点56b相关联的第二用户视线54b的改变。例如，用户50的眼睛行为对应于起源于虚拟狗224的位置的飞快扫视(如图2e所示)，移动到物理边柜204的位置(如图2h所示)，以及移动回到虚拟狗224的位置(如图2j所示)。基于第二焦点位置56b的改变，电子设备210将用户化身230的眼睛232的视觉表示更新回与对应于虚拟狗224的第二点236b相关联的第二化身视线234b，如图2k所示。
[0048]
根据各种具体实施，基于用户化身230的眼睛行为，电子设备210引导虚拟狗224执行一个或多个动作。例如，基于眼睛232的视觉表示从虚拟狗224到虚拟棒球222并且回到虚拟狗224的移动，电子设备210引导虚拟代理224改变虚拟眼睛226的外观。作为一个示例，如图2l所示，电子设备210引导虚拟狗224将虚拟眼睛226从第一视见平截头体228a改变到第二视见平截头体228b。为此，在一些具体实施中，电子设备210选择第二视见平截头体228b以包括虚拟棒球222，因为用户化身230先前聚焦在虚拟棒球222上。换句话讲，电子设备210引导虚拟狗224改变其注视目标以大致匹配用户化身230的先前注视。
[0049]
如图2m所示，眼睛跟踪器214跟踪用户50的眼睛52并且确定从第二用户视线54b到与第一焦点56a相关联的第一用户视线54a的改变。基于第一焦点位置56a的改变，电子设备210将用户化身230的眼睛232的视觉表示更新为与第二点236a相关联的第一化身视线234a，如图2n所示。此外，因为用户50的焦点已经移动离开虚拟棒球224(例如，至少阈值量的时间)，所以电子设备210引导虚拟狗224从第二视见平截头体228b改变到第一视见平截头体228a，如图2n所示。第一视见平截头体228a包括用户化身230，并且因此虚拟狗224可以观看用户化身230并且等待来自用户化身230的另外的指令。
[0050]
根据各种具体实施，电子设备210基于与焦点位置相关联的一个或多个相应的持续时间阈值来引导虚拟狗224执行一个或多个动作。利用持续时间阈值的示例在图2o至图2u中示出。如图2o所示，眼睛跟踪器214跟踪用户50的眼睛52并且确定从第一用户视线54a到与物理边柜204的表面上的第三焦点56c相关联的第三用户视线54c的改变。基于第三焦点位置56c的改变，电子设备210将用户化身230的眼睛232的视觉表示从第一化身视线234a更新到第三化身视线234c，如图2p所示。第三化身视线234c与位于虚拟棒球222上的第三点236c相关联。
[0051]
如图2q所示，基于第三点236c的改变，电子设备210引导虚拟狗224更新虚拟眼睛226以从第一视见平截头体228a改变到第二视见平截头体228b，如参考图2k和图2l所述。
[0052]
在一些具体实施中，电子设备210确定用户化身230的眼睛232将焦点保持在第三点236c上(在虚拟棒球222上)至少第一阈值持续时间。基于对第一阈值持续时间的满足，电子设备210引导虚拟狗224朝向虚拟棒球222移动，如图2r中的第一移动线240所指示。图2s示出了虚拟狗224到虚拟棒球222的移动的完成。
[0053]
此外，在一些具体实施中，电子设备210确定用户化身230的眼睛232将焦点保持在第三点236c上(在虚拟棒球222上)至少第二阈值持续时间，该第二阈值持续时间大于第一阈值持续时间。例如，第一阈值持续时间是从用户化身230的眼睛232最初聚焦在虚拟棒球222上时起的两秒，而第二阈值持续时间是从用户化身230的眼睛232最初聚焦在虚拟棒球222上时起的四秒。基于对第二阈值持续时间的满足，电子设备210引导虚拟狗224将虚拟棒球222带到用户化身230，如图2t中的第二移动线242所示。图2u示出了虚拟狗224和虚拟棒
球222向用户化身230的移动的完成。此外，电子设备210还引导虚拟狗224将虚拟眼睛226从与第二视见平截头体228b相关联改变到第三视见平截头体228c。第三视见平截头体228c包括用户化身230的眼睛232，使得虚拟狗224能够从用户化身230(的眼睛232)接收另外的方向。
[0054]
图3是根据一些具体实施的引导虚拟代理基于用户的眼睛行为来执行各种动作的方法300的流程图的示例。在各种具体实施中，方法300或其部分由电子设备(例如，电子设备210)执行。在各种具体实施中，方法300或其部分由移动设备执行，例如智能手机、平板电脑或可穿戴设备。在各种具体实施中，方法300或其部分由包括显示器的头戴式设备(hmd)执行。在一些具体实施中，方法300由处理逻辑部件(包括硬件、固件、软件或它们的组合)执行。在一些具体实施中，方法300由执行存储在非暂态计算机可读介质(例如，存储器)中的代码的处理器执行。
[0055]
如框302所示，方法300包括在显示器上显示与第一视见平截头体相关联的虚拟代理。虚拟代理的示例包括各种计算机生成的实体，诸如人、动物、类人、机器人、类人猿、拟人化实体等。如框304所示，第一视见平截头体包括与用户相关联的用户化身。用户化身可以提供用户的图形表示。例如，参考图2c和图2d，虚拟代理对应于虚拟狗224，该虚拟狗具有第一视见平截头体228a，该第一视见平截头体包括与用户50相关联的用户化身230。用户化身包括一只或多只眼睛的视觉表示，诸如图2d所示的用户化身230的眼睛232的视觉表示。一只或多只眼睛的视觉表示可以对应于计算机生成的眼睛(例如，个体的一般眼睛)，或者可以对应于覆盖在用户化身上的用户的实际眼睛。例如，电子设备捕获用户的眼睛的图像，(例如，经由计算机视觉)识别图像内的眼睛，并且将眼睛覆盖在用户化身上。
[0056]
如框306所示，方法300包括获得指示与用户的眼睛相关联的眼睛行为的眼睛跟踪数据。眼睛行为可以指示当前焦点位置，诸如用户正在物理环境内观看或聚焦的位置。例如，参考图2c，眼睛跟踪器214基于眼睛跟踪数据来确定用户50的眼睛52聚焦在位于第一物理墙201上的第一焦点位置56a上。
[0057]
作为另一示例，如框308所示，眼睛行为包括用户的眼睛从第一焦点位置到第二焦点位置的移动。例如，参考图2c和图2e，眼睛跟踪器确定眼睛52从第一焦点位置56a移动到第二焦点位置56b。如框310所示，在一些具体实施中，该移动包括飞快扫视，诸如参考图2e、图2h和图2j所述。飞快扫视可以在第一焦点位置和第二焦点位置之间移动，诸如从原点移动到感兴趣的对象，并且返回到原点。例如，眼睛注视最初被引导到地面，移动到虚拟狗，然后向后朝向地面移动。眼睛移动的其他示例包括平滑追踪、聚散度和前庭眼移动。
[0058]
如框312所示，方法300包括基于眼睛行为来更新一只或多只眼睛的视觉表示。例如，参考图2d和图2f，电子设备210基于用户50的眼睛52的对应的移动(在图2c和图2e中示出)将眼睛232的视觉表示从被引导到第一点236a改变为被引导到第二点236b。
[0059]
如框314所示，在一些具体实施中，方法300包括基于眼睛跟踪数据来确定眼睛行为指示激活请求，以及响应于确定眼睛行为指示激活请求而激活虚拟代理。一旦被激活，就可以引导虚拟代理执行动作。在一些具体实施中，激活请求对应于聚焦在虚拟代理上的化身。例如，参考图2f和图2g，响应于确定第二焦点位置236b在虚拟狗224上，电子设备210激活虚拟狗224。在一些具体实施中，激活请求对应于在至少阈值量的时间内聚焦在虚拟代理上。
[0060]
如框316所示，方法300包括引导虚拟代理基于更新和与电子设备相关联的场景信息来执行第一动作。例如，第一动作包括虚拟代理的头部姿态改变，诸如虚拟代理将其头部朝向用户化身移动。作为另一示例，第一动作包括虚拟代理发出可听见的声音，诸如虚拟犬吠。在一些具体实施中，执行方法300的电子设备包括输出环境数据的一个或多个环境传感器，并且方法300包括基于环境数据来确定场景信息。一个或多个环境传感器的示例包括图像传感器、深度传感器、即时定位与地图构建(slam)传感器、视觉惯性里程计(vio)传感器、全球定位系统(gps)传感器等。
[0061]
在一些具体实施中，当场景信息指示第一环境类型时，第一动作对应于第一动作类型，并且当场景信息指示不同于第一环境类型的第二环境类型时，第一动作对应于第二动作类型。第二动作类型不同于第一动作类型。环境类型的示例包括虚拟现实(vr)环境、增强现实(ar)环境、混合现实(mr)环境等。场景信息的其他示例包括场景氛围(例如，黑暗且安静的房间)、关于场景内的对象的信息、场景位置(例如，室外与室内)，等等。此外，场景信息可以指示标测图(例如，网格)，其指示多个物理对象和表面，诸如基于slam数据、点云数据等确定。作为一个示例，当场景信息指示安静的环境时，电子设备引导虚拟代理限制虚拟代理所产生(例如，发出)的任何声音的音量。作为另一示例，当场景信息指示物理对象阻挡虚拟代理和与用户眼睛相关联的焦点位置之间的直线路径时，电子设备引导虚拟代理沿着避开物理对象的路径移动，以便到达焦点位置。
[0062]
如框318所示，在一些具体实施中，第一动作包括改变一只或多只虚拟眼睛的外观。如框320所示，在一些具体实施中，改变一只或多只虚拟眼睛的外观包括将一只或多只虚拟眼睛从第一视见平截头体改变到第二视见平截头体。例如，参考图2h至图2l，基于用户50的眼睛52改变虚拟狗224和虚拟棒球222之间的焦点，电子设备210指示虚拟狗224将虚拟眼睛226从与第一视见平截头体228a相关联改变为与第二视见平截头体228b(包括虚拟棒球222)相关联。作为另一示例，改变一只或多只虚拟眼睛的外观包括改变一只或多只虚拟眼睛的颜色，放大一只或多只虚拟眼睛，收缩一只或多只虚拟眼睛等。例如，基于指示虚拟狗在室外的场景信息，并且基于用户的眼睛朝向球移动，电子设备引导虚拟狗放大其眼睛，以便指示虚拟狗在户外玩球玩得很兴奋。
[0063]
如框322所示，在一些具体实施中，第一动作包括虚拟代理从操作环境内的第一位置到操作环境内的第二位置的移动。在一些具体实施中，虚拟代理的移动基于检测用户的眼睛将焦点保持在特定的焦点位置至少阈值持续时间。作为一个示例，基于确定用户化身230的眼睛232将焦点保持在第三点236c(在虚拟棒球222上)至少第一阈值持续时间，电子设备210引导虚拟狗224朝向虚拟棒球222移动，如图2r中的第一移动线240所指示。继续该示例，电子设备210确定用户化身230的眼睛232将焦点保持在第三点236c(在虚拟棒球222上)至少第二阈值持续时间，该第二阈值持续时间长于第一阈值持续时间。基于第二阈值持续时间，电子设备210引导虚拟狗224将虚拟棒球222带到用户化身230，如图2t中的第二移动线242所示。因此，基于将焦点保持在特定点或区域长达不同的时间长度，电子设备可引导虚拟代理执行不同的对应的动作。
[0064]
本公开描述了各种特征，其中没有一个特征能够单独实现本文所述的益处。应当理解，本文所述的各种特征可被组合、修改或省略，这对本领域的普通技术人员是显而易见的。本文具体描述的那些之外的其他组合和子组合对于普通技术人员而言将显而易见，并
旨在形成本公开的一部分。本文结合各种流程图步骤和/或阶段描述了各种方法。应当理解，在很多情况下，某些步骤和/或阶段可被组合在一起，使得流程图中所示的多个步骤和/或阶段可作为单个步骤和/或阶段来被执行。另外，某些步骤和/或阶段可分成要独立执行的附加子部件。在一些情况下，可重新布置步骤和/或阶段的次序，并且可完全省略某些步骤和/或阶段。另外，本文所述的方法应被理解为可广泛解释的，使得也可执行除本文所示和所述那些之外的附加步骤和/或阶段。
[0065]
本文所述的一些或所有方法和任务可由计算机系统执行和完全自动化。在一些情况下，计算机系统可包括通过网络进行通信和互操作以执行所述功能的多个不同的计算机或计算设备(例如，物理服务器、工作站、存储阵列等)。每个此类计算设备通常包括处理器(或多个处理器)，该处理器执行存储在存储器或其他非暂态计算机可读存储介质或设备中的程序指令或模块。本文所公开的各种功能可在此类程序指令中实现，但另选地可在计算机系统的专用电路(例如，asic或fpga或gp-gpu)中实现所公开的功能中的一些或全部。在计算机系统包括多个计算设备的情况下，这些设备可位于同一位置或不位于同一位置。可通过将物理存储设备诸如固态存储器芯片和/或磁盘转换成不同状态来持久地存储所公开的方法和任务的结果。
[0066]
本文定义的各种过程考虑了获取和利用用户的个人信息的选项。例如，可利用此类个人信息以便在电子设备上提供改进的隐私屏幕。然而，在收集此类个人信息的程度上，此类信息应在用户知情同意的情况下获取。如本文所描述的，用户应了解和控制其个人信息的使用。
[0067]
个人信息将由适当方仅用于合法和合理的目的。利用此类信息的各方将遵守至少符合适当法律法规的隐私政策和惯例。此外，此类政策应是完善的、用户可访问的，并且被认为符合或高于政府/行业标准。此外，除任何合理和合法的目的外，各方不得分发、出售或以其他方式分享此类信息。
[0068]
然而，用户可限制各方能访问或以其他方式获取个人信息的程度。例如，可调整设置或其他偏好，使得用户可决定其个人信息是否可由各种实体访问。此外，虽然在使用个人信息的上下文中描述了本文所定义的一些特征，但可在不需要使用此类信息的情况下实现这些特征的各方面。例如，如果收集到用户偏好、账户名称和/或位置历史，则该信息可被模糊化或以其他方式一般化，使得该信息不会识别相应用户。
[0069]
本公开并不旨在限于本文所示的具体实施。对于本领域的技术人员而言，对本公开中描述的具体实施的各种修改可为显而易见的，并且可将本文所定义的一般原理应用于其他具体实施，而不脱离本公开的实质或范围。本文所提供的本发明的教导内容可应用于其他方法和系统，并且不限于上述方法和系统，并且可组合上述各种具体实施的元素和动作以提供更多具体实施。因此，本文描述的新颖方法和系统可以以多种其他形式来实现；此外，在不脱离本公开的实质的情况下，可以对本文所述的方法和系统的形式进行各种省略、替换和改变。所附权利要求及其等同内容旨在涵盖落入本公开的范围和实质内的此类形式或修改形式。