基于凝视保持事件评估的用户界面响应的制作方法

本公开整体涉及评估用户与电子设备的交互，这些交互涉及基于凝视的和其他类型的用户活动。

背景技术：

1、现有用户交互系统可在促进基于凝视和其他类型的用户活动的交互方面进行改进。

技术实现思路

1、本文所公开的各种具体实施包括评估用户交互以触发用户界面响应的设备、系统和方法。在一些具体实施中，用户界面响应基于标识到凝视保持事件(即，不与扫视行为相关联的类似注视的凝视事件)而触发。凝视保持事件(并且因此不是凝视数据中的扫视相关行为)(或凝视保持事件的可接受部分)可用于触发用户界面响应。使用凝视保持事件来触发用户界面行为可能是有利的，例如，因为凝视保持事件期间的凝视方向更可能对应于用户感知他们所看到的内容和/或有意看向某物。

2、使用凝视保持事件可促进准确的基于凝视的悬停响应。例如，用户界面可被致能以在用户有意看向用户界面图标(例如，类似于基于鼠标的用户界面上的鼠标悬停响应)时突出显示该图标，而在用户在用户界面内环顾时用户凝视碰巧移过该图标时不突出显示该图标。类似地，使用凝视保持事件可促进准确的基于姿势与凝视关联的输入响应。在一个示例中，这涉及将单手姿势诸如捏合、将一只手上的所有五个手指展开的姿势、或多手指轻扫姿势与用户有意凝视用户界面(ui)对象相关联，而不将此类活动与在扫视相关或其他无意行为期间碰巧凝视的对象相关联。在另一示例中，这涉及将多手姿势诸如两只手同时捏合或两只手远离彼此移动与用户有意凝视ui对象相关联，而不将此类活动与在扫视相关或其他无意行为期间碰巧凝视的对象相关联。在另一示例中，这涉及将头部移动诸如点头、摇头或头部倾斜与用户有意凝视ui对象相关联，而不将此类活动与在扫视相关或其他无意行为期间碰巧凝视的对象相关联。在一些具体实施中，凝视与手部姿势、头部姿势、基于躯干的姿势、手臂姿势、腿部姿势或全身移动中的一者或多者相关联(例如，将凝视与组合的手部/头部姿势相关联)。凝视可附加地或另选地与经由物理设备诸如键盘、鼠标、手持式控制器、手表等提供的输入相关联。

3、在一些具体实施中，凝视保持事件用于将非基于眼睛的用户活动诸如手部或头部姿势与基于眼睛的活动诸如用户凝视三维(3d)环境的视图内显示的特定用户界面组件相关联。例如，用户捏合手部姿势可与用户在与做出捏合手部姿势大约相同的时间(例如，在该做出捏合手部姿势的阈值时间量内)凝视特定用户界面组件诸如按钮相关联。这些相关联的行为(例如，在按钮处的捏合和凝视)然后可被解释为用户输入(例如，选择或以其他方式作用于该用户界面组件的用户输入)。在一些具体实施中，非基于眼睛的用户活动仅与可能对应于用户感知他们所看到的内容和/或有意看向某物的某些类型的基于眼睛的用户活动相关联。例如，可能期望将用户手部姿势与对应于有意/感知用户活动的凝视保持事件相关联。凝视保持事件在头部静止或移动的同时凝视保持在对象上时发生。可能不期望将用户手部姿势与扫视眼睛事件相关联，该扫视眼睛事件可能反射性地而非基于用户感知他们所看到的内容或有意看向某物而发生。

4、可检查或解释凝视数据以标识凝视保持事件(例如，非扫视眼睛事件)。非基于眼睛的用户活动然后可与那些事件中的一个事件相关联，而非与反射性扫视眼睛事件相关联。例如，在扫视事件期间，用户可能将目光从他们意图与之交互的用户界面元素移开短暂时段。一些具体实施确保非基于眼睛的活动(例如，用户手部姿势)不与于此期间用户凝视不准确地对应于用户意图与之交互的用户界面或其他内容的扫视事件或其他凝视事件相关联。

5、在一些具体实施中，眼睛凝视数据(例如，眼睛速度数据、眼睛加速度数据、凝视位姿的变化等)用于标识仅包括凝视保持事件并且排除反射性扫视事件、眨眼和不对应于用户感知他们所看到的内容和/或有意看向某物的其他眼睛行为的凝视事件子集。排除扫视事件、眨眼和不对应于用户感知他们所看到的内容和/或有意看向某物的其他眼睛行为可提高尝试准确地将非基于眼睛的用户活动与有意用户凝视(即，出于提供对应于用户界面组件的用户输入的目的而有意凝视该用户界面组件)相关联的系统的准确度和/或效率。因此，在一些具体实施中，基于凝视保持事件相比非凝视保持事件更可能对应于用户感知他们所看到的内容和/或有意看向某物，用户非基于眼睛的活动诸如手部姿势仅与这些凝视保持事件相关联。

6、在一些具体实施中，处理器通过执行存储在(非暂态)计算机可读介质上的指令来执行方法。该方法获得基于由一个或多个传感器捕获的眼睛的传感器数据生成的凝视运动分类数据。凝视运动分类数据将与凝视保持事件(例如，用户界面目标上的有意注视)相关联的凝视时段与同非凝视保持事件(例如，凝视偏移事件、眨眼/丢失事件等)相关联的凝视时段区分开。凝视运动分类数据可由简单的凝视运动分类器(例如，仅评估凝视速度的启发式算法，或使用不只是凝视速度的更复杂的算法或机器学习模型)提供。使用凝视运动分类数据可促进仅在适当情况下(例如，仅基于对用户界面目标上的有意注视的注视而不基于无意凝视运动(例如，扫视、眨眼等))触发用户界面响应。在一些具体实施中，评估凝视分类输出(例如，标识凝视保持事件)以在扫视、丢失和快速注视期间锁定凝视和/或在注视期间稳定凝视。

7、该方法可使用基于多个时间的凝视速度生成的凝视分类数据。凝视数据可基于由传感器捕获的眼睛的传感器数据来获得。例如，凝视数据可基于实况凝视速度数据的信号，该实况凝视速度数据的信号基于由头戴式设备的面向内的相机捕获的眼睛的实况图像流来获得。

8、凝视保持事件可基于凝视速度来标识。扫视凝视事件、眨眼和/或不太可能对应于用户感知他们所看到的内容和/或有意看向某物的其他眼睛事件可从所标识的凝视保持事件中排除。

9、该方法包括：检测用户活动以及基于用户活动和凝视运动分类数据来触发用户界面响应。该方法可包括：基于确定多个凝视保持事件中的一个凝视保持事件对应于用户界面元素而触发用户界面响应。例如，基于具有指向特定用户界面图标的凝视方向的凝视保持事件，该方法可包括：通过用户界面触发悬停类型响应(例如，将该图标突出显示为用户界面的“悬停”或“聚焦”元素)。在一些具体实施中，用户活动是在凝视保持事件期间发生的在凝视方向上的凝视，并且用户界面响应包括基于确定凝视保持事件对应于用户界面元素而提供用户对用户界面元素的注意力的指示。需注意，凝视方向可对应于单眼的凝视方向或基于双眼确定的凝视方向。在一个示例中，用户优势眼的凝视方向用于评估用户活动和触发用户界面响应。

10、在一些具体实施中，用户活动是不同于凝视的姿势或输入设备交互，凝视保持事件与用户活动相关联，并且用户界面响应基于将用户活动与用户界面元素相关联而触发。例如，基于指向特定用户界面图标的凝视保持事件以及与该凝视保持事件相关联的用户活动(例如，捏合姿势)的发生，该方法可包括：通过用户界面触发选择类型响应(例如，触发用户界面图标上的选择或“点击”动作)。

11、该方法可包括：检测用户活动已发生，其中活动不同于凝视保持事件(例如，活动是非基于眼睛的眼睛活动，诸如捏合或其他手部姿势)。不同于凝视保持事件的活动的示例包括区别于眼睛的活动，包括但不限于单手姿势、多手姿势、头部移动、躯干移动、手臂或腿部的移动、全身移动和/或与其他设备的交互。

12、该方法可包括：将凝视保持事件与活动相关联。因此，在各种具体实施中，凝视保持事件与以下各项中的一者或多者相关联：由单只手做出的姿势、涉及一个或多个手指的姿势、由多只手做出的姿势、由头部做出的姿势、由手部做出的姿势和大致同时做出的头部定位/移动、和/或向设备诸如控制器、输入设备、可穿戴设备或手持式设备的输入。

13、在一些具体实施中，该方法包括：确定凝视保持(例如，非扫视)事件在活动(例如，捏合)期间/与活动同时发生，并且基于该确定而将凝视保持事件与活动相关联。因此，在用户凝视与按钮相关联(例如，固定在按钮上或其周围)时发生的捏合可与该按钮相关联(例如，将捏合与所凝视的按钮相关联)。在一些具体实施中，该方法包括：确定凝视保持(例如，非扫视)事件未在活动(例如，捏合)期间/与活动同时发生，并且包括确定活动是否是有效的后期活动(例如，有效的后期捏合)。这可基于确定后期活动是否在先前凝视保持(例如，非扫视)事件的阈值时间内发生，并且如果是，则将活动与该先前凝视保持事件相关联。在一些具体实施中，如果凝视(例如，非扫视)事件未在活动期间/与活动同时或在时间阈值内之前发生，则该方法包括：等待以查看凝视保持是否在即将到来的时间段内发生。如果新的凝视保持确实在这种时段内(例如，在阈值时间内)发生，则该方法可包括：将该活动与该新的凝视保持相关联。在这些示例中，在扫视期间发生的非基于眼睛的活动诸如捏合不与扫视(其不是凝视保持事件)相关联。相反，非基于眼睛的活动诸如捏合可与先前或即将到来的非扫视凝视保持事件相关联。非基于眼睛的活动与凝视保持事件的关联可标识与事件相关联的对象，诸如所标识的凝视保持事件的凝视所指向的用户界面目标。因此，用户的非基于眼睛的活动(例如，捏合)可与用户界面组件和其他对象相关联。在一些具体实施中，内容被呈现为在3d环境诸如扩展现实(xr)环境内显现，并且本文所公开的技术可用于标识与该3d环境内的用户界面和/或其他内容的用户交互。

14、在一些具体实施中，用户界面响应基于用户活动(例如，较大扫视)，其中响应忽略/不使用较大扫视事件之后的凝视保持事件。在一个示例中，用户活动是具有超过阈值的特性的扫视事件，并且用户界面响应基于排除在扫视事件之后一定时间段期间发生的潜在凝视保持事件或凝视保持事件的一部分。在一些具体实施中，标识凝视保持事件包括：在速度数据中排除在扫视事件之后一定时间段期间发生的潜在凝视保持事件或凝视保持事件的一部分，其中基于以下各项来排除潜在凝视保持事件：(a)表示扫视事件期间速度变化的幅度；(b)扫视事件期间速度的变化速率；(c)潜在凝视保持事件的持续时间；以及(d)凝视行进距离。

15、根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使执行本文所述方法中的任一种的指令。根据一些具体实施，一种非暂态计算机可读存储介质中存储有指令，这些指令在由设备的一个或多个处理器执行时使该设备执行或使执行本文所述方法中的任一种。根据一些具体实施，一种设备包括：一个或多个处理器、非暂态存储器以及用于执行或使执行本文所述方法中的任一种的装置。