使用生理数据来检测用户与对象接触的制作方法

本公开整体涉及在电子设备上提供改进的用户体验，并且具体地涉及用户与对象接触的系统、方法和设备。

背景技术：

1、基于计算机的现有技术基于图像(例如，用户的手和他或她的周围物理环境的图像)来做出关于用户活动的各种确定。例如，各种技术用于使用用户的手的图像来识别指向、挥手和其他手势。用于基于图像数据来检测用户与对象接触的技术可能不如所期望的那样准确。例如，此类技术可能不会提供相对于识别用户的手指是否正触摸对象或悬停在稍高于对象处的足够准确性。作为另一个示例，此类技术可能不会提供相对于精确地识别用户与对象之间的触摸发生的时间的足够准确性。

技术实现思路

1、本文所公开的一些具体实施提供了使用生理数据(例如，基于眼睛跟踪数据和/或来自肌电图(emg)传感器的数据)来预测或以其他方式确定用户与对象接触的各方面的系统、方法和设备。用户与对象接触的这种确定可用于多个目的。例如，用户与对象接触的这种确定可用于识别提供给电子设备的输入。在另一个示例中，这种确定用于确定与物理环境中的桌子、墙壁和其他对象的用户交互。在另一个示例中，用户与对象接触的这种确定可用于确定在扩展现实(xr)环境中的与物理对象的用户交互。在一些具体实施中，生理数据用于补充在手跟踪过程中使用的图像数据。例如，手跟踪算法可跟踪手位置并且基于用户的手和对象的图像或深度数据来确定手与对象接触。在该示例中，由手跟踪算法确定的手与对象接触可基于生理数据和/或使用生理数据来确认。

2、在一些具体实施中，具有处理器的电子设备实现一种方法。当用户正使用该电子设备时，该方法经由传感器获得该用户在一定时间段期间的生理数据。作为示例，这可涉及获得眼睛的图像、测量可根据其确定注视方向/移动的角膜-视网膜静息电位的眼电图(eog)数据和/或测量肌生成信号的肌电图(emg)数据。时间段可以是固定时间窗，例如，100ms、200ms、300ms、400ms、500ms等。

3、使用生理数据，该方法确定用户的眼睛或肌肉在该时间段期间的特性。在一些具体实施中，特性涉及注视方向、注视速度、注视方向变化、瞳孔半径、瞳孔扩张和/或瞳孔收缩。在一些具体实施中，头戴式设备(hmd)上的面向内的相机捕获用户的眼睛的图像，并且经由计算机视觉技术确定一个或多个眼睛特性。在一些具体实施中，特性涉及基于肌电图(emg)数据的肌肉状态。在一些具体实施中，特性是多个用户特性(例如，眼睛和肌肉特性两者)的组合。

4、使用用户的眼睛或肌肉的特性，方法确定用户与对象接触。在一些具体实施中，给定一定时间段(例如，300ms时间窗)的生理数据，方法确定生理数据的时间段是否紧接在触摸事件之前，例如，给定从时间-300ms到时间0的时间段的数据，在时间0处是否将存在触摸事件。在一些具体实施中，给定该时间段的生理数据，方法预测在未来时间段内是否将存在触摸事件，例如，给定从时间-300ms到时间0的时间段的数据，在时间0和时间300ms之间是否将存在触摸事件。在一些具体实施中，给定一定时间段(例如，300ms时间窗)的生理数据，方法预测触摸事件将何时发生。在一些具体实施中，使用分类器或其他机器学习模型来执行预测。

5、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，其中使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。

3.根据权利要求1至2中任一项所述的方法，其中确定所述用户与对象接触包括预测所述时间段是否紧接在所述用户与对象接触之前。

4.根据权利要求1至3中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触是否将在所述时间段之后的第二时间段内发生。

5.根据权利要求1至4中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触将发生的时间。

6.根据权利要求1至5中任一项所述的方法，其中所述生理数据包括所述眼睛的图像，并且所述特性包括注视方向、注视速度或瞳孔半径。

7.根据权利要求1至6中任一项所述的方法，其中所述生理数据包括眼电图(eog)数据，并且所述特性包括注视方向或注视速度。

8.根据权利要求1至7中任一项所述的方法，还包括：

9.根据权利要求1至8中任一项所述的方法，其中所述设备是头戴式设备(hmd)。

10.一种方法，包括：

11.根据权利要求10所述的方法，其中使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。

12.根据权利要求10至11中任一项所述的方法，其中确定所述用户与对象接触包括预测所述时间段是否紧接在所述用户与对象接触之前。

13.根据权利要求10至12中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触是否将在所述时间段之后的第二时间段内发生。

14.根据权利要求10至13中任一项所述的方法，其中确定所述用户与对象接触包括预测所述用户与对象接触将发生的时间。

15.根据权利要求10至14中任一项所述的方法，还包括：

16.根据权利要求10至15中任一项所述的方法，其中所述设备是头戴式设备(hmd)。

17.一种设备，所述设备包括：

18.根据权利要求17所述的设备，其中使用经由机器学习模型或计算机执行算法实现的分类器来确定用户与对象接触。

19.根据权利要求17至18中任一项所述的设备，其中确定所述用户与对象接触包括预测所述时间段是否紧接在所述用户与对象接触之前。

20.根据权利要求17至19中任一项所述的设备，其中确定所述用户与对象接触包括预测所述用户与对象接触是否将在所述时间段之后的第二时间段内发生。

技术总结
本文所公开的一些具体实施提供了使用例如来自眼睛跟踪或肌电图(EMG)传感器的生理数据来预测或以其他方式确定用户与对象接触的各方面的系统、方法和设备。用户与对象接触的这种确定可用于多个目的。

技术研发人员：S·R·克里斯潘,D·E·迪亚科普洛斯,G·H·马利肯,I·B·耶尔迪兹
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/1/14