基于声音的注意力状态评价的制作方法

本公开总体涉及经由电子设备呈现内容，并且具体地讲，涉及在视觉内容或听觉内容的呈现期间和/或基于视觉内容或听觉内容的呈现来确定用户的注意力状态的系统、方法和设备。

背景技术：

1、在查看和收听在电子设备上的内容时的用户的注意力状态可能对用户的体验有显著影响。例如，可能要求保持专注和参与来获得有意义的体验，诸如冥想、学习新的技能、观看教育内容或娱乐内容或阅读文档。用于评价查看内容和与内容交互的用户的注意力状态的改善的技术可增强用户的享受、理解和对内容的学习。此外，内容可能不以对特定用户有意义的方式进行呈现。内容创建者和系统可能能够基于注意力状态信息来提供用户更可能享受、理解和从中学习的更好且更定制的用户体验。

技术实现思路

1、本文公开的各种具体实施包括基于对听觉刺激的生理响应来评价用户的注意力状态的设备、系统和方法。听觉刺激可被选择为既引发用于评价注意力状态的响应又具有附加的合适属性。可选择刺激以例如与用户的当前环境的自然场景和周围环境混合。可选择刺激的听觉特性、空间位置和定时。例如，可基于鸟啁啾声声音既是用于引起可用于评价注意力状态的响应的合适声音又是与自然声景环境一致或以其他方式与该自然声景环境一致的声音的预期声音来选择特定听觉刺激(例如，鸟啁啾声)以用于在冥想期间使用的自然声景中。此外，还可选择听觉刺激的属性，诸如刺激的音量、空间定位和定时。一些具体实施改善了注意力状态评价准确度，例如，从而改善对用户对任务的注意力的评价(例如，在冥想体验期间专注于呼吸技巧上)。一些具体实施通过提供最小化或避免中断或干扰用户体验的认知评价来改善用户体验，例如，而不会显著地中断用户的注意力或执行任务的能力。

2、在一些具体实施中，可基于用户的环境的特性(例如，真实世界物理环境、虚拟环境或每一者的组合)来选择听觉刺激。设备(例如，手持式设备、膝上型电脑、台式电脑或头戴式设备(hmd))向用户提供真实世界物理环境、扩展现实(xr)环境或每一者的组合(例如，混合现实环境)的体验(例如，视觉体验和/或听觉体验)。设备用传感器获得与用户对听觉刺激的响应相关联的生理数据(例如，脑电图(eeg)振幅、瞳孔调制、眼睛注视扫视等)。基于所获得的生理数据，本文描述的技术可在体验(例如，冥想体验)期间确定用户的注意力状态(例如，专心、走神等)。基于生理数据和相关联生理响应，该技术可向用户提供当前注意力状态与体验的预期注意力状态不同的反馈，推荐该体验的类似内容或类似部分，并且/或者调整对应于该体验的内容或反馈机制。

3、在一个示例性具体实施中，用本文描述的技术对冥想和正念实践的整合可通过向个体提供关于冥想表现的实时反馈来增强冥想体验。在冥想期间保持专注和参与可改善用户的冥想实践并帮助用户得到与冥想相关联的益处。例如，对冥想感兴趣的新手可能在冥想会话期间保持在任务上有困难，并且他们可能受益于对他们的表现的准确反馈。本文描述的技术可呈现与用户的环境一致的自然化声音，以基于用户对听觉刺激的生理响应(或缺乏响应)来检测用户在冥想时何时变得分心。在冥想期间发现所定义的注意力流失的标志并提供表现反馈可增强用户体验，从而提供来自冥想会话的附加益处，并且提供经指导且支持的教导方法(例如，经由支架式教导方法)以使用户通过其冥想实践。

4、生理响应数据，诸如eeg振幅/频率、瞳孔调制、眼睛注视扫视等，可取决于个体的注意力状态和在他或她前面的场景的特性以及在其中呈现的听觉刺激。在用户执行需要不同注意力水平(诸如对呼吸冥想的专注的注意力)的正念任务时，可在使用具有眼睛跟踪技术的设备时获得生理响应数据。在一些具体实施中，可使用其他传感器(诸如eeg传感器)来获得生理响应数据。观察对听觉刺激的生理响应数据的重复测量可给出关于在不同时间尺度上对用户的潜在注意力状态的见解。这些注意力度量可用于在冥想体验期间提供反馈。

5、除冥想体验之外的体验可利用本文描述的关于评价注意力状态的技术。例如，教育体验可在学生看起来走神时通知他或她保持集中。另一个示例可以是通知需要专注于他或她的当前任务上的工作者的工作场所体验。例如，向可能在长时间外科手术期间变得有点累的外科医生提供反馈、提醒进行长时间驾驶的卡车驾驶员他或她正在失去专注并可能需要靠边停车进行睡眠等。本文描述的技术可针对可能需要一些类型的反馈机制来进入或维护一个或多个特定注意力状态的任何用户和体验定制。

6、一般来讲，本说明书中描述的主题的一个创新方面可体现为包括以下动作的方法：基于环境的特性来选择听觉刺激；向用户呈现听觉刺激；使用传感器获得与用户对听觉刺激的生理响应相关联的第一生理数据；以及基于用户对听觉刺激的生理响应来评价用户的注意力状态。

7、这些实施方案和其他实施方案均可任选地包括以下特征中的一个或多个特征。

8、在一些具体实施中，选择听觉刺激包括将环境分类为某一环境类型，并且基于该环境类型来选择听觉刺激。

9、在一些具体实施中，选择听觉刺激包括：对在环境中的一个或多个对象分类；以及基于所分类的一个或多个对象来选择听觉刺激。

10、在一些具体实施中，选择听觉刺激包括：从听觉刺激数据库确定引起用于评价用户的注意力的响应的一个或多个听觉刺激；以及基于环境来从一个或多个听觉刺激选择听觉刺激。

11、在一些具体实施中，听觉刺激是离散声音、一连串声音或空间化声音。

12、在一些具体实施中，环境是在用户周围的物理环境。在一些具体实施中，环境是向用户呈现的扩展现实(xr)体验。

13、在一些具体实施中，获得与用户对听觉刺激的生理响应相关联的第一生理数据包括监测在听觉刺激的呈现之后的预定时间内发生的响应或缺乏响应。在一些具体实施中，第一生理数据包括与用户相关联的脑电图(eeg)振幅数据。

14、在一些具体实施中，第一生理数据包括与用户相关联的瞳孔移动。在一些具体实施中，使用统计的或基于机器学习的分类技术来评价注意力状态。在一些具体实施中，该方法还包括基于注意力状态来向用户提供通知。

15、在一些具体实施中，该方法还包括识别内容的与注意力状态相关联的部分。

16、在一些具体实施中，该方法还包括基于用户的注意力状态来定制内容。

17、在一些具体实施中，该方法还包括聚合针对查看内容的多个用户确定的注意力状态以提供关于内容的反馈。

18、在一些具体实施中，设备是头戴式设备(hmd)，并且环境包括扩展现实(xr)环境。

19、根据一些具体实施中，非暂态计算机可读存储介质中存储有指令，所述指令是计算机可执行的以执行或使得执行本文所述的任何方法。根据一些具体实施，一种设备包括一个或多个处理器、非暂态存储器以及一个或多个程序；该一个或多个程序被存储在非暂态存储器中并且被配置为由一个或多个处理器执行，并且该一个或多个程序包括用于执行或使得执行本文所述方法中的任一种的指令。

技术特征：

1.一种注意力状态评价的方法，所述方法包括：

2.根据权利要求1所述的方法，其中选择所述听觉刺激包括：

3.根据权利要求1所述的方法，其中选择所述听觉刺激包括：

4.根据权利要求1所述的方法，其中选择所述听觉刺激包括：

5.根据权利要求1至4中任一项所述的方法，其中所述环境是在所述用户周围的物理环境。

6.根据权利要求1至5中任一项所述的方法，其中所述环境是向所述用户呈现的扩展现实(xr)体验。

7.根据权利要求1至6中任一项所述的方法，其中所述听觉刺激是离散声音、一连串声音或空间化声音。

8.根据权利要求1至10中任一项所述的方法，其中获得与所述用户对所述听觉刺激的生理响应相关联的所述第一生理数据包括监测在所述听觉刺激的所述呈现之后的预定时间内发生的响应或缺乏响应。

9.根据权利要求1至8中任一项所述的方法，其中所述第一生理数据包括与所述用户相关联的脑电图(eeg)振幅数据。

10.根据权利要求1至9中任一项所述的方法，其中所述第一生理数据包括与所述用户相关联的瞳孔移动。

11.根据权利要求1至7中任一项所述的方法，其中使用统计的或基于机器学习的分类技术来评价所述注意力状态。

12.根据权利要求1至11中任一项所述的方法，还包括基于所述注意力状态来向所述用户提供通知。

13.根据权利要求1至12中任一项所述的方法，还包括识别所述内容的与所述注意力状态相关联的部分。

14.根据权利要求1至13中任一项所述的方法，还包括基于所述用户的所述注意力状态来定制所述内容。

15.根据权利要求1至14中任一项所述的方法，还包括聚合针对查看所述内容的多个用户确定的注意力状态以提供关于所述内容的反馈。

16.根据权利要求1至15中任一项所述的方法，其中所述设备是头戴式设备(hmd)，并且所述环境包括扩展现实(xr)环境。

17.一种设备，所述设备包括：

18.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在设备上执行以执行操作的程序指令，所述操作包括：

19.一种注意力状态评价的方法，所述方法包括：

20.根据权利要求19所述的方法，其中所述听觉刺激是通过操纵由声音设备产生的声音以将所述声音虚拟地放置在三维(3d)空间中来产生的。

21.根据权利要求19或20所述的方法，其中所述听觉刺激是在所述虚拟位置处的离散声音。

22.根据权利要求19所述的方法，其中所述听觉刺激在一时间段内发生，并且与所述虚拟位置相关联的3d坐标在所述时间段期间保持静止。

23.根据权利要求19所述的方法，其中所述听觉刺激在一时间段内发生，并且与所述虚拟位置相关联的3d坐标在所述时间段期间改变。

24.根据权利要求19至23中任一项所述的方法，其中所述第一生理数据包括与所述用户相关联的脑电图(eeg)振幅数据。

25.根据权利要求19至24中任一项所述的方法，其中所述第一生理数据包括与所述用户相关联的瞳孔移动。

26.根据权利要求19至25中任一项所述的方法，其中获得与所述用户对所述听觉刺激的生理响应相关联的所述第一生理数据包括监测在所述听觉刺激的所述呈现之后的预定时间内发生的响应或缺乏响应。

27.根据权利要求19至26中任一项所述的方法，其中获得与所述用户对所述听觉刺激的生理响应相关联的所述第一生理数据包括确定可能的响应对应于在所述xr环境中的所述虚拟位置。

28.根据权利要求19至27中任一项所述的方法，其中使用统计的或基于机器学习的分类技术来评价所述注意力状态。

29.根据权利要求19至28中任一项所述的方法，还包括基于所述注意力状态来向所述用户提供通知。

30.根据权利要求19至29中任一项所述的方法，还包括识别所述内容的与所述注意力状态相关联的部分。

31.根据权利要求19至30中任一项所述的方法，还包括基于所述用户的所述注意力状态来定制所述内容。

32.根据权利要求19至31中任一项所述的方法，还包括聚合针对查看所述内容的多个用户确定的注意力状态以提供关于所述内容的反馈。

33.根据权利要求19至32中任一项所述的方法，其中所述设备是头戴式设备(hmd)，并且所述环境包括扩展现实(xr)环境。

34.一种设备，所述设备包括：

35.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储能够在设备上执行以执行操作的程序指令，所述操作包括：

技术总结
本文公开的各种具体实施包括基于与用户对听觉刺激的生理响应相关联的生理数据来确定该用户的注意力状态的设备、系统和方法。例如，一种示例性过程可包括：基于环境(可能是经由头带式设备提供的扩展现实环境)的特性来选择(302)听觉刺激；向用户呈现(304)该听觉刺激；使用传感器获得(306)与该用户对该听觉刺激的生理响应相关联的第一生理数据；以及基于该用户对该听觉刺激的该生理响应来评价(308)该用户的注意力状态。

技术研发人员：G·H·姆里肯,C·戈德温,I·B·耶尔蒂兹,S·R·克里斯宾
受保护的技术使用者：苹果公司
技术研发日：
技术公布日：2024/1/12