用于感官环境中感官事件的标记以及优先化的系统以及方法与流程

本技术涉及事件数据的标记(labeling)、优先化(prioritization)以及处理，并且特别地涉及提供与感官环境(sensory environment)中的感官事件相关的感官反馈。

背景技术：

1、一般来说，本文中使用的所有术语都要根据它们在相关技术领域中的普通含义来解释，除非从在其中使用术语的上下文中暗示了和/或清楚地给出了不同的含义。对一(a/an)/该(the)元件、设备、组件、部件、步骤等的所有提及都要被开放式地解释为指该元件、设备、组件、部件、步骤等的至少一个实例，除非以其它方式明确声明。本文中公开的任何方法的步骤都不必按所公开的确切顺序执行，除非一步骤被明确地描述为在另一个步骤之后或之前，和/或其中暗示一步骤必须在另一个步骤之后或之前。在任何适当的情况下，本文中公开的实施例中的任何实施例的任何特征都可适用于任何其它实施例。同样，实施例中任何实施例的任何优点都可应用于任何其它实施例，并且反之亦然。根据以下描述，所附实施例的其它目的、特征和优点将显而易见。

2、统称为扩展现实(extended reality，xr)的增强现实(augmented reality)以及虚拟现实(virtual reality)允许最终用户将他们自己沉浸在屏幕空间(备选地称为“screenspace”)中呈现(render)的虚拟环境以及叠加(overlay)中并且与之交互。当前没有可用的商用xr头戴设备(headset)含有5g新空口(nr)或4g长期演进(lte)无线电设备。相反，头戴设备使用电缆物理地连接至计算机或束缚于(tether to)本地wifi网络。此束缚以允许用户与此环境之外的环境以及对象交互为代价，解决lte以及更早几代移动网络中固有的速度以及时延问题。与边缘云计算(edgecloud computing)配对的5gnr的推出将支持未来几代启用移动网络的xr头戴设备。这两项进步将允许用户无论他们走到哪里都能体验xr。

3、这些技术也将扩展交互式内容的类型以及xr用户可享受的感官体验的类型。现今，这些体验限于视觉叠加、音频以及基本触觉反馈。这些xr体验将逐渐成熟以包括丰富三维音频以及触感(诸如纹理)。研究人员也预计，致动器技术的进步将使最终用户能够在xr中体验气味以及味道。这将为xr用户创造丰富、沉浸式的感官环境。

技术实现思路

1、xr日益增加的采用激发了对快速定位环境中的感官输入并且产生视觉叠加或其它类型的反馈的需要，使得最终用户保持情境意识。维持情境意识的提醒的示例包括screenspace中有关意外音频的警告(alert)，诸如正靠近的车辆或烟雾警报(alarm)。感官警告的其它示例包括与气味(例如，天然气中的硫醇)相关的那些警告或作为聋哑人以及听力障碍者的烟雾警报的频闪灯。目前没有对来自环境的感官数据进行编码，将那些数据映射于三维空间内，并且生成与感官数据相关的xr警告或叠加的方法。

2、当前存在某些挑战。本公开引入了在统一框架中致力于解决这三个挑战的技术。首先，本文中所描述的技术可允许xr头戴设备以及其它传感器持续收集并且共享感官数据以用于处理。由于此处理既可在装置上也可在边缘云中发生，我们示出如何从多个装置或传感器汇集数据以改进定位。其次，本文中所描述的技术可对来自最终用户的环境的感官数据进行编码以及定位。基于先前研究，此编码允许在三维空间中定位感官数据的部署。示例包括声音接近用户的角度或空间中气味的强度。最后，本文中所描述的技术引入了一种将此地理空间编码的感官数据转换成叠加或其它形式的xr警告的方法。没有现有过程实时或针对xr支持此。

3、本文中所描述的技术也可作为自适应技术的一种形式支持对感官受损用户的警告。首先，本文中所描述的技术可允许最终用户选择如何接收警告并且允许这些选择取决于位置、当前xr使用以及输入类型而变化。例如，听力障碍用户可在使用没有声音的xr时更喜欢触觉警告以及在存在xr生成的音频时更喜欢在screenspace中的视觉警告。其次，通过对感官数据进行编码以及定位它们，本文中所描述的技术可允许跨感官警告。例如，本文中所描述的技术可允许完全失聪用户针对音频数据总是接收screenspace中的视觉警告。

4、总体而言，本文中所描述的技术有助于对自适应技术的日益关注，同时扩展上述进步的消费者有用性：xr中低时延网络的稳健使用、上下文环境信息的实时(或近实时)创立以及处理，以及使用一个维度(音频、视觉或触觉)上的感官数据来通知最终用户在他们可具有缺陷的另一维度上的刺激。

5、边缘计算补充技术与5g相结合的推出允许足够低时延促进使用xr技术的流畅最终用户体验——包括超过最终用户自身装置的处理能力的体验。然而，尽管此推出以及改进其实现的进步提供在xr环境中在刺激周围同时标识、标记以及呈现的潜力，但他们并没有提供执行此的机制(mechanism)来这样做。类似地，使用光学传感器检测并且估计视觉数据中的距离以及测量特征的先进lidar技术的引入为检测以及潜在测量视觉刺激提供基础，但其应用限于视觉数据。最后，启用云的ml分类器已成为几乎每个级别的对象识别、标识以及分类的行业标准——从社交媒体应用至最先进的ar部署至工业订单拣选问题至自动驾驶车辆。

6、这些进步是巨大的。然而，尽管它们的范围令人印象深刻，但仅当前的技术状态并没有解决上面列出的感官沉浸式上下文意识的问题。为解决感官检测、标识以及呈现问题，因为它们出现在即将到来的感官因特网中，我们将需要一种利用这些进步来直接在xr上下文中解决这些问题的机制。

7、本文中所描述的实施例试图至少以以下四个示例性方式推进该技术：(1)本公开引入用于使用基于网络的计算来放置叠加并且基于该叠加上的预标识刺激实时生成感官(视觉、音频、触觉等等)反馈的技术；(2)本公开引入一种灵活的模型架构，该架构使用最终用户的感官环境来优先化xr环境的呈现；(3)本公开提出使用机器学习框架来推断以及划分空间层中对感觉源的导航或意识，以设计一种将此系统推广至其它感官维度的机制；以及(4)本公开引入感官叠加的放置，其检测最终用户的环境的特征并且将与由叠加覆盖的区域相关联的刺激转换成最终用户规定的备选感觉以将特定信息传达给最终用户。本文中引入的附加方面是使用来自第三方传感器的感官数据来替换(或增强)来自最终用户装置上的(例如有故障)传感器的数据的能力(例如，使用来自第三方头戴设备的麦克风来生成最终用户的音频叠加)。

8、本公开的某些方面以及其实施例可提供对这些或其它挑战的解决方案。本公开提出一种定位、标记以及呈现(llr)机制，该机制利用由5g提供的网络连接性的进步以及边缘云中可用的附加计算资源来生成感官叠加，其标识xr环境中的感官刺激并且将其实时转化成最终用户可感知以及定位的刺激的备选形式。除了从一个刺激至另一刺激的标识以及调制之外，llr还可使用此叠加中的感官信息来优先化xr环境中标识的感官刺激内以及周围的区域的呈现——使用感官数据作为用于呈现vr或ar的提示，其中声音、气味、视觉失真或任何其它感官刺激具有最高密度、敏锐度或任何其它形式的意义。最后，llr也可生成在预标识的感官维度上的感官刺激的标记以将最终用户的注意力吸引至特定感官刺激。

9、本文中所描述的实施例可包括以下特征中的一个或多个：具有对由xr头戴设备在环境中收集的感官数据进行编码并且将那些数据定位于三个维度中的能力的机制；出于在装置上或边缘云中生成另一感官上的反馈的目的，使最终用户能够动态编码以及表示多维数据(例如，声音的方向性、气味的强度等)的功能性；规定最终用户在与时间、xr内容以及环境相关的状况下希望接收的标记类型的能力；允许多个xr头戴设备或传感器将感官数据汇集在一起的基于网络的架构；基于用户在使用信息时的偏好/能力来通知其它传感器的一个传感器。

10、本文中所描述的实施例可包括以下特征中的一个或多个：出于改进呈现叠加的定位的目的，使用边缘云来聚合由多个传感器、装置等提供的一种类型(例如，音频或视觉)的感官数据的能力；使用来自多个传感器的输入(和/或用户定义的偏好以及提示)给基于来自多个装置的输入的在任何感官维度(例如，音频、视觉、触觉等)中的xr环境的不同部分的呈现指派优先级的能力；使用多个传感器阵列(例如，相同头戴设备内的相机)来创建标记叠加，其可用于增加最终用户的环境意识并且优先化未来叠加放置(例如，使用来自多个装置的数据或相同装置上的多个输入以从超出一个最终用户的角度生成关于环境的叠加)；使用来自第三方传感器的感官数据来替换来自关于最终用户的故障感官的数据的能力(例如，使用来自第三方头戴设备的麦克风为最终用户生成音频叠加)。

11、本文中提出致力于解决本文中所公开的问题中的一个或多个问题的各种实施例。

12、在一些实施例中，一种用于处理事件数据以用于提供反馈的计算机实现的方法包括：从一个或多个传感器接收事件数据，其中该事件数据表示在感官环境中检测到的事件；处理该事件数据，包括：使用该事件数据来执行定位操作以确定表示该感官环境中的该事件的位置数据，以及使用该事件数据来执行标记操作以确定表示该事件的一个或多个标记；基于一组准则来确定是否执行与该事件数据相关的优先化动作；以及响应于确定执行优先化动作，执行以下一个或多个优先化动作，所述一个或多个优先化动作包括引起由用户装置的一个或多个感官反馈装置基于该事件数据、该位置数据以及所述一个或多个标记进行的在至少一个感官维度中感官反馈的经优先化的输出。

13、在一些实施例中，一种用于处理事件数据以用于提供反馈的系统包括存储器以及一个或多个处理器，所述存储器包括由所述一个或多个处理器可执行的指令，以便使该系统执行以下操作：从一个或多个传感器接收事件数据，其中该事件数据表示在感官环境中检测到的事件；处理该事件数据，包括：使用该事件数据来执行定位操作以确定表示该感官环境中的该事件的位置数据，以及使用该事件数据来执行标记操作以确定表示该事件的一个或多个标记；基于一组准则来确定是否执行与该事件数据相关的优先化动作；以及响应于确定执行优先化动作，执行以下一个或多个优先化动作，所述一个或多个优先化动作包括引起由用户装置的一个或多个感官反馈装置基于该事件数据、该位置数据以及所述一个或多个标记进行的至少一个感官维度中的感官反馈的经优先化的输出。

14、在一些实施例中，一种非暂态计算机可读介质包括由装置的一个或多个处理器可执行的指令，所述指令包括用于以下操作的指令：从一个或多个传感器接收事件数据，其中该事件数据表示在感官环境中检测到的事件；处理该事件数据，包括：使用该事件数据来执行定位操作以确定表示该感官环境中的该事件的位置数据，以及使用该事件数据来执行标记操作以确定表示该事件的一个或多个标记；基于一组准则来确定是否执行与该事件数据相关的优先化动作；以及响应于确定执行优先化动作，执行以下一个或多个优先化动作，所述一个或多个优先化动作包括引起由用户装置的一个或多个感官反馈装置基于该事件数据、该位置数据以及所述一个或多个标记进行的在至少一个感官维度中的感官反馈的经优先化的输出。

15、在一些实施例中，一种暂态计算机可读介质包括由装置的一个或多个处理器可执行的指令，所述指令包括用于以下操作的指令：从一个或多个传感器接收事件数据，其中该事件数据表示在感官环境中检测到的事件；处理该事件数据，包括：使用该事件数据来执行定位操作以确定表示该感官环境中的该事件的位置数据，以及使用该事件数据来执行标记操作以确定表示该事件的一个或多个标记；基于一组准则来确定是否执行与该事件数据相关的优先化动作；以及响应于确定执行优先化动作，执行以下一个或多个优先化动作，所述一个或多个优先化动作包括引起由用户装置的一个或多个感官反馈装置的基于该事件数据、该位置数据以及所述一个或多个标记的在至少一个感官维度中的感官反馈的经优先化的输出。

16、在一些实施例中，一种用于处理事件数据以用于提供反馈的系统包括：用于从一个或多个传感器接收事件数据的部件，其中该事件数据表示在感官环境中检测到的事件；用于处理该事件数据的部件，包括：用于使用该事件数据来执行定位操作以确定表示该感官环境中的该事件的位置数据的部件，以及用于使用该事件数据来执行标记操作以确定表示该事件的一个或多个标记的部件；用于基于一组准则来确定是否执行与该事件数据相关的优先化动作的部件；以及响应于确定执行优先化动作，用于执行以下一个或多个优先化动作的部件，所述一个或多个优先化动作包括引起由用户装置的一个或多个感官反馈装置基于该事件数据、该位置数据以及所述一个或多个标记进行的在至少一个感官维度中的感官反馈的经优先化的输出。

17、某些实施例可提供以下(一个或多个)技术优点中的一个或多个技术优点。可基于最终用户的环境中感官刺激的(例如实时)标识、定位以及标记(将声音或振动/力表示为screenspace中的视觉对象)来实现对人机接口的改进。可基于(例如实时)标识、定位以及标记感官刺激作为对应于指示刺激的强度、距刺激的距离或刺激的其它潜在相关特征的感官反馈的标记来实现对人机接口的改进。实时使用定位的音频、视觉或其它感官反馈来优先化xr环境的呈现(包括信息叠加)可提供改进计算资源(例如带宽、处理功率)的使用以及效率的技术优点。可基于使用感官提醒来使个人注意优先化的刺激来实现对人机接口的改进。可基于内容的选择性呈现来实现对人机接口的改进，所述内容基于感官提示(视觉提示、音频提示或其它)，可基于即将到来的体验来优先化所述感官提示。