基于关注水平控制察觉的环境声音的制作方法

文档序号:18664613发布日期:2019-09-13 19:55阅读:290来源:国知局
基于关注水平控制察觉的环境声音的制作方法

各种实施方案总体上涉及音频系统,并且更具体地说,涉及基于关注水平控制察觉的环境声音。



背景技术:

各种收听和通信系统的用户使用个人听力装置来收听音乐和其他类型的声音。例如,为了收听通过mp3播放器、cd播放器、流式音频播放器等传输的录制音乐,用户可以佩戴有线或无线耳机。当用户佩戴耳机时,耳机中包括的扬声器通过扬声器将所请求的声音直接传递到用户的耳道。

为了定制用户收听体验,一些耳机还包括使用户能够手动控制用户通过耳机听到的环境声音音量的功能。环境声音是指源自用户周围环境的声音。例如,一些环境感知耳机包括耳塞,其提供与用户耳朵的“闭合”配合。当用户佩戴这些类型的耳机时,每个耳塞相对于用户的耳朵产生相对密封的声音室,以便减少在操作期间泄漏到外部环境中的声音量。

虽然密封的耳塞能够在没有过度声音降级(例如由于泄漏)的情况下向用户传递声音,但是密封的耳塞可以将用户与诸如话音、警报等的各种类型的环境声音隔离。因此,为了使用户能够选择性地察觉环境声音,耳机可以包括接收周围环境的环境声音的面向外部的传声器。然后,用户可以手动调整耳机如何复制环境声音,其可以结合其他音频内容(诸如音乐)输出所选择的环境声音。例如,如果用户专注于特定任务并且不希望被周围环境中的声音分心,则用户可以手动减小由扬声器再现的环境声音的音量以便抑制环境声音。相反,如果用户希望知道周围环境,则用户可以手动增加由扬声器再现的环境声音的音量,以便能够听到环境声音。

要求用户手动控制耳机再现环境声音的程度可能降低用户执行某些类型任务的能力。例如,当用户专注于任务、检索智能手机、通过智能手机执行耳机配置应用,且然后通过耳机配置应用进行手动选择时,可能会降低用户专注于任务的能力。此外,有时,用户可能不能或不愿意进行这样的手动选择。例如,如果用户忘记了被配置为调整环境声音音量的实体按钮或滑块的位置,则用户可能无法控制耳机再现环境声音的程度。在另一示例中,如果用户戴着手套,则用户可能无法正确地操纵按钮或滑块以便适当地调整用户可听到的环境声音的音量。

如前所述,用于控制用户察觉的环境声音的更有效技术将是有用的。



技术实现要素:

一个实施方案阐述了一种用于控制用户察觉的环境声音的方法。所述方法包括基于与用户相关联的生物识别信号确定关注水平;基于关注水平确定环境感知水平;以及基于环境感知水平修改用户察觉的环境声音的至少一个特性。

另外的实施方案还提供被配置成实现上述方法的一种系统和一种计算机可读介质。

所公开的技术相对于现有技术的至少一个技术优点是,在不需要来自用户的手动输入的情况下,可以基于关注水平自动控制环境声音如何被用户察觉和/或是否被用户察觉。例如,可以增加或减少用户可以听到环境声音的程度,以便使用户能够在无干扰的情况下专注于任务,所述干扰诸如周围环境中的分散声音或需要手动调整环境声级。因此,改善了用户专注于给定任务的能力。

附图说明

为了能够详细地理解上述特征,可参考某些实施方案(其中一些在附图中示出)来更具体描述以上已简要概述的各个实施方案。然而,应注意,附图仅仅示出了典型的实施方案,并且因此不应被认为是对范围的限制,这是因为设想的实施方案可容许其他等效的实施方案。

图1示出了根据各种实施方案的被配置为控制用户察觉的环境声音的系统;

图2是根据各种实施方案的图1的关注应用的更详细图示;

图3示出了根据各种实施方案的可以由图2的权衡引擎实现的不同映射的示例;

图4是根据各种实施方案的用于控制用户察觉的环境声音的方法步骤的流程图;并且

图5示出了根据各种实施方案的图2的环境子系统可以响应于环境感知水平而实现的三个阶段的示例。

具体实施方式

在以下描述中,阐述许多特定细节以提供对各个实施方案的更透彻理解。然而,对本领域的技术人员来说将显而易见的是,可在没有这些特定细节中的一个或多个的情况下实践各个实施方案。

系统概述

图1示出了根据各种实施方案的被配置为控制用户察觉的环境声音的系统100。系统100包括但不限于两个传声器130、两个扬声器120、生物识别传感器140和计算实例110。出于解释的目的,如果需要的话,类似对象的多个实例用标识对象的附图标记和标识实例的带括号数字表示。

在备选实施方案中,系统100可以以任何组合包括任何数量的传声器130、任何数量的扬声器120、任何数量的生物识别传感器140和任何数量的计算实例110。此外,系统100可以包括但不限于其他类型的传感设备和任何数量和类型的音频控制装置。例如,在一些实施方案中,系统100可以包括全球定位系统(gps)传感器和音量控制滑块。

如图所示,系统100包括具有面向内的嵌入式扬声器120和面向外的嵌入式传声器130的耳机。当用户佩戴耳机时,扬声器120(1)对准用户的一只耳朵,且扬声器120(2)对准用户的另一只耳朵。在操作中,扬声器120(i)将扬声器信号122(i)转换为指向所对准耳朵的声音。当转换为声音并传输到用户的耳朵时,扬声器信号122提供整体收听体验。在一些实施方案中,可以指定立体声收听体验,并且扬声器信号122(1)和122(2)的内容可以不同。在其他实施方案中,可以指定单声道收听体验。在这样的实施方案中,扬声器信号122(1)和122(2)可以用旨在由用户的双耳接收的单个信号代替。

传声器130(i)将传声器130(i)检测到的环境声音转换为传声器信号132(i)。如本文所提到,“环境声音”可以包括存在于系统100的用户周围的区域中但不是由系统100产生的的任何声音。环境声音(ambientsound)在本文中也称为“环境声音(environmentalsound)”。环境声音的示例包括但不限于语音、交通噪声、鸟类啁啾声、电器等。

扬声器信号122(i)包括但不限于以扬声器120(i)为目标的请求回放信号(图1中未示出)和环境调整信号(图1中未示出)。所请求的回放信号表示来自任何数量的收听和通信系统的请求声音。收听和通信系统的示例包括但不限于mp3播放器、cd播放器、流音频播放器、智能手机等。

环境调整信号定制用户佩戴耳机时察觉的环境声音。每个环境调整信号包括感知信号或消除信号。包括在扬声器信号122(i)中的感知信号表示由传声器信号132(i)表示的环境声音的至少一部分。相反,与扬声器信号122(i)相关联的消除信号抵消由传声器信号132(i)表示的环境声音的至少一部分。

通常,定制用户察觉的环境声音的常规耳机包括使用户能够手动控制用户通过常规耳机听到的环境声音的音量的功能。例如,在一些常规耳机中,用户可以手动调整由耳机再现的全部或部分环境声音。然后扬声器输出手动选择的环境声音以及所请求的声音。

要求用户手动控制耳机再现环境声音的程度可能降低用户执行某些类型任务的能力。例如,当用户专注于任务、检索智能手机、通过智能手机执行耳机配置应用,且然后通过耳机配置应用进行手动选择时,可能会降低用户专注于任务的能力。此外,有时,用户可能不能或不愿意进行这样的手动选择。例如,如果用户忘记了被配置为调整环境声音音量的实体按钮或滑块的位置,则用户可能无法控制耳机再现环境声音的程度。在另一示例中,如果用户戴着手套,则用户可能无法正确地操纵按钮或滑块以便适当地调整用户可听到的环境声音的音量。

基于关注水平自动优化收听体验

为了解决手动定制用户察觉的环境声音的上述限制,系统100包括但不限于生物识别传感器140和关注应用150。生物识别传感器140通过生物识别信号142指定与用户相关联的神经活动。例如,在一些实施方案中,生物识别传感器140包括脑电图(eeg)传感器,其测量大脑的电活动以产生生物识别信号142。生物识别传感器140可以以使得生物识别传感器140能够测量与用户相关联的神经活动的任何技术上可行的方式设置。例如,在图1所示的实施方案中,生物识别传感器140嵌入耳机的头带中,靠近用户的大脑。

在相同或其他实施方案中,系统100可包括任何数量的生物识别传感器140。每个生物识别传感器140指定用户的生理或行为方面,所述生理或行为方面与通过不同的生物识别信号142确定与用户相关联的关注水平相关。生物识别传感器140的额外地示例包括但不限于功能性近红外光谱(fnirs)传感器、皮肤电反应传感器、加速度传感器、眼睛注视传感器、眼皮传感器、瞳孔传感器、眼肌传感器、脉搏传感器、心率传感器等等。

如结合图2更详细地描述,关注应用150基于生物识别信号142确定与用户相关联的关注水平。关注水平指示用户的集中程度。随后,关注应用150基于关注水平和关注水平与环境感知水平之间的映射来设定环境感知水平。环境感知水平指定用户将察觉的环境声音的一个或多个特性。例如,环境感知水平可以指定用户在佩戴耳机时要接收的环境声音的总音量。通常,映射包括用户专注于任务的能力与用户跟周围环境交互的能力之间的关系。

有利地,用户不需要进行手动选择以定制他们的收听体验以反映他们的活动和周围环境。例如,在一些实施方案中,如果用户集中于特定任务,则关注应用150可以自动降低环境感知水平以增加用户集中于任务的能力。然而,如果用户未关注任何任务,则关注应用150可以自动增加环境感知水平以增加用户与周围环境中的人和物进行交互的能力。

对于每个扬声器120(i),关注应用150基于环境感知水平和传声器信号132(i)产生环境调整信号。值得注意的是,对于传声器信号132(i),环境调整信号包括基于环境感知水平的噪声消除信号或感知信号。对于每个扬声器120(i),关注应用150然后基于相应的环境调整信号和表示以扬声器120(i)为目标的音频内容(例如音乐)的所请求的回放信号(图1中未示出)产生扬声器信号122(i)。

如图所示,关注应用150驻留在包括于计算实例110中的存储器116中,并且在包括于计算实例110中的处理器112上执行。处理器112和存储器116可以以任何技术上可行的方式实现。例如但不限于,在各种实施方案中,处理器112和存储器116的任何组合可以实现为独立芯片或作为实现为专用集成电路(asic)或片上系统(soc)的更全面的解决方案的一部分。在备选实施方案中,本文描述的用于关注应用150的全部或部分功能可以以任何技术上可行的方式在硬件中实现。

在一些实施方案中,如图1所示,计算实例110包括但不限于存储器116和处理器112两者,并且可以嵌入或安装在与系统100相关联的实体对象(例如塑料头带)上。在备选实施方案中,系统100可包括以任何技术上可行的方式实现的任何数量的处理器112和任何数量的存储器116。此外,计算实例110、处理器112和存储器116可以通过位于任何数量的实体位置中的任何数量的实体资源来实现。例如,在一些备选实施方案中,存储器116可以在云(,封装的共享资源、软件、数据等)中实现,并且处理器112可以包括在智能手机中。此外,关注应用150中包括的功能可以划分为存储在任何数量的存储器116中并且经由任何数量的处理器112执行的任何数量的应用。

处理器112通常包括执行程序指令以操控输入数据的可编程处理器。处理器112可以包括用于促进程序执行的任何数量的处理核心、存储器和其他模块。通常,处理器112可以通过任何数量的输入装置(例如,传声器130、鼠标、键盘等)接收输入,并为任何数量的输出装置(例如,扬声器120、显示装置等)产生输出。

存储器116通常包括存储芯片,诸如随机存取存储器(ram)芯片,其存储应用程序和数据以供处理器112处理。在各种实施方案中,存储器116包括非易失性存储器,诸如光学驱动器、磁驱动器、闪速驱动器或其他存储装置。在一些实施方案中,存储装置(未示出)可以补充或替换存储器116。存储装置可以包括处理器112可访问的任何数量和类型的外部存储器。例如但不限于,存储装置可以包括安全数字卡、外部闪存、便携式光盘只读存储器(cd-rom)、光学存储装置、磁存储装置或任何以上合适的组合。

注意,本文描述的系统100和技术是说明性的而不是限制性的,并且可以在不脱离预期实施方案的更广泛的精神和范围的情况下进行改变。在不脱离所描述的实施方案的范围和精神的情况下,对于系统100和关注应用150所提供的功能的许多修改和变化对于本领域的普通技术人员来说是明显的。例如,在一些实施方案中,关注应用150可以基于关注水平和不同的配置输入来为用户的每只耳朵计算不同的环境感知水平。此外,配置输入可以不管与用户相关联的关注水平怎样而指定耳朵中的一只耳朵与环境声音在声学上隔离,而另一只耳朵将基于与用户相关联的关注水平而选择性地与环境声音隔离。

仅出于解释的目的,本文在包括图1中描绘的耳机的系统100的上下文中描述了关注应用150。然而,如本领域技术人员将认识到,在备选实施方案中,系统100可以包括任何类型的音频系统,其使得任何数量的用户能够从任何数量和类型的收听和通信系统接收音乐和其他请求的声音,同时控制用户察觉的环境声音。收听和通信系统的示例包括但不限于mp3播放器、cd播放器、流音频播放器、智能电话等。

在一些备选实施方案中,系统100可以通过任何数量和组合的音频装置为任何数量的用户呈现任何类型的收听体验。音频装置的示例包括但不限于耳塞、可听装置、助听器、个人声音放大器、个人声音放大产品、耳机等。在相同或其他实施方案中,系统100可包括任何数量的扬声器120,其为任何数量的用户呈现任何类型的收听体验。例如,扬声器120可以呈现单声道收听体验、立体声收听体验、2维(2d)环绕收听体验、3维(3d)空间收听体验等。对于每个用户,不管实现关注应用150的音频系统如何,关注应用150优化收听体验以增加用户执行各种活动的能力,而无需用户明确地与任何类型的设备或应用交互。

在一些备选实施方案中,系统100包括车载音频系统,对于车辆的每个乘员,所述车载音频系统控制乘员察觉的车辆外部的声音和来自车辆内的声音(例如,与其他乘员相关联)。车载音频系统包括但不限于关注应用150、以不同乘员为目标的不同扬声器120、安装在车辆外部的传声器130、以不同乘员为目标的不同传声器130,以及嵌入头枕中的生物识别传感器140。

对于每个乘员,关注应用150基于靠近乘员的生物识别传感器140确定乘员的关注水平。然后,对于每个乘员,关注应用150基于乘员的关注水平确定与乘员相关联的环境感知水平。随后,对于每个乘员,关注应用150基于与乘员相关联的环境感知水平和传声器信号132来产生以乘员为目标的环境调整信号。最后,对于每个乘员,关注应用150将表示以乘员为目标的所请求的音频内容的所请求的回放信号与以乘员为目标的环境感知信号进行合成,以产生与乘员相关联的扬声器信号122。

在一些备选实施方案中,车载音频系统包括但不限于关注应用150、以不同乘员为目标的任何数量的扬声器120、安装在车辆外部的传声器130、以不同乘员为目标的不同传声器130和嵌入头枕中的生物识别传感器140。每个扬声器120可以与车辆集成、集成到由车辆乘员佩戴的无线耳塞中或者集成到连线到车辆并由车辆的乘员佩戴的耳塞中。

在各种备选实施方案中,可以基于系统100的能力来定制关注应用150的功能。例如,一般来说,系统100可以启用任何数量的技术来控制察觉的环境声音,并且关注应用150可以实现任何数量的技术。用于控制察觉的环境声音的技术的一些示例不限于声学透明技术、有源噪声消除技术和无源噪声消除技术。声学透明技术涉及环境声音的电声传输。有源噪声消除技术涉及环境声音的电声消除。无源噪声消除技术通过实体部件选择性地将用户的耳朵与环境声音隔离。

包括结合图1描述的耳机的系统100实现声学透明技术和有源噪声消除技术两者。为了使用户能够察觉由传声器130(i)检测到的至少一部分环境声音,关注应用150以任何组合在传声器信号132(i)上执行任何数量和类型的声学透明操作,以产生意识信号。声学透明操作的示例包括但不限于复制、过滤、降低和增强操作。为了防止用户察觉由传声器130(i)检测到的环境声音,关注应用150产生消除信号,所述消除信号是传声器信号132(i)的逆版本。

在备选实施方案中,系统100可以包括实现无源噪声消除技术的耳机。例如,在一些实施方案中,耳机可以包括实体翻板阀(flap),其可以递增地打开或关闭以调整通过耳机“泄漏”到用户耳朵的环境声音。在这样的实施方案中,关注应用150可以以任何技术上可行的方式控制实体翻板阀以反映环境感知水平。

图2是根据各种实施方案的图1的关注应用150的更详细图示。如图所示,关注应用150包括但不限于感测引擎210、权衡引擎230、环境子系统290和回放引擎270。通常,关注应用150基于与用户相关联的任何数量的生物识别信号142和任何数量(包括零)的配置输入234来定制用户的收听体验。在操作中,当关注应用150接收传声器信号132和所请求的回放信号272时,关注应用150产生扬声器信号122。

感测引擎210基于生物识别信号142确定与用户相关联的关注水平220。感测引擎可以以任何技术上可行的方式确定关注水平220。例如,在一些实施方案中,感测引擎210从eeg传感器接收生物识别信号142。感测引擎210对经由生物识别信号142接收的聚合数据执行包括降噪操作的预处理操作,以产生经过滤的生物识别信号。然后,感测引擎210评估经过滤的生物识别信号以对已知与关注行为有关的神经活动进行分类。关注应用150可以实现以对神经活动进行分类的技术的一些示例包括但不限于多个半球的同步、傅里叶变换、小波变换、本征向量技术、自回归技术或其他特征提取技术。

在备选实施方案中,感测引擎210可以从fnirs传感器接收生物识别信号142,所述fnirs传感器测量与情景记忆、策略形成、计划和注意力有关的前额皮质区域中的血氧水平。在这样的实施方案中,感测引擎210可评估生物识别信号142以检测血氧水平的增加,所述血氧水平的增加可指示与较高关注水平220相关联的认知活动。

在各种实施方案中,感测引擎210评估生物识别信号142的组合以基于关注的子分类确定关注水平220。例如,感测引擎210可以基于从eeg传感器接收的生物识别信号142来估计任务关注,并基于从fnirs传感器接收的生物识别信号142来估计任务需求。如本文所提到,“任务需求”指示与当前任务相关联的认知资源的量。例如,如果从fnirs传感器接收的生物识别信号142指示用户正在主动地解决问题或连接复杂的工作存储器,则感测引擎210将估计相对高的任务需求。然后,感测引擎210可以基于任务关注和任务需求来计算关注水平220。

在另一示例中,如果感测引擎210确定从eeg传感器接收的生物识别信号142包括指示用户关注的特征,则感测引擎210可评估额外的生物识别信号142以精确地确定关注水平220。例如,感测引擎可以评估从加速度传感器和眼睛注视传感器接收的生物识别信号142,以分别确定头部运动和扫视的量。通常,随着用户的关注增加,头部运动量和扫视量两者都减少。

在备选实施方案中,当从eeg传感器接收的生物测定信号142指示用户正在考虑特定触发时,可以训练感测引擎210以将关注水平220设定为特定值。例如,当用户考虑单词“执行”、“测试”或“工作”时,可以训练感测引擎210以设定关注水平220来指示用户深度集中。感测引擎210可以以任何技术上可行的方式来训练以识别关键思想。例如,可以在设置过程期间训练感测引擎210,其中用户在感测引擎210监测从eeg传感器接收的生物识别信号142时反复考虑所选择的触发。

权衡引擎230基于关注水平220、映射232和任何数量的配置输入234来计算环境感知水平240。映射232指定用户专注于任务的能力与用户跟周围环境交互的能力之间的关系。通常,映射232可以以任何技术上可行的方式指定关注水平220和环境感知水平240之间的任何关系。

仅出于解释的目的,如本文所述,关注水平220介于从0到1的范围内,其中0指示用户完全未集中,且1指示用户完全集中。此外,环境感知水平240介于从0到1的范围内,其中0指示用户未察觉环境声音,且1指示用户要察觉所有环境声音。在备选实施方案中,关注水平220可以以任何技术上可行的方式表示用户的关注,并且环境感知水平240可以表示用户将以任何技术上可行的方式察觉的环境声音。

在一些实施方案中,映射232指定关注水平220和环境感知水平240之间的反比关系。随着用户变得越来越集中,关注应用150降低了用户察觉环境声音的能力,且因此,用户能够更有效地执行需要集中注意力的任务。相反,随着用户变得不那么集中,关注应用150增加了用户察觉环境声音的能力,且因此,用户能够更有效地与用户周围的环境和活动交互。

在其他实施方案中,映射232指定关注水平220和环境感知水平240之间的比例关系。随着用户变得越来越集中,关注应用150增加了用户察觉环境声音的能力-为用户提供更多的社会环境。相反,随着用户变得不那么集中,关注应用150降低了用户察觉环境声音的能力-鼓励用户专注于需要集中注意力的任务。例如,比例关系可以鼓励用户充分集中以进展到问题的整体解决方案而不过度关注特定细节。

在其他实施方案中,映射232指定具有阶梯的阈值禁用,其中从零到阈值的关注水平220映射到环境感知水平240为1,并且其他关注水平220映射环境感知水平240为0。因此,关注应用150仅在用户足够集中(如阈值所指定)时消除环境声音。相反,在其他实施方案232中,映射232指定具有阶梯的阈值启用,其中从零到阈值的关注水平220映射到环境感知水平240为0,并且其他关注水平220映射到环境感知水平240为1。因此,关注应用150使得用户仅在用户足够集中(如阈值所指定)时感知环境声音。

权衡引擎230可以以任何技术上可行的方式确定映射232和与映射232相关联的任何参数(例如,阈值)。例如,在一些实施方案中,权衡引擎230可以实现默认映射232。在相同或其他实施方案中,权衡引擎230可以基于配置输入234中的一个或多个来确定映射232和任何相关参数。配置输入234的示例包括但不限于用户的位置、可配置参数(例如,阈值)和众包数据。

例如,如果配置输入234指示用户当前在图书馆,则用户可能专注于重要任务。因此,权衡引擎230可以选择映射232,所述映射232指定具有阶梯的阈值禁用并将阈值设定为相对低的值。相反,如果配置输入234指示用户当前在海滩,则用户可能正在享受周围环境。因此,权衡引擎230可以选择映射232,所述映射232指定具有阶梯的阈值启用并将阈值设定为相对低的值。

如图所示,环境子系统290接收环境感知水平240并产生环境调整信号280。环境感知子系统290包括但不限于声学透明引擎250和噪声消除引擎260。在任何给定时间,环境子系统290可以产生或不产生环境调整信号280。此外,如果环境子系统290产生环境调整信号280,则在任何给定时间,环境调整信号280包括由声学透明引擎250产生的感知信号252或由噪声消除引擎260产生的噪声消除信号262。结合图5描述可以由环境感知子系统290基于环境感知水平240实现的三个阶段的示例。

更确切地说,如果环境感知水平240不为零,则环境子系统290禁用噪声消除引擎260。此外,依据环境感知水平240,环境子系统290可以将声学透明引擎250配置为基于传声器信号132和环境感知水平240产生感知信号252。因此,如图2所示,环境调整信号280可以包括环境感知信号252。然而,如果环境感知水平240为零,则环境子系统290禁用声学透明引擎250并配置噪声消除引擎260以基于传声器信号132产生消除信号262。因此,环境调整信号280包括消除信号262。

以这种方式,声学透明引擎250和噪声消除引擎260可以向用户提供连续的察觉的环境声音。例如,在一些实施方案中,耳机不提供与用户耳朵的完全闭合配合,且因此环境声音通过耳机“渗透(bleed)”到用户。如果环境感知水平240为零,则噪声消除引擎260产生消除信号250,所述消除信号250有源地消除通过耳机渗入的环境声音,从而最小化用户察觉的环境声音。然而,如果环境感知水平240指示用户将接收通过耳机渗入的环境声音,则环境子系统290不产生任何环境调整信号280。因此,用户察觉到一些环境声音。然而,如果环境感知水平240指示用户将接收不通过耳机渗入的环境声音,则声学透明引擎250基于传声器信号132和环境感知水平240产生感知信号252。因此,用户可以通过不同的机制察觉各种环境声音。

在备选实施方案中,环境子系统290可以实现任何数量和类型的技术以定制用户察觉的环境声音。例如,在一些实施方案中,环境子系统290包括声学透明引擎250但不包括噪声消除引擎260。在其他实施方案中,环境子系统290包括声学透明引擎250和控制与系统100相关联的实体噪声抑制部件的无源消除引擎。

声学透明引擎250可以以任何组合对传声器信号132执行任何数量和类型的声学透明操作,以产生环境调整信号280。声学透明操作的示例包括但不限于复制、过滤、降低和增强操作。例如,在一些实施方案中,当环境感知水平240相对较高时,声学透明引擎250可以增加由传声器信号132表示的语音的音量,同时保持或减小由传声器信号132表示的其他声音的音量。

在相同或其他实施方案中,如果环境感知水平240相对较低,则声学透明引擎250可以被配置为滤除通常不利于集中的所有声音,并且经由传声器信号132发送剩余声音。可被认为有利于集中的声音示例包括但不限于自然声音(例如,鸟类啁啾、风、波浪、河流声音等)和来自用户附近的装置(诸如风扇或电器)的白色/粉红色遮蔽声音。在备选实施方案中,声学透明引擎250可基于配置输入234(诸如用户的位置、可配置参数、众包数据和指示倾向于增加集中的声音类型的机器学习数据)确定要过滤的声音类型,。

在一些实施方案中,声学透明引擎250可以对传声器信号132执行操作以产生环境信号、产生任何数量的模拟信号且然后将环境信号与模拟信号合成以产生感知信号252。例如,如果环境感知水平240相对较低,则声学透明引擎250可以产生表示舒缓音乐、预先录制的自然声音和/或白色/粉红色掩蔽噪声的模拟信号。在备选实施方案中,声学透明引擎250可基于配置输入234确定要模拟的声音类型。

如图所示,在接收到相关的环境调整信号280(i)时,回放引擎270基于环境调整信号280(i)和所请求的回放信号272(i)产生扬声器信号122(i)。回放引擎270可以以任何技术上可行的方式产生扬声器信号122(i)。例如,回放引擎270可以合成环境调整信号280(i)和相应的回放信号272(i)以产生扬声器信号122(i)。然后,回放引擎270将每个扬声器信号122(i)传输到相应的扬声器120(i)。因此,当用户接收所请求的音频内容时,用户还察觉环境声音,所述环境声音优化用户的整体收听体验。

注意,本文描述的技术是说明性的而不是限制性的,并且可以在不脱离预期实施方案的更广泛的精神和范围的情况下进行改变。在不脱离所描述的实施方案的范围和精神的情况下,对于系统100和关注应用150所提供的功能的许多修改和变化对于本领域的普通技术人员来说是明显的。

例如,在一些实施方案中,对于每个扬声器120,权衡引擎230基于不同的配置输入234将关注水平220映射到不同的环境感知水平240。例如,配置输入234(1)可以指定权衡引擎230用于最小化用户经由扬声器120(1)察觉的环境声音。相反,配置输入234(2)可以指定权衡引擎230将在关注水平220和与扬声器120(2)相关联的环境感知水平240(2)之间实现反比例映射232。因此,权衡引擎230将不管关注水平220怎样而将与扬声器220(1)相关联的环境感知水平240(1)设定为1,并且将基于关注水平220改变与扬声器220(2)相关联的环境感知水平240(2)。

在相同或其他实施方案中,环境子系统290可以基于传声器130和扬声器120的任何数量的不同组合产生任何数量的环境调整信号280。更确切地说,对于特定扬声器120,环境子系统290可以基于任何数量的传声器信号132和对应于扬声器120的关注水平220产生相应的环境调整信号280。例如,如果系统100包括车载信息娱乐系统,则每个乘员可以与多个传声器130和多个扬声器120相关联。此外,每个扬声器120可以与不同的配置输入234相关联。因此,对于以特定用户为目标的每个扬声器120,环境子系统290可以基于表示与其他乘员相关联的声音的传声器信号132和与扬声器120相关联的关注水平220来产生相应的环境调整信号280。

将关注水平映射到环境感知水平

图3示出了根据各种实施方案的可以由图2的权衡引擎230实现的不同映射232的示例。在备选实施方案中,权衡引擎230可以实现任何数量和类型的映射232。在每个映射232(i)中,关注水平220(i)用实线描绘,其介于从0(用户完全未集中)到1(用户完全集中)的范围内。相应的环境感知水平240(i)用虚线描绘,其介于从0(用户将察觉不到环境声音)到1(用户将感知到所有环境声音)的范围内。

如图所示,映射232(1)指定关注水平220(1)和环境感知水平240(1)之间的反比关系。当权衡引擎230实现映射232(1)时,随着用户变得越来越集中,权衡引擎230降低环境感知水平240(1)。因此,关注应用150降低了用户察觉环境声音的能力。相反,随着用户变得不那么集中,权衡引擎230增加环境感知水平240(1)。因此,关注应用150增加了用户察觉环境声音的能力。

映射232(2)指定关注水平220(2)和环境感知水平240(2)之间的正比关系。当权衡引擎230实现映射232(2)时,随着用户变得越来越集中,权衡引擎230增加环境感知水平240(2)。因此,关注应用150增加了用户察觉环境声音的能力。相反,随着用户变得不那么集中,权衡引擎230降低环境感知水平240(2)。因此,关注应用150降低了用户察觉环境声音的能力。

映射232(3)指定具有阶梯的阈值禁用。当权衡引擎230实现映射232(3)时,如果关注水平220(3)在零和阈值310(3)之间,则权衡引擎230将环境感知水平240(3)设定为1。否则,权衡引擎230将环境感知水平240(3)设定为0。因此,关注应用150在当用户足够集中(如阈值310(3)所指定)时防止用户察觉所有环境声音与允许用户察觉所有环境声音之间进行切换。

映射232(4)指定具有斜变的阈值禁用。当权衡引擎230实现映射232(4)时,如果关注水平220(4)在零和阈值310(4)之间,则权衡引擎230将环境感知水平240(4)设定为1。随着关注水平220(4)增加超过阈值310(4),权衡引擎230逐渐降低环境感知水平240(4),直到环境感知水平240(4)为0。随着关注水平220(4)继续增加,权衡引擎230继续将环境感知水平240(4)设定为0。

映射232(5)指定具有阶梯的阈值启用。当权衡引擎230实现映射232(5)时,如果关注水平220(5)在零和阈值310(5)之间,则权衡引擎230将环境感知水平240(5)设定为0。否则,权衡引擎230将环境感知水平240(5)设定为1。因此,关注应用150在当用户足够集中(如阈值310(5)所指定)时允许用户察觉所有环境声音与防止用户察觉任何环境声音之间切换。

图4是根据各种实施方案的用于控制用户察觉的环境声音的方法步骤的流程图。尽管结合图1至图3的系统描述了方法步骤,但本领域技术人员将理解,被配置来以任何顺序实现所述方法步骤的任何系统均落在设想的实施方案的范围内。图4.

如图所示,方法400开始于步骤402,其中感测引擎210接收生物识别信号142。在步骤404处,感测引擎210基于生物识别信号142确定关注水平220。在步骤406处,权衡引擎232基于关注水平220以及可选地任何数量的配置输入234来计算环境感知水平240。在备选实施方案中,如结合图2详细描述,对于每个扬声器120,权衡引擎232可以基于不同的配置输入234计算不同的关注水平220。

在步骤408处,对于每个扬声器220,环境子系统290基于相应的传声器信号132和环境感知水平240产生相应的环境调整信号280。在备选实施方案中,对于每个扬声器220,环境子系统290可以基于任何数量的传声器信号132产生任何数量的环境调整信号280。特别地,如结合图2详细描述,对于特定扬声器120,环境子系统290可以基于任何数量的传声器信号132和与扬声器120所对准的用户相关联的关注水平220产生相应的环境调整信号280。

在步骤410处,对于每个扬声器120,回放引擎270基于相应的环境调整信号280和相应的请求回放信号272产生相应的扬声器信号122。有利地,扬声器信号122使扬声器120向用户提供所请求的音频内容,同时自动优化用户察觉的环境声音。然后,方法400终止。

图5示出了根据各种实施方案的图2的环境子系统290可以响应于环境感知水平240而实现的三个阶段的示例。如图所示,环境感知水平240用点线描绘,消除信号262用实线描绘,且感知信号252用虚线描绘。在备选实施方案中,环境子系统290可以以任何技术上可行的方式响应环境感知水平240。

在阶段1期间,环境感知水平240在低范围内,且因此,环境子系统290产生消除信号262,所述消除信号262最小化用户察觉的环境声音。注意,在阶段1期间,环境子系统290不产生感知信号252。在阶段2期间,环境感知水平240在中间范围内,且因此,环境子系统290既不产生消除信号262也不产生感知信号252。由于环境子系统290既不产生消除信号262也不产生感知信号252,因此一些环境声音会渗透给用户。在阶段3期间,环境感知水平240在高范围内,且因此,环境子系统290产生将环境声音传递给用户的感知信号252。注意,在阶段3期间,环境子系统290不产生消除信号262。

总之,所公开的技术可用于基于用户的关注水平来调整用户察觉的环境声音。关注应用包括但不限于感测引擎、权衡引擎、环境子系统和回放引擎。环境子系统包括但不限于声学透明引擎和噪声消除引擎。在操作中,感测引擎从生物识别传感器接收任何数量的生物识别信号,并基于生物识别信号确定与用户相关联的关注水平。然后,权衡引擎基于关注水平和可选地任何数量的配置输入来确定环境感知水平。配置输入的示例包括但不限于用户的位置、可配置参数(例如,阈值水平)、众包数据等。基于环境感知水平和表示外部声音的传声器信号,环境子系统产生反映外部声音的感知信号或消除外部声音的消除信号。最后,回放引擎基于请求的音频内容(例如,歌曲)和感知信号或消除信号产生扬声器信号。

关注应用相对于现有技术的一个技术优点是,作为基于环境声音和生物识别信号产生音频内容的一部分,关注应用可以自动优化用户专注于任务的能力与用户跟其周围环境交互的能力之间的权衡。值得注意的是,用户不需要进行手动选择以定制他们的收听体验来反映他们的活动和周围环境。例如,在一些实施方案中,如果关注应用感测到用户集中于特定任务,则关注应用可以自动降低环境感知水平以增加用户集中于任务的能力。然而,如果关注应用感测到用户未集中于任何任务,则关注应用可以基于生物识别信号和配置输入的任何数量和组合来确定用户的目标。如果用户的目标是集中于任务,则关注应用可以自动降低环境感知水平以增加用户集中于任务的能力。如果用户的目标不是集中于任何任务,则关注应用可以自动增加环境感知水平以增加用户与周围环境中的人和物进行交互的能力。通常,关注应用增加了用户执行各种活动的能力,而无需用户明确地与任何类型的音频装置或应用交互。

1.在一些实施方案中,一种用于控制用户察觉的环境声音的方法包括:基于与用户相关联的生物识别信号确定关注水平;基于关注水平确定环境感知水平;以及基于环境感知水平修改用户察觉的环境声音的至少一个特性。

2.如条款1所述的方法,其中修改用户察觉的环境声音的至少一个特性包括:基于环境感知水平和响应于环境声音从传声器接收的音频输入信号产生环境调整信号;以及基于环境调整信号产生扬声器信号。

3.如条款1或2所述的方法,其中产生环境调整信号包括以下操作中的至少一个:基于环境感知水平消除、复制、过滤、降低和增强音频输入信号。

4.如条款1-3中任一项所述的方法,其中消除环境调整信号包括产生音频输入信号的逆版本。

5.如条款1-4中任一项所述的方法,其中确定环境感知水平包括:将关注水平与阈值水平进行比较;如果关注水平超过阈值水平,则将环境感知水平设定为等于第一值,或者如果关注水平不超过阈值水平,则将环境感知水平设定为等于第二值。

6.如条款1-5中任一项所述的方法,其还包括:基于用户的位置、可配置参数和众包数据中的至少一个来确定阈值水平。

7.如条款1-6中任一项所述的方法,其中确定环境感知水平包括将映射应用于关注水平,其中映射指定环境感知水平与关注水平之间的反比关系或环境感知水平与关注水平之间的正比关系。

8.如条款1-7中任一项所述的方法,其还包括:从脑电图传感器、心率传感器、功能性近红外光谱传感器、皮肤电反应传感器、加速度传感器或眼睛注视传感器接收生物识别信号。

9.如条款1-8中任一项所述的方法,其中扬声器安装在车辆内部或包括在一对耳机中。

10.在一些实施方案中,一种计算机可读存储介质包括指令,所述指令在由处理器执行时致使处理器通过执行以下步骤来控制用户察觉的环境声音:基于与用户相关联的第一生物识别信号确定关注水平;基于关注水平确定环境感知水平;基于环境感知水平执行无源噪声消除操作、有源噪声消除操作或声学透明操作。

11.如条款10所述的计算机可读存储介质,其中执行无源噪声消除操作、有源噪声消除操作或声学透明操作包括:基于环境感知水平和响应于环境声音从传声器接收的音频输入信号产生环境调整信号;以及基于环境调整信号产生扬声器信号。

12.如条款10或11所述的计算机可读存储介质,其中产生环境调整信号包括以下操作中的至少一个:基于环境感知水平消除、复制、过滤、降低和增强音频输入信号。

13.如条款10-12中任一项所述的计算机可读存储介质,其中确定环境感知水平包括:将关注水平与阈值水平进行比较;以及如果关注水平超过阈值水平,则将环境感知水平设定为等于第一值,或者如果关注水平未超过阈值水平,则将环境感知水平设定为等于第二值。

14.如条款10-13中任一项所述的计算机可读存储介质,其还包括:基于用户的位置、可配置参数和众包数据中的至少一个来确定阈值水平。

15.如条款10-14中任一项所述的计算机可读存储介质,其中确定环境感知水平包括将映射应用于关注水平,其中映射指定环境感知水平与关注水平之间的反比关系或环境感知水平与关注水平之间的正比关系。

16.如条款10-15中任一项所述的计算机可读存储介质,其中第一生物识别信号指定与用户相关联的神经活动。

17.如条款10-16中任一项所述的计算机可读存储介质,其中确定关注水平包括:基于第一生物识别信号估计任务关注,其中从第一传感器接收第一生物识别信号;以及基于从第二传感器接收的第二生物识别信号估计任务需求;以及基于任务关注和任务需求计算关注水平。

18.如条款10-17中任一项所述的计算机可读存储介质,其中确定关注水平包括:基于第一生物识别信号确定用户正在考虑触发词,以及基于触发词设定关注水平。

19.在一些实施方案中,一种用于控制用户察觉的环境声音的系统,系统包括:存储器,所述存储器存储有指令;以及处理器,所述处理器耦接到所述存储器,并且当执行指令时,被配置来:基于与用户相关联的生物识别信号确定关注水平;基于关注水平和与环境声音相关联的音频输入信号产生环境调整信号;并且基于环境调整信号控制与用户相关联的扬声器。

20.如条款19所述的系统,其中用户是车辆的第一乘员,并且音频输入信号由位于车辆外部的第一传声器和与车辆的第二乘员相关联的第二传声器中的至少一个接收。

任何权利要求中所述的要求保护的元件和/或本申请中所描述的任何元件的以任何方式进行的任何和所有组合都落在本发明实施方案的设想范围内。

已出于说明目的而呈现了对各种实施方案的描述,但这些描述并非意图是详尽性的或受限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下,许多修改和变化对于本领域的普通技术人员来说是显而易见的。

本实施方案的各方面可体现为系统、方法或计算机程序产品。因此,本公开的各方面可采取完全硬件实施方案、完全软件实施方案(包括固件、驻留软件、微代码等)或将软件方面和硬件方面(在本文中可全部概括地称为“模块”或“系统”)进行组合的实施方案的形式。此外,本公开的各方面可采取在一个或多个计算机可读介质中体现的计算机程序产品的形式,所述一个或多个计算机可读介质具有在其上体现的计算机可读程序代码。

可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是(例如)但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置或者上述各项的任何合适组合。计算机可读存储介质的更特定的示例(非详尽性的列表)将包括以下各项:具有一个或多个电线的电气连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便携式光盘只读存储器(cd-rom)、光学存储装置、磁性存储装置或上述各项的任何合适组合。在本文件的上下文中,计算机可读存储介质可为任何有形介质,所述有形介质可含有或存储供指令执行系统、设备或装置使用或连同指令执行系统、设备或装置一起使用的程序。

上文参考根据本公开的实施方案的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述了本公开的各方面。应理解,可通过计算机程序指令来实现流程图和/或方框图中的每个方框以及流程图和/或方框图中的方框组合。这些计算机程序指令可提供至通用计算机、专用计算机的处理器或其他可编程数据处理设备以产生一种机器,使得经由计算机的处理器或其他可编程数据处理设备执行的指令使得能够实现一个或多个流程图方框和/或一个或多个方框图方框中指定的功能/动作。这样的处理器可以是但不限于通用处理器、专用处理器、应用特定的处理器或现场可编程门阵列。

附图中的流程图和方框图示出了根据本公开的各种实施方案的系统、方法和计算机程序产品的可能实现方式的架构、功能性和操作。就此而言,流程图或方框图中的每个方框均可表示代码的模块、片段或部分,其包括用于实现指定逻辑功能的一个或多个可执行指令。还应注意,在一些替代性实现方式中,方框中指出的功能可按照附图中指出的次序以外的次序发生。例如,连续示出的两个方框实际上可以大致同时执行,或者所述方框有时可以按相反的次序执行,这取决于所涉及的功能性。还应注意,方框图和/或流程图图示中的每个方框,以及方框图和/或流程图图示中的方框的组合可由执行指定功能或动作的基于专用硬件的系统或者专用硬件和计算机指令的组合来实现。

虽然前述内容涉及本公开的各实施例,但在不脱离本公开的基本范围的情况下可设想本公开的其他和另外的实施方案,并且本公开的范围由所附权利要求来确定。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1