用于向触觉换能器输出触觉信号的方法和装置与流程

文档序号:22890880发布日期:2020-11-10 18:16阅读:186来源:国知局
用于向触觉换能器输出触觉信号的方法和装置与流程

本文中所描述的实施方案涉及用于基于所接收的音频信号向触觉换能器输出触觉信号的方法和装置,所接收的音频信号通过扬声器输出。



背景技术:

对于一些应用,可能期望的是,在移动设备以及其他设备(诸如,智能家庭设备或车辆的用户接口)上生成触觉效果。在一些例子中,可能期望的是,这些触觉效果与特定的音频事件同步,从而增强用户体验。在一些情形中(例如,在系统中预限定了音频源材料(例如,已知型式的具体歌曲)的情况下),可以想到的是,可以与已知音频无关地存储和重放被设计成连同歌曲一起输出的一系列触觉事件。

然而,可能存在不具有可预测的或预限定的性质的音频回放的例子。例如,在游戏应用中,所渲染的音频输出可以包括所存储的元素(例如,背景音乐)与其他声音(可能取决于游戏玩法)的组合。后一类别声音的精确定时和输出可能依赖于用户在游戏中的动作。由于此种用户控制,所存储的一系列触觉事件的输出可能是不合适的。



技术实现要素:

根据一些实施方案,提供了一种用于触发触觉信号的方法,所述触觉信号被输出至触觉换能器。所述方法包括:接收音频信号,所述音频信号用于通过音频输出换能器输出;基于对所述音频信号的幅度的变化率(rateofchange)的指示来确定所述音频信号是否包含触觉触发,以及响应于确定所述音频信号包含触觉触发,触发所述触觉信号被输出至所述触觉换能器。

在一些实施方案中,所述确定步骤包括:利用所述音频信号的修正型式的第一数目的样本来生成所述音频信号的第一加权和表示;利用所述音频信号的修正型式的第二数目的样本来生成所述音频信号的第二加权和表示,其中样本的所述第二数目大于样本的所述第一数目;以及将所述第一加权和表示与所述第二加权和表示进行比较。此比较可以提供对所述音频信号的幅度的变化率的指示。

在一些实施方案中,所述比较步骤包括:当所述第一加权和表示超过所述第二加权和表示时,确定所述音频信号包含触觉触发。在一些实施方案中,所述比较步骤包括:当所述第一加权和表示超过所述第二加权和表示加一个预定偏移时,确定所述音频信号包含触觉触发。

在一些实施方案中,所述方法还包括基于期望的触觉触发特性,调整用于生成所述第一加权和表示的第一组加权系数,和/或调整用于生成所述第二加权和表示的第二组加权系数。

在一些实施方案中,所述方法还包括基于期望的触觉触发特性来调整样本的所述第一数目和/或样本的所述第二数目。

在一些实施方案中,所述方法还包括基于所述音频信号的幅度的变化率来确定所述音频信号是否包含触觉触发。

根据一些实施方案,提供了一种方法,所述方法包括:接收音频信号,所述音频信号用于通过音频输出换能器输出;基于所述音频信号和至少一个标准来确定触觉信号,所述触觉信号用于输出至触觉换能器;以及,基于一个参数来动态地调整所述至少一个标准,其中所述参数包括以下项中的一个或多个:关于连同所述音频信号一起回放的媒体回放的内容的信息,关于所述音频信号的内容的信息,关于与所述音频信号相关联的历史触觉事件的信息,以及设备的电池充电状态。

在一些实施方案中,所述方法还包括:响应于所述音频信号满足所述至少一个标准中的第一标准,确定所述音频信号包含触觉触发;以及,响应于确定所述音频信号包含所述触觉触发,向所述换能器输出所述触觉信号。

所述第一标准可以包括所述音频信号的阈值变化率。

在一些实施方案中,所述方法还包括基于所述触觉触发和所述至少一个标准中的第二标准来确定所述触觉信号。

在一些实施方案中,所述方法还包括基于所述至少一个标准的第三标准由所述触觉触发生成所述触觉信号。

所述第三标准可以包括以下项中的一个或多个:最大幅度、容许动态范围以及容许频率范围。

在一些实施方案中,所述调整步骤包括:响应于所述参数指示应当降低触觉信号事件的未来重复率,调整所述至少一个标准,以降低从所述音频信号所导出的触觉信号事件的重复率。

在一些实施方案中,所述参数指示所述音频信号是否包含话音,且所述调整步骤包括:响应于所述参数指示所述音频信号包含话音,调整所述至少一个标准,以降低触觉信号事件的重复率。

在一些实施方案中,所述参数包括设备的电池充电状态,且所述调整步骤包括响应于所述参数指示所述电池充电状态低于一个阈值水平,调整所述至少一个标准,以降低触觉信号事件的重复率。

在一些实施方案中,所述参数包括关于连同所述音频信号一起回放的媒体回放的内容的信息;以及,所述调整步骤包括基于所述媒体回放的内容,调整所述至少一个标准以选择触觉信号。

所述媒体回放可以包括视频数据。

在一些实施方案中,所述参数包括关于与所述音频信号相关联的历史触觉事件的信息;以及,所述调整步骤包括调整所述至少一个标准,以优化重复触觉事件的预期未来输出。

根据一些实施方案,提供了一种用于生成触觉信号的方法,所述触觉信号用于输出至触觉换能器。所述方法包括:接收音频信号,所述音频信号用于通过音频输出换能器输出;确定所述音频信号是否包含触觉触发;响应于确定所述音频信号包含所述触觉触发,通过对包含所述触觉触发的所述音频信号中的数据进行欠采样,将所述触觉触发中处于预期频率范围以外的频率处的能量映射至所述触觉信号中处于所述预期频率范围以内的频率,使得所述触觉触发中处于高于所述预期频率范围的频率处的能量被转换至所述预期频率范围以内的频率中,以生成所述触觉信号。

在一些实施方案中,所述方法还包括调整所述触觉触发的动态范围,以生成所述触觉信号。

在一些实施方案中,所述映射步骤进一步包括使所述触觉触发中低于所述预期频率范围的频率处的音频信号能量失真,以使得在所述触觉信号中的所述预期频率范围以内产生相应的谐波能量。

根据一些实施方案,提供了一种用于触发触觉信号的处理器,所述触觉信号被输出至触觉换能器。所述处理器包括:输入,被配置为接收音频信号,该音频信号用于通过音频输出换能器输出;触觉触发检测块,被配置为基于对所述音频信号的幅度的变化率的指示来确定所述音频信号是否包含触觉触发;以及,触觉信号生成器,被配置为响应于确定所述音频信号包含触觉触发,触发所述触觉信号被输出至所述触觉传感器。

根据一些实施方案,提供了一种处理器,所述处理器用于将第一触觉信号输出至设备中的触觉换能器。所述处理器包括:输入,被配置为接收音频信号,所述音频信号用于通过音频输出换能器输出;触觉信号确定块,被配置为基于所述音频信号和至少一个标准来确定触觉信号,所述触觉信号用于输出至所述触觉换能器,其中所述处理器被配置为基于一个参数来动态地调整至少一个标准,其中所述参数包括以下项中的一个或多个:关于连同所述音频信号一起回放的媒体回放的内容的信息,关于所述音频信号的内容的信息,关于与所述音频信号相关联的历史触觉事件的信息,以及,所述设备的电池充电状态。

根据一些实施方案,提供了一种用于生成触觉信号的处理器,所述触觉信号用于输出至触觉换能器。所述处理器包括:输入,被配置为接收音频信号,所述音频信号用于通过音频输出换能器输出;触觉触发检测块,被配置为确定所述音频信号是否包含触觉触发;以及,触觉信号生成器,被配置为:响应于确定所述音频信号包含所述触觉触发,通过对包含所述触觉触发的所述音频信号中的数据进行欠采样,将所述触觉触发中处于预期频率范围以外的频率处的能量映射至所述触觉信号中处于所述预期频率范围以内的频率,使得所述触觉触发中处于高于所述预期频率范围的频率处的能量被转换为所述预期频率范围以内的频率中,以生成所述触觉信号。

根据一些实施方案,提供了一种包括处理器的电子装置,所述处理器被配置为触发触觉信号被输出至触觉换能器。所述处理器包括:输入,被配置为接收音频信号,所述音频信号用于通过音频输出换能器输出;触觉触发检测块,被配置为基于对所述音频信号的幅度的变化率的指示来确定所述音频信号是否包含触觉触发;以及,触觉信号生成器,被配置为响应于确定所述音频信号包含触觉触发,触发所述触觉信号被输出至所述触觉换能器。

根据一些实施方案,提供了一种包括处理器的电子装置,所述处理器被配置为将第一触觉信号输出至设备中的触觉换能器。所述处理器包括:输入,被配置为接收音频信号,所述音频信号用于通过音频输出换能器输出;触觉信号确定块,被配置为基于所述音频信号和至少一个标准来确定触觉信号,所述触觉信号用于输出至所述触觉换能器;其中所述处理器被配置为基于一个参数来动态地调整所述至少一个标准,其中所述参数包括以下项中的一个或多个:关于连同所述音频信号一起回放的媒体回放的内容的信息,关于所述音频信号的内容的信息,关于与所述音频信号相关联的历史触觉事件的信息,以及所述设备的电池充电状态。

根据一些实施方案,提供了一种包括处理器的电子装置,所述处理器被配置为生成触觉信号,所述触觉信号用于输出至触觉换能器。所述处理器包括:输入,被配置为接收音频信号,所述音频信号用于通过音频输出换能器输出;触觉触发检测块,被配置为确定所述音频信号是否包含触觉触发;以及,触觉信号生成器,被配置为响应于确定所述音频信号包含所述触觉触发,通过对所述触觉触发数据进行欠采样来将所述触觉触发中处于预期频率范围以外的频率处的能量映射至所述触觉信号中处于所述预期频率范围以内的频率,使得所述触觉触发中处于高于所述预期频率范围的频率处的能量被转换为所述预期频率范围以内的频率中,以生成所述触觉信号。

附图说明

为了更好地理解本公开内容的实施方案,且为了示出如何实施本公开内容的实施方案,现在仅以实施例的方式参考附图,在附图中:

图1例示了一个示例示意图,示出了具有音频输出换能器以及触觉输出换能器的设备100的一部分;

图2例示了根据一些实施方案的用于触发触觉信号hout的处理器的一个实施例,所述触觉信号hout被输出至触觉换能器;

图3是例示根据一些实施方案的用于确定音频信号是否包含触觉触发的方法的示例流程图;

图4a例示了示例音频信号、音频信号的第一加权和表示以及音频信号的第二加权和表示;

图4b例示了示例音频信号以及音频信号的变化率;

图5例示了根据一些实施方案的用于触发触觉信号的处理器的一个实施例,所述触觉信号被输出至设备中的触觉换能器;

图6例示了根据一些实施方案的包括音频输出换能器以及触觉换能器的处理器的一个实施例,其中处理器向触觉换能器输出触觉信号;

图7是例示根据一些实施方案的用于触发触觉信号的方法的示例流程图,所述触觉信号被输出至触觉换能器;

图8是例示根据一些实施方案的用于向设备中的触觉换能器输出第一触觉信号的方法的示例流程图;

图9是例示根据一些实施方案的用于向触觉换能器输出触觉信号的方法的示例流程图。

具体实施方式

下面的描述阐述了根据本公开内容的示例实施方案。对于本领域普通技术人员而言,其他示例实施方案和实施方式将是显而易见的。此外,本领域普通技术人员将认识到,可以代替下面所讨论的实施方案或与下面所讨论的实施方案相结合地应用多种等同技术,且所有这样的等同物应被认为是本公开内容所涵盖的。

图1是一个示例示意图,示出了具有相应的音频输出换能器102以及触觉输出换能器104的设备100的一部分。设备100可以包括任何电子装置,例如:便携式设备;电池供电设备;计算设备;通信设备;游戏设备;移动电话;个人媒体播放器;膝上型计算设备、平板计算设备或笔记本计算设备、智能手表、虚拟现实(vr)设备或增强现实(ar)设备或智能家庭设备。为清楚起见,图1并未示出设备100中与本公开内容无关的元件,但是本领域技术人员应理解,除了在图1中所示出的那些元件和部件之外,设备100可以包括其他元件和部件。

设备100包括处理器106,该处理器106可以是例如应用处理器。处理器106与信号处理器108接口连接,该信号处理器108可以是例如数字信号处理器(dsp)。信号处理器108与音频输出放大器110接口连接,该音频输出放大器110被配置为输出音频信号,以驱动音频输出换能器102。信号处理器108还与触觉输出放大器112接口连接,该触觉输出放大器112被配置为输出触觉信号,以驱动触觉换能器104。

处理器106执行且提供设备100的运行环境,以允许由设备100执行软件应用(诸如,游戏)。这样的应用通常接收用户输入。用户输入可以包括以下项中的一个或多个:可以由设备的触摸感应表面(例如,触摸屏)(未示出)所检测到的触摸用户输入和/或手势用户输入;可以由传感器(诸如,设备的加速度计或陀螺仪)(也未示出)所检测到的动力学用户输入(诸如,旋转或倾斜设备);以及,可以由传感器(诸如,设备的麦克风)(也未示出)所检测到的音频用户输入(诸如,口语命令)。响应于检测到用户输入,应用可操作,以在设备处生成适当的输出。例如,该应用可操作,以使得设备的显示器(未示出)上所显示的图像更新,且使得由音频输出换能器102输出适当的音频效果。该应用还可操作,以响应于检测到用户输入而使得由触觉输出换能器104提供适当的触觉输出。

例如,在驾驶游戏应用中,用户可以与设备100的触摸屏交互,例如,通过触摸呈现在设备的触摸屏上的加速踏板或制动踏板的图形表示,从而在游戏中加速或制动车辆。这种触摸被触摸屏检测到,且导致通过应用来更新显示在设备的显示器上的图像,以给出车辆正在加速或制动的视觉指示。对显示器上所显示的图像的更新可以伴随适当的音频效果,所述适当的音频效果由输出音频换能器102输出,诸如当触摸加速踏板时的发动机加快转速效果,或者当触摸制动踏板时的轮胎尖叫声效果。

为了使车辆转向,用户可以使设备在逆时针方向上旋转以左转,或者在顺时针方向上旋转以右转。响应于由设备的加速度计和/或陀螺仪检测到这种动力学输入,在适当时,通过应用更新显示器上所显示的图像,以给出车辆移动的视觉指示。另外,可以通过输出音频换能器102输出适当的音频效果,诸如轮胎尖叫声效果。

音频用户输入(诸如,语音命令)可以附加地被用于例如执行特殊功能,诸如发射武器。在检测到有效的语音命令或其他音频用户输入时,在适当时,可以更新显示器上所显示的图像,以给出命令的效果的视觉指示,且可以通过输出音频换能器102输出适当的音频效果,诸如射击声效果。

应用还可以被配置为利用触觉输出换能器104来向用户提供附加的感官信息。在上面所讨论的驾驶游戏应用实施例中,除了更新显示器上所显示的图像且输出适当的音频效果之外,设备100还可以响应于用户输入来提供触觉输出。例如,触觉输出换能器104可以被致动,以使得设备100在更新显示器上所显示的图像且通过输出音频换能器102输出音频效果的同时振动,从而向用户提供附加的感官信息。

在这种应用中,可以在开始时就将触觉输出设计到应用中。换句话说,应用的设计者可以识别待与触觉输出相关联的用户输入、视觉输出以及音频输出,且对应用进行手动编程,从而响应于经识别的用户输入或者与经标识的视觉输出或经识别的音频输出组合地来提供触觉输出。如应理解,在编程阶段,此手动编程是一个耗时的过程。替代地,可以对音频信号施加一些简单处理(例如,滤波或修正),且此经处理的信号可以被用于驱动触觉换能器。然而,此方法的缺点在于,触觉输出反映了音频输出的幅度,而失去了使触觉响应仅突出或强调某些事件的期望效果。此外,使触觉电路连续活跃对移动设备中的电池寿命是不利的。

因此,可能期望的是,能够针对相关事件选择性地扫描音频信号且导出合适的触觉输出。在一些应用(诸如,游戏应用)中,可以通过触觉响应来增强用户针对事件(诸如,屏幕上的射击,或者例如,其他“响亮”虚拟事件,或者具有特定特性的事件)的体验。因此,这些事件可以被视为“触觉触发”。因此,在一些实施例中,通过音频信号中出现大能量变化或者出现能量的高速变化的部分来表征触觉触发。

图2例示了根据一些实施方案的用于触发触觉信号hout的处理器200,所述触觉信号hout被输出至触觉换能器201。在一些实施例中,触觉信号hout可以在被触觉放大器208放大之后,被驱动至触觉换能器201。

处理器200包括输入202,该输入202用于接收音频信号ain,该音频信号ain用于通过音频输出换能器203输出。音频信号ain可以在被音频放大器207放大之后,被驱动通过音频输出换能器203。输出换能器203与处理器200可以是同一设备的一部分,或者可以是分立的设备上的外部换能器,例如扬声器或头戴式受话器。因此,包括处理器200的设备可以包括适合于连接至这种外部换能器的输出。

处理器200还包括触觉触发检测块204。触觉触发检测块204被配置为接收音频信号ain,且基于对音频信号ain的幅度的变化率的指示来确定音频信号ain是否包括触觉触发。触觉触发可以被认为是音频信号的一部分,该部分具有指示其适合连同触觉信号一起输出的某一特性。

例如,如果音频信号的幅度的变化率高于第一阈值,则这种变化率可以指示在音频信号ain中出现音频事件,该音频事件可以成为触觉事件的依据,从而向用户突出或强调该音频事件。

然后,触觉触发检测块204可以向触觉信号生成器205指示音频信号ain是否包含触觉触发。响应于接收到音频信号包含触觉触发的指示,触觉信号生成器205可以触发触觉信号hout,所述触觉信号hout被输出至触觉换能器201。

在一些实施例中,所述指示包括对出现的音频事件的类型的指示,例如,所述指示可以包括指示音频信号包括射击声的信息。因此,触觉信号生成器205可以基于音频信号中导致触觉触发的所指示类型的音频事件,例如通过从存储器209选择预限定的触觉信号来生成适当的触觉信号hout。

在一些实施例中,所述指示可以指示音频信号ain的幅度的变化率。因此,触觉信号生成器205可以基于音频信号ain的幅度的变化率来生成适当的触觉信号hout。例如,如果音频信号ain的幅度的变化率是低的,例如低于第二阈值(所述第二阈值高于第一阈值),则触觉信号生成器205可以生成第一类型的触觉信号hout。例如,第一类型的触觉信号可以包括蜂鸣或分段线性包络(pwle)类型的波形,它们是存储触觉波形的简单且有效的方法的实施例。

然而,如果音频信号ain的幅度的变化率是高的(例如,高于第二阈值),则触觉信号生成器205可以生成第二类型的触觉信号hout。第二类型的触觉信号hout可以包括比第一类型的触觉信号更短且更有脉动性(impulsive)的波形。例如,第二类型的触觉信号可以包括“更具攻击性”或“咔嚓声”式的波形,作为由经采样的离散数据所组成的波形文件被存储在设备(或存储器)中。

在一些实施例中,所述指示可以包括音频信号ain本身。换句话说,触觉触发检测块204可以响应于检测到音频信号包含触觉触发而向触觉信号生成器输出音频信号ain。在此实施例中,触觉信号生成器可以通过处理包含触觉触发的音频信号ain来生成触觉信号。所施加的处理可以如稍后参考图6所描述的。

在其他实施例中,触觉信号生成器205可以接收音频信号ain作为与所述指示分立的输入。在此实施例中,所述指示可以向触觉信号生成器205标记何时音频信号ain包含触觉触发,从而何时从音频信号ain生成触觉信号hout。

在一些实施例中,特别是从音频信号ain生成触觉信号hout的实施例中,音频信号ain可以在被延迟块206延迟之后,被输出至音频放大器207。特别地,延迟块206可以被配置为将一延迟引入到输入202与音频放大器207之间的路径中,该延迟与在输入202以及触觉放大器208之间的触觉信号生成器205中的处理所引入的延迟相同。

图3例示了根据一些实施方案的用于确定音频信号是否包含触觉触发的方法。例如,图3中所例示的方法可以由图2中所例示的触觉触发检测块204来执行。为了例示此方法的一个实施例,参考图4a的示例音频信号400。

在步骤301中,触觉触发检测块204利用音频信号400的修正型式401的第一数目的样本来生成音频信号400的修正型式401的第一加权和表示402。第一加权和表示402提供了音频信号400的修正型式401中的能量的起伏表示。

在步骤302中,触觉触发检测块204利用音频信号400的修正型式401的第二数目的样本来生成音频信号400的修正型式401的第二加权和表示404,其中样本的第二数目大于步骤301中所使用的样本的第一数目。

当使用更多的样本来生成信号的加权和表示时,该表示对音频信号中峰值以及谷值的出现反应较小。因此,与第一加权和表示402相比,第二加权和表示404对音频信号400的修正型式401中的峰值以及谷值的反应较小。

在步骤303中,触觉触发检测块204可以将第一加权和表示402与第二加权和表示404进行比较。此比较可以指示音频信号400的幅度的变化率。

在步骤304中,触觉触发检测块204可以基于在步骤303中所做出的比较来确定音频信号400是否包含触觉触发。

例如,当第一加权和表示402超过第二加权和表示404(如图4a中的标记406所例示的)时,触觉触发检测块204可以确定音频信号400包含触觉触发。

在一些实施例中,当第一加权和表示402超过第二加权和表示404加预定偏移时,触觉触发检测块204可以确定音频信号包含触觉触发。

应理解,在一些应用期间,处理器可以调整触觉输出的灵敏度。例如,在一些应用期间,处理器200可以基于期望的触觉触发特性来调整用于生成第一加权和表示的第一组加权系数(该第一组加权系数可以包括一个或多个系数)和/或调整用于生成第二加权和表示的第二组加权系数(该第二组加权系数可以包括一个或多个系数)。换句话说,可以更改加权和,使得要求音频信号的幅度的变化率更高或更低来引起触觉触发。

第一加权系数或第二加权系数的调整还可以调整频率响应,所述频率响应被包含在相应的加权和表示中。例如,第二加权和可以被配置为比第一加权和滤除更多的高频;或者,创建高通滤波效果,从而第二加权和忽略任何低音内容。以此方式,加权和的比较可以在期望的频率范围内搜索触觉触发。

在一些实施例中,触觉触发检测块可以基于对音频信号的幅度的变化率的指示来确定音频信号是否不再包含触觉触发。在一些实施例中,第一加权和表示402与第二加权和表示404之间的比较可以确定触觉信号的长度或者触觉信号的幅度。例如,当第一加权和表示402与第二加权和表示404之间的差更大时,触觉信号更长或触觉信号的幅度更高。

响应于确定音频信号不再包含触觉触发,触觉触发检测块可以向触觉信号生成器205指示此状况。

在一些实施例中,当第一加权和表示402下降回至第二加权和表示404以下时,触觉触发检测块可以确定音频信号不再包含触觉触发。

在一些实施例中,当第一加权和表示402下降至第二加权和表示404以下的一个预定偏移时,触觉触发检测块204可以确定音频信号不再包含触觉触发。在此实施例中,可以使用某一滞后。

应理解,在一些实施例中,可以使用多个不同的加权和表示以及相关联的偏移来检测与不同类型的音频事件相对应的不同类型的触觉触发。然后,可以根据存在哪种类型的触觉触发来生成触觉信号。

为了触发向触觉换能器所输出的触觉信号,使得触觉信号与包含触觉触发的音频信号同步,用于生成触觉信号的处理可能具有时间限制。此因素可以有效地限制可用于基于音频信号中的能量水平的变化来登记触觉触发的决策点的范围和功能。

图4b例示了根据一些实施方案的一个实施例,在该实施例中音频信号的变化率被用于确定音频信号是否包含触觉触发。

在此实施例中,例示了音频信号408以及此音频信号的变化率410。当音频信号的变化率410高于一个预定阈值412时,可以检测到触觉触发。这种检测由标志414例示。

图5例示了根据一些实施方案的用于触发触觉信号hout的处理器500,所述触觉信号hout被输出至设备中的触觉换能器201。与图2中所例示的那些特征类似的特征已被赋予相同的附图标记。在一些实施例中,触觉信号hout可以在被触觉放大器208放大之后,被驱动通过触觉换能器201。

处理器500包括输入501,该输入501用于接收音频信号ain,以用于输出通过音频输出换能器203。音频信号ain可以在被音频放大器207放大之后,被驱动通过音频输出换能器203。

处理器500包括触觉信号确定块502。触觉信号确定块可以被配置为基于音频信号和至少一个标准来确定触觉信号,以用于输出至换能器。在一些实施例中,触觉信号确定块502包括如图2中所例示的触觉触发检测块204以及触觉信号生成器205。在这些实施例中,响应于音频信号满足至少一个标准中的第一标准,确定音频信号包含触觉触发,且响应于确定音频信号包含触觉触发,向换能器输出触觉信号。如参考图2所描述的,第一标准从而可以包括音频信号的幅度的阈值变化率,该阈值变化率可以通过音频信号的第一加权和表示与音频信号的第二加权和表示之间的比较来表示。

在此实施例中,至少一个标准可以包括第二标准。例如,第二标准可以包括如上面所描述的第二阈值。换句话说,如果音频信号ain的幅度的变化率是高的(例如,高于第二阈值),则触觉信号生成器205可以生成第二类型的触觉信号hout。第二类型的触觉信号hout可以包含比第一类型的触觉信号更短且更有脉动性的波形。例如,第二类型的触觉信号可以包括咔嚓声波形。替代地,第二标准可以包括音频信号的幅度的变化率的值与所确定的触觉信号的幅度之间的关系。换句话说,在一些实施例中,当变化率更高时,所生成的触觉信号的幅度更高。

在一些实施例中,可以通过触觉信号确定块502基于至少一个标准中的第三标准从触觉触发生成触觉信号。例如,第三标准可以包括以下项中的一个或多个:触觉信号的最大幅度,触觉信号的容许动态范围,以及,触觉信号的容许频率范围。因此,可以从音频信号生成触觉信号,使得触觉信号满足第三标准。

应理解,可以利用其他方法来从音频信号生成触觉信号,所述其他方法可以使用不同的标准来确定触觉信号是否将被输出以及该触觉信号将是什么。然而,图2中所例示的实施方案可以被认为是快速反应决策阶段,该快速反应决策阶段因此可以快速地提供触觉信号,从而维持与音频信号的同步。

然后,处理器500可以被配置为基于一个参数来动态地调整至少一个标准,其中该参数包括以下项中的一个或多个:关于连同音频信号一起回放的媒体回放的内容的信息,关于音频信号的内容的信息,关于与音频信号相关联的历史触觉事件的信息,以及设备的电池充电状态。因此,与确定触觉信号相比,可以在更长的时间段内进行这种基于参数确定标准的动态调整的处理,从而使得可被用于确定触觉信号的信息的类型具有更大的灵活性。

换句话说,触觉信号确定块502可以包括比动态地调整至少一个标准所需要的处理具有更低时延的处理。因此,此较高时延的处理可以被用于:a)将更多的处理能力应用于确定触觉信号,以及b)采用更适合于较大音频数据集的算法以及技术。通过调整至少一个标准,较高时延的处理可以有效地训练或适配较低时延的处理,而不会影响输出触觉信号的时延。

上面所描述的标准可以由处理器调整,从而降低从音频信号所导出的触觉信号事件的重复率。例如,在一些情形中,参数可能指示所出现的触觉信号事件的重复率太高(例如,用户可能已经通过用户输入指示触觉事件太频繁了)以及应该降低未来重复率。

例如,在参数包括音频信号的幅度的阈值变化率的情况下,调整可以包括调整用于音频信号的第一加权和表示和/或第二加权和表示的采样数目。替代地,调整可以包括增大或减小偏移,以减小或增大检测到触觉触发的频率。

在一些实施例中,处理器包括语音检测块503,该语音检测块503被配置为确定音频信号是否包含话音。因此,参数可以包含关于音频信号的内容的信息,该信息指示音频信号是否包含话音。应理解,在一些实施例中,处理器500可以从外部处理器接收对音频信号是否包含话音的指示。

在这些实施例中,处理器可以被配置为响应于指示音频信号包含话音的参数,调整至少一个标准来降低触觉信号事件的重复率。此调整可以被配置为防止音频信号的话音中的爆破辅音(诸如,“p”)引起不想要的触觉响应。在一些实施例中,可以响应于由参数所指示的话音,调整至少一个标准来关闭任何触觉信号的生成。

在一些实施例中,所述参数包括设备的电池充电状态。在这些实施例中,处理器可以响应于所述参数指示电池状态低于一个阈值水平,调整至少一个标准来降低触觉信号事件的重复率。换句话说,如果设备的电池不足,则可以减少触觉响应,从而节省电池功率,以用于被认为对设备的操作更重要的应用。例如,响应于所述参数指示设备的电池低于一个阈值水平,可以调整至少一个标准来减小以下项中的一个或多个:输出至触觉换能器的触觉信号的强度、长度或时间密度。因此,对至少一个标准的此种调整可以提供对低电池情形与用户体验的质量之间的折衷的更精细的管理。

在一些实施例中,所述参数包括关于连同音频信号一起回放的媒体回放的内容的信息。例如,音频信号可以与一些视频数据一起播放,例如用于游戏应用。在这些实施例中,处理器可以被配置为基于媒体回放的内容(例如,媒体回放的节目内容)来调整至少一个标准以选择触觉信号。换句话说,如果游戏内容是基于军事的游戏,则可以调整标准以在由视频数据中的“屏幕上”图像(例如,枪口闪光)所表示的射击与没有由视频数据中的图像所表示的“屏幕外”射击之间进行区分。因此,可以调整用于生成触觉信号的标准,以针对两种情形产生不同的触觉信号,即使这两种情形中的触觉触发可能非常相似。

在一些实施例中,所述参数包括关于与音频信号相关联的历史触觉事件的信息。例如,触觉历史块504可以存储关于在具体音频流期间所输出的触觉信号的数据历史。触觉历史块504可以包括被配置为例如寻找在音频信号期间所输出的重复的触觉信号的处理。触觉历史块504然后可以输出一个参数来调整至少一个标准,以优化重复的触觉信号的任何预期的未来输出。

在一些实施例中,可能期望的是,音频信号ain与某一其他媒体内容(例如,视频数据)的时间同步。在添加了从音频信号所导出的触觉信号的情况下,可能需要控制第三同步变量。触觉信号可能相对于系统的输入音频延迟,甚至略微延迟。然而,如果音频信号能够被布置成在其他媒体内容之前到达处理器,则来自处理器的输出音频和触觉信号可以与其他媒体内容对准。

图6例示了包括音频输出换能器203和触觉换能器201的处理器600,其中处理器600向触觉换能器201输出触觉信号hout。与图2中所例示的那些特征类似的特征已被赋予相同的附图标记。在一些实施例中,触觉信号hout可以在被触觉放大器208放大之后,被驱动通过触觉换能器201。

处理器600包括输入601,该输入601被配置为接收音频信号,该音频信号用于通过音频输出换能器203(例如,扬声器)输出。

处理器600包括触觉触发检测块602,该触觉触发检测块602被配置为确定音频信号是否包含触觉触发。触觉触发检测块602可以被配置成与图2中的触觉触发检测块204类似。替代地,可以通过触觉触发检测块602来执行检测音频信号中的触觉触发的其他方法。

触觉触发检测块204然后可以向触觉信号生成器205指示音频信号ain是否包含触觉触发。在一些实施方案中,所述指示包含音频信号ain的触觉触发。换句话说,触觉触发检测块204可以向触觉信号生成器205输出包含触觉触发的音频信号。在一些实施方案中,触觉信号生成器包括用于接收音频信号ain的输入,且所述指示包括指示触觉触发在音频信号内的位置的信息。

触觉信号生成器205响应于接收到音频信号ain包含触觉触发的指示,将所接收的触觉触发(从触觉触发检测块所接收到的,或者作为音频信号的一部分所接收到的)中处于预期频率范围以外的频率处的能量映射至预期频率范围以内的频率,以生成触觉信号。具体地,触觉信号生成器通过对包含触觉触发的音频信号中的数据进行欠采样来映射频率,以使得触觉触发中处于高于预期频率范围的频率处的能量被转换至预期频率范围以内的频率中,从而生成触觉信号。

预期频率范围可以包括当输入到触觉换能器201中时导致用户可以感觉到的触觉事件的频率。通过对触觉触发进行欠采样来映射较高的频率意味着,在由触觉信号所导致的触觉事件中,用户会感觉到触觉触发中的能量。通过对包含触觉触发的音频信号中的数据进行欠采样,触觉信号生成器可以因此创建表示包含触觉触发的音频信号的触觉信号,但是该触觉信号处于适于通过触觉换能器201再现的频率范围以内。

触觉信号生成器205可以被配置为向触觉换能器输出触觉信号。

在一些实施例中,触觉信号生成器可以被配置为调整触觉触发的动态范围,以生成触觉信号。换句话说,尽管典型的16位音频信号可以具有达到以及超过90db的动态范围,但是用户对由触觉信号所导致的触觉事件的分辨灵敏度要小得多,例如20db至30db。随后,如果在触觉触发期间发现低电平音频材料形成了音频信号的一部分,则可以将触觉触发的动态范围调整到适合用户对所产生的触觉事件的敏感度。

在一些实施例中,触觉信号生成器可以进一步被配置为使在触觉触发中的预期频率范围以下的频率处的音频信号能量失真,使得在触觉信号中的预期频率范围以内产生相应的能量。类似地,用户不会感觉到低于预期频率范围的低频内容。因此,触觉信号生成器可以修正或以其他方式使触觉触发的低频失真,以有意在预期频带内产生高水平谐波,从而使用户可以感觉到触觉事件。

应理解,处理器200、500和600可以被实施为设备(诸如,图1中所例示的设备100)中的信号处理器108的至少一部分。

图7例示了用于触发触觉信号的方法,该触觉信号被输出至触觉换能器。该方法可以由处理器执行,例如图2中的处理器200或任何合适的电路。

在步骤701,该方法包括接收音频信号,该音频信号用于通过音频输出换能器输出。

在步骤702中,该方法包括基于对音频信号的幅度的变化率的指示来确定音频信号是否包含触觉触发。

在步骤703,该方法包括响应于确定音频信号包含触觉触发,触发触觉信号,该触觉信号被输出至触觉换能器。

图8例示了用于向设备中的触觉换能器输出第一触觉信号的方法。该方法可以由处理器执行,例如图5中的处理器500或任何合适的电路。

在步骤801中,该方法包括接收音频信号,该音频信号用于通过音频输出换能器输出。

在步骤802中,该方法包括基于音频信号和至少一个标准来确定用于触觉信号,所述触觉信号用于输出至触觉换能器。

在步骤803中,该方法包括基于一个参数来动态地调整至少一个标准,其中该参数包括以下项中的一个或多个:关于连同音频信号一起回放的媒体回放的内容的信息,关于音频信号的内容的信息,关于与音频信号相关联的历史触觉事件的信息,以及设备的电池充电状态。

图9例示了用于生成触觉信号的方法,该触觉信号用于输出至触觉换能器。该方法可以由处理器执行,例如图6中的处理器600或任何合适的电路。

在步骤901中,该方法包括接收音频信号,该音频信号用于通过音频输出换能器输出。

在步骤902中,该方法包括确定音频信号是否包含触觉触发器。

在步骤903中,该方法包括响应于确定音频信号包含触觉触发器,通过对包含触觉触发的音频信号中的数据进行欠采样,将触觉触发中处于预期频率范围以外的频率处的能量映射至触觉信号中的预期频率范围以内的频率,使得触觉触发中高于预期频率范围的频率处的能量被转换为触觉信号中预期频率范围以内的频率。因此,提供了用于基于所接收的音频信号向触觉换能器输出触觉信号的方法和装置,所接收的音频信号通过扬声器输出。

应注意,上文所提及的实施方案例示而非限制本发明,且在不偏离随附权利要求的范围的情况下,本领域技术人员将能够设计许多替代实施方案。词语“包括”不排除除了在权利要求中所列出的那些元件或步骤以外的元件或步骤的存在,“一”或“一个”不排除多个,且单个特征或其他单元可以实现权利要求中所记载的若干单元的功能。权利要求中的任何参考数字或参考标注不应被解释为对所述权利要求范围的限制。术语诸如放大或增益包括可能将小于1的缩放因子应用到信号。

当然,应理解,如上面所描述的模拟调节电路的多个实施方案或其多个块或部分可以与其另外的块或部分或与主机设备的其他功能在诸如智能编解码器的集成电路上共同集成。

因此,本领域技术人员将认识到,上文所描述的装置和方法的一些方面可以体现为例如位于非易失性载体介质(诸如,磁盘、cd-rom或dvd-rom、程序化存储器诸如只读存储器(固件))上或位于数据载体(诸如,光学信号载体或电信号载体)上的处理器控制代码。对于许多应用,本发明的实施方案将被实施在dsp(数字信号处理器)、asic(专用集成电路)或fpga(现场可编程门阵列)上。因此,代码可以包括常规程序代码或微代码或例如用于设立或控制asic或fpga的代码。代码还可以包括用于动态地配置可重新配置的装置(诸如,可重新编程逻辑门阵列)的代码。类似地,代码可以包括用于硬件描述语言(诸如,verilogtm或vhdl(超高速集成电路硬件描述语言))的代码。如本领域技术人员将理解,代码可以被分布在彼此通信的多个经耦合的部件之间。在适当的情况下,还可以使用在现场可(重新)编程模拟阵列或类似的设备上运行以配置模拟硬件的代码来实施所述实施方案。

应理解,尤其是受益于本公开内容的本领域普通技术人员应理解,本文所描述的多种操作,尤其是与附图相关的多种操作,可以由其他电路或其他硬件部件来实施。可以改变执行给定方法的每一操作的次序,且可以对本文中所例示的系统的多种元件进行添加、重新排序、组合、省略、修改等。意图是,本公开内容包括所有这样的修改和改变,因此,上面的描述应被认为是例示性而非限制性的。

类似地,尽管本公开内容参考了特定实施方案,但是可以在不背离本公开内容的范围和覆盖范围的情况下,对那些实施方案进行某些修改和改变。此外,本文中关于特定实施方案所描述的任何益处、优势或问题的解决方案均不旨在被解释为元件的关键、必需或必要特征。

同样地,受益于本公开内容的其他实施方案对于本领域普通技术人员将是显而易见的,且这样的实施方案应被认为是本文所包含的。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1