技术领域一个实施例一般地涉及触觉效果，并具体涉及高分辨率/带宽触觉效果。
背景技术：
电子设备制造商力求为用户产生丰富的接口。传统的设备使用视觉的和听觉的线索来向用户提供反馈。在一些接口设备中，动觉反馈(诸如有源反馈和阻力反馈)和/或触知反馈(诸如振动、纹理和热)也被提供给用户，它们更一般地统称为“触觉反馈”或“触觉效果”。触觉反馈可以提供增强并简化用户接口的线索。具体地，振动效果或振动触知触觉效果可以用于向电子设备的用户提供线索，以使用户对特定的事件警觉，或者提供逼真的反馈以在仿真的或虚拟的环境中创建更好的感官沉浸感。为了生成振动效果，许多设备利用一些类型的致动器或触觉输出设备。用于这种目的的已知的触觉输出设备包括诸如偏心旋转块(“ERM”)、线性谐振致动器(“LRA”)的电磁致动器或诸如压电、电活性聚合物或形状记忆合金的“智能材料”，其中在偏心旋转块中，偏心块被马达移动，在线性谐振致动器中附接到弹簧的块被来回驱动。触觉输出设备还广泛地包括非机械或非振动设备，比如使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备，或者用超声触觉换能器诱导声学辐射压力的设备，或者使用触觉基板和柔性或可变形的表面的设备，或者提供诸如利用空气喷嘴吹空气的投射的触觉输出的设备等等。随着近来诸如智能电话和平板的高分辨率移动设备的发展，用户现在能够在手持设备上观看过去只能在电影院、电视机或家庭影院系统中看到的高分辨率音频和视频。利用启用触觉的移动设备，体验已经显示出内容观看被大大增强了，并且观看者喜欢在音频和视频内容分量之外还有触觉内容分量。但是，为了与高分辨率音频/视频兼容，也应当生成相应的高分辨率或高带宽触觉效果。
技术实现要素：
一个实施例是利用至少一个致动器和至少一个扬声器生成触觉效果的系统。该系统接收高分辨率(“HD”)触觉效果信号，以及如果要播放音频的话还接收相应的音频信号。该系统至少基于HD触觉效果信号生成标准分辨率(“SD”)触觉效果信号，并且至少基于HD触觉效果信号生成基于音频的触觉效果信号。该系统将音频信号和基于音频的触觉效果信号混合，并然后基本上同时地在致动器上播放SD触觉效果信号和在扬声器上播放混合后的信号。附图说明图1是根据本发明的一个实施例的启用触觉的系统/设备的框图。图2是根据本发明的一个实施例的图1的系统的功能的流程图。图3根据一个实施例示出用于确定诸如图1的系统的目标设备的系统标识或工厂模型的过程。图4a和4b是根据本发明的实施例的图1的系统的功能的流程图。具体实施方式一个实施例在包括共同定位的致动器和扬声器的设备上生成高带宽/分辨率(“HD”)触觉效果，即便在该致动器是“标准分辨率”致动器时也如此。音频分量被确定为，基于设备的工厂模型，通过振动设备的外壳来使得扬声器生成振动触觉效果，该振动触觉效果增强由致动器生成的触觉效果。由致动器和由扬声器生成的触觉效果的组合使得累积的触觉效果成为高带宽的触觉效果。因此，利用标准分辨率致动器的快速响应和强度连同音频扬声器来为用户生成类似HD的体验。图1是根据本发明的一个实施例的启用触觉的系统/设备10的框图。系统10包括触觉敏感表面11或安装在壳体15内的其它类型的用户接口，并且可以包括机械按键/按钮13。在系统10内部的是触觉反馈系统，该系统在系统10上生成触觉效果，并包括处理器或控制器12。耦合到处理器12的是存储器20和耦合到致动器18的致动器驱动电路16。处理器12可以是任何类型的通用处理器，或者可以是专门设计成提供触觉效果的处理器，比如专用集成电路(“ASIC”)。处理器12可以是操作整个系统10的同一个处理器，或者可以是单独的处理器。处理器12可以判断要播放哪种触觉效果以及基于高级别参数播放这些效果的次序。总体上，限定具体的触觉效果的高级别参数包括幅度、频率和持续时间。诸如流式马达命令的低级别参数也可用于确定具体的触觉效果。如果触觉效果在触觉效果被生成时包括这些参数的一些变化或者基于用户的交互的这些参数的变化，则触觉效果可被看作“动态的”。一个实施例中的触觉反馈系统在系统10上生成振动30、31或其它类型的触觉效果。处理器12向致动器驱动电路16输出控制信号，该致动器驱动电路16包括用来向致动器18供应所需的电流和电压(即，“马达信号”)以导致产生期望的触觉效果的电子部件和电路。系统10可以包括多于一个致动器18，并且每个致动器可以包括单独的驱动电路16，这些驱动电路都被耦合到共同的处理器12。系统10还包括至少一个扬声器26和耦合到处理器12的相应的扬声器驱动器25。扬声器26可以是任何类型的音频扬声器、扩音器或电声换能器，它们通过将电的音频信号转换成相应的声音来生成音频输出27。众所周知，与生成音频27同时地，扬声器26将比如通过振动系统10的壳体/外壳在系统10上生成振动28。接触系统10的用户所感受的振动28的程度部分取决于系统10的物理构成或“工厂模型”。存储器20可以是任何类型的存储设备或计算机可读介质，比如随机存取存储器(“RAM”)或只读存储器(“ROM”)。存储器20存储由处理器12执行的指令。在这些指令当中，存储器20包括音频触觉仿真模块22，该模块是在由处理器12执行时利用扬声器26和致动器18生成高带宽触觉效果的指令，如下面更详细公开的那样。存储器20也可以位于处理器12的内部，或者可以是内部和外部存储器的任何组合。系统10可以是任何类型的手持/移动设备，比如蜂窝电话、个人数字助理(“PDA”)、智能电话、计算机平板、游戏控制台、远程控制或包括含有一个或多个致动器和一个或多个扬声器的触觉效果系统的任何其他类型的设备。系统10可以是诸如腕带、头带、眼镜、戒指、腿带、集成到服装中的阵列等的可穿戴设备，或用户可以穿戴在身体上或者可以由用户持有并且启用触觉的任何其他类型的设备，包括家具或车辆方向盘。此外，系统10的一些元件或功能可以定位在远程或者可以由与系统10的剩余元件通信的另一设备实现。致动器18可以是能够生成触觉效果的任何类型的致动器。在一个实施例中，致动器18是生成单一频率的振动触觉效果的“标准分辨率”(“SD”)致动器。SD致动器的示例包括偏心旋转块马达(“ERM”)和线性谐振致动器(“LRA”)。与SD致动器相反，诸如压电致动器或电活性聚合物(“EAP”)致动器的HD致动器或高保真度致动器能够生成多个频率的高带宽/分辨率触觉效果。HD致动器特征在于其产生具有可变振幅并具有对瞬态驱动信号的快速响应的宽带宽触知效果的能力。然而，HD致动器相比于SD致动器具有大的物理尺寸，并且比SD致动器更昂贵。因而多数设备只包括一个或多个SD致动器，而不包括任何HD致动器。因此，本发明的实施例利用这些设备中已有的一个或多个扬声器结合SD致动器来仿真HD触觉效果，并提供类似HD的触觉体验，而不需要HD致动器。除了致动器18之外或者代替致动器18，系统10可包括其他类型的触觉输出设备(未示出)，这些触觉输出设备可以是非机械或非振动的设备，比如使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备、用超声触觉换能器诱导声学辐射压力的设备、使用触觉基板和柔性或可变形表面或形状变化设备并且可附接到用户的身体的设备、提供诸如使用空气喷嘴吹空气的投射的触觉输出的设备等。图2是根据本发明的实施例的图1的系统10的功能的流程图。在一个实施例中，图2(以及以下的图4a和4b)的流程图的功能由存储在存储器或其它计算机可读的或有形的介质中的软件实现，并且由处理器执行。在其它实施例中，该功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或硬件和软件的任何组合执行。在201处，接收HD触觉效果信号。HD信号可以由触觉效果设计者使用诸如来自Immersion公司的“TouchSense”的已知工具或诸如来自AvidTechnology公司的“ProTools”的工业标准音频制作工具创建。相比于SD触觉效果信号，HD触觉效果信号具有宽的触觉带宽(例如1-350Hz)、增大的范围、强度和精度以及高的采样率。在201处的HD信号也可以以任何已知的方式来生成，包括使用自动的音频/视频到触觉效果转换工具，或者使用诸如粒度合成、物理合成等的触觉-音频合成算法。在另一实施例中，HD信号通过使用捕获高分辨率、宽带加速度和/或音频信号的一个或多个传感器来得到。HD信号的形式为“YHD(t)”，其中Y是HD信号随时间“t”的振幅。在202处，接收音频信号。音频信号和HD信号意在互相补充并且如果视频可用的话则对应于同一视频播放。HD信号结合音频信号被产生。在另一实施例中，不需要音频信号，而仅播放HD信号。在203处，SD信号从HD信号中被提取。结果产生的信号是“YHD-SD(t)”(即，HD信号减SD信号)和YSD(t)(即，SD信号)，YHD-SD(t)例如通过使用陷波滤波器移除LRA谐振来确定，YSD(t)通过计算信号振幅(即，基于音频的触觉效果信号)来确定。其他类型的SD致动器可能需要其它的SD提取算法，包括线性和非线性滤波两种。在205处，SD信号被转换成马达信号，并且在206处，马达信号被发送到触觉驱动器，在那里使用诸如LRA致动器的SD致动器将马达信号转换成SD振动触觉效果。在204处，滤波后的信号的HD部分减SD部分被转换成音频输入，该音频输入将在该音频被扬声器播放时使得扬声器生成触觉效果的HD分量。一般地，滤波器应用“YHD-SD(t)*hI(t)”函数来生成音频信号“Y触觉-音频(t)”。这是滤波后的HD信号YHD-SD(t)与用于由系统10上的音频系统28生成的加速度的逆工厂模型的卷积。滤波器和函数基于诸如系统10(即，包括致动器和扬声器并且在其上将生成触觉效果的设备)的目标设备的确定的工厂模型。然而，也可以使用生成所期望的加速度的生成音频信号的其它方法。例如，可以使用查找表、前向馈送系统模型、神经网络或任何其它系统估计技术。在208处，可选地使用均衡器，在204处生成的基于音频的触觉效果信号Y触觉-音频(t)和在202处(如果要播放音频信号的话)的相应的输入音频信号被混合，并被送到在207处的音频驱动器，这导致混合后的音频信号被扬声器播放。在204处的滤波器或在207处的音频驱动器可能需要均衡在202处的音频信号与滤波后的输出Y触觉-音频(t)之间重叠的频率，以便同时保留结果产生的声音压力水平和所诱导的加速度。如结合图2所描述的，在204处的滤波需要将会生成触觉效果的目标设备的工厂模型作为输入。工厂模型是基于目标设备的所测量的或所建模的频率响应特性的输入-输出系统模型。工厂模型也可以指使用系统标识对滤波器/均衡器参数的估计、“声学模型”或“触知扬声器模型”。系统标识域使用统计方法来从所测量的数据中建立动态系统的数学模型。系统标识也包括体验的最优设计，以有效地生成用于适合这些模型以及模型精简的信息数据。图3示出了根据一个实施例用于确定诸如系统10的目标设备的系统标识或工厂模型的过程。对音频系统捕获脉冲响应，以捕获对于音频脉冲的加速度响应。假设系统10具有线性响应，该脉冲响应301可直接用来创建图2的204处的滤波器，如图3所示。首先，使用Z-变换(302)来变换脉冲响应以创建工厂模型。工厂模型然后被取逆(303)以创建Z-空间函数，该Z-空间函数可代表线性系统动态特性的逆。该函数也被称为“逆转移函数”。最后，逆转移函数被变换回来(304)，以创建代表逆系统动态特性的滤波器。在301代表从音频激励到加速度的变换的同时，304处的滤波器将目标加速度变换成音频(即，它代表相对于加速度的系统的逆)。这是输入-输出模型(即，工厂模型)，其中“hI(t)”是在图2的204处可以使用卷积Y触觉-音频(t)＝YHD-SD(t)*hI(t)被应用到触觉信号的离散时间滤波器。图4a和4b是根据发明的实施例的图1的系统10的功能的流程图。图4a可以被看作“离线”实施例，而图4b可以被看作“在线”或“实时”实施例。在402处，作者或内容创建者使用可用的内容创作工具创建新的HD触觉效果。该HD效果可以通过使用音频转换工具或使用直接的合成来创建。音频转换工具的一个示例是来自Immersion公司的“TouchSense”。在另一实施例中，具有低频信号的音频效果可以在402处被创建，其对应于SD触觉效果。在这个实施例中，代替使用TouchSense例如，内容作者可能用诸如ProTools的音频工作流来工作。作者可以直接创建HD低频信号(例如，在“5.1”环绕声中的“.1”信号)。作者可以创建信号，使得.1轨道包括信号的正确混合，以直接地驱动SD致动器，并且可以使用如上所公开的在设备上的扬声器来创建HD效果。在另一实施例中，内容作者可以在音频工具中直接创建HD音频，并且使用音频工具或TouchSense创建SD效果。在这个实施例中，不需要图2的204处的滤波，因为SD和HD信号已经区分开。在403处，选择目标设备。对于每个在403处被选中的被存储的目标设备，对应的工厂模型、每个致动器的类型/数量/位置和/或每个扬声器的类型/数量/位置被存储。在一个实施例中，使用内容创作工具或后处理工具中的导出滤波器，用户可以选择效果所要被部署到的特定目标设备(例如，GalaxyS5、GalaxyGear、AppleWatch等)。在404处，目标设备信号通过使用模型工厂取逆来创建。目标设备信号是Y触觉-音频(t)(即，基于音频的触觉信号)和Y触觉-音频(t)(即，SD触觉信号)，如图2所示。实施例使用目标设备的之前创建的机械和声学模型，并把HD效果分成将使用机械致动器来呈现的分量和将使用扬声器来呈现的分量。如上所述，这可以利用转移函数、迭代/优化和其它基于模型的信号变换在一个实施例中完成。通过使用适当的编码，这两个被生成的触觉信号被保存，比如将音频信号保存为.wav文件，而将触觉信号保存为.hapt文件。在405处，如果音频要与触觉效果同时播放的话，音频-触觉信号与其它同时发生的音频进行混合。在406处，使用软件开发包(“SDK”)或其它程序化的方法，音频-触觉信号(即，Y触觉-音频(t))和触觉信号(即，Y触觉-音频(t))可以在运行时在设备上被同时或基本上同时回放。参考图4b，在402处，如在图4a的402中那样，HD触觉效果被创作。在413处，HD触觉效果被导出到无损编码(例如，.ivt编码)。在414处，在回放时，使用被配置用于特定目标设备的工厂模型来实时或基本上实时地创建机械驱动信号和声学驱动信号。这可以利用转移函数、迭代/优化或其他基于实时模型的信号变换来完成。405和406与图4a中的405和406功能相同。在另一实施例中，在过程的开头(即，代替图4a中的402)直接创作SD触觉效果和触觉-音频效果。在这个实施例中，图4a的403和404可以被略过，而执行405和406以播放触觉效果。如所公开的那样，实施例接收SD触觉效果和基于音频的触觉效果。SD触觉效果由致动器播放，该致动器可以是SD致动器。基于音频的触觉效果与相应的音频同时地由扬声器播放。由致动器和扬声器生成的振动触觉效果的组合提供了具有宽的带宽的类似HD的触觉效果，而不需要HD致动器。一个实施例是一种在包括至少一个致动器和至少一个扬声器的设备上生成触觉效果的方法。该方法包括：接收高分辨率(HD)触觉效果信号，至少基于HD触觉效果信号生成标准分辨率(SD)触觉效果信号，至少基于HD触觉效果信号生成基于音频的触觉效果信号；以及基本上同时地在致动器上播放SD触觉效果信号和在扬声器上播放基于音频的触觉效果。在一些示例中，该方法还包括：接收音频信号；以及混合该音频信号和该基于音频的触觉效果信号。在该扬声器上播放该基于音频的触觉效果的步骤包括在该扬声器上播放混合后的信号。在一些示例中，该SD触觉效果信号包含单个频率。在一些示例中，该基于音频的触觉效果信号包含多个频率。在一些示例中，该基于音频的触觉效果信号通过确定该设备的工厂模型并且基于该工厂模型变换该基于音频的触觉效果信号来生成。在一些示例中，该SD触觉效果信号通过从该HD触觉效果信号提取来生成。在一些示例中，该致动器是线性谐振致动器。在一些示例中，该HD触觉效果信号使用创作工具来生成。在一些示例中，确定该设备的工厂模型的步骤包括在该创作工具上选择目标设备，并且生成该基于音频的触觉效果信号的步骤由该创作工具来执行。在一些示例中，生成该基于音频的触觉效果信号的步骤由该设备来执行。在一些示例中，该混合的步骤包括均衡该音频信号和该基于音频的触觉效果信号之间的重叠频率。另一实施例是一种计算机可读介质，具有存储在其上的指令，该指令在由处理器执行时使得该处理器在包括至少一个致动器和至少一个扬声器的设备上生成触觉效果。该生成触觉效果的步骤包括：接收高分辨率(HD)触觉效果信号；至少基于该HD触觉效果信号生成标准分辨率(SD)触觉效果信号；至少基于该HD触觉效果信号生成基于音频的触觉效果信号；以及基本上同时地在该致动器上播放该SD触觉效果信号和在该扬声器上播放基于音频的触觉效果。在一些示例中，生成触觉效果还包括：接收音频信号；以及混合该音频信号和该基于音频的触觉效果信号。在该扬声器上播放该基于音频的触觉效果的步骤包括在该扬声器上播放混合后的信号。在一些示例中，该SD触觉效果信号包含单个频率。在一些示例中，该基于音频的触觉效果信号包含多个频率。在一些示例中，该基于音频的触觉效果信号通过确定该设备的工厂模型并且基于该工厂模型变换该基于音频的触觉效果信号来生成。在一些示例中，该SD触觉效果信号通过从该HD触觉效果信号提取来生成。在一些示例中，该致动器是线性谐振致动器。在一些示例中，该HD触觉效果信号使用创作工具来生成。在一些示例中，确定该设备的工厂模型的步骤包括在该创作工具上选择目标设备，并且生成该基于音频的触觉效果信号的步骤由该创作工具来执行。在一些示例中，生成该基于音频的触觉效果信号的步骤由该设备来执行。在一些示例中，该混合的步骤包括均衡该音频信号和该基于音频的触觉效果信号之间的重叠频率。另一实施例是一种启用触觉的设备。该启用触觉的设备包括：至少一个致动器、至少一个扬声器、至少基于接收的高分辨率(HD)触觉效果信号来生成标准分辨率(SD)触觉效果信号的提取器、至少部分基于该HD触觉效果信号来生成基于音频的触觉效果信号的滤波器，以及基本上同时地在该致动器上播放该SD触觉效果信号和在该扬声器上播放基于音频的触觉效果的播放器。在一些示例中，该设备还包括：混合该音频信号和该基于音频的触觉效果信号的混合器。在该扬声器上播放该基于音频的触觉效果的步骤包括在该扬声器上播放混合后的信号。在一些示例中，该SD触觉效果信号包含单个频率。在一些示例中，该基于音频的触觉效果信号包括多个频率。在一些示例中，该基于音频的触觉效果信号通过确定该设备的工厂模型并且基于该工厂模型变换该基于音频的触觉效果信号来生成。在一些示例中，该混合器还包括均衡该音频信号和该基于音频的触觉效果信号之间的重叠频率的均衡器。在一些示例中，其中该致动器是线性谐振致动器或偏心旋转块马达。详细示出和/或在这里描述了几个实施例。但是，将理解到，所公开的实施例的修改和变型被以上教导覆盖并且在随附权利要求的权限之内，而不脱离本发明的精神和意在的范围。