将触觉信号变换成振动触知触觉效果模式集合的触觉变形系统的制作方法
【专利摘要】本公开提供一种将触觉信号变换成振动触知触觉效果模式的系统。该系统接收包括触觉效果模式的触觉信号。该系统进一步检测用于每个触觉效果模式的开始时间和结束时间。该系统基于特性进一步检测触觉效果模式，并且用替代触觉效果模式替换检测到的触觉效果模式。该系统进一步将用于每个触觉效果模式的开始时间都向后移动一个移动持续时间。该系统进一步将振动触知触觉效果模式分配给每个触觉效果模式。该系统进一步将振动触知触觉效果模式发送至标清触觉输出设备以产生振动触知触觉效果。
【专利说明】将触觉信号变换成振动触知触觉效果模式集合的触觉变形系统
[0001]相关申请的交叉引用
[0002]本申请要求2013年9月6日提交的美国临时专利申请序列号N0.61/874，920的优先权(通过引入将其公开内容并入本文)，并且还要求美国临时专利申请序列号N0.61/906, 975的优先权(通过引入将其公开内容并入本文)。
【技术领域】
[0003]实施例一般涉及一种设备，并且尤其涉及产生触觉效果的设备。
【背景技术】
[0004]触觉学是一种通过将诸如力、振动和运动的触觉反馈效果(即“触觉效果”)施加给用户而对用户的接触感知加以利用的触知和力反馈技术。诸如移动设备、触摸屏设备和个人计算机的设备能够被配置成产生(生成，generate)触觉效果。一般地，能够在设备的操作系统(“0S”)内对调用能够产生触觉效果的嵌入式硬件(诸如致动器)进行编程。这些调用规定哪个触觉效果要播放。例如，当用户与使用例如按钮、触摸屏、控制杆、游戏棒、操纵轮或一些其它控制的设备交互时，设备的0S能够通过控制电路将播放命令发送至嵌入式硬件。然后嵌入式硬件产生适当的触觉效果。
[0005]触觉效果开发者能够制作用于设备的触觉效果，并且设备能够被配置成输出触觉效果。可选地，设备能够接收诸如音频输入或视频输入的输入，能够将输入转换成触觉效果，并且能够输出该触觉效果。在任何一种情况下，由于不同硬件特性，不同类型的硬件能够产生不同类型的触觉效果。例如，由于不同致动器的不同机电特性，不同类型的致动器(诸如偏心旋转质量电机致动器、线性谐振致动器、以及压电致动器)能够产生不同类型的触觉效果。一般地，希望制作用于特定类型硬件的触觉效果的触觉效果开发者被要求定制(tailor)用于特定硬件的触觉效果。如果触觉效果开发者希望支持多种硬件类型，则触觉效果开发者一般必须制作不同的触觉效果，以便为每种硬件类型都提供一种最佳触觉体验。这能够导致与制作触觉效果相关的额外的设计时间和工作量。
【发明内容】
[0006]一个实施例是将触觉信号变换成振动触知触觉效果模式集合的系统。该系统接收包括触觉效果模式的触觉信号，其中每个触觉效果模式都包括使触觉输出设备产生触觉效果的数据。该系统进一步检测用于每个触觉效果模式的开始时间和结束时间。该系统基于特性进一步检测触觉效果模式，并且用替代(substitute)触觉效果模式替换检测到的触觉效果模式。该系统进一步将用于每个触觉效果模式的开始时间向后移动一个移动持续时间。该系统进一步将振动触知触觉效果模式分配给每个触觉效果模式，其中每个振动触知触觉效果模式都包括使标清触觉输出设备产生振动触知触觉效果达活跃持续时间并且停止产生振动触知触觉效果达静止持续时间的数据。该系统进一步将振动触知触觉效果模式发送至标清触觉输出设备以产生振动触知触觉效果。
【专利附图】
【附图说明】
[0007]结合附图，从优选实施例的以下详细说明，进一步的实施例、细节、优点及更改将变得明显。
[0008]图1示出根据本发明一个实施例的系统的框图。
[0009]图2示出根据本发明一个实施例的将触觉信号变换或“变形”成振动触知触觉效果模式集合的系统的流程图。
[0010]图3示出根据本发明一个实施例的振动触知触觉效果模式变换模块的功能的流程图。
[0011]图4示出根据本发明一个实施例的被分配给触觉信号的触觉效果模式的振动触知触觉效果模式的实例渲染(rendering)。
[0012]图5示出根据本发明一个实施例的被分配给触觉信号的触觉效果模式的振动触知触觉效果模式的另一个实例渲染。
[0013]图6示出根据本发明一个实施例的被分配给触觉信号的触觉效果模式的振动触知触觉效果模式的另一个实例渲染。
[0014]图7示出根据本发明一个实施例的实例纹理触觉效果模式。
【具体实施方式】
[0015]一个实施例是一种系统，该系统将被设计成用于高清触觉输出设备(诸如线性谐振致动器或压电致动器)的触觉信号变换或“变形”成包括被设计成用于标清触觉输出设备(诸如偏心旋转质量电机)的振动触知触觉效果模式(或一些其它类型的触觉效果模式)集合的特殊类型的触觉信号。在对触觉信号进行变换或“变形”中，该系统用振动触知触觉效果模式替换含在触觉信号内的触觉效果模式。触觉效果模式是使触觉输出设备产生触觉效果的数据集合。振动触知触觉效果模式(也被识别成“振动模式”)是特定类型的触觉效果模式，其使标清触觉输出设备产生振动触知触觉效果达指定持续时间并且停止产生振动触知触觉效果达指定持续时间。触觉信号能够是(例如，从音频输入、视频输入、和/或传感器输入中)自动产生或(例如，通过使用触觉效果开发平台的触觉效果设计者)手动产生的触觉信号。当通过再生原始触觉信号的相关质量触觉效果在由标清触觉输出设备所装备的设备上播放时振动触知触觉效果模式能够产生最佳触觉体验。
[0016]根据本实施例，该系统检测包括在触觉信号内的触觉效果模式的时序和特性，诸如每个触觉效果模式何时开始和结束，以及是否每个触觉效果模式都是纹理触觉效果模式。该系统进一步及时移动(shift)触觉效果模式以便与标清触觉输出设备的响应时间相匹配，并且基于每个触觉效果模式的类型和持续时间将特定振动触知触觉效果模式分配给每个触觉效果模式。该系统能够进一步将振动触知触觉效果模式的持续时间限制成最大值以便维持愉快的触觉体验。使用预设的设备特定参数能够自动获得振动触知触觉效果模式，或能够产生振动触知触觉效果模式以适配任何类型的触觉输出设备。该系统能够是设备的一部分，并且将触觉信号变换成包括振动触知触觉效果模式集合的特定类型的触觉信号能够“在线”或“离线”执行。可选地，该系统能够是在设备外部的服务器或微处理器的一部分，并且振动触知触觉效果能够流至该设备或嵌入被传输至该设备的多媒体文件内。该系统能够变换任何类型的触觉信号，而不被限制成与多媒体相关的触觉信号。
[0017]标清触觉输出设备的一个实例是标清致动器。“标清”致动器是能够为不同振动效果的基准(baseline)范围提供振动强度的基准范围的致动器。标清致动器的实例能够包括线性谐振致动器或偏心旋转质量电机。高清触觉输出设备的一个实例是高清致动器。“高清”致动器是能够为增大的不同振动效果范围提供增大的振动强度范围的致动器。此夕卜，高清致动器能够以足够使得能强制渲染快速改变动态触觉效果的速度来增大或减小它的强度级。高清致动器的实例能够包括压电致动器或电活性聚合物致动器。因此，与标清致动器相比，高清致动器具有快速响应时间、高动态范围，并且还具有宽频响应。高清致动器能够在多个频率(例如，100赫兹(“Hz”)至400Hz)上产生触觉效果。相比较，标清致动器是能够产生有限的量级范围或有限的频率范围的致动器，并且与高清致动器比较时具有较慢响应时间。
[0018]图1示出根据本发明一个实施例的系统10的框图。在一个实施例中，系统10是移动设备的一部分，并且系统10为移动设备提供触觉效果模式变换功能。在另一个实施例中，系统10是可穿戴设备的一部分，并且系统10为可穿戴设备提供触觉效果模式变换功能。可穿戴设备的实例包括腕带、头带、眼镜、戒指、脚环、被集成进衣服内的装饰、或用户可以穿戴在身上或能够被用户手持的任何其它类型的设备。一些可穿戴设备能够被“触觉启动”，意味着它们包括产生触觉效果的机构。在另一个实施例中，系统10被从设备(例如，移动设备或可穿戴设备)中分离，并且为该设备远程提供触觉效果模式变换功能。虽然被示出为单个系统，但是系统10的功能能够被实施为分布式系统。系统10包括总线12或用于通信信息的其它通信机构，和被耦接至总线12的用于处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10进一步包括用于储存信息和被处理器22执行的指令的存储器14。存储器14能够由随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘的静态存储器、或任何其它类型的计算机可读介质的任何组合组成。
[0019]计算机可读介质可以是能够通过处理器22存取的任何可用介质，并且可以包括易失性和非易失性介质、可拆卸和不可拆卸介质、通信介质和储存介质。通信介质可以包括计算机可读指令、数据结构、程序模块或在诸如载波或其它传送机制的被调制数据信号中的其它数据，并且可以包括本领域已知的任何其它形式的信息传递介质。储存介质可以包括RAM、闪速存储器、ROM、可擦除可编程只读存储器(“EPR0M”)、电可擦除可编程只读存储器(“EEPR0M”)、寄存器、硬盘、可拆卸磁盘、光盘只读存储器(“⑶-ROM”)、或本领域已知的任何其它形式的储存介质。
[0020]在一个实施例中，存储器14储存在处理器22执行时提供功能的软件模块。该模块包括为系统10提供操作系统功能的操作系统15，以及在一个实施例中移动设备的其余部分。该模块进一步包括触觉效果模式变换模块16，其将触觉信号变换或“变形”成振动触知触觉效果模式集合，如下文所详细描述的。在某些实施例中，触觉效果模式变换模块16能够包含多个模块，其中每个模块都提供特定的个别功能，用于将触觉信号变换或“变形”成振动触知触觉效果模式集合。系统10将通常包括一个或多个附加的应用模块18以便包括附加的功能，诸如Immers1n公司的Integrator?软件。
[0021]在发射和/或从远程源接收数据的实施例中，系统10进一步包括诸如网络接口卡的通信设备20，以提供诸如红外、无线电、无线上网系统(W1-Fi)、或蜂窝网络通信的移动无线网络通信。在其它实施例中，通信设备20提供诸如以太网连接或调制解调器的有线网络连接。
[0022]处理器22经由总线12被进一步耦接至诸如液晶显示器(“IXD”)的显示器24，以便将图形表达或用户界面显示给用户。显示器24可以是被配置成发送信号和从处理器22接收信号的、诸如触摸屏的触摸感应输入设备，并且可以是多点触摸触摸屏。
[0023]在一个实施例中，系统10进一步包括致动器26。处理器22可以将与产生的触觉效果相关联的触觉信号发射至致动器26，其进而输出诸如振动触知触觉效果、静电摩擦触觉效果、或变形触觉效果的触觉效果。致动器26包括致动器驱动电路。致动器26可以是，例如，电动机、电磁致动器、声圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(“ERM”)、线性谐振致动器(“LRA”)、压电致动器、高带宽致动器、电活性聚合物(“ΕΑΡ”)致动器、静电摩擦显示器、或超声波振动发生器。在可选实施例中，除致动器26外，系统10还能够包括一个或多个附加的致动器(未在图1中示出)。致动器26是触觉输出设备的一个实例，其中触觉输出设备是一种设备，其被配置成响应于驱动信号，输出诸如振动触知触觉效果、静电摩擦触觉效果、或变形触觉效果的触觉效果。在可选实施例中，致动器26能够被一些其它类型的触觉输出设备替换。此外，在其它可选实施例中，系统10可以不包括致动器26，而来自系统10的单独设备包括致动器或产生触觉效果的其它触觉输出设备，并且系统10通过通信设备20将产生的触觉效果信号发送至此设备。
[0024]在一个实施例中，系统10进一步包括扬声器28。处理器22可以将音频信号发射至扬声器28,其进而输出音频效果。扬声器28可以是,例如,动态扩音器、电动式扩音器、压电扩音器、磁致伸缩扩音器、静电扩音器、带状和平面的磁性扩音器、弯曲波扩音器、平板扩音器、海尔气动式传感器、等离子弧扬声器以及数字式扩音器。在可选实施例中，除了扬声器28外，系统10还能够包括一个或多个附加扬声器(未在图1中不出)。此外，在其它可选实施例中，系统10可以不包括扬声器28,而来自系统10的单独设备包括输出音频效果的扬声器，并且系统10通过通信设备20将音频信号发送至此设备。
[0025]在一个实施例中，系统10进一步包括传感器30。传感器30能够被配置成检测能量的形式，或其它物理属性，诸如，但不限于，声音、运动、加速度、生物信号、距离、流动、力/压力/张力/弯曲、湿度、线性位置、方向/倾斜度、射频、旋转位置、旋转速度、开关的操纵、温度、振动、或可见光强度。传感器30能够被进一步配置成将检测到的能量或其它物理属性转换成电信号、或表示虚拟传感器信息的任何信号。传感器30能够是任何设备，诸如，但不限于，加速度计、心电图、脑电图、肌电图机、眼电图、电子腭位图、皮肤电反应传感器、电容传感器、霍尔效应传感器、红外传感器、超声波传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏电阻器、负荷传感器、LuSense CPS2155、微型压力传感器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑块)、线性差动变压器、罗盘、倾角计、磁性标记(或射频识别标记)、旋转编码器、旋转电位计、陀螺仪、打开-闭合开关、温度传感器(诸如温度计、热电偶、电阻式温度检测器、热敏电阻器、或温度传感集成电路)、麦克风、光度计、高度计、生物监视器、照相机或光敏电阻器。在可选实施例中，除传感器30外，系统10还能够包括一个或多个附加的传感器(未在图1中示出)。在这些实施例的一些实施例中，传感器30和一个或多个附加传感器可以是传感器阵列的一部分，或一些其它类型的传感器的集合。此外，在其它可选实施例中，系统10可以不包括传感器30，而来自系统10的单独设备包括检测能量的形式、或其它物理属性并且将检测到的能量或其它物理属性转换成电信号或表示虚拟传感器信息的其它类型信号的传感器。该设备能够随后通过通信设备20将转换的信号发送至系统10。
[0026]图2示出根据本发明一个实施例的将触觉信号变换或“变形”成振动触知触觉效果模式集合(或其它类型的触觉效果模式)的系统的流程图。在一个实施例中，图2中的功能以及下文所描述的图3、4、5及6中的功能都通过储存在存储器或其它计算机可读介质或有形介质内并且被处理器执行的软件来实施。在其它实施例中，每个功能都可以通过硬件(例如，通过使用专用集成电路)“ASIC”)、可编程序门阵列(“PGA”)、现场可编程序门阵列(“FPGA”)等)、或硬件和软件的任何组合而被执行。
[0027]根据一个实施例，流程从210处开始。在210处，接收触觉信号，其中触觉信号能够包括诸如波形的数据，其中波形是脉冲编码调制(“PCM”)格式中的一个或多个信号值集。触觉信号能够与触觉效果相关联，并且触觉信号能够被发送至诸如致动器的触觉输出设备，其中触觉输出设备能够基于触觉信号来输出触觉效果。触觉效果的一个实例是振动触知触觉效果，其能够产生被触觉输出设备用户感知到的振动。触觉效果的其它实例能够包括静电摩擦触觉效果、或变形触觉效果。
[0028]根据220，触觉信号能够从输入信号中自动产生，或能够通过使用触觉效果开发平台手动产生。更具体地，能够接收输入信号，并且基于输入信号能够自动产生触觉信号。输入信号的实例包括音频信号、视频信号、加速度信号、方向信号、环境光信号、运动信号、温度信号、或其它相似类型的信号。在一个可选实施例中，并非基于输入信号自动产生，而是通过使用诸如Immers1n公司的Haptic Stud1?的触觉效果开发平台手动产生触觉信号。使用触觉效果开发平台，触觉效果开发者能够定义能够用于产生期望触觉效果的触觉信号的一个或多个特性，并且触觉效果开发平台能够基于一个或多个定义的特性产生触觉信号。此外，触觉信号能够被设计成用于特定类型的触觉输出设备。更具体地，触觉信号能够与触觉效果空间相关联，其中触觉效果空间包括通过触觉输出设备可能产生的触觉效果集。流程随后进行至230。
[0029]在230处，触觉信号能够被变换或“变形”(在图2中被识别成“修改”)成特定类型的触觉信号，其包括振动触知触觉效果模式集合(或一些其它类型的触觉效果模式)。如上所述，振动触知触觉效果模式是特定类型的触觉效果模式，其使标清触觉输出设备(诸如ERM)产生振动触知触觉效果达指定持续时间并且停止产生振动触知触觉效果达指定持续时间。包含在振动触知触觉效果模式内的数据基于包含在原始触觉信号内的数据。根据本实施例，通过用一个或多个振动触知触觉效果模式替换包含在原始触觉信号内的每个触觉效果模式来变换或“变形”触觉信号。结合图3-6在下文中进一步详细描述这种变换或“变形”。根据240，将原始触觉信号变换成振动触知触觉效果模式集合能够基于目标标清触觉输出设备的一个或多个特性。例如，如果振动触知触觉效果模式被发送至需要用于产生振动触知触觉效果的指定持续时间和用于停止产生振动触知触觉效果的指定持续时间的标清触觉输出设备，则振动触知触觉效果模式的产生能够考虑标清触觉输出设备用于产生振动触知触觉效果所需要的持续时间和标清触觉输出设备用于停止产生振动触知触觉效果所需要的持续时间。因此，振动触知触觉效果模式能够被产生使得在标清触觉输出设备上播放时振动触知触觉效果模式产生适当的振动触知触觉效果。振动触知触觉效果模式能够随后被发送至标准触觉输出设备(在图2中被识别成“重播设备”)，其中振动触知触觉效果模式被播放以产生振动触知触觉效果。在某些实施例中，原始触觉信号还能够被发送至不同的触觉输出设备(未在图2中示出)以产生补充的触觉效果，其补充通过标清触觉输出设备产生的振动触知触觉效果。流程随后结束。
[0030]在某些实施例中，产生的振动触知触觉效果模式集合能够与一个或多个音频信号和/或视频信号一起播放以便增强用户的多媒体视觉体验。在这些实施例的一些实施例中，标清触觉输出设备能够与音频/视频输出设备(例如，移动设备)相同。在这些实施例的一些其它实施例中，标清触觉输出设备能够从音频/视频输出设备(例如，触觉椅、触觉椅、可穿戴触觉设备等)中分离。
[0031]此外，在某些实施例中，将触觉信号变换或“变形”成振动触知触觉效果模式集合能够通过从诸如服务器的接收触觉信号的设备中分离的设备“离线”完成。当变换是“离线”时，整个触觉信号的数据能够用于将触觉信号变换成振动触知触觉效果模式集合。振动触知触觉效果模式集合能够随后流回至原始设备，其中原始设备能够将振动触知触觉效果模式集合发送至标清触觉输出设备。在可选实施例中，将触觉信号变换或“变形”成振动触知触觉效果模式集合能够通过接收触觉信号的相同设备“在线”完成，其中变换能够实时或近乎实时执行。在这些实施例中，触觉信号的不同部分能够按顺序用于将触觉信号变换成振动触知触觉效果模式集合，并且其中整个触觉信号在任何特定时间都无法使用。甚至此夕卜，在某些实施例中，振动触知触觉效果模式集合能够被储存在一个计算机文件、或多个计算机文件内，而非立即被发送至标清触觉输出设备。在这些实施例中，振动触知触觉效果模式集合能够随后从该一个计算机文件或多个计算机文件内被取回，并且振动触知触觉效果模式集合能够被发送至标清触觉输出设备，或能够与一个或多个音频信号和/或视频信号混合。
[0032]图3示出根据本发明一个实施例的触觉效果模式变换模块(诸如图1中的触觉效果模式变换模块16)的功能的流程图。在某些实施例中，一些功能能够被省略。如上所述，通过将触觉信号变换或“变形”成振动触知触觉效果模式集合，触觉效果模式变换模块能够在标清触觉输出设备上复制被设计用于高清触觉输出设备的触觉效果。在一些实施例中，标清触觉输出设备能够是ERM。此外，在某些实施例中，触觉效果模式变换模块能够在远程服务器上执行。在其它实施例中，触觉效果模式变换模块能够在标清触觉输出设备上执行。此外，在一些实施例中，触觉效果模式变换模块的一个或多个参数能够被调整成与特定标清触觉输出设备的特性相匹配，并因此，为特定标清触觉输出设备提供最佳体验。在其它可选实施例中，触觉效果模式变换模块的一个或多个参数能够以更通用的方式用于所有类型的标清触觉输出设备。
[0033]流程开始并且进行至310。在310处，包括多个触觉效果模式的触觉信号被接收。在一个实施例中，触觉信号能够包括单个触觉效果模式。每个触觉效果模式都能够包括使触觉输出设备产生诸如振动触知触觉效果、静电摩擦触觉效果、或变形触觉效果的触觉效果的数据。此外，每个触觉效果模式都能够包括定义触觉效果何时开始的开始时间，和定义触觉效果何时结束的结束时间。在一些实施例中，开始时间和结束时间分别对应于多媒体信号(诸如音频信号、视频信号、加速度信号、或一些其它类型的输入信号)中事件的开始时间和结束时间。在某些实施例中，触觉信号能够由输入信号中自动产生。在其它实施例中，触觉信号能够通过使用触觉效果开发平台而手动产生。在触觉信号未被编码成振幅值(诸如PCM信号)的某些实施例中，包络(即，一个或多个振幅值)能够附加地从触觉信号中提取。流程随后进行至320。
[0034]在320处，开始时间和结束时间被检测到用于包括在触觉信号内的多个触觉效果模式中的每个触觉效果模式(或单个触觉效果模式)。因此，根据本实施例，通过确定每个触觉效果模式何时开始和结束能够描述包括在触觉信号内的触觉效果模式。根据本实施例，通过检测分离包括在触觉信号内的触觉效果模式的“触觉静默(silence) ”能够至少部分完成描述触觉效果模式。“触觉静默”能够包括使触觉输出设备不产生触觉效果的数据，或能够包括不包括任何数据的一部分触觉信号。此外，触觉静默能够具有大于或等于最小持续时间的持续时间，以及小于或等于最大持续时间的持续时间。这样能够避免将触觉信号的尾部(end port1n)视为触觉静默，并且能够进一步避免将单个触觉效果模式(例如，具有高频的触觉效果模式)视为多个触觉效果模式。流程随后进行至330。
[0035]在330处，包括在触觉信号内的多个触觉效果模式中的至少一个触觉效果模式(或单个触觉效果模式)被检测为“纹理触觉效果模式”，并且至少一个检测到的纹理触觉效果模式被至少一个替代纹理触觉效果模式所替换。“纹理触觉效果模式”是具有小于或等于预先定义阈值(被识别成“纹理阈值”)的持续时间的触觉效果模式，并且与后续触觉效果模式分离达小于或等于纹理阈值的持续时间。在一个实施例中，纹理阈值是50毫秒(“ms”)的持续时间。然而，这只是一个实例实施例，而在其它可选实施例中，纹理阈值能够是任何持续时间。此外，“替代纹理触觉效果模式”是特别为标清致动器而产生的纹理触觉效果模式，并因此，能够具有不同于它对应的纹理触觉效果模式的特性，并且更适合于标清触觉输出设备。因此，换言之，对照较长、较多的广义触觉效果(也被识别成“蜂音触觉效果”)，检测到短的连续的触觉效果(也被识别成“纹理触觉效果”，或简称“纹理”)，并且检测到的纹理触觉效果被替代纹理触觉效果所替换，其中替代纹理触觉效果更适合于诸如ERM的标清触觉输出设备。在下文中结合图7进一步描述实例纹理触觉效果模式。这是一个实例实施例，而在其它可选实施例中，包括在触觉信号内的触觉效果模式能够基于一些其它类型的特性而被检测到。
[0036]在某些实施例中，替代纹理触觉效果模式的持续时间能够基于对应纹理触觉效果模式的持续时间和对应纹理触觉效果模式的最大振幅。此外，在这些实施例的一些实施例中，每个替代纹理触觉效果模式都能够具有彼此相同的持续时间，并且每个替代纹理触觉效果模式都能够彼此分离达相同的静止持续时间。甚至此外，在这些实施例的一些实施例中，静止持续时间能够是每个替代纹理触觉效果模式持续时间的两倍长，以便允许标准触觉输出设备适当地渲染(render)每个对应的触觉效果。因此，在一些实施例中，替换原始纹理触觉效果模式的替代纹理触觉效果模式的数量能够小于原始纹理触觉效果模式的数量。然而，在其它实施例中，替代纹理触觉效果模式的数量能够大于或等于原始纹理触觉效果模式的数量。此外，在一个可选实施例中，未包括在触觉信号内的触觉效果模式被检测为纹理触觉效果模式或被替代纹理触觉效果模式所替换。流程随后进行至340。
[0037]在340处，包括在触觉信号内的多个触觉效果模式中的至少一个触觉效果模式(或单个触觉效果模式)被检测为“大触觉效果模式”，并且至少一个检测到的大触觉效果模式被划分成多个“小触觉效果模式”。“大触觉效果模式”是持续时间大于或等于预先定义阈值(被识别成“大小阈值”)的触觉效果模式。此外，“小触觉效果模式”是持续时间小于大小阈值的触觉效果模式。
[0038]根据本实施例，虽然大触觉效果模式可以被有意产生，但是大触觉效果模式还能够是具有交错持续时间的连续不同的触觉效果模式叠加的结果。此外，在标清触觉输出设备上播放的很长的触觉效果能够输送负面的用户体验。因此，大触觉效果模式能够被检测为两个或多个小触觉效果模式的重叠，并且大触觉效果模式能够被划分成两个或多个小触觉效果模式。根据本实施例，能够确定在何处通过对大触觉效果模式的“时间窗”进行采样来划分大触觉效果模式，其中“时间窗”是预先定义持续时间(诸如20ms或40ms)内一部分大触觉效果模式。用于每个时间窗的振幅值都能够随后被计算出，其中振幅值能够是最大振幅值、平均振幅值、均方根(“RMS”)振幅值、或一些其它类型的振幅值。用于每组连续时间窗的振幅值能够进行比较，并且能够确定振幅值的变化是否大于或等于预先定义阈值(被识别成“振幅变化阈值”)。当两个连续时间窗之间的振幅值变化大于或等于振幅变化阈值时，两个连续时间窗之间的位置能够被检测为用于划分大触觉效果的大触觉效果模式内的位置(也被识别成“划分位置”)。在所有划分位置都被检测到后，大触觉效果模式能够在划分位置上被划分，以便将大触觉效果模式划分成多个小触觉效果模式。此外，在一个可选实施例中，未包括在触觉信号内的触觉效果模式被检测为大触觉效果模式或被划分成小触觉效果模式。流程随后进行至350。
[0039]在350处，用于包括在触觉信号内的多个触觉效果模式中每个触觉效果模式(或单个触觉效果模式)的开始时间向后移动一个预先定义持续时间(被识别成“移动持续时间”)。标清触觉输出设备(诸如ERM)可以具有慢响应时间，特别是与高清触觉输出设备比较时。每个触觉效果模式的开始时间都向后移动一个移动持续时间能够补偿标清触觉输出设备的较慢响应时间。例如，如果触觉效果在时间3秒(“s”)处将被输出，则对应触觉效果模式的开始时间能够从3s向后移动40ms至2.96s,使得在2.96s处而非在3s处通过标清触觉输出设备输出触觉效果，但将在3s处被用户感知到。流程随后进行至360。
[0040]在360处，振动触知触觉效果模式被分配给包括在触觉信号内的多个触觉效果模式中的每个触觉效果模式(或单个触觉效果模式)。每个振动触知触觉效果模式都能够包括使标清触觉输出设备(诸如ERM)在预先定义持续时间(被识别成“活跃持续时间”)内产生振动触知触觉效果并且在预先定义持续时间(被识别成“静止持续时间”)内停止产生振动触知触觉效果的数据。因此，根据本实施例，产生(或“渲染”)振动触知触觉效果模式集合，其中每个振动触知触觉效果模式都被分配给包括在触觉信号内的触觉效果模式。在某些实施例中，振动触知触觉效果模式的渲染包括将振动触知触觉效果模式的活跃持续时间限制为预先定义的最大持续时间(被识别成“最大持续时间”)。能够执行对活跃持续时间的限制，因为在ERM或其它类型的标清触觉输出设备上输出时长时间的振动触知触觉效果一般是不愉快的。根据本实施例，在将大触觉效果模式切分后、将振动触知触觉效果模式分配给触觉效果模式前、以及每个触觉效果模式的开始时间向后移动一个移动持续时间前或后能够执行对活跃持续时间的限制。此外，在一些实施例中，振动触知触觉效果模式集合能够被储存在诸如文本文件或音频文件(例如，PCM文件)的计算机文件中。
[0041]在某些实施例中，基于对应触觉效果模式所属于的触觉效果模式的类型，有差别地执行随后被分配给包括在触觉信号内的对应触觉效果模式的振动触知触觉效果模式的渲染。当对应触觉效果模式的持续时间小于预先定义阈值(被识别成“持续时间阈值”)时，振动触知触觉效果模式被渲染使得振动触知触觉效果模式的活跃持续时间和静止持续时间每个都被设定成与对应触觉效果模式的最大振幅有关的持续时间。更具体地，振动触知触觉效果模式的活跃持续时间被设定成对应触觉效果模式的持续时间和对应触觉效果模式的最大振幅的乘积，而振动触知触觉效果模式的静止持续时间被设定成对应触觉效果模式的持续时间和与对应触觉效果模式最大振幅的差的乘积。在下文中结合图4进一步详细描述在这种情况下振动触知触觉效果模式的渲染。
[0042]在这些实施例中，当对应触觉效果模式的持续时间大于或等于持续时间阈值时，“上升持续时间”首先被计算为指示用于标清触觉输出设备达到最大振动强度(被识别成“强度”)的持续时间的预先定义值和对应触觉效果模式的最大振幅的乘积。因此，上升持续时间指示用于标清触觉输出设备达到对应于对应触觉效果模式的最大振幅的振动强度的持续时间。当上升持续时间大于或等于对应触觉效果模式的持续时间的一半时，振动触知触觉效果模式被渲染使得振动触知触觉效果模式的活跃持续时间和静止持续时间每个都被设定成对应触觉效果模式的持续时间的一半。因此，原始触觉效果模式被具有共同占用原始触觉效果模式整个持续时间的同等的活跃和静止持续时间的振动触知触觉效果模式所替换。在下文中结合图5进一步详细描述在这种情况下振动触知触觉效果模式的渲染。
[0043]此外，根据这些实施例，当上升持续时间小于对应触觉效果模式的持续时间的一半时，振动触知触觉效果模式被渲染使得除活跃持续时间和静止持续时间以外振动触知触觉效果模式还包括数据，该数据根据用于活跃持续时间和静止持续时间之间预先定义的持续时间(被识别成“维持持续时间”)的维持功能使标清触觉输出设备交替产生振动触知触觉效果和停止产生振动触知触觉效果。维持功能是交替活跃持续时间和静止持续时间的相等周期以便将标清触觉输出设备的振动强度保持在特定水平上的功能。振动触知触觉效果模式被进一步渲染使得振动触知触觉效果模式的活跃持续时间和静止持续时间每个都被设定成上升持续时间，而维持持续时间被设定成对应触觉效果模式的持续时间与两倍上升持续时间的差。因此，原始触觉效果模式被振动触知触觉效果模式所替换，其具有:(a)活跃持续时间和静止持续时间，使得标清触觉输出设备在原始触觉效果结束时停止产生振动触知触觉效果；和(b)维持标清触觉输出设备的振动振幅的连续短活跃/静止周期的维持持续时间。在下文中结合图6进一步详细描述在这种情况下振动触知触觉效果模式的渲染。流程随后进行至370。
[0044]在370处，振动触知触觉效果模式被发送至标清触觉输出设备以产生一个或多个振动触知触觉效果。在某些实施例中，振动触知触觉效果模式被发送至特定类型的触觉信号内的标清触觉输出设备。在这些实施例的一些实施例中，特定类型的触觉信号能够被嵌入在包括多媒体数据的多媒体计算机文件内，或特定类型的触觉信号能够被保存或流出作为独立的计算机文件。流程随后结束。
[0045]现在更详细描述振动触知触觉效果模式的渲染。如前所述，为了通过有效使用标清触觉输出设备(诸如ERM)渲染触觉信号的每一个触觉效果，振动触知触觉效果模式集合被产生(即，被渲染)，并且振动触知触觉效果模式集合用作标清触觉输出设备的控制信号。更具体地，振动触知触觉效果模式[a，b, c, d,…]被渲染和分配给检测到的触觉效果模式X，其中振动触知触觉效果模式[a，b，c, d，...]首先控制标清触觉输出设备以产生振动触知触觉效果达a ms，随后控制标清触觉输出设备停止产生振动触知触觉效果达b ms，随后控制标清触觉输出设备再次产生振动触知触觉效果达c ms,随后控制标清触觉输出设备再次停止产生振动触知触觉效果达d ms，等等。在一个实施例中，振动触知触觉效果模式的持续时间(并因此，生成的振动触知触觉效果的持续时间)能够被限制成指定最大持续时间以便避免超长振动触知触觉效果，其能够导致不愉快的触觉体验。此外，在某些实施例中，每个检测到的触觉效果模式X都能够基于下列而被转化成振动触知触觉效果模式:(a)触觉效果模式X的(可能缩短的)持续时间dur (X);和(b)触觉效果模式X的持续时间的最大振幅max_amp⑴。dur⑴能够是ms量级的持续时间，而max_amp⑴能够是0至1之间的一个值。不同的渲染情况是有可能的，如下文中结合图4-6所详细描述的。
[0046]图4示出根据本发明一个实施例的被分配给触觉信号的触觉效果模式410的振动触知触觉效果模式420的一个实例渲染。在这种渲染情况下，dur(X)小于某个阈值th_sh_lg。根据这种渲染情况，触觉效果模式X能够由下列振动触知触觉效果模式表示:[dur⑴*max_amp⑴，dur⑴* (l-max_amp (X))]。这在图4中示出，其中触觉效果模式410由振动触知触觉效果模式420表示，并且其中振动触知触觉效果模式420能够在标清触觉输出设备上播放。根据本实施例，振动触知触觉效果模式[dur(X)*max_amp (X)，dur (X) * (l-max_amp (X))]首先控制标清触觉输出设备产生振动触知触觉效果达等于dur (X) *max_amp (X)的持续时间，并且随后控制标清触觉输出设备停止产生振动触知触觉效果达等于dur⑴* (l-max_amp⑴)的持续时间。
[0047]图5示出根据本发明一个实施例的被分配给触觉信号的触觉效果模式510的振动触知触觉效果模式520的另一个实例渲染。在这种渲染情况下,dur (X)大于或等于th_sh_lgo根据这种渲染情况，计算得出持续时间ramp_up,其中ramp_up指示用于标清触觉输出设备(诸如ERM)达到与触觉效果模式的最大振幅相对应的振动强度的ms量级的持续时间。ramp_up 被如下计算:ramp_up = intensity*max_amp (X)，其中强度(intensity)是指示用于标清触觉输出设备达到期望最大振动强度的ms量级的持续时间的预设值。
[0048]此外，在这种渲染情况下，ramp_up大于或等于dur (X)/2。根据这种渲染情况，触觉效果模式夂能够由下列振动触知触觉效果模式表示^如^幻/^如!.?)/^]。这在图5中示出，其中触觉效果模式510由振动触知触觉效果模式520表示，并且其中振动触知触觉效果模式520能够在标清触觉输出设备上播放。根据本实施例，振动触知触觉效果模式[dur (X)/2，dur (X)/2]首先控制标清触觉输出设备产生振动触知触觉效果达等于dur(X)/2的持续时间，并且随后控制标清触觉输出设备停止产生振动触知触觉效果达等于dur(X)/2的持续时间。
[0049]图6示出根据本发明一个实施例的被分配给触觉信号的触觉效果模式610的振动触知触觉效果模式620的另一个实例渲染。在这种渲染情况下，与结合图5的上述渲染情况相似，dur (X)大于或等于th_sh_lg。根据这种渲染情况,如上述结合图5计算出持续时间 ramp_up。
[0050]此外，在这种渲染情况下，ramp_up小于dur (X)/2。根据这种渲染情况,触觉效果模式X能够由下列振动触知触觉效果模式表示:[ramp_up, sustain (dur (X) - 2*ramp_up), ramp_up],其中维持(sustain)是交替活跃/静止持续时间的相等周期以便将标清触觉输出设备的振动强度保持在特定水平上的函数。这在图6中示出，其中触觉效果模式610由振动触知触觉效果模式620表示，并且其中振动触知触觉效果模式620能够在标清触觉输出设备上播放。根据本实施例，振动触知触觉效果模式[ramp_up, sustain (dur (X)-2*ramp_up)，ramp_up]首先控制标清触觉输出设备产生振动触知触觉效果达等于ramp_up的持续时间，随后基于维持函数控制标清触觉输出设备交替活跃/静止持续时间的相等周期，并且随后控制标清触觉输出设备停止产生振动触知触觉效果达等于ramp_up的持续时间。
[0051]图7示出根据本发明一个实施例的实例纹理触觉效果模式。更具体地，图7示出包括纹理触觉效果模式711的原始触觉信号710。图7进一步示出包括替代纹理触觉效果模式721的变形触觉信号720。
[0052]因此，在一个实施例中，通过用适合于标清触觉输出设备的一个或多个振动触知触觉效果模式替换包含在触觉信号内的每个触觉效果模式，系统能够将触觉信号变换成用于诸如ERM的标清触觉输出设备的振动触知触觉效果模式集合。因此，该系统能够使为高清触觉输出设备(自动或手动)产生的任何触觉内容都适合于标清触觉输出设备，使得标清触觉输出设备的用户能够感知到完整的触觉体验。因此，触觉设计者只需要设计触觉效果一次，或执行一次将输入自动转换成触觉效果。触觉效果能够随后被变换成适合于标清触觉输出设备的触觉效果。这消除了产生用于标清触觉输出设备的单独触觉效果的需要。
[0053]贯穿本说明书描述的本发明的特征、结构或特性可以在一个或多个实施例中按照任何适当的方式进行组合。例如，“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似的语言的使用，贯穿本说明书指的是与实施例相结合描述的特殊的特征、结构或特性可以被包括在本发明的至少一个实施例中的事实。因此，短语“一个实施例”、“一些实施例”、“某个实施例”、“某些实施例”或其它类似语言的出现，贯穿本说明书都不必指的是相同组的实施例，并且所描述的特征、结构或特性可以按照任何适当的方式结合在一个或多个实施例中。
[0054]本领域普通技术人员将易于理解，如上所述的本发明可以按照不同顺序的步骤、和/或利用不同于所公开的那些构造中的元素来实践。因此，虽然已经基于这些优选实施例描述了本发明，但是对于本领域技术人员而言，某些修改、变化及可选构造将是显而易见的，并且仍在本发明的精神和范围内。因此，为了确定本发明的界限和范围，应该参考所附的权利要求。
【权利要求】
1.一种用于将触觉信号变换成振动触知触觉效果模式集合的方法，所述方法包含: 接收包含至少一个触觉效果模式的触觉信号，其中每个触觉效果模式都包含使触觉输出设备产生触觉效果的数据； 检测用于每个触觉效果模式的开始时间和结束时间； 将用于每个触觉效果模式的所述开始时间都向后移动一个移动持续时间； 将振动触知触觉效果模式分配给每个触觉效果模式，其中每个振动触知触觉效果模式都包含使标清触觉输出设备产生振动触知触觉效果达活跃持续时间并且停止产生所述振动触知触觉效果达静止持续时间的数据；以及 将所述一个或多个振动触知触觉效果模式发送至所述标清触觉输出设备以生成一个或多个振动触知触觉效果。
2.根据权利要求1所述的方法，将所述振动触知触觉效果模式分配给每个触觉效果模式进一步包含将所述振动触知触觉效果模式的所述活跃持续时间限制为最大持续时间。
3.根据权利要求1所述的方法，将所述振动触知触觉效果模式分配给每个触觉效果模式进一步包含: 当所述对应触觉效果模式的持续时间小于持续时间阈值时，将所述振动触知触觉效果模式的所述活跃持续时间设定成所述对应触觉效果模式的所述持续时间和所述对应触觉效果模式的最大振幅的乘积；以及 当所述对应触觉效果模式的所述持续时间小于持续时间阈值时，将所述振动触知触觉效果模式的所述静止持续时间设定成所述对应触觉效果模式的所述持续时间和与所述对应触觉效果模式的所述最大振幅的差的乘积；
4.根据权利要求1所述的方法，将所述振动触知触觉效果模式分配给每个触觉效果模式进一步包含: 当所述对应触觉效果模式的持续时间大于或等于持续时间阈值时，将用于所述振动触知触觉效果模式的上升持续时间计算为所述对应触觉效果模式的强度和最大振幅的乘积； 当所述上升持续时间大于或等于所述对应触觉效果模式的所述持续时间的一半时，将所述振动触知触觉效果模式的所述活跃持续时间设定成所述对应触觉效果模式的所述持续时间的一半；以及 当所述上升持续时间大于或等于所述对应触觉效果模式的所述持续时间的一半时，将所述振动触知触觉效果模式的所述静止持续时间设定成所述对应触觉效果模式的所述持续时间的一半。
5.根据权利要求1所述的方法，其中每个振动触知触觉效果模式都进一步包含数据，其根据用于所述活跃持续时间和所述静止持续时间之间的维持持续时间的维持功能使标清触觉输出设备在产生所述振动触知触觉效果和停止产生所述振动触知触觉效果之间交替； 将所述振动触知触觉效果模式分配给每个触觉效果模式进一步包含: 当所述对应触觉效果模式的持续时间大于或等于持续时间阈值时，将用于所述振动触知触觉效果模式的上升持续时间计算为所述对应触觉效果模式的强度和最大振幅的乘积； 当所述上升持续时间小于所述对应触觉效果模式的所述持续时间的一半时，将所述振动触知触觉效果模式的所述活跃持续时间设定成所述上升持续时间； 当所述上升持续时间小于所述对应触觉效果模式的所述持续时间的一半时，将所述振动触知触觉效果模式的所述静止持续时间设定成所述上升持续时间；以及 当所述上升持续时间小于所述对应触觉效果模式的所述持续时间的一半时，将所述振动触知触觉效果模式的所述维持持续时间设定成所述对应触觉效果模式的所述持续时间和两倍所述上升持续时间的差。
6.根据权利要求1所述的方法，其中每个触觉效果模式的所述开始时间和所述结束时间都对应于输入信号的事件开始时间和结束时间。
7.根据权利要求1所述的方法，其中所述标清触觉输出设备包含偏心旋转质量致动器。
8.根据权利要求1所述的方法，所述变换进一步包含: 基于特性检测至少一个触觉效果模式，并且用至少一个替代触觉效果模式替换至少一个检测到的触觉效果模式。
9.根据权利要求8所述的方法，基于所述特性检测所述至少一个触觉效果模式进一步包含: 检测所述至少一个触觉效果模式作为纹理触觉效果模式，并且用至少一个替代纹理触觉效果模式替换至少一个检测到的纹理触觉效果模式，其中纹理触觉效果模式是具有的持续时间小于或等于纹理阈值的触觉效果模式并且其与后续触觉效果模式分离达小于或等于所述纹理阈值的持续时间。
10.根据权利要求1所述的方法，所述变换进一步包含: 检测至少一个触觉效果模式作为大触觉效果模式，并且将所述至少一个检测到的大触觉效果模式划分成多个小触觉效果模式，其中大触觉效果模式是持续时间大于或等于大小阈值的触觉效果模式，并且其中小触觉效果模式是持续时间小于所述大小阈值的触觉效果模式。
11.一种用于将触觉信号变换成振动触知触觉效果模式集合的系统，所述系统包含: 存储器，被配置成储存触觉效果模式变换模块；和 处理器，被配置成执行储存在所述存储器上的所述触觉效果模式变换模块； 其中所述触觉效果模式变换模块被配置成接收包含至少一个触觉效果模式的触觉信号，其中每个触觉效果模式都包含使触觉输出设备产生触觉效果的数据； 其中所述触觉效果模式变换模块被进一步配置成检测用于每个触觉效果模式的开始时间和结束时间； 其中所述触觉效果模式变换模块被进一步配置成基于特性检测至少一个触觉效果模式，并且用至少一个替代触觉效果模式替换至少一个检测到的触觉效果模式； 其中所述触觉效果模式变换模块被进一步配置成将用于每个触觉效果模式的所述开始时间都向后移动一个移动持续时间； 其中所述触觉效果模式变换模块被进一步配置成将振动触知触觉效果模式分配给每个触觉效果模式，其中每个振动触知触觉效果模式都包含使标清触觉输出设备产生振动触知触觉效果达活跃持续时间并且停止产生所述振动触知触觉效果达静止持续时间的数据；以及 其中所述触觉效果模式变换模块被进一步配置成将所述一个或多个振动触知触觉效果模式发送至所述标清触觉输出设备以生成一个或多个振动触知触觉效果。
12.根据权利要求11所述的系统， 其中当所述对应触觉效果模式的持续时间小于持续时间阈值时，所述触觉效果模式变换模块被进一步配置成将所述振动触知触觉效果模式的所述活跃持续时间设定成所述对应触觉效果模式的所述持续时间和所述对应触觉效果模式的最大振幅的乘积；以及 其中当所述对应触觉效果模式的所述持续时间小于持续时间阈值时，所述触觉效果模式变换模块被进一步配置成将所述振动触知触觉效果模式的所述静止持续时间设定成所述对应触觉效果模式的所述持续时间和与所述对应触觉效果模式的所述最大振幅的差的乘积。
13.根据权利要求11所述的系统， 其中当所述对应触觉效果模式的持续时间大于或等于持续时间阈值时，所述触觉效果模式变换模块被进一步配置成将用于所述振动触知触觉效果模式的上升持续时间计算为所述对应触觉效果模式的强度和最大振幅的乘积； 其中当所述上升持续时间大于或等于所述对应触觉效果模式的所述持续时间的一半时，所述触觉效果模式变换模块被进一步配置成将所述振动触知触觉效果模式的所述活跃持续时间设定成所述对应触觉效果模式的所述持续时间的一半；以及 其中当所述上升持续时间大于或等于所述对应触觉效果模式的所述持续时间的一半时，所述触觉效果模式变换模块被进一步配置成将所述振动触知触觉效果模式的所述静止持续时间设定成所述对应触觉效果模式的所述持续时间的一半。
14.根据权利要求11所述的系统,其中每个振动触知触觉效果模式都进一步包含数据，其根据用于所述活跃持续时间和所述静止持续时间之间的维持持续时间的维持功能使标清触觉输出设备在产生所述振动触知触觉效果和停止产生所述振动触知触觉效果之间交替； 其中当所述对应触觉效果模式的持续时间大于或等于持续时间阈值时，所述触觉效果模式变换模块被进一步配置成将用于所述振动触知触觉效果模式的上升持续时间计算为所述对应触觉效果模式的强度和最大振幅的乘积； 其中当所述上升持续时间小于所述对应触觉效果模式的所述持续时间的一半时，所述触觉效果模式变换模块被进一步配置成将所述振动触知触觉效果模式的所述活跃持续时间设定成所述上升持续时间； 其中当所述上升持续时间小于所述对应触觉效果模式的所述持续时间的一半时，所述触觉效果模式变换模块被进一步配置成将所述振动触知触觉效果模式的所述静止持续时间设定成所述上升持续时间；以及 其中当所述上升持续时间小于所述对应触觉效果模式的所述持续时间的一半时，所述触觉效果模式变换模块被进一步配置成将所述振动触知触觉效果模式的所述维持持续时间设定成所述对应触觉效果模式的所述持续时间和两倍所述上升持续时间的差。
15.一种具有储存在其上的指令的计算机可读介质，当被处理器执行时，使所述处理器实施根据权利要求ι-?ο之一所述的方法。
【文档编号】G06F3/041GK104423710SQ201410455145
【公开日】2015年3月18日 申请日期:2014年9月9日 优先权日:2013年9月6日
【发明者】胡安·曼纽尔·克鲁兹-赫尔南德斯, J·萨布尼 申请人:意美森公司