使用颗粒合成的触觉效果转换系统的制作方法

使用颗粒合成的触觉效果转换系统的制作方法
【专利摘要】公开了使用颗粒合成的触觉效果转换系统。具体而言，提供将诸如音频数据的输入转换成一个或更多个触觉效果的系统。为了产生触觉信号，该系统向输入施加颗粒合成算法。该系统随后基于产生的触觉信号输出一个或更多个触觉效果。在该系统向输入施加颗粒合成算法之前，该系统还可偏移输入的频率并且还过滤输入。
【专利说明】使用颗粒合成的触觉效果转换系统
[0001]相关申请的交叉引用
[0002]本申请要求在2012年6月14日提交的美国临时专利申请系列N0.61/659659(在此加入其公开作为参考)、在2012年9月19日提交的美国临时专利申请系列N0.61/702870(在此加入其公开作为参考)和在2013年I月24日提交的美国临时专利申请系列N0.61/756347 (在此加入其公开作为参考)作为优先权。
【技术领域】
[0003]一个实施例一般针对触觉效果，更特别地，涉及产生与其它有关的输出相关的触觉效果的装置。
【背景技术】
[0004]触觉学是通过向用户施加诸如力、振动和移动的触觉反馈效果(S卩，“触觉效果”)而利用用户的触摸感测的触觉和力反馈技术。诸如移动装置、触摸屏装置(也识别为“触摸屏”)和个人计算机的装置可被配置为产生触觉效果。一般地，可在装置的操作系统(“OS”)内将对于能够产生触觉效果的嵌入硬件(诸如致动器)的调用编程。这些调用规定播放哪种触觉效果。例如，当用户通过使用例如按钮、触摸屏、手柄、游戏杆、轮子或一些其它的控制与装置交互作用时，装置的OS可通过控制电路向嵌入的硬件发送播放命令。嵌入的硬件然后产生适当的触觉效果。
[0005]可通过组合两个或更多个周期性的触觉信号或者为了实时触发触觉效果通过预先处理接收的信号产生触觉效果。但是，由于如何产生触觉效果的本质，这种触觉效果可被感知为“合成的”或“人工的”。

【发明内容】

[0006]一个实施例是将诸如音频数据或视频数据的输入转换成一个或更多个触觉效果的系统。该系统接收输入。该系统进一步将输入分成多个波形，这里，每个波形包含输入的至少一部分。系统进一步组合各波形与包络线，以产生颗粒，这里，产生多个颗粒，并且，每个颗粒包含振幅参数、波形参数、包络线参数和持续时间参数。该系统进一步组合多个颗粒以产生云，这里，云包含多个颗粒的表现。该系统进一步基于云产生一个或更多个触觉效果O
【专利附图】

【附图说明】
[0007]参照结合附图给出的优选实施例的以下的详细描述，其它的实施例、细节、优点和修改将变得十分明显。
[0008]图1示出根据本发明的一个实施例的系统。
[0009]图2示出根据本发明的实施例的颗粒的例子。
[0010]图3示出根据本发明的实施例的包络线类型的例子。[0011]图4示出根据本发明的实施例的使用单个输出信道的颗粒合成产生的框图表现。
[0012]图5示出根据本发明的实施例的使用多个输出信道的颗粒合成产生的框图表现。
[0013]图6示出根据本发明的实施例的通过使用正弦曲线作为波形类型产生的示例颗粒。
[0014]图7示出根据本发明的实施例的使用不同的颗粒周期的同步颗粒合成产生的不同的表现。
[0015]图8示出根据本发明的实施例的异步颗粒合成产生的不同的表现。
[0016]图9示出根据本发明的实施例的粒化算法的框图表现。
[0017]图10示出根据本发明的实施例的包含两个颗粒的内插算法的框图表现。
[0018]图11示出根据本发明的实施例的示例内插器。
[0019]图12示出根据本发明的实施例的空间粒化算法的框图表现。
[0020]图13示出根据本发明的实施例的利用颗粒合成的触觉转换算法的流程图。
[0021]图14示出根据本发明的实施例的原始输入信号和频率偏移信号的比较。
[0022]图15示出根据本发明的实施例的原始输入信号的功率谱。
[0023]图16示出根据本发明的实施例的频率偏移信号的功率谱。
[0024]图17示出根据本发明的实施例的使用多个权重以放大信号的频率偏移算法的表现。
[0025]图18示出根据本发明的实施例的使用多个权重以放大信号的频率偏移算法的另
一表现。
[0026]图19示出根据本发明的实施例的利用颗粒合成的增强触觉转换算法的流程图。
[0027]图20示出根据本发明的一个实施例的触觉转换模块的功能的流程图。
[0028]图21示出根据本发明的另一实施例的触觉转换模块的功能的另一流程图。
【具体实施方式】
[0029]一个实施例是可通过使用颗粒合成自动地将诸如音频数据的输入转换成触觉效果的系统。触觉效果可以以触觉本原的格式被存储，或者可以以替代性的格式被存储。通过颗粒合成，输入可被分成几个波形，并且，每个波形可与包络线组合以产生“颗粒”。通过该算法，可以创建几个颗粒，并且，颗粒可被组合以形成“云”。云然后可被使用以产生触觉信号，并且，触觉信号可随后被用于产生触觉效果。可在向输入施加颗粒合成之前通过频率偏移或频率偏移和过滤的组合任选地修改输入。
[0030]如下面描述的那样，“动态触觉效果”指的是响应一个或更多个输入参数随时间发展的触觉效果。动态触觉效果是在触觉装置上显示以代表给定输入信号的状态变化的触觉或振动触觉效果。输入信号可以是由具有触觉反馈的装置上的传感器捕获的信号，诸如位置、加速度、压力、取向、线性速度、角速度、温度和接近度，或由其它的装置捕获并发送到触觉装置以影响触觉效果的产生的信号。
[0031 ] 动态效果信号可以是任意类型的信号，但未必是复杂的。例如，动态效果信号可以是具有随时间改变或者根据将输入参数映射到效果信号的变化性能上的映射方案而实时反应的诸如相位、频率或振幅的一些性能的简单正弦波。输入参数可以是能够由装置提供的任意类型的输入，并且一般可以是诸如装置传感器信号的任意类型的信号。装置传感器信号可由任意手段产生，并且一般可通过用装置捕获用户手势产生。动态效果对于手势界面是非常有用的，但是创建动态信号未必需要使用手势或传感器。
[0032]不直接包含手势的一个常见的方案是限定动画微件(widget)的动态触觉行为。例如，当用户滚动列表时，它一般不是感知最直观的手势的触觉，而是响应手势的微件的移动。在滚动列表例子中，轻微滑动列表会产生根据滚动速度改变的动态触觉反馈，但是，猛推滚动条即使在手势结束之后也会产生动态触觉。这产生微件具有一些物理性能的幻觉，并且它向用户提供诸如其速度或者它是否移动的关于微件状态的信息。
[0033]手势是传递意思或用户意图的身体的任何移动。可以理解，简单的手势可被组合以形成更复杂的手势。例如，使手指接触触摸敏感表面可被称为“手指接触(finger on)”手势，而使手指离开触摸敏感表面可被称为单独的“手指离开(finger off)”手势。如果“手指接触”手势与“手指离开”手势之间的时间相对较短，那么组合的手势可被称为“敲击”;如果“手指接触”手势与“手指离开”手势之间的时间相对较长，那么组合的手势可被称为“长敲击”;如果“手指接触”手势与“手指离开”手势的二维(X，y)位置之间的距离相对较长，那么组合的手势可被称为“挥击”；如果“手指接触”手势与“手指离开”手势的二维(x，y)位置之间的距离相对较短，那么组合的手势可被称为“拖尾”、“轻打”或“闪烁”。可以任意的方式组合任意数量的二维或三维的简单或复杂手势，以形成任意数量的其它的手势，包含但不限于多个手势接触、手掌或拳头接触或者对于装置的接近。手势也可以是由具有加速计、陀螺仪或其它移动传感器的装置识别并被转换成电信号的任何形式的手移动。这种电信号可激活动态效果，诸如摇动虚拟方块(dice)，这里，传感器捕获产生动态效果的用户意图。
[0034]图1示出根据本发明的一个实施例的系统10的框图。在一个实施例中，系统10是装置的一部分，并且，系统10提供装置的触觉转换功能。在另一实施例中，系统10与装置分离，并且远程提供装置的触觉转换功能。虽然被示为单一系统，但是，系统10的功能可实现为分布式系统。系统10包含总线12或用于传送信息的其它通信机构和与总线12耦合的用于处理信息的处理器22。处理器22可以是任意类型的一般或特定目的处理器。系统10还包含用于存储要由处理器22执行的信息和指令的存储器14。存储器14可包含随机存取存储器(“RAM”)、只读存储器(“ROM”)、诸如磁盘或光盘的静态存储或任何其它类型的计算机可读介质的任意组合。
[0035]计算机可读介质可以是可由处理器22访问的任何可用的介质，并且可包含易失性和非易失性介质两者、可去除和不可去除的介质、通信介质和存储介质。通信介质可包含计算机可读指令、数据结构、程序模块或诸如载波或其它传输机构的调制数据信号中的其它数据，并且可包含本领域已知的任何其它形式的信息传输介质。存储介质可包含RAM、快擦写存储器、ROM、可擦写可编程只读存储器(“EPR0M”)、电可擦可编程只读存储器(“EEPR0M”)、寄存器、硬盘、可去除盘、光盘只读存储器(“⑶-ROM”)或本领域已知的任意其它形式的存储介质。
[0036]在一个实施例中，存储器14存储在被处理器22执行时提供功能的软件模块。模块包含提供用于系统10以及一个实施例中的装置的剩余部分的操作系统功能的操作系统
15。如后面更详细地讨论的那样，模块还包含将输入转换成一个或更多个触觉效果的触觉转换模块16。在某些实施例中，触觉转换模块16可包含多个模块，这里，各单个模块提供用于将输入转换成一个或更多个触觉效果的特定的单个功能。系统10—般包含一个或更多个附加的应用模块18,以包含诸如Immersion Corporation的Integrator?软件的附加的功能。
[0037]系统10在传送和/或从远程源接收数据的实施例中还包含诸如网络接口卡的通信装置20，以提供诸如红外、无线电、W1-Fi或蜂窝网络通信的移动无线网络通信。在其它的实施例中，通信装置20提供诸如以太网连接或调制解调器的有线网络连接。
[0038]处理器22进一步通过总线12与用于向用户显示图形表现或用户界面的诸如液晶显示器(“IXD”)的显示器24耦合。显示器24可以是被配置为发送并从处理器22接收信号的诸如触摸屏的触摸敏感输入装置，并且可以是多触摸触摸屏。处理器22可进一步与键盘或光标控制28耦合，该键盘或光标控制28允许用户与系统10交互作用，诸如鼠标或铁笔。
[0039]系统10在一个实施例中还包含致动器26。处理器22可向致动器26传送与产生的触觉效果相关联的触觉信号，该致动器26又输出诸如振动触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果。致动器26包含致动器驱动电路。致动器26可以为例如电动机、电磁致动器、音圈、形状记忆合金、电活化聚合物、螺线管、偏心旋转质量电动机(“ERM”)、线性共振致动器(“LRA”)、压电致动器、高带宽致动器、电活化聚合物(“ΕΑΡ”)致动器、静电摩擦显示器或超声振动产生器。在替代性的实施例中，除了致动器26以外，系统10可包含一个或更多个附加的致动器(图1未示出)。致动器26是触觉输出装置的例子，这里，触觉输出装置是被配置为响应驱动信号输出诸如振动触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果的装置。在替代性的实施例中，致动器26可被一些其它类型的触觉输出装置替代。并且，在其它的替代性的实施例中，系统10可以不包含致动器26，并且，与系统10分开的装置包含致动器或者产生触觉效果的其它触觉输出装置，并且，系统10通过通信装置20向该装置发送产生的触觉效果信号。
[0040]系统10可进一步与数据库30操作耦合，这里，数据库30可被配置为存储由模块16和18使用的数据。数据库30可以是操作数据库、分析数据库、数据仓库、分布式数据库、最终用户数据库、外部数据库、导航数据库、存储器内数据库、文档取向数据库、实时数据库、关系数据库、面向对象的数据库或本领域已知的任何其它的数据库。
[0041]在一个实施例中，系统10还包含一个或更多个扬声器32。处理器22可向扬声器32传送音频信号,该扬声器32又输出音频效果。扬声器32可以是为例如动态扬声器、电动力学扬声器、压电扬声器、磁致伸缩扬声器、静电扬声器、丝带和平面磁扬声器、弯曲波扬声器、平板扬声器、HEIL空气移动换能器、等离子体弧扬声器和数字扬声器。
[0042]系统10在一个实施例中还包含传感器34。传感器34可被配置为检测能量的形式或其它物理性能，诸如但不限于加速度、生命信号、距离、流量、力/压力/应力/弯曲、湿度、线性位置、取向/倾角、无线电频率、旋转位置、旋转速度、开关的操作、温度、振动或可见光强度。传感器34可进一步被配置为将检测的能量或其它的物理性能转换成电信号或者代表虚拟传感器信息的任何信号。传感器34可以是任何装置，诸如但不限于加速计、心电图、脑电图、电肌动描记器、眼电图、电腭动描记器、流电皮肤响应传感器、电容传感器、霍尔效应传感器、红外传感器、超声传感器、压力传感器、光纤传感器、屈曲传感器(或弯曲传感器)、力敏感电阻器、负载单元、LuSense CPS2155、微型压力换能器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑动块)、线性可变差动变压器、罗盘、倾角计、磁性标签(或无线电频率识别标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度换能集成电路)、麦克风、光度计、高度计、生物监视器或光依赖电阻器。
[0043]图2示出根据本发明的实施例的“颗粒”200的例子。颗粒200是诸如音频数据的数据的构成块。颗粒200是当与其它的颗粒组合时产生被识别为“云”的对象的基本微事件，这里，云是多个颗粒随时间的空间表现。颗粒200是波形和包络线的组合，这里，更详细地进一步描述波形和包络线。因此，诸如颗粒200的颗粒可被视为包络的波形。诸如颗粒200的颗粒可具有接近感知的极限的非常短的持续时间，诸如100毫秒(“ms”)或更短的持续时间量。颗粒200捕获影响数据的感知的时域和频域信息。如后面描述的那样，云可具有任意数量的颗粒，诸如具有不同的性能的成百上千的颗粒。
[0044]根据实施例，颗粒200包含描述颗粒200的多个参数。各参数可包含限定颗粒200的特性的值。在示出的实施例中，颗粒200包含包络线210、波形220、振幅230和持续时间240。包络线210是连接颗粒200的波形220的峰值的曲线。在一个实施例中，颗粒200可包含限定包络线210的包络线参数。以下结合图3进一步描述颗粒200的包络线210。
[0045]波形220是具有特定的形状和形式的振荡信号。诸如波形220的波形可包含诸如采样音频数据的采样数据，或者可以是包含静态或动态数据的产生的波形。并且，诸如波形220的波形可以是恒定的波形，但是波形220也可在云内从颗粒到颗粒改变，或者可在同一云内对于所有的颗粒是恒定的。在某些实施例中，诸如波形220的波形可以是正弦曲线或正弦波。在其它的实施例中，诸如波形220的波形可以是正弦曲线或正弦波的叠加。在其它的实施例中，诸如波形220的波形可以是具有频率内容变化的正弦曲线或正弦波(即，在颗粒内改变频率的正弦曲线或正弦波)。在其它的实施例中，诸如波形220的波形可以是具有频率内容变化的叠加的正弦曲线或正弦波(即，在颗粒内改变频率的正弦曲线或正弦波)。在其它的实施例中，诸如波形220的波形可以是通过使用诸如频率调制(“FM”)、相位调制(“PM”)或物理激发随机事件模型化(“PhiSEM”)的数学算法产生的时间变化波形。在于 2013 年 2 月 14 日提交的发明名称为 “HIGHDEFINITION HAPTIC EFFECTS GENERATIONUSING PRMITIVES”的美国专利申请系列N0.13/767129中进一步更详细地描述FM、PM和PhiSEM。在又一些实施例中，诸如波形220的波形可以是诸如采样记录音频信号的采样记录信号，这里，采样记录信号可以是恒定的或者可以随时间改变。在一个实施例中，颗粒200可包含限定波形220的波形参数。
[0046]根据示出的实施例中，振幅230是颗粒200的最大振幅值。在一个实施例中，颗粒200可包含限定振幅230的振幅参数。持续时间240是颗粒200的持续时间(S卩，时间宽度)。通常以毫秒为单位测量诸如持续时间240的持续时间。在一个实施例中，颗粒200可包含限定持续时间240的持续时间参数。根据实施例，通过改变颗粒200的振幅参数的值，可以改变颗粒200的振幅230。并且，通过改变颗粒200的持续时间参数的值，可以改变颗粒200的持续时间240。在替代性的实施例中，颗粒200还可包含限定颗粒200的密度的密度参数(图2没有示出)。颗粒200的密度是限定云内的每秒的颗粒200的实例的数量的值。
[0047]图3示出根据本发明的实施例的包络线类型的例子。图3所示的包络线类型是可用于产生包络线的包络线类型的例子，这里，包络线可与波形组合以产生颗粒。根据实施例，可与持续时间和振幅一起使用包络线类型，以产生包络线。包络线类型的持续时间和振幅可影响包络线的频率内容。
[0048]图3所示的实施例示出正弦包络线类型310、饱和正弦包络线类型320、三角包络线类型330、饱和包络线类型340、辛克(sine)包络线类型350、expodec包络线类型360、rexpodec包络线类型370和方波包络线类型380。以下描述图3所示的包络线类型的相应的定义:
【权利要求】
1.一种用于将输入转换成一个或更多个触觉效果的计算机实现的方法，所述计算机实现的方法包括: 接收所述输入； 将所述输入分成多个波形，其中，各波形包括所述输入的至少一部分； 组合各波形与包络线以产生颗粒，其中，产生多个颗粒，并且其中，各颗粒包括振幅参数、波形参数、包络线参数和持续时间参数； 组合所述多个颗粒以产生云，其中，所述云包括所述多个颗粒的表现；和 基于所述云产生所述一个或更多个触觉效果。
2.根据权利要求1的计算机实现的方法，还包括内插所述多个颗粒的第一颗粒和第二颗粒。
3.根据权利要求1的计算机实现的方法，其中， 所述多个颗粒的各颗粒被映射到信号值，并且， 所述多个颗粒的至少一个颗粒的产生由包括所述信号值的信号触发。
4.根据权利要求1的计算机实现的方法，还包括偏移所述输入的频率。
5.根据权利要求4的计算机实现的方法，其中，偏移所述输入的频率还包括: 在所述输入上执行快速傅立叶变换； 修改所述输入；和 将修改的输入转换到时域。
6.根据权利要求5的计算机实现的方法，其中，修改所述输入还包括在频域中重叠所述输入。
7.根据权利要求5的计算机实现的方法，其中，修改所述输入还包括: 识别所述输入的处于规定的范围中的至少一个频率； 确定希望的触觉输出；和 基于所述希望的触觉输出向所述至少一个频率施加至少一个权重。
8.根据权利要求1的计算机实现的方法，其中，产生所述一个或更多个触觉效果还包括: 基于所述云产生触觉信号；和 向触觉输出装置发送所述触觉信号以产生所述一个或更多个触觉效果。
9.根据权利要求1的计算机实现的方法，其中，所述输入包括音频数据、视频数据、图像数据、文本数据或加速度数据中的至少一种。
10.根据权利要求1的计算机实现的方法，其中，产生所述一个或更多个触觉效果还包括: 基于所述云产生多个触觉信号；和 向多个触觉输出装置发送所述多个触觉信号以产生所述一个或更多个触觉效果。
11.一种用于将输入转换成一个或更多个触觉效果的系统，所述系统包括: 被配置为存储触觉转换模块的存储器；和 被配置为运行存储于所述存储器上的触觉转换模块的处理器； 其中，所述触觉转换模块被配置为接收所述输入， 其中，所述触觉转换模块进一步被配置为将所述输入分成多个波形，其中，各波形包括所述输入的至少一部分； 其中，所述触觉转换模块进一步被配置为组合各波形与包络线以产生颗粒，其中，产生多个颗粒，并且其中，各颗粒包括振幅参数、波形参数、包络线参数和持续时间参数； 其中，所述触觉转换模块进一步被配置为组合所述多个颗粒以产生云，其中，所述云包括多个颗粒的表现；并且， 其中，所述触觉转换模块进一步被配置为基于所述云产生所述一个或更多个触觉效果。
12.根据权利要求11的系统，其中，所述触觉转换模块进一步被配置为内插所述多个颗粒的第一颗粒和第二颗粒。
13.根据权利要求11的系统， 其中，所述多个颗粒的各颗粒被映射到信号值，并且， 其中，所述多个颗粒的至少一个颗粒的产生由包括所述信号值的信号触发。
14.根据权利要求11的系统，其中，所述触觉转换模块进一步被配置为偏移所述输入的频率。
15.一种其上存储有当被处理器执行时导致所述处理器实现根据权利要求1~10中的一项所述的方法的指令的计算机可读介质。
【文档编号】G06F3/01GK103513766SQ201310234555
【公开日】2014年1月15日 申请日期:2013年6月14日 优先权日:2012年6月14日
【发明者】J·M·克鲁兹-埃尔南德斯, A·莫达里斯, 伍黎雯, D·伯恩鲍姆 申请人:英默森公司