使用分段和组合的触觉转换系统的制作方法

使用分段和组合的触觉转换系统的制作方法
【专利摘要】提供的系统使用分段和组合把输入转换为一个或多个触觉效果，所述系统接收输入。所述系统进一步把输入分段为多个输入子信号。所述系统进一步把所述多个输入子信号转换为触觉信号。所述系统进一步基于所述触觉信号产生一个或多个触觉效果。
【专利说明】使用分段和组合的触觉转换系统

【技术领域】
[0001]一个实施例一般针对一种设备，更确切地说，针对产生触觉效果的设备。

【背景技术】
[0002]触觉是通过向用户施加触觉反馈效果(即“触觉效果”)，比如力、振动和运动，而利用用户的触摸感觉的触觉和力反馈技术。多种设备，比如移动设备、触摸屏设备和个人计算机，能够被配置为产生触觉效果。一般来说，对能够产生触觉效果的嵌入式硬件(比如执行机构)的调用能够被编程在设备的操作系统(“OS”)内。这些调用指定了要实行哪种触觉效果。例如，当用户使用例如按钮、触摸屏、杠杆、操纵杆、方向盘或某种其他控制与设备互动时，设备的OS能够通过控制电路向嵌入式硬件发送实行命令。嵌入式硬件然后产生适当的触觉效果。
[0003]设备能够被配置为使得触觉效果的输出与其他内容，比如音频的输出协调，使得触觉效果被合并到其他内容之中。例如，音频效果的开发者能够开发出可以由设备输出的音频效果，比如机关枪开火、爆炸或小汽车碰撞。此外，还能够开发其他类型的内容比如视频效果并随后由该设备输出。触觉效果开发者能够随后为该设备创作触觉效果，并且该设备能够被配置为连同其他内容输出触觉效果。不过，一般来说这样的过程要求触觉效果开发者的个人判断以使创作的触觉效果正确地映衬音频效果或其他类型内容。蹩脚创作的触觉效果不映衬音频效果或其他类型内容，可能产生整体不和谐的后果，其中触觉效果与音频效果或其他内容不是“相互配合”。这种类型的用户体验通常是不期望的。


【发明内容】

[0004]一个实施例是使用分段和组合把输入转换为一个或多个触觉效果的系统。所述系统接收输入信号。所述系统进一步把所述输入分段为多个输入子信号。所述系统进一步把所述多个输入子信号转换为单一触觉信号，或者要么能够在不同的触觉输出设备上分开实行要么能够混合为单一触觉信号的多个触觉信号。所述系统进一步基于所述触觉信号产生所述一个或多个触觉效果。

【专利附图】

【附图说明】
[0005]根据优选实施例的以下具体描述连同附图，进一步的实施例、细节、优点和修改将变得显而易见。
[0006]图1展示了根据本发明一个实施例的系统框图；
[0007]图2展示了根据本发明的实施例，由系统执行的触觉转换功能的流程图；
[0008]图3展示了根据本发明的实施例，使用频带分析和优先级来分析输入子信号并将其转换为一个或多个触觉效果；
[0009]图4展示了根据本发明的实施例，由系统执行的触觉转换功能的流程图；
[0010]图5展示了根据本发明的实施例，输入信号频移的示例；
[0011]图6展示了根据本发明的实施例，被配置为混合多个触觉子信号的触觉混合器的框图；
[0012]图7展示了根据本发明的实施例，触觉转换模块功能的流程图。

【具体实施方式】
[0013]一个实施例是能够把输入比如音频信号转换为能够用于产生触觉效果的触觉信号的系统。该系统能够把输入滤波为多个频带，其中每个频带都包括该输入的子信号，并且该系统能够进一步基于一个或多个分析参数使所述多个频带按优先级排列。一般来说，该系统能够创建这些频带的优先级列表。该系统能够进一步从优先级列表选择一个或多个频带，并且使用所选择的频带产生触觉信号，其中触觉信号至少部分地基于所选中频带的组合。例如，该系统能够把音频信号带通滤波为四个频带，并且能够基于包含幅度最高的音频子信号的频带创建触觉信号。该系统的触觉转换功能既能够被实施为提供能够在设备上回放的输出文件的脱机功能，也能够被实施为在回放时执行处理的算法。
[0014]另一个实施例是能够把输入比如音频信号转换为能够用于产生触觉效果的触觉信号的系统。该系统能够读取多媒体文件(如音频文件或视频文件)，并且能够从多媒体文件提取输入信号，比如音频信号。该系统能够把输入信号滤波为一个或多个输入子信号。例如，该系统能够使用带有互补截止频率的不同带通滤波器以把输入信号分段为不同的互补输入子信号。该系统然后能够为每个输入子信号创建触觉子信号。该系统能够进一步把触觉子信号混合或以其他方式组合为对应于原始输入信号的整体触觉信号。该系统的触觉转换功能能够被实施为软件模块、移动应用或音频/视频播放器和编辑工具的插件。
[0015]图1展示了根据本发明一个实施例的系统10的框图。在一个实施例中，系统10是移动设备的一部分，并且系统10为移动设备提供触觉转换功能。在另一个实施例中，系统10是可佩戴设备的一部分，并且系统10为可佩戴设备提供触觉转换功能。可佩戴设备的示例包括腕带、头带、眼镜、戒指、腿带、集成到衣服中的阵列，或者用户可以佩戴在身上或能够被用户拿着的任何其他类型的设备。某些可佩戴设备可以是“有触觉功能的”，意味着它们包括产生触觉效果的机构。在另一个实施例中，系统10与设备(如移动设备或可佩戴设备)分离，并且为该设备远程地提供触觉转换功能。尽管显示为单个系统，但是系统10的功能也能够被实施为分布式系统。系统10包括总线12或用于传播信息的其他通信机构，以及连接到总线12用于处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统10进一步包括存储器14用于存储信息和要由处理器22执行的指令。存储器14可以包括随机存取存储器(“RAM”)、只读存储器(“ROM”)、静态存储器比如磁盘或光盘或者任何其他类型的计算机可读介质的任何组合。
[0016]计算机可读介质可以是由处理器22能够访问的任何可用介质，并且可以包括易失性和非易失性介质、可移动和不可移动介质、通信媒介和存储介质。通信媒介可以包括具有调制后数据信号比如载波或其他传输机制形式的计算机可读指令、数据结构、程序模块或其他数据，并且可以包括本领域公知的任何其他形式的信息传递介质。存储介质可以包括RAM、闪存、ROM、可擦除可编程只读存储器(“EPR0M”)、可电擦除可编程只读存储器(“EEPR0M”)、寄存器、硬盘、可移动磁盘、光盘只读存储器(“⑶-ROM”)或者本领域公知的任何其他形式的存储介质。
[0017]在一个实施例中，存储器14存储由处理器22执行时提供功能的软件模块。这些模块包括为系统10以及在一个实施例中的移动设备的其余部件提供操作系统功能的操作系统15。这些模块进一步包括触觉转换模块16，它使用分段和组合把输入转换为一个或多个触觉效果，正如以下更详细的公开。在某些实施例中，触觉转换模块16可以包括多个模块，其中每个模块都提供特定的单项功能，用于使用分段和组合把输入转换为一个或多个触觉效果。典型情况下系统10将包括一个或多个附加应用模块18以包括附加功能，例如Immers1n 公司的 Integrator? 软件。
[0018]系统10在从远程来源发送和/接收数据的实施例中进一步包括通信设备20，比如网络接口卡，以提供移动无线网络通信，比如红外线、无线电、W1-Fi或蜂窝网通信。在其他实施例中，通信设备20提供了有线网络连接，比如以太网连接或调制解调器。
[0019]处理器22进一步经由总线12耦接到显示器24，比如液晶显示器(“IXD”)，用于向用户显示图形表示或用户界面。显示器24可以是触敏输入设备，比如触摸屏，被配置为从处理器22发送和接收信号，并且可以是多点触摸的触摸屏。
[0020]在一个实施例中，系统10进一步包括执行机构26。处理器22可以把与产生的触觉效果相关联的触觉信号发送到执行机构26，执行机构26又输出比如震动触觉的触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果。执行机构26包括执行机构驱动电路。例如，执行机构26可以是例如电动机、电磁执行机构、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量马达(“ERM”)、线性共振执行机构(“LRA”)、压电执行机构、高带宽执行机构、电活性聚合物(“ΕΑΡ”)执行机构、静电摩擦显示器或者超声振动发生器。在替代实施例中，除执行机构26外，系统10还可以包括一个或多个附加执行机构(图1未展示)。执行机构26是触觉输出设备的示例，其中触觉输出设备是被配置为响应驱动信号输出比如震动触觉的触觉效果、静电摩擦触觉效果或变形触觉效果的触觉效果的设备。在替代实施例中，执行机构26能够由某种其他类型的触觉输出设备取代。另外，在其他替代实施例中，系统10可以不包括执行机构26，而与系统10分离的设备包括产生触觉效果的执行机构或其他触觉输出设备，并且系统10通过通信设备20向该设备发送已产生的触觉信号。[0021 ] 在一个实施例中，系统10进一步包括扬声器28。处理器22可以把音频信号发送到扬声器28,而扬声器28又输出音频效果。扬声器28可以是例如动态扩音器、电动扬声器、压电晶体扬声器、磁致伸缩扬声器、静电扬声器、带状平面磁扬声器、弯曲波扬声器、扁平面板扬声器、黑尔空气运动换能器、等离子弧扬声器以及数字扬声器。在替代实施例中，除扬声器28外,系统10还可以包括一个或多个附加扬声器(图1未展不)。另外，在其他替代实施例中，系统10可以不包括扬声器28,而与系统10分离的设备包括输出音频效果的扬声器，并且系统10通过通信设备20向该设备发送音频信号。
[0022]在一个实施例中，系统10进一步包括传感器30。传感器30能够被配置为检测某种形式的能量或其他物理属性，比如但是不限于声音、运动、加速度、生物信号、距离、流动、力/压力/应变/弯曲、湿度、直线位置、朝向/倾斜、射频、旋转位置、旋转速度、开关的操纵、温度、振动或可见光强度。传感器30能够进一步被配置为把检测到的能量或其他物理属性转换为电信号或表示虚拟传感器信息的任何信号。传感器30可以是任何设备，比如但是不限于加速度计、心电图仪、脑电图仪、肌电图仪、眼动电图仪、电子颚位图仪、皮肤电反应传感器、电容性传感器、霍耳效应传感器、红外线传感器、超声传感器、压力传感器、光纤传感器、屈折传感器(或弯曲传感器)、压敏电阻器、负载电池、LuSense CPS2155、微型压力换能器、压电传感器、应变测量仪、湿度表、直线位置触摸传感器、分压计(或滑动触头)、线性可变差动变压器、罗盘、倾角计、磁性标签(或射频识别标签)、旋转编码器、旋转分压计、回转仪、切换开关、温度传感器(比如温度计、热电偶、电阻式温度检测器、电热调节器或温度转换集成电路)、话筒、光度计、高度计、生物监视器、照相机或光敏电阻器。在替代实施例中，除传感器30外，系统10还可以包括一个或多个附加传感器(图1未展示)。在这些实施例的某些中，传感器30以及这一个或多个附加传感器可以是传感器阵列的一部分，或者某些其他类型的传感器集。另外，在其他替代实施例中，系统10可以不包括传感器30，而与系统10分离的设备包括传感器，该传感器检测某种形式的能量或其他物理属性，并且把检测到的能量或其他物理属性转换为电信号或表示虚拟传感器信息的其他类型信号。然后该设备能够通过通信设备20向系统10发送转换后的信号。
[0023]图2展示了根据本发明的一个实施例，由系统执行的触觉转换功能的流程图。在一个实施例中，图2的功能以及图4的功能和图7的功能的每一个都由存储在存储器或其他计算机可读或有形介质中的软件实施，并由处理器执行。在这个实施例中，每个功能都可以由触觉转换模块(比如图1的触觉转换模块16)执行。在其他实施例中，每个功能都可以由硬件(如通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或者硬件与软件的任何组合执行。
[0024]触觉转换功能可以包括接收输入信号的一个或多个“信息块”(也被标识为分段)，处理输入信号的每个信息块，以及在触觉输出设备比如执行机构上回放输入信号的修改后信息块。在某些实施例中，输入可以是音频信号，或者包括音频数据的其他类型的音频输入。在其他替代实施例中，输入可以是视频信号，或者包括视频数据的其他类型的视频输入。在又其他的替代实施例中，输入可以是加速度信号，或者包括加速度数据的其他类型的加速度输入。在又其他的替代实施例中，输入可以是包括朝向数据的朝向信号、包括背景光数据的背景光信号或者能够与媒体文件有关并能够由传感器比如传感器30感测的另一类型的信号。传感器的输出可以事先记录并且能够连同媒体文件一起提供。因此，传感器可以连接到系统也可以不连接。
[0025]根据本实施例，流程在210开始，在此接收输入信号信息块。如先前描述的，输入信号信息块是输入信号的分段。在一个实施例中，输入信号信息块可以包括整个输入信号。流程进至220。
[0026]在220，输入信号信息块被滤波(如带通滤波)以产生多个输入子信号(也被标识为频带)。更确切地说，可以对输入信号信息块应用一个或多个滤波器(如带通滤波器)以去除输入信号信息块的若干分段，使得输入信号信息块的剩余分段包括特定频带内的一个或多个频率。应用滤波器后剩余的输入信号信息块的分段被标识为输入子信号或频带。在涉及多个滤波器的实施例中，每个滤波器都能够对应于特定的频带，多个滤波器能够在多遍中被应用到输入信号信息块(其中在每遍中对输入信号信息块应用不同的滤波器)，并且每个滤波器都能够产生输入信号信息块的分段，它包括对应于该滤波器的频带内的一个或多个频率。在某些实施例中，输入子信号可以包括整个输入信号信息块。
[0027]例如，第一滤波器可以表示低频带、第二滤波器可以表示中频带，而第三滤波器可以表示高频带。可以对输入信号信息块应用第一滤波器并且能够产生第一输入子信号，其中第一输入子信号包括低频带内的一个或多个频率。然后可以对输入信号信息块应用第二滤波器并且能够产生第二输入子信号，其中第二输入子信号包括中频带内的一个或多个频率。然后可以对输入信号信息块应用第三滤波器并且能够产生第三输入子信号，其中第三输入子信号包括高频带内的一个或多个频率。
[0028]在220产生的输入子信号(即频带)在图2被展示为频带221、222、223和224。不过，任何数量的输入子信号都可以产生，并且每个输入子信号都能够被界定为包括任何类型频带内的一个或多个频率。以下连同图3进一步描述输入子信号的示例实施。然后流程进至230。
[0029]在230，输入子信号(即频带221-224)基于分析参数按优先级排列。更确切地说，分析每个输入子信号的一个或多个特征，其中分析参数界定了这一个或多个特征。特征的示例可以包括:频率、持续时间、包络、密度和幅度。然后可以基于每个输入子信号的已分析特征将输入子信号排序(即按优先级排列)。例如，可以产生一个或多个输入子信号的优先级列表，其中一个或多个输入子信号基于每个输入子信号的已分析特征在列表内按优先级排列。
[0030]作为示例，分析参数可以被定义为输入子信号的幅度。可以产生多个输入子信号(即频带)，并且可以分析每个输入子信号以便确定最大幅度值。可以对比每个输入子信号的最大幅度值，并且能够基于对应的最大幅度值使输入子信号按优先级排列。
[0031]以下连同图3进一步描述使用分析参数分析和按优先级排列输入子信号的示例实施。然后流程进至240。
[0032]在240，基于从按优先级排列的输入子信号中选择的一个或多个输入子信号计算和产生触觉信号。更确切地说，首先从按优先级排列的输入子信号中选择一个或多个输入子信号。例如，从输入子信号的优先级列表中可以选择优先级最高的输入子信号(或优先级最高的多个输入子信号)。随后，基于所选择的输入子信号计算触觉信号。更确切地说，计算触觉信号以包括选中输入子信号的一个或多个特征。在某些实施例中，可以计算触觉信号以包括选中输入子信号的全部特征。在有多个输入子信号的实施例中，可以至少部分地基于输入子信号的组合计算触觉信号。随后产生触觉信号。
[0033]作为示例,可以选择最大幅度值最高的输入子信号。输入子信号的最大幅度值可以用于计算触觉信号。这个触觉信号随后可以用于产生基于幅度最高的输入子信号的触觉效果。作为另一个示例，可以选择具有三个最高的最大幅度值的三个输入子信号。这三个输入子信号的最大幅度值可以用于计算触觉信号。例如，可以计算这三个最大幅度值的平均值或其他计算值。这种平均值或其他计算值可以用于产生触觉信号。这个触觉信号随后可以用于产生基于具有三个最高幅度的三个输入子信号的触觉效果。然后流程进至250。
[0034]在250，所产生的触觉信号被“变形”为“变形的触觉信号”。更确切地说，所产生的触觉信号被输入到“变形”函数中，其中变形函数能够“变形”或变换在输入信号内包含的数据以创建输出信号，其中输出信号也被标识为“变形的信号”。因此，通过把产生的触觉信号输入到变形函数中，变形函数能够使所产生的触觉信号内包含的数据变形。所产生的触觉信号内包含的数据的变形能够把产生的触觉信号最终变换为“变形的触觉信号”。在某些实施例中，变形的触觉信号更适合专用的触觉输出设备，从而变形的触觉信号能够在该专用触觉输出设备上实行以便产生一个或多个触觉效果。
[0035]在一个示例中，对于LRA或ERM，变形函数能够包络输入触觉信号，或者使用输入触觉信号的最大幅度值，以计算所产生的输出触觉信号的幅度，其中输出触觉信号的幅度与输出触觉信号产生的触觉效果的幅度相关。在另一个示例中，对于压电执行机构、高带宽执行机构或EAP执行机构，变形函数可以把输入触觉信号回放为波形，或者执行另一类型的算法以把输入触觉信号转换为输出触觉信号。
[0036]在某些实施例中，可以省略250。然后流程进至260。
[0037]在260，把触觉信号(或者是执行了 250时的变形的触觉信号，或者是省略250时所产生的触觉信号)发送到触觉输出设备，比如图1的执行机构26，并且触觉输出设备基于触觉信号产生一个或多个触觉效果。因此，基于所选择的输入子信号能够产生一个或多个触觉效果。然后流程结束。
[0038]在某些实施例中，图2展示的触觉转换功能能够在被配置为输出触觉效果的设备，比如移动设备或触摸屏设备上实时地执行。在其他替代实施例中，图2展示的触觉转换功能可以由计算机或其他类型的计算机器离线地执行，并且能够把最终的触觉信号发送给被配置为输出触觉效果的设备。
[0039]图3展示了根据本发明的实施例，使用频带分析和优先级来分析输入子信号并将其转换为一个或多个触觉效果。如先前描述的，可以使用一个或多个滤波器对输入信号301滤波以产生多个输入子信号，其中所述多个输入子信号包括输入子信号302、303和304。输入子信号302表示输入信号的200Hz中心频率带通，并且能够使用第一滤波器产生。输入子信号303表示输入信号的1000Hz中心频率带通，并且能够使用第二滤波器产生。输入子信号304表示输入信号的5000Hz中心频率带通，并且能够使用第三滤波器产生。
[0040]根据本实施例，每个输入子信号都能够被划分为多个分段或窗口。在展示的实施例中，展示了示例窗口 310、320和330，其中窗口 310、320和330的每一个都包括输入子信号302、303和304的分段。在替代实施例中，输入子信号可以包括图3中未展示的其他窗口。另外，在某些实施例中，输入子信号的窗口可以按顺序排列，其中后面的窗口从在前窗口结束的位置开始。
[0041]根据本实施例，对于每个窗口，每个输入子信号的一个或多个特征都能够基于分析参数分析。因此，在展示的实施例中，对于窗口 310、320和330的每个窗口，输入子信号302的一个或多个音频特征都能够基于分析参数分析。同样，对于窗口 310、320和330的每个窗口，输入子信号303和304的一个或多个音频特征也能够基于分析参数分析。对于窗口 310、320和330的每个窗口，输入子信号302、303和304都能够基于此分析按优先级排列。另外，对于窗口 310、320和330的每个窗口，能够基于此优先级从输入子信号302、303和304中选择输入子信号，并且把所选择的输入子信号转换为触觉信号。分析参数的示例可以包括:频率、持续时间、包络、密度和幅度。
[0042]在一个示例中，分析参数可以是幅度。在这个示例中，对于窗口 310，可以分析输入子信号302、303和304的幅度。另外，对于窗口 310，可以选择输入子信号302，因为输入子信号302具有最高幅度。随后可以使用输入子信号302产生窗口 310的触觉信号。同样，对于窗口 320，可以分析输入子信号302、303和304的幅度。另外，对于窗口 320，可以选择输入子信号302，因为输入子信号302具有最高幅度。随后可以使用输入子信号302产生窗口 320的触觉信号。同样，对于窗口 330，可以分析输入子信号302、303和304的幅度。另夕卜，对于窗口 330,可以选择输入子信号303,因为输入子信号303具有最高幅度。随后可以使用输入子信号303产生窗口 330的触觉信号。
[0043]在一个示例中，分析参数可以是密度。在一个实施例中，密度可以是信号的功率或能量，分布在信号的不同频率上。在这个示例中，对于窗口 310，可以分析输入子信号302、303和304的密度。另外，对于窗口 310,可以选择输入子信号304,因为输入子信号304具有最高密度。随后可以使用输入子信号304产生窗口 310的触觉信号。同样,对于窗口320，可以分析输入子信号302、303和304的密度。另外，对于窗口 320，可以选择输入子信号304,因为输入子信号304具有最高密度。随后可以使用输入子信号304产生窗口 320的触觉信号。同样，对于窗口 330,可以分析输入子信号302、303和304的密度。另外,对于窗口 330，可以选择输入子信号303，因为输入子信号303具有最高密度。随后可以使用输入子信号303产生窗口 330的触觉信号。
[0044]图4展示了根据本发明的另一个实施例，由系统执行的触觉转换功能的流程图。根据实施例，触觉转换功能能够由软件程序或算法执行，它接收多媒体文件比如音频文件或视频文件作为输入，并且产生触觉信号作为输出。此软件程序或算法可以是独立的软件程序、移动应用或用于其他音频/视频编辑工具的插件，比如ProTools。在另一个实施例中，触觉转换功能可以由多媒体播放器执行，它接收多媒体文件并输出多媒体文件的内容，其中内容以一个或多个触觉效果增强。多媒体播放器可以为移动设备或计算机调整。在一个实施例中，此功能可以由触觉转换模块(比如图1的触觉转换模块16)执行。
[0045]根据本实施例，流程开始，并且接收多媒体文件410。多媒体文件410是包括多媒体数据的任何计算机文件。在一个示例实施例中，多媒体文件410是包括音频数据的计算机文件。在另一个示例实施例中，多媒体文件410是包括视频数据的计算机文件。在另一个示例实施例中，多媒体文件410是音频和视频数据都包括的计算机文件。在又一个示例实施例中，多媒体文件410是包括某种其他类型数据的计算机文件。多媒体文件410可以是联机数据流或提供在物理数字载体上，比如存储器、磁盘或其他类型的非瞬时性的计算机可读介质。然后从多媒体文件410中提取音频信号420(图4标识为音轨420)。音频信号420是能够从多媒体文件410中提取的输入信号的示例。在替代实施例中，音频信号420能够由其它类型的输入信号取代，比如视频信号、加速度信号，朝向信号、背景光信号，或者能够包括以传感器捕获的数据的其它类型的信号。
[0046]音频信号420随后被滤波(如带通滤波)以产生多个音频子信号，其中音频子信号是一种类型的输入子信号(即频带)。更确切地说，对音频信号420可以应用一个或多个滤波器(如带通滤波器)以去除音频信号420的若干分段，使得音频信号420的剩余分段包括特定频带内的一个或多个频率。应用滤波器后剩余的音频信号420的分段被标识为音频子信号。在涉及多个滤波器的实施例中，每个滤波器都能够对应特定的频带，多个滤波器能够在多遍中被应用到音频信号420 (其中在每遍对音频信号420应用不同的滤波器)，并且每个滤波器都能够产生音频信号420的分段，它包括对应于该滤波器的频带内的一个或多个频率。在展示的实施例中，这一个或多个滤波器由带通滤波器430、440和450表示。不过，可以使用任何数量的滤波器。另外，能够使用任何类型的滤波器。在某些实施例中，音频子信号可以包括整个音频信号420。
[0047]在某些实施例中，选择为每个滤波器定义的截止频率，能够以使相邻互补输入子信号(即频带)覆盖在原始输入信号中出现的大多数或全部频率的方式进行。选择不同滤波器的数量和带宽可以与输入信号(如音频信号)的性质有关，并且能够影响触觉信号的产生。在某些实施例中，触觉输出设备的共振频率能够用于定义滤波器的数量和带宽。例如，可以使用三个滤波器产生三个输入子信号，其中第一输入子信号包括其频率低于触觉输出设备的共振频率的组成，第二输入子信号包括其频率在触觉输出设备的共振频率周围的组成，而第三输入子信号包括其频率高于触觉输出设备的共振频率的组成。
[0048]下一步，使用多个触觉转换算法把音频子信号或其他类型的输入子信号转换为触觉子信号。在展示的实施例中，触觉转换算法由算法431、441和451表示。不过，可以使用任何数量的触觉转换算法。在某些实施例中，使用唯一的触觉转换算法把每个音频子信号转换为触觉信号。因此，多个触觉转换算法能够把多个音频子信号或其他类型的输入子信号转换为多个触觉子信号。
[0049]示例触觉转换算法可以包括:(a)给音频子信号乘以预定因子和以触觉输出设备的共振频率执行的正弦载波波形；(b)给音频子信号乘以预定因子；或者(C)把音频子信号的频率组成从频带移动到触觉输出设备共振频率周围的另一个频带，并且给移动后的音频子信号乘以原始音频子信号以保留原始音频子信号的形状。连同图5进一步描述频移算法的示例。
[0050]随后使用触觉混合器460将触觉子信号混合为触觉信号。触觉混合器460可以根据许多混合技术中的一种混合触觉子信号。连同图6进一步描述示例混合技术。
[0051]在某些实施例中，使用触觉信号的最大绝对值可以把它归一化至I (图4未展示)。在其他实施例中，可以省略归一化。
[0052]另外，在某些实施例中，能够从触觉信号中清除一个或多个“噪声振动”(图4未展示)。“噪声振动”是包括与预定义值的偏差的触觉信号分段，其中此偏差低于预定义阈值。这个分段能够被标识为“噪声”，并且能够从触觉信号中去除。这样能够使触觉信号在被发送到触觉输出设备时产生“更清洁的”(即更适宜和有吸引力的)触觉效果。
[0053]能够使用不同的技术从触觉轨迹中清除能够被标识为“噪声”的一个或多个“噪声振动”。一种技术从触觉信号中获得多个“信息块”或“窗口”的样本，计算这些样本的平均绝对值(或者在另一实施例中最大的绝对值)，并且如果样本的计算的值低于预定义阈值则把这些样本标识为“噪声”。然后被标识为“噪声”的全部样本将使其值降低为O。另一种技术使用交错时间窗口。对于每个时间窗口，触觉信号的归一化值在两个更大的时间窗口内检查:(a)此时间窗口自身和在前的时间窗口 ；以及(b)此时间窗口自身和后续的时间窗口。如果在这两个时间窗口中，平均的归一化绝对值(或者在另一实施例中最大的归一化绝对值)低于预定义阈值，此时间窗口中的内容被标识为“噪声”，并且其值降低为O。在其他实施例中，可以省略从触觉信号中清除一个或多个噪声振动。
[0054]随后，触觉信号被发送给设备470，其中设备470被配置为基于接收的触觉信号产生和输出一个或多个触觉效果。设备470被进一步配置为接收来自多媒体文件410的输入信号，其中输入信号可以是音频信号、视频信号、音频数据和视频数据都包含的信号，或者某种其他类型的输入信号。设备470能够进一步被配置为基于输入信号产生和输出一个或多个效果，比如音频效果、视频效果或其他类型的效果。另外，设备470能够被进一步配置为产生一个或多个触觉效果，使得它们“补充”音频效果、视频效果或其他类型的效果。设备470在给定其配置(即触觉输出设备的数量和位置)时能够同时播放不同的触觉效果和
/或信号。
[0055]图5展示了根据本发明的实施例，移动输入信号的频率的示例。正如先前描述的，触觉转换算法能够通过把输入信号的频率组成从频带移动到触觉输出设备的共振频率周围的另一个频带，并且最终给移动后的输入信号乘以原始输入信号以保留原始输入信号的形状，而把输入信号转换为触觉信号。在图5展示的示例中，输入信号510被频移为触觉信号520。更确切地说，输入信号510包括300Hz至500Hz频带内的频率组成。不过，当输入信号510被频移为触觉信号520时，输入信号的频率组成从300Hz至500Hz的频带被移动到10Hz至200Hz的频带。因此，触觉信号520包括10Hz至200Hz频带内的频率组成。
[0056]在某些实施例中，使用输入信号510的快速傅氏变换实现频移。另外,可以使用多种频移技术中的一种，取决于“移动自”频带(如输入信号510的原始频带)和“移动至”频带(如触觉信号520的移动后频带)的尺寸。这是因为，取决于移动自频带和移动至频带的尺寸，要么以移动至频带内的单个频率取代移动自频带内的多个频率，要么以移动至频带内的多个频率取代移动自频带内的单个频率。
[0057]在移动自频带大于移动至频带的情况下，移动至频带的每个频率都表示移动自频带的多个频率。为了实现这种情况，根据某些实施例，可以使用三种频移技术中的一种。第一种频移技术是对移动自频带的多个频率的快速傅氏变换值求平均值，并且把该平均值赋予移动至频带的对应频率。第二种频移技术是对移动自频带的多个频率的快速傅氏变换值求和，并且把和值赋予移动至频带的对应频率。第三种频移技术是选择移动自频带中具有最大绝对快速傅氏变换值的频率，忽略移动自频带的其他频率，并且把最大绝对快速傅氏变换值赋予移动至频带的对应频率。
[0058]另一方面，在移动至频带大于移动自频带的情况下，移动自频带的每个频率都由移动至频带的多个频率表示。为了实现这种情况，可以使用两种频移技术中的一种。第一种频移技术是把移动自频带的频率的快速傅氏变换值赋予移动至频带的多个频率。第二种频移技术是把移动自频带的频率的快速傅氏变换值赋予移动至频带的单个频率(如最低频率)。
[0059]图6展示了根据本发明的实施例，被配置为混合多个触觉子信号的触觉混合器610的框图。正如先前描述的，可以把输入信号比如音频信号620转换为多个触觉子信号(图6展示为触觉轨迹)，其中触觉混合器610可以把触觉子信号混合为触觉信号。触觉混合器610可以根据许多混合技术中的一种混合触觉子信号，其中三种示例混合技术在图6中的630展示。
[0060]根据第一种混合技术，在631，对触觉子信号求和，并且使用触觉子信号的和值计算触觉信号。在某些实施例中，触觉信号随后被归一化。
[0061]根据第二种混合技术，在632,每个触觉子信号被分段为多个时间窗口。在633,对于每个时间窗口，识别对应输入信号中的一个或多个主频率。对于每个时间窗口，对原始输入信号中每个频率计算功率谱密度(“PSD”)值，并且把具有最高PSD值的N个频率标识为“主频率”，其中N是任何数量的频率。这N个频率属于由不同的输入子信号表示的不同频带。在634，在N个主频率的组中具有最多数量的频率的频带被标识为主频带。其对应的触觉子信号值被赋予在特定时间窗口的结果输出触觉信号。
[0062]根据第三种混合技术,在635,每个输入子信号被分段为多个时间窗口。在636,对于每个时间窗口，按频带计算PSD值，并且对于每个输入子信号还按频带计算PSD百分比贡献。更确切地说，对于每个时间窗口，计算每个输入子信号的PSD值，计算时间窗口的整体PSD值，以及对每个输入子信号计算输入子信号PSD值与整体PSD值的比值。输入子信号PSD值与整体PSD值的比值是对于该特定输入子信号的PSD百分比贡献。在637，对于每个时间窗口，每个触觉子信号根据其对应的输入子信号的PSD百分比贡献被加权，加权后触觉子信号被求和，并且基于每个时间窗口的触觉子信号的加权和计算触觉信号。
[0063]第三种混合技术源于以下事实:在输入子信号从始至终，频率组成能够显著地改变，从而能够显著地改变整个触觉子信号。当若干触觉子信号被加在一起时，给予每个触觉子信号相等的权重。不过，这可能没有考虑比如原始输入子信号对原始输入成分影响不大时的情况。通过给予与PSD百分比贡献有关的权重，每个触觉子信号对触觉信号的贡献将类似于其对应输入子信号对原始输入信号的贡献。特定时间窗口的结果触觉信号从而是全部触觉子信号之和，其中触觉子信号的每一个都由其对应输入子信号对此特定时间窗口的原始输入信号的贡献加权。
[0064]图7展示了根据本发明的实施例，触觉转换模块(比如图1的触觉转换模块16)的功能的流程图。流程开始并进至710。在710，接收输入。在某些实施例中，可以接收输入信号的分段。在其他实施例中，可以接收多媒体文件，并且能够从多媒体文件提取输入信号。在某些实施例中，输入信号可以是音频信号。在其他实施例中，输入信号可以是视频信号。在其他实施例中，输入信号可以是加速度信号。然后流程进至720。
[0065]在720,输入被分段为多个输入子信号。在某些实施例中，能够使用一个或多个滤波器对输入滤波，其中每个输入子信号都可以包括频带。另外，在这些实施例的某些中，这一个或多个滤波器包括至少一个带通滤波器。然后流程进至730。
[0066]在730，输入子信号被转换为触觉信号。在某些实施例中，输入子信号能够基于分析参数按优先级排列。能够选择一个或多个输入子信号，并且能够基于所选择的输入子信号产生触觉信号。在这些实施例的某些中，分析参数可以包括输入子信号的特征。另外，输入子信号的特征可以包括以下特征之一:频率、持续时间、包络、密度或幅度。甚至进一步，在这些实施例的某些中，触觉信号能够被变形为变形的触觉信号，其中能够基于此变形的触觉信号产生一个或多个触觉效果。
[0067]在其他实施例中，输入子信号能够被转换为触觉子信号。在这些实施例的某些中，把输入子信号转换为触觉子信号的方式可以为以下方式中的至少一个:给输入子信号乘以因子和正弦载波波形；给输入子信号乘以因子；或者把频率成分从输入子信号的第一频带移动到输入子信号的第二频带。另外，在这些实施例的某些中，能够使用唯一的触觉转换算法把每个输入子信号转换为触觉子信号。甚至进一步，在某些实施例中，能够执行输入子信号的快速傅氏变换。
[0068]不仅如此，在把频率组成从输入子信号的第一频带移动到输入子信号的第二频带的实施例中，所述移动能够包括下列步骤中的至少一个:对输入子信号的第一频带内的多个频率的多个快速傅氏变换值求平均值，并且把平均值赋予输入子信号的第二频带内的频率；对输入子信号的第一频带内的多个频率的多个快速傅氏变换值进行求和，并且把此和值赋予输入子信号的第二频带内的频率；从输入子信号的第一频带内的多个频率的多个快速傅氏变换值中选择具有最大绝对值的快速傅氏变换值，并且把所选择的快速傅氏变换值赋予输入子信号的第二频带内的频率；把输入子信号的第一频带内的频率的快速傅氏变换值赋予输入子信号的第二频带内的多个频率；或者把输入子信号的第一频带内的频率的快速傅氏变换值赋予输入子信号的第二频带内的最低频率。
[0069]在某些实施例中，然后可以把触觉子信号混合为触觉信号。在这些实施例的某些中，混合可以包括下列步骤之一:把多个触觉子信号相加成为触觉信号并对触觉信号归一化；把输入信号分段为一个或多个时间窗口，对每个时间窗口分析多个输入子信号的多个频率，以及对每个时间窗口从多个触觉子信号中选择触觉子信号作为触觉信号，其中所选择的触觉子信号包括多个频率中的频率；或者把该触觉信号分段为一个或多个时间窗口，对每个时间窗口计算多个输入子信号的每个输入子信号的功率谱密度百分比贡献，以及对每个时间窗口计算多个触觉子信号的加权组合作为触觉信号，其中每个触觉子信号的权重基于对应输入子信号的功率谱密度百分比贡献。
[0070]在某些实施例中，触觉信号能够使用其最大绝对值被归一化至I。另外，在某些实施例中，可以从触觉信号中清除一个或多个噪声振动。在这些实施例的某些中，能够从触觉信号中选择一个或多个样本触觉子信号。对这一个或多个所选择的样本触觉子信号中的每个所选择的样本触觉子信号能够计算平均绝对值。每个平均绝对值都能够与阈值进行对t匕。当样本触觉子信号对应的平均绝对值小于该阈值时，能够从该触觉信号中去除它。然后流程进至740。
[0071]在740，基于触觉信号产生一个或多个触觉效果。在某些实施例中，能够把触觉信号发送到触觉输出设备以产生这一个或多个触觉效果。在这些实施例的某些中，触觉输出设备可以是执行机构。然后流程结束。
[0072]因此，在一个实施例中，系统能够把输入滤波为一个或多个频带，基于一个或多个预定的分析参数分析和按优先级排列这一个或多个频带，基于该优先级选择这些频带中的至少一个，并且能够使用所选择的频带产生最终被用于产生一个或多个触觉效果的触觉信号。通过分析输入的多个频带并基于优先级选择一个或多个频带，对整个输入给出了在触觉信号中显现的机会。更确切地说，能够包含输入的整个频谱，并且能够选择一个或多个特定频带，比如从用户角度最明显的一个或多个频带。这可以导致对输入更“定制化的”触觉效果，而不仅仅是不首先分析输入的多个频带就选择输入的频带。通过对输入滤波并使输入的多个频带按优先级排列，系统能够使触觉效果进一步“完美”，它的产生能够“补充”输入。另外，这样的解决方案能够是第一流的解决方案，能够由未来的触觉转换算法扩展。
[0073]另外，在另一个实施例中，系统能够把输入滤波为一个或多个频带，把每个频带转换为触觉子信号，并且把这些触觉子信号混合为最终被用于产生一个或多个触觉效果的触觉信号。系统能够产生有吸引力的触觉效果，它“补充”输入而不需要任何人为干预，比如创作的效果。这样的系统可以在任何移动设备上实施，比如平板电脑或智能电话，并且能够使用该设备的处理能力以及该设备的触觉回放组件传递更丰富的体验，比如更丰富的视频观赏体验或更丰富的音乐聆听体验。另外，不像先前的解决方案，该系统能够尝试基于全部输入而不是该输入的特定分段，比如输入的低频成分，来产生触觉信号。正如先前描述的，这可以通过在给定现有频率时对输入内容重新分组，并且根据每个组的频率概况和根据触觉播放设备适宜地处理该组来实现。这样的方案能够产生“补充”输入的更“完美”的触觉效果。
[0074]本说明书自始至终描述的本发明的特点、结构或特征可以在一个或多个实施例中以任何适宜的方式组合。例如，本说明书自始至终对“一个实施例”、“某些实施例”、“某个实施例”或其他类似语言的使用是指如下事实:连同此实施例描述的某具体特点、结构或特征可以被包括在本发明的至少一个实施例中。因此，短语“一个实施例”、“某些实施例”、“某个实施例”或其他类似语言在本说明书自始至终的出现不一定全都指同一组的实施例，而且所描述的特点、结构或特征可以在一个或多个实施例中以任何适宜的方式组合。
[0075]本领域的普通技术人员将不难理解，以上讨论的本发明能够以不同次序的步骤以及/或者以采用与所公开的配置不同的配置的元件实行。所以，尽管已经根据这些优选实施例描述了本发明，但是对本领域的技术人员显而易见，一定的修改、变化和替代构建会是显然的，同时保留在本发明的实质和范围之内。所以为了确定本发明的边界和限度，应当参考附带的权利要求书。
【权利要求】
1.一种用于使用分段和组合把输入转换为一个或多个触觉效果的计算机实施的方法，所述计算机实施的方法包括: 接收输入； 把所述输入分段为多个输入子信号； 把所述多个输入子信号转换为触觉信号；以及 基于所述触觉信号产生所述一个或多个触觉效果。
2.根据权利要求1所述的计算机实施的方法， 其中，把所述输入分段进一步包括使用一个或多个滤波器对所述输入滤波；以及 其中，每个输入子信号都包括频带。
3.根据权利要求2所述的计算机实施的方法，其中，接收所述输入进一步包括接收输入信号的分段。
4.根据权利要求3所述的计算机实施的方法，其中，把所述多个输入子信号转换为触觉信号包括: 基于分析参数使所述多个输入子信号按优先级排列； 从所述多个输入子信号中选择一个或多个输入子信号；以及 基于所述一个或多个选择的输入子信号产生所述触觉信号。
5.根据权利要求2所述的计算机实施的方法，其中，接收所述输入进一步包括: 接收多媒体文件；以及 从所述多媒体文件提取输入信号。
6.根据权利要求5所述的计算机实施的方法，其中，把所述多个输入子信号转换为触觉信号包括: 把所述多个输入子信号转换为多个触觉子信号；以及 把所述多个触觉子信号混合为触觉信号。
7.根据权利要求6所述的计算机实施的方法，其中，把所述多个输入子信号转换为所述多个触觉子信号进一步包括下列步骤中的至少一个: 给输入子信号乘以因子和正弦载波波形； 给所述输入子信号乘以因子；或者 把频率组成从所述输入子信号的第一频带移动到所述输入子信号的第二频带。
8.根据权利要求7所述的计算机实施的方法，其中，把所述频率组成从所述输入子信号的第一频带移动到所述输入子信号的第二频带进一步包括执行所述输入子信号的快速傅氏变换。
9.根据权利要求8所述的计算机实施的方法，其中，把所述频率组成从所述输入子信号的第一频带移动到所述输入子信号的第二频带进一步包括下列步骤中的至少一个: 对所述输入子信号的第一频带内的多个频率的多个快速傅氏变换值求平均值，以及把平均值赋予所述输入子信号的第二频带内的频率； 对所述输入子信号的第一频带内的多个频率的多个快速傅氏变换值进行求和，并且把所述和值赋予所述输入子信号的第二频带内的频率； 从所述输入子信号的第一频带内的多个频率的多个快速傅氏变换值中选择具有最大绝对值的快速傅氏变换值，并且把所选择的快速傅氏变换值赋予所述输入子信号的第二频带内的频率； 把所述输入子信号的第一频带内的频率的快速傅氏变换值赋予所述输入子信号的第二频带内的多个频率；或者 把所述输入子信号的第一频带内的频率的快速傅氏变换值赋予所述输入子信号的第二频带内的最低频率。
10.根据权利要求6所述的计算机实施的方法，其中，把所述多个触觉子信号混合为触觉信号包括下列步骤中的至少一个: 把所述多个触觉子信号相加成为所述触觉信号以及使所述触觉信号归一化； 把所述触觉信号分段为一个或多个时间窗口，对每个时间窗口分析所述多个触觉子信号的多个频率，以及对每个时间窗口从所述多个触觉子信号中选择触觉子信号作为所述触觉信号，其中，所选择的触觉子信号包括所述多个频率中的频率；或者 把所述输入信号分段为一个或多个时间窗口，对每个时间窗口计算所述多个输入子信号的每个输入子信号的功率谱密度百分比贡献，以及对每个时间窗口计算所述多个对应触觉子信号的加权组合作为所述触觉信号，其中，每个触觉子信号的权重基于每个对应输入子信号的功率谱密度百分比贡献。
11.一种用于使用分段和组合把输入转换为一个或多个触觉效果的系统，所述系统包括: 存储器，被配置为存储触觉转换模块；以及 处理器，被配置为执行所述存储器上存储的所述触觉转换模块； 其中，所述触觉转换模块被配置为接收输入； 其中，所述触觉转换模块进一步被配置为把所述输入分段为多个输入子信号； 其中，所述触觉转换模块进一步被配置为把所述多个输入子信号转换为触觉信号；以及 其中，所述触觉转换模块进一步被配置为基于所述触觉信号产生所述一个或多个触觉效果。
12.根据权利要求11所述的系统，其中， 所述触觉转换模块进一步被配置为使用一个或多个滤波器对所述输入滤波；以及 每个输入子信号都包括频带。
13.根据权利要求12所述的系统， 其中，所述触觉转换模块进一步被配置为接收输入信号的分段； 其中，所述触觉转换模块进一步被配置为基于分析参数使所述多个输入子信号按优先级排列； 其中，所述触觉转换模块进一步被配置为从所述多个输入子信号中选择一个或多个输入子信号；以及 其中，所述触觉转换模块进一步被配置为基于所述一个或多个选择的输入子信号产生所述触觉信号。
14.根据权利要求12所述的系统， 其中，所述触觉转换模块进一步被配置为接收多媒体文件； 其中，所述触觉转换模块进一步被配置为从所述多媒体文件提取输入信号； 其中，所述触觉转换模块进一步被配置为把所述多个输入子信号转换为多个触觉子信号；以及 其中，所述触觉转换模块进一步被配置为把所述多个触觉子信号混合为触觉信号。
15.一种具有存储其上的指令的计算机可读介质，由处理器执行所述指令时，使所述处理器实施根据权利要求1-10中的一个的方法。
【文档编号】G06F3/041GK104423707SQ201410447604
【公开日】2015年3月18日 申请日期:2014年9月4日 优先权日:2013年9月6日
【发明者】J·萨布尼, J·M·克鲁兹-埃尔南德斯, S·S·巴哈迪亚 申请人:意美森公司