解复用触觉信号的方法和系统与流程

对相关申请的交叉引用

本申请要求于2013年11月21日提交的临时专利申请序列no.61/907,138的优先权和于2013年9月6日提交的临时专利申请序列no.61/874,920的优先权，其中每个申请的内容都通过引用被结合于此。

一种实施例针对启用触觉(haptically-enabled)的设备。更具体地，一种实施例针对多路复用或解复用触觉信号以产生触觉效果的系统。

背景技术：

电子设备制造商努力为用户生产丰富的接口。传统设备使用视觉和听觉提示向用户提供反馈。在一些接口设备中，也向用户提供动觉反馈(kinestheticfeedback)(例如主动力和抵抗力反馈)和/或触知反馈(tactilefeedback)(例如振动、纹理和热度)，通常已知地统称为“触觉反馈(hapticfeedback)”或“触觉效果(hapticeffect)”。触觉反馈可提供增强和简化用户接口的提示。例如，振动效果，或振动触觉的触觉效果会有助于给电子设备用户提供提示以提醒用户特定事件，或在模拟或虚拟环境中提供逼真的反馈以产生更强烈的感官浸入。

触觉反馈也已经越来越多地结合在便携式和移动电子设备中，诸如蜂窝电话、智能手机、便携式游戏设备、基于车辆的设备和接口、及各种其它便携式和移动电子设备。例如，一些便携式游戏应用能够以类似于与配置为提供触觉反馈的更大规模游戏系统一起使用的控制设备(例如操纵杆等)那样的方式进行振动。

为了产生振动或其它效果，许多设备利用某种类型的致动器或触觉输出设备。用于这种目的的已知致动器包括诸如螺线管致动器的电磁致动器、其中偏心质量由电机驱动的偏心旋转质量(“erm”)致动器、线性谐振致动器振动电机(“lra”)、或压电致动器。这些目标触觉致动器中的每一个都接收触觉控制信号，触觉控制信号提供用于触觉效果的参数。但是，对于特定的触觉效果，触觉控制信号可能需要基于提供该触觉效果的执行器而改变。因此，对于一种触觉致动器，控制信号可以是一种类型的信号表示，例如，开或关的状态，而对于另一种触觉致动器，控制信号可以是另一种类型的信号表示，例如，位置值。

技术实现要素：

一种实施例接收其中编码有两种或更多种不同类型的触觉信号的多路复用信号。每种类型的触觉信号表示用于不同类型触觉输出设备的触觉效果。该系统确定位于触觉回放设备上的目标触觉输出设备。该系统把多路复用信号解复用成至少对应于目标输出设备的触觉信号类型。该系统向目标触觉输出设备提供解复用的触觉信号。

附图说明

图1是根据本发明一种实施例的启用触觉的系统的示图。

图2是说明根据一种实施例的多路复用触觉控制信号的高层逻辑的框图。

图3是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。

图4是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。

图5是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。

图6是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。

图7是说明根据一种实施例的把触觉控制信号多路复用到多信道流中的高层逻辑的框图。

图8包含根据一种实施例的用于多信道文件的头信息的例子。

图9是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。

具体实施方式

一种实施例是从同一输入或来源产生至少两种触觉信号的系统。这两种触觉信号表示要在两种不同的目标触觉输出设备上播放的触觉效果。该系统把这些信号多路复用/编码成发送到触觉回放设备的单个多路复用的触觉信号流。在触觉回放设备，信号被解复用/解码并且基于触觉输出设备的类型在设备上播放适当的触觉信号。

图1是根据本发明一种实施例的启用触觉的系统10的框图。系统10包括触摸敏感表面11或安装在外壳15内的其它类型的用户接口，并且可以包括机械式按键/按钮13。系统10内部是在系统10上产生振动的触觉反馈系统。在一种实施例中，振动在触摸表面11上产生。

触觉反馈系统包括处理器或控制器12。耦合到处理器12的是存储器20和致动器驱动电路16，致动器驱动电路16耦合到致动器18。致动器18可以是任何类型的直流(“dc”)电机，包括但不限于偏心旋转质量(“erm”)致动器、线性谐振致动器振动电机(“lra”)、压电电机、或螺线管致动器。除了致动器18或作为其替代，系统10可以包括其它类型的触觉输出设备(未示出)，其可以是非机械或非振动设备，诸如使用静电摩擦(“esf”)，超声表面摩擦(“usf”)的设备、利用超声触觉换能器感应出声辐射压力的设备、使用触觉基板及可弯曲或可变形表面或形状改变设备和可以连接到用户身体的设备、提供突出的触觉输出的设备，诸如利用空气喷嘴的一股空气、提供电肌肉刺激的设备，等等。

处理器12可以是任何类型的通用处理器，或者可以是专门设计成提供触觉效果的处理器，诸如专用集成电路(“asic”)。处理器12可以是操作整个系统10的同一处理器，或者可以是单独的处理器。处理器12可以基于高层参数确定要播放哪些触觉效果和这些效果播放的次序。通常，定义特定触觉效果的高层参数包括幅度，频率和持续时间。也可以使用诸如流动电机命令的低层参数确定特定的触觉效果。如果触觉效果包括这些参数在产生触觉效果时的一些变化或这些参数基于用户交互的变化，那么触觉效果可被认为是“动态的”。

处理器12向致动器驱动电路16输出控制信号，其中致动器驱动电路16包括用来给致动器18提供所需电流和电压(即，“电机信号”)以引起期望的触觉效果的电子元件和电路系统。在其中触觉效果对应于诸如视频文件的多媒体文件回放的情况下，处理器12可以向触觉驱动电路提供触觉控制信号。系统10可以包括多于一个致动器18，并且每个致动器可以包括单独的驱动电路16，所有驱动电路耦合到公共处理器12。存储器设备20可以是任何类型的存储设备或计算机可读介质，诸如随机存取存储器(“ram”)或只读存储器(“rom”)。存储器20存储由处理器12执行的指令。在这些指令当中，存储器20包括触觉效果模块22，其是当被处理器12执行时为致动器18产生提供触觉效果的驱动信号的指令，如下面更详细地公开的。存储器20也可以位于处理器12或者内部和外部存储器的任意组合的内部。

触摸表面11识别触摸，并且还可以识别表面上触摸的位置和幅度。对应于触摸的数据被发送到处理器12，或者系统10中的另一个处理器，并且处理器12解释这些触摸并且作为响应产生触觉效果信号。触摸表面11可以利用任何感测技术，包括电容性感测、电阻性感测、表面声波感测、压力感测、光学感测等，来感测触摸。触摸表面11可以感测多触摸接触并且能够区分在同一时间发生的多个触摸。触摸表面11可以是为用户生成并显示图像以与诸如键、拨号盘等交互的触摸屏，或者可以是具有少量图像或没有图像的触摸板。

系统10可以是手持设备，诸如蜂窝电话、个人数字助理(“pda”)、智能电话、计算机平板电脑、游戏控制台、基于车辆的接口等，或者可以是包括含有一个或多个致动器的触觉效果系统的任何其它类型的设备。用户接口可以是触摸敏感表面，或者可以是任何其它类型的用户接口，诸如鼠标、触摸板、迷你操纵杆、滚轮、跟踪球、游戏板或游戏控制器等。在具有多于一个致动器的实施例中，每个致动器可以具有不同的旋转能力，以便在设备上创建大范围的触觉效果。

除了提供用户接口触觉效果，系统10还可以提供静态生成的触觉效果，用于在系统10中与例如视频或音频文件一起回放。

不同的设备支持不同级别的触觉回放能力。被触觉回放设备支持的触觉信号类型取决于使用的致动器和该致动器的驱动电路的组合。一些设备可能只支持“基本触觉”，其利用触觉信号控制诸如致动器18的触觉致动器，其中触觉信号根据开/关(on/off)二进制信号打开或关闭致动器。用于基本触觉信号的一个采样率可以是200hz，但是可以使用其它的采样率。在基本触觉信号的一个例子中，erm致动器可以配置成响应基本触觉信号。如果控制信号告诉erm要打开，则用于erm致动器的触觉驱动电路(例如，驱动电路16)将根据该基本触觉信号打开erm致动器。

一些设备可支持“标准清晰度”触觉，其利用触觉信号控制诸如致动器18的触觉致动器，该触觉信号根据利用128个非负的值中的一个为标准清晰度触觉信号的每个样本编码的信号改变触觉效果的强度。用于标准触觉信号的一个采样率可以是200hz，但是可以使用其它的采样率。在标准清晰度触觉信号的一个例子中，lra致动器可以配置成响应标准清晰度触觉信号。用于lra致动器的触觉驱动电路将根据在每个5ms样本的幅值信息控制lra致动器。

一些设备可支持“高清晰度”触觉，其利用触觉信号控制诸如致动器18的触觉致动器，该触觉信号根据利用+/-127的值为高清晰度触觉信号的每个样本编码的信号改变触觉效果的强度。用于高清晰度触觉信号的一个采样率可以是8khz，但是可以使用其它的采样率。高清晰度触觉信号通常具有比基本触觉或标准清晰度触觉信号高的采样率。在高清晰度触觉信号的一个例子中，压电致动器可以配置成响应高清晰度触觉信号。用于压电致动器的触觉驱动电路可以每125μs根据幅值信息控制压电致动器。

而且，在lra致动器和erm致动器之间并且甚至在不同型号的erm致动器之间斜坡上升/下降时间差别显著。这意味着即使可以为多个erm使用相同类型的信号，触觉效果程序员也可能想基于每个致动器的能力来规定不同的效果。触觉效果程序员可能想为大量的目标设备提供定制的触觉信号，每一信号从同一来源产生。

当试着交付跨最广范围的设备都相当好地播放的单件媒体内容时，问题产生了。因此，触觉效果程序员所面临的一个问题是他们可能需要负责基于回放设备中的致动器或其它触觉输出设备的类型提供多个触觉控制信号。此外，程序员可能不知道哪种类型的触觉输出设备将在回放设备上使用。为了解决这个问题，程序员可以提供预期用于压电致动器或lra致动器的高清晰度或标准清晰度信号并且允许终端设备按需把那个信号“包裹”成较低或更高清晰度信号。这不是理想的，因为，例如，在标准清晰度触觉信号预期用于lra致动器但实际上在压电致动器上回放的情况下，在把200hz的信号转换成8khz的信号，基本上把压电致动器变成昂贵的lra致动器时，将会丢失粒度。在高清晰度信号预期用于压电致动器但实际上在只支持基本触觉的erm致动器上回放的情况下，这种转换会导致erm致动器失效。

一种选项可以是为终端设备中每种预期范围的触觉输出设备提供触觉控制信号，但在这样做时，用于触觉信号的带宽需求将会增加并且需要某些交付机制来组织信号。另一种选项可以是利用为最高比特率信号正常分配的带宽以有损方式把两个或更多的触觉信号编码在一起以把来自这两个或更多的触觉信号的数据组合成一个信号。这两种方法都在本文加以考虑。

编码/解码多路复用

一些实施例多路复用多个触觉信号，使得每个信号保留其原有的表示而无需诸如设备10的终端设备来把一种格式转换成另一种格式，并且不用增加需要提供给触觉控制信号的带宽。这些实施例为基本触觉信号至少提供了端点的解决方案；因为终端设备的能力对于触觉程序员来说不需要提前知道，在没有至少基本触觉信号可用的情况下，在回放设备上运行的应用内的内容播放会由于不充分的触觉信号转换结果而严重损坏。通过把基本触觉信号多路复用成组合的触觉波形，至少产生了高质量的基本触觉体验。

图2是说明根据一种实施例的多路复用触觉控制信号的高层逻辑的框图。元件205、210和215分别对应于触觉流a、b和c。在220，触觉流a、b和c被多路复用成单个组合的流。在225，该组合的流被交付给回放设备用于渲染成触觉效果。在230，该组合的流在诸如图1的设备10的回放设备被解复用，用于呈现给用户。在240，触觉流a在处理器12加以考虑并且如果用于流a的流类型对应于在系统中使用的致动器类型，则在244，该流通过驱动电路16和致动器18在系统上播放，否则的话，在242，该流被忽略。在250，触觉流b在处理器12加以考虑，并且如果用于流b的流类型对应于在系统中使用的致动器的类型，则在254，该流通过驱动电路16和致动器18在系统上播放，否则的话，在252，该流被忽略。在260，触觉流c在处理器12加以考虑，并且如果用于流c的流类型对应于在系统中使用的致动器的类型，则在264，该流通过驱动电路16和致动器18在系统上播放，否则的话，在262，该流被忽略。作为替代，在一些实施例中，解复用器230能够访问描述在系统10中使用的致动器类型的信息。在这样的实施例中，在解复用230，解复用器提取适当的触觉流并将其发送到驱动电路16。

在一些实施例中，多路复用是在触觉编程环境中通过触觉程序员或通过利用能够分析音频文件，诸如与视频文件关联的音频文件，并生成与音频文件对应的触觉效果文件的工具来执行。例如，avid公司的protools“audiosuite”插件可以包含离线音频到触觉转换器。转换算法也可以在批命令行格式下使用，以把音频信号转换成触觉信号，并且如本文所描述的，还可以用于多路复用信号。能够产生三种基本类型触觉效果：基本触觉信号，标准清晰度触觉信号及高清晰度触觉信号(这三种在本文中也称为“控制信号”)。本领域技术人员将理解，可以开发其它类型的并且在转换中可以涉及其它的参数，使得每种类型能有触觉流的多种变化。无论来源是音频源转换或由触觉程序员规定的触觉效果，这三种触觉流中的每一种都来自同一输入或来源(并且预期提供同样的一般触觉效果)，但由于不同的可用触觉输出设备技术，因此它们是不同的。这三种流可以在220被多路复用成单个流。然后，多路复用信号可被下载或流动到触觉回放设备10。多路复用和解复用可在不同的设备中或同一设备中完成。多路复用信号将在230在回放设备10中被解复用，并且对应于回放设备10中的致动器18的类型的触觉信号将被用于播放触觉效果。其它的流可以忽略。在一些实施例中，在230的解复用可发生在流服务器，而回放设备10基于致动器18的类型来请求特定的触觉信号。然后，流服务器可以解复用触觉信号并且使适当的触觉信号流给致动器18。

图3是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。在一种实施例中，图3(和下面的图4-6与9)的流程图的功能性由存储在存储器或其它计算机可读或有形介质中的软件实现，并且被处理器执行。在其它实施例中，功能性可以由硬件(例如，通过使用专用集成电路(“asic”)、可编程门阵列(“pga”)、现场可编程门阵列(“fpga”)等)、或硬件和软件的任意组合来执行。

在一些实施例中，基本触觉信号与标准清晰度信号进行多路复用。如上所述，基本触觉信号通常由在大约5ms或200hz频率表示的开或关状态的各单个位信息的离散样本构成。标准清晰度控制信号通常由同样在200hz频率的带符号字节信息的离散幅值样本构成。在图3中的多路复用过程在一种实施例中是位字段组合，其中标准清晰度信号的符号位改为用于编码基本触觉信号。

在305，分别从基本触觉流和标准清晰度流中接收基本触觉样本和标准清晰度样本。在310，通过把字节与值0x7f(01111111)按位与来提取标准清晰度信号的低7位。结果产生的字节将始终以0(零)开始。在一些实施例中，如果标准清晰度信号是利用+/-127的值的全范围信号(fullrangesignal)，则样本字节可进行右移位以把值除以二，但是保留符号位。在315，基本触觉信号由字节(0x00或0x01之一，十六进制)表示并且位被左移7次，以把最低有效位移动到最高有效位，结果产生0x80或者0x00的值。在320，通过按位或这两个值生成单个字节(或者可把它们加在一起)来组合标准清晰度和基本触觉信号，最高有效位对应于基本触觉信号并且最低有效位对应于标准清晰度信号。为每个样本重复这个操作，以生成全部多路复用触觉信号。

为了在回放时解复用组合的信号，在350，组合的信号将作为用于样本的单个字节的信息被接收。在355，通过把该字节与0x7f按位与以产生标准清晰度样本字节，将提取标准清晰度信号样本。在一些实施例中，如果标准清晰度信号是利用原来的+/-127的值的全范围信号，则信号样本可进行左移位以把样本值乘以二，恢复符号位。在以下进一步详细解释的插值可用于恢复当全范围标准清晰度信号被除以二时丢失的信号级别之间的粒度。在360，通过取得原来组合的信号并右移7次，把最高有效位放到最低有效位的位置并且前面用零填充，将提取基本触觉信号。在365，为在设备中找到的致动器类型选择正确的信号。合适的解复用信号由处理器12发送到致动器18。

图4是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。对于这种实施例，高清晰度触觉信号(例如与压电致动器一起使用的)与标准清晰度触觉信号进行多路复用。在一些实施例中，高清晰度触觉信号由在8khz的全波形表示，其在任何给定的样本都带有值，并且是有从-127到127范围内的值的信息字节。其它实施例可以利用在其它频率和范围的全波形表示高清晰度触觉信号，诸如在16khz的频率。在一些实施例中，高清晰度信号的频率可以变化。在一些实施例中，标准清晰度控制信号(例如与lra致动器一起使用的)是在任何给定样本都由带符号的信息字节表示的在200hz的幅值信号。其它实施例可以在其它频率和范围表示标准清晰度信号，诸如在300hz的频率。在一些实施例中，标准清晰度信号的频率也可以变化。本领域普通技术人员将理解，这些频率和范围可以变化，并且将理解，设计成播放高清晰度信号的致动器比设计成播放标准清晰度信号的致动器通常可以处理高的多的频率信号。图4中的多路复用过程可在高清晰度信号的样本子集上创建dc偏移。

在405，接收高清晰度和标准清晰度控制信号。在410，标准清晰度控制信号被上采样以匹配高清晰度控制信号频率。取决于标准清晰度信号频率是否是高清晰度控制频率的直接倍数，可能期望一些减少阶梯效应并提供平滑效果的插值。在415，这两个信号被除以二，丢弃余数。这种除法可以通过把每个样本右移一个位置，并丢弃最低有效位来实现。在其它的实施例中，在415，这两个信号被缩放，使得它们的相加落入输出的预期范围之内。例如，在其中输出预期为在+/-127的范围的情况下，在一种实施例中，高清晰度信号可缩放60％并且标准清晰度信号可缩放40％，使得它们的相加将等于100％。这可以通过已知的方法来实现，例如，通过带浮点值的乘法器或通过带标量值的除法器。取决于设计者希望如何强调一个信号比另一个信号更高的准确性，这些值可以以任何的表示进行缩放。通常，当解码/解复用时，较高缩放的信号将更准确。在420，这两个信号被加在一起以生成组合的信号。对于某些信号，这有效地创建了对高清晰度信号的dc偏移，因为标准清晰度信号在比高清晰度信号低很多的频率改变，因此表现为对高清晰度控制信号的dc偏移。因为这两个信号被除以二(或者如上所述被缩放到一些其它的值)，所以由于范围从-127至127减到-63至63，对于这两个信号都丢失了一些粒度。为每个样本重复这个操作，以生成全部多路复用触觉信号。

为了在回放设备10解复用组合的信号，在450，接收组合的多路复用信号。该8khz组合的信号的任何给定样本都用字节表示。在455，dc偏移被去除。用于去除dc偏移的技术在本领域是已知的。对于标准清晰度信号来说，可使组合的信号通过低通滤波器，从而允许低频标准清晰度信号通过，但阻止高频高清晰度信号通过。对于高清晰度信号来说，标准清晰度信号可以从组合的信号中减去来生成高清晰度信号。作为替代，可使组合的信号通过高通滤波器，从而允许高频高清晰度信号通过，但阻止低频标准清晰度信号通过。可以用于去除dc偏移的其它技术包括类似于这个例子中的低通滤波器的包络(enveloping)技术。在460，用于标准清晰度控制和高清晰度控制的每个提取信号都被乘以二(或者缩放回如上所述它们原来比例的值，例如在高清晰度信号的情况下除以60％)，以使它们回到与多路复用之前的值接近的值。在一种实施例中，为了提高粒度，可以如所期望的在值之间使用插值以提供平滑的过渡。例如，在解复用并翻倍之后具有值4，4，6，6，8，8，10的样本集合可被插值成4，5，6，7，8，9，10。同样，在460，标准清晰度信号可被下采样回到200hz或任何起始时的频率。在465，为在设备10中找到的致动器类型选择正确的信号。合适的解复用信号由处理器12发送到致动器18。

在一些实施例中，多路复用和解复用可以说明标准清晰度和高清晰度信号的有效频率的特征。即使高清晰度信号以比标准清晰度信号更高的频率采样，标准清晰度信号也可被上采样以与高清晰度信号相匹配。这些信号可以通过一个样本接一个样本地采取这两个信号的平均值进行组合(把每个样本除以2并且把它们相加)。把信号除以2的行为把每个的分辨率减少了一位(每个样本信号8位变成每个样本信号7位)。这种分辨率丢失使得这两个信号的逼真度略微降低。在这两个信号组合之后，上采样的标准清晰度信号类似于对高清晰度信号的dc偏移。为了提取标准清晰度信号，可以使用低通滤波器来隔离dc偏移。可以使用陷波(notch)或高通滤波器来隔离高清晰度信号的频率。

可能在多路复用之前高清晰度信号包含dc偏移。在这种情况下，在标准清晰度信号中的添加会增加多路复用信号的dc偏移或使其无效，其中dc偏移在解复用之后，会导致高清晰度信号在低频率中的信息丢失以及由于包括来自高清晰度信号的低频率信息而导致的标准清晰度信号的失真。因此，在一些实施例中，以上流程可被改变，使得在415，在把两个信号加在一起之前，当标准清晰度信号频率相当低，例如小于30hz时，利用高通滤波器过滤高清晰度信号，或者当标准清晰度变化更多，例如175hz到250hz的频率时，利用陷波滤波器陷波过滤高清晰度信号。然后，在解复用方面上，在455，在其中高通滤波器在415应用到高清晰度信号的情况下，可以把低通滤波器应用到多路复用信号以提取标准清晰度信号。在其中陷波滤波器在415应用到高清晰度信号的情况下，可以使用带通滤波器来提取标准清晰度信号。因为标准清晰度信号可以填充到高清晰度信号中的过滤点中，所以多路复用信号可用于高清晰度信号。可以在高清晰度信号上使用平滑滤波器。

此外，图3和图4中的两种多路复用技术可以组合以提供包括基本触觉信号、标准清晰度触觉信号及高清晰度触觉信号的三路复用信号。为了多路复用这些信号，首先，如结合图3所描述的，基本触觉信号将与标准清晰度触觉信号进行多路复用，然后，如以上结合图4所描述的，多路复用的基本/标准清晰度信号将充当标准清晰度信号用于与高清晰度信号进行多路复用。为了解复用，首先，如结合图4所描述的，基本/标准清晰度信号将从高清晰度信号中解复用。然后，如以上结合图3所描述的，标准清晰度和基本触觉信号将被解复用。

图5是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。作为图4中的多路复用技术的替代，不是组合标准清晰度和高清晰度信号来为每个采样的字节生成组合的信号，而是两种信号可以进行交错。在505，接收标准清晰度和高清晰度触觉控制信号。在510，通过把标准清晰度信号的样本代入高清晰度信号来组合这两种信号。因为标准清晰度信号与高清晰度信号比较而言发生在低得多的频率，所以高清晰度信号的样本可以用标准清晰度信号的样本替代而不会对高清晰度信号有太多损失。例如，如果高清晰度信号是在8khz并且标准清晰度信号是在200hz，则对每40个高清晰度样本，标准清晰度样本发生一次。因此，第40个高清晰度样本可以用相应的标准清晰度样本替代。当然，这使得压电信号的一些样本丢失。

在一些实施例中，标准清晰度信号也可进行上采样以使得替代更频繁地发生。例如，通过用标准清晰度样本替代每第八个高清晰度样本并且用同一值的标准清晰度样本重复同样的替代五次，标准清晰度信号可被有效地上采样到1khz。在一些实施例中，当标准清晰度信号频率相当高时，例如175hz至250hz的频率，标准清晰度信号的包络可利用已知技术来提取并进行上采样，这将保留触觉的意图与内容。然后，新的标准清晰度信号可以用更高的采样率(例如1khz，如上)创建并且该信号乘以包络。通过提供较小的处理缓冲区酌情把高清晰度和标准清晰度控制信号传递到致动器可以帮助提高替代频率。而且，提高替代频率增加了以其处理标准清晰度样本的粒度并且可以提供更好的性能。但是，提高替代频率也增加了高清晰度信号中信号信息的丢失。在一些实施例中，无论选择什么替代频率都可以通过编码紧接在所替代值之前的高清晰度信号值样本，把前面样本的最高有效位用去除样本的最低有效位代替来最小化损失。这通过把一些样本信息编码到之前的样本中，为去除的样本保留了一些样本信息。

为了解复用组合的标准清晰度和高清晰度控制信号，在550，接收多路复用信号。在555，多路复用信号以与替代所使用的频率一样的频率进行二次采样。在其中替代发生在200hz(与标准清晰度信号频率一样)的情况下，这每5ms进行的。二次采样样本可被组合以表示标准清晰度信号并且剩余信号可被组合以表示高清晰度信号。在560，为高清晰度信号处理剩余信号。去除标准清晰度信号在高清晰度信号中标准清晰度信号被替代的地方留下空洞。可通过采用在该空洞前和后的信号值的平均值、通过重复在该空洞之前的信号值或通过重复在该空洞之后的信号值来填充该空洞。在一些实施例中，如果之前样本的四个最高有效位用丢失样本信息的四个最低有效位如上述编码，则通过取之前样本的四个最高有效位作为丢失样本的四个最低有效位并且把先前样本之前的样本的四个最高有效位借给先前样本和丢失样本，丢失样本可被解码。在一种实施例中，丢失样本的四个最高有效位可从紧接着丢失样本的样本中借。换句话说，考虑一系列样本，用于丢失样本的四个最高有效位将来自到右侧的样本并且用于先前样本的四个最高有效位将来自到左侧的样本。这种编码/解码技术提高了性能，因为最高有效位不太可能从一个样本到下一个样本改变，而是在许多样本上渐渐地改变。

此外，图3和图5中的两种多路复用技术可以组合以提供包括基本触觉信号、标准清晰度触觉信号及高清晰度触觉信号的三路复用信号。为了多路复用这些信号，首先，如结合图3所描述的，基本触觉信号将与标准清晰度触觉信号进行多路复用，然后，多路复用的基本/标准清晰度信号将充当标准清晰度信号以与高清晰度信号进行多路复用，如结合图5所描述的。为了解复用，首先，如结合图5所描述的，基本/标准清晰度信号将从高清晰度信号中解复用。然后，如以上结合图3所描述的，标准清晰度和基本触觉信号将被解复用。

图6是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。调幅可以用于多路复用所有可用的触觉信号，包括多个可选的基本触觉、标准清晰度或高清晰度信号。在605，接收所有的触觉信号。在610，为每个信号选择正弦载波，使得所选的载波中没有彼此的倍频程(octave)(倍数)。在615，为每个触觉信号产生时间排序幅值信号。在620，每个幅值信号被添加到所选载波中的每一个。在625，每个载波/幅值信号都被组合在一起，以产生多路复用信号。信号的数据大小取决于为载波选定的频率波和有效范围值。例如，如果对任何给定的样本，允许用于多路复用值的组合的载波大于8位数字，则可能需要添加额外的位到组合的信号，因此，增加了大小和复杂性。而且，组合的载波应该以载波和触觉信号数据的最大频率进行采样。因此，数据大小取决于载波的选择，并且会相应地变化。

为了解复用组合的调幅触觉信号源，在650，接收多路复用信号。在655，对于所期望的源触觉信号，多路复用信号乘以在对于该信号正确的相位中的载波。在660，求结果产生的信号的平方根以找到源触觉信号。在665，如果需要在组合的波中找到其它的触觉信号，则返回到655。为每个用来找到所有触觉源信号的载波重复这个过程。如果在接收结束时只需要一个触觉源信号，则只有对应的载波需要对调制信号进行处理。在670，基于在回放设备10中的致动器类型选择合适的触觉信号。

信道多路复用

在其它实施例中，向触觉回放设备提供多个触觉信号可以通过把所有的触觉信号组合到多信道回放流中完成。在实现信道多路复用的实施例中，诸如上述的基本触觉、标准清晰度和高清晰度信号的信号类型保持在能够在信道多路复用中使用的相同信号类型。此外，如上所述，能够利用触觉编程和音频转换工具创建触觉流。

在一种实施例中，通过提供头信息来描述能够提供两种或更多种触觉流的多信道流的内容来创建触觉基本流(“hes”)。除了每个hes通过实现能够容纳最多255个流之外，这种流类似于具有右声道和左声道的立体声音频流。普通技术人员可以很容易地通过增加或减少信道标识符的地址空间向上或向下地改变所支持的流的数量限制。

图7是说明根据一种实施例的把触觉控制信号多路复用到多信道流的高层逻辑的框图。元素705、710和715分别对应于触觉流a、b和c。在720，触觉流a、b和c被组合成单个多信道流。在725，多信道流被交付给回放设备用于渲染成触觉效果。在一些实施例中，多信道流被交付给多媒体服务器，多媒体服务器可以为回放设备选择合适的触觉流并且只提供那个流到回放设备，通常连同音频或视频一起提供。在730，组合的流在诸如图1的设备10(或服务器)的回放设备从多信道流解复用成单独的流用于呈现给用户。在740，触觉流a在处理器12加以考虑并且如果用于流a的流类型对应于在该系统中使用的致动器类型，则在744，该流通过驱动电路16和致动器18在系统上播放，否则的话，在742，该流被忽略。在750，触觉流b在处理器12加以考虑并且如果用于流b的流类型对应于在该系统中使用的致动器类型，则在754，该流通过驱动电路16和致动器18在系统上播放，否则的话，在752，该流被忽略。在760，触觉流c在处理器12加以考虑并且如果用于流c的流类型对应于在该系统中使用的致动器类型，则在764，该流通过驱动电路16和致动器18在系统上播放，否则的话，在762，该流被忽略。在一些实施例中，解复用器730能够访问描述在系统10中使用的致动器类型的信息。在这些实施例中，在解复用730中，解复用器提取合适的触觉流并将其发送到驱动电路16。

多信道流的每个样本都可以为每个信道包含一个字节。例如，如果在多信道流中有两个流，则有两个信道，每个样本具有总共16位。对于每样本大于8位的触觉流来说，由每个信道使用的位的数量可以相应地增加。在一些实施例中，位的数量可向上舍入到最接近的字节长度或半字节长度。例如，如果触觉信号具有采用10位值的样本，则如果通过字节长度取舍它可以存储在16位的hes信道中，如果通过半字节取舍它可以存储在12位的hes信道中。

关于hes文件如何组织的信息可以包含在头中。hes文件头可以包含描述流内容的信息，诸如，信道的数量、每样本的位的数量、采样率、指示哪个信道对应于哪种类型的触觉信号或预期触觉回放设备类型的指示器、编码信息、压缩信息、及版本信息。

图8包含根据一种实施例的用于多信道文件的头信息的例子。16个槽的行中的每个槽都表示半字节(nibble)；两个连续的槽表示一个字节。在805，hes文件包含在标准资源交换文件格式(“riff”)文件包络(envelope)中。hes文件可以包括如810中的定义的头格式，和如815中的定义的数据部分。在头810中，用于820的字节表示主版本标识符以识别与hes文件相关联的主版本。用于825的字节表示次版本标识符以识别与hes文件相关联的次版本。例如，如果hes版本是6.2，则6可以对应于主版本并且2可以对应于次版本。用于830的字节表示用于文件中数据的编码信息，其可以包括对应于编码方案的值，诸如“未压缩的lpcm”，“时间排序的幅值”等。用于835的字节可保留用于与将来版本相关联的一些将来用途。用于840的四个字节可以表示以赫兹形式的采样率。用于845的两个字节可以表示每个样本的位的数量。用于850的字节可以表示文件中信道的数量。用于855、860和865的字节可以描述特定的致动器或用于每个信道的终端设备类型。被保留以描述每个信道的字节数量应该对应于信道的数量，每个信道一个。因此，用于855的字节可以为信道1规定目标触觉设备；用于860的字节可以为信道2规定目标触觉设备；以及用于865的字节可以为信道n规定目标触觉设备。用于870的字节可以表示置于数据上的压缩方案。例如，已知的有损和无损数据压缩方案可应用到数据。

对于hes数据815，示出了说明性的例子，其为每个样本规定了两个信道，每个信道用8位。用于875的两个字节可以表示第一样本，并且头两个半字节可以表示第一信道触觉流，而次两个半字节可以表示第二信道触觉流。用于880的两个字节被设置成与875相同，但可以有不同的值。该模式可以对所有的样本重复直到最后的样本，由两个字节885表示的样本n。普通技术人员将认识到，用于hes头810的每个字段的半字节或字节的数量可根据特定的偏好随意改变。而且，普通技术人员将认识到，hes数据815的格式将基于在头部分中建立的参数改变，这可以增加每个样本的信道数量和每个样本的位的数量。

图9是说明根据一种实施例的多路复用和解复用触觉控制信号的流程图。对于多信道多路复用，在905，接收触觉信号。如上所述，这些信号可从相同的源产生并且可通常表示相同的触觉效果但是在不同的目标触觉回放设备上。在一些实施例中，多信道信号可以包含还用于表示其它触觉效果的信道。例如，多信道触觉信号可以包含来自一个源的用于一种触觉效果的三个信道和来自另一个源的用于另一种触觉效果的三个信道。在这种情况下，目标触觉回放设备可具有多个触觉输出设备并且每个源对应于一个触觉输出设备。在910，接收的信号被分析并上采样到最高的频率信号。同样，在910，样本被填充，以为每个信道为多信道流的每个样本产生均匀宽度的二次样本。例如，基本触觉信号可进行上采样，以匹配标准清晰度触觉信号的采样频率。基本触觉信号也可用零进行填充，使得它包含与标准清晰度信号相同的位的数量。但是，在一些实施例中，配置选项可以允许不同信道在每个二次样本中具有不同数量的位。

在915，关于每个流的信息用于定义文件头。可以规定附加的参数来定义其它的元素，诸如用于每个信道的目标触觉输出设备。在920，每个信号的每个样本都被组合，以创建具有与组合每个样本相同数量的位的数据样本。在任何给定的样本，每个样本变成用于多信道流的二次样本或信道样本。

对于解复用，在950，通过用于解复用的设备接收多信道多路复用流。如以上所提到的，该设备可以是触觉回放设备或提取流以提供给触觉回放设备的服务器。在一些实施例中，回放设备可以向流服务器提交其能力，流服务器基于回放设备的能力选择信道并且只使所选的信道流到回放设备，从而减少播放触觉内容所需的带宽。在955，分析用于多信道流的头信息。确定信道和特征的数量。基于位和信道的数量，可以把数据解析成各单个流。在960，基于目标触觉回放设备的特征选择要解复用的信道。在965，通过解析多信道流中的数据提取触觉信号。该数据可被截位以去除添加的填充并且进行下采样以在触觉输出设备上回放。

如所公开的，实施例实现了可以把二种或更多种触觉信号多路复用成一个多路复用信号的触觉源信号多路复用器。多路复用信号可以在目标设备解复用并且选择合适的信号用于在目标设备的触觉系统上回放。因此，触觉设计师能够利用多路复用的触觉流创建单个信号以在具有各种触觉输出设备的各种目标设备上回放。

根据本公开的一种实施例，提供了一种解复用触觉信号的方法，包括：接收包括两种或更多种不同类型的触觉信号的多路复用信号，每种类型的触觉信号表示用于不同触觉输出设备的触觉效果；确定触觉回放设备上的目标触觉输出设备；把多路复用信号解复用成触觉信号以供在目标触觉输出设备上回放；及向目标触觉输出设备提供解复用的触觉信号。

根据本公开的另一种实施例，提供了一种用于解复用触觉信号的系统，包括：接收器，用于接收包括两种或更多种不同类型的触觉信号的多路复用信号，每种类型的触觉信号表示用于不同触觉输出设备的触觉效果；解复用器，用于把多路复用信号解复用成触觉信号以供在目标触觉输出设备上回放，其中基于触觉回放设备来确定目标触觉输出设备；及触觉回放引擎，用于向目标触觉输出设备提供解复用的触觉信号。

根据本公开的再一种实施例，提供了一种其上存储有指令的计算机可读介质，当指令被处理器执行时，使得处理器解复用触觉信号，所述解复用包括：接收包括两种或更多种不同类型的触觉信号的多路复用信号，每种类型的触觉信号表示用于不同触觉输出设备的触觉效果；确定触觉回放设备上的目标触觉输出设备；把多路复用信号解复用成触觉信号以供在目标触觉输出设备上回放；及向目标触觉输出设备提供解复用的触觉信号。

根据本公开实施例的一个方面，目标触觉设备能够播放基本触觉信号；并且解复用多路复用信号包括：为每个样本选择多路复用信号的基本触觉信号部分。

根据本公开实施例的一个方面，解复用多路复用信号还包括：在选择多路复用信号的基本触觉信号部分之前，向多路复用信号应用频率滤波器。

根据本公开实施例的一个方面，目标触觉输出设备能够播放标准清晰度触觉信号，并且解复用多路复用信号包括：为每个样本选择多路复用信号的标准清晰度部分。

根据本公开实施例的一个方面，解复用还包括：在用零替换最高有效位之前，向多路复用信号应用频率滤波器。

根据本公开实施例的一个方面，目标触觉输出设备能够播放高清晰度触觉信号，并且解复用多路复用信号包括：向多路复用信号应用频率滤波器，并且随后对于每个样本，把每个样本值乘以二。

根据本公开实施例的一个方面，目标触觉输出设备能够播放标准清晰度触觉信号，并且解复用多路复用信号包括：对于用于标准清晰度触觉信号的载波，把多路复用信号乘以载波以找到平方信号；及求所述平方信号的平方根以找到标准清晰度触觉信号。

根据本公开实施例的一个方面，解复用包括：取得多路复用信号的周期性样本；从多路复用信号中去除样本；及基于紧接在周期性样本之前的样本，为多路复用信号计算替代样本。

根据本公开实施例的一个方面，解复用包括：提取关于多路复用信号的信道信息；及基于信道信息解析样本数据，以从多路复用信号中提取信道。

根据本公开实施例的一个方面，信道信息包括用于与基本触觉信号、标准清晰度触觉信号或高清晰度触觉信号中的至少两种对应的触觉流的信息。

根据本公开实施例的一个方面，解复用发生在服务器上，并且其中所述提供包括从服务器接收触觉流并把触觉流提供给目标触觉输出设备。

根据本公开实施例的一个方面，每种类型的触觉信号都来自同一源或输入。

本文具体地说明和/或描述了几个实施例。但是，应当理解，所公开的实施例的修改和变化都被上述教导所覆盖，且在所附权利要求的范围内而不脱离本发明的精神和期望的范围。