离线触觉转换系统的制作方法

离线触觉转换系统的制作方法
【专利摘要】本发明提供了一种控制离线触觉转换的系统。该系统从源接收输入。该系统进一步将输入转换为触觉信号。该系统进一步对触觉信号进行编码。该系统进一步将触觉信号存储在源内，其中，在该源内将触觉信号与输入组合。可替代地，不是对触觉信号进行编码并且将触觉信号存储在源内，该系统而是独立于源，单独地对触觉信号进行处理。
【专利说明】离线触觉转换系统
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年4月9日提交的序号为61/810, 196的美国临时专利申请 (其公开内容特此通过引用并入）的优先权，并且还要求于2013年5月24日提交的序号为 61/827, 341的美国临时专利申请(其公开内容特此通过引用并入）的优先权。

【技术领域】
[0003] -个实施例一般涉及一种装置，并尤其涉及一种生成触觉效果的装置。

【背景技术】
[0004] 触觉是通过向用户施加触觉反馈效果（即，"触觉效果"）来利用用户的触摸感觉的 触感和力反馈技术，触觉效果诸如力、振动和运动。诸如移动装置、触摸屏装置和个人计算 机的装置可以被配置为产生触觉效果。通常，可以在装置的操作系统("0S"）内对对于能够 产生触觉效果的嵌入式硬件(诸如致动器)的调用进行编程。这些调用指定要播放哪种触觉 效果。例如，当用户使用例如按钮、触摸屏、杠杆、控制杆、轮盘或一些其他控件来与装置交 互时，装置的0S可以通过控制电路系统将播放命令发送到嵌入式硬件。嵌入式硬件然后生 成适当的触觉效果。
[0005] 装置可以被配置为协调触觉效果的输出与诸如音频的其他内容的输出，以使得触 觉效果被合并到所述其他内容中。例如，音频效果开发者可以开发装置可以输出的音频效 果，诸如机关枪炮火、爆炸或撞车。此外，可以开发其他类型的内容，诸如视频效果，随后装 置可以输出该内容。触觉效果开发者随后可以为装置制作触觉效果，并且该装置可以被配 置为将该触觉效果与其他内容一起输出。然而，这种处理通常需要触觉效果开发者的个人 判断来制作正确地美化音频效果或其他类型的内容的触觉效果。没有美化音频效果或其 他类型的内容的制作不良的触觉效果可以生成其中触觉效果与音频效果或其他内容不"配 合"的整体不谐和的效果。这种类型的用户体验通常并不是所期望的。


【发明内容】

[0006] -个实施例是一种控制离线触觉转换的系统。该系统从源接收输入。该系统进一 步将所述输入转换为触觉信号。该系统进一步对触觉信号进行编码。该系统进一步将触觉 信号存储在所述源内，其中，在所述源内将触觉信号与所述输入组合。在替代实施例中，不 是对触觉信号进行编码并且将触觉信号存储在所述源内，该系统而是独立于所述源，单独 地对触觉信号进行处理。

【专利附图】

【附图说明】
[0007] 从以下对优选实施例的详细描述，更多实施例、细节、优点和修改将变得清楚，以 下详细描述是结合附图进行的。
[0008] 图1例示根据本发明的一个实施例的系统的框图。
[0009] 图2例示根据本发明的实施例的执行输入信号到触觉信号的离线触觉转换和触 觉信号的编码的系统。
[0010] 图3例示根据本发明的实施例的执行触觉信号的解码和基于触觉信号对一个或 多个触觉效果的回放的系统。
[0011] 图4例示根据本发明的实施例的输入信号到触觉信号的离线触觉转换和触觉信 号的编码的流程图。
[0012] 图5例示根据本发明的实施例的触觉信号的解码和基于触觉信号对一个或多个 触觉效果的回放的流程图。
[0013] 图6例示根据本发明的实施例的用于编码的多媒体信号的音频分量的处理器箱 式结构。
[0014] 图7例示根据本发明的实施例的用于编码的多媒体信号的视频分量的处理器箱 式结构。
[0015] 图8例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的处理器箱 式结构。
[0016] 图9例示根据本发明的实施例的用于编码的多媒体信号的音频分量、视频分量和 触觉分量的处理器箱式结构。
[0017] 图10例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的有效对象 配置文件类型。
[0018] 图11例示根据本发明的实施例的用于编码的多媒体信号的触觉分量的无效对象 配置文件类型。
[0019] 图12例示根据本发明的实施例的离线触觉转换模块的功能的流程图。

【具体实施方式】
[0020] 一个实施例是一种可以执行诸如音频信号、视频信号或多媒体信号的输入到触觉 信号的"离线"转换的系统，其中，触觉信号可以使诸如致动器的触觉输出装置输出一个或 多个触觉效果。在"离线地"执行触觉转换时，与"实时地"或者在回放输入期间执行触觉转 换完全不同，该系统可以在回放输入之前执行触觉转换。在执行离线触觉转换时，该系统可 以首先从源接收输入，诸如多媒体文件或一些其他类型的计算机文件。该系统然后可以将 输入转换为触觉信号。该系统随后可以对触觉信号进行编码，其中，该系统可以将触觉信号 嵌入在原始信号的源内，并且其中，该系统可以在该源内将触觉信号与原始输入组合。可替 代地，在对触觉信号进行编码之后，该系统可以将触觉信号嵌入在单独的源内。此外，该系 统可以从源提取编码的触觉信号并且对该编码的触觉信号进行解码。该系统然后可以将解 码的触觉信号发送到一个触觉输出装置或一组触觉输出装置(诸如一个致动器或一组致动 器)，并且使触觉输出装置基于解码的触觉信号产生触觉效果。该系统可以进一步来使触觉 效果的回放与基于输入或利用输入由系统产生的其他效果(诸如音频效果和视频效果）的 回放同步。
[0021] 图1例示根据本发明的一个实施例的系统10的框图。在一个实施例中，系统10是 移动装置的一部分，并且系统10为该移动装置提供离线触觉转换功能。在另一实施例中， 系统10是可佩戴装置的一部分，并且系统10为该可佩戴装置提供触觉效果模式变换功能。 可佩戴装置的例子包括护腕、发箍、眼镜、环形饰物、脚环、与衣物形成一体的衣饰、或用户 可以佩戴在身体上或者可以由用户持有的任何其他类型的装置。一些可佩戴装置可以"以 触觉的方式启用"，这意味着它们包括产生触觉效果的机制。在另一实施例中，系统10与装 置(例如，移动装置或可佩戴装置）分离，并且远程地向该装置提供触觉效果模式变换功能。 尽管被示为单个系统，但是可以将系统10的功能实现为分布式系统。系统10包括用于传 送信息的总线12或其他通信机制、以及耦合到总线12的用于对信息进行处理的处理器22。 处理器22可以是任何类型的通用或专用处理器。系统10还包括用于存储将被处理器22 执行的信息和指令的存储器14。存储器14可以由随机存取存储器("狀1〇、只读存储器 ("1?01〇、诸如磁盘或光学盘的静态储存器、或任何其他类型的计算机可读介质的任何组合 组成。
[0022] 计算机可读介质可以是可以被处理器22访问的任何可用介质，并且可以包括易 失性介质和非易失性介质、可移动介质和非可移动介质、通信介质以及存储介质。通信介质 可以包括计算机可读指令、数据结构、程序模块、或诸如载波或其他传输机制的调制数据信 号中的其他数据，并且可以包括本领域中已知的任何其他形式的信息递送介质。存储介质 可以包括RAM、闪存、ROM、可擦式可编程只读存储器("EPROM")、电可擦式可编程只读存储 器("EEPR0M")、寄存器、硬盘、可移动盘、紧凑盘只读存储器("⑶-ROM")、或本领域中已知 的任何其他形式的存储介质。
[0023] 在一个实施例中，存储器14存储当被处理器22执行时提供功能的软件模块。在 一个实施例中，这些模块包括向系统10以及移动装置的其余部分提供操作系统功能的操 作系统15。这些模块还包括如下面更详细地公开的离线触觉转换模块16,其控制输入到触 觉信号的转换、触觉信号的编码、触觉信号的解码、以及基于触觉信号对一个或多个触觉效 果的回放。在某些实施例中，离线触觉转换模块16可以包括多个模块，其中，每个模块提供 用于控制输入到触觉信号的转换、触觉信号的编码、触觉信号的解码、以及基于触觉信号对 一个或多个触觉效果的回放的特定的个人功能。系统10通常将包括包括附加功能的一个 或多个附加应用模块18,诸如Immersion Corporation的Integrator?软件。
[0024] 从远程源发送和/或接收数据的实施例中，系统10还包括提供移动无线网络通信 的通信装置20,诸如网络接口卡，移动无线网络通信诸如红外线、无线电、Wi-Fi或蜂窝网 络通信。在其他实施例中，通信装置20提供有线网络连接，诸如以太网连接或调制解调器。
[0025] 处理器22进一步经由总线12耦合到用于向用户显示图形表示或用户界面的显示 器24,诸如液晶显示器("IXD")。显示器24可以是被配置为从处理器22发送和接收信号 的触摸敏感的输入装置，诸如触摸屏，并且可以是多触摸触摸屏。
[0026] 在一个实施例中，系统10还包括致动器26。处理器22可以将与所产生的触觉效 果相关联的触觉信号发送到致动器26,致动器26继而输出触觉效果，诸如振动触感的触觉 效果、静电摩擦触觉效果、或变形触觉效果。致动器26包括致动器驱动电路。致动器26可 以是例如电机、静电致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电 机("ERM")、线性共振致动器("LRA")、压电致动器、高带宽致动器、电活性聚合物（"ΕΑΡ"） 致动器、静电摩擦显示器、或超声振动发生器。在替代实施例中，除了致动器26 (图1中未 示出）之外，系统10还可以包括一个或多个附加致动器。致动器26是触觉输出装置的例 子，其中，触觉输出装置是被配置为响应于驱动信号输出触觉效果的装置，触觉效果诸如振 动触感触觉效果、静电摩擦触觉效果或变形触觉效果。在替代实施例中，致动器26可以用 一些其他类型的触觉输出装置取代。此外，在其他替代实施例中，系统10可以不包括致动 器26,而是与系统10分离的装置包括致动器或产生触觉效果的其他触觉输出装置，并且系 统10通过通信装置20将所产生的触觉信号发送到该装置。
[0027] 在一个实施例中，系统10还包括扬声器28。处理器22可以将音频信号发送到扬 声器28,扬声器28继而输出音频效果。扬声器28可以是例如动态扩音器、电动态扩音器压 电扩音器、磁致伸缩扩音器、静电扩音器、带式或平面式磁性扩音器、弯曲波扩音器、平板扩 音器、海尔空气运动换能器、等离子体弧扬声器、以及数字扩音器。在替代实施例中，除了扬 声器28 (图1中未不出）之外，系统10还可以包括一个或多个附加扬声器。此外，在其他 替代实施例中，系统10可以不包括扬声器28,而是与系统10分离的系统包括输出音频效果 的扬声器，并且系统10通过通信装置20将音频信号发送到该装置。
[0028] 在一个实施例中，系统10还包括传感器30。传感器30可以被配置为检测能量形式 或其他物理性质，诸如，但不限于，声音、移动、加速度、生物信号、距离、流、力/压力/应变/ 弯曲、湿度、直线位置、方位/倾角、射频、旋转位置、旋转速度、开关操纵、温度、振动或可见 光强度。传感器30可以进一步被配置为将所检测的能量或其他物理性质转换为电信号或 表示视觉传感器信息的任何信号。传感器30可以是任何装置，诸如，但不限于，加速度计、 心电图描记器、脑电图描记器、肌电图描记器、眼电图描记器、电腭动描记器、皮肤电反应传 感器、电容传感器、霍尔效应传感器、红外线传感器、超声传感器、压力传感器、光纤传感器、 屈曲传感器(或弯曲传感器)、力敏感电阻器、称重传感器、LuSense CPS2155、微型压力换能 器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑动器)、线性可变 差动变压器、指南针、倾角计、磁性标签(或射频标识标签)、旋转编码器、旋转电位计、陀螺 仪、开关开关、温度传感器(诸如温度计、热电偶、电阻温度检测器、热敏电阻或温度换能集 成电路)、麦克风、光度计、高度计、生物监视器、照相机或光相关电阻器。在替代实施例中， 除了传感器30 (图1中未示出）之外，系统10还可以包括一个或多个附加传感器。在这些 实施例中的一些中，传感器30和所述一个或多个附加传感器可以是传感器阵列的一部分、 或一些其他类型的传感器集合。此外，在其他替代实施例中，系统10可以不包括传感器30， 而是与系统10分离的装置包括传感器，该传感器检测某一形式的能量或其他物理性质，将 所检测的能量或其他物理性质转换为电信号或表示视觉传感器信息的其他类型的信号。该 装置然后可以通过通信装置20将转换的信号发送到系统10。
[0029] 图2例示根据本发明的实施例的执行输入信号到触觉信号的离线触觉转换和触 觉信号的编码的系统。在一个实施例中，图2的功能以及下述图3、4、5和12的功能用存储 在存储器或其他计算机可读或有形介质中的软件实现，并且被处理器执行。在其他实施例 中，每个功能可以由硬件(例如，通过使用专用集成电路("ASIC")、可编程门阵列（"PGA")、 现场可编程门阵列（"FPGA"）等）或硬件和软件的任何组合执行。在某些实施例中，可以略 去该功能中的一些。
[0030] 图2中所示的系统包括媒体编辑应用200。媒体编辑应用200是被配置为执行编辑 输入信号的功能的应用，输入信号诸如包括音频数据的音频信号、包括视频数据的视频信 号、或包括音频信号和视频信号两者的多媒体信号。在执行编辑输入信号的功能时，媒体编 辑应用200可以向用户显示用户界面，其中，该用户界面包括输入信号的视觉表示，并且其 中，用户可以通过与该用户界面交互来修改输入信号的一个或多个部分、或整个输入信号。 在所示的实施例中，输入信号是包括一个视频信号和两个音频信号的多媒体信号。然而，这 是示例实施例，在替代实施例中，多媒体信号可以包括任何数量的音频信号，并且可以包括 任何数量的视频信号。在替代实施例中，输入信号可以是另一类型的输入信号，诸如音频信 号、视频信号、加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的另一 类型的信号。此外，在输入信号是多媒体信号的其他替代实施例中，除了音频信号和视频信 号之外，多媒体信号还可以包括其他类型的信号，诸如加速度信号、方位信号、周围光信号、 或可以包括用传感器捕捉的数据的其他类型的信号。
[0031] 媒体编辑应用200可以通过从多媒体文件210提取编码的多媒体信号并且对该编 码的多媒体信号进行解码来接收多媒体信号。多媒体文件210是存储数据的计算机文件， 所述数据诸如编码的多媒体信号或其他类型的编码信号。在一个示例实施例中，多媒体文 件 210 可以 MPEG-4Partl4 ("MP4"）文件。可以在 MPEG-4Partl4 标准（IS0/IEC14496-1 系 统）、MPEG4Part-3 标准（IS0/IEC14496-3 音频）以及 MPEG4Part-12 标准（IS0/IEC14496-12 媒体文件格式）中找到关于MP4文件的具体细节，这些标准的全部内容通过引用并入本文。
[0032] 在1，用户选择多媒体信号内所包含的音频信号的一个或多个部分(在图2中被标 识为"音频区域")。系统创建编辑列表220,其是包括所述音频信号的所述一个或多个部分 的列表。在替代实施例中，不是选择音频信号的一个或多个部分，而是用户可以选择整个音 频信号。此外，在替代实施例中，用户可以选择多媒体信号内所包含的另一类型的信号，诸 如视频信号。
[0033] 在2,用户指示系统将音频信号的所述一个或多个部分转换为一个或多个触觉信 号(在图2中被标识为"启动'产生触觉'特征")。触觉信号是可以与一个或多个触觉效果 相关联的信号，可以将触觉信号发送到诸如致动器的触觉输出装置，其中，触觉输出装置可 以基于触觉信号输出一个或多个触觉效果。触觉效果的例子是可以生成被触觉输出装置的 用户感觉到的振动的振动触感触觉效果。触觉效果的其他例子可以包括静电摩擦触觉效果 或变形触觉效果。触觉信号可以包括诸如波形的数据，其中，波形是脉冲编码调制("PCM"） 格式的一个或多个信号值的集合。根据实施例，系统调用触觉管理控制台模块230,其中，触 觉管理控制台模块230是控制音频信号的一个或多个部分到一个或多个触觉信号的转换、 并且还控制所述一个或多个触觉信号的编码的模块。在用户选择整个音频信号的替代实施 例中，用户可以指示系统将整个音频信号转换为一个或多个触觉信号，触觉管理控制台模 块230可以控制整个音频信号到一个或多个触觉信号的转换。
[0034] 在3,触觉管理控制台模块230读取编辑列表220,从编辑列表220选择第一项 (即，音频信号的第一部分)，并调用离线触觉转换器模块240。离线触觉转换器模块240是 将诸如音频信号或音频信号的一部分的输入转换为一个或多个触觉信号的模块。离线触 觉转换器模块240可以采取下列作为输入：（1)包括数据的任意大小的数据缓冲器，所述数 据诸如PCM音频数据；（2)数据缓冲器中的若干个通道；（3)数据缓冲器的每采样比特；以 及（4)数据缓冲器的采样速率。离线触觉转换器模块240可以进一步生成下列作为输出： 包含包括触觉数据的触觉信号的数据缓冲器，所述触觉数据控制经由触觉输出装置的一个 或多个触觉效果的产生。在一个实施例中，触觉信号可以是包括以"触觉帧率"改变的幅值 的序列的单个通道。触觉帧率定义离线触觉转换器模块240输出触觉数据的速率。可以将 触觉帧率设置为与输入信号的音频帧率或视频帧率匹配的速率，所述输入信号诸如音频信 号、视频信号或多媒体信号。可替代地，可以将触觉帧率定义为每一触觉采样的音频(或视 频)采样的数量。在一个实施例中，离线触觉转换器模块240可以包括使得用户可以设置触 觉帧率(例如，从每秒15帧到每秒60帧）的配置界面。此外，在一个实施例中，离线触觉转 换器模块240还可以披露使得用户可以在触觉转换操作开始之前改变现有触觉参数(诸如 强度、密度或清晰度）的方法。
[0035] 离线触觉转换器模块240可以使用相关领域中的普通技术人员已知的将输入转 换为一个或多个触觉信号的任何触觉转换算法。例如，离线触觉转换器模块240可以使 用识别输入的每个部分的最大振幅值的触觉转换算法，并基于所识别的最大振幅值来产生 输入的每个部分的触觉信号，其中，所识别的最大振幅值定义触觉信号的幅度。在以下专 利或专利申请(这些专利或专利申请的全部内容全都特此通过引用并入）中描述了示例触 觉转换算法：美国专利No. 7, 979, 146 ;美国专利No. 8, 000, 825 ;美国专利No. 8, 378, 964 ; 美国专利申请公开No. 2011/0202155 ;美国专利申请公开No. 2011/0215913 ;美国 专利申请公开No. 2012/0206246 ;美国专利申请公开No. 2012/0206247 ;美国专利 申请公开No. 2013/0265286 ;美国专利申请公开No. 2013/0131851 ;美国专利申请 公开No. 2013/0207917 ;美国专利申请公开No. 2013/0335209 ;美国专利申请公开 No. 2014/0064516 ;美国专利申请序号No. 13/661，140 ;美国专利申请序号No. 13/785, 166 ; 美国专利申请序号No. 13/788, 487 ;美国专利申请序号No. 14/078, 438 ;美国专利申请序号 No. 14/078, 442 ;美国专利申请序号No. 14/078, 445 ;美国专利申请序号No. 14/051，933 ;美 国专利申请序号14/020, 461 ;以及美国专利申请序号No. 14/020, 502。
[0036] 在一个实施例中，可以从多媒体文件210提取编码的音频信号或其他类型的信号 的一个或多个部分，对这些部分进行解码，并经由离线触觉转换器模块240的一次或多次 调用将这些部分发送到离线触觉转换器模块240,其中，离线触觉转换器模块240可以将音 频信号的每个部分转换为一个或多个触觉信号，并且可以输出所述一个或多个触觉信号。 这被标识为"逐步转换"，并且在图2中示出。在替代实施例中，可以从多媒体文件210提取 整个音频信号或其他类型的信号，对该信号进行解码，并经由离线触觉转换器模块240的 单次调用将该信号发送到离线触觉转换器模块240,其中，离线触觉转换器模块240可以将 整个音频信号转换为一个或多个触觉信号，并且可以输出所述一个或多个触觉信号。这被 标识为"整个转换"。
[0037] 根据实施例，离线触觉转换模块240可以"离线地"执行整个输入信号(或输入信 号的一个或多个部分）到一个或多个触觉信号的触觉转换。在"离线地"执行触觉转换时， 离线触觉转换模块240可以在媒体编辑应用200回放输入信号之前执行触觉转换。
[0038] 在4,触觉管理控制台模块230调用触觉编码器模块250。触觉编码器模块250是 将一个或多个触觉信号编码为编码格式并且将编码的一个或多个触觉信号存储在多媒体 文件210内的模块。在将编码的一个或多个触觉信号存储在多媒体文件210内过程中，触 觉编码器模块250可以定义所述一个或多个触觉信号的每个触觉信号，并将该触觉信号放 置在多媒体文件210内。因此，可以将所述一个或多个触觉信号嵌入在多媒体文件210内， 其中，将所述一个或多个触觉信号与原始多媒体信号组合。在替代实施例中，触觉编码器模 块250可以将编码的一个或多个触觉信号存储在与多媒体文件210分开的多媒体文件（图 2中未示出）内。此外，在另一替代实施例中，触觉编码器模块250可以另外将基于一个或 多个预定义触觉效果的一个或多个编码的触觉信号存储在多媒体文件210或单独的多媒 体文件内。下面结合图6-11更详细地进一步描述对触觉信号进行编码并且将编码的触觉 信号存储在多媒体文件内的功能。此外，系统对于编辑列表220中的每项（S卩，音频信号的 每个部分）重复3和4。
[0039] 在5,媒体编辑应用200更新多媒体信号的视觉表示以包括所产生的一个或多个 触觉信号的表示。
[0040] 图3例示根据本发明的实施例的执行触觉信号的解码和基于触觉信号对一个或 多个触觉效果的回放的系统。图3中所示的系统包括媒体编辑应用200和/或媒体播放器 应用300。先前在上面结合图2描述了媒体编辑应用200。媒体播放器应用300是被配置 为执行播放输入信号的功能的应用，输入信号诸如包括音频数据的音频信号、包括视频数 据的视频信号、或包括音频信号和视频信号两者的多媒体信号。
[0041] 在1，用户指示系统播放被编码并且被存储在多媒体文件210内的输入信号，诸如 包括音频数据的音频信号、包括视频数据的视频信号、或包括音频信号和视频信号两者的 多媒体信号。在所示的实施例中，存储在多媒体文件210内的编码的输入信号是编码的多 媒体信号。先前在上面结合图2描述了多媒体文件210。根据实施例，多媒体文件210还包 括在多媒体文件210内与编码的多媒体信号组合的一个或多个编码的触觉信号。在一个实 施例中，用户可以通过与媒体编辑应用200的用户界面进行交互来指示系统播放多媒体信 号。在替代实施例中，用户可以通过与媒体播放器应用300的用户界面进行交互来指示系 统播放多媒体信号。
[0042] 在2,媒体编辑应用200或媒体播放器应用300播放多媒体信号。根据实施例，媒 体编辑应用200或媒体播放器应用300从多媒体文件210检索编码的多媒体信号，对该编 码的多媒体信号进行解码，并播放解码的多媒体信号。
[0043] 在3,操作系统模块310调用触觉解码器模块320,操作系统模块310是被配置为 提供操作系统功能的模块。触觉解码器模块320是被配置为从多媒体文件210提取一个或 多个编码的触觉信号并且对所述一个或多个编码的触觉信号进行解码的模块。下面结合图 6-11更详细地进一步描述对编码的触觉信号进行解码的功能。
[0044] 在4,触觉解码器模块320生成触觉输出330。触觉解码器模块320可以通过将 所述一个或多个触觉信号发送到诸如致动器的一个或多个触觉输出装置来生成触觉输出 330,其中，所述一个或多个触觉信号使所述一个或多个触觉输出装置生成一个或多个触觉 效果。触觉输出330可以包括振动触感效果，诸如振动触感效果340和350。
[0045] 触觉解码器模块320进一步使触觉输出的回放与诸如音频效果360和视频效果 370的音频输出和/或视频输出的回放同步。因此，触觉解码器模块320可以使所述一个或 多个触觉信号到一个或多个触觉输出装置的发送与一个或多个音频信号到诸如扬声器的 音频输出装置的发送、和/或一个或多个视频信号到诸如显示器的视频输出装置的发送同 步。为了便利于这个同步，触觉解码器模块320可以使所述一个或多个触觉信号的触觉数 据与所述一个或多个音频信号的音频数据和/或所述一个或多个触觉信号的视频数据同 步。更具体地，触觉解码器模块320可以重复地调用被配置为以等于触觉帧率的速率将触 觉信号发送到触觉输出装置的模块，其中，触觉帧率被定义为与用于将音频信号发送到音 频输出装置的音频帧率或用于将视频信号发送到视频输出装置的视频帧率相同的速率。因 此，因为触觉帧率与音频帧率和/或视频帧率相同，所以可以在与当输出触觉效果时的时 间相同或基本上相同的时间输出音频效果和/或视频效果。
[0046] 图4例示根据本发明的实施例的输入信号到触觉信号的离线触觉转换和触觉信 号的编码的流程图。根据实施例，输入信号是包括音频信号和视频信号的多媒体信号405。 然而，在替代实施例中，输入信号可以是另一类型的输入信号，诸如音频信号、视频信号、力口 速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据的另一类型的信号。此 夕卜，在其中输入信号是多媒体信号的替代实施例中，多媒体信号可以包括任何数量的音频 信号，可以包括任何数量的视频信号，和/或除了音频信号和视频信号之外，还可以包括其 他类型的信号，诸如加速度信号、方位信号、周围光信号、或可以包括用传感器捕捉的数据 的其他类型的信号。根据实施例，多媒体信号405可以是编码的多媒体信号，并且可以被存 储在诸如多媒体文件的源内。
[0047] 在410,提取多媒体信号405的音频信号，并将该音频信号解码为音频信号415。然 后将音频信号415作为输入发送到离线触觉转换器模块420。离线触觉转换器模块420将 音频信号415转换为触觉信号425。触觉信号425是包括触觉数据的信号，其中，触觉数据 包括PCM流或振幅值序列。根据实施例，离线触觉转换器模块415可以使用相关领域中的 普通技术人员已知的将音频信号415转换为触觉信号425的任何触觉转换算法。此外，在 实施例中，离线触觉转换器模块415可以"离线地"执行触觉转换，其中，离线触觉转换模块 420可以在回放音频信号之前执行触觉转换。
[0048] 在430,将触觉信号425编码为编码的触觉信号435。此外，在440,将编码的触觉 信号435和多媒体信号450复用（S卩，组合）为多媒体信号445,其中，多媒体信号445包括 音频信号、视频信号和触觉信号（即，编码的触觉信号435)。下面结合图6-11更详细地进一 步描述触觉信号425到编码的触觉信号435的编码、以及编码的触觉信号435和多媒体信 号405的复用。
[0049] 图5例示根据本发明的实施例的触觉信号的解码和基于触觉信号的一个或多个 触觉效果的回放的流程图。在510,将多媒体信号445解复用（S卩，分割)为音频信号511、视 频信号512和触觉信号513。先前在上面结合图4描述了多媒体信号445,不再对多媒体信 号445进行描述。
[0050] 在520,对音频信号511、视频信号512和触觉信号513均进行解码。此外，在对音 频信号511和视频信号512进行解码之后，将它们发送到音频/视频呈现器530,其中，音 频/视频呈现器530控制一个或多个音频输出装置处的一个或多个音频效果的输出、以及 一个或多个视频输出装置处的一个或多个视频效果的输出。根据实施例，基于音频信号511 输出所述一个或多个音频效果，并且基于视频信号512输出所述一个或多个视频效果。在 某些实施例中，每个音频输出装置是扬声器，每个视频输出装置是显示器。此外，将触觉信 号513解码为解码的触觉信号525。根据实施例，解码的触觉信号525是包括解码的触觉 数据的信号，其中，解码的触觉数据包括PCM流或振幅值序列。在触觉信号513被解码为解 码的触觉信号525之后，将解码的触觉信号525发送到振动呈现器570,其中，下面更详细 地进一步描述触觉信号525到振动呈现器570的发送。根据实施例，振动呈现器570控制 触觉输出装置处的一个或多个触觉效果的输出，其中，下面更详细地进一步描述所述一个 或多个触觉效果的输出。此外，可以使音频信号511和视频信号512到音频/视频呈现器 530的发送、以及解码的触觉信号520到振动呈现器570的发送同步，以使得在与当输出所 述一个或多个触觉效果时的时间相同或基本上相同的时间输出所述一个或多个音频效果 和所述一个或多个视频效果。
[0051] 在540,选择一个或多个触觉输出装置。在550,对解码的触觉信号525的振幅触 觉参数进行调制，该参数配置用于所选触觉输出装置的解码的触觉信号525。在560,对其 他触觉参数进行调制，以使得解码的触觉信号525被配置用于所选触觉输出装置，所述其 他触觉参数诸如强度触觉参数、密度触觉参数或清晰度触觉参数。在某些实施例中，可以略 去在540、550和560执行的功能。此外，在解码的触觉信号525被调制之后，将解码的触觉 信号525发送到振动呈现器570,其中，振动呈现器570控制致动器580处的一个或多个触 觉效果的输出，其中，该致动器是触觉输出装置的例子。根据实施例，基于解码的触觉信号 525输出一个或多个触觉效果。
[0052] 现在更详细地描述根据示例实施例的对触觉信号进行编码并且将编码的触觉信 号存储在诸如MP4文件的多媒体文件内的功能。尽管描述了对触觉信号进行编码并且将编 码的触觉信号存储在多媒体文件内的示例实现，但是相关领域中的普通技术人员将容易意 识到，在其他替代实施例中可以不同地实现触觉信号的编码以及编码的触觉信号在多媒体 文件内的存储。如前所述，多媒体文件可以包括编码的多媒体信号，其中，编码的多媒体信 号可以包括任何数量的编码信号，诸如编码的音频信号和编码的视频信号。根据实施例，可 以对触觉信号进行编码，并将该触觉信号存储在多媒体文件内，其中，对编码的触觉信号进 行交织、或将编码的触觉信号与存储在该多媒体文件内的其他编码的音频信号和/或编码 的视频信号组合。
[0053] 根据实施例，编码的触觉信号类似于编码的音频信号（或另一类型的编码信号)， 因为这两个编码信号都包括诸如波形的数据，其中，波形是PCM格式的一个或多个信号值 的集合。因此，重要的是，在多媒体文件内对编码的触觉信号进行格式化，以使得编码的触 觉信号不被误认为另一类型的编码信号(诸如编码的音频信号)，反之亦然。此外，多媒体文 件是被标识为箱的一系列对象。所有数据都被存储在箱中；不存在存储在多媒体文件内的 其他数据。因此，多媒体文件的编码信号被存储在多媒体文件的箱中。因此，根据实施例， 编码的触觉信号与为音频和视频而存在的其他trak箱一起被存储在标准"moov"箱内的单 独的"trak"箱内。下表例示了触觉箱结构：
[0054]

【权利要求】
1. 一种用于控制离线触觉转换的方法，所述方法包括： 从源接收输入； 将所述输入转换为一个或多个触觉信号，其中，在回放所述输入之前执行将所述输入 转换为所述一个或多个触觉信号； 对所述一个或多个触觉信号进行编码；和 存储所述一个或多个触觉信号。
2. 根据权利要求1所述的方法，还包括： 提取所述一个或多个触觉信号； 对所述一个或多个触觉信号进行解码； 基于所述一个或多个触觉信号来产生一个或多个触觉效果；和 使所述一个或多个触觉效果与所述输入同步。
3. 根据权利要求2所述的方法，其中，产生所述一个或多个触觉效果还包括将所述一 个或多个触觉信号发送到触觉输出装置以产生所述一个或多个触觉效果。
4. 根据权利要求3所述的方法，其中，所述触觉输出装置包括致动器。
5. 根据权利要求3所述的方法，其中，所述一个或多个触觉信号均包括一个或多个幅 值的序列； 所述控制还包括配置触觉帧率，所述触觉帧率定义所述一个或多个幅值的序列中每秒 发送到触觉输出装置的部分。
6. 根据权利要求1所述的方法，其中，将所述输入转换为所述一个或多个触觉信号还 包括： 从所述源提取输入信号；和 将所述输入信号转换为所述一个或多个触觉信号。
7. 根据权利要求1所述的方法，其中，将所述输入转换为所述一个或多个触觉信号还 包括： 从所述源提取输入信号的一个或多个部分；和 将所述输入信号的所述一个或多个部分转换为所述一个或多个触觉信号。
8. 根据权利要求1所述的方法，其中，所述输入包括以下之一：音频信号的至少一部 分；视频信号的至少一部分；或包括音频信号和视频信号两者的多媒体信号的至少一部 分。
9. 根据权利要求1所述的方法，其中，所述源包括多媒体文件。
10. 根据权利要求1所述的方法，其中，存储所述一个或多个触觉信号还包括将所述一 个或多个触觉信号存储在所述源内，其中，在所述源的容器内将所述一个或多个触觉信号 与所述输入组合。
11. 根据权利要求1所述的方法，其中，存储所述一个或多个触觉信号还包括将所述一 个或多个触觉信号存储在单独的文件或流内。
12. -种用于控制离线触觉转换的系统，所述系统包括： 存储器，所述存储器被配置为存储离线触觉转换模块；和 处理器，所述处理器被配置为执行存储在所述存储器上的离线触觉转换； 其中，所述离线触觉转换模块被配置为从源接收输入； 其中，所述离线触觉转换模块被进一步配置为在回放所述输入之前将所述输入转换为 一个或多个触觉信号； 其中，所述离线触觉转换模块被进一步配置为对所述一个或多个触觉信号进行编码； 和 其中，所述离线触觉转换模块被进一步配置为存储所述一个或多个触觉信号。
13. 根据权利要求12所述的系统， 其中，所述离线触觉转换模块被进一步配置为提取所述一个或多个触觉信号； 其中，所述离线触觉转换模块被进一步配置为对所述一个或多个触觉信号进行解码； 其中，所述离线触觉转换模块被进一步配置为基于所述一个或多个触觉信号来产生一 个或多个触觉效果；和 其中，所述离线触觉转换模块被进一步配置为使所述一个或多个触觉效果与所述输入 同步。
14. 根据权利要求12所述的系统， 其中，所述离线触觉转换模块被进一步配置为从所述源提取输入信号；和 其中，所述离线触觉转换模块被进一步配置为将所述输入信号转换为所述一个或多个 触觉信号。
15. -种用于控制离线触觉转换的设备，所述设备包括： 从源接收输入的装置； 将所述输入转换为一个或多个触觉信号的装置，其中，在回放所述输入之前执行将所 述输入转换为所述一个或多个触觉信号； 对所述一个或多个触觉信号进行编码的装置；和 存储所述一个或多个触觉信号的装置。
【文档编号】G06F3/01GK104102341SQ201410140291
【公开日】2014年10月15日 申请日期:2014年4月9日 优先权日:2013年4月9日
【发明者】R·拉克罗伊克斯, S·S·巴哈迪亚, J·F·布朗夏尔迪翁, S·D·兰克, C·J·奥瑞奇, L·T·番 申请人:意美森公司