媒体传输流中的触觉效应数据的同步的制作方法

专利名称：媒体传输流中的触觉效应数据的同步的制作方法
技术领域：
在此描述的主题涉及使触觉效应与媒体文件中的音频和/或视频内容数据同步。
背景技术：
为改进用户和机器间的接口，近年来，将触觉效应并入接口连同音频和/或视频 媒体内已经变得越来越普遍。诸如振动的触觉效应能由用户感受到，以及通常可能与事件 触发有关，诸如按压设备上的按键或播放通知来电的振铃音或在手机上接收到文本消息等 等。通常，媒体重放能与振动互补。然而，当播放触觉信号和媒体信号超过一段时间时，实 现触觉效应的常规方法具有一些问题。一个这样的问题是需要使触觉信号和诸如视频和/或音频信号的其他媒体信号 之间的同步重放。通常，音频引擎、视频引擎和触觉引擎在不同时钟上操作。在触觉、视频 和/或音频信号的重放期间，通常没有内置同步机制。尽管例如在重放开始时，触觉信号和 媒体信号可以在彼此的几毫秒内开始，并且同样充分地同步，但在相当短的时间段中，这些 信号通常会偏离同步。另一个这样的问题是可能难以随机地接入具有媒体和触觉信号两者的媒体传输 流中的点。换句话说，当用户在任意点开始媒体传输流的一部分的重放，而不接入在媒体传 输流中的该点前可能出现的任何数据时，难以使触觉信号与媒体信号同步。同样地，所需要的是一种使触觉效应与其他媒体(例如，音频和/或视频)同步的 解决方案，该方案能在或从包含触觉和媒体信息两者的媒体传输流中的任何点操作。

发明内容
识别在媒体文件的一系列帧中的触觉信息，以及根据嵌入媒体文件前、媒体文件 内或附接媒体文件上的标签中的信息来确定与其相对应的时间戳。基于在标签的一帧或多 帧中的信息，使触觉效应信息与媒体文件同步，由此，致动器以与媒体文件的相应的音频和 /或视频内容同步的方式来输出在标签中定义的触觉效应。从下面阐述的详细描述、附图和权利要求，附加特征和益处将变得显而易见。


并入该说明书中并构成该说明书的一部分的附示了一个或多个实施例，并且 与详细的描述一起用来解释实施例的原理和实现。在图中图1是图示根据实施例的用于编码、传送和解码包括触觉信息的媒体传输流的系统的框图2是图示根据实施例的用于从媒体传输流识别媒体和触觉组件的系统的框图；图3是图示根据实施例的用于使触觉组件与其他媒体组件同步的设备的框图；图4是图示根据实施例的使视频、音频和触觉信号的重放同步的方法的时序图5是图示根据实施例的解析成连续帧的触觉信号的图；图6是图示根据实施例的包含触觉信息的触觉帧的框图；图7是图示根据实施例的引起触觉效应的波形的图；图8是图示根据实施例的用于使触觉效应与媒体组件同步的过程的流程图；图9是图示根据实施例的用于与该系统一起使用的文件的标记方案的图；以及图10是图示根据实施例的系统的框图的图。
具体实施例方式在用于传送包括触觉信息的媒体传输流的方法、系统和装置的背景下，在此描述 了各实施例。本领域的普通技术人员将意识到下面的描述仅是说明性的，并不意在以任何 方式限制。受益于本公开的这样的技术人员将容易想到其他实施例。现在，将详细地参考 如在附图中图示的示例实施例的实现。在整个附图和下面的描述中，将使用相同的参考指 示符来表示相同或类似的项目。为了清楚，没有示出和描述在此所述的实现的所有例行特征。当然，将理解到，在 任何这样的实际实现的开发中，必须做出许多实现特定的决定，以便实现开发者的特定目 标，诸如遵守应用和商业相关约束，并且这些特定目标将因实现方法不同和开发者不同而 改变。此外，将理解到，这样的开发努力可能复杂且耗时，但对受益于本公开的本领域的普 通技术人员来说，不过是例行工程任务。根据该公开，可以使用各种类型的操作系统、计算平台、计算机程序和/或通用机 来实现在此描述的组件、过程步骤和/或数据结构。另外，本领域的普通技术人员将意识 至IJ，在不背离在此公开的本发明概念的范围和精神的情况下，也可以使用不太通用性质的 设备，诸如硬布线设备、现场可编程门阵列(FPGAs)、专用集成电路(ASICs)等等。应当理 解，短语“实施例”包含不止一个实施例，并且因此不仅限于一个实施例。在由计算机或机器 实现包括一系列过程步骤的方法并且那些过程步骤能存储为可由机器读取的一系列指令 的情况下，可以将它们存储在有形介质上，诸如计算机存储设备(例如，ROM(只读存储器)、 PROM(可编程只读存储器)、EEPR0M(电可擦可编程只读存储器)、闪存、跳线驱动等等)、磁 存储介质(例如，磁带、磁盘驱动等等)、光存储介质(例如，⑶-R0M、DVD-R0M、纸卡、纸带等 等)和其他类型的程序存储器。在实施例中，该系统针对使触觉效应轨与包含在多轨媒体传输流中的其他媒体轨同步，以生成同步的多媒体效应。在实施例中，该系统利用在媒体文件的头部中的同步数据 来确保使触觉效应与文件中的媒体内容同步。将单独地描述这些实施例以确保清楚，但应 当注意到，该系统及其组件对所有实施例是公用的，并且所描述的说明书的细节适用于所 有实施例。通常，实施例针对在终端单元或设备处接收具有触觉数据的媒体数据的多轨数据 流，由此识别流中的一系列帧中的触觉信息的系统。另外，根据嵌入媒体传输流中的主时间 码信号，确定与其相对应的时间戳。向包含触觉信息的每个媒体传输流分配时间戳，使得它 将用于响应于该时间戳而在适当时间激活致动器，以根据该触觉信息生成触觉效应。时间 戳允许使触觉帧与媒体流中的音频和/或视频数据同步，使得相对于媒体数据在适当的时 间感到触觉效应。
图1是图示根据实施例的用于编码、传送和解码流线化媒体传输文件的系统100 的框图。系统100包括发射机102、接收机104和通信介质106。在示例中，发射机102是移 动电话、个人数字助理(“PDA”)、个人计算机(“PC”)、服务器、家庭娱乐中心、数码相机或 能够在有线或无线陆地或蜂窝网络上传送媒体文件的任何其他数字处理设备。应当注意， 在实施例中，媒体流存储在有形媒介上，诸如DVD、CD、CDR0M、硬驱动、闪速驱动、RAM或其他 存储设备，由此，通过接收机104从所存储的信息中检索数据。媒体帧包括但不限于视频、音频和/或触觉帧。还应当注意，视频和/或音频帧可 以包括在媒体流中，并不一定限于嵌入媒体流中的两种类型的内容。如下所述，在实施例 中，系统能够利用写在音频文件(例如MP3)的标签中的触觉事件数据，由此终端单元能够 在读取所接收到的音频文件的标签后输出触觉反馈。在另一实施例中，系统能够利用写在 音频和视频文件(例如MP4)的标签中的触觉事件数据，由此终端单元能够在读取所接收到 的文件的标签后输出触觉反馈。在实施例中，如图1中所示，将音频、视频和触觉数据单独地从发射机102流送到 接收机104。如图1所示，在实施例中，发射机102包括编码器116、视频块110、音频块112 和触觉块114。在一实施例中，发射机102不包括视频块110，而是只有音频块112和触觉块 114。视频块110源自一系列视频帧，并且音频块112源自一系列音频帧。触觉块114源自 一系列触觉帧。在一实施例中，视频和/或音频块源自一个位置，而触觉帧源自另一位置。 在另一实施例中，所有音频/视频和触觉帧源自一个位置。
在实施例中，编码器116例如能够从视频块110生成视频帧，从音频块112生成 音频帧，以及从触觉块114生成触觉帧，并且根据例如诸如运动图像专家组压缩标准版本 4( “MPEG-4”)、MP3(仅音频)等等的市售媒体传输协议将它们集成到媒体传输流中。换句 话说，视频帧和/或音频帧以及触觉帧被编码或封装到媒体传输流中，并且随后在通信介 质106上将媒体传输流传送到用户指定的目的地或终端单元。尽管对所有块示出了一个编 码器，但是预期将每个块或者一个或多个块耦合到各自的编码器。应当注意，将定时的触觉 信息集成到各个帧中可以适用于任何媒体传输流格式，并且不限于特定文件类型、协议、软 件环境或媒体层硬件环境。媒体传输流是从发射机102传送的并且由接收机104连续接收的一系列数据分 组，由此数据分组不一定存储在接收端中。该示例是来自远程服务器的视频和/或音频的 典型互联网流送。在另一实施例中，压缩或加密由媒体传输流传输的触觉信号以增强数据 安全。通信介质106可以是线路(有线)通信介质、无线通信介质或混合有线和无线通 信介质。来自视频块110的视频帧和来自音频块112的音频帧分别形成视频组件和音频组 件，或共同形成媒体传输流的媒体组件。触觉帧形成媒体传输流的触觉组件。接收机104能够在通信介质106上接收媒体传输流。在示例中，接收机104或终 端单元是移动电话、个人数字助理(“PDA”)、个人计算机(“PC”)、服务器、麦克风、家庭娱 乐中心，或能够在有线或无线网络上接收媒体文件和输出触觉反馈的任何其他数字处理设 备。在实施例中，接收机104包括一个或多个解码器126、视频块120、音频块122和触觉块 124。在一实施例中，视频块120、音频块122和触觉块124用于分别存储视频帧、音频帧和 触觉帧。再次地，在一实施例中，接收机104不包括视频块120，而仅包括音频块122和触觉块 124。在接收到媒体传输流后，接收机104解析来自媒体传输流的视频帧、音频帧和触 觉帧，并将视频帧发送到视频块120，将音频帧发送到音频块122，以及将触觉帧发送到触 觉块124。应当注意，视频块110中的视频帧、音频块112中的音频帧、以及触觉块114中的 触觉帧基本上包含分别与视频块120中的视频帧、音频块122中的音频帧、以及触觉块124 中的触觉帧类似的信息。应当进一步注意，视频块110中的视频帧、音频块112中的音频帧、 以及触觉块114中的触觉帧在适当的情况下可以具有与相应的视频块120中的视频帧、音 频块122中的音频帧，以及触觉块124中的触觉帧不同的数据格式，尽管它们可以包含类似 的信息。应当注意，尽管在图1中示出了一个解码器，但预期每个块可以耦合到它自己的各 个解码器或与另一块共享解码器。应当注意，将定时的触觉信息与各种帧集成可以适用于 任何媒体传输流格式并且不限于特定文件类型、协议、软件环 境或媒体播放硬件环境。还应 当注意，发射机102和接收机104可以是都包含用于发射和接收的类似能力的类似设备。图2是图示根据实施例的用于识别媒体传输流的媒体组件和触觉组件的接收系 统200的一部分的框图。系统200包括媒体播放器202、媒体同步(sync)层204和数据库 或存储贮存器220。总线230用于在媒体播放器202和数据库220之间传输数据，并且总线 232用于在媒体播放器202和媒体同步层204之间传递信息。媒体同步层204经由各个总 线234-238进一步耦合到视频编解码器206和/或音频编解码器208以及触觉单元210。 视频编解码器206和音频编解码器208可以是用于压缩和解压缩数字信息的软件组件、硬 件设备或硬件和软件组件的组合。在一个实施例中，设备200是终端单元本身(例如移动 电话)。在另一实施例中，设备200存储在远程服务器或其他组件上，由此设备200充当提 供媒体流的源和终端单元之间的中间节点。在实施例中，包括视频和/或音频以及触觉信息以及用于整个时间线的主时间码 的帧集合被传送到系统200，由此数据流至少临时存储或缓存在存储器220中。媒体播放 器202从存储器220接收所存储的数据，并提取在媒体传输流中传送的音频和/或视频数 据和触觉数据或帧。媒体播放器202可以被编程以处理特定媒体传输流格式或多种预定义 的流和扩展，诸如MP3、MP4、AAC、Ogg Vorbis、asx等等。在由媒体播放器202提取了媒体数据和触觉数据后，媒体同步层204接收内容，并 通过在由主时间码或在传输媒体流中接收到的定时表指定的时间将每个媒体类型的帧递 送到适当的编解码器，使所提取的媒体内容同步。媒体同步层204读取每个触觉帧的时间 戳或初始时间。这些时间戳与主时间码进行比较，并用于将触觉效应定时和定义发送到触 觉单元210，以在适当的时间激活致动器(或多个致动器)。每个触觉帧被分配有应当由媒 体播放器根据主时间码510在适当时间播放相关联触觉效应(多个)的初始时间或时间戳 520。在一实施例中，时间戳520没有被分配给不包含触觉信息的帧。例如，数据(基)省 略不包含触觉信息的帧。在一实施例中，基于其他媒体组件，根据预定义的算法来生成与触 觉信息相关联的时间戳。在另一实施例中，鉴于其他媒体组件，根据来自用户的组合输入和 预定义算法可以生成与触觉信息相关联的时间戳。图3是图示根据实施例的系统200的另一部分的框图。图3中所示的设备300优 选是终端单元104中的媒体同步层202的一部分，并且确保与时间戳触觉组件相关联的物 理触觉效应对应于媒体组件。在一实施例中，设备300与图2中的部分200分开。在一实施例中，设备300是基于硬件和基于软件的。在一实施例中，设备300包括应用编程接口(“API”)306、内核308和触觉电路314。内核308示为进一步包括振动发生器(“VG”)312、 触觉重放引擎(“HPE”)310。尽管振动发生器312和触觉重放引擎310示为内核308的一 部分，但是预期振动发生器312和触觉重放引擎310是与内核308分开的模块。另外，部分 300包括耦合到触觉电路314的一个或多个致动器。预期任何类型的致动器346可以用于 该系统中。应当注意，尽管设备300示为包括以上组件，但是附加和/或替代组件是可预期 的。API 306向内核30825传送最终用来以与在帧中定义的触觉信息一致的方式来操 作致动器346的低级别命令。在实施例中，HPE 310经由总线358、经由API 306，根据从触 觉单元210接收到的数据，在触觉事件中调度。VG 312根据从API 306接收到的触觉信息 使触觉效应同步，并且将用来操作致动器346的控制信号提供给触觉电路314。内核308经 由连接360进一步耦合到触觉电路314。在示例中，触觉电路314是配置成经由连接362来 驱动致动器346的放大器。触觉电路314可以是模拟或数字电子电路和/或可以是基于软 件的。API 306的功能是相对于相应的音频和/或视频数据在正确的时间启动触觉效 应。这是由于每个触觉帧是不依赖于其前或其后的其他触觉帧的自包含触觉效应。具有自 包含触觉帧的优点是当使用设备300时允许用户随机地接入触觉帧或媒体帧，并确保系统 将仍然能够生成包括图像、声音和触觉效应的同步的多媒体输出。这在下文更详细地进行 讨论。图4是图示根据实施例的使视频、音频和触觉信号的重放同步的方法的时序图 400。时序图400图示了嵌入媒体传输流中的主时间码402、媒体传输流的视频组件404、媒 体传输流的音频组件406和媒体传输流的触觉组件408。主时间码402嵌入媒体传输流中 并可以由媒体播放器从媒体传输流中提取。在实施例中，主时间码402是具有一系列时间 戳的时间线，诸如、，ti; t2等等，该时间线与音频和/或视频数据无关。然而，预期媒体文 件中的音频和/或视频组件包括可以用作主时间码402的时间戳。图4中的视频组件404包括多个顺序视频帧，诸如帧40V. . . nV。音频组件406包 括多个顺序音频帧，诸如帧40A、42A. . . nA。触觉组件408也包括多个顺序触觉帧，诸如帧 40H、42H、44H、46H. . . nH。应当注意，“η”是整数值。如图4中所示，使视频组件404、音频组 件406和触觉组件408均与主时间码402同步。特别地，40V的视频帧从时间、持续到t4。 比较起来，音频帧40A和42A出现在从时间戳tQ到t4的流中。另外，触觉帧40H、42H、44H 和46H出现在从时间戳tQ到t4的流中。尽管在视频、音频和触觉帧之间帧格式可能不同，但是将根据公用协议来配置组 件内的帧。在一个实施例中，触觉帧40H基本上与触觉帧42H有相同的数据大小。在另一 实施例中，由40H和42H覆盖的时间间隔分别是例如200ms，但它们的物理存储范围可能不 同。预期除200ms外的其他时间间隔也是预期的。应当注意，在实施例中，与物理数据容量 相比，触觉帧大小由时间长度来确定。应当注意，尽管音频帧406示为具有相等长度，但音 频帧可以具有不同长度。同样也适用于视频和触觉帧。返回参考图4，在时间戳tQ处，触觉帧40H、音频帧40A和视频帧40V基本上同时开 始重放。尽管触觉帧40H在时间戳、完成播放，但在触觉帧40H中定义的触觉效应可以被配置成在时间ti后继续播放。例如，帧40H中的触觉效应可以是时间长于时间、和、间 的时间的振动。如果这种情况发生，则一个或多个致动器继续输出先前的触觉效应，同时以 重叠方式输出后面的触觉效应。在时间戳、处，触觉帧42H开始输出。应当注意，播放触觉帧42H的初始时间或 时间戳对应于从主时间码确定的时间。将时间戳分配给触觉帧允许触觉帧(例如帧42H) 开始重放，而与诸如帧40H的在前触觉帧完成播放的时间无关。因此，如果在时间戳、之 前触觉帧40H已经完成播放，则将不播放触觉效应，直到在时间戳、播放触觉帧42H为止。 在时间戳t2，将播放触觉帧44H和音频帧42A。在时间戳t3处，将输出触觉帧46H，尽管已 经播放视频帧40V和音频帧42A。将时间戳编码到内容数据404-408使得用户能够在时间线中的任何点接入特定 一条内容，并且仍然经历与所选择的内容相关联的同步触觉效应。因此，在用户选择音频帧 nA后，系统将自动地播放与该音频帧nA相对应的关联触觉效应nH。在用户转发文件以收 听特定音频曲调(例如大鼓)或查看特定视频图像(例如爆炸)的情形下，这将是有利的， 由此系统播放分配给该特定一条内容帧的触觉效应(例如摇动)。在实施例中，如果用户要快进到图4中的时间&，则系统将等待直到播放下一触觉 帧ηΗ之前的时间tH为止。在那之前，在那一实施例中将不播放触觉效应。类似地，播放器 将等待直到在播放下一音频帧nA之前的、为止，在这一实例中，tA等同于tH。类似地，播 放器将等待直到tv为止，以播放下一视频帧nV。
在实施例中，设备允许媒体同步层204指定在确切的时间tn开始重放，在这种情 况下，媒体同步层204向触觉单元210传送触觉帧(n-l)H并指定tn-(t_l)H的时间偏移。 然后，当尝试重放帧(n-l)H时，触觉单元210将该时间偏移传送给API 306。预期该系统可 以被配置成通过将设置的帧数存储在缓冲器中来播放所选择的帧的一个或多个正好在前 触觉帧(或其一部分)，由此用户能够在确切的重放点体验触觉效应或触觉效应的一部分。在实施例中，触觉帧被配置成包含在此定义的一个或多个触觉效应。在触觉帧中 提供定义和调度这些触觉效应的参数，由此系统解译触觉参数并指示致动器从所定义的参 数来播放触觉效应。例如，所定义的参数能够使播放器偏移帧内待重放的至少一个触觉效 应。换句话说，触觉效应之间的时间偏移相对于定义它们的参数的特定帧的开头，而不是文 件或媒体传输流的开头。调度帧内的各个效应是播放声音、图像和触觉效应的设备的责任。 例如，媒体播放器的类型、网络连接、致动器的类型和/或设备的大小可以基于终端设备的 细节来规定应当如何调度触觉效应。由于设备的同步层调度视频、音频和触觉帧的重放，所 以可以在每个帧的开始而不是整个文件或流的开始来校正不同媒体之间的任何偏差。图5是图示根据实施例的在一系列连续帧上解析的触觉效应的图500。图500包 括主时间码510和与主时间码510同步的触觉组件512。触觉组件512进一步包括多个触 觉帧502，504，506等等。每个触觉帧表示和占用固定长度的时间，并且封装与该固定长度 的时间相关联的多个触觉效应。由主时间码510来确定诸如、和、的时间线和时间戳。在实施例中，由设备使用主时间码510来协调对文件所接收到的所有帧或数据分 组的接收和重放。在实施例中，在用户的正常操作期间，可以选择和固定帧的时间长度。在 实施例中，根据数据的性质和用户的偏好来使用100至300ms(毫秒)的帧长度的范围。在 一些具体操作中，可以使用Ims帧长度来满足一些极其严格的同步要求。应当注意，与Ims帧长度相关联的成本可能很高，因为它要求明显增加的带宽使用。在实施例中，在文件中设 置和嵌入主时间码的帧长度，并且因此用户或设备300不能改变该帧长度。应当注意，帧长 度可以预期并且不限于上述的那些值。通常，更长的帧长度意味着更少的帧需要与媒体效应同步，这暗示更大可能使触觉效应不与音频和/或视频同步。另一方面，尽管更短的帧长度提供与音频和/或视频更 好和更严格同步，但要求更多的处理能力和更高的网络带宽来处理触觉和媒体效应之间的 增加的同步过程。在实施例中，触觉帧大小可以是8，16，25，32，64，128或256字节，取决于触觉效应 的复杂性。例如，一些触觉帧分别包括振动声和/或与特定声音有关的振动-视频数据和/ 或视频帧。在一实施例中，触觉帧包含再现至少一个触觉效应所需要的信息和指示触觉效 应的起始时间的时间戳。应当注意，如果触觉信息未出现在帧中，则可以省略触觉帧。图6是图示根据实施例的包含触觉信息的触觉帧600的框图。在实施例中，使用 触觉信息来定义将在帧内播放的每个触觉效应。触觉信息包括在帧长度的持续时间期间实 现触觉效应或一系列触觉效应所需要的各种参数，诸如强度/幅度、持续时间、周期性、开 始-延迟、攻击强度、攻击定时、衰减强度、衰减定时等等。持续时间参数用于指定致动器将 播放触觉效应多长时间。触觉效应的开始_延迟参数指示从帧或时间戳开始触觉效应将等 待多久才能播放。在示例中，触觉效应可以是周期性的，并且周期性参数定义了这样的周期 性。在实施例中，触觉效应信息使用非参数编码。在实施例中，这样的编码可以包括一系列 8位致动器控制值，以应用于在每8位值5ms的持续时间中控制施加在致动器引线两端的瞬 时电压的脉宽调制器。如果每个触觉帧表示200ms的触觉重放时间，那么每个触觉帧将包 含正好40个字节的数据。触觉信息也可以包括包络信息，它用于通过设置用于一些触觉效 应的边界来控制触觉效应。图6中所示的触觉帧600是触觉帧的示例性布局，它包含触觉效应定义部610和 一系列调用触觉效应指令612-616。在实施例中，触觉效应定义部610包括控制信息，诸如 持续时间参数、停止时间、起始时间和起始-延迟参数。每个调用触觉效应612-616可以包 含有关幅度、攻击强度、衰减强度和将播放的特定类型的触觉效应的信息。因此，每个触觉 帧600提供与分配的时间戳相对应的起始和停止时间，并且还保持有关将由致动器输出什 么类型的触觉效应(多个)的信息。应当注意，触觉帧能够同时启动一个或多个触觉效应。 应当进一步注意，在触觉帧的帧长度或时间间隔外，触觉效应还可以继续播放。在实施例 中，触觉效应定义部610可以通过指示控制触觉效应开始进入帧中多远的偏移参数来指定 将播放触觉效应的时间偏移(例如，时间戳后，开始振动5ms)。图7是图示根据实施例的与触觉效应相关联的波形701的图700。特别地，χ轴 表示时间，而y轴表示致动器输出的力的幅度或强度。波形701使用几种不同的频率来使 用户感觉到触觉感觉。波形701的触觉效应持续如702所示的持续时间，在此期间，存在攻 击时间704、正常时间708和衰减时间706。在一个实施例中，持续时间702等于或小于触 觉帧的时间间隔。在另一实施例中，持续时间702长于触觉帧的时间间隔。开始时的触觉 效应的强度由“攻击级”709指定。从正常时间708开始，触觉效应的强度改变成“幅度”级 710，并且在衰减时间706结束时，它变成衰减级712。替代地，还可以从0幅度触觉效应测 量衰减级712。应当注意，图中所示的波形是示例，并且可以预期几种不同类型的已知波形。
频率周期或周期类型可以是恒力、方波、三角波、正弦波、锯齿波、倒锯齿波或上述 波形的任何组合。应当注意，不同频率周期提供不同的触觉反馈。例如，波形701可以在 0. IHertz至IOOOHertz的范围内，其中不同频率提供不同的触觉感觉。操作中，根据它的攻击级709、攻击时间704、衰减级712和衰减时间706来定义由 波形701引起的触觉效应。当到了执行波形701的时间时，执行过程指定基本强度或触觉 效应的“幅度”、它的持续时间，是否周期性地播放，并且如果是，则多久将重新开始。定义触 觉效应的信息出现在每个触觉帧中，并且如在实施例1-3中，当触觉和内容数据被单独流 送时，被顺序地下载到播放设备。在下述另一实施例中，将触觉效应存储在内容文件的文件 头部的帧中。应当注意，波形701仅是示例，并且本领域的普通技术人员将易于理解到可以 以多种方式来定义这样的触觉效应。
对图1-3中所述的实施例，该系统利用各种处理步骤来使触觉帧的输入流与内容 帧同步。在此描述的步骤可以嵌入机器或计算机可执行指令中。这些指令进而可以用于使 通过这些指令编程的通用或专用系统执行在此描述的各步骤。替代地，可以由包含用于执 行步骤的硬布线逻辑的特定硬件组件，或由编程的计算机组件和定制的硬件组件的任何组 合来执行在此描述的各步骤。尽管参考无线通信网络描述了实施例，但是在此描述的方法 和装置同样适用于包括有线的其他网络基础设施或其他数据通信环境。图8是图示根据一实施例的用于使触觉效应与其他媒体组件同步的过程的流程 图。在框802，该过程识别在媒体传输流中的至少一个触觉帧中的触觉信息。在一实施例 中，该系统识别接收时的一系列视频、音频和触觉帧。在一实施例中，这由媒体播放器来执 行。在框804，该系统根据主时间码来确定时间戳以分配给帧。如上所述，在一实施例 中，主时间码可以嵌入媒体传输流中。在一实施例中，与视频和/或音频流相关联的时间码 可以用作主时间码。如上所述，时间戳是系统用来触发执行在触觉帧中定义的触觉效应的 时间点。在框806，系统将时间戳分配给触觉帧，其中，时间戳指示何时激活一个或多个致 动器以根据存储在触觉帧中的触觉信息来生成触觉效应。优选的是，使分配给触觉帧的时 间戳与相应的音频和/或视频帧同步和对齐。而且，如上所述，系统能够分配子时间戳，它 们是单一触觉帧内的时间戳的偏移。在一实施例中，在将触觉效应设计成媒体文件时，执行 框 804-806。在框808，该过程解译在每个触觉帧中存储的触觉效应信息，以确定对特定帧要输 出的触觉效应的类型。在一个实施例中，系统响应于视频和/或音频信息来编码触觉效应 信息。在另一实施例中，该过程响应于几个预定义算法中的一个来编码触觉效应信息。应 当注意，每个触觉帧可以包含在特定触觉帧内的不同时间开始的多个触觉效应。应当进一 步注意，系统能够根据触觉效应信息来激活一个或多个致动器，并且还根据它的关联的时 间戳来保持触觉效应。如上所述，系统被配置成接收媒体数据和触觉数据的多个流，由此系统将时间戳 分配给触觉帧并且使触觉帧与即时数据流同步以产生连带性(cohesive)触觉体验。在另 一实施例中，系统能够从嵌入媒体传输流的头部标签中的触觉信息来输出触觉效应，由此 使触觉效应与文件中的音频和/或视频同步。特别地，系统可以被配置成利用嵌入媒体传输流中的现有的标记方案，一个示例是ID3V2标记方案。系统能够解译存储的触觉信息，以 及从读取优选地在文件中的数据前面的头部标签来使触觉信息与文件中的其他媒体信息 同步。本说明书使用ID3V2标记方案来描述发明实施例，但是应当注意，可以预期其他标记 方案和解决方案(例如ID3V1，Lyrics3)。通常，标记方案使用作为前置于媒体文件的数据块的标签，由此标签保持一个或 多个更小的帧块。如图9所示，标签可以包括任何类型的信息，诸如标题、相册、表演者、网 站、lyric、均衡器预置、图片等等。在实施例中，每个帧可以是16MB，并且整个标签可以是 256MB，尽管帧大小不限于这些值。在实施例中，标签的格式是允许添加新的帧的容器格式 (例如IFF、PNG扩展)。另外，当文件流送到终端单元时，将标签放在内容数据前面或之前 允许系统利用该标签及其嵌入信息。在实施例中，标签位于数据内容之后，由此，系统能够 从标签数据有效地再现同步的触觉效应。在实施例中，使用软件程序，通过编程员或管理员将具有触觉信息的标签直接嵌 入其中。将所嵌入的标签连同相应的媒体文件902发送到接收终端单元(图1)或服务器 或其他存储装置，用于以后下载到接收终端单元104。在实施例中，包括触觉信息和同步信 息的标签的相关部分或标签本身存储在与Gracenote的Compact Disc DataBase CDDB类 似的远程数据库上，然后在从终端设备104请求之后递送到接收终端单元104。在实施例 中，终端设备104可以将来自所接收到的头部帧的信息与存储在终端设备104上的内容数 据组合，由此由终端设备处理和输出该组合，以产生与媒体数据同步的触觉效应。图9图示了根据实施例的媒体文件的标签的示意图。图9中的媒体文件900包括 媒体内容数据902，媒体内容数据902包括音频和/或视频数据。在实施例中，所示的附接 到媒体数据文件902的前面的是头部标签904，由此头部标签904可以包括专用帧906、信 息帧908、lyrics帧910、图片帧912、注释帧914和编程人员希望插入的任何其他附加帧 916。应当注意，标签不限于所示的帧，预期附加和/或替代帧与媒体文件900—起使用。另 夕卜，预期不止一个特定帧可以出现在头部标签904中(例如，两个lyrics帧910，两个图片 帧912等等)。尽管在此主要将标签描述为在音频/视频数据前，但预期可以将标签放在音 频/视频数据后或在音频和视频数据的分组之内或之间。以二进制格式存储专用帧906，由此可以编程专用帧以通知终端单元中的媒体播 放器将输出用于相应附加媒体文件902的触觉效应。在实施例中，可以编程专用帧以在其 中直接包括同步信息和用于每个触觉帧的触觉信息。同步信息可以包括时间戳信息，由此， 媒体播放器读取专用帧中的数据，并且输出与音频和/或视频数据同步的相应触觉效应。 在实施例中，用于每个帧的同步信息被存储在元数据中，由此，每个帧包含用于在帧中存储 的每个参数化振动定义的时间偏移。例如，特定帧(例如帧A)可以具有在600ms设置的 时间戳。同步信息可以指示相对于用于帧A的时间戳的开始，触觉效应的偏移将在50ms和 185ms开始。因此，当播放帧A时，将指示致动器分别在650ms和785ms输出触觉效应(或 触觉效应的预定义特性)。另外，专用帧将包括识别其中的信息来提醒终端设备该专用帧其中包括触觉信息。因此，终端单元被配置成在所有专用帧中搜索识别帧的所有者的数据。在实施例中，专 用帧包括所有者标识符字段，诸如具有URL的空终止串，该URL包含负责该帧的组织的电子 邮件地址。另外和/或替代地，所有者标识符字段包括表示负责组织的身份的链接。在终端单元肯定地识别出属于其所有者(例如ImmersionCorporation)的专用帧后，系统将进 一步处理该帧，并使用它来进行同步帧的触觉处理。应当注意，专用帧可以包括用于提供允 许系统识别标签的信息的其他手段，并且因此并不限于上述配置。头部标签还包括携带上述触觉信息和时间戳信息的同步帧。该同步帧包括用于编 程该帧的几个字段。在实施例中，在该同步帧中使用的字段是编码字符集是包括Unicode， IS0-8859-1或是其他编码字符。同步帧可以是图9中所示帧中的任何一个，诸如Lyrics帧 910。进一步地，同步帧包括时间格式字段，该时间格式字段允许时间戳单位是毫秒、MPEG帧寸寸。在示例中，同步帧可以被设置成Unicode格式，将触觉事件数据放在“事件”帧中， 并且将时间戳格式设置成毫秒。在示例中，数据字段中的第一项是作为在新行字符之前的 串给出的项计数。由于空字符用作同步标识符，因此项计数和数据大小表示为串。如在图6 中所述，对每个样本，帧包括触觉定义帧和调用触觉效应帧。另外，帧包括同步标识符信息 以及时间戳信息(如果需要的话)。图10图示了根据使用头部标签来提供触觉信息的实施例的系统的框图。图 10中示出了系统1000，系统1000包括媒体播放器1002、同步层1004、应用可编程接口 (API) 1006、内核1008、触觉重放引擎1010、振动发生器1012、致动器驱动电路1014和一个 或多个致动器1016。应当注意，系统1000不限于该配置，并且可以使用替代和/或附加组 件。 如图10所示，将媒体文件1018加载到软件程序接口 1020，其中，如上所述，媒体文 件1018嵌入有触觉信息以及头部标签中内的标识符和同步信息。可以在Immersion的专 有VibeTonz Studio软件上或由其他适当的软件程序来完成该信息的嵌入。在媒体文件嵌 入有同步和触觉信息数据后，修改的媒体文件1022可以直接发送到设备1000或可以存储 在存储器或服务器中，用于以后检索。在实施例中，修改的媒体文件可以存储在流送服务器 上，用于流送到终端设备1000。在下载到终端设备1000后，由媒体播放器1002接收修改的媒体文件1022，由此， 媒体播放器1002识别文件1022是否包括触觉标识符数据。在另一实施例中，媒体文件1022 被流送到终端设备1000，由此，在流的开始检索头部信息并存储头部信息。然后，处理所存 储的头部信息以及以后接收到的流送媒体文件，以确保触觉效应与流送的媒体同步。如果 文件1022不包括触觉标识符数据，则不将触觉效应信息中继到API 1006。然而，如果文件 1022在专用帧中不包括触觉标识符数据，则同步层1004读取同步帧，并将必需的提取的信 息提供给API 1006。API 1006在正确的时间启动触觉效应，因为每个触觉帧是不依赖于同 步帧中的其他帧的自包含触觉效应。API 1006指示内核1008向触觉重放引擎1010提供低 级别命令，由此触觉重放引擎指示振动发生器1012激活驱动电路1014以控制和/或放大 输出到致动器1016的控制信号。然后，致动器1016通过在同步层中定义的特定触觉效应， 在所指示的时间戳，自动地输出所指示的触觉效应。应当注意，可以按任何适当的顺序来完 成以上步骤，并且以上步骤不限于所提出的顺序。还应当注意，在不背离在此的发明概念的 情况下，可以使用附加/替代步骤。尽管已经示出和描述了各实施例和应用，但是对受益于该公开的本领域的技术人 员将显而易见的是，在不背离在此的发明概念的情况下，很多比上述更多的修改是可能的。
权利要求
一种方法，包括接收媒体文件，所述媒体文件具有在该媒体文件中的内容数据前面的标签中的嵌入的触觉事件数据，所述触觉事件数据具有嵌入帧中的时间戳信息；利用所述触觉事件数据和所述内容数据之间的共用时间戳，使所述媒体文件中的所述嵌入的触觉事件数据与所述内容数据同步；以及经由重放设备中的致动器来输出触觉效应，其中，所输出的触觉效应与所述内容数据的相应媒体事件同步，所述媒体事件与所述触觉事件在基本上相同的时间戳出现。
2.如权利要求1所述的方法，其中，所述嵌入的触觉帧在所述标签的专用帧中。
3.如权利要求1所述的方法，其中，所述嵌入的触觉帧在所述标签的lyrics帧中。
4.如权利要求1所述的方法，其中，所述内容数据包括音频数据。
5.如权利要求1所述的方法，其中，所述内容数据包括视频数据。
6.如权利要求1所述的方法，其中，在所述帧中的所述嵌入的触觉事件数据进一步包 括起始时间、幅度、频率和持续时间。
7.如权利要求1所述的方法，其中，所述媒体文件在所述重放设备处被接收之前先被 存储。
8.如权利要求1所述的方法，其中，所述媒体文件从源流出并由所述重放设备接收。
9.如权利要求1所述的方法，进一步包括根据与所述媒体文件相关联的主时间码来从 所述媒体文件提取所述嵌入的触觉事件数据。
10.一种设备，包括接收装置，所述接收装置用于接收媒体文件，所述媒体文件具有在该媒体文件中的内 容数据前面的帧中嵌入的触觉事件数据，所述触觉事件数据具有嵌入所述帧中的时间戳信 息；同步装置，所述同步装置用于利用主时间码来使所述媒体文件中的所述嵌入的触觉事 件数据与所述内容数据同步；以及输出装置，所述输出装置用于经由致动器来输出触觉效应，其中，所述触觉效应与所述 触觉事件数据的时间戳相关联。
11.如权利要求10所述的设备，其中，所述嵌入的触觉帧在所述标签的专用帧中。
12.如权利要求10所述的设备，其中，所述嵌入的触觉帧在所述标签的lyrics帧中。
13.如权利要求10所述的设备，其中，所述内容数据包括音频数据。
14.如权利要求10所述的设备，其中，所述内容数据包括视频数据。
15.如权利要求10所述的设备，其中，所述媒体文件的格式是MP3。
16.如权利要求10所述的设备，其中，在所述帧中的所述嵌入的触觉事件数据进一步 包括起始时间、幅度、频率和持续时间。
17.如权利要求10所述的设备，其中，所述媒体文件在所述重放设备处接收被之前先 被存储。
18.如权利要求10所述的设备，其中，所述媒体文件从源流出并由所述重放设备接收。
19.如权利要求10所述的设备，进一步包括用于根据与所述媒体文件相关联的主时间 码来从所述媒体文件提取所述嵌入的触觉事件数据的装置。
20.用于由机器执行的在一个或多个有形介质中编码的逻辑，并且当该逻辑被执行时，可操作地执行一种方法，所述方法包括接收媒体文件，所述媒体文件具有在该媒体文件中的内容数据前面的标签中的嵌入的 触觉事件数据，所述触觉事件数据具有嵌入帧中的时间戳信息；利用所述触觉事件数据和所述内容数据之间的共用时间戳，使 所述媒体文件中的所述 嵌入的触觉事件数据与所述内容数据同步；以及经由重放设备中的致动器来输出触觉效应，其中，所输出的触觉效应与所述内容数据 的相应媒体事件同步，所述媒体事件与所述触觉事件在基本上相同的时间戳出现。
全文摘要
识别媒体文件的一系列帧中的触觉信息，并根据嵌入在媒体文件前面或后面的标签中的信息来确定与其相对应的时间戳。基于在标签的一个或多个帧中的信息来使触觉效应信息自动地与媒体文件同步，由此，致动器以与媒体文件的相应音频和/或视频内容同步的方式来输出标签中所定义的触觉效应。
文档编号H04M1/725GK101828382SQ200880111982
公开日2010年9月8日 申请日期2008年10月16日 优先权日2007年10月16日
发明者克里斯托弗·J·乌尔里希, 史蒂芬·D·兰克, 穆尼波·M·巴克尔哲奥卢 申请人:伊梅森公司