媒体传输流中的触觉效果数据的同步的制作方法

专利名称：媒体传输流中的触觉效果数据的同步的制作方法
技术领域：
本发明涉及触觉学领i或。更具体地，本发明涉及在^某体传，叙流 中编石马的触觉岁文果(haptic effect )。
背景技术：
为了改进用户和机器之间的界面，近年来，将触觉效果连同音 频/视频媒体一起结合到该界面内已变得越来越普遍。诸如振动的触 觉效果可以被用户感知并且通常可与事件触发器(诸如压下装置上 的按4建、或者播力文铃音以通知手才几上有来话呼叫或者收到文本信息 等)相关。通常，媒体的回放可以被补充有振动。然而，在播放触 觉信号以及Jf某体信号一段时间时，传统的实现々某体效果的方法存在 一些问题。
一种问题是需要在触觉信号和诸如—见频和/或音频信号的其他 媒体信号之间同步回放。通常，音频引擎、视频引擎和触觉引擎在
不同的时钟上进行操作。通常，在回放触觉、视频、和音频信号过禾呈中不存在内置同步才几构。例如，尽管在回i欠开始时，触觉4言号和 媒体信号可能在彼此相差几毫秒内起动并因而被充分同步，但是这 些信号通常可能会在一段相当短的时间内偏离同步。另 一种问题在于，可能^艮难随才几地存耳又在既具有^某体信号又具 有触觉信号的媒体传输流中的一个点。换句话说，当用户在任意点 处开始回》丈一部分J 某体传输流而不存取出现在々某体传输流中的该 任意点之前的任何数据时，很难使触觉信号与媒体信号同步。因而，需要一种提供使触觉信号与其他媒体(例如，音频和视频)同步的才几构的解决方案，该4几构可以在既包含触觉〗言息又包含 媒体信息的媒体传输流中的任意点进行操作或者从任意点开始进 行操作。发明内容本发明^皮露了一种用于〗吏触觉效果与其他^某体成分(即，#见频和音频)同步的方法和"i殳备。因此，识别在^某体传l命流中的一连串 帧中的触觉信息，并才艮据嵌入々某体传输流中的主时间码信号来确定 与该触觉信息相对应的时间戳。随后向包含触觉信息的每个媒体传 输流帧分配一个时间戳，以便在对应于该时间戳的适当时间启动执 行机构，从而根据触觉信息来生成触觉效果。根据以下阐述的详细描述、附图和权利要求将显而易见本发明 的其他特征和优点。


结合到说明书中并构成i兌明书一部分的附图示出了本发明的
一个或多个实施例，并且连同详细描述一起用于阐述本发明的原理 和实现。
在附图中
图1是示出了根据本发明的一个实施例的用于编码、传送和解 码包括触觉信息的々某体传输流的系统的框图2是示出了根据本发明的一个实施例的用于从媒体传输流中 识别出々某体和触觉成分的系统的才匡图3是示出了根据本发明的一个实施例的用于使触觉成分与其 他々某体成分同步的装置的框图4是示出了4艮据本发明的一个实施例的侵^见频、音频和触觉 信号的回》文同步的方法的时序图5是示出了根据本发明的一个实施例的被分解成连续帧的触 觉信号的示图6是示出了根据本发明的一个实施例的包含触觉信息的触觉 帧的框图7是示出了根据本发明的一个实施例的引起触觉效果的波形 的示图；以及
图8是示出了根据本发明的一个实施例的用于使触觉效果与媒 体成分同步的处理的流程图。
具体实施方式
本文中，在用于传送包括触觉信息的々某体传输流的方法、系统 和设备的上下文中描述了本发明的实施例。本领域的普通技术人员 会理解本发明的以下详细描述仅是示例性的而并不用于以任何方 式下进4亍限制。理解本4皮露的本领域才支术人员将会容易地联想到本 发明的其他实施例。现在将详细参考附图所示的本发明的实施。贯 穿附图和以下的详细描述，使用相同的参考标号来表示相同或相似 的部件。为了清楚，在本文中没有示出和描述所有所描述的实施例的常 规特征。当然，应该理解在任何这样的实际实施的开发过程中，为 了达到开发者的特定目标，例如，适应于与应用或商业有关的限制， 必须#文出许多实施特定的决定，并且这些特定目标将随乂人一个实施 到另 一个实施以及从一个开发者到另 一个开发者的不同而不同。此 外，应该理解这样的开发努力是复杂且费时的，但是对得益于本公 开的本领域的普通技术人员来说，这只是常规的工程工作。根据本发明，可以使用各种类型的操作系统、计算平台、计算 才几程序、和/或通用才几器来实现本文中所述的成分、处理步驶《、和/ 或数据结构。另外，本领域的普通才支术人员将认识到在不背离本文 中所披露的本发明概念的范围和精神的情况下，还可以使用诸如硬连线装置、现场可编程门阵列(FPGA)、专用集成电^各等较少的通 用性装置。在通过计算机或机器来实现包含一连串处理步骤的方法 并且可以将那些处理步骤存卞者作为可祐j几器读取的一连串指令的 情况下，它们可以被存储在诸如计算机存储器件(例如，ROM(只 读存储器)、PROM (可编程只读存储器)、EEPROM(电可擦可编 程只读存储器)、FLASH存储器、跳转驱动(Jump Drive)等)、磁 性存储介质(例如，磁带、磁盘驱动等)、光学存储介质(例如,CD-ROM、 DVD-ROM、纸卡和纸带等)和其他已知类型的程序 存储器的实体介质上。
本发明通常涉及用于使包含在多轨道媒体传输流中的触觉效 果轨道与其他J 某体轨道同步以生成同步多々某体效果的才几构。识别在 媒体传输流中的 一连串帧中的触觉信息，并根据嵌入媒体传输流中 的主时间码信号来确定与触觉信息相对应的时间戳。随后向包含触 觉信息的每个媒体传输流分配一个时间戳，以便在对应于该时间戳 的适当时间启动执行机构，从而根据触觉信息来生成触觉效果。
图1是示出了才艮据本发明的一个实施例的用于编码、传送和解 码媒体传输流的系统100的框图。系统100包括发送器102、接收 器104、和通信介质106。在一个实例中，发送器102是电话、个 人凄t字助理("PDA")、个人计算才几("PC")或能够通过网全各发送 汷某体帧的任意其他凄t字处理装置。在一个实施例中，发送器102是 通过移动电话无线网络发送数据的媒体服务器。媒体帧包括但不限 于#见频、音频、和/或触觉帧。在一个实施例中，发送器102包括编 石马器116、 一见频块110、音频块112、和触觉*夹114。视j贞块110才是 供(source) —连串-见频帧以及音频块112 4是供一连串音频帧。触 觉块1144是供一连串触觉帧。
对于一个实例，编码器116能够编码或生成来自视频块110的 —见频帧、来自音频块112的音频帧、和来自触觉块114的触觉帧， 并且例如，才艮据市场上可用的々某体传输协议(例如，运动图像专家 组压缩标准版本4 ( "MPEG-4")等)将它们结合成媒体传输流。换 句话-说， 一见频帧、音频帧和触觉帧^皮编码或打包成々某体传输流，并 且随后该媒体传输流通过通信介质106被发送给用户指定的目的 地。应注意，将定时的触觉信息结合到各种帧中可以应用于任意的 媒体传输流格式并且不限于特定的文件类型、协议或媒体播放器硬
件环境。通信介质106可以是线(或有线)通信介质、无线通信介质、 或混合的有线和无线通信介质。来自纟见频块110的纟见频帧和来自音 频块112的音频帧分别形成一见频成分和音频成分，或者共同形成々某 体传输流的媒体成分。触觉帧形成媒体传输流的触觉成分。可以是 诸如电话或PC的々某体播》文器的接收器104能够经由通信介质106 接收媒体传输流。在一个实施例中，在被接收器104接收之前，媒 体传输流被存储在诸如传统数字录像机、网络消息中心等的存储器 中。在另一个实施例中，通过々某体传输流传输的触觉信号^皮压缩或 加密，以^提高数据安全性。接收器104包括解码器126、视频块120、音频块122、和触觉 块124，在一个实施例中， 一见频块120、音频块122、和触觉块124被分别用于存储视频帧、音频帧、和触觉帧。接收器104可以是能 够经由通信介质106接收媒体传输流的便携式电话、智能电话、 PDA、 PC、发送器/接收器装置等。当接收到媒体传输流时，接收 器104从々某体传输流中分解出^L频帧、音频帧、和触觉帧，并将賴L 频帧发送给一见频块120, 3夺音频帧发送给音频块122，以及爿夺触觉 帧发送给触觉块124。应注意，纟见频块110中的视J贞帧、音频块112 中的音频帧、和触觉块114中的触觉帧包含分别与一见频块120中的 一见频帧、音频块122中的音频帧、和触觉块124中的触觉帧基本上 类似的信息。还应注意，虽然包含了类似的信息，^f旦是^见频块110 中的^L频帧、音频块112中的音频帧、和触觉块114中的触觉帧可 以适当地具有与对应的^L频块120中的视J贞帧、音频块122中的音 频帧、和触觉块124中的触觉帧不同的数据格式。还应注意，发送器102和接收器104可以是都包含用于发送和 接收的类似能力的类似装置。图2是示出了根据本发明的一个实施例的用于识别媒体传输流 的媒体成分和触觉成分的系统200的框图。系统200包括々某体播放器202、媒体同步层204、和数据220。总线230用于在媒体播放器 202和数据库220之间传输数据，以及总线232用于在々某体插^文器 202和々某体同步层204之间传递信息。樣体同步层204还经由总线 234-238连4妄至#见频编解码器206、音频编解;马器208、和触觉单元 210。 ^L频编解码器206和音频编解码器208可以是用于压缩和解 压数字信息的软件模块、硬件装置、或硬件和软件成分的组合。在 一个实施例中，々某体同步层204分离或提取^L频、音频和触觉成分 并将所4是取的成分》文入其对应的编解码器中。^某体同步层204可以 被编程或选择，以处理特定的々某体传输流格式或诸如MP3、 MPEG4 等的多个预定流。
在操作过程中，媒体同步层204通过在由主时间码或时序表指
使不相同的媒体同步。表示完整时间线的一组帧经由々某体传输流被 发送给媒体播放器202。当接收到媒体传输流时，媒体播放器202 从媒体传输流中估计并分离出视频、音频和触觉数据或帧。媒体同 步层204随后才艮才居主时间码来向每个触觉帧分配时间戳或初始时 间，从而，时间戳可以用于将触觉效果时序和定义发送^合触觉单元 210,其可以在适当时间启动4丸行才几构(或多个^U亍才几构)。
图3是示出了根据本发明的一个实施例的用于使触觉成分与媒 体成分同步的装置300的框图。装置300包括应用编程4妄口 ("API")306、内核308、和触觉电路314。内核308还包括感应生成 器("VG，， ) 312和触觉回》文引擎("HPE，， ) 310。在一个实施例中， VG 312用于根据从API 306接收到的触觉信息来合成触觉事件，而 HPE 310用于才艮据经由总线358通过API 306 /人触觉单元210接收 到的数据来确定触觉事件的时间。内核308还经由连接件360连接 至触觉电路314。在一个实例中，触觉电路314是被配置为经由连 接件362驱动执行机构346的放大器。API 306的功能是用于在正确的时间引进触觉效果，这是因为 每个触觉帧均是不依赖于其他帧的独立触觉效果。具有独立触觉帧 的优点在于，其允许用户在使用媒体播放器202时随意存取触觉帧 或媒体帧并确保系统仍然能够生成包括图像、声音、和触觉效果的 同步多媒体输出。
图4是示出了根据本发明的一个实施例的使视频、音频和触觉 信号的回》文同步的方法的时序图400。时序图400示出了嵌入々某体 传输流中的主时间码402、媒体传输流的^L频成分404、 ^某体传输 流的音频成分406、和媒体传输流的触觉成分408。主时间码402 嵌入々某体传输流中并可以从J 某体传输流中才是耳又出来。例如，音频成 分406 #皮用作主时间码402 。在 一个实施例中，主时间码402是具 有一连串时间戳(诸如to、 t!、 12等)的时间线。
-现频成分404包括多个连续^L频帧(例如，帧40V)的 流o 音 频成分406包括多个连续音频帧(例如，帧40A和42A)的流。触 觉成分408还包括多个连续触觉帧(例如，帧40H、 42H等)的流。 虽然一见频、音频和触觉帧之间的帧4各式可以不同，^f旦是在成分内的 帧应该根据共同的协议来进行配置。例如，触觉帧40H的大小基本 上与触觉帧42H的大小相同。在另一个实施例中，例如，由40H 和42H覆盖的时间范围各为200 ms,但是它们的物理内存足迹 (footprint)通常是不同的。应注意，在一个实施例中，与物理容 量相反，触觉帧大小由时间的长度决定。
再参考图4，在时间戳to，触觉帧40H、音频帧40A和^L频帧 40V在基本上相同的时间开始回放。虽然触觉帧40H在时间戳tj 完成播放，但是在帧40H中定义的触觉效果在时间t,之后仍然可以 播放。在时间戳h,触觉帧42H开始被处理以进行播放。应注意， 在其处播》文触觉帧42H的初始时间或时间戳对应于才艮据主时间码 确定的时间。将时间戳分配给触觉帧使得诸如帧42H的触觉帧能够与前一触觉帧(i者如帧40H)完成^^文的时间无关;也开始回》丈。因 此，如果触觉帧40H在时间戳^之前已完成播放，那么在时间戳t！ 播;故触觉帧42H之前将不纟番放触觉效果。在时间戳t2，将播放触觉 帧44H和音频帧42A。在时间戳t3,将4番放触觉帧46H、— 见频帧40V、 和音频帧42A。
对在触觉帧内的时间霍t編码^f吏得用户能够随才几;也存取触觉帧， 这还能够4吏其触觉效果与其他々某体成分同步。例如，如果用户快进 到例如时间tn,那么在播放下一个触觉帧nH之前，播放器将一直 等待直到时间tH。在此之前，将不播放任何触觉效果。同样，在播 放下一个音频帧nA之前，播放器将一直等待直到tA (在此实例中 等于tH)。同样，播放器将一直等待直到tv才播放下一个视频帧nV。 除此之外， 一个实施例允许J 某体同步层204确切地指定在时间tn开 始播放，在此情况下，媒体同步层204发送触觉帧(n-l) H并将 V(t-1)H的时间偏移量指定乡合触觉单元210。然后，当i式图回方文触觉 帧(n-l)H时，触觉单元210将此时间偏移量传送给API306。
每个触觉帧4皮允许包含多个触觉效果。定义这些触觉效果并且 确定其时间的参凄t能够4吏将回力文的触觉效果在帧内偏移。换句话 说，在触觉效果之间的时间偏移是相对于该帧的开始，而不是相对 于文件或i某体传输流的开始。确定各个效果在帧内的时间是播》文声 音、图像、和触觉效果的装置的责任。由于装置的同步层确定视频、 音频、和触觉帧的回方文的时间，所以在每个帧的开始处可以纟交正在 不同々某体之间的任何偏离。
图5是示出了根据本发明的一个实施例的被分解成连续帧的触 觉^f言号的示图500。示图500包4舌主时间石马510禾口触觉成分512。 触觉成分512还包括诸如帧502和504的多个触觉帧。每个触觉帧 表示并占据固定的时间长度，并且将与该固定的时间长度相关联的 多个触觉效果打包。通过嵌入4某体传llT流中的主时间码512来确定时间线和诸如to和t！的时间戳。^某体传输流可以包括触觉信息以及 诸如音频和视频信息的其他媒体信息。
々某体播放器使用主时间码510以调整其接收的关于文件的所有
帧或数据包的接收和回放。在正常操作期间，可以选择并固定在时
间方面的帧长度。在一个实施例中，根据数据的类型(nature)和 用户的优选来使用在100 ms至300 ms (毫秒)之间的帧长度的范 围。在一些特定操作中，1 ms的帧长度可以用于满足一些特别紧密 的同步需求。应注意，与1 ms的帧长度相关联的成本可能由于其 需要使用明显增加的带宽而变高。通常，较长的帧长度意味着需要 使较少的帧与:l 某体效果同步，这暗示着更有可能使触觉效果与々某体 效果不同步。々某体效果表示除触觉效果之外的效果，例如，4见频和 /或音频效果。另一方面，虽然较短的帧长度提供了与其他媒体效果 更好和更紧密的同步，但是却需要更高的处理能力和更多的网络宽 带来处理在触觉和々某体效果之间增加的同步处理。本文中所提到的 :樣体传输流可以是任意适当的J 某体传输流，例如，MP3 (MP3)或
MPEG4 (MP4)等。
在适当时间播;改相关触觉效果的时间戳520。如前所述，主时间码 510可以嵌入々某体传输流中。在一个实施例中，响应于用户的输入 生成与触觉信息相关联的时间520。在另一个实施例中，基于其 他媒体成分并根据预定算法来生成与触觉信息相关联的时间戳 520。在又一个实施例中，可以鉴于其他々某体成分、才艮据来自用户 的组合输入以及预定算法来生成与触觉信息相关联的时间戳520。 在一个实施例中，时间戳52(H皮分配给不包含触觉信息的帧。例如， 如果在一个帧内不包含触觉信息，则数据(库)会忽略该帧。
在一个实施例中，耳又决于触觉岁文果的复杂度，触觉帧或触觉冲羊 本的大小可以是8、 16、 25、 32、 64、或128字节。例如， 一些触觉帧包括分别与特定声音和/或^见频帧相关的才展动声音和/或4展动^L 频数据。在一个实施例中，触觉帧包含呈现至少一个触觉效果所需 的信息以及表示触觉效果的开始时间的时间戳。应注意，如果在一 个帧中不存在触觉4言息，那么可以忽略该触觉帧。
图6是示出了根据本发明的一个实施例的包含触觉信息的触觉 帧600的框图。在一个实施例中，触觉信息用于定义帧内祠4番i文的 每个触觉效果。触觉信息包括各种参数，例如，强度/幅度、持续时 间、周期性、开始延迟、冲击(attack)强度、冲击时刻、消退(fade) 强度、消退时刻等，它们是在帧长度的持续时间内实现触觉效果或 一连串触觉效果所必需的。持续时间参数指定触觉效果播放的时 间。触觉效果的开始延迟参数表示从帧或时间戳的开始将等待播放 触觉效果的时间。在一个实例中，触觉效果可以是周期性的并且周 期性的参数限定了这种周期性。在另一个实施例中，触觉效果信息 使用非参数编码。在一个实施例中，这种编码可以包括将施加乡合脉 沖宽度调制器的一连串8位执行机构控制值，该脉冲宽度调制器控 制施加在执行机构上的瞬时电压而导致每8位值持续5ms。如果每 个触觉帧表示200 ms的触觉回方文时间，那么每个触觉帧爿寻完全包 含40字节数据。触觉信息还可以包括用于通过设置一些触觉效果 的边界来控制触觉效果的包络(envelope)信息。
触觉帧600是包含触觉效果定义610和一连串调用(call)触 觉效果指令612-616的帧的示例性布局。在一个实施例中，触觉效 果定义610包括诸如持续时间参数和开始延迟参数的控制信息。每 个调用触觉效果指令可以包含关于幅度、冲击强度、消退强度、和 指定类型的触觉效果的信息。应注意，触觉帧能够引进多个触觉效 果。还应注意，触觉岁文果可以超出帧长度或帧的时间范围而继续播-放。在一个实施例中，调用触觉效果指令指定将要播放的触觉效果定义(包含在610内)以及控制帧回放开始到什么程度的帧时间偏 移参数。
图7是示出了根据本发明的一个实施例的引起触觉效果的波形 701的示图700。波形701使用几个不同的频率使用户感觉到触觉。 波形701的触觉效果持续了持续时间702,在持续时间702期间， 存在冲击时间704、正常时间703和消退时间706。触觉岁文果在其 开始处的强度由"冲击水平"709指定。触觉效果的强度在正常时 间708的开始处变为"幅度"水平710并且在消隐时间706的结束 处变为消退水平712。可选地，还可以从零触觉效果开始测量消退 水平712。
频率周期或周期类型可以z是恒力、矩形波、三角形波、正弦波、 4居齿形波、反向4居齿形波、或上述波形的4壬意ia合。应注意，不同 的频率周期才是供不同的触觉反々贵。例如，波形701可以在0.1 Hertz 至1000 Hertz的范围内，其中，不同的频率4是供不同的触觉感觉。
在才乘作中，才艮据其沖击水平709、冲击时间704、消退水平712 和消退时间706来定义波形701引起的触觉效果。当到运行波形701 的时间时，运行处理指定触觉效果的基础强度或"幅度"、其持续 时间、是否将周期性地播放触觉效果，如果是这样，多久重新开始 该触觉效果。在一个实施例中，将定义特定触觉效果的信息按照每 帧周期性地下载到插j文装置中。应注意，波形70K义是实例，并且 本领域的普通技术人员会了解到可以许多方式定义这些触觉效果。
本发明包括以下描述的各个处理步骤。本文中所迷的步骤可以 嵌入机器或计算机可执行指令中。而这些指令可以用于使利用这些 指令编程的通用或专用系统执行本文中所述的步骤。可选地，本文
中所述的步骤可以通过包含用于执行步骤的硬连线逻辑的特定硬 件部件、或通过编程的计算才几部件和定制硬/f牛部件的任意组合来扭^行。虽然将参考无线通信网络来描述本发明的实施例，但是本文中 所述的方法和设备同样可应用于其他网络基础设施或包括接线的 其他数据通信环境。
图8是示出了根据本发明的一个实施例的用于使触觉效果与其 他媒体成分同步的处理的流程图。在框802中，该处理识别在々某体
传丰lr流中的至少一个触觉帧中的触觉4言息。在一个实施例中，该处 理识别一连串视频、音频、和触觉帧，其中，触觉帧包括力反馈信 息。视频帧包括图像信息以及音频帧包括声音信息。该处理能够根 据图像信息和声音信息使力反馈信息同步。该处理还能够生成包括 冲击和消退水平的触觉效果。 一旦识别到触觉信息，处理就移至框
804。
在框804中，处理才艮据嵌入々某体传输流中的主时间码来确定时 间戳。在一个实施例中，时间戳是取决于主时间石马的时间线上的一 个时间点，并且用于触发在触觉帧中所定义的触觉效果的执行。冲艮 据本发明的一个实施例，将时间戳分配给触觉帧，以便在由该时间 戳指示的时间处运4于该触觉帧。然后，处理移至下一个框。
在框806中，处理将各个时间戳分配给各个触觉帧，其中，时 间戳表示什么时候启动一个或多个执行机构以根据存储在触觉帧 中的触觉信息来生成触觉效果。在一个实施例中，4艮据音频和—见频 信息来分配时间戳。同样，该处理能够分配在单个触觉帧内作为该 时间戳的偏移的副时间戳(sub-time stamp )。在框806之后，处理 进4亍到下一个才匡。
在才匡808中，处理响应于在触觉帧中的触觉信息来定义每个触 觉效果的触觉效果信息。在一个实施例中，该处理响应于诸如^f见频 和/或音频信号的其他媒体信息来对触觉效果信息编码。在另 一个实 施例中，该处理响应于用户所选的几个预定算法中的一个来》于触觉效果信息编码。应注意，每个触觉帧均可以包含在不同时间开始的 多个触觉效果。还应注意，该处理能够根据触觉效果信息来启动执 行机构，并且还能够根据相关联的时间戳来维持触觉效果。
虽然已示出并描述了本发明的实施例和应用，但是得益于本披 露的本领域的技术人员应了解，在不背离本文中的本发明的概念的 情况下，可以进4亍许多比以上所述更进一步的《奮改。因此，除了在 所附权利要求的精神内之外，本发明不受任何限制。
权利要求
1.一种用于使触觉效果同步的方法，包括识别在媒体传输流的一个或多个帧中的触觉信息；根据与所述媒体传输流相关联的主时间码来确定时间戳；将所述时间戳分配给所述一个或多个帧以响应于触觉信息来启动至少一个执行机构；以及响应于所述一个或多个帧中的所述触觉信息来定义每个触觉效果的效果信息。
2. 根据权利要求1所述的方法，还包括响应于所述效果信息来启动执行^L构；以及 根据相关联的时间戳来维持触觉效果。
3. 根据权利要求1所述的方法，其中，所述识别在媒体传输流的 一个或多个帧中的触觉4言息还包4舌识别包含图"f象信息的 一连串视频帧；识别包含声音信息的一连串音频帧；以及识别包含力反馈信息的 一连串触觉帧。
4. 根据权利要求3所述的方法，还包括响应于所述图像信息和 所述声音信息来使所述力反馈信息同步。
5. 根据权利要求4所述的方法，还包括生成包括冲击水平和消 退水平的触觉效果。
6. 根据权利要求1所述的方法，其中，识别在一个或多个帧中的 触觉信息还包括识别在基本上相同时间长度的时间中的所述帧。
7. 才艮据^又利要求1所述的方法，其中，识别在々某体传输流的一个 或多个帧中的触觉信息包括根据MPEG4协议来分析所述士某 体传输流。
8. 根据权利要求1所述的方法，还包括对在所述々某体传输流中具有所述触觉信息的所述一个或 多个帧编石马；以及通过网络传输所述媒体传输流。
9. 根据权利要求8所述的方法，还包括接收在所述网络上的所述媒体传输流； 4是取纟某体成分和触觉成分； 播放所述媒体成分；以及通过在向其分配的用于播放的时间戳处播放每个帧，使 所述触觉成分与所述々某体成分同步。
10. —种用于传送和播放嵌入在媒体传输流中的触觉信号的方法， 所述方法包括将所述触觉信号分解成具有基本上固定的时间长度的连 续的多个帧，其中，每个帧均^皮分配了初始时间，在所述初始 时间应根据用于播放所述媒体传输流的主时间码播放所述每 个帧；定义关于在所述帧的时间范围内将要播放的每个触觉效 果的每个帧的效果信息；将所述多个帧编码作为所述媒体传输流中的触觉成分；传输所述媒体传输流；在回放装置处接收所述媒体传输流；提取J 某体成分和所述触觉成分；播放所述媒体成分；以及通过#4居所述主时间码在向其分配的初始时间处插^文每 个帧来使所述触觉成分与所述々某体成分同步。
11. 才艮据权利要求10所述的方法，其中，所述效果信息包括开始 时间、幅度、频率、包络、持续时间和/或类型。
12. 才艮据权利要求10所述的方法，其中，所述々某体成分是音频成 分、 一见频成分、或音频成分和纟见频成分。
13. 根据权利要求10所述的方法，其中，在一皮所述回放装置接收 之前存储所述媒体传输流。
14. 4艮据权利要求10所述的方法，其中，如果不存在用于所述帧 的效果信息，则不将所述帧编码到所述^ 某体传输流中。
15. 根据权利要求10所述的方法，其中，所选的时间长度是取决 于所述主时间码的最小时间增量。
16. 根据权利要求10所述的方法，其中，所述触觉效果信息使用 非参^t编码。
17. 4艮据权利要求IO所述的方法，其中，压缩所述触觉信号。
18. 才艮据^又利要求IO所述的方法，其中，加密所述触觉信号。
19. 才艮据4又利要求IO所述的方法，其中，压缩并加密所述触觉信
20. —种用于使触觉效果同步的设备，包括用于识别在媒体传输流的一个或多个帧中的触觉信息的 装置；用于才艮据与所述J 某体传输流相关联的主时间码来确定时 间戳的装置；用于将所述时间戳分配乡会所述一个或多个帧以响应于触 觉信息来启动至少一个执行才几构的装置；以及用于响应于在所述一个或多个帧中的所述触觉信息来定 义每个触觉效果的效果信息的装置。
21. 根据权利要求20所述的设备，还包括响应于所述岁丈果4言息来启动执4于才几构；以及 根据相关联的时间戳来维持触觉效果。
22. 根据权利要求20所述的设备，其中，所述用于识别在媒体传 输流的 一个或多个帧中的触觉信息的装置还包括用于识别包含图像信息的一连串视频帧的装置；用于识别包含声音信息的一连串音频帧的装置；以及用于识别包含力反馈信息的一连串触觉帧的装置。
23. 根据权利要求20所述的设备，还包括用于响应于所述图像 信息和所述声音信息来使所述力反馈信息同步的装置。
24. 根据权利要求23所述的设备，还包括用于生成包括沖击水 平和消退水平的触觉效果的装置。
25. 根据权利要求20所述设备，其中，用于识别在一个或多个帧 中的触觉信息的装置还包括用于识别在基本上相同时间长度 的时间中的所述帧的装置。
26. 根据权利要求20所述设备，其中，所述用于识别在媒体传输 流的一个或多个帧中的触觉信息的装置包括用于#4居 MPEG4协议来分析所述々某体传输流的装置。
27. 根据权利要求20所述的设备，还包括用于对在所述媒体传输流中具有所述触觉信息的所述一 个或多个帧编石马的装置；以及用于通过网络传输所述^ 某体传输流的装置。
28. 根据权利要求20所述的设备，还包括用于接收在所述网络上的所述媒体传输流的装置；用于提取媒体成分和触觉成分的装置；用于插，;故所述々某体成分的装置；以及用于通过在向其分配的用于播放的时间戳处播放每个帧 来使所述触觉成分与所述媒体成分同步的装置。
29. —种用于将触觉信号嵌入媒体传输流中的设备，包括用于将所述触觉信号分解成具有相同的固定时间长度的 一个或多个帧的装置；用于向所述帧分配用于插-;汶的初始时间的装置，所述用 于播放的初始时间与关于所述媒体传输流的主时间码相关联； 以及用于定义用于在每个帧的时间范围内将要播放的每个触 觉效果的效果信息的装置。
30. 根据权利要求29所述的设备，还包括用于将所述帧编码为所述媒体传输流中的触觉成分的装置；用于传输所述媒体传输流的装置；用于在回放装置处接收所述媒体传输流的装置；用于提取媒体成分和所述触觉成分的装置；用于播放所述々某体成分的装置；以及用于通过在向其分配的用于插j文的初始时间处4番》文每个 帧来使所述触觉成分与所述媒体成分同步的装置。
31. —种用于传送和播放嵌入媒体传输流中的触觉信号的设备，包 括用于将所述触觉信号分解成具有固定时间长度的连续的 多个帧的装置，其中，每个帧均被分配了初始时间，在所述初 始时间应才艮据用于插j文所述々某体传输流的主时间码^番;改所述 每个帧；用于定义关于在所述帧的时间范围内将要播放的每个触 觉效果的每个帧的效果信息的装置；用于将所述多个帧编码为所述媒体传输流中的触觉成分 的装置；用于传输所述媒体传输流的装置；用于在回》文装置处接收所述纟某体传输流的装置；用于纟是取々某体成分和所述触觉成分的装置；用于播放所述媒体成分的装置；以及 放每个帧来使所述触觉成分与所述媒体成分同步的装置。
全文摘要
识别在媒体传输流的一连串帧中的触觉信息并根据嵌入媒体传输流中的主时间码信号来确定与触觉信息相对应的时间戳。随后向包含触觉信息的每个媒体传输流帧分配一个时间戳，以便其用于在对应于时间戳的适当时间启动执行机构，从而根据触觉信息生成触觉效果。
文档编号G06F3/01GK101292211SQ200680039102
公开日2008年10月22日 申请日期2006年10月19日 优先权日2005年10月19日
发明者克里斯托夫·J·乌尔里希, 图·埃尔韦·蒂莫内, 安德里亚娜伊沃·拉贝米亚里索阿, 恩里克·D·达科斯塔, 斯蒂芬·D·兰克, 罗伯特·A·拉克鲁瓦 申请人:伊默生公司