专利名称：用于将触觉信号嵌入媒体传输流中的设备的制作方法
技术领域：
本发明涉及触觉学领域。更具体地，本发明涉及在媒体传输流中编码的触觉效果 (haptic effect)0
背景技术：
为了改进用户和机器之间的界面，近年来，将触觉效果连同音频/视频媒体一起结合到该界面内已变得越来越普遍。诸如振动的触觉效果可以被用户感知并且通常可与事件触发器(诸如压下装置上的按键、或者播放铃音以通知手机上有来话呼叫或者收到文本信息等)相关。通常，媒体的回放可以被补充有振动。然而，在播放触觉信号以及媒体信号一段时间时，传统的实现媒体效果的方法存在一些问题。一种问题是需要在触觉信号和诸如视频和/或音频信号的其他媒体信号之间同步回放。通常，音频引擎、视频引擎和触觉引擎在不同的时钟上进行操作。通常，在回放触觉、视频、和音频信号过程中不存在内置同步机构。例如，尽管在回放开始时，触觉信号和媒体信号可能在彼此相差几毫秒内起动并因而被充分同步，但是这些信号通常可能会在一段相当短的时间内偏离同步。另一种问题在于，可能很难随机地存取在既具有媒体信号又具有触觉信号的媒体传输流中的一个点。换句话说，当用户在任意点处开始回放一部分媒体传输流而不存取出现在媒体传输流中的该任意点之前的任何数据时，很难使触觉信号与媒体信号同步。因而，需要一种提供使触觉信号与其他媒体(例如，音频和视频)同步的机构的解决方案，该机构可以在既包含触觉信息又包含媒体信息的媒体传输流中的任意点进行操作或者从任意点开始进行操作。
发明内容
本发明披露了一种用于使触觉效果与其他媒体成分(即，视频和音频)同步的方法和设备。因此，识别在媒体传输流中的一连串帧中的触觉信息，并根据嵌入媒体传输流中的主时间码信号来确定与该触觉信息相对应的时间戳。随后向包含触觉信息的每个媒体传输流帧分配一个时间戳，以便在对应于该时间戳的适当时间启动执行机构，从而根据触觉信息来生成触觉效果。根据以下阐述的详细描述、附图和权利要求将显而易见本发明的其他特征和优
点ο
结合到说明书中并构成说明书一部分的附图示出了本发明的一个或多个实施例，并且连同详细描述一起用于阐述本发明的原理和实现。在附图中图1是示出了根据本发明的一个实施例的用于编码、传送和解码包括触觉信息的媒体传输流的系统的框图；图2是示出了根据本发明的一个实施例的用于从媒体传输流中识别出媒体和触觉成分的系统的框图；图3是示出了根据本发明的一个实施例的用于使触觉成分与其他媒体成分同步的装置的框图；图4是示出了根据本发明的一个实施例的使视频、音频和触觉信号的回放同步的方法的时序图；图5是示出了根据本发明的一个实施例的被分解成连续帧的触觉信号的示图；图6是示出了根据本发明的一个实施例的包含触觉信息的触觉帧的框图；图7是示出了根据本发明的一个实施例的引起触觉效果的波形的示图；以及图8是示出了根据本发明的一个实施例的用于使触觉效果与媒体成分同步的处理的流程图。
具体实施例方式本文中，在用于传送包括触觉信息的媒体传输流的方法、系统和设备的上下文中描述了本发明的实施例。本领域的普通技术人员会理解本发明的以下详细描述仅是示例性的而并不用于以任何方式下进行限制。理解本披露的本领域技术人员将会容易地联想到本发明的其他实施例。现在将详细参考附图所示的本发明的实施。贯穿附图和以下的详细描述，使用相同的参考标号来表示相同或相似的部件。为了清楚，在本文中没有示出和描述所有所描述的实施例的常规特征。当然，应该理解在任何这样的实际实施的开发过程中，为了达到开发者的特定目标，例如，适应于与应用或商业有关的限制，必须做出许多实施特定的决定，并且这些特定目标将随从一个实施到另一个实施以及从一个开发者到另一个开发者的不同而不同。此外，应该理解这样的开发努力是复杂且费时的，但是对得益于本公开的本领域的普通技术人员来说，这只是常规的工程工作。根据本发明，可以使用各种类型的操作系统、计算平台、计算机程序、和/或通用机器来实现本文中所述的成分、处理步骤、和/或数据结构。另外，本领域的普通技术人员将认识到在不背离本文中所披露的本发明概念的范围和精神的情况下，还可以使用诸如硬连线装置、现场可编程门阵列(FPGA)、专用集成电路等较少的通用性装置。在通过计算机或机器来实现包含一连串处理步骤的方法并且可以将那些处理步骤存储作为可被机器读取的一连串指令的情况下，它们可以被存储在诸如计算机存储器件(例如，ROM(只读存储器)、PR0M(可编程只读存储器)、EEPROM(电可擦可编程只读存储器)、FLASH存储器、跳转驱动(Jump Drive)等)、磁性存储介质(例如，磁带、磁盘驱动等)、光学存储介质(例如， ⑶-ROM、DVD-ROM、纸卡和纸带等)和其他已知类型的程序存储器的实体介质上。本发明通常涉及用于使包含在多轨道媒体传输流中的触觉效果轨道与其他媒体轨道同步以生成同步多媒体效果的机构。识别在媒体传输流中的一连串帧中的触觉信息，并根据嵌入媒体传输流中的主时间码信号来确定与触觉信息相对应的时间戳。随后向包含触觉信息的每个媒体传输流分配一个时间戳，以便在对应于该时间戳的适当时间启动执行机构，从而根据触觉信息来生成触觉效果。 图1是示出了根据本发明的一个实施例的用于编码、传送和解码媒体传输流的系统100的框图。系统100包括发送器102、接收器104、和通信介质106。在一个实例中，发送器102是电话、个人数字助理(“PDA”)、个人计算机(“PC”)或能够通过网络发送媒体帧的任意其他数字处理装置。在一个实施例中，发送器102是通过移动电话无线网络发送数据的媒体服务器。媒体帧包括但不限于视频、音频、和/或触觉帧。在一个实施例中，发送器102包括编码器116、视频块110、音频块112、和触觉块114。视频块110提供(source) 一连串视频帧以及音频块112提供一连串音频帧。触觉块114提供一连串触觉帧。对于一个实例，编码器116能够编码或生成来自视频块110的视频帧、来自音频块 112的音频帧、和来自触觉块114的触觉帧，并且例如，根据市场上可用的媒体传输协议(例如，运动图像专家组压缩标准版本4( “MPEG-4”)等)将它们结合成媒体传输流。换句话说，视频帧、音频帧和触觉帧被编码或打包成媒体传输流，并且随后该媒体传输流通过通信介质106被发送给用户指定的目的地。应注意，将定时的触觉信息结合到各种帧中可以应用于任意的媒体传输流格式并且不限于特定的文件类型、协议或媒体播放器硬件环境。通信介质106可以是线(或有线)通信介质、无线通信介质、或混合的有线和无线通信介质。来自视频块110的视频帧和来自音频块112的音频帧分别形成视频成分和音频成分，或者共同形成媒体传输流的媒体成分。触觉帧形成媒体传输流的触觉成分。可以是诸如电话或PC的媒体播放器的接收器104能够经由通信介质106接收媒体传输流。在一个实施例中，在被接收器104接收之前，媒体传输流被存储在诸如传统数字录像机、网络消息中心等的存储器中。在另一个实施例中，通过媒体传输流传输的触觉信号被压缩或加密， 以提高数据安全性。接收器104包括解码器126、视频块120、音频块122、和触觉块124，在一个实施例中，视频块120、音频块122、和触觉块124被分别用于存储视频帧、音频帧、和触觉帧。接收器104可以是能够经由通信介质106接收媒体传输流的便携式电话、智能电话、PDA、PC、发送器/接收器装置等。当接收到媒体传输流时，接收器104从媒体传输流中分解出视频帧、 音频帧、和触觉帧，并将视频帧发送给视频块120，将音频帧发送给音频块122，以及将触觉帧发送给触觉块124。应注意，视频块110中的视频帧、音频块112中的音频帧、和触觉块 114中的触觉帧包含分别与视频块120中的视频帧、音频块122中的音频帧、和触觉块124 中的触觉帧基本上类似的信息。还应注意，虽然包含了类似的信息，但是视频块110中的视频帧、音频块112中的音频帧、和触觉块114中的触觉帧可以适当地具有与对应的视频块 120中的视频帧、音频块122中的音频帧、和触觉块124中的触觉帧不同的数据格式。还应注意，发送器102和接收器104可以是都包含用于发送和接收的类似能力的类似装置。图2是示出了根据本发明的一个实施例的用于识别媒体传输流的媒体成分和触觉成分的系统200的框图。系统200包括媒体播放器202、媒体同步层204、和数据220。总线230用于在媒体播放器202和数据库220之间传输数据，以及总线232用于在媒体播放器202和媒体同步层204之间传递信息。媒体同步层204还经由总线234-238连接至视频编解码器206、音频编解码器208、和触觉单元210。视频编解码器206和音频编解码器208 可以是用于压缩和解压数字信息的软件模块、硬件装置、或硬件和软件成分的组合。在一个实施例中，媒体同步层204分离或提取视频、音频和触觉成分并将所提取的成分放入其对应的编解码器中。媒体同步层204可以被编程或选择，以处理特定的媒体传输流格式或诸如MP3、MPEG4等的多个预定流。在操作过程中，媒体同步层204通过在由主时间码或时序表指定的时间将每个媒体类型的帧传递给适当的编解码器或播放器来使不相同的媒体同步。表示完整时间线的一组帧经由媒体传输流被发送给媒体播放器202。当接收到媒体传输流时，媒体播放器202从媒体传输流中估计并分离出视频、音频和触觉数据或帧。媒体同步层204随后根据主时间码来向每个触觉帧分配时间戳或初始时间，从而，时间戳可以用于将触觉效果时序和定义发送给触觉单元210，其可以在适当时间启动执行机构(或多个执行机构)。图3是示出了根据本发明的一个实施例的用于使触觉成分与媒体成分同步的装置300的框图。装置300包括应用编程接口( “API”)306、内核308、和触觉电路314。内核308还包括感应生成器(“VG”)312和触觉回放引擎(“HPE”)310。在一个实施例中， VG 312用于根据从API 306接收到的触觉信息来合成触觉事件，而HPE 310用于根据经由总线358通过API 306从触觉单元210接收到的数据来确定触觉事件的时间。内核308还经由连接件360连接至触觉电路314。在一个实例中，触觉电路314是被配置为经由连接件 362驱动执行机构346的放大器。API 306的功能是用于在正确的时间引进触觉效果，这是因为每个触觉帧均是不依赖于其他帧的独立触觉效果。具有独立触觉帧的优点在于，其允许用户在使用媒体播放器202时随意存取触觉帧或媒体帧并确保系统仍然能够生成包括图像、声音、和触觉效果的同步多媒体输出。图4是示出了根据本发明的一个实施例的使视频、音频和触觉信号的回放同步的方法的时序图400。时序图400示出了嵌入媒体传输流中的主时间码402、媒体传输流的视频成分404、媒体传输流的音频成分406、和媒体传输流的触觉成分408。主时间码402嵌入媒体传输流中并可以从媒体传输流中提取出来。例如，音频成分406被用作主时间码402。 在一个实施例中，主时间码402是具有一连串时间戳(诸如t0、tl、t2等)的时间线。视频成分404包括多个连续视频帧(例如，帧40V)的流。音频成分406包括多个连续音频帧(例如，帧40A和42A)的流。触觉成分408还包括多个连续触觉帧(例如，帧 40H、42H等)的流。虽然视频、音频和触觉帧之间的帧格式可以不同，但是在成分内的帧应该根据共同的协议来进行配置。例如，触觉帧40H的大小基本上与触觉帧42H的大小相同。 在另一个实施例中，例如，由40H和42H覆盖的时间范围各为200ms，但是它们的物理内存足迹(footprint)通常是不同的。应注意，在一个实施例中，与物理容量相反，触觉帧大小由时间的长度决定。再参考图4，在时间戳t0，触觉帧40H、音频帧40A和视频帧40V在基本上相同的时间开始回放。虽然触觉帧40H在时间戳tl完成播放，但是在帧40H中定义的触觉效果在时间tl之后仍然可以播放。在时间戳tl，触觉帧42H开始被处理以进行播放。应注意，在其处播放触觉帧42H的初始时间或时间戳对应于根据主时间码确定的时间。将时间戳分配给触觉帧使得诸如帧42H的触觉帧能够与前一触觉帧(诸如帧40H)完成播放的时间无关地开始回放。因此，如果触觉帧40H在时间戳tl之前已完成播放，那么在时间戳tl播放触觉帧42H之前将不播放触觉效果。在时间戳t2，将播放触觉帧44H和音频帧42A。在时间戳 t3，将播放触觉帧46H、视频帧40V、和音频帧42A。对在触觉帧内的时间戳编码使得用户能够随机地存取触觉帧，这还能够使其触觉效果与其他媒体成分同步。例如，如果用户快进到例如时间tn，那么在播放下一个触觉帧 nH之前，播放器将一直等待直到时间tH。在此之前，将不播放任何触觉效果。同样，在播放下一个音频帧nA之前，播放器将一直等待直到tA (在此实例中等于tH)。同样，播放器将一直等待直到tV才播放下一个视频帧nV。除此之外，一个实施例允许媒体同步层204确切地指定在时间tn开始播放，在此情况下，媒体同步层204发送触觉帧(n-l)H并将tn-(t-l)H 的时间偏移量指定给触觉单元210。然后，当试图回放触觉帧(n-l)H时，触觉单元210将此时间偏移量传送给API 306。
每个触觉帧被允许包含多个触觉效果。定义这些触觉效果并且确定其时间的参数能够使将回放的触觉效果在帧内偏移。换句话说，在触觉效果之间的时间偏移是相对于该帧的开始，而不是相对于文件或媒体传输流的开始。确定各个效果在帧内的时间是播放声音、图像、和触觉效果的装置的责任。由于装置的同步层确定视频、音频、和触觉帧的回放的时间，所以在每个帧的开始处可以校正在不同媒体之间的任何偏离。图5是示出了根据本发明的一个实施例的被分解成连续帧的触觉信号的示图 500。示图500包括主时间码510和触觉成分512。触觉成分512还包括诸如帧502和504 的多个触觉帧。每个触觉帧表示并占据固定的时间长度，并且将与该固定的时间长度相关联的多个触觉效果打包。通过嵌入媒体传输流中的主时间码512来确定时间线和诸如t0 和tl的时间戳。媒体传输流可以包括触觉信息以及诸如音频和视频信息的其他媒体信息。媒体播放器使用主时间码510以调整其接收的关于文件的所有帧或数据包的接收和回放。在正常操作期间，可以选择并固定在时间方面的帧长度。在一个实施例中，根据数据的类型(nature)和用户的优选来使用在IOOms至300ms (毫秒)之间的帧长度的范围。在一些特定操作中，Ims的帧长度可以用于满足一些特别紧密的同步需求。应注意，与 Ims的帧长度相关联的成本可能由于其需要使用明显增加的带宽而变高。通常，较长的帧长度意味着需要使较少的帧与媒体效果同步，这暗示着更有可能使触觉效果与媒体效果不同步。媒体效果表示除触觉效果之外的效果，例如，视频和/或音频效果。另一方面，虽然较短的帧长度提供了与其他媒体效果更好和更紧密的同步，但是却需要更高的处理能力和更多的网络宽带来处理在触觉和媒体效果之间增加的同步处理。本文中所提到的媒体传输流可以是任意适当的媒体传输流，例如，MP3(MP3)或MPEG4(MP4)等。每个触觉帧均被分配有初始时间或在其处应根据主时间码510在适当时间播放相关触觉效果的时间戳520。如前所述，主时间码510可以嵌入媒体传输流中。在一个实施例中，响应于用户的输入生成与触觉信息相关联的时间戳520。在另一个实施例中，基于其他媒体成分并根据预定算法来生成与触觉信息相关联的时间戳520。在又一个实施例中，可以鉴于其他媒体成分、根据来自用户的组合输入以及预定算法来生成与触觉信息相关联的时间戳520。在一个实施例中，时间戳520被分配给不包含触觉信息的帧。例如，如果在一个帧内不包含触觉信息，则数据(库)会忽略该帧。在一个实施例中，取决于触觉效果的复杂度，触觉帧或触觉样本的大小可以是8、16、25、32、64、或1 字节。例如，一些触觉帧包括分别与特定声音和/或视频帧相关的振动声音和/或振动视频数据。在一个实施例中，触觉帧包含呈现至少一个触觉效果所需的信息以及表示触觉效果的开始时间的时间戳。应注意，如果在一个帧中不存在触觉信息，那么可以忽略该触觉帧。图6是示出了根据本发明的一个实施例的包含触觉信息的触觉帧600的框图。在一个实施例中，触觉信息用于定义帧内待播放的每个触觉效果。触觉信息包括各种参数，例如，强度/幅度、持续时间、周期性、开始延迟、冲击(attack)强度、冲击时刻、消退(fade) 强度、消退时刻等，它们是在帧长度的持续时间内实现触觉效果或一连串触觉效果所必需的。持续时间参数指定触觉效果播放的时间。触觉效果的开始延迟参数表示从帧或时间戳的开始将等待播放触觉效果的时间。在一个实例中，触觉效果可以是周期性的并且周期性的参数限定了这种周期性。在另一个实施例中，触觉效果信息使用非参数编码。在一个实施例中，这种编码可以包括将施加给脉冲宽度调制器的一连串8位执行机构控制值，该脉冲宽度调制器控制施加在执行机构上的瞬时电压而导致每8位值持续5ms。如果每个触觉帧表示200ms的触觉回放时间，那么每个触觉帧将完全包含40字节数据。触觉信息还可以包括用于通过设置一些触觉效果的边界来控制触觉效果的包络(envelope)信息。触觉帧600是包含触觉效果定义610和一连串调用(call)触觉效果指令612-616 的帧的示例性布局。在一个实施例中，触觉效果定义610包括诸如持续时间参数和开始延迟参数的控制信息。每个调用触觉效果指令可以包含关于幅度、冲击强度、消退强度、和指定类型的触觉效果的信息。应注意，触觉帧能够引进多个触觉效果。还应注意，触觉效果可以超出帧长度或帧的时间范围而继续播放。在一个实施例中，调用触觉效果指令指定将要播放的触觉效果定义(包含在610内)以及控制帧回放开始到什么程度的帧时间偏移参数。图7是示出了根据本发明的一个实施例的引起触觉效果的波形701的示图700。 波形701使用几个不同的频率使用户感觉到触觉。波形701的触觉效果持续了持续时间 702，在持续时间702期间，存在冲击时间704、正常时间703和消退时间706。触觉效果在其开始处的强度由“冲击水平” 709指定。触觉效果的强度在正常时间708的开始处变为“幅度”水平710并且在消隐时间706的结束处变为消退水平712。可选地，还可以从零触觉效果开始测量消退水平712。频率周期或周期类型可以是恒力、矩形波、三角形波、正弦波、锯齿形波、反向锯齿形波、或上述波形的任意组合。应注意，不同的频率周期提供不同的触觉反馈。例如，波形 701可以在0. IHertz至IOOOHertz的范围内，其中，不同的频率提供不同的触觉感觉。在操作中，根据其冲击水平709、冲击时间704、消退水平712和消退时间706来定义波形701引起的触觉效果。当到运行波形701的时间时，运行处理指定触觉效果的基础强度或“幅度”、其持续时间、是否将周期性地播放触觉效果，如果是这样，多久重新开始该触觉效果。在一个实施例中，将定义特定触觉效果的信息按照每帧周期性地下载到播放装置中。应注意，波形701仅是实例，并且本领域的普通技术人员会了解到可以许多方式定义这些触觉效果。本发明包括以下描述的各个处理步骤。本文中所述的步骤可以嵌入机器或计算机可执行指令中。而这些指令可以用于使利用这些指令编程的通用或专用系统执行本文中所述的步骤。可选地，本文中所述的步骤可以通过包含用于执行步骤的硬连线逻辑的特定硬件部件、或通过编程的计算机部件和定制硬件部件的任意组合来执行。虽然将参考无线通信网络来描述本发明的实施例，但是本文中所述的方法和设备同样可应用于其他网络基础设施或包括接线的其他数据通信环境。图8是示出了根据本发明的一个实施例的用于使触觉效果与其他媒体成分同步的处理的流程图。在框802中，该处理识别在媒体传输流中的至少一个触觉帧中的触觉信息。在一个实施例中，该处理识别一连串视频、音频、和触觉帧，其中，触觉帧包括力反馈信息。视频帧包括图像信息以及音频帧包括声音信息。该处理能够根据图像信息和声音信息使力反馈信息同步。该处理还能够生成包括冲击和消退水平的触觉效果 。一旦识别到触觉信息，处理就移至框804。在框804中，处理根据嵌入媒体传输流中的主时间码来确定时间戳。在一个实施例中，时间戳是取决于主时间码的时间线上的一个时间点，并且用于触发在触觉帧中所定义的触觉效果的执行。根据本发明的一个实施例，将时间戳分配给触觉帧，以便在由该时间戳指示的时间处运行该触觉帧。然后，处理移至下一个框。在框806中，处理将各个时间戳分配给各个触觉帧，其中，时间戳表示什么时候启动一个或多个执行机构以根据存储在触觉帧中的触觉信息来生成触觉效果。在一个实施例中，根据音频和视频信息来分配时间戳。同样，该处理能够分配在单个触觉帧内作为该时间戳的偏移的副时间戳(sub-time stamp) 0在框806之后，处理进行到下一个框。在框808中，处理响应于在触觉帧中的触觉信息来定义每个触觉效果的触觉效果信息。在一个实施例中，该处理响应于诸如视频和/或音频信号的其他媒体信息来对触觉效果信息编码。在另一个实施例中，该处理响应于用户所选的几个预定算法中的一个来对触觉效果信息编码。应注意，每个触觉帧均可以包含在不同时间开始的多个触觉效果。还应注意，该处理能够根据触觉效果信息来启动执行机构，并且还能够根据相关联的时间戳来维持触觉效果。虽然已示出并描述了本发明的实施例和应用，但是得益于本披露的本领域的技术人员应了解，在不背离本文中的本发明的概念的情况下，可以进行许多比以上所述更进一步的修改。因此，除了在所附权利要求的精神内之外，本发明不受任何限制。
权利要求
1.一种用于将触觉信号嵌入媒体传输流中的设备，包括用于将所述触觉信号分解成具有相同的固定时间长度的一个或多个帧的装置； 用于向所述帧分配用于播放的初始时间的装置，所述用于播放的初始时间与关于所述媒体传输流的主时间码相关联；以及用于定义用于在每个帧的时间范围内将要播放的每个触觉效果的效果信息的装置。
2.根据权利要求1所述的设备，还包括用于将所述帧编码为所述媒体传输流中的触觉成分的装置； 用于传输所述媒体传输流的装置； 用于在回放装置处接收所述媒体传输流的装置； 用于提取媒体成分和所述触觉成分的装置； 用于播放所述媒体成分的装置；以及用于通过在向其分配的用于播放的初始时间处播放每个帧来使所述触觉成分与所述媒体成分同步的装置。
全文摘要
本发明提供了一种用于将触觉信号嵌入媒体传输流中的设备，包括用于将所述触觉信号分解成具有相同的固定时间长度的一个或多个帧的装置；用于向所述帧分配用于播放的初始时间的装置，所述用于播放的初始时间与关于所述媒体传输流的主时间码相关联；以及用于定义用于在每个帧的时间范围内将要播放的每个触觉效果的效果信息的装置。
文档编号G06F3/01GK102184012SQ201110117830
公开日2011年9月14日 申请日期2006年10月19日 优先权日2005年10月19日
发明者克里斯托夫·J·乌尔里希, 图·埃尔韦·蒂莫内, 安德里亚娜伊沃·拉贝米亚里索阿, 恩里克·D·达科斯塔, 斯蒂芬·D·兰克, 罗伯特·A·拉克鲁瓦 申请人:伊默生公司