不器134和扬声器136。触觉输出设备 132被配置为向电子回放设备130的用户输出触觉效果，显示器134被配置为显示诸如视频 记录器106获取的图像之类的图像，而扬声器136被配置为输出可以是音频记录器108获取 的声音的声音。在实施例中，触觉输出设备132可以是可穿戴设备的一部分，可穿戴设备诸 如手环、手表、臂带、头带、头戴式显示器等。在实施例中，触觉输出设备132、显示器134、以 及扬声器136可以是例如被配置为通过无线连接互相通信的分开的设备。在实施例中，触觉 输出设备132可以是可穿戴设备的一部分，显示器134可以是电视机的一部分，而扬声器136 可以是与显示器134分开的无线扬声器。
[0029] 触觉输出设备132可以包括致动器，例如，诸如在其中由电机移动偏心质量的偏心 转动质量（"ERM"）、在其中与弹簧附接的质量被来回驱动的线性谐振致动器（"LRA"）之类的 电磁致动器，或诸如压电、电活性聚合物或形状记忆合金之类的"智能材料"，宏观纤维复合 材料致动器，静电致动器，电触觉致动器，和/或其他类型的提供诸如触觉(例如，振动触感） 反馈之类的物理反馈的致动器。触觉输出设备132可以包括诸如那些使用静电摩擦 ("ESF")、超声表面摩擦（"USF"）的设备，或那些用超声触觉换能器引起声辐射压力的设备， 或那些使用触觉衬底和柔性或可变形的表面的设备，或那些提供诸如使用空气喷射的一股 空气之类的投射触觉输出的设备等之类的非机械或非振动设备。
[0030] 图1B说明控制器110的实施例的进一步的细节。控制器110可以是用于管理或控制 系统100的操作和功能的通用或专用的微处理器。例如，控制器110可以被专门设计为专用 集成电路（"ASIC"）以控制到触觉输出设备132以提供触觉效果的输出信号。控制器110可以 被配置为基于预定义的因素决定要产生什么触觉效果、产生触觉效果的顺序、以及触觉效 果的幅值、频率、持续时间和/或其他参数。控制器110还可以被配置为提供流式传输命令， 流式传输命令可以被用于驱动触觉输出设备132以用于提供特定的触觉效果。在实施例中， 控制器110可以包括多于一个的处理器112,即，多个处理器112,每个处理器可以被配置为 执行系统100内的某些功能。控制器110还可以包括电子存储器，电子存储器包括一个或多 个可以包括触觉效果简档、要如何驱动触觉输出设备132的指令、和/或用于产生触觉效果 的其他信息的存储设备。在实施例中，电子存储器114可以是处理器112的一部分。
[0031] 电子存储器114可以被用于存储由传感器102感测到的数据、由视频记录器106记 录的数据、以及由音频记录器108记录的数据。电子存储器114可以包括一个或多个内部固 定的存储单元、可移除的存储单元、和/或远程可访问的存储单元。各种存储单元可以包括 易失性存储器和非易失性存储器的任何组合。存储单元可以被配置为存储信息、数据、指 令、软件代码等的任何组合。
[0032] 如图所说明，控制器110还包括输入变换器116、传感器数据编码器118、视频/音频 数据编码器120、解码器122、以及输出变换器124。如上所讨论，由传感器102产生的数据可 以被存储到电子存储器114。另外，由传感器102产生的数据在被存储到电子存储器114之前 可以由输入变换器116进行变换。对传感器数据的变换被认为是可选的步骤，并且是否需要 进行变换可以依赖于所使用的传感器的性质。例如，在使用多个传感器102并且其中每个传 感器使用不同的采样频率等的实施例中，输入变换器116可以被用于变换数据，以使得数据 可以被组合到具有相同频率的单个数据流等。
[0033] 在实施例中，传感器数据编码器118可以被配置为将记录期间的传感器数据放入 灵活的容器格式，诸如MPEG-4文件，这使得在单个容器文件中对除了视频和音频之外的数 据进行存储。类似地，视频/音频数据编码器120可以被配置为将记录期间的视频和音频数 据放入容器格式，诸如MPEG-4文件。在实施例中，软件可以被编写以在单独的文件中存储传 感器数据，但传感器数据中带有特别的标记以实现在回放时间与视频/音频数据进行合适 的同步。在这样的实施例中，除了改变传感器数据以符合所设计的记录格式的限制之外，可 能需要应用非常小的输入变换。准确的格式可以由实施者确定。一旦记录事件的用户已经 完成他的或她的活动，可以停止记录。MPEG-4文件可以被关闭，而所有的传感器数据可以与 视频/音频数据一起存在于电子存储器114中的MPEG-4文件中。
[0034] 解码器122,可以是所说明的控制器110的一部分，或可以是被配置为回放媒体文 件的电子回放设备130的媒体播放器的一部分，解码器122被配置为从电子存储器114读取 传感器102产生的数据，并且临时地将此数据与被记录并且存储在电子存储器114中的音频 数据和视频数据相关联。在媒体回放期间，解码器122可以使传感器数据通过输出变换器 124,输出变换器124被配置为将传感器数据变换为触觉输出信号，以产生一个或多个触觉 效果或触觉感官命令，包括但不限于振动、表面摩擦调制、皮肤捏夹、皮肤挤压等。解码器 122可以被配置为将从传感器数据变换而来的触觉输出信号与视频/音频数据同步，以使得 触觉效果在回放期间与视频和音频同步。在实施例中，可以通过确保在回放期间视频数据、 音频数据和触觉效果中的时间相同，完成同步。
[0035] 然后触觉输出信号可以从解码器122被传送到触觉输出设备132,以使得通过包括 触觉输出设备132的电子回放设备130体验媒体的人可以更完全地体验被回放的事件。电子 回放设备130可以是任何设备，诸如电子手持式设备、诸如移动电话、游戏设备、个人数字助 理（"TOA"）、便携式邮件设备、便携式因特网访问设备、平板计算机等。电子回放设备130可 以包括但不限于手持式设备或可穿戴设备，其带有显示媒体、可以是高清晰度显示器的显 示器134,和能够产生触觉感觉或效果的手持对象，或与用户的身体附接、依靠用户的身体、 或以其他方式能够将触感感觉和触觉效果传送到用户的对象。对包含振动、视频和音频数 据的所有数据流的同步可以被记录软件管理，记录软件可以存在于图1A和图1B所说明的系 统100的处理器112中。
[0036] 或在活动被执行之后稍晚的时间、或在活动被执行的同时，一个或多个观看者可 以对体验此活动产生兴趣。为了回放此活动，观看者可以在他们个人的电子回放设备130上 启动适合的回放软件。在实施例中，回放软件可以包括包含由上面描述的解码器122执行的 传感器解码方案的播放器软件应用，以及可以由输出变换器124运行的输出变换软件，以便 将传感器数据变换为适合于电子回放设备130中的触觉输出设备132的触觉输出信号。在实 施例中，播放器软件应用可以包含传感器解码方案。播放器软件可以依赖于存在于或以其 他方式预安装在电子回放设备130上的输出变换软件，并且这样的输出变换软件可以将传 感器数据变换为适合于电子回放设备130中的触觉输出设备132的触觉输出信号。换句话 说，输出变换器124和/或解码器122可以位于电子回放设备130上。
[0037] 在实施例中，电子回放设备130可以被配置为对视频流和触感效果数据进行解码， 并且保持视频和触感效果数据之间的同步。在电子回放设备130中的单个微处理器可以例 如，基于视频和触感效果数据流控制视频显示器134和触觉输出设备132两者。在实施例中， 播放器软件应用可以依赖于包含传感器解码方案的、回放设备的操作系统软件来执行媒体 回放。操作系统软件可以依赖于存在于或以其他方式预安装在电子回放设备130上的输出 变换软件，这样的输出变换软件将传感器数据变换为适合于电子回放设备130中的触觉输 出设备132的触觉输出信号。观看者然后可以体验与观看事件或表演相关联的触觉效果，这 样的触觉效果由输出变换软件产生。在实施例中，输出变换可以发生在电子回放设备130以 外，并且替代地可以发生在由播送装置所有并且存储在云中的服务器上。在这样的实施例 中，针对不同的设备和/或设备类型的多个版本的触觉轨道可以被产生，并且合适的触觉轨 道可以被选择并且被传送到电子回放设备130中的触觉输出设备132。
[0038] 在实施例中，视频、音频和传感器数据流可以被同步、合并并且传送到回放设备 130。例如，考虑到获取可以发生在通过有线或无线网络进行通信的独立设备上，可以通过 在每个视频帧和传感器测量结果上包括时间戳来进行同步。记录设备因此可以需要获得共 享的时间参考，例如来自GPS系统的时间参考。在实施例中，可以通过执行在视频和传感器 数据流中均可检测的特定动作来执行同步。
[0039] 所获得的数据可以作为结合振动和视频、还包括音频的单个数据流被传送，或作 为具有同步信息的两个数据流被传送。数据流可以逐渐被传送到电子回放设备130,或被存 储在文件中以用于随后的回放。在实施例中，可以通过使用编辑工具在线下产生触觉效果 并且在后期制作中将触觉效果添加到视频中。
[0040] 视频可以在稍晚的时间被回放或实时被流式传输，在这两种情况