触觉感知记录和回放的制作方法

触觉感知记录和回放的制作方法
【专利摘要】本公开涉及触觉感知记录和回放。一种系统包括：视频记录器，被构造为记录视频数据；传感器，被构造为感测对象的移动，并输出表示该对象的移动的传感器数据；变换器，被构造为将传感器数据变换为触觉输出信号；触觉输出装置，被构造为基于触觉输出信号来向用户产生触觉效果；显示器，被构造为显示视频；以及处理器，被构造为使视频数据和触觉输出信号同步，并且将视频数据输出到显示器并将触觉输出信号输出到触觉输出装置，以使得触觉效果与显示在显示器上的视频同步。
【专利说明】触觉感知记录和回放
【技术领域】
[0001]本发明涉及一种用于提供触觉感知记录和回放的系统和方法。
【背景技术】
[0002]电子装置允许用户记录可以捕捉事件的视觉方面和音频方面这两个方面的视频。电子装置还可以被编程为在用户正在观看电子装置上播放的视频时提供触觉感知。触觉感知预先被编程为使得当视频被播放时，用户可以结合视频体验触觉效果，以为该用户提供更加身临其境的体验。现有装置仅允许触觉效果在视频被记录之后才被确定。目前，创建触觉效果和感知是非实时进行的劳动密集型处理。

【发明内容】

[0003]期望能够在记录事件的实时方面的同时记录该事件的视频，以使得该事件的实时方面可以作为触觉感知与视频一起回放，以为观看该视频并感觉触觉感知回放的用户提供更加真实的、更加身临其境的体验。与离线地用编程工具进行艺术编辑并编写试图使触觉效果与视频同步的同步代码相比，记录场景中的对象的实时数据并通过触觉再现其体验是“捕捉”体验的一种更加直观的方式。期望简化这样的内容的创建。
[0004]根据本发明的一方面，提供一种系统，该系统包括:视频记录器，被构造为记录视频数据；传感器，被构造为感测对象的移动，并输出表示该对象的移动的传感器数据；变换器，被构造为将传感器数据变换为触觉输出信号；触觉输出装置，被构造为基于触觉输出信号向用户产生触觉效果；显示器，被构造为显示视频；以及处理器，被构造为使视频数据和触觉输出信号同步，并且将视频数据输出到显示器并将触觉输出信号输出到触觉输出装置，以使得触觉效果与显示器上显示的视频同步。
[0005]在实施例中，所述系统还包括被构造为记录音频数据的音频记录器和被构造为放映(project)声音的扬声器。处理器可以被进一步构造为:接收音频数据，使音频数据与视频数据和触觉输出信号同步，并将音频数据输出到扬声器，以使得声音与显示器上显示的视频和触觉输出装置产生的触觉效果同步。
[0006]在实施例中，视频记录器、音频记录器和传感器是同一电子装置的部分。在实施例中，触觉输出装置、显示器和扬声器是同一电子装置的部分。在实施例中，视频记录器、音频记录器、传感器、触觉输出装置、显示器、扬声器和处理器是同一电子装置的部分。在实施例中，触觉输出装置和显示器是同一电子装置的部分。
[0007]在实施例中，处理器包括变换器，并且还包括被构造为使视频数据和触觉输出信号同步的解码器。
[0008]在实施例中，传感器选自由以下构成的组:加速度计、陀螺仪和接触压力传感器。
[0009]在实施例中，所述系统包括多个传感器，并且所述多个传感器选自由以下构成的组:加速度计、陀螺仪和接触压力传感器。
[0010]根据本发明的一方面，提供一种系统，该系统包括:显示器，被构造为显示视频；视频记录器，被构造为记录视频数据；传感器，被构造为感测对象的移动，并输出代表该对象的移动的传感器数据；变化器，被构造为将传感器数据变换为触觉输出信号；以及电子手持装置。电子手持装置包括:触觉输出装置，被构造为基于触觉输出信号向手持装置的用户产生触觉效果；以及处理器，被构造为使视频数据和触觉输出信号同步，并且将视频数据输出到显示器并将触觉输出信号输出到触觉输出装置，以使得触觉效果与显示在显示器上的视频同步。
[0011]根据本发明的一方面，提供一种方法，该方法包括:用视频记录器记录视频；用传感器感测视频中正在记录的对象的移动；将所感测的移动变换为触觉输出信号；并使视频和触觉速出信号同步。
[0012]在实施例中，所述方法包括:基于触觉输出信号产生至少一种触觉效果，并与触觉效果同步地在显示器上显示视频。
[0013]在实施例中，所述方法包括用音频记录器记录音频并使音频与视频和触觉输出信号同步。
[0014]在实施例中，所述方法包括:基于触觉输出信号产生触觉效果；在显示器上显示视频；用扬声器放映音频，以使得触觉效果与显示在显示器上的视频和扬声器放映的音频同步。
【专利附图】

【附图说明】
[0015]以下图的组件被示出是为了强调本公开的总原理，不一定是按比例绘制的。为了一致和清晰，必要时在所有图中重复指定相应组件的参考字符。
[0016]图1示出用于记录并提供触觉效果的系统的实施例；
[0017]图2示出可以用作图1的系统的部分的可佩戴传感器的实施例；
[0018]图3示出表示可以被图2的传感器测量的、作为时间的函数的垂直加速度的信号;
[0019]图4示出表示可以被图2的传感器测量的、作为时间的函数的加速度的信号；和
[0020]图5是根据本发明的实施例的方法的流程图。
【具体实施方式】
[0021]图1示出根据本发明的实施例的系统100。如所示，系统100包括一个或多个传感器102、视频记录器104和音频记录器106，传感器102被构造为感测对象的移动，并将所感测的移动转换为传感器数据，视频记录器104被构造为捕捉并记录图像，音频记录器106被构造为捕捉并记录声音。在实施例中，传感器102 (—个或多个)、视频记录器104和音频记录器106可以是同一电子装置的部分。在实施例中，视频记录器104和音频记录器106可以是同一电子装置的部分，传感器102 (—个或多个)可以与包括视频记录器104和音频记录器106的电子装置分离。在实施例中，传感器102 (—个或多个)、视频记录器104和音频记录器106可以是单独的独立装置或单独的独立装置的部分。
[0022]如以下更详细地讨论的，处理器110被构造为对传感器102 (—个或多个)、视频记录器104和音频记录器输出的信号和数据进行处理。系统100还包括输入变换器112、输出变换器114和解码器116，输入变换器112、输出变换器114可以是处理器110的部分，解码器116也可以是处理器110的部分。以下更详细地讨论输入变换器112、输出变换器114和解码器116的各方面。
[0023]如图1所示，系统100还包括触觉输出装置118、显示器120和扬声器122，触觉输出装置118被构造为向系统的用户输出触觉效果，显示器120被构造为显示图像，诸如视频记录器104捕捉的图像，扬声器122被构造为输出声音，该声音可以是音频记录器106捕捉的声音。如以下更详细地讨论的，触觉输出装置118、显示器120和扬声器122可以是电子回放装置130的部分。在实施例中，触觉输出装置118、显示器120和扬声器122可以是被构造为彼此通过例如无线连接进行通信的单独的装置。在实施例中，触觉输出装置118可以是可佩戴装置的部分，显示器120可以是电视的部分，以及扬声器122可以是与显示器120分离的无线扬声器。
[0024]触觉输出装置118可以包括致动器，例如，电磁致动器(诸如其中通过电机使偏心质量移动的偏心旋转质量(“ERM”)、其中附连到弹簧的质量被来回驱动的线性谐振致动器(“LRA”))、或“智能材料”(诸如压电、电活性聚合物或形状记忆合金、微复合纤维致动器、静电致动器、电触感致动器)、和/或提供物理反馈(诸如触觉(例如，振动触感)反馈)的任何类型的致动器。触觉输出装置118可以包括非机械或非振动装置，诸如使用静电摩擦(ESF)、超声表面摩擦(USF)的那些装置、或用超声触觉换能器引起声辐射压力的那些装置、或使用触觉基板和柔性的或可变形的表面的那些装置、或使用空气喷射提供投射触觉输出(诸如一阵空气)的那些装置、等等。
[0025]电子存储器124可以用于存储感测器102 (—个或多个)所感测的数据，电子存储器126可以用于存储视频记录器104所记录的数据，电子存储器128可以用于存储音频记录器106所记录的数据。存储器124、126、128可以包括一个或多个内部固定存储单元、可移动存储单元、和/或可远程访问存储单元。各种存储单元可以包括易失性存储器和/或非易失性存储的任何组合。存储单元可以被构造为存储信息、数据、指令、软件代码等的任何组合。在传感器102 (—个或多个)、视频记录器104和音频记录器106是同一电子装置的部分的实施例中，存储器124、126、128可以位于同一位置上。在视频记录器104和音频记录器106是同一电子装置的部分的实施例中，存储器126、128可以位于同一位置上。
[0026]在实施例中，用户可以使用视频记录器104和/或音频记录器106来记录场景或事件的视频和/或音频。在实施例中，视频记录器104和音频记录器106可以是同一电子装置(诸如便携式摄像机、智能电话等)的部分。如以上所讨论的，被记录的视频和音频可以被存储在电子存储器126中。在实施例中，传感器102 (—个或多个)可以被放置在感兴趣对象(诸如视频中正在记录的对象)上。
[0027]如以上所讨论的，传感器102 (—个或多个)所产生的数据可以被存储在电子存储器124中。另外，如图1所示，传感器102 (—个或多个)所产生的数据可以在被存储在电子存储器124中之前被输入变换器112变换。传感器数据的变换被认为是可选步骤，是否需要变换可以取决于所使用的传感器的性质。以下更详细地讨论传感器102的实施例的细节。
[0028]解码器116 (可以是被构造为回放视频(即，媒体文件)的媒体播放器的部分)被构造为:从电子存储器124读取传感器102 (—个或多个)所产生的数据，并在时间上将该数据与被记录并且被存储在电子存储器126中的音频数据和视频数据相关联。在媒体回放期间，解码器116可以使传感器数据通过输出变换器114，输出变换器114被构造为将传感器数据变换为触觉输出信号或触觉感觉命令，包括，但不限于，振动、表面摩擦调制、皮肤拧捏、皮肤挤压等。解码器116可以被构造为使从传感器数据变换的触觉输出信号与视频数据和音频数据同步，以使得在回放期间触觉效果与视频和音频同步。在实施例中，可以通过在回放期间确保时间在视频数据、音频数据和触觉效果中相同来完成同步。
[0029]处理器110可以是用于管理或控制系统100的操作和功能的通用或专用处理器或微控制器。例如，处理器110可以被专门设计为控制将提供触觉效果的信号输出到触觉输出装置118的专用集成电路(“ASIC”)。处理器110可以被构造为基于预定义因素来决定要产生什么触觉效果、产生触觉效果的次序、以及触觉效果的幅度、频率、持续时间和/或其他参数。处理器110还可以被构造为提供可以用于驱动用于提供特定触觉效果的触觉输出装置118的流传输命令。在一些实施例中，处理器110实际上可以包括多个处理器，每个处理器被构造为执行系统100内的某些功能。处理器110还可以包括包括一个或多个存储器件的存储器，这些存储器件可以包括触觉效果配置文件、关于要如何驱动触觉输出装置118的指令、和/或用于产生触觉效果的其他信息。在图1中所示的整个系统100是单个电子装置的部分的实施例中，存储器124、126可以是处理器110的部分。
[0030]然后可以将触觉输出信号从处理器110 (例如，从处理器110的解码器116)发送到触觉输出装置118，以使得通过包括触觉输出装置118的电子回放装置130体验媒体的人(一个或多个)可以更充分地体验正在回放的事件。电子回放装置130可以是任何装置，诸如电子手持装置(诸如移动电话)、游戏装置、个人数字助理(“PDA”)、便携式电子邮件装置、便携式互联网接入装置、计算器、平板等。电子回放装置130可以包括，但不限于，具有显示媒体的显示器120 (可以是高清晰显示器)的手持装置、能够生成触觉感知或效果的手持对象、或附连到用户的身体、搭靠在用户的身体上、或以其他方式将触感感知和触觉效果发送到用户的对象。
[0031 ] 在实施例中，处理器110和触觉输出装置118可以是电子手持装置(可以是电话或平板)的部分，并且电子手持装置被构造为将视频数据输出到单独的显示器120 (可以是电视)。
[0032]在实施例中，系统100可以包括具有陀螺仪、指南针和用于传感器102的三轴加速度计传感器、以及用于视频记录器104的内置照相机的移动电话。在这种情况下，图1中所示的所有组件(包括数据记录传感器102、视频记录器104、音频记录器106、包括解码器116和输出变换器114的处理器110、触觉输出装置118、显示器120、扬声器122、输入变换器112以及电子存储器124、126)可以是自备的，并且整个系统100可以被贴附到进行感兴趣的活动的人或一件装备。
[0033]在实施例中，第一人称视角摄像机可以被安装到进行感兴趣的活动的头盔或一件装备，并且摄像机可以合并若干个数据传感器102 (诸如加速度计、全球定位系统(“GPS”)和陀螺仪)、输入变换器112 (如果需要的话)、电子存储器124、视频记录器104、音频记录器106和电子存储器126。如以上所讨论的，系统100的其余部分(诸如包括解码器116和输出变换器114的处理器110、触觉输出装置118、显示器120和扬声器122)可以被安置在单独的回放装置(诸如电子回放装置130)中。
[0034]在实施例中，传感器102 (—个或多个)(可以包括诸如加速度计、GPS等的一个或多个数据传感器)可以被贴附到进行感兴趣的活动的人或装备。传感器102 (—个或多个)可以容纳在传感器盒或被构造为保护传感器102 (—个或多个)的某一其他容器中。传感器盒可以具有内置的数据记录装置(诸如输入变换器112和电子存储器124)，或者可以依赖于与在活动期间记录数据的辅助装置(诸如移动装置)的数据连接。
[0035]在实施例中，传感器102 (—个或多个)可以被安装在作为视频的对象的人上，视频记录器104 (可选地，还有音频记录器106)可以由另一个人操作。例如，作为视频的对象的人可以是滑雪者，至少一个传感器102可以被附连到该滑雪者的靴子上和/或其他件衣服或装备(诸如该滑雪者的滑雪板)上。传感器102 (—个或多个)可以包括被构造为提供滑雪板所体验的重力加速度的加速度计、被构造为提供滑雪板的方位的陀螺仪传感器、以及被构造为提供由滑雪者的靴子施加于滑雪板的负载的接触压力传感器。在实施例中，音频记录器106可以被附连到一件衣服或装备(诸如滑雪者的头盔)，以使得滑雪板越过雪的声音可以被捕捉。
[0036]在实施例中，可以发起记录会话，在记录会话中，与视频和音频数据一起记录加速度数据、陀螺仪数据和接触压力数据的流。视频记录器104和/或音频记录器106可以被安装到滑雪者的头盔。在实施例中，视频记录器104和/或音频记录器106可以是安装在冰雪公园的在其要进行滑雪活动的半管滑雪道中的各个地方的摄像机的阵列。在实施例中，如上所述，视频记录器104可以是被安置在冰雪公园的半管滑雪道中的各个地方的摄像机的阵列，并且音频记录器106可以被安装到滑雪者的一件衣服或装备。可以使用传感器102(一个或多个)、视频记录器104和音频记录器106的位置的其他组合，这些其他组合可以取决于被记录的活动，以使得电子回放装置130的用户在回放期间可以实现最佳触觉/音频/视觉体验。可以通过可以驻存在图1中所示的系统100的处理器110中的记录软件来管理所有这些数据流的同步。
[0037]在实施例中，可以使用允许将除了视频和音频之外的数据存储在单个文件容器中的灵活容器格式，诸如MPEG-4。在这样的实施例中，在记录期间可能需要一组特定的编码器来将传感器数据放置到MPEG-4文件中。在实施例中，可以编写将非音频和视频(A/V)传感器数据存储在单独的文件中的特殊软件，但是该传感器数据中具有使得可以在回放时适当同步的特殊标记。在本实施例中，除了将传感器数据成形为符合所设计的记录格式之外，可能需要应用极少的输入变换。确切格式可以由实现者确定。一旦滑雪者已经完成他或她的活动，就可以停止记录。可以关闭MPEG-4文件，并且所有的传感器数据都可以驻存在MPEG-4文件中。
[0038]在实施例中，回放装置可以是图1的电子回放装置130，并且可以是具有显示器120、扬声器122和作为提供触觉效果的触觉输出装置118的振动装置的移动电话或平板的形式。在实施例中，回放装置可以是游戏机，该游戏机与具有显示器120和扬声器122的电视连接，并且还与包括提供触觉效果的触觉输出装置118的游戏外设(诸如游戏手柄)连接。
[0039]在以后的时间或与进行活动同时地，一个或多个观看者可能对体验该活动感兴趣。为了回放活动，观看者可以启动他们的回放装置上的以体验执行者的活动为目的的合适的回放软件。在实施例中，回放软件可以包括合并解码器116所执行的传感器解码方案的播放器软件应用程序、以及可以由输出变换器114运行以便将传感器数据变换为适合于回放装置中的触觉输出装置118的触觉输出信号的输出变换软件。在实施例中，播放器软件应用程序可以合并传感器解码方案。播放器软件可以依赖于驻存在回放装置上或以其他方式预装在回放装置上的输出变换软件，并且这样的输出变换软件可以将传感器数据变换为适合于回放装置中的触觉输出装置118的触觉输出信号。换句话讲，输出变换器114和/或解码器116可以被安置在回放装置中。
[0040]在实施例中，播放器软件应用程序可以依赖于回放装置的、执行媒体回放的、合并传感器解码方案的操作系统软件。该操作系统软件可以依赖于驻存在回放装置上或以其他方式预装在回放装置上的输出变换软件，这样的输出变换软件将传感器数据变换为适合于回放装置中的触觉输出装置118的触觉输出信号。观看者于是可以体验与表演的观看相关联的触觉感知，这样的触觉感知由输出变换软件生成。
[0041]在实施例中，输出变换软件可以包括传感器数据中的一些，而其他传感器数据则可以被忽略。例如，可以包括陀螺仪数据，而接触压力传感器数据则可以被忽略。可以通过计算X-Y-Z加速度分量的矢量幅度来计算加速度数据的幅度。然后可以对该加速度幅度信号进行带通滤波，以使得仅输出20-200HZ范围内的加速度幅度信号，其他频率内容被滤除。然后可以对滤波的加速度信号进行软拐点压缩算法以缓和地将输出幅度裁剪在+6与-6geeS之间，然后使所有负信号归零/被忽略，所得的压缩的单边的输出信号可以用于将触觉输出装置所提供的振动的幅度控制在O - 100%振动之间。这样，观看者可以感觉到执行者的滑雪板感觉到的加速度变量的表示。
[0042]在实施例中，可以以以下方式将加速度数据、陀螺仪数据和接触压力传感器数据组合为触觉输出信号。每当接触压力低时，滑雪者可以被假定为正在跳跃，因此，所有的触觉输出都归零。当接触压力非常大时，可以将接触压力与加速度幅度相乘。然后可以将该输出与方位信号的变化(从陀螺仪信号推导的方位前进方向的一阶时间导数)相乘以获得“活动强度”信号。然后可以以获得执行者在滑雪活动期间所体验的感知范围的合理表示的这样的方式对该信号进行滤波和压缩，并且可以将该信号应用于回放装置的触觉输出装置118。
[0043]在实施例中，每当接触压力低时，滑雪者可以被假设为正在跳跃，因此，所有的触觉输出都归零。当接触压力非常大时，可以将加速度幅度带通滤波在例如100-200HZ范围内，并且可以使用硬拐点压缩器对其输出范围进行高度压缩。该信号可以应用于回放装置的触觉输出装置118。
[0044]握住触觉输出装置118或以其他方式与触觉输出装置118接触的观看者于是可以感觉到由输出变换器114生成并且由触觉输出装置118输出的感知。
[0045]例子
[0046]通过使用视频和同时获取的传感器读数来产生足够的触觉效果/感知。如图2所示，三轴加速度计被用于传感器102，并且通过使用皮带而被固定到第一滑雪者的靴子。如图2所示，三轴加速度计被定向为使得相对于滑雪者的靴子的方位，X轴从上到下大致对齐，Y轴从后到前大致对齐，Z轴从右到左大致对齐。便携式摄像机被用于视频记录器104和音频记录器106，并且由第二滑雪者操作，第二滑雪者跟随第一滑雪者，以便当第一滑雪者产生传感器数据时产生视频和音频数据。
[0047]在所有数据都被记录之后，使来自传感器102 (加速度计)的寄存数据与视频记录器104和音频记录器106所记录的视频图像和音频数据同步。要求第一滑雪者在开始下降之前实现四次跳跃。通过逐个图像地对来自视频记录器104的视频馈送进行分析来检测这四次跳跃的时序。另外，如图3所示，当这些跳跃转变为四个连续峰值时，通过对来自传感器102的垂直加速度信号Ax进行分析来检测跳跃的时序。因为加速度计读数带有时间戳，所以可以提取加速度并使这些加速度与整个视频同步。
[0048]在使数据同步之后，自动地检测与在空中跳跃之后或在任何对象(例如，轨道)上弹跳时的降落的时刻相关的、被称为“撞击”的特定事件。可以通过在与降落方向相关的加速度信号中创建一个突然的峰值来表征这些撞击。在滑雪时，降落可以是垂直的或“倾斜的”，所以计算用于每个加速度采样的矢量Ax+Ay的幅度。每当幅值高于某一阈值时，就认为该采样表示撞击。对于每个检测到的撞击，在触觉踪迹中在该撞击发生时将撞击效果作为触觉效果引入。效果强度与撞击幅度相关。
[0049]捕捉滑雪板在其上滑动的表面的纹理，并使用以下方法在触觉踪迹中表示该纹理。使用快速傅里叶变换(“FFT”)将分别由图4中的401、402、403表示的三个加速度信号Ax、Ay和Az中的每个从时域变换到频域。然后将这三个频域信号作为矢量相加以形成单个信号AtMnsf。如图4中404所表示的，这后一个信号最后被转变回频域中变为Atans信号。将三个信号变换为一个信号的这种技术在本领域中是已知的，因此，本文中不提供该变换的具体细节。
[0050]然后通过线性插值将单个Atans信号404从其原始采样速率(即，400Hz)上采样到8000Hz。在这个插值信号中，所有对应于撞击的值都被拟合为O。然后将所得的信号与具有120Hz与270Hz之间的随机频率的正弦波相乘，然后对该信号进行规范化并直接复制在触觉踪迹中，触觉踪迹从而将包含纹理效果和撞击效果。触觉输出装置118然后在回放装置中回放触觉踪迹。在实施例中，当加速度信号被欠采样(例如，以采样速率〈100Hz)时，可以通过在捕捉的数据采样之间添加贝叶斯白噪声，而不是进行插值来将变换的信号上采样到 8000Hz ο
[0051]在实施例中，可以检测滑雪板的“摆动”(即，左到右方向的变化或“s曲线”)，并且可以创建相关的触觉效果并将该触觉效果与纹理和撞击相加。在实施例中，可以使用滑雪板本身、而不是滑雪者的加速度。在实施例中，可以在将加速度信号与Atransf信号相加之前使这些加速度信号在频域中偏移150Hz。
[0052]图5示出根据本文中所描述的本发明的实施例的方法500。方法500从502开始。在504，用视频记录器(诸如上述视频记录器104)记录视频，并用传感器(诸如上述传感器102)感测视频记录器正在记录的对象的移动。在506，将传感器所感测的移动变换为触觉输出信号，并且在508，使视频和触觉输出信号同步。该方法可以在512结束。在实施例中，该方法还可以包括:用例如上述触觉输出装置118来基于触觉输出信号产生触觉效果，并在显示器(诸如上述显示器120)上显示视频，以使得在回放装置(诸如上述电子回放装置130)上回放期间触觉效果与显示在显示器上的视频同步。在实施例中，在回放装置上回放期间，还可以记录音频、使音频同步并放映音频。
[0053]本文中所描述的实施例允许内容创建者记录媒体(诸如视频和/或音频)和其他数据，可能对它进行变换，并发送与内容创建者所体验和记录的媒体相关联的触觉感知。记录和变换真实世界的传感器数据以生成触觉输出是产生触觉内容的一种成本更加有效的方式(当手工创作触觉信号的合成时相比)，并且可以通过适当的输出变换生成上下文合适的“现实的”感知。
[0054]本文中所描述的实施例表示若干种可能的实现和例子，而非意图一定使本公开限于任何特定实施例。例如，在上述实施例中，共同的能力是除了典型的视频和音频馈送之外还收集和记录传感器数据中的一个。如本领域的普通技术人员将理解的，可以对这些实施例进行各种修改。任何这样的修改意在于包括在本公开的精神和范围内并且受到权利要求书的保护。
【权利要求】
1.一种系统，包括: 视频记录器，所述视频记录器被构造为记录视频数据； 传感器，所述传感器被构造为感测对象的移动，并输出表示所述对象的移动的传感器数据； 变换器，所述变换器被构造为将所述传感器数据变换为触觉输出信号； 触觉输出装置，所述触觉输出装置被构造为基于所述触觉输出信号来向用户产生触觉效果； 显示器，所述显示器被构造为显示视频；和 处理器，所述处理器被构造为使所述视频数据和所述触觉输出信号同步，并且将所述视频数据输出到所述显示器并将所述触觉输出信号输出到所述触觉输出装置，以使得所述触觉效果与显示在所述显示器上的所述视频同步。
2.根据权利要求1所述的系统，还包括被构造为记录音频数据的音频记录器和被构造为放映声音的扬声器，其中，所述处理器被进一步构造为:接收所述音频数据，使所述音频数据与所述视 频数据和所述触觉输出信号同步，并将所述音频数据输出到所述扬声器，以使得所述声音与显示在所述显示器上的所述视频和所述触觉输出装置产生的所述触觉效果冋步。
3.根据权利要求2所述的系统，其中，所述视频记录器、音频记录器和传感器是同一电子装置的部分。
4.根据权利要求2所述的系统，其中，所述触觉输出装置、显示器和扬声器是同一电子装置的部分。
5.根据权利要求2所述的系统，其中，所述视频记录器、音频记录器、传感器、触觉输出装置、显示器、扬声器和处理器是同一电子装置的部分。
6.根据权利要求1所述的系统，其中，所述触觉输出装置和显示器是同一电子装置的部分。
7.根据权利要求1所述的系统，其中，所述处理器包括所述变换器，并且还包括被构造为使所述视频数据和所述触觉输出信号同步的解码器。
8.根据权利要求1所述的系统，其中，所述传感器选自由以下构成的组:加速度计、陀螺仪和接触压力传感器。
9.根据权利要求1所述的系统，其中，所述系统包括多个传感器，并且其中，所述多个传感器选自由以下构成的组:加速度计、陀螺仪和接触压力传感器。
10.一种系统,包括: 显示器，所述显示器被构造为显示视频； 视频记录器，所述视频记录器被构造为记录视频数据； 传感器，所述传感器被构造为感测对象的移动，并输出代表所述对象的移动的传感器数据； 变换器，所述变换器被构造为将所述传感器数据变换为触觉输出信号；和 电子手持装置，所述电子手持装置包括: 触觉输出装置，所述触觉输出装置被构造为基于所述触觉输出信号向所述手持装置的用户产生触觉效果；和处理器，所述处理器被构造为:使所述视频数据和所述触觉输出信号同步，并且将所述视频数据输出到所述显示器并将所述触觉输出信号输出到所述触觉输出装置，以使得所述触觉效果与显示在所述显示器上的所述视频同步。
11.根据权利要求10所述的系统，还包括被构造为记录音频数据的音频记录器和被构造为放映声音的扬声器，其中，所述处理器被进一步构造为:接收所述音频数据，使所述音频数据与所述视频数据和所述触觉输出信号同步，并将所述音频数据输出到所述扬声器，以使得所述声音与显示在所述显示器上的所述视频和所述触觉输出装置产生的所述触觉效果同步。
12.—种方法,包括: 用视频记录器记录视频； 用传感器感测所述视频中正在记录的对象的移动； 将所感测的移动变换为触觉输出信号；和 使所述视频和所述触觉输出信号同步。
13.根据权利要求 12所述的方法，还包括: 基于所述触觉输出信号产生至少一种触觉效果；和 在显示器上与所述触觉效果同步地显示所述视频。
14.根据权利要求12所述的方法，还包括用音频记录器记录音频并使所述音频与所述视频和所述触觉输出信号同步。
15.根据权利要求14所述的方法，还包括:基于所述触觉输出信号产生触觉效果；在显示器上显示所述视频；和用扬声器放映所述音频，以使得所述触觉效果与显示在所述显示器上的所述视频和所述扬声器放映的所述音频同步。
16.根据权利要求12所述的方法，其中，所述传感器选自由以下构成的组:加速度计、陀螺仪和接触压力传感器。
【文档编号】G06F3/01GK103970266SQ201410032645
【公开日】2014年8月6日 申请日期:2014年1月24日 优先权日:2013年1月24日
【发明者】R·拉克罗伊克斯, J·M·克鲁兹-埃尔南德斯, J·萨布恩 申请人:英默森公司