用于记录与多媒体数据一起使用的触觉数据的系统和方法
【技术领域】
[0001] 本发明涉及用于记录与多媒体数据一起使用的触觉数据的系统和方法。
【背景技术】
[0002] 在现场和前期制作内容的生成中，均存在用于建立和获取动作的完善的技术。在 基于位置的现场体育赛事的情况下，例如，现场制作人通常在赛事之前提前一周到两周到 达，设置各个摄像机的位置以便生成引人注目的、对来自拍摄现场的多媒体数据流的现场 制作(播送）。对于现场制作团队来说正常的是，对一组现场麦克风进行预混，以针对每个摄 像机位置生成"以自我为中心"的声场，用于丰富播送内容的接收者的体验。
[0003] 例如，在体育场上，被架置在看台以上的摄像机可以包括均匀混合的观众声音效 果与赛场声音效果。赛场侧的摄像机可以具有抛物线麦克风或聚焦式麦克风以生成更强的 赛场存在感。在运动员处架置的摄像机可以具有在运动员处架置的麦克风，并且可以与赛 场侧摄像机混合以提供以运动员为中心的体育场体验。虽然类似的策略被用于针对电影和 电视的前期制作的内容，但要进行显著更多的音频后期制作编辑以生成最终的产品。
【发明内容】
[0004] 理想的是，通过将触觉内容添加到可以被流式传输并且被回放给电子设备用户的 播送内容，生成针对观众在电子设备上观看现场体育赛事和其他娱乐活动的更沉浸式的体 验。同样理想的是，通过使得真实世界的触觉数据更容易获得、并且在尽可能少的人为介入 的情况下变换真实世界的触觉数据，使得触觉内容更普遍，以便促进体验的传播和用户对 体验的接受。
[0005] 根据本发明的方面，提供了一种系统，所述系统包括被配置为对关注主体的音频 和/或视频进行记录并且输出对关注主体的记录的记录器，所述系统还包括与记录器相关 联的非接触传感器。非接触传感器被构造和布置为从与记录器基本上相同的视角并且与记 录器同时地测量关注主体的移动和/或振动。所述系统包括控制器，控制器被配置为将由非 接触传感器进行测量所测得的关注主体的移动和/或振动变换为用于发送到触觉显示设备 的触感数据流，以用于与记录器对关注主体的记录一起回放，并且将与测得的移动和/或振 动相对应的触觉效果与记录同步地提供给触觉显示设备的用户。
[0006] 在实施例中，非接触传感器包括激光测振仪。在实施例中，非接触传感器包括跟踪 设备。
[0007] 在实施例中，非接触传感器包括视频流分析算法。
[0008] 在实施例中，记录器和非接触传感器位于相同的位置。
[0009] 在实施例中，系统包括第一伺服机构，其被控制器控制并且被构造和布置为将非 接触传感器移动到具有与记录器基本上相同的视角的位置和/或取向。在实施例中，系统具 有第二伺服机构，其被控制器控制并且被构造和布置为移动记录器。第一伺服机构与第二 伺服机构同步，以使得非接触传感器的移动同步于记录器的移动。
[0010] 在实施例中，系统包括第二传感器，其被构造和布置为与被记录器记录的主体相 接触并且感测主体的移动和/或振动。控制器还被配置为将从非接触传感器和第二传感器 接收到的数据进行组合，并且将组合得到的数据变换为触感数据流。在实施例中，控制器包 括变换器，其被构造和布置为对具有不同的采样率和/或灵敏度的传感器信号进行混合，并 且输出经变换的组合数据。
[0011] 根据本发明的方面，提供了一种包括以下步骤的方法：用记录器对关注主体的音 频和/或视频进行记录，以及用非接触传感器测量关注主体的移动和/或振动，此非接触传 感器与记录器相关联并且具有与记录器基本上相同的视角。所述方法包括，用控制器将测 量得到的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与关注主 体的音频和/或视频的记录一起回放，并且将与测得的移动和/或振动相对应的触觉效果与 记录同步地提供给触觉显示设备的用户。
[0012] 在实施例中，方法包括随着记录器移动和改变视角，用由控制器控制的第一伺服 机构将非接触传感器移动到具有与记录器基本上相同的视角的位置。在实施例中，方法包 括用由控制器控制的第二伺服机构移动记录器。第一伺服机构与第二伺服机构同步，以使 得非接触传感器的移动同步于记录器的移动。
[0013] 在实施例中，方法包括用与关注主体接触的第二传感器感测关注主体的移动和/ 或振动，对从非接触传感器和第二传感器接收到的数据进行组合，并且将组合得到的数据 变换为触感数据流。
[0014] 在实施例中，方法包括对具有不同的采样率和/或灵敏度的传感器信号进行变换， 并且输出经变换的组合数据。
[0015] 本发明的这些和其他方面、特征和特性，以及操作方法和结构的相关元件的功能 和部分的组合和制造的经济性，在参考附图考虑以下的描述和附加的权利要求后将变得更 加清晰，以下的描述、权利要求和附图都构成说明书的一部分。但是要明确理解的是，附图 仅仅出于说明和描述的目的，并且不旨在作为对本发明的限制的定义。当在说明书和权利 要求中被使用时，除非上下文清楚地陈述，"一个"、"一"、和"该"的单数形式包括复数的指 代物。
【附图说明】
[0016] 以下附图中的组件被说明为强调本公开的通用原理，并且不一定按比例绘制。为 了一致和清晰的目的，必要时贯穿附图重复使用指定对应组件的引用字符。
[0017] 图1A示意性地说明根据本发明的实施例的系统；
[0018] 图1B示意性地说明图1A的系统中的控制器的进一步细节；
[0019] 图2A示意性地说明根据本发明的实施例、图1中的系统的实施方式；
[0020] 图2B示意性地说明图2A所说明的本发明的实施例的进一步细节；
[0021] 图3示意性地说明根据本发明的实施例从非接触传感器和视频/音频记录器到回 放设备的数据流；
[0022] 图4示意性地说明根据本发明的实施例从非接触传感器、接触传感器和视频/音频 记录器到回放设备的数据流；以及
[0023] 图5示意性地说明根据本发明的实施例的方法。
【具体实施方式】
[0024] 图1A示意性地说明了根据本发明的实施例的系统100。如图所说明，系统100包括 一个或多个传感器102,传感器102被配置为感测在一定距离处的事件中的关注主体所体验 的移动和/或振动，并且将感测到的移动和/或振动转换为触感效果数据，而触感效果数据 用于作为触觉效果回放给电子回放设备130的用户，如下进一步详细所述。在实施例中，传 感器102是非接触传感器，如下进一步详细所述。
[0025] 在实施例中，传感器102被构造和布置为感测选手和/或装置或其他作为体育赛事 一部分的关注主体等的运动和/或振动。在实施例中，在运动场/溜冰场/球场上以及运动 场/溜冰场/球场的边界等上的周围运动和振动可以被传感器102感测到。下面进一步详细 地描述传感器102的实施例。由传感器102感测到的振动可以处于任何频率范围中，即使该 振动频率范围可以通常不被人体的机械感受器感受到。在这样的实施例中，然后在传感器 数据的转换期间，振动可以被转换或转变到机械感受的范围。下面进一步详细地描述从传 感器数据到触感效果数据的变换。
[0026] 系统100还包括一个或多个摄像机104,其被构造和布置为获取关注主体的图像和 声音。摄像机104可以包括作为整体的视频/音频记录器，或可以包括在图1A中分别以106和 108表示的分开的视频和音频记录器。音频记录器108可以包括被构造和布置为获取与事件 相关联的声音的一个或多个麦克风。例如，如果事件是足球比赛，则一个或多个麦克风可以 被放置在现场级的比赛场地的边线上，一个或多个麦克风可以被放置在比赛场地以上的位 置处，如目前在足球比赛的播送期间所做的那样。本文中所使用的"摄像机"指的是视频记 录器106和音频记录器108的组合，即使这两个记录器不位于同一位置并且物理上是分开 的。在实施例中，传感器102、视频记录器106以及音频记录器108可以是相同的电子设备的 一部分。在实施例中，传感器102、视频记录器106以及音频记录器108可以是分开的、独立的 设备或分开的、独立的设备的一部分。
[0027] 如图1A所说明，系统100还包括控制器110,控制器110被构造和布置为将控制信号 输出给传感器102、视频记录器106以及音频记录器108,并且控制器110被构造和布置为还 从传感器102、视频记录器106以及音频记录器108接收数据信号，以用于进一步的处理和最 终向电子回放设备130的传输。控制器110包括一个或多个被构造和布置为处理从传感器 102、视频记录器106以及音频记录器108输出的信号和数据的处理器112。处理器112可以被 编程以执行计算机程序模块，计算机程序模块包括用于实施控制器110的各种功能的可执 行指令，如下进一步详细所述。在实施例中，传感器102可以包括与处理器112分开的处理 器，或处理器112可以是传感器的一部分。
[0028]电子回放设备130包括触觉输出设备132、显