处被重新采样 后的数据在416处被变换以用于状态估计，因此例如，如果在两个数据流中的数据处于不同 的频率，则数据信号可以被估计和变换为单个数据信号，以用于在418处由编码器使用诸如 上面讨论的格式之类的本领域技术人员已知的格式进行编码。在实施例中，在两个数据流 中的数据可以被变换为可以包含一个或多个触觉数据信道的触觉输出流。编码器输出要被 包含到媒体436的信号426,媒体436可以经由因特网被流式传输，例如用于作为在回放设备 440上的回放媒体438进行的消费。同时或基本上同时，在432处由编码器使用诸如上面讨论 的格式之类的本领域技术人员已知的格式对来自视频/音频记录器430的数据进行编码，以 准备要被包含到媒体436的编码信号434,媒体436被流式传输到回放设备440。编码信号 426、434可以在被流式传输或以其他方式被传递到回放设备440之前被同步，而编码信号 426、434可以在被传递到回放设备440之后但在作为回放媒体438被回放之前，在回放设备 440本地被同步，如上所讨论的那样。编码信号426、434可以一起被流式传输或可以被交错 成单个信号。
[0054]在图3和图4所说明的两个实施例中，对基于场的触感感测的输出均可以包括两个 不同类型的数据编码，诸如包括来自场传感器源的完全和未混合的传感器数据的RAW主记 录(master recording)，以及包括混合的并且准备好播送的触感轨道的缩混记录(downmix recording)，缩混记录是播送的所有触感传感器的最终的混合产物。在一些实施例中，针对 事件中的每个摄像机，缩混记录可以都是可用的。由于在传感器技术上存在不同，RAW记录 可以具有不同的采样率，而缩混可以符合标准采样率(例如，200Hz)以便促进下游混合和终 端设备的呈现。
[0055]根据本发明的实施例，上面描述的系统100和200可以是媒体服务器驱动的。媒体 服务器可以是诸如NETFLIX?之类的云视频流服务，诸如NBC之类的提供播送网络的 服务，诸如微软的Xbox之类的游戏控制台，或任何其他类型的服务器。触感效果数据可以作 为从媒体服务器有线或无线地被通信传送到电子回放设备130、240的信号被提供。信号可 以是从直接的触感效果流或命令集到对触觉输出设备132、242做出的任何抽象指示的任何 信号，其中抽象指示为若干动作必须被执行，其中被执行的动作中的一个动作是基于触感 效果数据对触觉效果的呈现。
[0056]根据本发明的实施例，系统100、200可以是PVD驱动的。PVD可以被配置为识别触感 效果数据信号，然后将或相同的触感效果数据信号或从触感效果数据信号变换而来的不同 的信号发送出去，最终使得触觉效果被触觉输出设备132、242产生。
[0057]图5说明根据本发明的实施例的方法500。在510处，视频和/或音频被记录设备记 录，记录设备诸如上面所描述的视频记录器106和/或音频记录器108或视频/音频记录器 220。在520处，移动和/或振动被至少一个非接触传感器感测，诸如上面所描述的移动/振动 获取设备210。在实施例中，移动/振动数据可以被变换为触感数据流。在530处，通过使用诸 如上面描述的处理器112之类的处理器，使视频与在触感数据流中的振动同步。在540处，通 过使用诸如上面所描述的包括显示器134、扬声器136和触觉输出设备132的电子回放设备 130或上面所描述的电子回放设备240,回放同步的视频和/或音频与振动。
[0058] 上面所描述的本发明的实施例获取关注主体的移动和/或振动，意图是使用移动/ 振动获取产生要与多媒体数据流中的视频和/或音频数据一起被使用的触感效果数据。移 动/振动获取涉及对关注主体的非接触观察。
[0059] 上面所描述的本发明的实施例提供生成对事件的现场播送的能力，包含至少一个 非接触触感传感器。上面所描述的本发明的实施例针对可能具有不适于基于接触的触感感 测的、精密或极端的环境条件的事件可以是特别有用的。
[0060] 上面所描述的本发明的实施例提供一种基于摄像机的自我为中心的声场，所述声 场可以被延伸以使得音频和触感反馈均可以作为体育播送或前期制作拍摄的一部分被获 取和呈现。上面所描述的本发明的实施例提供了在主体上的与非接触的触感感测技术的组 合，其可以被混合以生成针对每个摄像机的观看角度合适的终端用户体验。
[0061] 本文所描述的实施例代表了若干可能的实施方式和示例，并且不意图必须将本公 开限制到任何特定的实施例。相反地，如本领域普通技术人员所理解的那样，可以对这些实 施例做出各种修改。任何这样的修改意图被包括在本公开的精神和范围内，并且被以下的 权利要求所保护。
【主权项】
1. 一种系统，包括： 记录器，被配置为记录关注主体的音频和/或视频，并且输出对关注主体的记录； 与所述记录器相关联的非接触传感器，所述非接触传感器被构造和布置为从与所述记 录器基本上相同的视角并且与所述记录器同时地测量关注主体的移动和/或振动；以及 控制器，被配置为将由所述非接触传感器测量所测得的关注主体的移动和/或振动变 换为用于发送到触觉显示设备的触感数据流，以用于与所述记录器对关注主体的记录一起 回放，并且将与测得的移动和/或振动相对应的触觉效果与所述记录同步地提供给所述触 觉显示设备的用户。2. 如权利要求1所述的系统，其中所述非接触传感器包括激光测振仪。3. 如权利要求1所述的系统，其中所述非接触传感器包括跟踪设备。4. 如权利要求1所述的系统，其中所述非接触传感器包括视频流分析算法。5. 如权利要求1所述的系统，其中所述记录器和所述非接触传感器位于相同的位置。6. 如权利要求1所述的系统，还包括第一伺服机构，第一伺服机构被所述控制器控制， 并且被构造和布置为将所述非接触传感器移动到具有与所述记录器基本上相同的视角的 位置和/或取向。7. 如权利要求6所述的系统，还包括第二伺服机构，第二伺服机构被所述控制器控制， 并且被构造和布置为移动所述记录器，其中所述第一伺服机构与所述第二伺服机构同步， 以使得所述非接触传感器的移动同步于所述记录器的移动。8. 如权利要求1所述的系统，还包括第二传感器，第二传感器被构造和布置为与所述记 录器记录的主体相接触，并且感测主体的移动和/或振动，其中所述控制器还被配置为对从 所述非接触传感器和所述第二传感器接收到的数据进行组合，并且将组合得到的数据变换 为触感数据流。9. 如权利要求8所述的系统，其中所述控制器包括变换器，变换器被构造和布置为对具 有不同的采样率和/或灵敏度的传感器信号进行混合，并且输出经变换的组合数据。10. -种方法，包括： 用记录器记录关注主体的音频和/或视频； 用非接触传感器测量关注主体的移动和/或振动，所述非接触传感器与所述记录器相 关联，并且具有与记录器基本上相同的视角；以及 用所述控制器将测得的移动和/或振动变换为用于发送到触觉显示设备的触感数据 流，以用于与对关注主体的音频和/或视频的记录一起回放，并且将与测得的移动和/或振 动相对应的触觉效果与所述记录同步地提供给所述触觉显示设备的用户。11. 如权利要求10所述的方法，还包括随着所述记录器移动和改变视角，用由所述控制 器控制的第一伺服机构将所述非接触传感器移动到具有与所述记录器基本上相同的视角 的位置。12. 如权利要求11所述的方法，还包括用由所述控制器控制的第二伺服机构移动所述 记录器，其中所述第一伺服机构与所述第二伺服机构同步，以使得所述非接触传感器的移 动同步于所述记录器的移动。13. 如权利要求10所述的方法，还包括： 用与关注主体接触的第二传感器感测关注主体的移动和/或振动； 对从所述非接触传感器和所述第二传感器接收到的数据进行组合； 将组合得到的数据变换为所述触感数据流。14.如权利要求13所述的方法，还包括对具有不同的采样率和/或灵敏度的传感器信号 进行变换，并且输出经变换的组合数据。
【专利摘要】本公开的一个方面涉及用于记录与多媒体数据一起使用的触觉数据的系统和方法，具体公开了一种系统，包括被配置为记录关注主体的音频和/或视频并且输出关注主体的记录的记录器，以及与记录器相关联的非接触传感器。非接触传感器被构造和布置为从与记录器基本上相同的视角并且与记录器同时地测量关注主体的移动和/或振动。系统包括控制器，所述控制器被配置为将由非接触传感器进行测量所测得的关注主体的移动和/或振动变换为用于发送到触觉显示设备的触感数据流，以用于与记录器对关注主体的记录一起回放，并且将与所测得的移动和/或振动相对应的触觉效果与记录同步地提供给触觉显示设备的用户。
【IPC分类】H04N5/765, H04N21/422, G06F3/01
【公开号】CN105721814
【申请号】CN201510955744
【发明人】C·J·乌尔里克, R·拉克鲁瓦
【申请人】意美森公司
【公开日】2016年6月29日
【申请日】2015年12月18日
【公告号】EP3035161A1, US20160180879