用于拟音风格的触觉内容创建的系统和方法
【技术领域】
[0001]本发明涉及创建视频的触觉内容。更具体地说，本发明涉及视频的触觉内容的拟音风格创建。
【背景技术】
[0002]随着技术的进步，视频制作(例如影片、电影、以及广告的制作)已经变得越来越重要。视频制作从拍摄视频开始。此后视频进入后期制作阶段。后期制作可以包括将触觉轨道添加到视频。触觉轨道可以使触觉效果(例如机械振动)与在视频中发生的事件(例如爆炸)相关。因此，当观看者观看视频时，观看者可以感知到相关触觉效果。然而，创建触觉轨道是费时的且繁琐的。因此，需要使用于将触觉轨道添加到视频的处理简单化。
【发明内容】
[0003]本公开的实施例包括被配置为用于拟音风格的触觉内容创建的计算设备。在一个实施例中，本公开的系统可以包括音频输入设备，该音频输入设备被配置为检测音频输入并且传送与音频输入相关的音频信号。该系统还可以包括包含有传感器的触觉触发设备，其中传感器被配置为传送与事件相关的传感器信号。该系统可以进一步包括与音频输入设备和触觉触发设备通信的处理器，该处理器被配置为:接收音频信号；与接收音频信号基本同时地接收传感器信号；把音频信号记录到音频轨道；并且部分地基于传感器信号把触觉效果标记插入到触觉轨道中，其中触觉轨道和音频轨道与视频相关联。
[0004]在另一实施例中，本公开的方法可以包括:接收来自音频输入设备的音频信号；并且与接收音频信号基本同时地接收来自触觉触发设备的传感器信号。该方法可以进一步包括:把音频信号记录到音频轨道；并且部分地基于传感器信号把触觉效果标记插入到触觉轨道中，其中触觉轨道和音频轨道与视频相关联。又一个实施例包括用于实现这种方法的计算机可读介质。
[0005]所述这些示例性实施例不用于对本发明主题的范围作出限制或限定，而是提供示例以帮助理解。将在具体描述中讨论示例性实施例，并且在那里提供进一步的描述。通过研究本说明书和/或通过实施所要求保护的主题的一个或多个实施例可以进一步理解通过各个实施例所提供的优点。
【附图说明】
[0006]在说明书的其余部分中更具体地阐述了完整且可实现的公开。本说明书参考下面的附图。其中
[0007]图1是示出了根据一个实施例的用于拟音风格的触觉内容创建的系统的框图；
[0008]图2示出了用于拟音风格的触觉内容创建的系统的实施例；
[0009]图3示出了用于拟音风格的触觉内容创建的系统的另一实施例；
[0010]图4示出了用于拟音风格的触觉内容创建的系统的又一实施例；
[0011]图5是根据一个实施例的用于执行用于拟音风格的触觉内容创建的方法的步骤的流程图。
【具体实施方式】
[0012]现在将详细参考各种和替代示例性实施例并且参考附图。提供的每个示例是用于说明而不是作为限制。对于本领域技术人员来说显而易见的是可做出修改和变化。例如，被说明或描述为一个实施例的一部分的特征可以用在另一实施例中以得到又一实施例。因此，本公开要包括在权利要求书及其等同范围之内的修改和变化。
[0013]拟音风格的触觉内容创建的示例性示例
[0014]本公开的一个示例性实施例包括诸如台式计算机这样的计算设备。计算设备包括显示器、存储器、音频输入设备(例如麦克风)、以及与这些元件的每一个进行通信的处理器。
[0015]计算设备被配置为同时为视频产生音频轨道和触觉轨道。为了产生音频轨道，计算设备被配置为记录拟音效果。拟音效果是用于替代或增强在拍摄视频的同时所记录声音的音效。拟音师可以利用各种道具(例如布、明胶、皮革、金属棒、以及罐)产生声音效果或者产生数字效果。拟音师可以观看视频并且同时手动地对视频产生所有必需的声音效果，这使声音效果与视频内容同步。例如，拟音师可以在计算设备的显示器上观看视频，并且在视频中某人受到猛击的点，拟音师可以用电话簿撞击表面。计算设备可以将声音效果记录到(例如通过音频输入设备)与视频相关的音频轨道。拟音师可以重复该处理，这制作并记录了视频所有必需的声音效果。
[0016]为了产生触觉轨道，计算设备与触觉触发设备通信。在该示例性实施例中，触觉触发设备在计算设备的外部并且耦合至道具(prop，例如椰子)，拟音师可以使用该道具以产生声音效果(例如马飞奔的声音)。
[0017]在该示例性实施例中，触觉触发设备包括用于检测事件发生的传感器(例如压电传感器)。如在这里所使用的，事件是任何交互、动作、碰撞或者潜在地包括相关触觉效果的触觉触发设备的操作期间发生的其它事件。传感器被配置为将传感器信号传送到计算设备。例如，在示例性实施例中，如果拟音师操纵(例如移动、倾斜或者接触)道具以产生声音效果，那么传感器可以检测该操纵并且将与该操纵相关的传感器信号传送到计算设备。例如，如果拟音师用一个椰子撞击另一椰子以产生声音效果，那么传感器可以从椰子的碰撞检测到振动并且将传感器信号传送到计算设备。
[0018]在示例性实施例中，响应于传感器信号，计算设备产生触觉效果标记并且将触觉效果标记数字地插入到触觉轨道之中。触觉效果标记包括时间戳数据和/或帧戳数据。时间戳数据或帧戳数据可以分别与视频中的在其间检测到事件的时间或帧相关联。在一些实施例中，触觉效果标记可还包括与时间戳和/或帧戳数据相关的触觉效果数据。触觉效果数据被配置为一旦重放触觉轨道时可使得计算设备输出相关触觉效果。因此，拟音师可基本同时对视频产生音频轨道和触觉轨道。在一些实施例中，这可以降低要制作视频所花费的总时间量。
[0019]在示例性实施例中，触觉轨道可以集成到视频文件之中或者保存为单独的触觉文件(例如.hapt文件)。用户能够重放该文件(例如通过视频播放器)并且能够体验与视频同步的触觉效果。
[0020]上面对示例性实施例的描述仅仅是作为示例提供的。在这里描述了本发明的各种其它实施例并且本领域普通技术人员应当理解这种实施例的变化。通过研究本说明书和/或通过实施所要求保护的主题的一个或多个实施例可以进一步理解通过各个实施例所提供的优点。
[0021]用于拟音风格的触觉内容创建的示例性系统
[0022]图1是根据一个实施例的用于拟音风格的触觉内容创建的系统100的框图。在所示的实施例中，系统100包括具有通过总线106与其它硬件通信的处理器102的计算设备101。计算设备101可以包括例如智能电话、平板电脑、膝上型电脑、或者台式计算机。在该示例中，计算设备101包括膝上型计算机。
[0023]可包括诸如RAM、ROM、EEPROM等等这样的任何适当有形(并且非暂态)计算机可读介质的存储器104具体实现了配置计算设备101的操作的程序组件。在所示的实施例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口部件112、以及存储器114。
[0024]网络设备110可表示有助于网络连接的任何部件中的一个或多个。示例包括但不限于诸如以太网、USB、IEEE 1394这样的有线接口和/或诸如IEEE 802.11、蓝牙、或者用于接入蜂窝电话网络的无线电接口(例如用于接入CDMA、GSM、UMTS、或者其它移动通信网络的收发器/天线)这样的无线电接口。
[0025]I/O部件112可以用于有助于与诸如一个或多个显示器132 (例如计算机监控器、LED显示器、头戴式显示器、或者3D护目镜)、游戏控制器、键盘、鼠标、操纵杆、照相机、按钮、扬声器、麦克风、和/或用于输入数据或输出数据的其它硬件这样的设备的有线或无线连接。存储器114表示诸如包含在设备101之中或者耦合到处理器102的磁、光、或者其它存储介质这样的非易失性存储装置。
[0026]音频输入设备122被配置为接收与声音效果相关的音频输入。音频输入可以包括模拟信号(例如声音)或者数字信号(例如来自键盘、混合板、CD播放器、或者MP3播放器)。音频输入设备122将与音频输入相关的音频信号传送到处理器102。在一些实施例中，音频输入设备122可以包括麦克风。麦克风可以包括例如电容器、电感器、谐振电路、真空管、晶体管、放大器、金属带、碳颗粒、压电换能器、光纤、激光器，MEMS(微机电系统)、或者液体。
[0027]此外，系统100包括触觉触发设备120。虽然在图1中将触觉触发设备120描绘为在计算设备101的外部并且与计算设备101通信，但是在一些实施例中，触觉触发设备120可以在计算设备101的内部。在该示例中，触觉触发设备120包括与计算设备101通信的网络设备116。网络设备116可以被配置为与计算设备101中的网络设备110基本相同。也就是说，网络设备116可以包括诸如以太网、USB, IEEE1394这样的有线接口