触觉效果的自动调整的制作方法_2

文档序号:9216825阅读:来源:国知局
br>[0021]系统10能够进一步操作上耦合到数据库30,其中,数据库30能够被配置为存储由模块16和18使用的数据。数据库30可以是操作型数据库、分析型数据库、数据仓库、分布式数据库、终端用户数据库、外部数据库、导航式数据库、内存数据库、面向文档数据库、实时数据库、关系型数据库、面向对象数据库或者本领域中已知的任何其他数据库。
[0022]在一个实施例中,系统10进一步包括一个或多个扬声器32。处理器22可以向扬声器32发送音频信号,进而扬声器32输出音效。扬声器32例如可以是动态扬声器、电动态扬声器、压电扬声器、磁致伸缩扬声器、静电扬声器、带式和平面电磁扬声器、弯曲波扬声器、平板扬声器、海尔(heil)气动式扬声器、等离子电弧扬声器和数字扬声器。
[0023]在一个实施例中,系统10进一步包括传感器34。传感器34能够被配置为检测一种形式的能量,或者其他物理特性,比如但不限于加速度、生物信号、距离、流量、力/压力/应变/弯曲、湿度、线性位置、方向/倾角、射频、旋转位置、旋转速度、开关的操作、温度、振动或可见光强度。传感器34能够进一步被配置为将检测的能量或其他物理特性转换为电信号或者表示虚拟传感器信息的任何信号。传感器34能够是任何设备,比如但不限于,加速度计、心电图仪、脑电图仪、肌电图仪、眼电图仪、腭动描记器、皮肤电反应传感器、电容传感器、霍耳效应传感器、红外传感器、超声波传感器、压力传感器、光纤传感器、曲率传感器(或弯曲传感器)、力敏传感器、测力仪(load cell), LuSense CPS2155、小型压力传感器、压电传感器、应变计、湿度计、线性位置触摸传感器、线性电位计(或滑动器)、线性差动变换器、罗盘、倾角计、磁性标签(或射频识别标签)、旋转编码器、旋转电位计、陀螺仪、通断开关、温度传感器(例如温度计、热电偶、电阻式测温计、热敏电阻、温度转换集成电路)、话筒、光度计、高度计、生物监测器或光敏电阻。
[0024]通常,根据包括音频和/或视频数据在内的传感器多媒体数据生成触觉效果的自动触觉转换算法缺少能够借助调整和微调来改进创建的触觉效果的品质人类艺术触摸(touch)。实施例在可能的情况下使用各种过滤/调整技术将一些这种专家知识引入到自动转换工作流中。
[0025]实施例可以作为自动转换过程的部分执行调整,或者可用作用户可以在自动生成触觉效果后选择的可选择过滤器。在一个实施例中,过滤器应用于触觉效果跟踪,比如具有样本值-1到+1的脉冲编码调制(“PCM”)信号。在一个实施例中,以下更详细公开的可用过滤器包括“加重碰撞”、“加重最后”、“场景融合”、“动态范围压缩/扩展”、“致动器能力”、“感兴趣对象”、“背景/前景”和“与动作的接近性”过滤器。在一个实施例中,在自动生成触觉效果时,可以同时实施一些或全部可用过滤器,以使得过滤器的输出可选择并且随后“立即”可用。
[0026]图2是根据本发明实施例的系统的框图,其接收多媒体场景,包括音频、视频和任何与传感器相关的数据(例如,加速度、旋转、速度等),将与场景相关的数据自动转换为触觉效果,并随后调整/过滤触觉效果。在图2中,使用已知的系统和方法将来自多媒体数据的各个场景l-η的音频、视频和/或传感器信号在201-203自动转换为触觉效果。用于自动转换的一种已知的系统和方法在美国专利申请N0.13/785,166中公开,其公开内容通过引用并入本文中。通常,自动转换算法分析传感器数据或音频数据信号,并识别一些特征,比如包络、频率组成、峰值、噪声等,并随后基于这些特征创建触觉跟踪。
[0027]在210,将一个或多个过滤器应用于自动转换的触觉效果。过滤器可以是预选并自动应用的,或者可以在自动转换后的任何时间应用于生成的触觉跟踪。例如,可用过滤器的列表能够在用户界面的下拉菜单中呈现给用户,并且用户能够选择一个或多个过滤器来应用。在选择了多个过滤器时,它们能够采用流水线技术并以任何选择或预定的顺序来应用。过滤器或多个过滤器在应用后产生最终触觉效果跟踪212。
[0028]在一个实施例中,在借助多个过滤器的情况下,过滤器可以以例如过滤器1、随后过滤器2等的次序来应用,其中,过滤器I获得原始触觉跟踪作为输入,并输出新的触觉跟踪,该新的触觉跟踪作为输入馈送到过滤器2等等,直至在212输出最终触觉效果跟踪。应用过滤器的顺序/次序可以改变结果得到的输入。例如,如果在一个实施例中,顺序是过滤器1、过滤器2和过滤器3,而在另一个实施例中,顺序是过滤器2、过滤器I和过滤器3,则最终触觉效果跟踪可以不同,即使在两个示例中按顺序应用了相同的三个过滤器。
[0029]在一个实施例中,在借助多个过滤器的情况下,可以并行应用过滤器,其中,过滤器1、过滤器2等,全都具有相同的原始触觉跟踪作为输入,并且每一个过滤器的输出随后都作为输入馈送到求和过滤器,该求和过滤器在212输出最终触觉效果跟踪。求和过滤器可以包括加权求和方案,其中,可以由用户指定或者自动指定(即预定值)每一个输入的权重。在另一个实施例中,所有权重都相等(即,无用户介入地自动指定)。例如,如果存在并行应用的五个过滤器,每一个输出跟踪将在求和过滤器中乘以0.2(= 1/5)的权重。
[0030]此外,在一个实施例中,在借助多个过滤器的情况下,可以实施“混合”模式,其中,一些过滤器可以按顺序应用,而可以将过滤器并行应用于多个序列的输出。例如,过滤器1、过滤器3和过滤器4可以按顺序应用以形成序列I。过滤器2、过滤器3和过滤器5可以按另一个顺序应用以形成序列2。序列I和序列2的输出随后可以馈送到求和过滤器,以在212输出最终触觉效果跟踪。
[0031]在实施例中,任何过滤器或者过滤器的任何序列或者过滤器的任何并行应用的输入都可以是原始转换的触觉跟踪、任何过滤器的输出、过滤器的任何序列的输出或者过滤器的任何并行应用的输出中的一个。
[0032]在借助多个过滤器的情况下,过滤器的选择和应用模式(即,并行或按顺序)基于用户的设计风格/嗜好,并且可以为媒体剪辑的部分而改变。例如,在前五分钟中,过滤器I至5可以按顺序应用,而在接下来的两分钟中,过滤器2和3可以并行应用等。每一个过滤器都能够依据用户的风格/嗜好以不同参数来应用(例如高级用户模式),或者以默认参数来应用(即无用户介入)。
[0033]在一个实施例中,一个可用的过滤器是“加重碰撞”过滤器,其通过以下来对与重要或有关事件相关的短促急剧但强烈的效果(即“碰撞”)给予了更多重视,即减少在该效果之前的效果以及紧接着之后的效果的幅度,有时借助到后续效果中的短衰减。为了给予碰撞更多重视,需要使碰撞感觉起来不同于紧接着的在前效果。实施例降低了紧接着“碰撞”的在前效果的强度/幅度。实施例通过例如找到触觉跟踪的绝对值大于特定阈值或“碰撞阈值”(例如0.9)的样本,来找到触觉跟踪内的碰撞。一旦找到“碰撞”,实施例就查看触觉跟踪的表示在碰撞之前的时间的“查找窗口”(例如500ms)的样本。在这些样本中,找到绝对值小于特定阈值或“排除阈值”(例如0.3)、并覆盖大于特定阈值或“排除持续时间阈值”(例如50ms)的时间的相连样本的块。随后使得这些样本无效(即幅度值降低为O)。
[0034]在一个实施例中,一个可用的过滤器是“加重最后”过滤器。通常,剪辑/跟踪中的最后的触觉效果常常应该是强烈的,以便标记剪辑的结束,因此应自动加重它(例如较高幅度)。因此,“加重最后”过滤器找到触觉跟踪中的最后效果并放大其幅度。这可以通过将最后效果的样本值乘以大于I (例如1.5)的增益因子来实现。实施例首先找到触觉跟踪中表示最后效果的结束的样本(即最后效果的最后样本)。为此,找到跟踪中绝对值大于特定阈值或“静默阈值”(例如0.1)的最后样本。实施例随后通过考虑在最后效果的结束之前的所有样本,并找到这些样本中的“触觉静默”的最后块,来找到最后效果的开始(即最后效果的第一个样本)。最后效果
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1