触觉效果的自动调整的制作方法_3

文档序号:9216825阅读:来源:国知局
的开始是跟在这个最后“触觉静默”之后的第一样本。“触觉静默”是绝对值小于特定阈值或“静默阈值”(例如0.1)、并覆盖大于特定阈值或“静默持续时间阈值”(例如100ms)的时间的相连触觉眼踪样本的决。
[0035]在一个实施例中,一个可用的过滤器是“场景融合”过滤器,其适于使用户感受媒体剪辑中在一个场景与下一个场景之间的过渡。实施例将“淡出”策略应用于在前场景触觉跟踪和/或将“淡入”策略应用于当前场景触觉跟踪。图3是根据一个实施例的融合两个场景(“场景I”和“场景2”)的图示。实施例通过使得相关(于每一个场景的)触觉效果可区分,来加重或突出在剪辑中不同场景之间的过渡。实施例实施“淡出”随后“淡入”方案来进行过滤。
[0036]在一个实施例中,只有在如下情景时才应用该功能:
[0037]?在第一个场景/跟踪中的最后时间窗口中或“融合查找窗口 ”(例如500ms)中的触觉效果与在随后场景/跟踪中的第一个时间窗口中或“融合查找窗口”中的触觉效果都强烈(即每一个中具有大于例如0.5的最大绝对值的触觉样本);或者
[0038]?如果两个效果都是轻微效果(即每一个中具有小于例如0.5的最大绝对值的触觉样本)但具有相近的强度(即两个查找窗口的每一个中的最大绝对值仅相差例如0.1)。
[0039]此外,如下将淡出过滤器应用于第一个场景的触觉效果的最后“查找窗口”( “窗口 I”),并且将淡入过滤器应用于随后场景的触觉效果的第一个“查找窗口”( “窗口 2”):
[0040]籲实施例找到窗口 I的前一半中的最大值,并构造与窗口 I相同的信号“信号I”,随后以如下方式修改它:从开头到最大值位置的样本将全都具有值=I ;以使得随后的样本(从最大样本直到信号I结尾)值从识别的最大值线性减小到O (在信号I的结尾)的方式来计算这些样本。窗口 I样本随后乘以信号I样本(元素乘以元素),并且结果代替窗口 I加入到原始触觉跟踪中。
[0041]籲实施例随后找到窗口 2中的最大值,并构造与窗口 2相同的信号“信号2”,随后以如下方式修改它:从最大值位置直到信号2结尾的样本全都具有值=I ;以使得在前的样本(从信号2开头直到这个最大样本)值从O (在信号2的开头)到识别的最大值线性增大的方式来计算这些样本。窗口 2样本随后乘以信号2样本(元素乘以元素),并且结果代替窗口 2加入到原始触觉跟踪中。
[0042]在一个实施例中,一个可用的过滤器是“动态范围压缩/扩展”过滤器,其适于使得弱效果更弱和/或使得强效果更强。实施例提高强烈效果的幅度,并减少小幅度效果的幅度。过滤器首先将触觉样本值变换到对数尺度(以分贝dB计)。值大于特定阈值“thrl”(例如-30dB)的所有触觉样本会具有如下使用增益值“gain”(例如1.5)计算的新值:
[0043]new_value = ((old_value-thrl) * gain)+thrl
[0044]值小于特定阈值“thr2” (例如_50dB)的所有触觉样本会具有如下使用衰减值“att”(例如2)计算的新值:
[0045]new_value = thr2-((thr2-old_value) * att)
[0046]在一个实施例中,一个可用的过滤器是“致动器能力”过滤器,其过滤自动生成的触觉跟踪,以适应预期回放设备中的致动器的能力。通常,依据回放设备的致动器的设备和品质,通过使部分或全部初步触觉效果延长或缩短特定预定值(例如1ms)来改变触觉跟踪。例如,对于基于质地的触觉效果,调整可以包括改变定义周期值的参数(即效果实施的时间和无效果的时间的长度)。例如,质地化的触觉效果对于效果的持续时间可以包括1ms效果和1ms静默。在一个示例中,Samsung Corp.的“Galaxy S4”智能电话上的基于质地的触觉效果的周期值是10ms,而在LG Corp.的“G2”智能电话上,效果变为具有25ms的周期值更好,尽管二者都具有作为触觉输出设备的LRA。对这个过滤器,所需的一个输入是致动器或者回放设备的其他触觉输出设备的能力,包括触觉输出设备的类型、触觉输出设备的位置等。这可以手动提供或者从查找表中的预存储值自动读取。
[0047]在其他实施例中,一些过滤器能够应用于调整生成的触觉效果,以便在触觉上加重在媒体剪辑中特定对象的相关事件(即“感兴趣对象”),或者反之减小这些事件的重要性。这个对象在一个实施例中能够由用户/设计者选择,或者在另一个实施例中由系统自动检测。另一个实施例在给定动作与摄像机的接近性的情况下还可以调整效果。通常,这些实施例针对改进“脱离上下文”问题,这一问题有时在使用传感器数据自动生成触觉效果时会出现。更具体地,通过效果的幅度/强度可以清晰地观察到这个问题。例如,当使用从BMX活动的自行车运动中捕获的数据得到触觉效果时,自动生成的触觉效果通常在自行车接近摄像机时和在它远离摄像机时具有相同的幅度。结果,触觉效果感觉不太真实,因为它们没有反映接近的概念。
[0048]此外,与对象/动作相关的触觉效果在视频中存在与摄像机距离更近的另一个人/对象移动的情况下对于观看者会产生混淆。这个混淆起因于以下事实:观看者将效果感知为与在前景中(与摄像机最接近)发生的“动作”相关,而实际上它们可能得自于背景(与摄像机最远)中的“动作”。这种具体情况中的解决方案是在可能的情况下(即如果可获得传感器数据)从“前景动作”得到显示的触觉效果,如果不行,就减小得自于“背景动作”的效果的幅度。
[0049]由于“感兴趣对象”、“背景/前景”和“与动作的接近性”过滤器基于视频输入。在实施例中使用了计算机视觉方案。
[0050]图4示出了根据一个实施例的由“感兴趣对象”过滤器实施的计算机视觉(“ΟΤ,)调整。在图4中,在401,用户通过在剪辑开头的对象/人(即用户/设计者认为感兴趣的对象或人)的二维表示上点击(假定在405为该对象获得了传感器数据)来选择触觉应该与其相关的对象/人。在402,CV算法会跟踪视频中的该对象,并在403在每N个帧中估计其与摄像机的距离。在406为该对象创建的触觉效果随后在407调制到(在N个相应帧中)该估计距离上。例如,在对象接近摄像机时,可以使得效果更强(即将样本值乘以大于I的增益因子),或者在对象远离摄像机时,使得效果更弱(即将样本值乘以小于I的减小因子)。增益/减小因子的值可以随与摄像机的估计距离而线性改变。
[0051]通过在每一帧中跟踪与该对象相关的视觉特征并估计其移动来进行对象的跟踪。能够使用的视觉特征包括(但不限于):颜色、形状、尺度不变特性变换(“SIFT”)、加速稳健特征(“SURF”)、方向梯度直方图(“HOG”)描述符、哈尔特征、角点检测(Sh1-Tomasi)特征和小波变换。能够使用光流计算技术、卡尔曼滤波或粒子滤波方案来执行跟踪。
[0052]图5示出了根据本发明另一个实施例的由“背景/前景”过滤器实施的CV调整。在图5中,在502,CV算法将每一个场景(N个帧)中的对象自主地分割为前景和背景动作对象/事件(即,如果对象在前景中,但不移动,就不考虑它)。另一个算法在503使用模式匹配方法来识别这些对象,并在505,如果与识别为在前景中的对象相关的传感器数据可用(以对象类型标记),则使用该传感器数据来生成触觉跟踪。如果不可用,就使用背景对象的传感器数据来创建触觉。也可以动态地应用背景/前景过滤。在整个媒体剪辑中,对象/人可以改变位置,因此在前景中的对象/人在不同时刻可以不同。实施例能够适于这个约束,并相应地改变触觉效果。也可以如上所述地基于识别的对象/人与摄像机的距离调整为识别的对象/人创建的触觉效果。该距离能够由跟踪/识别步骤来推算。
[0053]通过检测图像中对象的特征并随后相对于公知对象的特征将它们分类来进行对象的匹配方法/性质识别。能够使用的特征包括(但不限于):颜色、形状、尺度
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1