率，并且其中描述每个事件的所述提取特征包括音频和视觉特征、场景动态和所述事件的上下文。
[0061]在本发明的实施例中，该方法还包括:提取描述所述多媒体事件中的每个事件的一个或多个提取特征，其中所述关联还至少基于所述提取特征。
[0062]在本发明的实施例中，一种系统包括:存储器设备，其配置为存储触觉设计模块；与所述存储器设备通信的处理设备，所述处理设备配置为执行在所述存储器设备中存储的所述触觉设计模块以创作触觉效果，所述创作包括:构造触觉化模型，该触觉化模型是通过学习人类触觉设计者风格而被构造的；接收包括音频和视频中的至少一个以及多个事件的输入；以及基于学习到的触觉化模型来推荐将与来自所述输入的对应事件相关联的触觉效果类型。
[0063]在本发明的实施例中，所述创作还包括:接收一个或多个创作的触觉效果的创作触觉效果特性以及一个或多个多媒体事件的多媒体事件特征；基于所述创作触觉效果特性和所述多媒体事件特征来使创作触觉效果的类型与多媒体事件的类型相关联；基于所述关联的结果来构造所述学习到的触觉化模型。
[0064]在本发明的实施例中，所述创作还包括:接收与所述创作触觉效果特性和所述多媒体事件特征相对应的手动标签数据，其中所述手动标签数据为每个触觉效果和多媒体事件提供上下文，并且其中所述关联至少基于所述手动标签数据。
[0065]在本发明的实施例中，其中，与所述创作触觉效果特性相对应的手动标签数据包括以下各项中的至少一个:所述创作触觉效果的名称或者所述效果的烈度水平，并且其中，与所述多媒体事件特征相对应的手动标签数据包括以下各项中的至少一个:所述事件的名称、场景类型、在先事件、后续事件、片段类型、前台中的其他事件，或者后台中的其他事件。
[0066]在本发明的实施例中，所述创作还包括:提取描述所述创作触觉效果中的每个效果的一个或多个提取特性以及描述所述多媒体事件中的每个事件的一个或多个提取特征，其中所述关联包括至少基于提取的特性和提取的特征来使所述创作触觉效果特性与所述多媒体事件特征相关联，并且其中描述每个效果的所述提取特性包括持续时间、幅度、形状和频率，并且其中描述每个事件的所述提取特征包括音频和视觉特征、场景动态和所述事件的上下文。
[0067]在本发明的实施例中，所述创作还包括:提取描述所述多媒体事件中的每个事件的一个或多个提取特征，其中所述关联还至少基于所述提取特征。
[0068]根据音频、视频和/或感官数据的一些已知的自动触觉转换算法常常缺乏人类艺术格调。多媒体片段中的相同事件在给定该事件的上下文的情况下可以被不同设计者以不同方式触觉化。相比之下，实施例通过使不同的设计效果与各自在其特定上下文中获得的不同多媒体事件(例如，多媒体主题、周围事件的类型等)相关联，来捕捉这种人性化。实施例然后可以在遇到相同性质的事件时使用该捕捉的信息来建议效果。例如，在具有连续爆炸的动作电影中，设计者可能给予第一个爆炸更多的重要性并且以强烈效果对其进行触觉化，而对后续爆炸则以较少的烈度进行触觉化。然而，已知的自动转换工具将向类似的事件指派类似的效果。相比之下，实施例将该上下文因素和艺术格调注入自动转换中。
[0069]如公开的，实施例实现了一种触觉设计创作工具，其可以使用学习到的能考虑人类触觉效果设计者的艺术格调的触觉化模型来为输入多媒体片段自动推荐触觉效果。因此，可以在无需用户/设计者手动设计每个触觉效果的情况下自动地推荐触觉效果。
[0070]在这里具体示出并且/或者描述了若干实施例。然而，将会认识到所公开的实施例的修改和变化在不脱离本发明的精神和预期范围的情况下被上面的教导覆盖并且在所附权利要求的范围内。
【主权项】
1.一种用于创作一个或多个触觉效果的计算机实现的方法，所述计算机实现的方法包括: 提供通过学习人类触觉设计者风格而生成的触觉化模型； 接收包括音频和视频中的至少一个以及多个事件的输入；以及 基于学习到的触觉化模型来推荐将与来自输入的对应事件相关联的触觉效果类型。2.如权利要求1所述的计算机实现的方法，还包括: 接收一个或多个创作的触觉效果的创作触觉效果特性以及一个或多个多媒体事件的多媒体事件特征； 基于所述创作触觉效果特性和所述多媒体事件特征来使创作触觉效果的类型与多媒体事件的类型相关联； 基于所述关联的结果来构造所述学习到的触觉化模型。3.如权利要求2所述的计算机实现的方法，还包括: 接收与所述创作触觉效果特性和所述多媒体事件特征相对应的手动标签数据， 其中所述手动标签数据为每个触觉效果和多媒体事件提供上下文，并且 其中所述关联至少基于所述手动标签数据。4.如权利要求2所述的计算机实现的方法，还包括: 提取描述所述创作触觉效果中的每个效果的一个或多个提取特性以及描述所述多媒体事件中的每个事件的一个或多个提取特征， 其中所述关联包括至少基于提取的特性和提取的特征来使所述创作触觉效果特性与所述多媒体事件特征相关联，并且 其中描述每个效果的所述提取特性包括持续时间、幅度、形状和频率，并且 其中描述每个事件的所述提取特征包括音频和视觉特征、场景动态和所述事件的上下文。5.如权利要求2所述的计算机实现的方法，还包括: 提取描述所述多媒体事件中的每个事件的一个或多个提取特征， 其中所述关联还至少基于所述提取特征。6.一种系统，包括: 存储器设备，其配置为存储触觉设计模块； 与所述存储器设备通信的处理设备，所述处理设备配置为执行在所述存储器设备中存储的所述触觉设计模块以创作触觉效果，所述创作包括: 构造触觉化模型，该触觉化模型是通过学习人类触觉设计者风格而被构造的； 接收包括音频和视频中的至少一个以及多个事件的输入；以及 基于学习到的触觉化模型来推荐将与来自所述输入的对应事件相关联的触觉效果类型。7.如权利要求6所述的系统，所述创作还包括: 接收一个或多个创作的触觉效果的创作触觉效果特性以及一个或多个多媒体事件的多媒体事件特征； 基于所述创作触觉效果特性和所述多媒体事件特征来使创作触觉效果的类型与多媒体事件的类型相关联； 基于所述关联的结果来构造所述学习到的触觉化模型。8.如权利要求7所述的系统，所述创作还包括: 接收与所述创作触觉效果特性和所述多媒体事件特征相对应的手动标签数据， 其中所述手动标签数据为每个触觉效果和多媒体事件提供上下文，并且 其中所述关联至少基于所述手动标签数据。9.如权利要求7所述的系统，所述创作还包括: 提取描述所述创作触觉效果中的每个效果的一个或多个提取特性以及描述所述多媒体事件中的每个事件的一个或多个提取特征， 其中所述关联包括至少基于提取的特性和提取的特征来使所述创作触觉效果特性与所述多媒体事件特征相关联，并且 其中描述每个效果的所述提取特性包括持续时间、幅度、形状和频率，并且 其中描述每个事件的所述提取特征包括音频和视觉特征、场景动态和所述事件的上下文。10.如权利要求7所述的系统，所述创作还包括: 提取描述所述多媒体事件中的每个事件的一个或多个提取特征，其中所述关联还至少基于所述提取特征。
【专利摘要】本公开涉及触觉设计创作工具。提供了推荐一个或多个触觉效果的触觉创作工具，其提供通过学习人类触觉设计者风格而生成的触觉化模型。该触觉创作工具接收包括音频和视频中的至少一个以及多个事件的输入。该触觉创作工具然后基于学习到的触觉化模型来推荐将与来自输入的对应事件相关联的触觉效果类型。
【IPC分类】G06F3/01, G06F9/44
【公开号】CN105094798
【申请号】CN201510255658
【发明人】J·萨布恩, J·M·克鲁兹-埃尔南德斯
【申请人】意美森公司
【公开日】2015年11月25日
【申请日】2015年5月19日
【公告号】EP2947547A1, US20150339898