中的事件手动地创作触觉效果。表示手动创作的触觉效果和其对应多媒体事件的特征的脉码调制(PCM)信号和/或标签可以被存储在数据库220中并且/或者直接传送到触觉设计推荐器230。在一些实施例中，数据库220可以用来构造可以用来生成建议/推荐的效果的触觉化模型，如在下面详细描述的。触觉设计推荐器230可以检测效果的特性(例如，持续时间、幅度、形状、频率等)并且可以例如根据下面在图3中描述的功能使该触觉效果与在相同定时发生的多媒体片段中的对应事件(即，触觉化所针对的事件)的特征相关联。一般而言，定义特定触觉效果的高层参数包括幅度、频率和持续时间。诸如流式电机命令之类的低层参数也可以用来确定特定的触觉效果。如果触觉效果包括当其被生成时的这些参数的某些变化或者基于用户交互的这些参数的变化，则该触觉效果可被认为是“动态的”。
[0022]在一些实施例中，多媒体事件的特征可以包括音频特征或/和视觉特征。这些特征还可以捕捉事件的动态(例如，事件与在其之后或之前的片段的各部分之间的转换)。音频特征可以是频谱的(例如，频率组成、梅尔频率倒谱系数(“MELFCC”)、每一频带的功率等)和时间的(例如，形状、幅度、定时)。视觉特征可以包括例如颜色的直方图、光流(例如，场景中的物体的运动估计)、特定颜色图案存在等。系统200还可以捕捉场景(例如，不仅事件本身)的动态。例如，系统200可以捕捉事件的音频幅度是在增大还是减小，颜色直方图贯穿事件或者场景已经如何改变，等等。
[0023]在一些实施例中，触觉设计推荐器230使用分类和聚类技术(例如隐马尔可夫模型(“HMM”)、高斯混合模型(“GMM”)、K-means、K最近邻(“KNN”)、贝叶斯网络等)来使一类效果与一类事件相关联。在这种实施例中，当创作新的多媒体片段时，触觉设计推荐器230可以分析新内容的特征并且在其检测到与其已经学习的事件类似的事件时建议/推荐效果。
[0024]在一些实施例中，触觉设计推荐器230可以实时地操作，诸如在触觉创作系统210上运行的触觉设计软件中的后台进程。在一些实施例中，触觉设计推荐器230可以诸如通过读取以“Immers1n”格式或者D-BOX技术公司所使用的格式保存的触觉效果数据来对先前创作的内容离线地操作。在一些实施例中，触觉设计推荐器230可以通过在为新的多媒体片段推荐效果时仅考虑那个作者的先前创作的效果而适应不同的触觉效果作者。可替代地，在其他实施例中，触觉设计推荐器230可以配置为在为新的多媒体片段推荐效果时考虑多个作者的先前创作的效果。
[0025]图3示出了根据本发明一个实施例的由系统执行的触觉设计功能的流程图。在一个实施例中，图3的功能是通过在存储器或者其他计算机可读或者有形介质中存储的并且由处理器执行的软件来实现的。在该实施例中，每个功能可以由触觉设计模块(诸如图1中的触觉设计模块16)执行。在其他实施例中，每个功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)或者硬件和软件的任何组合来执行。
[0026]根据该实施例，流程在310处开始，其中用户例如使用触觉设计软件来为多媒体片段315手动地创作/设计触觉效果。这些效果可以对应于多媒体片段中的事件。流程继续进行到320。
[0027]在320处，用户可以标记创作的触觉效果和事件。用户还可以通过标记多媒体片段的类型或者流派来总地标记多媒体片段。在一些实施例中，不要求用户标记效果/事件并且下面在340处自动检测到/提取出的特征在没有手动输入的标签的情况下被使用。处理继续进行到330。
[0028]在330处，模块16接收触觉效果、事件和标签(如果提供的话)。处理继续进行到340。
[0029]在340处，模块16从在330处接收到的事件和效果信号中自动地检测/提取来自多媒体片段315和效果特性的低层特征(音频和/或视频)。例如，描述每个事件的特征(及其如上所述的上下文)可以被自动地检测/提取并且然后用来将该事件关联到描述对应效果的特性。事件特征例如可以包括音频特征(频谱和/或时间的)和/或视觉特征(颜色和/或运动信息)。上下文特征可以具有相同的性质但是没有上面讨论的那些那么详细。例如，事件可以使用其音频频率组成和/或随着事件过去的颜色直方图变化来描述，并且场景/上下文可以通过平均音频幅度来描述。
[0030]在一些实施例中，两个层级的描述符(手动输入的标签和自动提取/检测的特征)的组合可以用作上下文信息。事件/效果可以被用户标记并且同时其相关特征可以被捕捉。在这种实施例中，然后可以使用用于建议效果的全自动或者半自动方法来为新的多媒体片段建议效果。处理继续进行到350。
[0031]在350处，模块16使触觉效果与其对应的事件或者一系列事件相关联并且将这些关联存储在诸如图1中的数据库30之类的数据库中。可以例如使用高层事件/效果描述符(例如，诸如在320处手动输入并且在330处接收到的标签之类的语义描述符)或者低层事件/效果描述符(例如，诸如信号特征之类的自动检测/提取的特征)来使触觉效果与事件相关联。
[0032]在在330处接收到标签数据的实施例中，例如可以使标记为“一系列中的首次爆炸”的事件与标记为“强烈爆炸”的触觉效果相关联。在另一示例中，可以使标记为“音乐视频”的片段中的标记为“汽车引擎”的事件不与任何触觉效果相关联，然而可以使“动作视频”片段中的相同事件与标记为“隆隆作响的引擎”的触觉效果相关联。在这种实施例中，由设计者在每个事件/效果设计处手动地指派标签。对于该特定标记任务，设计者提供允许捕捉每个事件的上下文的标记信息(例如，事件的名称、场景类型、在先和在后的事件、片段类型、前台或后台中的其他事件等)。在一些实施例中，指派给每个效果的标记数据可以是基本标签(例如，效果的名称、烈度水平)。处理继续进行到360。
[0033]在360处，模型16使用效果和事件的关联来构造(或者学习)触觉化模型(例如，贝叶斯模型、马尔可夫模型等)；该模型被构造用来描述设计者(用户)的风格。该模型用来稍后为新的多媒体片段生成建议/推荐的效果。该模型可以是总括的，以捕捉所需的所有信息(事件、上下文和效果)。例如，在具有高层描述符的贝叶斯网络实现方式中，离散状态变量可以(逐一地)描述事件的类型、接下来的或者后续的事件的类型、这些事件的次数、场景主题等。
[0034]在其中低层描述符被使用的实施例中，模型可以更加复杂，因为事件的类型也将通过该模型来表达。在该模型的贝叶斯网络实现方式中，例如，变量是连续的并且每个可以表示一个事件的一个特征。在下面的图4和图5中提供了贝叶斯网络实现方式的一个示例。在一些实施例中，模型被存储在数据库中。可替代地，根据存储在数据库中的数据来构造模型。处理继续进行到370。
[0035]在370处，模型16从新的多媒体片段325中自动提取事件特征，并且/或者用户(例如，触觉设计者)标记新多媒体片段325中的一个或多个事件。
[0036]在380处，模块16使用该模型来为新多媒体片段325或者新多媒体片段325中的一个或多个事件生成建议/推荐的触觉效果。建议/推荐可以基于来自该模型的似然估计，并且取决于在模型的构造中是否曾使用高层(标记数据)和/或低层(自动提取的特征数据)，可以在全自动模式或者半自动模式下执行所述建议/推荐。例如，如果低层数据曾用来在360处构造模型，那么触觉效果建议/推荐可以以如下所述的全自动方式执行。在另一示例中，如果高层数据曾用来在360处构造模型，那么触觉效果建议/推荐可以以如下所述的半自动方式(例如，通过要求用户(设计者)标记新多媒体片段中的事件的输入)执行。
[0037]例如，在半自动模式下，设计者/用户将必须标记他/她希望触觉化的事件以及周围的事件和场景，例如以提供上下文信息。使用机器学习算法，模块16