基于多媒体内容的补充信息提供触觉效果的方法和系统的制作方法
【专利摘要】本公开一般涉及基于多媒体内容的补充信息提供触觉效果的系统和方法。例如，一种公开的方法包括以下步骤：接收包括多媒体内容和补充数据的多媒体数据，其中补充数据描述多媒体内容；至少部分地基于补充数据确定触觉效果；以及在播放多媒体内容时输出触觉效果。
【专利说明】基于多媒体内容的补充信息提供触觉效果的方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2013年9月6日提交的标题为“Aud1 to Haptics”的美国临时专利申请N0.61/874，933的优先权，通过引用将其全部内容合并于此。
[0003]本申请涉及于2013年11月12日提交的标题为“Systems and Methods forGenerating Haptic Effects Associated with Transit1ns in Aud1 Signals，，的美国专利申请N0.14/078，438，通过引用将其全部内容合并于此。
[0004]本申请涉及于2013年11月12日提交的标题为“Systems and Methods forGenerating Haptic Effects Associated with an Envelope in Aud1 Signals，，的美国专利申请N0.14/078，442，通过引用将其全部内容合并于此。
[0005]本专利申请涉及于2013年11月12日提交的标题为“Systems and Methodsfor Generating Haptic Effects Associated with Aud1 Signals，，的美国专利申请N0.14/078，445，通过引用将其全部内容合并于此。
【技术领域】
[0006]本公开一般涉及基于多媒体数据提供触觉效果的方法和系统，并且具体地涉及基于多媒体内容的补充信息提供触觉效果的方法和系统。
【背景技术】
[0007]近年来，多媒体技术的进展被不断用于增强并且为用户提供更逼真的观看体验。现在的电视有更大的屏幕、高清晰度的屏幕分辨率和3D功能。此外，现在的手持装置经常有色彩鲜艳的高分辨率屏幕，并通过互联网访问多种内容源。类似地，音频技术的进展，例如改进环绕声系统、保真度更高的家庭影院扬声器和高清音频进一步增强用户的多媒体观看体验。除了视频和音频技术的进展之外，还使用触觉效果，通过观看者的触觉使用户进一步沉浸在观看体验中。提供与视频游戏中的事件相对应的触觉效果的触觉启用视频游戏机控制器是使用触觉增强用户体验的普遍示例。类似地，现在的大多数手持移动装置(例如，蜂窝电话、平板计算机)都包括允许应用提供触觉效果的硬件。
[0008]采用触觉来增强音频和/或视频内容的回放也是公知的。在一些情况下，触觉设计者编辑触觉轨道——在多媒体内容的回放期间要在特定时间输出的触觉效果的特殊集合——通过播放多媒体文件的系统或装置使用触觉轨道，以提供触觉效果。虽然该方法的优点在于它向多媒体内容产生特别调整的触觉轨道，但是它需要雇用触觉设计者为每个多媒体内容项目人工设计触觉轨道。对人工设计的替代包括使用算法来分析音频和/或视频内容，以确定要输出的触觉效果的自动处理。这种技术的示例包括声学事件检测(“AED”)(如上述美国专利申请N0.14/078，445所述)、盲源分离(“BBS”)(亦如上述美国专利申请N0.14/078，445所述)以及图像模式匹配。但是，这些已知的自动触觉化(automatedhaptificat1n)算法存在不准确和处理要求高的问题。此外，自动触觉化算法还有过度包含——不希望的并且经常导致过度嘈杂的触觉轨道的触觉化事件(例如，在键盘上打字、叫喊、音乐)——以及欠包含——不能将多媒体内容中的关键事件触觉化的倾向。
【发明内容】
[0009]本公开一般涉及一种方法，包括以下步骤:接收包括多媒体内容和补充数据的多媒体数据，其中所述补充数据描述多媒体内容，至少部分地基于补充数据确定触觉效果，以及在播放多媒体内容时输出触觉效果。在另一个实施例中，计算机可读介质包括使得处理器执行这种方法的程序代码。
[0010]提出这些示例性实施例不是要限制或限定本发明，而是要提供示例，帮助其理解。在详细描述中讨论了示例性实施例，并且这里提供了本发明的进一步描述。通过检查本说明书，可以进一步理解本发明的各种实施例提供的优点。
【专利附图】
【附图说明】
[0011]在参考附图阅读下面的详细描述时，可以更好地理解根据本公开的这些和其它特征、方案和优点，其中:
[0012]图1A和图1B是根据本公开的实施例的系统框图。
[0013]图2A至图2H是根据本公开的实施例的多媒体数据的框图。
[0014]图3是根据本公开的实施例的流程图。
[0015]图4是根据本公开的实施例的流程图。
【具体实施方式】
[0016]根据本公开的实施例提供基于多媒体数据提供触觉效果的方法和系统，更具体地涉及基于多媒体内容的补充信息(以下称为“补充信息”)提供触觉效果的方法和系统。如本文中所使用的，“多媒体数据”包括多媒体内容和补充信息两者。
[0017]示例性实施例
[0018]在一个示例性实施例中，家庭拥有家庭影院系统，其包括电视、能够访问互联网和触觉启用的A/V接收器、扬声器和触觉沙发。该家庭经常使用基于互联网的电影流媒体服务来观看电影，通过电影流媒体服务，A/V接收器接收多媒体数据流，其包括选择的电影以及该电影的补充信息(例如，元数据标签、隐藏式字幕信息)。在一个特定示例中，该家庭选择观看第一次世界大战动作/剧情电影。当用于电影的数据流开始到达时，A/V接收器确定元数据容器(通常已知为标签)存在。通过分析标签，A/V接收器确定在标签的类型字段中文本“战争”的存在，并基于该类型，确定将应用将触觉效果的输出强度增加到超过默认等级的触觉主题。此外，A/V接收机将类型提供给分析电影的音频和视频轨道的自动触觉化算法，以识别为其产生触觉效果的模式。在本示例中，A/V接收器专注于战争电影中常见的模式，例如爆炸、枪声等等，并基于算法产生触觉效果。除了分析音频和视频轨道之外，A/V接收器还针对关键词分析隐藏式字幕文本。例如，如果A/V接收器在隐藏式字幕数据中的特定时间戳处发现单词“爆炸”，则A/V接收器将该信息输入自动算法。然后算法寻找该时间戳周围的爆炸模式，并产生对应的触觉效果，例如强烈震动，与爆炸对应。在电影播放时，A/V接收器向触觉沙发发送信号，使其在与影片内发生的事件相对应的时间处输出触觉效果。
[0019]该示例性实施例仅为示例，如同这里所述，可以实施本发明的多个其它实施例。
[0020]示例性装置
[0021]下面参考附图，其中贯穿附图相同的附图标记表示相似的元件。图1A和图1B是根据本公开的实施例，基于补充信息提供触觉效果的系统的框图。
[0022]图1A示出包括各种组件的系统100。在一些实施例中，图1A所示系统100是包括电视、A/V接收器、多个扬声器、带游戏控制器的游戏机、万能遥控器、触觉启用设备和/或可穿戴触觉输出装置的家庭娱乐系统。在一个特定实施例中，图1B所示系统100包括电视(显示器116)、A/V接收器122、扬声器120、遥控器114和触觉启用的沙发124。在其它实施例中，系统100包括手持装置，例如移动电话、个人数字助理(PDA)、平板计算机、膝上型计算机、掌上型计算机或手持导航系统。还在其它实施例中，系统100可包括信息亭、汽车头单元或类似系统。
[0023]本公开的实施例可通过与数字电子电路、计算机硬件、固件和软件组合来实现，或者可包括数字电子电路、计算机硬件、固件和软件的组合。图1A和图1B所示系统100包括处理器110。处理器110接收输入信号，并产生用于通信、显示以及提供触觉反馈的信号。处理器110包括一个或多个计算机可读介质，例如可包括随机存取存储器(RAM)的存储器112，或者与一个或多个计算机可读介质通信。
[0024]处理器110执行存储器112中存储的计算机可执行程序指令，例如执行用于发消息或者用于产生触觉反馈的一个或多个计算机程序。处理器110可包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)或状态机。该处理器还可包括可编程电子装置，例如PLC、可编程中断控制器(PIC)、可编程逻辑装置(PLD)、可编程只读存储器(PROM)、电可编程只读存储器(EPR0M或EEPR0M)或其它类似装置。
[0025]存储器112包括可存储指令的计算机可读介质，通过处理器110执行指令时，指令使其进行各种步骤，例如这里描述的步骤。计算机可读介质的实施例可包括但不限于能够向处理器110提供计算机可读指令的电子、光学、磁或其它存储或传输装置。介质的其它示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、配置的处理器、所有光学介质、所有磁带或其它磁性介质或者计算机处理器可以读取的任何其它介质。此外，各种其它装置可包括诸如路由器、专用或公共网络或其它传输装置的计算机可读介质。所述处理器110以及处理可以在一个或多个结构中描述，也可以通过一个或多个结构散布。
[0026]利用网络接口 122，系统100能够与网络通信和/或从网络接收通信。在一些实施例中，网络接口 122是以太网卡。在其它实施例中，网络接口 122是装在A/V接收器、有线电视机顶盒、卫星电视机顶盒、电视或者系统100的其它组件中，用于接收和解码有线电视和/或卫星电视信号的模块。但是，在本发明的实施例中，网络接口 122可以是允许与网络通信的任何组件。例如，网络接口 122可以是与蜂窝网络或W1-Fi网络通信的无线网络装置或模块以及天线。
[0027]仍然参考图1A和图1B，系统100还包括与处理器110通信的用户输入装置114。例如，在一些实施例中，用户输入装置114可包括触摸屏。在这样的实施例中，用户输入装置114可以感测用户交互以及交互的位置。一个这样的实施例包括基于电容的触摸屏。在其它实施例中，用户输入装置114可包括按钮、开关、滑动条或轨迹球。还在其它实施例中，系统100可包括触摸屏和附加用户输入装置114两者。
[0028]在一些实施例中，用户输入装置114可包括遥控器、游戏控制器或者通过有线或无线连接(例如，红外、蓝牙、Zigbee或任何其它无线通信技术)与处理器110通信的类似装置。一个这样的实施例包括利用蓝牙与音频/视频接收器通信的音频/视频接收器的遥控器。
[0029]系统100还包括显示器116。显示器116与处理器110通信，并被配置为向用户显不来自处理器110的输出。在一个实施例中，显不器116包括电视。在另一个实施例中，装置102包括设置在用户输入装置114下面的液晶显示器(LCD)。在一些实施例中，显示器116和用户输入装置114可包括单个集成组件，例如触摸屏IXD。在一些实施例中，装置102可以不包括显示器。
[0030]在图1A、图1B和图2所示实施例中，触觉输出装置118与处理器110通信，并被配置为提供一个或多个触觉效果。例如，在一个实施例中，当通过处理器110向触觉输出装置118提供启动信号时，各个触觉输出装置118基于启动信号输出触觉效果。例如，在所示实施例中，处理器110被配置为向触觉输出装置118传输包括模拟驱动信号的触觉输出信号。在一些实施例中，处理器I1被配置为向触觉输出装置118传输命令,其中,命令包括要用于产生适当的驱动信号，以使得触觉输出装置118输出触觉效果的参数。在其它实施例中，将不同的信号和不同的信号类型发送给一个或多个触觉输出装置的每一个。例如，在一些实施例中，处理器可以传输低电平驱动信号，以驱动触觉输出装置输出触觉效果。这种驱动信号可以通过放大器放大，也可以利用适当的处理器或电路从数字信号转换为模拟信号，或者从模拟信号转换为数字信号，以适应被驱动的特定触觉输出装置。
[0031]诸如触觉输出装置118的触觉输出装置可以是能够输出一个或多个触觉效果的任何组件或组件集合。例如，触觉输出装置可以是各种类型中的一个，包括但不限于偏心旋转质量(ERM)致动器、线性共振致动器(LRA)、压电致动器、音圈致动器、电活性聚合物(EAP)致动器、形状记忆合金、寻呼机、直流马达、交流马达、动磁致动器、E核致动器、智能凝胶、静电致动器、电触觉致动器、可变形表面、静电摩擦(ESF)装置、超声摩擦(USF)装置或任何其它触觉输出装置，或者执行触觉输出装置功能或能够输出触觉效果的组件的集合。多个触觉输出装置或不同尺寸的触觉输出装置可用于提供一个振动频率范围，其被单独或同时开动。各个实施例可包括单个或多个触觉输出装置，并且可具有相同类型的触觉输出装置，或者不同类型的触觉输出装置的组合。在一些实施例中，一个或多个触觉输出装置例如经由有线或无线通信，与电子装置直接或间接通信。在一个实施例中，可将电子装置放置在车辆中，或者集成在车辆中，并将一个或多个触觉输出装置嵌入车辆中。例如，可将一个或多个触觉输出装置嵌入车辆的座位、方向盘、踏板等等中。在一些实施例中，作为触觉输出装置118的代替或者除了具有触觉输出装置118之外，系统100具有一个或多个其它输出装置。例如，系统100可具有扬声器和/或显不器。在一个实施例中，系统100具有一个或多个触觉输出装置、一个或多个扬声器以及一个或多个显示器。这里公开了很多其它实施例，并且变化落入本公开的范围内。
[0032]在各种实施例中，可以按照任意数量的方式或方式的组合产生一个或多个触觉效果。例如，在一个实施例中，可将一个或多个振动用于产生触觉效果，例如通过旋转偏心质量或通过线性振动质量。在一些这样的实施例中，触觉效果可以被配置为向整个电子装置或者仅向电子装置的一个表面或有限部分施加振动。在另一个实施例中，可将两个或更多个组件之间的摩擦或者至少一个组件与至少一个接触之间的摩擦用于产生触觉效果,例如通过向移动组件施加制动，例如向组件的移动提供阻力，或者提供转矩。为了产生振动效果，很多装置利用某些类型的致动器和/或其它触觉输出装置。用于该目的的已知触觉输出装置包括电磁致动器，例如其中通过马达移动偏心质量的偏心旋转质量(“ERM”)、其中来回驱动附接于弹簧的质量的线性共振致动器(“LRA”)或者诸如压电、电活性聚合物或形状记忆合金的“智能材料”。
[0033]在其它实施例中，可将一个或多个组件的变形用于产生触觉效果。例如，可以输出一个或多个触觉效果，以改变表面的形状或者表面的摩擦系数。在实施例中，通过产生用于改变表面上的摩擦的静电力和/或超声力来产生一个或多个触觉效果。在其它实施例中，可以使用透明变形元件的阵列来产生触觉效果，例如包括智能凝胶的一个或多个区域。触觉输出装置还广泛包括非机械或者非振动装置，例如使用静电摩擦(ESF)、超声表面摩擦(USF)的装置，或者通过超声触觉换能器产生原音辐射压力的装置，或者利用触觉基底和柔软或可变形表面的装置，或者提供突起的触觉输出(例如利用空气喷射的空气膨胀)的装置等等。在一些实施例中，触觉效果是动觉效果。美国专利申请N0.13/092，484描述了可以产生一个或多个触觉效果的方式，并描述了各种触觉输出装置。于2011年4月22日提交的美国专利申请N0.13/092，484，其全部内容通过引用被合并于此。
[0034]应当认识到，可以使用任何类型的输入合成方法来产生用于一个或多个触觉效果信号的互动参数，包括但不限于以下表2中列出的合成方法的示例。根据互动参数，可将驱动信号应用于触觉致动器。这里公开了很多其它实施例，并且变化落入本公开的范围内。
[0035]表2一合成方法
[0036].加法合成一组合输入，通常改变振幅
[0037].减法合成一复杂信号或多个信号输入的滤波
[0038].调频合成一通过一个或多个运算符调制载波信号
[0039]?重挂一将记录的输入用作受修改的输入源
[0040].复合合成一利用人工和采样的输入建立造成的“新”输入[0041 ].相位失真一在回放期间改变波表中存储的波形的速度
[0042].波形形成一信号的有意失真，以产生修改结果
[0043].重新合成一在回放之前修改数字采样输入
[0044].粒状合成一将若干小输入片段组合为新输入
[0045].线性预测编码一与用于语音合成的类似技术
[0046].肓接数字合成一对产生的波形的计算机修改
[0047].波形序列化一若干小片段的线性组合，以创建新输入
[0048].矢暈合成一用于任意数量的不同输入源之间的减退的技术
[0049].物理津模一虚拟动作的物理特件的数学方稈式
[0050]在进一步的实施例中，可将一个或多个触觉输出装置118用于实现可穿戴触觉装置(例如，腕带、腰带或衬衫)。在其它实施例中，可将一个或多个触觉输出装置118用于实现触觉启用家具，例如椅子或沙发。
[0051]如上所述，在一个实施例中，图1A的系统100可以是家庭娱乐系统。例如，在图1B所示的一个实施例中，系统100包括电视(显示器116)、A/V接收器122、扬声器120、遥控器114和触觉启用沙发124。A/V接收器122包括处理器110、存储器112和存储器122。用户输入装置114包括与A/V接收器122的处理器110通信的遥控器。A/V接收器操作播放存储器112中驻留的多媒体内容或者通过网络接口 122接收的多媒体内容。在一个实施例中，如现有技术中公知的，播放多媒体内容包括处理器110向显不器116传输视频信号，导致播放视频，以及向扬声器120传输音频信号，导致播放音频。在另一个实施例中，播放多媒体内容还包括，向触觉启用沙发124的触觉输出装置118传输触觉信号，导致向坐在其上面的观看者输出触觉效果。
[0052]在进一步的实施例中，系统100可包括与处理器110通信的传感器。在一个实施例中，系统100可以被配置为使用一个或多个传感器来检测观看者信息。例如,系统100可以被配置为检测观看者位置、方位、移动和/或观看者的计量生物学信息。例如，遥控器114可包括接近度传感器，其被配置为检测遥控器到A/V接收器122的距离。在一个这样的实施例中，遥控器114被配置为将检测到的距离信息传递给A/V接收器122的处理器110。在另一个实施例中，系统100可进一步包括相机以及用于基于由视频相机捕获的视频来确定观看者信息的软件。在另一个实施例中，可穿戴装置(例如，可穿戴触觉装置)包括一个或多个接近度传感器，其被配置为检测穿戴装置的观看者到A/V接收器122的距离，并将检测的距离信息传递给A/V接收器122的处理器110。在一些实施例中，系统100的可穿戴装置可包括配置为检测动作并将检测到的动作传递给A/V接收器122的处理器110的传感器(例如，加速计)。基于该信息，处理器110可以根据本领域技术人员公知的方法确定系统100的用户的移动。在另一个实施例中，系统100的可穿戴装置包括配置为检测穿戴者的计量生物学数据(例如心率或体温)的传感器。然后，系统100可以分析计量生物学数据，以确定观看者的压力等级和/或观看者对播放的多媒体内容的非自愿身体反应。
[0053]在另一个实施例中，一件家具(例如，触觉启用沙发124)包括检测系统100的一个或多个用户的存在和移动的传感器。例如，可将压力传感器放置在触觉启用沙发124的不同位置处，并将其配置为将检测到的压力传递给A/V接收器122的处理器110，根据本领域技术人员公知的方法，允许系统100检测用户是否以及怎样坐在沙发124上，以及基于由压力传感器检测到的压力的变化，检测用户的移动。此外，本公开考虑了本领域技术人员公知的全部传感器和方法，以检测系统100的用户的方位和/或移动。
[0054]补充信息
[0055]下面参考图2A至图2H讨论补充信息。为了本公开的目的，补充信息是与多媒体内容(例如，任何音频和/或视频信号、文件或任何其它形式的音频和/或视频数据)相对应的信息。在一些实施例中，补充信息一般描述多媒体内容，例如副标题数据、隐藏式字幕数据(可包括副标题数据)、脚本或元数据标签。在另一个实施例中，补充信息可以是来自观看者关于作为整体的视频或者可应用于多媒体内容的特定时间的视频的注释或评论(例如，在线视频网站的成员张贴的评论)。在不同的实施例中，补充信息可以采取很多形式，并且可包括其它类型的信息，例如标题或章节信息。补充信息经常连同它描述的多媒体内容被包括(嵌入)在单个多媒体文件中，其在不同的实施例中也可称为A/V文件、视频文件或首频文件。
[0056]图2A是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201。在本实施例中，多媒体文件201是包括多媒体内容202 (视频)和补充信息的视频文件，补充信息是以与多媒体内容202相对应的副标题/隐藏式字幕数据204的形式。在一个实施例中，副标题/隐藏式字幕数据204包括描述通过多媒体内容202视觉地描绘的场景和/或事件的文本、描述在多媒体内容202的音频中听见的声音的文本、和/或多媒体内容202的音频中可听见的语音的文本引述。
[0057]图2B是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201。在本实施例中，多媒体文件201是包括多媒体内容202 (视频)和补充信息的视频文件，补充信息是以与多媒体内容202相对应的标签208和脚本206的形式。用于多媒体内容的标签可包括标题、艺术家/作者、类型、长度数据、评级和/或描述多媒体内容的性质、内容或来源的任何其它数据(例如批评者或其它观看者的综述、电影中使用的歌曲列表)。一个公知的示例是ID3标签——经常连同MP3文件使用的源数据容器。在一个实施例中，通过多媒体内容的作者来限定标签数据。在另一个实施例中，通过多媒体内容的发布者来限定标签数据。还在另一个实施例中，通过多媒体内容的购买者和或接受者来限定标签数据。在一些这样的实施例中，通过作者、发布者和/或接受者产生标签。
[0058]图2C是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201。在本实施例中，多媒体文件201是包括多媒体内容202 (音频)和补充信息的音频文件，补充信息是以与多媒体内容202相对应的标签208的形式。
[0059]图2D是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201和补充信息文件210。在本实施例中，多媒体文件201是包括多媒体内容202 (视频)和补充信息的视频文件，补充信息是以与多媒体内容202相对应的标签208的形式。在本实施例中，补充信息文件210包括以与多媒体内容202相对应的副标题/隐藏式字幕数据204的形式的补充信息。在一个实施例中，补充信息文件210驻留在与多媒体文件201相同的存储器中(例如，存储器112)。在另一个实施例中，补充信息文件202可驻留在经由网络(例如互联网)通过系统100可以访问的远程服务器上。在一个实施例中，基于标签208中包含的信息(例如，电影名称、歌曲名称、识别代码或任何其它识别信息)，从远程服务器检索与多媒体文件201相对应的补充信息文件210。
[0060]图2E是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201和补充信息文件210。在本实施例中，多媒体文件201是包括多媒体内容202 (视频)和补充信息的视频文件，补充信息是以与多媒体内容202相对应的副标题/隐藏式字幕数据204的形式。在本实施例中，补充信息文件210包括是以与多媒体内容202相对应的标签数据208的形式的补充信息。在一个实施例中，补充信息文件210驻留在与多媒体文件201相同的存储器中(例如，存储器112)。在另一个实施例中，补充信息文件202可驻留在经由网络(例如互联网)通过系统100可以访问的远程服务器上。在一个实施例中，基于多媒体文件201中的信息(例如，元数据、文件名称)，从远程服务器检索与多媒体文件201相对应的补充信息文件210。
[0061]图2F是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201。在本实施例中，多媒体文件201是包括多媒体内容202 (视频)和补充信息的视频文件，补充信息是以与多媒体内容202相对应的章节数据212的形式。在一个实施例中，章节数据212包括多媒体内容202的章节标题以及每个章节开始的时间。
[0062]图2G是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201。在本实施例中，多媒体文件201是包括多媒体内容202 (视频)的视频文件。在本实施例中，补充信息文件210包括补充信息，补充信息是以与多媒体内容202相对应的用户评论214的形式。在一个实施例中，补充信息文件210驻留在与多媒体文件201相同的存储器中(例如，存储器112)。在另一个实施例中，补充信息文件202可驻留在经由网络(例如互联网)通过系统100可以访问的远程服务器上。在一个实施例中，基于多媒体文件201中的信息(例如，元数据、文件名称)，从远程服务器检索与多媒体文件201相对应的补充信息文件210。在一个实施例中，用户评论214是来自观看者关于作为整体的视频或者可应用于多媒体内容202的特定时间的视频的评论(例如，在线视频网站的成员张贴的评论)。
[0063]图2H是根据本公开一个实施例的多媒体数据的框图。在本实施例中，多媒体数据200包括多媒体文件201。在本实施例中，多媒体文件201是包括多媒体内容202 (视频)的视频文件。在本实施例中，补充信息文件210包括是以与多媒体内容202相对应的用户提供的触觉关键词/短语216的形式的补充信息。在一个实施例中，补充信息文件210驻留在与多媒体文件201相同的存储器中(例如，存储器112)。在另一个实施例中，补充信息文件202可驻留在经由网络(例如互联网)通过系统100可以访问的远程服务器上。在一个实施例中，基于多媒体文件201中的信息(例如，元数据、文件名称)，从远程服务器检索与多媒体文件201相对应的补充信息文件210。在一个实施例中，为了改善或校正为了多媒体内容202而产生的触觉轨道，通过网站的用户提供用户提供的触觉关键词/短语216。在一个实施例中，用户提供的触觉关键词/短语216应用于作为整体的多媒体内容202。在另一个实施例中，用户提供的触觉关键词/短语216应用于多媒体内容202的章节或部分。还在另一个实施例中，用户提供的触觉关键词/短语216应用于在多媒体内容202的回放期间的特殊时间点。
[0064]示例性系统的操作
[0065]图3是描述用于基于补充信息提供触觉效果的方法的示例性实施例的流程图。由图3的步骤304包含的图4是描述用于基于补充信息提供触觉效果的方法的示例性实施例的流程图。在一些实施例中，图3和图4中的步骤可以在通过处理器(例如，通用计算机、移动装置或服务器中的处理器)执行的程序代码中实现。在一些实施例中，这些步骤可以通过一组处理器实现，例如，移动装置上的处理器以及一个或多个通用计算机(例如服务器)上的处理器。为了帮助理解怎样执行每个步骤，在图1A和图1B所示系统100的示例性框图的上下文下提供以下描述。但是，可以在替代性实施例中实现根据本公开的实施例。
[0066]在步骤302处开始，系统100的处理器110接收多媒体数据200。在一个实施例中，多媒体数据200是驻留在存储器112中的多媒体文件201，并且响应于操作系统的操作(例如，向文件系统发出的打开/读取命令)接收多媒体数据200。在另一个实施例中，多媒体数据200可以通过网络接口 122，经由网络连接流传输，并在系统110处缓冲。本公开的实施例考虑本领域技术人员公知的全部网络连接(例如，W1-F1、以太网、有线调制解调器、无线调制解调器等等)以及流传输内容的源和方法，包括通过互联网来自任意数量服务器的流传输以及来自公司内部网或家庭网络内的服务器的流传输。在另一个实施例中，经由网络(例如互联网)下载多媒体数据200，并存储在存储器112中。
[0067]在一些实施例中，将多媒体内容202和补充信息422 (统称为“多媒体数据”)包含在单个文件或数据流中。但是，在其它实施例中，多媒体内容202和补充信息422是单独的文件。如上所述，在一个这样的实施例中，多媒体内容202和补充信息422驻留在不同的位置中。例如,在一个实施例中，多媒体内容202可以驻留在系统100的存储器112中，而对应的补充信息422可以驻留在网络(例如互联网)上可以访问的服务器中。在为了分析和/或回放而访问多媒体内容202时，系统100可以从服务器检索补充信息422，并将补充信息载入存储器112。在其它实施例中，多媒体内容202和补充信息422可以驻留在通过网络(例如互联网)可以访问的单独的服务器处。还在其它实施例中，多媒体内容202和补充信息422可以作为单独文件驻留在相同的服务器上。在一个这样的实施例中，系统100通过流传输的方式从服务器接收多媒体内容202，并从其驻留的服务器下载补充信息422。还在其它实施例中，多媒体文件201包括补充信息422，且对应的补充信息文件210包括附加的补充信息422。
[0068]在步骤304处，至少部分地基于补充信息422确定多媒体内容202的回放期间要输出的触觉效果。根据本公开，可以利用三种主要技术将补充信息422用于确定多媒体内容202的回放期间要输出的触觉效果:1)基于关键词和短语识别要输出的触觉效果；2)向用于自动触觉化音频和/或视频图像的算法/处理提供上下文信息；以及3)基于补充信息422识别触觉主题。在一个实施例中，这些技术的每一种都包括，通过将补充信息422中的单词和/或短语与映射到触觉效果识别信息、上下文识别信息和/或触觉主题信息的关键词和/或短语的一个或多个列表或数据库(下面称为“关键词数据库”)进行比较，分析补充信息422。在一个实施例中，列表或数据库可包含指示特定关键词和/或短语是否可以应用于全部类型的补充信息422 (例如，副标题/隐藏式字幕数据204、脚本206和/或标签208)或者其子集的信息。在另一个实施例中，使用可以应用于特定类型的补充信息422的关键词或短语的单独列表或数据库。例如，在一个实施例中，关于副标题/隐藏式字幕数据204以及脚本206使用关键词和/或短语的第一数据库，而关于标签208使用第二数据库。
[0069]基于关键词/短语识别预定的触觉效果
[0070]在一个实施例中，基于副标题/隐藏式字幕数据204或脚本206中呈现的关键词/短语来识别触觉效果。在一个这样的实施例中，在元素412处分析副标题/隐藏式字幕数据204。在一个实施例中，通过将单词和/或短语与关键词数据库进行比较来分析副标题/隐藏式字幕数据204和/或用户提供的触觉关键词/短语216。例如，在一个这样的实施例中，将副标题/隐藏式字幕数据204和/或用户提供的触觉关键词/短语216与关键词数据库进行比较揭示了每一个中都存在“爆炸”，并且揭示了将其映射到用于强烈振动触觉的触觉效果识别信息，该强烈振动触觉随时间消失，直到效果完成(模拟爆炸)。在另一个示例性实施例中，将副标题/隐藏式字幕数据204和/或用户评论214与关键词数据库进行比较揭示了每一个中都存在“枪击”，并且揭示了将其映射到用于强烈摇动触觉效果的触觉识别信息，该强烈摇动触觉效果的持续时间短，以模仿枪击。在另一个实施例中，副标题/隐藏式字幕数据204包括在不同场景的背景下播放的歌曲标题/类型——可以指示场景的性质或类型——并且，将歌曲标题/类型与关键词数据库进行比较揭示了为了映射到用于特定触觉效果的触觉识别信息的每个歌曲标题/类型(或者其子集)的映射。在一些实施例中，为了将场景的性质/类型传达给用户，选择这些触觉效果映射。本领域技术人员将认识到，可用于识别多媒体文件201的回放期间要输出的触觉效果的单词或短语不限于本公开所提供的示例，而是可以扩展到任意数量的单词或短语。
[0071]对于关键词数据库中找到的每个关键词或短语，处理器110从关键词数据库检索对应的触觉效果识别信息，并将其与对应于副标题/隐藏式字幕数据204中的单词或短语的时间戳相关联。在一些实施例中，处理器110在多媒体内容202的回放之前完整地分析补充信息422。在一个这样的实施例中，处理器110将触觉效果识别信息和对应的时间戳编辑为触觉轨道414，触觉轨道414被按照本领域技术人员公知的任何方式嵌入包括多媒体内容202的多媒体文件201中。在另一个实施例中，触觉轨道414作为独立于多媒体文件201的文件存储在存储器中(例如，存储器112)。在其它实施例中，特别是在处理器110通过流传输接收多媒体内容202的情况下，处理器110在多媒体内容的回放期间分析补充信息422，并将触觉效果识别信息(例如，一部分触觉轨道414)临时存储在存储器中(例如，存储器112)。在一个这样的实施例中，将多媒体内容202的回放延迟，以充分允许处理器执行补充信息422的分析，并在多媒体内容202的回放期间以适时的方式开始触觉效果的输出。
[0072]在一些实施例中，识别基于副标题/隐藏式字幕数据204和/或脚本数据206中出现的关键词识别的触觉效果的方法是采用的唯一技术。在这样的实施例中，图4的可应用元素是多媒体数据200、补充信息422、元素412和414，以及触觉轨道418。如同下面更详细讨论的，在一些实施例中，可以结合使用两种技术，并且还在其它实施例中，可以结合使用全部三种技术。
[0073]向自动触觉化算法提供上下文
[0074]在一些实施例中，为了分析多媒体内容202的音频轨道402和/或视频轨道404，以识别要输出的触觉效果，将补充信息422用于向自动触觉化算法提供上下文(例如向触觉算法406提供一个或多个音频，和/或向触觉算法408提供一个或多个视频)。在一个实施例中，基于补充信息422中关键词的出现，确定场景中的事件、场景的类型和或某些元素的出现。例如，在一个实施例中，在元素412处，处理器110在一个或多个关键词数据库中搜索与多媒体内容202相对应的补充信息422中包含的单词或短语。对于关键词数据库中找到的每个关键词或短语，处理器100检索上下文识别信息，将它与对应于补充信息422中的单词或短语的时间戳相关联，如果可用的话，就通过数据结构、函数调用、发消息或者本领域技术人员公知的任何其它手段，将其提供给一个或多个自动触觉化算法(406和或408)。例如，在一个这样的实施例中，将补充信息422中的单词“炸弹”映射到用于全部类型的爆炸的上下文识别信息，从而通知自动触觉化算法(406和/或408)寻找爆炸。在另一个示例性实施例中，嵌入多媒体内容202的标签208的类型字段中的单词“犯罪”或者标签208的评级字段中的单词“暴力”映射到用于指导自动触觉化算法(406和/或408)的上下文识别信息，以优先识别枪击、与汽车追逐有关的事件(例如，刺响的轮胎、碰撞)、和/或其它犯罪相关事件。在另一个示例性实施例中，补充信息422中的单词“萨克斯管”映射到用于指导自动触觉化算法(406和/或408)的上下文识别信息，以优先识别萨克斯管或类似乐器弹奏。在一些实施例中，可将检测到的关键词用于向用于多媒体内容202的子集(例如，用于电影的特殊场景或多个场景)的自动触觉化算法(406和/或408)提供上下文。通过优先处理在音频和/或视频中寻找哪些模式或事件，利用上下文信息培养自动算法有助于处理效率和准确性两者。因此，也改善了基于其事件的识别通过算法输出对应触觉效果的定时和准确性。本领域技术人员将认识到，可用于向自动触觉化算法提供上下文的单词或短语不限于本公开所提供的示例，而是可以扩展到关于多媒体内容202中出现哪些事件或元素可以提供线索的任何单词或短语。
[0075]在一些实施例中，处理器110在元素412处完整地分析补充信息422，以确定上下文识别信息，然后利用上下文识别信息执行自动触觉化算法406和/或408，处理音频轨道402和/或视频轨道404，以在多媒体内容202的回放之前，产生触觉轨道410。在一个这样的实施例中，按照本领域技术人员公知的任何方式，处理器110在通过自动触觉化算法(多个算法)产生的触觉轨道410中嵌入包括多媒体内容202的多媒体文件201。在另一个实施例中，将触觉轨道410作为独立于多媒体文件201的文件存储在存储器中(例如，存储器112)。在其它实施例中，特别是在处理器110通过流传输接收多媒体内容202的情况下，处理器110在多媒体内容的回放期间分析补充信息422，并执行自动触觉化算法(406和/或408)，如上所述，以及将产生的部分的触觉轨道410临时存储在存储器中(例如，存储器112)。在一个这样的实施例中，为了及时产生部分的触觉轨道410，以在多媒体内容202的回放期间以适时的方式开始触觉效果的输出，将多媒体内容202的回放延迟，以充分允许处理器110进行补充信息422的分析以及自动触觉化算法(多个算法)(406和/或408)的执行，如上所述。
[0076]在一些实施例中，将从补充信息422得出的上下文信息用于避免触觉化或者减弱与不希望触觉化的某些事件相对应的触觉效果的强度。例如，在一些实施例中，将副标题/隐藏式字幕数据204中“笑声”的出现用于通知一个或多个自动触觉化算法(406和/或408)寻找笑或轻笑，并避免导致为该事件输出触觉效果。类似地，在另一个实施例中，将副标题/隐藏式字幕数据204中“音乐”的出现用于通知一个或多个自动触觉化算法(406和/或408)寻找各种乐器的弹奏和/或歌唱，并避免导致对应触觉效果的输出。在另一个实施例中，将标签208中歌曲的列表用于通知自动触觉化算法406寻找并避免将所列歌曲的回放触觉化。
[0077]在一些实施例中，分析补充信息422，向一个或多个自动触觉化算法(406和/或408)提供上下文识别信息的方法是采用的唯一技术。在这样的实施例中，图4的可应用元素是多媒体数据200 (包括音频轨道402和/或视频轨道404)、补充信息422、一个或多个自动触觉化算法(406和/或408)、元素412以及触觉轨道410。
[0078]在一些实施例中，采用直接基于关键词识别要输出的触觉效果的技术以及将从补充信息422得出的上下文信息提供给自动触觉化算法(406和/或408)以自动产生触觉轨道的技术这两者。在一个这样的实施例中，处理器110将自动产生的触觉轨道410与触觉轨道414组合，产生组合的触觉轨道418。在一个这样的实施例中，处理器110操作，将从触觉轨道414直接得出的触觉效果插入触觉轨道410，如果必要的话，将冲突的自动产生的触觉效果从自动产生的触觉轨道410消除，从而得到组合的触觉轨道418。
[0079]触觉丰是页
[0080]在一些实施例中，补充信息422用于确定要应用于多媒体内容202的回放期间输出的触觉效果的触觉主题，或者要应用于某个场景或者一部分场景的触觉主题。例如，在一个实施例中，处理器110在元素412处，在一个或多个关键词数据库中搜索用于多媒体内容202的补充信息422中包含的单词或短语。对于关键词数据库中找到的每个关键词或短语，处理器110从关键词数据库中检索触觉主题信息，并将其与多媒体内容的整体或特殊场景相关联，从而产生要应用的一个或多个触觉主题416。例如，在一个实施例中，将标签208的类型字段与关键词数据库进行比较揭示了在每一个中出现“行动”，并且它被映射到触觉主题信息，该触觉主题信息指示，在视频的回放期间输出的触觉效果的整体强度或库(library)增加到超过默认等级。在另一个示例性实施例中，将脚本206与关键词数据库进行比较揭示了在每一个中出现短语“我爱你”，并且它被映射到触觉主题信息，该触觉主题信息指示，在视频的回放期间输出的触觉效果的整体强度减少到低于默认等级。在另一个实施例中，将章节数据212与关键词数据库进行比较揭示了在章节I的标题以及关键词数据库中出现了短语“庆祝”，并且它被映射到触觉主题信息，该触觉主题信息指示，在视频的回放期间输出的触觉效果的整体强度增加到略高于多媒体内容202的章节I的回放期间的默认等级。在一个实施例中，将识别的触觉主题416应用于组合的触觉轨道418，以产生最终的触觉轨道420。在其它实施例中，可将一个或多个识别的触觉主题416应用于仅利用上述两种技术的其中一个产生的触觉轨道。在这样的实施例中，将一个或多个识别的触觉主题416应用于触觉轨道414或触觉轨道410，以产生最终的触觉轨道420。在一个实施例中，处理器110按照本领域技术人员公知的任何方式，将最终的触觉轨道420嵌入包括多媒体内容202的多媒体数据200。在另一个实施例中，将触觉轨道420作为独立于多媒体文件201的文件存储在存储器中(例如，存储器112)。在一些涉及流传输的实施例中，在触觉轨道的部分产生时将识别的触觉主题416应用于它们。
[0081]根据本公开的触觉主题416的识别和应用帮助自动触觉化算法(406和/或408)向多媒体内容提供更准确调整的触觉效果。但是，在一些实施例中，在识别的触觉主题上，可以优先处理某些关键词。例如，在一个实施例中，可将基于多媒体文件的隐藏式字幕信息中“爆炸”的出现输出的触觉效果的强度增加为超过默认强度，从而覆盖基于多媒体内容中嵌入的元数据标签的类型字段中“浪漫剧”的出现，减轻触觉效果强度的触觉主题的应用。本领域技术人员将认识到，可用于确定适当触觉主题的单词或短语不限于本公开提供的示例，而是可以扩展到关于多媒体内容中出现哪些事件或元素可以提供线索的任何单词或短语。
[0082]上述基于补充信息422确定触觉效果的前两种技术可以单独使用，也可以组合使用，同时，可以结合前两种技术的任一个或全部来使用采用触觉主题的技术，或也可以结合识别多媒体内容422的回放期间要输出的触觉效果的任何其它技术来使用采用触觉主题的技术。例如，在一个实施例中，补充信息422 —般性地用于将上下文提供给对音频和/或视频轨道采用模式识别技术的自动触觉化算法(406和/或408)，但是对于隐藏式字幕数据中出现的一小组关键词而言，使得仅基于补充信息中这些关键词的出现来输出特定触觉效果O
[0083]在步骤306处，在多媒体内容202的回放期间输出触觉效果。在一个实施例中，上述步骤中产生的触觉轨道(例如，410、414、418或420)包括限定要通过触觉输出装置118输出的触觉效果的数据结构。在另一个实施例中，触觉轨道(例如，410、414、418或420)包含触觉效果代码，并且处理器110利用触觉效果代码，在存储器112中存储的触觉效果数据库中查找限定触觉效果的数据结构。在这样的实施例中，处理器110基于这种数据结构中的触觉效果限定，传输信号驱动触觉输出装置118。在另一个实施例中，合并一个或多个触觉输出装置118的触觉附件(例如，触觉家具、可穿戴触觉装置)包括处理器和存储器，存储器包括将触觉效果识别代码映射到限定触觉效果的数据结构的数据库。在一个这样的实施例中，处理器110将触觉效果代码传输给触觉附件的处理器，然后该处理器利用触觉效果代码查找限定触觉效果的数据结构，并基于这种数据结构中的触觉效果限定，传输信号驱动触觉输出装置118。
[0084]评论性音频轨道
[0085]在一些情况下，电影、纪录片和其它视频内容具有关联的评论性音频轨道，其可以与其中导演、演员和/或其它人讨论视频的视频同时播放。在本公开的一个实施例中，评论性音频轨道是另一种类型的补充信息422，可以基于它确定触觉轨道420。在一个这样的实施例中，关联的评论性音频轨道有它自己的副标题/隐藏式字幕信息，其用于确定要按照类似于上述对于副标题/隐藏式字幕数据204的方式提供的触觉效果。在另一个实施例中，用于评论性音频轨道的副标题/隐藏式字幕数据不可用，并且系统100按照本领域技术人员公知的任何方式处理评论性音频轨道，以产生评论性音频轨道的文本形式，然后用于确定要按照类似于上述对于副标题/隐藏式字幕数据204的方式提供的触觉效果。
[0086]基于补充信息提供触觉效果的高级方法
[0087]除了上面提出的本公开的实施例一般性描述了将关键词或短语与识别预定触觉效果的补充信息422匹配，以将上下文提供给自动触觉化算法，和/或识别要应用的一个或多个触觉主题之外，可以结合或者独立于上述方法使用附加技术，提高产生的触觉轨道420的准确性。在一个实施例中，如果在对应于多媒体内容202的音频的可听见语音的文本引述中，出现副标题/隐藏式字幕数据204中的关键词/短语，则忽略在元素412处它的出现，但是如以上部分所述，如果它出现在描述通过多媒体内容202视觉地描绘的事件的文本中，则依靠它来识别预定的触觉效果，向自动触觉化算法提供上下文，和/或识别触觉主题。例如，在一个实施例中，忽略副标题/隐藏式字幕数据204的文本引述中单词“爆炸”的出现，因为在某人谈论单词“爆炸”的时候不太可能出现爆炸。但是如果在描述多媒体内容202的场景或事件的副标题/隐藏式字幕数据204的文本中出现“爆炸”，则如以上部分所述，将其出现用于识别预定的触觉效果，向自动触觉化算法提供上下文，和/或识别触觉主题。可以按照本领域技术人员公知的任何方式，确定是忽略或依靠这里所述补充信息422的任何类型中关键词/短语的出现。例如，上述关键词/短语的数据库可以指定对于补充信息422的某些类型和/或子类型(例如，副标题/隐藏式字幕数据204的文本引述和文本描述)忽略某些关键词/短语的出现，以及对于补充信息422的某些类型和/或子类型，何时依靠某些关键词/短语的出现。
[0088]在另一个实施例中，可以基于其中发现关键词/短语的补充信息422的类型或子类型将补充信息422中的关键词/短语的出现进行加权。在一个实施例中，通过处理器110使用加权，在上述处理导致要同时输出多个触觉效果时，相对于另一个触觉效果优先处理将一个触觉效果插入触觉轨道414，或者及时关闭，使得触觉效果会重叠并干扰另一个。例如，在一个实施例中，将副标题/隐藏式字幕数据204的文本引述中“炸弹”的出现给予低加权，将副标题/隐藏式字幕数据204的场景/事件的文本描述中“欢呼”的出现给予高加权。在一个这样的实施例中，补充信息422包括副标题/隐藏式字幕数据204,其包含文本描述“人群欢呼”以及在副标题/隐藏式字幕数据204中同时包含文本引述“Dan Marino扔出炸弹；触地得分Dolphins ! ”。处理器110如上所述操作，识别预定的触觉效果，向自动触觉化算法提供上下文，和/或基于“炸弹”和“欢呼”的出现识别触觉主题，但是基于其具有更高的加权，优先处理副标题/隐藏式字幕数据204中的文本描述中与“欢呼”相关联的触觉效果、上下文和/或触觉主题。可以通过本领域技术人员公知的任何方式确定分配给这里描述的补充信息422的任何类型中关键词/短语的出现的加权。例如，上述关键词/短语的数据库可以为某些类型的某些关键词/短语和/或补充信息422的子类型(例如，副标题/隐藏式字幕数据204的文本描述和文本引述)指定加权。
[0089]在另一个实施例中，通过处理器110使用公知的自然语言分析技术，以改善触觉轨道420与多媒体内容202的事件的关联性。例如，在一个实施例中，将用于自然语言分析的公知算法用于解释副标题/隐藏式字幕数据204中的短语，通过考虑短语的语法和语义，以更高的准确性确定实际含义。例如，处理器110应用自然语言分析技术分析副标题/隐藏式字幕数据204中的短语“没有炸弹”，并且在理解短语的真实含义的情况下，确定不应当将“炸弹”的出现与关键词和短语的数据库进行比较，以识别与“炸弹”相对应的预定触觉效果。但是，处理器110可以确定，关于副标题/隐藏式字幕数据204中“炸弹”的讨论的出现是多媒体内容的类型的指示，例如战争或行动，并选择适当的触觉主题。在另一个实施例中，处理器110应用自然语言分析技术分析副标题/隐藏式字幕数据204中的短语“炸弹将爆炸，3，2，L...”，并且在识别出短语中倒计时的情况下，操作在准确的时间将对应于“炸弹”的预定触觉效果插入触觉轨道420，或者基于短语在准确的时间内向自动触觉化算法(406和/或408)提供上下文识别信息。上述仅仅是使用自然语言分析技术分析补充信息422的少数示例。在本公开的上下文中，本领域技术人员将认识到使用自然语言分析技术的多种应用。
[0090]在一些示例中，匹配补充信息422中的关键词或短语以识别预定的触觉效果，向自动触觉化算法提供上下文，和/或识别要应用的一个或多个触觉主题可能由于在特定语言中某些单词或短语有多种可能的含义而出现不准确的问题。在一个实施例中，副标题/隐藏式字幕数据204包括多种语言的副标题和/或隐藏式字幕信息(例如，英语、西班牙语和法语)，并且在第一语言(例如，英语)中单词/短语的这种不明确通过分析一种或多种其它可用语言(例如，西班牙语、法语)中的单词/短语得到解决，其中在一种其它语言中的单词/短语一般有一个公认的含义。在一个实施例中，这种解疑方法可通过在用于该语言的关键词数据库(多个数据库)中将每种语言的不明确单词/短语标示为不明确来实现。在一个这样的实施例中，在确定关键词数据库指示语言中的单词/短语不明确时，系统100将分析第二语言中的对应单词/短语，以尝试解决不明确的问题。例如，在一个实施例中，副标题/隐藏式字幕数据204包括英语、法语和西班牙语隐藏式字幕。在该实施例中，处理器110将英语隐藏式字幕文本与关键词数据库进行比较，并发现隐藏式字幕文本和关键词数据库中出现单词“tie”，但是被标示为不明确单词。基于“tie”被标示为不明确，为了确定其含义，处理器110分析“tie”所出现的多媒体内容202中相同时间戳附近的法语隐藏式字幕文本。在一个实施例中，该分析包括寻找“tie”的各种含义的法语同义词，一旦在法语隐藏式字幕中被识别，就指示单词“tie”的哪个含义正确。例如，分析可以识别法语单词“cravate”，其表示领带，或者法语单词“match nul ”，其表示平局游戏。一旦完成“tie”的解疑，就可以使用上述方法识别预定的触觉效果，向自动触觉化算法提供上下文，和/或识别要应用的一个或多个触觉主题。例如，基于“match nul”的出现，可以应用适合于体育事件的触觉主题。本领域技术人员将认识到，这只是多种可能的示例中的一个。
[0091]触觉轨道的远程产生
[0092]虽然上面提出的本公开的实施例一般性描述了系统100的处理器110进行多媒体内容202和对应的补充信息422的分析，以产生触觉轨道(例如，410、414、418或420)，但是在其它实施例中，可通过经由网络(例如互联网)与处理器110通信的另一个计算机或服务器来进行触觉轨道(例如，410、414、418或420)的产生和分析。在一个这样的实施例中，远程计算机或服务器将触觉轨道(例如，410、414、418或420)嵌入多媒体文件201。然后，系统100的处理器110下载包含触觉轨道的多媒体文件201，并且在与图3的步骤306相关地如上所述播放多媒体内容202时输出触觉效果。在另一个实施例中，远程计算机将触觉轨道(例如，410、414、418或420)作为独立于多媒体文件201的文件在本地存储于远程计算机的存储器中。在另一个实施例中，远程计算机将触觉轨道(例如，410、414、418或420)传输给其中将其作为独立于多媒体文件201的文件存储的第二远程计算机。在这样的实施例中，系统100的处理器110从存储触觉轨道(例如，410、414、418或420)的远程计算机下载触觉轨道，并且在与图3的步骤306相关地如上所述播放对应于触觉轨道的多媒体内容202时输出触觉效果。
[0093]触觉轨道的预产生
[0094]虽然上述本公开的实施例一般性描述了在用户播放多媒体内容时产生触觉轨道，但是在其它实施例中，将多媒体内容下载到系统100时，但是在回放之前，根据本公开产生触觉轨道。在另一个实施例中，在使得内容可用之前，通过多媒体内容的产生器或分布器，根据本公开产生触觉轨道。
[0095]基于观看者信息提供触觉效果
[0096]虽然上述本公开的实施例描述了基于用于多媒体内容202的补充信息422提供触觉效果，但是在其它实施例中，产生的触觉轨道420还基于观看者位置、姿势、反应以及在元素412处分析的生物性特征(用附加信息424表示)。对于系统100，可以利用上述一个或多个传感器确定观看者信息。
[0097]在一个实施例中，基于观看者对于用于多媒体内容202的回放的输出源(例如，系统100的A/V接收器122、显示器116和/或扬声器120)的接近度，确定调制触觉效果的输出等级的触觉主题是高于或低于默认等级。例如，在一个实施例中，如果观看者的接近度大约距离用于多媒体内容的回放的输出源10英尺，则不选择触觉主题。但是，如果到输出源的观看者的接近度大约9英尺，则选择指定超过默认等级的用于触觉效果的输出等级的触觉主题。当到输出源的观看者的接近度变得越小时，通过选择的触觉主题指定的触觉效果的输出等级的调制越大。另一方面，如果到输出源的观看者的接近度大约9英尺，则选择指定用于触觉效果的输出等级低于默认等级的触觉主题。并且，当到输出源的观看者的接近度增加时，通过选择的触觉主题指定的触觉效果的输出等级的调制更小。
[0098]在类似的实施例中，基于观看者到用于多媒体内容202的回放的输出源(例如，系统100的显示器116)的观看角度，确定调制触觉效果的输出等级的触觉主题是高于或低于默认等级。例如，在一个实施例中，如果观看者对于用于多媒体内容的回放的输出源的观看角度大约是90度(正前方)，则根据触觉轨道420，以它们的最大等级输出触觉效果。但是，当到输出源的观看者的观看角度移动到接近零度时，将通过触觉轨道420指定的触觉效果调制为更低的输出等级。
[0099]在另一个实施例中，将观看者的位置、姿势和或移动用于确定触觉主题。例如，在一个实施例中，基于闭上他/她眼睛的观看者来选择用于恐怖片或动作片的触觉主题。在另一个实施例中，基于以放松的方式和微笑彼此紧坐的情侣选择用于浪漫剧的触觉主题。
[0100]在另一个实施例中，将观看者的生物计量学信息用于选择主题。例如，在一个实施例中，基于具有心率增加(指示压力和/或兴奋)的观看者选择对应于动作片的触觉主题。在另一个实施例中，在观看者的心率指示观看者放松的情况下，选择将触觉效果调制为更低等级的触觉主题。
[0101]视频游戏
[0102]在一个实施例中，多媒体内容202包括视频游戏播放期间输出的音频和/或视频。例如，在一个实施例中，视频游戏包括以视频序列的形式的多媒体内容202和补充信息422，补充信息422包括关于包括视频的多媒体内容在上面讨论的任何类型(例如，对应于视频序列的副标题/隐藏式字幕数据204)。因此，将上面讨论的基于补充信息422提供触觉效果的实施例也应用于视频游戏。但是，在其它实施例中，其它信息(由附加信息424表示)可以单独使用，也可以与上述实施例中讨论的补充信息422—起使用，以识别要输出的触觉效果。
[0103]在一个实施例中，系统100被配置为执行视频游戏程序，并提供视频游戏程序可调用的应用程序接口，以开始音频文件的回放(“音频API”)。在一个这样的实施例中，将通过音频API回放所请求的音频文件(“文件名数据”)的文本标识符(例如，文件名)提供给音频API。在一个实施例中，系统100在元素412处可以分析文件名数据，以I)基于关键词识别要输出的触觉效果；2)将上下文信息提供给用于自动触觉化音频和/或视频图像的算法/处理；以及3)按照与对于补充信息422的各种类型如上所述的类似方式识别触觉主题。例如，在一个实施例中，通过比较文件名数据中的单词与元素412处的关键词数据库，分析文件名数据。在一个这样的实施例中，文件名数据包括文本“ thunder, mp3”，并且比较“thunder”与关键词数据库揭示了，其中出现了 “thunder”，并且它被映射到用于强烈脉动振动触觉(模拟打雷)的触觉效果识别信息。在另一个示例性实施例中，文件名数据包括文本“scream, mp3”，并且比较“scream”与关键词数据库揭示了，其中出现了“scream”，并且它被映射到用于指导自动触觉化算法(406和/或408)优先处理惊叫、尖叫以及通常与可怕场景相关联的其它声音的识别的上下文识别信息。在另一个实施例中，比较“scream” (来自“scream, mp3” )与关键词数据库揭示了，“scream”在每一个中都出现，并且它被映射到触觉主题信息，该触觉主题信息指示，对于可怕视频序列，在视频的回放期间输出的触觉效果的整体强度或库视情况增加到超过默认等级。
[0104]在另一个实施例中，系统100提供视频游戏程序可以调用的应用程序接口，使得视频游戏期间在屏幕上显示的文本被输出为音频(“文本至语音API”)。在一个这样的实施例中，将屏幕上显示的文本(例如，视频游戏场景中显示的指令、标记或其它文本、漫画风格的动作指示符，例如“BAM”和“THWACK”)提供给文本至语音API。在一个实施例中，系统100可以在元素412处分析所显示的，以I)基于关键词识别要输出的触觉效果；2)将上下文信息提供给用于自动触觉化音频和/或视频图像的算法/处理；以及3)基于与对于补充信息422 (例如，副标题/隐藏式字幕数据204)的各种类型如上所述的类似方式识别触觉主题。
[0105]概要
[0106]本发明的一些实施例的以上描述仅为了说明和描述的目的而提出，并非要穷尽或者将本发明限制于公开的准确形式。在不脱离本发明精神和范围的情况下，对于本领域技术人员而言，很多修改和其改编显而易见。
[0107]这里参考“一个实施例”或“一实施例”表示可将结合实施例描述的特定特征、结构、操作或其它特性被包括在本发明的至少一个实施方式中。本发明不因此限制于所述的特定实施例。说明书中不同位置的短语“在一个实施例中”或“在一实施例中”的出现不一定参考相同的实施例。关于“一个实施例”在本说明书中描述的任何特定特征、结构、操作或其它特性可以与关于任何其它实施例描述的其它特征、结构、操作或其它特性组合。
【权利要求】
1.一种方法，包括: 接收包括多媒体内容和补充数据的多媒体数据，其中，所述补充数据描述所述多媒体内容； 至少部分地基于所述补充数据确定触觉效果；以及 在播放所述多媒体内容时输出所述触觉效果。
2.根据权利要求1所述的方法，其中，所述补充数据包括隐藏式字幕数据。
3.根据权利要求1所述的方法，其中，所述补充数据包括副标题信息。
4.根据权利要求1所述的方法，其中，所述补充数据包括脚本。
5.根据权利要求1所述的方法，其中，所述补充数据包括标签数据。
6.根据权利要求1所述的方法，其中，至少部分地基于所述补充数据确定所述触觉效果包括:基于所述多媒体内容和所述补充数据确定触觉效果。
7.根据权利要求1所述的方法，其中，至少部分地基于所述补充数据确定所述触觉效果包括: 至少部分地基于所述补充数据确定触觉主题；以及 基于所述补充数据和所述触觉主题确定触觉效果。
8.一种包括软件程序代码的计算机可读介质，通过处理器可执行所述软件程序代码以: 接收包括多媒体内容和补充数据的多媒体数据，其中，所述补充数据描述所述多媒体内容； 至少部分地基于所述补充数据确定触觉效果；以及 在播放所述多媒体内容时输出所述触觉效果。
9.根据权利要求8所述的计算机可读介质，其中，所述补充数据包括隐藏式字幕数据。
10.根据权利要求8所述的计算机可读介质，其中，所述补充数据包括副标题信息。
11.根据权利要求8所述的计算机可读介质，其中，所述补充数据包括脚本。
12.根据权利要求8所述的计算机可读介质，其中，所述补充数据包括标签数据。
13.根据权利要求8所述的计算机可读介质，其中，基于的确定[gl]所述触觉效果包括:基于所述多媒体内容和所述补充数据确定触觉效果。
14.根据权利要求8所述的计算机可读介质，其中，至少部分地基于所述补充数据确定所述触觉效果包括: 至少部分地基于所述补充数据确定触觉主题；以及 基于所述补充数据和所述触觉主题确定触觉效果。
15.—种系统,包括: 处理器；以及 存储器，所述存储器与所述处理器通信，所述存储器包括计算机程序代码，通过所述处理器可执行所述计算机程序代码以: 接收包括多媒体内容和补充数据的多媒体数据，其中，所述补充数据描述所述多媒体内容； 至少部分地基于所述补充数据确定触觉效果；以及 在播放所述多媒体内容时输出所述触觉效果。
16.根据权利要求15所述的系统，其中，所述补充数据包括隐藏式字幕数据。
17.根据权利要求15所述的系统，其中，所述补充数据包括副标题信息。
18.根据权利要求15所述的系统，其中，所述补充数据包括脚本。
19.根据权利要求15所述的系统，其中，所述补充数据包括标签数据。
20.根据权利要求15所述的系统，其中，至少部分地基于所述补充数据确定所述触觉效果包括:基于所述多媒体内容和所述补充数据确定触觉效果。
21.根据权利要求15所述的系统，其中，至少部分地基于所述补充数据确定所述触觉效果包括: 至少部分地基于所述补充数据确定触觉主题；以及 基于所述补充数据和所述触觉主题确定触觉效果。
【文档编号】H04N21/422GK104427390SQ201410452996
【公开日】2015年3月18日 申请日期:2014年9月5日 优先权日:2013年9月6日
【发明者】文森特·莱韦斯克, 阿利·莫达雷斯, 君·曼扭尔·克鲁斯-赫南德斯, 贾迈勒·沙博恩 申请人:意美森公司