自动化的触觉效果伴随的制作方法
【专利摘要】本申请涉及自动化的触觉效果伴随。一种在设备上播放媒体的方法，包括：启动音频/视频(“A/V”)媒体在设备上的播放，然后辨认A/V媒体。所述方法还包括选择与所辨认出的A/V媒体相对应的预定义的触觉轨道，以及与A/V的播放同步地播放所选择的预定义的触觉轨道，其中对所选择的预定义的触觉轨道的播放在设备上产生触觉效果。
【专利说明】
自动化的触觉效果伴随
技术领域
[0001]一个实施例通常涉及触觉效果，并且具体地涉及对音频和/或视频的自动化的触觉效果伴随。
【背景技术】
[0002]电子设备制造商力争为用户生产丰富的接口。常规的设备使用视觉和听觉提示向用户提供反馈。在一些接口设备中，动觉反馈(诸如主动力反馈和阻力反馈)和/或触感反馈(诸如振动、纹理和热)也被提供给用户，它们更通常地被统称为“触觉反馈”或“触觉效果”。触觉反馈可以提供增强和简化用户接口的提示。具体地说，在向电子设备的用户提供提示以提醒用户注意特定的事件、或提供逼真的反馈以在模拟或虚拟的环境内建立更大的感官沉浸中，振动效果或振动触感触觉效果可以是有用的。
[0003]诸如智能电话和平板计算机之类的日益增多的设备包括用于产生触觉效果的硬件，诸如致动器。特别地，触觉效果可以增强音频和/或音频/视频在这些设备上的观看。例如，对音频/视频轨道的触觉效果伴随可以允许观看者能够“感觉”汽车中咆哮的引擎、爆炸、碰撞、以及日光闪烁的感觉。
【发明内容】
[0004]—个实施例是一种在设备上播放媒体的方法。所述方法包括启动音频/视频(“A/V”)媒体在设备上的播放，然后辨认所述A/V媒体。所述方法还包括选择与所辨认出的A/V媒体相对应的预定义的触觉轨道，以及与所述A/V的播放同步地播放所选择的预定义的触觉轨道，其中对所选择的预定义的触觉轨道的播放在设备上产生触觉效果。
【附图说明】
[0005]图1是根据本发明的一个实施例的触觉使能的系统/设备的框图。
[0006]图2是根据本发明的一个实施例的、包括图1中的系统和其他网络元件的概览图。
[0007]图3是根据本发明的实施例的、图1中的系统的功能的流程图。
【具体实施方式】
[0008]实施例允许对正在播放或可以在设备上播放的音频/视频轨道的自动的识别和辨认。基于这种辨认，对应的触觉效果轨道被选择并且被检索，并且然后在音频/视频轨道的播放期间，在触觉输出设备上被播放。作为结果，用触觉效果自动地增强音频/视频的回放。
[0009]图1是根据本发明的一个实施例的触觉使能系统/设备10的框图。系统10包括触摸敏感表面11或安装在壳体15内的其他类型的用户接口，并且可以包括机械键/按钮13ο
[0010]触觉反馈系统在系统10的内部，其在系统10上产生触觉效果，并且包括处理器或控制器12。耦接到处理器12的是存储器20以及致动器驱动电路16，所述致动器驱动电路16耦接到致动器18。处理器12可以是任何类型的通用处理器，或可以是专为提供触觉效果而设计的处理器，诸如专用集成电路(“ASIC”)。处理器12可以是操作整个系统10的相同的处理器，或可以是单独的处理器。处理器12可以基于高级别参数决定要播放什么触觉效果，以及所述效果被播放的顺序。通常来说，限定特定的触觉效果的高级别参数包括幅值、频率和持续时间。诸如流电机命令(streaming motor command)之类的低级别参数也可以被用于确定特定的触觉效果。如果触觉效果包括当触觉效果被产生时这些参数的某种变化、或包括基于用户交互的这些参数的变化，则触觉效果可以被认为是“动态的”。在一个实施例中的触觉反馈系统在系统10上产生振动26，27或其他类型的触觉效果。
[0011]处理器12将控制信号输出到致动器驱动电路16，致动器驱动电路16包括用于向致动器18供应所需要的电流和电压(即，“电机信号”)以引起所期望的触觉效果的电子组件和电路。系统10可以包括多于一个的致动器18，并且每个致动器可以包括单独的驱动电路16，所述驱动电路16全部耦接到共同的处理器12。
[0012]存储器20可以是任何类型的存储设备或计算机可读介质，诸如随机存取存储器(“RAM”)或只读存储器(“ROM”)。存储器20存储由处理器20执行的指令。在所述指令当中，存储器20包括触觉效果伴随模块22，触觉效果伴随模块22是在被处理器12执行时，自动地选择和产生伴随音频或音频/视频媒体的触觉效果的指令，如下面更详细地公开。存储器20还可以位于处理器12的内部，或可以是内部和外部存储器的任何组合。
[0013]系统10可以是任何类型的手持式/移动设备，诸如蜂窝电话机、个人数字助理(“PDA”)、智能电话、计算机平板、游戏控制台、遥控器、或包括包含一个或多个致动器或任何其他类型的触觉输出设备的触觉效果系统的任何其他类型的设备。系统10还包括能够播放视频(带有音频)或仅仅播放音频的音频/视觉系统(未示出)。系统10可以是可穿戴设备，诸如手环、头带、眼镜、戒指、腿带、集成到服装中的阵列等，或用户可以将其穿戴在身体上或其可以被用户持有、并且是触觉使能的任何其他类型的设备，包括装置(furniture)、游戏控制器、或车辆方向盘。另外，系统10的元件或功能中的一些可以被置于远处，或可以由与系统10的剩余元件通信的另一个设备实施。
[0014]除了或代替致动器18，系统10可以包括其他类型的触觉输出设备(未示出)，其可以是诸如使用静电摩擦(“ESF”)、超声表面摩擦(“USF”)的设备，用超声触觉换能器引起声辐射压力的设备，使用触觉衬底和柔性或可变形的表面或形状改变的设备并且可以附接到用户身体的设备，提供诸如使用空气喷射的诸如吹气之类的投射触觉输出的设备之类的非机械或非振动设备。
[0015]图2是根据本发明的一个实施例的、包括图1中的系统10和其他网络元件的概览图。系统10通过互联网202、或通过任何其他通信方法，耦接到音频/视觉(“A/V”)媒体服务器204，以及触觉伴随服务器206。另外，媒体服务器204和触觉服务器206可以在系统10本地，或服务器204和206的功能可以由系统10自身提供。与触觉伴随服务器206相关联的是媒体识别器35。媒体识别器35 “观察” A/V媒体回放或其他A/V媒体特性，并且唯一地辨认A/v媒体，并且联合下面被描述的媒体收听器32，发现/选择/确定对应于所辨认出的媒体的触觉效果媒体/轨道。
[0016]系统10，如图2中的实施例所示，包括A/V播放器31、媒体收听器32以及触觉播放器33。A/V播放器31在系统10上播放音频和/或视频媒体。触觉播放器33在系统10上播放触觉效果，并且包括图1中的致动器驱动电路16和致动器18，或在其他实施例中的任何类型的触觉输出设备。媒体收听器32与媒体识别器35通信或以其他方式使用媒体识别器35，并且由媒体收听器32自身或联合媒体识别器35，提供对触觉媒体和A/V媒体之间的文件关联的自动生成。相反地，现有技术的解决方案需要在系统中的诸如元数据之类的、明确地告知回放系统对应的触觉轨道位于何处的明确的关联元素。
[0017]通常地，媒体收听器32通过使用某种类型的A/V识别数据自动地将预存在或预定义的触觉轨道匹配到A/V媒体，起到“媒介(matchmaker) ”的作用。媒体识别器35可以接收A/V识别数据，并且进而产生A/V媒体的身份标识。在一个实施例中，起到A/V识别数据的作用的媒体识别器35的输入是A/V媒体自身的内容，其可以是音频和视频的某种组合、或仅仅为视频、或仅仅为音频，并且被用于唯一地辨认A/V媒体。在这个实施例中的音频和视频输入是原始内容，因为它没有被修改以辅助针对触觉匹配的识别，诸如通过添加元数据。
[0018]在另一个实施例中，A/V媒体周围的辨认信息，而不是A/V媒体自身，被用于通过媒体识别器35唯一地辨认A/V媒体，并且起到A/V识别数据的作用。辨认信息可以包括例如，文件名称、统一资源定位符(“URL”)、MPEG-4元数据等。如上所述，在一个实施例中的A/V媒体和辨认信息没有被修改以辅助针对触觉匹配的识别。
[0019]在另一个实施例中，A/V媒体被重新编码、或被转换编码以将人可察觉或人不可察觉的音频和/或视频水印或签名注入A/V媒体以便辅助针对触觉匹配的识别，并且起到A/V识别数据的作用。因此，在媒体被存储在媒体服务器上以用于之后的流式传输(streaming)或下载之前，对媒体的原始状态稍微进行修改。
[0020]在另一个实施例中，A/V媒体被重新编码、被转换编码、或以其他方式被修改以将元数据注入A/V媒体以便辅助针对触觉匹配的识别，并且起到A/V识别数据的作用。因此，在媒体被存储在媒体服务器上以用于之后的流式传输或下载之前，对媒体的原始状态稍微进行修改。
[0021]在一个实施例中，在系统10的操作期间，在A/V识别数据正被传递到诸如媒体服务器204之类的媒体播放器系统、或正从诸如媒体服务器204之类的媒体播放器系统中输出时，媒体收听器32监测A/V识别数据。可以由系统10的用户通过例如选择存储在媒体服务器204上的、要经由互联网202流式传输并且由A/V播放器31播放的YouTube视频，来请求A/V媒体。另外，在一个实施例中，媒体收听器32可以预处理A/V媒体以便生成A/V识别数据。
[0022]在一个实施例中，媒体收听器32可以将A/V识别数据连续地传送到媒体识别器35，或媒体收听器32可以具有鉴别在什么时候有必要传输A/V识别数据的能力。这将导致A/V识别数据为连续的数据流、或偶尔不连续的数据流、或某离散数量的数据分组。
[0023]媒体识别器35使用A/V识别数据试图将数据匹配到可能在存储在服务器206上的预定义的触觉轨道的较大集合当中的一个现有的触觉媒体或触觉轨道。媒体识别器35在发现匹配时，向媒体收听器32提供触觉轨道的位置。媒体识别器35的功能可以被系统10自身实施，或如图2所示在远离系统10处实施。
[0024]在一个实施例中，媒体收听器32和媒体识别器35中的一个或两者确定A/V媒体当前的回放位置以及对应的触觉轨道。媒体收听器32向触觉播放器33指示触觉轨道的位置，以及A/V媒体当前的回放位置。
[0025]媒体收听器32和触觉播放器33中的一个或两者根据A/V媒体当前的回放位置呈现触觉轨道，以确保在A/V媒体和触觉媒体之间合理的同步。在一个实施例中，通过将相应的触觉效果信号发送给致动器驱动电路16，使得致动器18能够产生振动触觉效果，来呈现触觉轨道。触觉轨道可以在A/V媒体的播放被启动时开始，或在启动之前或之后的某点处开始。
[0026]图2所示的元件可以在许多不同的配置中被实施。在一个实施例中，系统10可以是具有经由触觉播放器33实现的触觉输出系统，以及经由A/V播放器31实现的A/V媒体回放性能的移动设备，而媒体收听器32可以是在移动设备上运行的服务，诸如应用/ “app”。媒体收听器32通过互联网202将A/V识别数据有线地或无线地通信传送到正在运行一个实例化媒体识别器35的进程的服务器206，并且将A/V识别数据通信传送到相同或不同的服务器204，服务器204托管与特定A/V媒体相关联的一个或多个触觉媒体。
[0027]在另一个实施例中，系统10可以是具有远程控制单元的机顶盒，所述远程控制单元配置有可以是游戏手柄的形式的触觉输出系统，其中机顶盒具有将A/V媒体传输到音频和视频数据接收器(例如，电视机以及语音系统)的能力。在这个实施例中，媒体收听器32是运行在机顶盒上的服务，并且通过互联网202与服务器204和206通信。在另一个实施例中，机顶盒是游戏控制台。
[0028]在另一个实施例中，机顶盒托管媒体收听器32和媒体识别器35，并且触觉媒体是在机顶盒本地可访问的(例如，在暂时性存储器、非暂时性存储器、或物理盘中)，或者触觉媒体通过存在于经由互联网202可访问的媒体服务器204上，触觉媒体是远程可访问的。
[0029]在另一个实施例中，通过在设备上(例如，智能TV、移动设备、机顶盒等)的网络浏览器、或直接地在设备上呈现A/V内容，并且媒体收听器32可以通过已知的软件/硬件方法访问A/V识别数据。
[0030]图3是根据本发明的实施例的图1中的系统10的功能的流程图。在一个实施例中，图3的流程图中的功能由存储在存储器或其他计算机可读或有形的介质中的软件实施，并且由处理器执行。在其他实施例中，功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)，或硬件和软件的任何组合执行。
[0031 ] 在301处，A/V媒体(其包括音频和视频、仅仅音频、或仅仅视频媒体)开始播放或初始被选择。A/V媒体包括A/V识别数据，A/V识别数据可以包括A/V媒体自身。
[0032]在302处，基于A/V识别数据，A/V媒体被识别。
[0033]在303处，对应于所识别出的A/V媒体的触觉轨道被辨认并且被检索/选择。触觉轨道会包括当被施加到触觉效果输出设备时将产生触觉效果的触觉效果信号。
[0034]在304处，以与A/V媒体的播放同步的方式，在系统10上播放触觉轨道。作为结果，对A/V媒体的观看被增强。
[0035]虽然在以上实施例中，A/V媒体首先被识别，并且然后触觉轨道被检索/选择，但在另一个实施例中，相反的情况可以发生。也就是说，在一个实施例中，触觉轨道被启动和辨认，并且然后系统以同步的方式选择和回放A/V媒体。
[0036]在一个实施例中，在303处对触觉轨道的选择可以依赖于在其上将产生触觉效果的目标设备的能力。例如，一些设备配置有标准清晰度(“SD”)致动器，诸如LRA，而其他设备配置有高清晰度(“HD”)致动器，例如压电式致动器。对于特定的A/V媒体，相对应的SD和HD触觉轨道均可以存在。对SD或HD的选择将依赖于目标设备的能力。在一个实施例中的媒体收听器32会了解系统10的触觉效果回放能力。
[0037]作为使用本发明的实施例的一个示例，假定用户具有一个在其上运行着媒体收听器服务的智能电话。用户启动YouTube应用，并且转到观看小猫打架(kitten fight)的视频，针对此视频有人先前已经创建了相对应的触觉轨道。媒体收听器将经处理的(或未经处理的)数据发送给媒体识别器，媒体识别器可以存在于智能电话或网络服务器上。识别器发现针对小猫打架视频的适合的触觉媒体。媒体收听器服务开始检索此触觉媒体以与所述小猫打架视频同步地回放触觉媒体，针对每次小猫猛击和击倒建立触觉感觉。
[0038]如上所公开，实施例观察A/V媒体回放，并且在观察中，唯一地辨认媒体。实施例然后发现相对应的触觉媒体，然后在个人计算设备、或任何其他类型的触觉使能设备上使触觉媒体回放同步于A/V媒体回放。
[0039]本文中具体地说明和/或描述了若干实施例。但是，将理解的是，在不背离本发明的精神和预定范围的情况下，由以上教导并且在附加权利要求的范围之内涵盖对所公开的实施例的修改和改变。
【主权项】
1.一种在设备上播放媒体的方法，所述方法包括: 启动音频/视频(A/ν)媒体在所述设备上的播放； 辨认所述A/V媒体； 选择与所辨认出的A/V媒体相对应的预定义的触觉轨道；以及 与所述A/V的播放同步地播放所选择的预定义的触觉轨道，其中对所选择的预定义的触觉轨道的播放在所述设备上产生触觉效果。2.如权利要求1所述的方法，其中所述辨认基于所述A/V媒体的内容。3.如权利要求1所述的方法，其中所述A/V媒体包括文件名称，并且所述辨认基于所述文件名称。4.如权利要求1所述的方法，其中所述预定义的触觉轨道包括触觉信号，所述触觉信号包括多个触觉效果参数。5.如权利要求1所述的方法，其中所述A/V媒体远离所述设备而位于第一位置处，并且所述预定义的触觉轨道远离所述设备而位于与所述第一位置不同的第二位置处。6.如权利要求1所述的方法，其中对所述触觉轨道的播放包括将电机信号发送到致动器。7.如权利要求1所述的方法，其中所述A/V媒体被修改为包括A/V识别数据，所述A/V识别数据包括水印或元数据中的至少一个，所述辨认基于所述A/V识别数据。8.如权利要求1所述的方法，其中对所述预定义的触觉轨道的选择还基于所述设备的触觉输出能力。9.一种在其上存储有指令的计算机可读介质，当所述指令被处理器执行时，使得所述处理器能够在设备上播放媒体，所述播放包括: 启动音频/视频(A/V)媒体在所述设备上的播放； 辨认所述A/V媒体； 选择与所辨认出的A/V媒体相对应的预定义的触觉轨道；以及 与所述A/V的播放同步地播放所选择的预定义的触觉轨道，其中对所选择的预定义的触觉轨道的播放在所述设备上产生触觉效果。10.如权利要求9所述的计算机可读介质，其中所述辨认基于所述A/V媒体的内容。11.如权利要求9所述的计算机可读介质，其中所述A/V媒体包括文件名称，并且所述辨认基于所述文件名称。12.如权利要求9所述的计算机可读介质，其中所述预定义的触觉轨道包括触觉信号，所述触觉信号包括多个触觉效果参数。13.如权利要求9所述的计算机可读介质，其中所述A/V媒体远离所述设备而位于第一位置处，并且所述预定义的触觉轨道远离所述设备而位于与所述第一位置不同的第二位置处。14.如权利要求9所述的计算机可读介质，其中对所述触觉轨道的播放包括将电机信号发送到致动器。15.如权利要求9所述的计算机可读介质，其中所述A/V媒体被修改为包括A/V识别数据，所述A/V识别数据包括水印或元数据中的至少一个，所述辨认基于所述A/V识别数据。16.如权利要求9所述的计算机可读介质，其中对所述预定义的触觉轨道的选择还基于所述设备的触觉输出能力。17.—种触觉使能设备，包括: 触觉播放器； 音频/视频(A/V)媒体播放器；和 媒体收听器； 其中所述媒体收听器基于由所述A/V媒体播放器播放的A/V媒体的身份标识，播放与所辨认出的A/V媒体相对应的所选择出的预定义的触觉轨道。18.如权利要求17所述的触觉使能设备，其中所述A/V媒体基于对应的A/V识别数据被辨认。19.如权利要求18所述的触觉使能设备，其中所述A/V识别数据包括所述A/V媒体的内容。20.如权利要求18所述的触觉使能设备，其中所述A/V媒体包括文件名称，而所述A/V识别数据包括所述文件名称。21.如权利要求18所述的触觉使能设备，其中所述A/V媒体包括水印或元数据中的至少一个，而所述A/V识别数据包括所述水印或元数据。22.如权利要求17所述的触觉使能设备，其中所述触觉播放器包括致动器。
【文档编号】G06F3/01GK105867604SQ201510900260
【公开日】2016年8月17日
【申请日】2015年12月9日
【发明人】R·A·拉克罗伊克斯, P·诺里斯
【申请人】意美森公司