第二屏幕触觉的制作方法

本申请要求2014年7月7日递交的美国临时专利申请序列号No.62/021,663的权益，该申请的全部内容出于所有目的通过引用的方式结合于此。

技术领域

于此的实施方式一般涉及多媒体内容处理和展示，且特别地涉及利用触觉效果增强音频-视频内容。

背景技术：

术语“第二屏幕”指的是将计算设备用于对在第一或主要的设备或屏幕(诸如电视)上所看到的内容提供增强的视觉体验。换句话说，第二屏幕是由电视观看者用于改善他们正在收看的节目的第二电子设备。第二屏幕通常是智能电话或平板电脑，其中特定的补充性应用可以允许观看者以不同的方式与电视节目交互，从而平板或智能电话成为电视配套设备。例如，这些辅助显示中的一些使关于视觉广播的实时聊天成为可能，视觉广播为诸如新闻或当前事件广播。第二屏幕现象展示了使电视与观看者有更多的交互的意图。

通常在视频游戏产业中使用的触觉效果可能提供可触知的提示，可触知的提示增强用户体验并使虚拟环境与用户有更多的交互。例如，振动效果或振动可触知的触觉效果在向电子设备的用户提供提示以向用户警告特定事件中是可能有用的，或者可以提供实际的反馈以在模拟的或虚拟的环境中创建更多的感官沉浸。

然而，触觉效果通常未广播或未另外提供给主观看设备，诸如电视。相应地，于此的实施方式是关于将第二屏幕用于进一步增加用户的观看体验。更特别地，于此的实施方式是关于在多设备环境中利用触觉效果增强音频-视频内容。

技术实现要素：

其中的实施方式涉及多设备系统，系统包括至少一个媒体服务器系统、包括显示屏幕的主观看设备和包括触觉输出设备的辅助设备。至少一个媒体服务器系统包括音频-视频内容和触觉内容的源并被配置为传送音频-视频内容和触觉内容。触觉内容与音频-视频内容相关联。主观看设备被配置为输出从至少一个媒体服务器系统所接收的音频-视频内容。辅助设备被配置为接收用户输入并被配置为经由触觉输出设备将从至少一个媒体服务器系统所接收的触觉内容输出为触觉效果。

其中的实施方式还涉及多设备系统，系统包括至少一个媒体服务器系统、包括显示屏幕并被配置为输出音频-视频内容的主观看设备及被配置为接收用户输入并包括触觉输出设备的辅助设备，触觉输出设备被配置为向用户输出触觉效果。至少一个媒体服务器系统包括音频-视频内容和触觉内容的源并被配置为传送音频-视频内容和触觉内容。触觉内容与音频-视频内容相关联。至少一个媒体服务器系统被配置为将音频-视频内容和触觉内容传送至主观看设备和辅助设备中的至少一者。主观看设备被配置为输出从至少一个媒体服务器系统所接收的音频-视频内容及辅助设备被配置为输出从至少一个媒体服务器系统所接收的触觉内容，触觉内容经由触觉输出设备被输出为触觉效果。

其中的实施方式还涉及将触觉效果传播至音频-视频内容的观看者的方法。在主观看设备接收音频-视频内容，主观看设备包括显示屏幕。在辅助设备接收触觉内容，辅助设备被配置为接收用户输入并包括触觉输出设备，触觉输出设备被配置为向用户输出触觉效果。触觉内容与音频-视频内容相关联。在主观看设备上输出或显示音频-视频内容，以及在辅助设备上输出或显示触觉内容。触觉内容经由触觉输出设备被输出为触觉效果。

附图说明

本发明的前述和其他特征和优势通过以下的所附附图所示的其中的实施方式的描述将是显而易见的。于此所结合的并且形成说明的一部分的所附附图进一步用作解释本发明的原理并使相关领域技术人员能够进行和使用本发明。附图并非是按比例的。

图1是多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容传送至主观看设备并将触觉内容传送至辅助设备。

图2是图1的系统的框图。

图3是根据其中另一实施方式的多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容传送至主观看设备并将触觉内容传送至辅助设备以及回放定位器信号用于确保音频-视频内容和触觉内容的同步。

图4是图3的系统的框图。

图5是根据其中另一实施方式的多设备系统的图示，多设备系统包括两个媒体服务器、主观看设备和辅助设备，其中第一媒体服务器将音频-视频内容传送至主观看设备及第二媒体服务器将触觉内容传送至辅助设备以及回放定位器信号用于确保音频-视频内容和触觉内容的同步。

图6是图4的系统的框图。

图7是根据其中另一实施方式的多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容和触觉内容传送至辅助设备及辅助设备将至少音频-视频内容传送至主观看设备。

图8是图7的系统的框图。

图9是根据其中另一实施方式的多设备系统的图示，多设备系统包括两个媒体服务器、主观看设备和辅助设备，其中第一媒体服务器将音频-视频内容传送至辅助设备及第二媒体服务器将触觉内容传送至辅助设备，并且辅助设备将至少音频-视频内容传送至主观看设备。

图10是图9的系统的框图。

图11是根据其中另一实施方式的多设备系统的图示，多设备系统包括媒体服务器、主观看设备和辅助设备，其中媒体服务器将音频-视频内容和触觉内容传送至主观看设备及主观看设备将至少触觉内容传送至辅助设备。

图12是图11的系统的框图。

图13是根据其中另一实施方式的多设备系统的图示，多设备系统包括两个媒体服务器、主观看设备和辅助设备，其中第一媒体服务器将音频-视频内容传送至主观看设备，第二媒体服务器将触觉内容传送至主观看设备，及主观看设备将至少触觉内容传送至辅助设备。

图14是图13的系统的框图。

图15是根据其中的实施方式的将触觉效果传播至音频-视频内容的观看者的方法的流程图。

图16示出了根据其中的实施方式的多设备系统，其中多设备系统的主观看设备和辅助设备可以相互交互。

图17示出了与图16的辅助设备交互的用户，其中在辅助设备的屏幕上显示了弓和箭。

图18示出了与图16的辅助设备交互的用户，其中用户在辅助设备的屏幕上部署弓和箭。

图19示出了图16的主观看设备，其中移动的目标正显示在主观看设备上并且目标与正显示在辅助设备上的弓和箭相关联。

图20示出了图16的多设备系统，其中箭已经被部署并且不再显示在辅助设备上但是箭接着显示在主观看设备上。

图21示出了图16的主观看设备，其中主观看设备显示了击中了主观看设备上的内容的箭。

图22示出了多设备系统的主观看设备和辅助设备可以相互交互的另一示例，其中球显示在辅助设备的屏幕上并且手套和目标显示在主观看设备的屏幕上。

图23示出了与图22的辅助设备交互的用户，其中用户实际上投掷了一球并且球不再显示在辅助设备上但是球接着显示在主观看设备上。

图24示出了图22的主观看设备，其中主观看设备显示了实际上正在用手套抓住的球。

具体实施方式

现在参考附图对本发明的特定实施方式进行描述，其中同样的附图标记指示相同的或功能上类似的元件。以下具体的说明实际上仅是示例性的并不意图限制本发明或本发明的应用或使用。此外，没有通过前述技术领域、背景技术、发明内容或以下具体的描述所表达的或所暗示的原理进行限制的意图。

其中的实施方式涉及用于将触觉内容传播至音频-视频内容的观看者的多设备系统。更特别地，音频-视频内容和与音频-视频内容相关联的触觉内容被储存或者起源于至少一个媒体服务器系统。音频-视频内容包括但不限于电视表演、电影、体育广播、新闻广播、用户产生的内容或其他另外包括视频和音频成分二者的其他节目。如于此所使用的与音频-视频内容“相关联”的触觉内容包括但不限于关联的、连接的、链接的或其他关于音频-视频内容的任何触觉或可触知的效果，从而伴随、增强、补充或补足音频-视频内容的实质。音频-视频内容在诸如电视的主观看设备上显示或输出，以及触觉内容在诸如智能电话或平板电脑的辅助设备上显示或输出。例如，用户在如电视的主观看设备上收看视频、持有如智能电话或平板电脑的辅助设备或已经附着至或连接至其身体的辅助设备，附着至或连接至其身体的辅助设备即可穿戴设备，可穿戴设备诸如但不限于连接至用户手腕的手表、连接至用户手臂的臂带或连接至其他身体部分的可穿戴设备。在在主观看设备上收看视频的同时，辅助设备被配置为将可触知或触觉效果传播至用户。触觉效果与正在主观看设备上收看的视频相关或相关联并因而系统引起用户在多设备环境中的触觉增强媒体体验。

更特别地，参考图1和图2，显示了根据其中实施方式的多设备系统100。图1是系统100的示意性图示，而图2是图1的框图。系统100包括媒体服务器102、主观看设备130和辅助设备110。媒体服务器102是音频-视频内容或数据及相关联的触觉内容或数据的源。媒体服务器102与主观看设备130通信，从而传送或发送音频-视频内容至主观看设备。音频-视频内容作为音频-视频信号106从媒体服务器102进行传送。音频-视频信号106可以是如通过无线电或电缆的广播标准的信号，或者可以是互联网向用户提供各种应用服务技术(Over the Top Technology)(OTT)单播类型信号，如针对SmartTV(智能电视)的Netflix。媒体服务器102还与辅助设备110进行通信，从而传送或发送触觉内容至辅助设备。触觉内容作为触觉信号104从媒体服务器102进行传送。媒体服务器102可以是例如广播网络服务、电缆通信服务、卫星通信服务、云视频流服务、游戏控制台或任意其他类型的服务器。媒体服务器102使用本领域技术人员已知的有线或无线通信装置与主观看设备130和辅助设备110通信。此外，虽然在远程定位的设备中显示以使得来自其的信号通过有线或无线链接进行传达，但是媒体服务器102可替换地可以位于辅助设备110或主观看设备130内或储存在辅助设备110或主观看设备130上。

主观看设备130是诸如电视的音频-视频显示设备，音频-视频设备被配置为输出从媒体服务器102所接收的音频-视频内容。如在图2的框图所显示的，主观看设备130包括接收机132、声音设备146和显示屏幕140。接收机132接收音频-视频信号106并将音频-视频信号106转变为可以处理为图像和声音的电信号。声音设备146可以例如是扬声器，扬声器可以内置于或连接至主观看设备130并将电信号转变为声波以连同视频图像一起播放音频。主观看设备130从而经由声音设备146输出音频。显示屏幕140被配置为将电信号转变为可见光并且可以是将视频输出至用户的任意类型的媒体；这里任意类型的媒体包括但不限于监控器、电视屏幕、等离子体、LCD、投影仪或任意其他显示设备。主观看设备130从而经由显示屏幕140输出视频。除了电视，音频-视频显示设备可以用作主观看设备130，主观看设备130包括但不限于智能电话、游戏控制台、个人数字整理器(organizers)、笔记本电脑及具有连接至音频-视频显示设备的显示屏幕的任何其他类型的计算机。根据所利用的媒体服务器102的类型，主观看设备130可以包括内置的有线或无线调制解调器148以用于从因特网接收流信号。可替换地，调制解调器148可以连接至主观看设备130而不是内置。

辅助设备110被配置为输出从媒体服务器102接收的触觉内容作为用户感觉或感知的触觉效果。为了感知触觉效果，辅助设备110是用户持有的设备、附着或连接至用户的设备或者另外具有能够将触觉或可触知的效果传播至用户的表面的设备。在实施方式中，辅助设备还被配置为或能够经由用户诸如元件接收用户输入或控制，用户输入元件诸如触摸屏、触摸板、计算机外围设备、控制按钮、触发器、操纵杆或控制棒等。例如，在实施方式中，辅助设备110是包括触觉效果显示能力的移动电话或平板电脑。例如，辅助设备110可以是众所周知的并且在市场上可获得的平板电脑，诸如和Galaxy 用于辅助设备110的其他合适的设备包括但不限于个人数字助理(PDA)、计算机、游戏外围设备及本领域技术人员已知的其他设备，这些设备被配置为输出触觉内容并被配置为或能够接收用户输入。

如图2的框图所示，辅助设备110包括接收机112、处理器114、存储器116、至少一个触觉输出设备118、显示屏幕120和声音设备126。辅助设备110执行储存在存储器116中的软件应用并通过处理器114执行。处理器114可以是任意类型的通用处理器，或者可以是特别设计为提供触觉效果信号的处理器。存储器116可以是任意类型的存储设备或计算机可读媒体，诸如但不限于随机存取存储器(RAM)或只读存储器(ROM)。存储器116还可以位于处理器内部，或者可以是内部和外部存储器的组合。声音设备126可以例如是内置于或耦合至辅助设备110的扬声器，以使得辅助设备110具有经由声音设备126输出音频的能力。在本实施方式中，辅助设备110还具有经由显示屏幕120输出视频的能力。显示120可以耦合至辅助设备110或可以是本领域技术人员已知的，辅助设备110和显示120可以结合为单个设备。在实施方式中，显示屏幕120是配置为接收用户输入的触摸屏。此外，根据所利用的媒体服务器102的类型，辅助设备110可以包括内置的有线或无线调制解调器128以用于从因特网接收流信号。可替换地，调制解调器128可以耦合至辅助设备110而不是内置。

在操作中，辅助设备110的接收机112接收触觉信号104并识别触觉信号104。触觉信号104然后被路由至或传送至处理器114。触觉信号104例如可以包括直接触觉效果流或指示了必须执行哪些触觉效果的命令集合。响应于从媒体服务器102接收触觉信号104，处理器114指示触觉输出设备118向用户提供或输出一种或多种触觉效果。处理器114可以决定向触觉输出设备118发送什么触觉效果及以什么次序来发送触觉效果。例如，触觉信号104可以包括从媒体服务器102流至辅助设备110的电压幅值和持续时间。在另一示例中，触觉信号104可以向处理器114提供高等级命令，诸如即将由触觉输出设备118输出的触觉效果的类型(如振动、摇晃、止动、弹出等)，从而处理器114向触觉输出设备118指示即将输出的触觉效果的特定特征(如，幅值、频率、持续时间等)。处理器114可以从耦合至其的存储器116检索触觉效果的类型、幅值、频率、持续时间或其他特征。

触觉反馈增强了用户体验。如于此所使用的，动觉效果(诸如主动的或有阻力的触觉反馈)和/或可触知的效果(诸如振动、纹理和高温)共同称为“触觉反馈”或“触觉效果”。在多种形态同时使用时，共同的触觉效果向用户提供了对音频-视频内容更大的感官沉浸，所述多种形态为如视频、音频和触觉。例如，振动效果或振动可触知的触觉效果可以用于在向用户提供警告用户特定时间的提示，或者提供真实的反馈以在模拟的或虚拟的环境中形成更大的感官沉浸。在用户经由主设备130观看音频-视频内容时可以有利地由辅助设备110输出的触觉效果的示例包括但不限于(1)直播运动赛事的混频工作间(mixing booth)，其中几个加速计、陀螺仪和其他传感器测量感兴趣对象(如，足球)的动态特性并且通过算法变换为有意义的触觉效果数据；(2)音频和视频分析设备和算法，观察音频-视频内容并确定什么时候适合生成触觉效果数据，例如创建展现在看到两个曲棍球运动员在屏幕上碰撞时的用身体阻挡的感觉的触觉效果；(3)艺术家使用便于创建触觉效果数据的工具生成的手工制作的触觉效果，例如，触觉知觉由艺术家设计用于好莱坞动作电影，其中穿插有机关枪火力的一系列巨大的爆炸；以及(4)非接触测量设备，针对感兴趣的对象，测量对象的动态特性，并将测量数据供给至将要将测量数据变换为有意义的触觉效果数据的算法，例如，指向用小槌撞击的锣的激光振动计，振动计获得通过敲击产生的锣的运动和震荡，并将振动计数据供给至运行算法的设备，该算法将振动计数据变换为触觉知觉。辅助设备110的处理器114可能正在运行进一步裁剪或校准触觉内容的软件算法以优化用于特定类型的显示触觉内容的辅助设备。

由触觉输出设备118提供的触觉效果可以包括但不限于诸如止动或振动的暂时效果。触觉输出设备118可以是物理和/或非物理致动器。可能的物理致动器包括但不限于由电机移动偏心质量的偏心旋转质量(“ERM”)致动器、附着至弹簧的质量被来回驱动的线性共振致动器(“LRA”)、压电致动器、由电机移动偏心质量的电磁电机、振动可触知的致动器、惯性致动器及于此所描述的致动器的任意组合。可能的非物理致动器包括但不限于静电摩擦(ESF)、超声表面摩擦(USF)及于此所描述的致动器的任意组合。在另一实施方式中，一个或多个触觉输出设备118可以使用动觉触觉反馈，一个或多个触觉输出设备118包括例如改变辅助设备110的外壳的刚度/阻尼的螺线管、改变外壳的大小的小气囊或者形变材料。

在图1-2的实施方式中，系统100为“媒体服务器驱动的”，意为媒体服务器102分别直接向辅助设备110和主观看设备130传送或通信触觉信号104和音频-视频信号106。在媒体服务器驱动的实施方式中，希望观看触觉增强内容的用户打开或开启辅助设备110和主观看设备130。例如，可以使用在电视CPU上运行的应用经由机顶盒或通过直接空中数字广播从媒体服务器102向主观看设备130供给音频-视频信号106。辅助设备110建立与媒体服务器102的数据连接。在实施方式中，辅助设备110可能需要与内容相关联的应用(如，通过触觉内容的源/拥有者创建的应用)，或者可能需要经由辅助设备的浏览器连接至特定HTTP地址。在媒体服务器102将音频-视频信号106串流至或另外传送至主观看设备130时，媒体服务器102还同时将触觉信号104串流或伺服至辅助设备110。

在其中的实施方式中，多设备系统可以包括确保在辅助设备上正在输出的触觉内容与在主观看设备上正在输出的音频-视频内容同步的装置。更特别地，参考图3和图4，显示了根据其中实施方式的多设备系统300。图3是系统300的示意性图示，而图4是其中的框图。系统300包括媒体服务器302、主观看设备330和辅助设备310。与多设备系统100类似，多设备系统300是媒体服务器驱动的，以使得媒体服务器302直接与主观看设备330通信从而传送或发送音频-视频信号306至主观看设备并且还直接与辅助设备310通信从而传送或发送触觉信号304至辅助设备。与以上所描述的多设备系统100的和图4的框图所显示的组件类似，主观看设备330包括接收机332、声音设备346和显示屏幕340，而辅助设备310包括接收机312、处理器314、存储器316、至少一个触觉输出设备318、显示屏幕320和声音设备326。然而，在本实施方式中，主观看设备330与辅助设备310通信从而确保在各个设备上正在输出的内容的同步。回放定位器信号350在主观看设备330与辅助设备310之间通信。回放定位器信号350可以通过包括流过媒体服务器302的通信路径的任意装置进行有线或无线通信。在实施方式中，回放定位器信号350可以通过对音频和/或视频信号的不可感知的修改进行通信以编码并广播来自主观看设备的定时信息。

更特别地，辅助设备310包括回放定位器322及主观看设备330包括回放定位器342。回放定位器322、342进行作用以分别针对触觉信号304、音频-视频信号306确定暂时参考点。暂时参考点可以例如是时间代码、计数器、媒体回放所耗费的秒数、媒体文件中当前暂时回放位置或回放位置的任何其他指示。主观看设备330的回放定位器342有时将回放位置传达至辅助设备310的回放定位器322，反之亦然。辅助设备310使用所接收的回放位置定位信息以确保触觉信号304的触觉部分以与正在主观看设备330上显示的音频-视频信号306充分同步的方式显示。

虽然用仅传送触觉和音频-视频信号的单个服务器进行显示，但是在其中的另一实施方式中，多设备系统可以包括两个有区别的或分开的服务器以用于将触觉内容传送至辅助设备并将音频-视频内容传送至主观看设备。换句话说，于此所描述的一个或多个媒体服务器可以认为是媒体服务器系统。更特别地，参考图5和图6，显示了根据其中实施方式的多设备系统500。图5是系统500的示意性图示，而图6是图5的框图。系统500包括第一媒体服务器502A、第二媒体服务器502B、主观看设备530和辅助设备510。音频-视频内容和触觉内容因而源自分开的且有区别的媒体服务器502A、502B。媒体服务器502B与主观看设备530直接通信以传送或发送音频-视频信号506至主观看设备及媒体服务器502A与辅助设备510直接通信以传送或发送触觉信号504至辅助设备。与以上所描述的和如图6的框图所显示的实施方式类似，主观看设备530包括接收机532、声音设备546和显示屏幕540而辅助设备510包括接收机512、处理器514、存储器516、至少一个触觉输出设备518、显示屏幕520和声音设备526。此外，与图3-4的实施方式类似，主观看设备530和辅助设备510进行通信以确保在各个设备正在输出的内容的同步。辅助设备510包括回放定位器522，主观看设备530包括回放定位器542及回放定位器信号550在主观看设备530与辅助设备510之间通信。

根据其中的另一实施方式，多设备系统可以是“辅助设备驱动的”，意为一个或多个媒体服务器仅直接将数据信号传送至或伺服至辅助设备。更特别地，在辅助设备驱动的实施方式中，媒体服务器将信号——音频、视频、触觉——的完整补充传送至辅助设备。辅助设备然后转而定向发出(beams)或传送信号的至少音频-视频部分至主观看设备而辅助设备显示触觉内容。在辅助设备驱动的实施方式中，辅助设备可以被配置为连接至媒体服务器并接收音频-视频和触觉内容。辅助设备然后可以经由有线或无线通信装置建立与主观看设备的连接，从而发送音频-视频内容至主观看设备以在其上进行显示。

更特别地，图7-8中显示了辅助设备驱动的实施方式。多设备系统700包括媒体服务器702、主观看设备730和辅助设备710。与以上所描述的和在图8的框图所显示的实施方式类似，主观看设备730包括接收机732、声音设备746和显示屏幕740而辅助设备710包括接收机712、处理器714、存储器716、至少一个触觉输出设备718、显示屏幕720和声音设备726。所设备系统700是辅助设备驱动的，其中媒体服务器702仅直接与辅助设备710通信。媒体服务器702传送或发送复合信号708至辅助设备710。复合信号708包括视频内容或数据、音频内容或数据及触觉内容或数据，该部分按时序交错传送，或者该部分不按次序传送，但是包含排序信息，排序信息可以解释为以通过辅助设备710展示给用户的正确时序进行重组。以另一方式进行陈述，复合信号708的触觉内容或数据可以离散地作为整个媒体信号内或其另一实施方式中的分开的或独立的部分而被包括，触觉内容或数据还可以嵌入至音频和/或视觉内容或数据中并然后从音频和/或视觉内容或数据中提取。

辅助设备710在接收到复合信号708时识别其中的触觉部分并对其进行解码以用于用接收机712回放。响应于复合信号708内的触觉命令，处理器714指示触觉输出设备718输出触觉效果。在实施方式中，辅助设备710还可以分别经由声音设备726和显示屏幕720向用户展示或输出复合信号708的音频和视频部分。在另一实施方式中，辅助设备710可以分别从其他源经由声音设备726和显示屏幕720展示或输出其他音频和视频内容。

此外，在接收到复合信号708时，辅助设备710识别其中的音频-视频部分。辅助设备710包括将复合信号708的至少音频-视频部分传送至主观看设备730的变换器724。在图7-8的实施方式中，辅助设备710从复合信号708中提取或剥离音频-视频部分及变换器724仅将音频-视频信号706传送至主观看设备730。换句话说，复合信号708的触觉部分在辅助设备710将信号输出至主观看设备730之前被移除。这种移除在主观看设备730不能解译具有触觉部分的复合信号708的情况下是必要的。除了复合信号708的触觉部分之外，变换器724可能需要将音频-视频信号706修改或变换为主观看设备730能够解译并显示的格式。音频-视频信号706经由有线或无线通信装置从辅助设备710传送至主观看设备730。

在另一实施方式中(未示出)，辅助设备710可以将复合信号708传送至主观看设备730，而在其中没有进行修改或变换。在此类实施方式中，主观看设备730可以忽略复合信号708的触觉部分或者通过主观看设备对额外的观看者具有可用性的任何装置显示触觉效果。

虽然图7-8的辅助设备驱动的实施方式仅用用于传送复合信号的单个服务器进行显示，但是在其中的另一实施方式中，多设备系统可以包括两个有区别的或分开的服务器以将触觉内容和音频-视频内容作为有区别的或分开的信号分别传送至辅助设备。更特别地，参考图9和图10，显示了根据于此实施方式的多设备系统900。图9是系统900的示意性图示，而图10是图9的框图。系统900包括第一媒体服务器902A、第二媒体服务器902B、主观看设备930和辅助设备910。音频-视频内容和触觉内容因而源自分开的或有区别的媒体服务器902A、902B。媒体服务器902B与辅助设备910直接通信以传送或发送音频-视频信号906至辅助设备及媒体服务器902A与辅助设备910直接通信以传送或发送触觉信号904至辅助设备。

与以上所描述的和如图10的框图所显示的实施方式类似，主观看设备930包括接收机932、声音设备946和显示屏幕940而辅助设备910包括接收机912、处理器914、存储器916、至少一个触觉输出设备918、显示屏幕920和声音设备926。辅助设备910的接收机912在接收到触觉信号904和音频-视频信号906二者时同步信号以确保触觉信号408的显示保持与音频-视频信号906的显示的充分同步。响应于触觉信号904，处理器914指示触觉输出设备918输出触觉效果。此外，辅助设备910的发射机924将音频-视频906传达至主观看设备930。如果需要的话，在其传送之前，发射机924可以将音频-视频信号906修改或变换为主观看设备930能够解译和显示的格式。虽然图9-10的实施方式用两个有区别的或分开的服务器进行显示，但是可以利用传送有区别的或分开的触觉和音频-视频信号(而不是诸如图7-8的实施方式的复合信号)的单个服务器。

根据其中的另一实施方式，多设备系统可以是“主观看设备驱动的”，意为一个或多个媒体服务器仅将数据信号直接传送至或用于主观看设备。更特别地，在主观看设备驱动的实施方式中，媒体服务器将信号——音频、视频、触觉——的完整补充传送至主观看设备。主观看设备然后转而定向发出(beams)或传送信号的至少触觉部分至主观看设备而主观看设备显示音频-视频内容。在主观看设备驱动的实施方式中，主观看设备可以被配置为建立经由有线或无线通信装置至辅助设备的连接，从而将触觉内容发送至辅助设备以用于在其上显示。将触觉内容连接至并用于辅助设备的功能可以存在于连接至电视的机顶盒中，该功能可以存在于打包在智能电视内的CPU上运行的软件中，或者该功能可以存在于诸如媒体中心PC的设备或具有处理能力的其他设备上，这里的其他设备诸如但不限于Apple TV、Chromecast或类似设备。与主观看设备相关联的软件支持建立至主观看设备的有线或无线连接的辅助设备。连接的目的至少部分是为了将触觉内容传送至辅助设备以进行显示。

更特别地，图11-12中显示了主观看设备驱动的实施方式。多设备系统1100包括媒体服务器1102、主观看设备1130和辅助设备1110。与以上和如图12的框图所显示的实施方式类似，主观看设备1130包括接收机1132、声音设备1146和显示屏幕1140而辅助设备1110包括接收机1112、处理器1114、存储器1116、至少一个触觉输出设备1118、显示屏幕1120和声音设备1126。多设备系统110是主观看设备驱动的，其中媒体服务器1102仅与主观看设备1130直接通信。媒体服务器1102传送或发送复合信号1108至主观看设备1130。复合信号1108包括视频内容或数据、音频内容或数据及触觉内容或数据，该部分按时序交错传送，或者该部分不按次序传送，但是包含排序信息，排序信息可以解释为以通过主观看设备1130展示给用户的正确时序进行重组。换句话说，复合信号1108的触觉内容或数据可以离散地作为整个媒体信号内或其另一实施方式中的分开的或独立的部分而被包括，触觉内容或数据还可以嵌入至音频和/或视觉内容或数据中并然后从音频和/或视觉内容或数据中提取。

主观看设备1130在接收到复合信号1108时识别其中的音频-视频部分并经由显示屏幕1140和声音设备1146输出音频-视频内容。此外，在接收到复合信号1108时，主观看设备1130识别其中的触觉部分。主观看设备1130包括将复合信号1108的至少触觉部分传送至辅助设备1110的变换器1144。在图11-12的实施方式中，主观看设备1130从复合信号1108中提取或剥离触觉部分及变换器1144仅将触觉信号1104传送至辅助设备1110以用于触觉效果的显示。换句话说，复合信号1108的音频-视频部分在主观看设备1130将信号输出至辅助设备730之前被移除。触觉信号1104经由有线或无线通信装置从主观看设备1130传送至辅助设备1110。

在另一实施方式中(未示出)，主观看设备1130可以将复合信号1108传送至辅助设备1110，而在其中没有进行修改或变换。在此类实施方式中，辅助设备730可以忽略复合信号1108的音频-视频部分或者经由显示屏幕1120和声音设备1126输出音频-视频内容。

虽然图11-12的主观看设备驱动的实施方式仅用用于传送复合信号的单个服务器进行显示，但是在其中的另一实施方式中，多设备系统可以包括两个有区别的或分开的服务器以将触觉内容和音频-视频内容分别传送至主观看设备。更特别地，参考图13和图14，显示了根据于此实施方式的多设备系统1300。图13是系统1300的示意性图示，而图14是图13的框图。系统1300包括第一媒体服务器1302A、第二媒体服务器1302B、主观看设备1330和辅助设备1310。音频-视频内容和触觉内容因而源自分开的或有区别的媒体服务器1302A、1302B。媒体服务器1302B与主观看设备1330直接通信以传送或发送音频-视频信号1306至主观看设备及媒体服务器1302A与主观看设备1330直接通信以传送或发送触觉信号1304至主观看设备。

与以上所描述的和如图14的框图所显示的实施方式类似，主观看设备1330包括接收机1332、声音设备1346和显示屏幕1340而辅助设备1310包括接收机912、处理器1314、存储器1316、至少一个触觉输出设备1318、显示屏幕1320和声音设备1326。主观看设备1330的接收机1332在接收到触觉信号1304和音频-视频信号1306二者时同步信号以确保触觉信号1308的显示保持与音频-视频信号1306的显示充分同步。此外，主观看设备1330的发射机1344将触觉信号1304传达至辅助设备1310以用于触觉效果的显示。虽然图13-14的实施方式用两个有区别的或分开的服务器进行显示，但是可以利用传送有区别的或分开的触觉和音频-视频信号(而不是诸如图11-12的实施方式的复合信号)的单个服务器。

图15是根据本发明的一个实施方式的将触觉效果传播至音频-视频内容的观看者的流程图。在实施方式中，图15的流程图的功能通过储存在辅助设备中的软件实现并通过辅助设备的处理器和/或通过主观看设备实行。在其他实施方式中，功能可以由硬件通过使用特定用途集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)或硬件和软件的任意组合来执行。

在步骤1560中，具有音频-视频内容的音频-视频信号和具有触觉内容的触觉信号从至少一个媒体服务系统传送。触觉内容与音频-视频内容相关联。音频-视频信号和触觉信号可以作为有区别的信号分别从一个或多个媒体服务器分开发送，或者音频-视频信号和触觉信号可以作为复合信号从媒体服务器发送。如果在媒体服务器驱动的实施方式中，音频-视频信号和触觉信号作为有区别的信号分别直接被发送至主观看设备和辅助设备。如果在主观看设备驱动的实施方式中，从主观看设备将两个信号传送至辅助设备。如果在辅助设备驱动的实施方式中，两个信号被传送至辅助设备并然后将至少一个音频-视频信号从辅助设备传送至主观看设备。

在步骤1562中，主观看设备接收包括音频-视频内容的音频-视频信号。如果在媒体服务器驱动的实施方式或主观看设备驱动的实施方式中，从媒体服务器发送音频-视频信号。如果在辅助设备驱动的实施方式中，从辅助设备发送音频-视频信号。在接收到音频-视频信号时，主观看设备在步骤1564在其上输出音频-视频内容。

在步骤1566中，辅助设备接收包括触觉内容的触觉信号。如果在媒体服务器驱动的实施方式或辅助设备驱动的实施方式中，从媒体服务器发送触觉信号。如果在主观看设备驱动的实施方式中，从主观看设备发送触觉信号。

在接收到触觉信号时，辅助设备的处理器在步骤1568确定信号是触觉信号还是一些其他非触觉相关的信号。如果确定信号不是触觉信号，那么处理器继续进行而不会将任何触觉效果应用于用户并等待从媒体服务器和/或主观看设备接收另一信号。如果确定信号是触觉信号，那么处理器将在步骤1570将命令或指示发送至触觉输出设备并然后触觉输出设备将在步骤1572输出所指示的触觉效果。由触觉输出设备输出的触觉效果可以包括但不限于不同程度的振动、不同程度的止动或者其他类型的触觉效果。

如果辅助设备包括多个触觉输出设备，那么辅助设备的处理器可以确定每一个触觉效果将会在哪个触觉输出设备实行并提供给用户。在此类实施方式中，高等级触觉参数或流的值在储存在辅助设备的存储器中的软件代码中生成。参数或至由处理器处理并且针对每一个触觉输出设备的合适的电压电平因而生成。这允许辅助设备向用户提供合适的触觉效果并通过针对每一个输出设备生成的不同的电压电平改变触觉效果的量或类型。

在其中的实施方式中，音频-视频内容可以是虚拟视频游戏。更特别地，在此类实施方式中，多设备系统包括具有在其上运行的软件的游戏控制台(即，Xbox One或PlayStation 4)和被配置为诸如经由可以用作触觉输出设备的震动马达来输出触觉反馈的游戏外围设备。在游戏控制台上的软件是媒体服务器及音频-视频内容和触觉内容的源。游戏控制台是显示视频游戏的主观看设备，以及游戏外围设备是输出触觉内容的辅助设备。

虽然于此所描述的多设备系统包括主观看设备和单个辅助设备，但是本领域普通技术人员应当理解的是系统可以包括每一者输出触觉内容的多个辅助设备和/或每一者输出音频-视频内容的多个主观看设备。例如，如果几个用户正在收看相同的、单一的主观看设备，那么每一个用户可以持有其自己的辅助设备并感受到从其输出的触觉效果。可以同时从一个或多个媒体服务器将一个或多个触觉信号、一个或多个音频-视频信号和/或具有触觉和音频-视频内容二者的一个或多个复合信号传送至几个设备。在实施方式中，主观看设备和/或媒体服务器可以对任何触觉能够激活的辅助设备进行初始扫描或检索且然后主观看设备和/或媒体服务器将至少触觉信号传送至位于初始检索/扫描中的每一个触觉能够激活的辅助设备。

在其中的其他实施方式中，主观看设备和辅助设备可以相互交互。更特别地，用户可以与辅助设备交互并且这种交互可以在主观看设备上显示，从而使虚拟环境与用户有更多的交互。在图16-21中显示了这种交互的第二屏幕触觉的一个示例。在本实施方式中，如图16所示，多设备系统1600包括具有在其上运行的软件的游戏控制台(未示出)、主观看设备1630和辅助设备1610。在游戏控制台上的软件是媒体服务器及音频-视频内容和触觉内容的源，及主观看设备1630被配置为输出从媒体服务器所接收的音频-视频内容，而辅助设备1610包括触觉输出设备并被配置为经由触觉输出设备将从媒体服务器所接收的触觉内容输出为触觉效果。参考图17和图18，用户交互或控制辅助设备1610上的内容。图17示出了在辅助设备1610的屏幕上显示的弓和箭，而图18示出了用户在辅助设备1610的屏幕上部署弓和箭。如图19所示，移动的目标在主观看设备1630上显示。主观看设备1630上的目标与在辅助设备1610上显示的弓和箭的位置相关联。同样地，当用户移动辅助设备1610(及在其上的弓和箭)时，主观看设备1630上的目标也会移动。在用户准备好时，他部署或释放辅助设备1610上的箭并且箭不再显示在辅助设备上但是箭然后显示在主观看设备1630上，如图20所示。在预定的逝去时间之后，主观看设备1630显示击中图21中的主观看设备上的内容的箭(即，显示了击中城堡的箭)。以交互方式在两个设备之间传送包括触觉内容的消息的系统和方法进一步在Birnbaum等的美国专利No.8,976,112、Birnbaum等的美国专利No.8,638,301和Birnbaum等的美国专利公开No.2010/0214243中进一步描述，每一者转让给与本申请相同的受让人并且每一者整体通过引用的方式结合于此。

在图22-24中显示了这种交互的第二屏幕触觉的另一示例。在本实施方式中，如图22所示，多设备系统2200包括具有在其上运行的软件的游戏控制台(未示出)、主观看设备2230和辅助设备2210。在游戏控制台上的软件是媒体服务器及音频-视频内容和触觉内容的源，以及主观看设备2230被配置为输出从媒体服务器所接收的音频-视频内容而辅助设备2210包括触觉输出设备并被配置为经由触觉输出设备将从媒体服务器所接收的触觉内容输出为触觉效果。参考图22-24，用户交互或控制辅助设备2210上的内容。图22示出了在辅助设备2210的屏幕上显示的球和在主观看设备2230的屏幕上显示的手套或目标。图23示出了用户实际上投掷了一球。用户以投掷动作移动辅助设备2210，并且球不再显示在辅助设备上而球然后显示在主观看设备2230上，如图23所示。图24示出了实际上用手套抓住的球。更特别地，在预定逝去的时间之后，主观看设备2230显示了在主观看设备上显示的手套内抓住的球。

虽然以上参考图16-21和图22-24描述的交互的第二屏幕触觉示例包括主观看设备和单个辅助设备，但是本领域普通技术人员应当理解的是系统可以包括每一者与相同的主观看设备交互的多个辅助设备。例如，如果几个用户正在收看并参与在单一的主观看设备上显示的视频游戏，那么每一个用户可以持有其各自的辅助设备以单独与在主观看设备上显示的虚拟环境交互。在实施方式中，主观看设备和/或媒体服务器可以对任何触觉能够激活的的辅助设备进行初始扫描或检索并然后主观看设备和/或媒体服务器将至少触觉信号传送至位于初始检索/扫描中的每一个触觉能够激活的的辅助设备。同样地，在初始检索/扫描中找到的任何触觉能够激活的的辅助设备可以与在主观看设备上的视频游戏交互。

虽然以上已经描述了根据本发明的各个实施方式，但是应当理解的是这些实施方式仅通过示出和示例的方式而不是限制的方式展示。对相关领域技术人员显而易见的是在形式和细节上的各种改变可以在不背离本发明的思想和范围的情况下在其中进行。例如，虽然于此所描述的辅助设备可以包括显示屏幕和/或声音设备用于选择输出音频和/或视频内容，但是辅助设备不需要具有这些组件和功能。例如，除了触觉输出之外，辅助设备可以具有视频输出、可以具有音频输出、可以具有视频和音频输出二者或者可以既没有视频输出也没有音频输出。进一步地，虽然以上所描述的主观看设备包括显示屏幕和声音设备以用于分别输出音频和视频内容，但是主观看设备可以可替换地仅输出音频内容(如，在没有视频内容的情况下的音乐)或者可以可替换地仅输出视频内容(如，在没有音频内容情况下的无声电影)或者可以包括分开的或有区别的显示以用于音频内容和视频内容中的每一者。此外，于此的实施方式描述了由辅助设备输出的触觉内容与由主观看设备输出的视频-音频内容相关联或者与由主观看设备输出的视频-音频内容有关。然而，在其中的另一实施方式中，触觉内容可能出于一目的而不得不吸引用户对辅助设备的注意，以鼓励辅助设备上的交互，而不考虑在主观看设备上显示的内容。例如，触觉内容可以具有广告目的。因而，本发明的宽度和范围不应当受到以上所描述的任何示例性实施方式的限制，而仅应当仅根据所附权利要求及其等价方案来定义。还应当理解的是于此所讨论的每一个实施方式和于此所陈述的每一个参考的每一个特性可以在与任何其他实施方式的特性的组合中使用。于此所讨论的所有专利和公开的全部通过引用的方式结合于此。