触觉空间化系统的制作方法
【专利说明】
[0001] 相关申请的交叉引用
[0002] 本申请要求2013年11月14日递交的序列号为61/904, 342的美国临时专利申请 的优先权，特此通过引用并入该申请的公开内容。
技术领域
[0003] 一个实施例概括而言涉及设备，更具体而言涉及产生触觉效果（hapticeffect) 的设备。
【背景技术】
[0004] 视频游戏和视频游戏系统已变得极为流行。视频游戏设备或控制器通常使用视觉 和听觉线索来向用户提供反馈。在ー些界面设备中，还向用户提供动觉反馈（例如作用力 和阻力反馈）和/或触感反馈（例如振动、纹理和热量），它们更概括而言被统称为"触觉 反馈"或"触觉效果"。触觉反馈可提供增强并简化用户与视频游戏控制器或其他电子设备 的交互的线索。具体而言，振动效果或者说振动触感触觉效果在向视频游戏控制器或其他 电子设备的用户提供线索以就特定事件提醒用户或者提供逼真的反馈以产生在仿真或虚 拟环境内的更强的感官沉浸方面可能是有用的。
[0005] 用户在其中与用户输入元件交互以引起动作的其他设备，例如医疗设备、汽车控 制器、遥控器和其他类似设备，也受益于触觉反馈或触觉效果。作为示例而非限制，医疗设 备上的用户输入元件可被用户在医疗设备的近端部在患者的身体外加以操作以在医疗设 备的远端处在患者的身体内引起动作。可以使用触觉反馈或触觉效果来就特定事件提醒用 户，或者向用户提供关于医疗设备在医疗设备的远端与患者的交互的逼真反馈。
【发明内容】
[0006] -个实施例是ー种控制在外围设备处体验到的触觉效果的系统。该系统接收包括 触觉数据的触觉效果定义。该系统还接收空间化数据，该空间化数据包括：触觉效果的距 离；触觉效果的方向；或者触觉效果的流动。该系统还包括基于接收到的空间化数据来修 改触觉效果定义。该系统还包括将触觉指令和经修改的触觉效果定义发送到外围设备。该 系统还包括使得一个或多个触觉输出设备响应于触觉指令在外围设备处产生基于经修改 的触觉效果定义的一个或多个触觉效果。
【附图说明】
[0007] 更多实施例、细节、优点和修改将通过以下要结合附图来理解的对优选实施例的 详细描述而变清楚。
[0008] 图1示出了根据本发明的一个实施例的系统的框图。
[0009] 图2根据本发明的实施例示出了一种控制器。
[0010] 图3根据本发明的实施例示出了图2的控制器的另ー视图。
[0011] 图4根据本发明的实施例示出了控制器结合主机计算机和显示器的框图。
[0012] 图5根据本发明的实施例示出了系统的空间化触觉效果软件栈的框图。
[0013] 图6根据本发明的实施例示出了用于设计空间化触觉效果的示例用户界面。
[0014] 图7根据本发明的实施例示出了用于设计空间化触觉效果的组件的框图。
[0015] 图8根据本发明的实施例示出了用于创作用于直接重放的空间化触觉效果的组 件的框图和用于保存该空间化触觉效果的组件的框图。
[0016] 图9根据本发明的实施例示出了用于创作用于交迭重放的空间化触觉效果的组 件的框图和用于保存该空间化触觉效果的组件的框图。
[0017] 图10根据本发明的实施例示出了用于直接播放空间化触觉效果的组件的框图。
[0018] 图11根据本发明的实施例示出了用于利用可编程的交迭来播放空间化触觉效果 的组件的框图。
[0019]图12根据本发明的实施例示出了空间化触觉效果的示例四声道直接重放。
[0020] 图13根据本发明的实施例示出了空间化触觉效果的示例交迭重放。
[0021] 图14根据本发明的实施例示出了空间化引擎的示例用户界面。
[0022] 图15根据本发明的实施例示出了触觉效果应用编程接ロ的体系结构图。
[0023]图16根据本发明的实施例示出了产生空间化触觉效果的固件的体系结构图。
[0024] 图17根据本发明的实施例示出了用于控制器的示例方向性模型。
[0025] 图18根据本发明的实施例示出了空间化触觉效果固件栈的框图。
[0026] 图19根据本发明的实施例示出了提供在控制器的触发器处体验到的空间化触觉 效果的系统的体系结构图。
[0027] 图20根据本发明的实施例示出了用于预览和修改空间化触觉效果的示例用户界 面。
[0028]图21根据本发明的实施例示出了用于将音频信号转换成空间化触觉效果的示例 用户界面。
[0029]图22根据本发明的实施例示出了预览空间化触觉效果的系统的体系结构图。
[0030]图23根据本发明的实施例示出了产生空间化触觉效果的系统的体系结构图。
[0031]图24根据本发明的实施例示出了产生空间化触觉效果的固件的体系结构图。
[0032] 图25根据本发明的实施例示出了示例音频体系结构。
[0033]图26根据本发明的实施例示出了将音频效果转换成空间化触觉效果的示例音频 驱动器。
[0034] 图27根据本发明的实施例示出了駐留在API或库中的示例空间化引擎。
[0035] 图28根据本发明的实施例示出了駐留在控制器中的示例空间化引擎。
[0036] 图29根据本发明的实施例示出了示例空间化触觉效果。
[0037] 图30根据本发明的另ー实施例示出了示例空间化触觉效果。
[0038] 图31根据本发明的实施例示出了示例空间化触觉效果。
[0039] 图32根据本发明的另ー实施例示出了示例空间化触觉效果。
[0040] 图33根据本发明的另ー实施例示出了示例空间化触觉效果。
[0041] 图34根据本发明的另ー实施例示出了示例空间化触觉效果。
[0042] 图35根据本发明的另ー实施例示出了示例空间化触觉效果。
[0043] 图36根据本发明的另ー实施例示出了示例空间化触觉效果。
[0044] 图37根据本发明的另ー实施例示出了示例空间化触觉效果。
[0045] 图38根据本发明的另ー实施例示出了示例空间化触觉效果。
[0046] 图39根据本发明的另ー实施例示出了示例空间化触觉效果。
[0047] 图40根据本发明的另ー实施例示出了示例空间化触觉效果。
[0048] 图41根据本发明的另ー实施例示出了示例空间化触觉效果。
[0049] 图42根据本发明的实施例示出了基于触觉效果的方向在致动器之间分布触觉效 果的示例。
[0050] 图43根据本发明的实施例示出了触觉空间化模块的功能的流程图。
【具体实施方式】
[0051] 一个实施例是ー种提供在诸如游戏控制器或游戏手柄之类的外围设备处体验到 的触觉反馈的系统。在一实施例中，空间化引擎可接收触觉数据，例如触觉效果定义，并且 可基于空间化数据来修改触觉数据，其中空间化数据可包括ー个或多个參数。从而，空间化 引擎可局部化或空间化触觉效果。更具体而言，空间化引擎可通过基于触觉效果的位置、距 离、速度、流动和/或方向在致动器或马达上缩放或衰减触觉效果来产生表达触觉效果的 位置、距离、速度、流动和/或方向的触觉效果。相关领域的普通技术人员将明白，通过"衰 減"触觉效果，空间化引擎可基于触觉效果的期望位置、距离、速度、流动和/或方向来减小 触觉效果的幅度、频率和/或持续时间。空间化引擎还可通过在不同的致动器或马达上延 迟触觉效果的回放或者缩放触觉效果来产生在控制器、游戏手柄或其他外围设备上表达运 动的触觉效果。空间化引擎可以是API或库的组件，或者可以在用于控制器、游戏手柄或其 他外围设备的固件中实现。
[0052] 在一个实施例中，空间化引擎可接收触觉效果定义。空间化引擎可基于ー个或多 个空间化參数来修改触觉效果定义，其中经修改的触觉效果定义可被标识为空间化触觉效 果定义。在一个实施例中，空间化触觉效果定义可被划分成多个空间化触觉效果定义成分 (component)，其中苺个空间化触觉效果定义成分可被发送到外围设备的单独的致动器或 马达，其中每个致动器或马达可使得整体空间化触觉效果的成分在外围设备的用户输入 元件或者否则在外围设备内被体验到。空间化引擎可基于空间化数据，例如ー个或多个空 间化參数，来缩放或延迟空间化触觉效果定义成分中的ー个或多个。在另ー实施例中，空间 化触觉效果定义可被发送到外围设备的每个致动器或马达，其中每个致动器或马达可使得 空间化触觉效果在外围设备的用户输入元件或者否则在外围设备内被体验到。空间化引擎 还可基于空间化数据，例如ー个或多个空间化參数，来缩放或延迟空间化触觉效果中的一 个或多个。这种空间化參数可包括定义触觉效果的位置、距离、速度、流动和/或方向的一 个或多个參数。在一个实施例中，可基于外围设备的检测到的运动和/或位置来修改空间 化数据（例如，ー个或多个空间化參数）。例如，当外围设备被旋转或摇晃时，或者当外围设 备被移动到不同的位置时，空间化数据（例如，ー个或多个空间化參数）被修改。基于经修 改的空间化数据，空间化数据可进一歩修改触觉效果定义，以使得用户体验到经修改的空 间化触觉效果。经修改的空间化触觉效果的示例可包括具有经修改的衰减、缩放或延迟的 空间化触觉效果。
[0053] 在一个实施例中，触觉效果定义可被创作为包括多个触觉效果定义成分，空间化 引擎可修改触觉效果定义，其中触觉效果定义可被划分为所创作的多个触觉效果定义成 分，其中每个所创作的触觉效果定义成分可被发送到外围设备的単独的制动器或马达，其 中每个致动器或马达可使得整体触觉效果的成分在外围设备的用户输入元件或者否则在 外围设备内被体验到。这样，触觉效果可表达对空间化的感觉。在替换实施例中，取代将空 间化触觉效果定义（或多个空间化触觉效果定义成分）发送到外围设备的多个制动器或马 达，空间化引擎可将空间化触觉效果定义（或多个空间化触觉效果定义成分）发送给多个 外围设备。在替换实施例中，外围设备可以是可穿戴触觉设备，而不是控制器或游戏手柄， 其中可穿戴触觉设备是用户可穿在身上或者可由用户保持的设备，例如腕带、头带、眼镜、 戒指、腿带、集成到衣服中的阵列，以及包括生成触觉效果的机构的设备。
[0054] 图1示出了根据本发明的一个实施例的系统10的框图。在一个实施例中，系统10 是设备（例如，个人计算机或控制台，例如视频游戏控制台）的一部分，并且系统10为该设 备提供触觉触发控制功能。在另ー实施例中，系统10与设备（例如，个人计算机或控制台） 分离，并且为设备远程地提供上述功能。虽然被示为单个系统，但系统10的功能可实现为 分布式系统。系统10包括总线12或用于传输信息的其他通信机制，以及可操作地耦合到 总线12用于处理信息的处理器22。处理器22可以是任何类型的通用或专用处理器。系统 10还包括存储器14,用于存储信息和处理器22要执行的指令。存储器14可包括随机访问 存储器（"RAM"）、只读存储器（"ROM"）、诸如磁盘或光盘之类的静态存储装置或者任何其 他类型的计算机可读介质的任何组合。
[0055] 计算机可读介质可以是任何可被处理器22访问的可用介质并且可包括易失性介 质和非易失性介质、可移除介质和不可移除介质、通信介质以及存储介质。通信介质可包 括计算机可读指令、数据结构、程序模块或者经调制的数据信号（例如载波或其他传输机 制）中的其他数据，并且可包括本领域中已知的任何其他形式的信息输送介质。存储介质 可包括RAM、闪存、ROM、可擦除可编程只读存储器（"EPROM"）、电可擦除可编程只读存储器 ("EEPR0M"）、寄存器、硬盘、可移除盘、致密盘只读存储器（"⑶-ROM"）或者本领域已知的 任何其他形式的存储介质。
[0056] 在一个实施例中，存储器14存储在被处理器22执行时提供功能的软件模块。这 些模块包括为系统10以及在一个实施例中为整个设备的其余部分提供操作系统功能的操 作系统15。这些模块还包括生成在外围设备处体验到的空间化触觉效果的触觉空间化模块 16。在某些实施例中，触觉空间化模块16可包括多个模块，其中每个模块提供用于生成在 外围设备处体验到的空间化触觉效果的特定个体功能。系统10通常将包括一个或多个额 外的应用模块18以包括额外的功能，例如可为外围设备（例如控制器30)提供控制功能的 外围固件。
[0057] 系统10在从远程源发送和/或接收数据的实施例中还包括通信设备20,例如网络 接ロ卡，以提供移动无线网络通信，例如红外、无线电、Wi-Fi或蜂窝网络通信。在其他实施 例中，通信设备20提供有线网络连接，例如以太网连接或调制解调器。
[0058] 系统10可操作地连接到控制器30。控制器30是用于向系统10提供输入的外围 设备。控制器30可利用无线连接或有线连接来可操作地连接到系统10。控制器30还可包 括本地处理器，该处理器可利用无线连接或有线连接来与系统10通信。或者，控制器30可 被配置为不包括本地处理器，并且与控制器30相关联的所有输入信号和/或输出信号可直 接由系统10的处理器22来应对和处理。
[0059] 控制器30还可包括ー个或多个数字按钮、ー个或多个模拟按钮、一个或多个减震 器、ー个或多个方向手柄、一个或多个模拟或数字摇杆、ー个或多个驱动轮和/或可与用户 交互并且可向系统10提供输入的一个或多个用户输入元件。控制器30还可包括一个或多 个模拟或数字触发按钮（或"触发器"），用户可进一步与这些按钮交互并且这些按钮可进 一歩向系统10提供输入。如下文更详细描述的，控制器30还可包括被配置为向控制器30 的至少ー个触发器施加双向推/拉机的马达或者另ー类型的致动器或触觉输出设备。
[0060] 控制器30还可包括一个或多个致动器或者其他类型的触觉输出设备。控制器30 的本地处理器或者在控制器30不包括本地处理器的实施例中的处理器22可以向控制器30 的至少ー个致动器发送与触觉效果相关联的触觉信号。致动器进而响应于触觉信号而输出 诸如振动触感触觉效果、动觉触觉效果或者形变触觉效果之类的触觉效果。在控制器30的 用户输入元件处（例如，数字按钮、模拟按钮、减震器、方向手柄、模拟或数字摇杆、驱动轮 或触发器）可体验到这些触觉效果。或者，可在控制器30的外表面处体验到这些触觉效果。 致动器包括致动器驱动电路。致动器可以例如是电动马达、电磁致动器、音圈、形状记忆合 金、电活性聚合物、螺线管、偏心旋转质量马达（"ERM"）、线性谐振致动器（"LRA"）、压电 致动器、高带宽致动器、电活性聚合物（"EAP"）致动器、静电摩擦显示器或者超声振动发生 器。致动器是触觉输出设备的示例，其中触觉输出设备是被配置为响应于驱动信号而输出 触觉效果的设备，例如振动触感触觉效果、静电摩擦触觉效果、动觉触觉效果或者形变触觉 效果。在替换实施例中，控制器30内的一个或多个致动器可被某种其他类型的触觉输出设 备所替代。
[0061] 控制器30还可包括一个或多个扬声器。控制器30的本地处理器或者在控制器 30不包括本地处理器的实施例中的处理器22可向控制器30的至少ー个扬声器发送音频 信号，这些扬声器进而输出音频效果。扬声器可以例如是动态扬声器、电动カ扬声器、压电 扬声器、磁致伸缩扬声器、静电扬声器、带状和平面状磁性扬声器、弯曲波扬声器、平板扬声 器、海耳气动换能器、等离子弧扬声器和数字扬声器。
[0062] 控制器30还可包括一个或多个传感器。传感器可被配置为检测某种形式的能量 或者其他物理属性，例如但不限于声音、运动、加速度、生物信号、距离、流动、力/压力/应 变/弯曲、湿度、线性位置、取向/傾斜、射频、旋转位置、旋转速度、开关的操纵、温度、振动 或者可见光强度。传感器还可被配置为将检测到的能量或者其他物理属性转换成电信号或 者任何表示虚拟传感器信息的信号，并且控制器30可将经转换的信号发送到控制器30的 本地处理器或者在控制器30不包括本地处理器的实施例中发送到处理器22