处体验到的触觉效果的可视化。用户可编辑在控制器的每个针对性马达、针对性致 动器、轰鸣马达或轰鸣致动器处体验到的触觉效果的缩放，以及编辑触觉效果的源的缩放。
[0131] 图21根据本发明的实施例示出了用于将音频信号转换成触觉效果的示例用户界 面2100。根据该实施例，触觉效果设计可成为被包含到用户界面2100中的音频设计过程的 一部分。更具体而言，在用户界面2100内显示的音频效果定义3-8可被转换成触觉效果定 义，其中触觉效果定义可被导出。
[0132] 图22根据本发明的实施例示出了预览空间化触觉效果的系统（例如图1的系统 10)的体系结构图。该系统包括用户界面2200。在一个实施例中，用户界面2200是Qt用 户界面，其中Qt是跨平台应用和用户界面框架。系统还包括适配器层2210。系统还包括触 发API层2220。系统还包括触发固件层2230。
[0133] 用户界面2200包括绘图器2201。绘图器2201取得由用户指定的触觉效果定义 作为输入，并且将触觉效果定义内包括的触觉数据通过适配器层2210发送到触发API层 2220。触发API层2220发回个体通道数据，绘图器2201在用户界面2200内显示该个体通 道数据。渲染器2202从控制器⑶I2203取得输入并且开始触觉播放器渲染循环。输入被 路由经过适配器层2210,适配器层2220具有与触发API层2213的回调设置以中继从控制 器2214发送的控制器输入2413 (例如按钮和触发输入）。在渲染循环正在运行以更新用 户界面2200的同时，适配器层2210也可与绘图器2201通信。控制器⑶I2203也可利用 控制器选择器2212来选择控制器2214,并且可以示出连接了什么。控制器⑶I2203还可 设置触发激活点。另外，导入器/导出器2204可取得输入音频文件并且将它们转换成触觉 文件。在一个实施例中，音频文件是WAV文件。另外，适配器层2210可被嵌入在用户界面 2200内，或者可以是单独的库。当适配器层2210是单独的库时，适配器层2210可以是单独 的C++库。
[0134]图23根据本发明的实施例示出了产生空间化触觉效果的系统（例如图1的系统 10)的体系结构图。系统包括游戏应用2300(在图23中标识为"游戏2300"）。游戏应用 2300包括一组计算机可读指令，这些指令在软件游戏或其他类型的软件应用的情境中管理 由控制器、游戏手柄或其他外围设备提供的输入。在一个实施例中，游戏应用2300包括触 觉效果库2301，其中触觉效果库2301包括ー个或多个触觉效果定义。
[0135] 系统还包括触觉引擎2310。触觉引擎2310是高级别API，其可利用低级别API来 执行触觉效果的播放，以及将触觉效果添加到游戏应用2300。触觉引擎2310可以加载、开 始、停止和渲染触觉效果。触觉引擎2310可与触觉效果解析器2320相接ロ以解析/获得 关于触觉效果的信息。触觉引擎2310还可与触觉混合器2330相接ロ以开始或停止效果以 及修改混合器缓冲器。触觉引擎2310还可与触觉设备处理装置2350相接ロ以获得控制 器、游戏手柄或其他外围设备的设备句柄，并且在控制器、游戏手柄或其他外围设备上渲染 触觉效果。
[0136] 系统还包括触觉效果解析器2320。触觉效果解析器2320包括一API，该API中可 在存储器中加载触觉效果，验证其格式，并且获得关于该触觉效果的信息，例如大小、持续 时间和触觉数据。系统还包括触觉混合器2330。触觉混合器2330支持同时重放多个触觉 效果。系统还包括触觉设备处理装置2340。触觉设备处理装置2340可发起并管理与控制 器、游戏手柄或其他外围设备的通信。触觉设备处理装置2340可与通用串行总线（"USB"） 通信层相接ロ并且获得控制器、游戏手柄或其他外围设备的设备句柄。触觉设备处理装置 2340还可初始化对于触觉效果重放关键的若干个状态机结构。
[0137] 系统还包括触发触觉报告处理装置2350。触发触觉报告处理装置2350可根据触 发通信协议将触觉数据封装到USBHID封包中。系统还包括平台遵从USBHID库2360。平 台遵从USBHID库2360包括一个或多个计算机可读例程以与控制器、游戏手柄或其他外围 设备的USBHID和蓝牙HID类相接ロ。系统还包括外围固件2370(在图23中标识为"游戏 手柄固件2370"）。外围固件2370是用于控制器、游戏手柄或其他外围设备的固件。系统 还包括外围输入读取器2380 (在图23中标识为"游戏手柄输入读取器2380"）。外围输入 读取器2380接收控制器、游戏手柄或其他外围设备发送的外围输入。外围输入读取器2380 还解释外围输入并且将外围输入发送到游戏应用2300。
[0138]图24根据本发明的实施例示出了产生空间化触觉效果的固件的体系结构图。固 件体系结构可以使得固件模块化，可以将硬件无关组件与硬件相关组件分离开来，并且可 以使得从ー个微计算机単元到另ー个微计算机単元的移植更容易。硬件无关层可通过功能 指针与硬件相关层通信。可基于实现模板来将硬件相关层移植到另ー微控制器単元。所有 硬件相关例程可与板配置文件相接ロ，该文件可给出具有不同端ロ/按钮定义的硬件的内 部样子。
[0139] 图24包括主机软件2400 (在图24中标识为"主机SW2400")。主机软件2400包 括一组计算机可读指令，这些指令在软件游戏或其他类型的软件应用的情境中管理由控制 器、游戏手柄或其他外围设备提供的输入。主机软件2400可以在软件空间内。图24还包括 USBHID处理装置2405。USBHID处理装置2405可以是控制器、游戏手柄或其他外围设备 与主机软件2400之间的所有通信的主入口点。USBHID处理装置2405可包括ー个或多个 计算机可读函数或例程来根据触发通信协议对诸如触觉数据之类的数据进行编码/解码。 USBHID处理装置2405还可存储所有USB描述符和例程以处理USB通信。USBHID处理装 置2405可在固件空间内。
[0140] 图24还包括通信接ロ 2410。通信接ロ 2410可解析传入的封包并且调用命令处理 装置2415来采取适当的动作。图24还包括命令处理装置2415。命令处理装置2415可包 括一个或多个计算机可读函数或例程来处理支持致动器上的触觉重放的触发协议所支持 的命令。图24还包括触觉驱动处理装置2420。触觉驱动处理装置2420可更新触觉重放引 擎的状态，更新致动器的驱动值并且控制致动器。触觉驱动处理装置2420可通过函数指针 机制与硬件相关定时器处理装置2435和致动器控件2425相接ロ。通信接ロ 2410、命令处 理装置2415和触觉驱动处理装置2420可以都在固件空间内。
[0141] 图24还包括致动器控件2425 (在图24中标识为"致动器驱动控制2425 ")。致动 器控件2425可控制致动器并设定驱动值。致动器控件2425可包括一个或多个计算机可读 函数或例程来与脉冲宽度调制生成単元相接ロ并且与致动器驱动器芯片相接ロ。图24还 包括控制器输入读取器2430(在图24中标识为"游戏手柄输入读取器2430"）。控制器输 入读取器2430可与平台相关输入读取器2440相接ロ以获得控制器、游戏手柄或其他外围 设备的不同输入的状态，封装这些输入，并且将这些输入发送到通信接ロ 2410以被进一歩 发送到主机软件2400。图24还包括定时器处理装置2435。定时器处理装置2435是硬件 相关层，该层可对负责生成周期性中断以调用为致动器更新驱动值的例程的定时器进行控 制。图24还包括输入读取器2440。输入读取器2440是能够获得控制器、游戏手柄或其他 外围设备的所有电位计和数字输入的状态的硬件相关层。图24还包括外围和接ロ驱动器 2450。外围和接ロ驱动器2450可包括一个或多个计算机可读函数或例程来控制通信接ロ 和硬件外围设备。致动器控件2425、控制器输入读取器2430、定时器处理装置2435、输入读 取器2440和外围和接ロ驱动器2450全都可以在固件空间内。
[0142] 图24还包括微控制器単元2460,其可包括组件，例如计算机处理单元2461、USB 2462、中断控制器2463、定时器外设2464和其他外设2465。这些组件的功能是相关领域 普通技术人员已知的。图26还包括控制器硬件2470 (在图24中标识为"游戏手柄硬件 2470")。控制器硬件2470的功能也是相关领域普通技术人员已知的。微控制器単元2460 和控制器硬件2470全都可以在固件空间内。另外，通信接ロ 2410、命令处理装置2415、触 觉驱动处理装置2425和控制器输入读取器2430全都可以是硬件无关组件，而USBHID处 理装置2405、致动器控件2425、定时器处理装置2435、输入读取器2440、外围和接ロ驱动器 2450、微控制器単元2460和控制器硬件2470全都可以是硬件相关组件。
[0143] 在一个实施例中，控制器、游戏手柄或其他外围设备可具有定制的协议，用于表达 触觉数据并且用于驱动个体马达或致动器。因此，可以提供ー种音频驱动器，其从音频创作 组件接收包括以音频效果定义的形式创作的触觉效果的音频文件，并且将音频文件内包括 的音频数据发送到控制器、游戏手柄或其他外围设备。在一个实施例中，音频创作组件800 可以是由AvidTechnology,Inc?出品的"Pro Tools?"产品。音频驱动器可在启动过 程期间被加载。音频驱动器可暴露必要数目的音频通道以便使得触觉效果定义有可能使用 控制器、游戏手柄或其他外围设备中的所有马达或致动器。音频驱动器还可在用户空间中 工作，并且可以是所有用户空间音频编辑/重放应用可访问的。音频驱动器还可读取音频 创作组件发送到控制器、游戏手柄或其他外围设备的音频数据。音频驱动器还可对所呈现 的音频数据执行必要的处理并且可将音频数据转换成触觉数据，例如致动器驱动值。音频 驱动器还可通过通信接ロ将触觉数据传输到控制器、游戏手柄或其他外围设备。
[0144] 根据该实施例，控制器、游戏手柄或其他外围设备可包括四个致动器。两个致动器 可用作影响触发器上的触觉反馈的触发致动器。触发致动器可以是双向的。对于触发致动 器可以发生两种方向事件：推（PUSH)和拉（PULL)。推和拉方向可以是相对于用户在触发 器上的手指的。两个其他致动器可用作影响控制器、游戏手柄或其他外围设备内的一般触 觉反馈或轰鸣反馈的轰鸣致动器。轰鸣致动器可以是单向的。更具体而言，轰鸣致动器可 以在顺时针方向或逆时针方向上旋转，但不在两个方向上旋转。运动的方向可以依从于控 制器和/或控制器的驱动电子装置。
[0145] 在此实施例中，对于音频驱动器可以选择以下通道布局。
【主权项】
1. 一种用于控制在外围设备的用户输入元件处体验到的触觉效果的由计算机实现的 方法，所述由计算机实现的方法包括： 接收包括触觉数据的触觉效果定义； 接收包括以下各项中的至少一者的空间化数据：所述触觉效果的位置；所述触觉效果 的距离；所述触觉效果的速度；所述触觉效果的方向；和所述触觉效果的流动； 基于接收到的空间化数据来修改所述触觉效果定义； 将触觉指令和经修改的触觉效果定义发送到所述外围设备；以及 使得一个或多个触觉输出设备响应于所述触觉指令在所述外围设备处基于经修改的 触觉效果定义产生一个或多个触觉效果。
2. 如权利要求1所述的由计算机实现的方法， 其中，修改触觉效果定义包括将所述触觉效果定义划分成一个或多个触觉效果定义成 分； 其中，发送触觉指令和经修改的触觉效果定义包括将所述一个或多个触觉效果定义成 分发送到所述外围设备； 其中，使得一个或多个触觉输出设备基于经修改的触觉效果定义产生一个或多个触觉 效果包括使得所述一个或多个触觉输出设备基于所述一个或多个触觉效果定义成分来产 生所述一个或多个触觉效果。
3. 如权利要求2所述的由计算机实现的方法，还包括： 基于所述空间化数据来对以下各项中的至少一者进行缩放：至少一个触觉效果定义成 分的触觉数据的幅度；至少一个触觉效果成分的触觉数据的频率；和至少一个触觉效果成 分的触觉数据的持续时间。
4. 如权利要求2所述的由计算机实现的方法，还包括： 基于所述空间化数据来对以下各项中的至少一者进行衰减：至少一个触觉效果定义成 分的触觉数据的幅度；至少一个触觉效果定义成分的触觉数据的频率；和至少一个触觉效 果定义成分的触觉数据的持续时间。
5. 如权利要求2所述的由计算机实现的方法，还包括： 使得至少一个触觉输出设备基于所述空间化数据来延迟至少一个触觉效果的重放。
6. -种用于控制在外围设备处体验到的触觉效果的系统，该系统包括： 存储器，被配置为存储触觉空间化模块；以及 处理器，被配置为执行存储在所述存储器上的所述触觉空间化模块； 其中，所述处理器当执行所述触觉空间化模块时被配置为接收包括触觉数据的触觉效 果定义； 其中，所述处理器当执行所述触觉空间化模块时还被配置为接收包括以下各项中的至 少一者的空间化数据：所述触觉效果的位置；所述触觉效果的距离；所述触觉效果的速度； 所述触觉效果的方向；和所述触觉效果的流动； 其中，所述处理器当执行所述触觉空间化模块时还被配置为基于接收到的空间化数据 来修改所述触觉效果定义； 其中，所述处理器当执行所述触觉空间化模块时还被配置为将触觉指令和经修改的触 觉效果定义发送到所述外围设备；并且 其中，所述处理器当执行所述触觉空间化模块时还被配置为使得一个或多个触觉输出 设备响应于所述触觉指令在所述外围设备处基于经修改的触觉效果定义产生一个或多个 触觉效果。
7. 如权利要求6所述的系统， 其中，所述处理器当执行所述触觉空间化模块时还被配置为将所述触觉效果定义划分 成一个或多个触觉效果定义成分； 其中，所述处理器当执行所述触觉空间化模块时还被配置为将所述一个或多个触觉效 果定义成分发送到所述外围设备； 其中，所述处理器当执行所述触觉空间化模块时还被配置为使得所述一个或多个触觉 输出设备基于所述一个或多个触觉效果定义成分来产生所述一个或多个触觉效果。
8. 如权利要求7所述的系统， 其中，所述处理器当执行所述触觉空间化模块时还被配置为基于所述空间化数据来对 以下各项中的至少一者进行缩放；至少一个触觉效果定义成分的触觉数据的幅度；至少一 个触觉效果成分的触觉数据的频率；和至少一个触觉效果成分的触觉数据的持续时间。
9. 如权利要求7所述的系统， 其中，所述处理器当执行所述触觉空间化模块时还被配置为基于所述空间化数据来对 以下各项中的至少一者进行衰减；至少一个触觉效果定义成分的触觉数据的幅度；至少一 个触觉效果定义成分的触觉数据的频率；和至少一个触觉效果定义成分的触觉数据的持续 时间。
10. 如权利要求7所述的系统， 其中，所述处理器当执行所述触觉空间化模块时还被配置为使得至少一个触觉输出设 备基于所述空间化数据来延迟至少一个触觉效果的重放。
【专利摘要】涉及触觉空间化系统。提供了一种控制在外围设备处体验到的触觉效果的系统。该系统接收包括触觉数据的触觉效果定义。该系统还接收空间化数据，该空间化数据包括：触觉效果的距离；触觉效果的方向；或者触觉效果的流动。该系统还包括基于接收到的空间化数据来修改触觉效果定义。该系统还包括将触觉指令和经修改的触觉效果定义发送到外围设备。该系统还包括使得一个或多个触觉输出设备响应于触觉指令在外围设备处基于经修改的触觉效果定义产生一个或多个触觉效果。
【IPC分类】A63F13-428, A63F13-285, A63F13-24, A63F13-42
【公开号】CN104623897
【申请号】CN201410641886
【发明人】H·达考斯塔, R·拉克罗伊克斯, D·格兰特, S·D·兰克, D·布瑞恩巴姆, W·瑞赫恩
【申请人】意美森公司
【公开日】2015年5月20日
【申请日】2014年11月13日
【公告号】EP2873446A1, US20150130707