本申请要求于2017年1月4日提交的题为“三维仿真系统”的美国临时专利申请第62/442,297号的优先权，其通过引用并入本文。
技术领域
本公开涉及仿真，并且特别涉及允许用户通过运动和语音命令与系统交互的多模式用户接口。
背景技术：
在玩虚构或虚拟乐器的同时在交通工具中唱歌是司机和其他乘客自娱自乐的流行方式。即使乘客经常受到安全带的限制，他们仍然可以在交通工具内四处移动，并且玩虚构乐器，或者按照节奏敲击手指，或者通过“冲击空气”强调和弦。虽然这种行为可能是有趣的，但也减少了损害精神处理和决策从而增加事故风险的驾驶员疲劳。
附图说明
参考以下附图和描述可以更好地理解本公开。附图中的组件不一定按比例绘制，而是将重点放在说明本公开的原理上。此外，在附图中，贯穿不同的视图，相同的附图标记指定相应的部分。
图1是将用户交互转换成虚拟环境中的动作的多模式用户接口的俯视示意图。
图2是将用户交互转换成虚拟环境中的动作的多模式用户接口。
图3是传输听觉、视觉和触觉输出的多模式用户接口。
图4是将用户交互转换成虚拟环境中的动作的第二多模式用户接口的框图。
图5是将用户交互转换成虚拟环境中的动作的第二多模式用户接口的框图。
具体实施方式
多模式用户接口提供了控制交通工具中的应用的自然、高效且简单的方法。接口以直观的方式与有形和虚拟技术进行交互，与传统的依赖诸如键盘和鼠标的物理输入的方法不同，允许用户通过自然的人机交互或运动来控制诸如合成器或交通工具的应用。多模式接口允许双向通信，允许应用程序接收用户的交互作为输入，并且用户通过感觉、声音(例如触觉反馈)和/或二维或三维视觉系统接收可感知的响应。与传统接口不同，多模式用户接口一次接收并处理多个虚拟输入，允许接口服务于两个或更多个同时运行的应用。多模式接口是独立于应用的，并且处理不显眼且完全不依赖于靠近来操作的传感器输入的阵列。
图1是将用户交互转换成交通工具100内呈现的虚拟环境中的动作的多模式用户接口的俯视图。虽然示出为交通工具100的单一部分，但其可以是图1的交通工具的附件或组件部分。在交通工具100中，驾驶员和一个或多个副驾驶员(未示出)或其他乘客的运动和话语被各种传感器捕获。超声波、视觉和声音通过基于视觉和波的方法追踪运动、手和手臂姿势、语音。在图1中，超声波传感器104A至104D发送高频声音脉冲108A至108D，该高频声音脉冲108A至108D不能被听到，但反射出人和物体。内置的接收器测量反射或发送回的回声的时间周期，允许传感器确定运动的速度、变化率(例如加速度)和方向。视频设备102A和102B检测、追踪、识别并且在一些系统中补充对通过超声波传感器追踪的手和手臂运动或语音(例如，通过嘴唇运动)的检测。尽管一些系统通过诸如射频识别标签(RFID)手套的编码手套来检测和追踪运动，但是在图1中，一些多模式用户接口使用基于外观的技术来从视频显示设备102A和102B呈现的图像中提取图像特征以对嘴唇、手和手臂姿势的视觉外观进行建模。在图1中，麦克风信号被麦克风110A和110B捕获，并且换能器204A至204D将电信号转换成听觉信号。
在图2中，特征提取模块204例如通过时空相关性来检测、追踪和识别姿势和运动，包括诸如当驾驶员或乘客假装演奏空气吉他的连奏和独奏的行为时的仿真。在图2的示例性多模式用户接口中，由视频设备102A和102B呈现的视频帧或视觉数据202的至少两个连续帧被存储在存储器中的具有位置数据的可伸缩队列中。第一图像帧被指定为前一帧，而第二图像帧被指定为当前帧。通过相似性或相干性检测器，例如，从先前帧到当前帧分别确定手臂、手、嘴唇或头部穿过空间和时间的位置之间的差异以呈现动态手、手臂、姿势以及语音(通过唇读)检测、运动方向、加速度和/或两个视频帧或视觉数据之间的空间关系。另外，或者在替代系统中，通过被超过预定阈值的级别激活的触发器来识别检测和方向。并且，在一些多模式用户接口系统的另一替代或补充中，包括识别不应用特征检测的触摸和运动的压力或触摸传感器的阵列。运动的速度、加速度和方向也可以通过来自超声波传感器104A和104D的超声波数据206同时追踪。
在图2中，源自外部传感器(诸如作为无线设备(未示出)的一部分的加速度计或全球定位传感器)的外部数据208例如用于识别交通工具10的状态(例如停车、加速、以公路速度行驶)和/或用户的运动。例如，如果加速度计受到非常快速的瞬态运动的影响，诸如模拟非常快速的周期性上下运动的运动，该运动导致用户的手或手臂来回移动或在短的预定时段内紧靠一个位置快速移动，则可以通过将外部传感器数据206中表示的重复的周期性运动与存储在存储器中的特征包表示进行比较来识别空中击鼓(air drumming)。还处理音频数据210以通过自动语音识别模块(未示出)和生成声音的物理接触(诸如手迅速撞击表面，接着快速重新发音)来识别语音。声音可以包括将通过与一个物理表面接触生成的声音与从与另一个物理表面接触生成的声音区分开来的音标。在图2中，诸如从方向盘、仪表板或控制台感测到的压力传感器数据的其它传感器数据212也被及时地处理和监视，以确定和分类一个或多个连续或不连续运动的大小和方向。
在图2中，使用触摸、声音和高频波、视觉系统和/或传感器多模式用户接口可以检测头部214、姿势216和音频218，其可以由独立于应用的软件平台220处理。使用基于规则的过程，由特征提取模块204检测到的识别的动作可以生成电子信号，其可以模仿或呈现虚拟乐器如重金属电吉他、电钢琴、风琴、长笛、声乐等；或甚至像海浪等自然声音；或通过合成器应用生成新的电子音色。
合成器应用可以使用各种方法来生成电子信号(声音)。一些波形合成应用包括减法合成、加法合成、波表合成、频率调制合成、相位失真合成、物理建模合成和基于样本的合成。其它合成应用包括分谐波合成、经由分谐波和粒子合成的加法合成形式、基于声音颗粒的基于样本的合成，通常产生音景或云。虽然通常由音乐键盘生成，但是如通过多模式用户接口感测和处理的交通工具100的驾驶员或乘客的自然行为或运动来控制图2的合成器应用。
在图3中，多模式用户接口使用输入/输出处理器302来处理I/O转换和输出操作。输入/输出处理器专用于将音频304、视频306、传感器(例如触觉信号(hepatic signals))和外部输出中继到发射机312的时间敏感任务，其包括错误检测和控制、接收、传输和/或编码消息，并且在一些情况下，管理和运行外部设备。
图4是多模式用户接口的示意图。系统400是用于交通工具400中的示例系统。示例系统配置包括一个或多个麦克风110、两个或更多个音频换能器112、多模式用户接口处理器402、合成器处理器404和信号加法器406。一个或多个麦克风110可捕获与用户相关联的音频信号以及与信息娱乐源408相关联的信号，创建一个或多个捕获的音频信号410。合成器处理器312生成模仿其它声音或生成新电子音色的各种音频效果，其通过信号加法器406被添加到源自信息娱乐源408的信号。
图5是将用户交互转换成虚拟环境中的动作的第二多模式用户接口的框图。该系统包括处理器502、诸如存储器504的非暂态介质(其内容可由处理器502访问)和I/O接口506。图5的I/O接口506可以用于连接诸如例如附加麦克风、音频换能器或扬声器的设备，并且从其它本地源或远程源接收外部输入508。存储器504可以存储在由处理器502执行时使系统呈现如本文所述的与多模式用户接口相关联的一些或全部功能的指令。例如，存储器504可以存储在由处理器502执行时使系统呈现与音频合成404和多模式用户接口402相关联的功能的指令。另外，数据结构、临时变量和其它信息可以将数据存储在存储器504中。
处理器302、402和404可以包括可以被设置在单个芯片上、多个设备上或分布在多于一个的系统上的单个处理器或多个处理器。处理器302、402和404可以是执行计算机可执行指令或计算机代码的硬件，该计算机可执行指令或计算机代码体现在存储器504或其它存储器中以执行本文描述的系统的一个或多个特征。处理器302、402和404可以包括中央处理单元(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、数字电路、模拟电路、微控制器，任何其它类型的处理器或其任何组合。
所公开的存储器504或存储装置可以保留用于实现上述功能的可执行指令的有序列表。机器可读介质可以选择性地但不限于电子的、磁的、光学的、电磁的、红外的或半导体介质。机器可读介质的示例的非穷尽列表包括：便携式磁盘或光盘，诸如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)的易失性存储器，或数据库管理系统。存储器504可以包括可以设置在一个或多个专用存储器设备上或处理器或其它类似设备上的单个设备或多个设备。当功能或步骤被说成是“响应”或“响应于”功能或过程发生时，由于该功能或消息，设备功能或步骤必然发生。功能或行为仅仅跟随或发生在另一个之后是不够的。此外，当功能指示回声消除时，通过从发送或接收的信号中减去估计的回声来消除回声。在这里，音频换能器将一种形式的能量转换成听觉信号。
如本文所述，存储器504还可以存储可由音频合成处理器404、多模式用户接口402和输入/输出处理器302执行的计算机代码。计算机代码可以包括可由处理器402、404和302执行的指令。计算机代码可以用诸如C、C++、汇编语言、通道程序代码和/或计算机语言的任意组合的任何计算机语言来编写。存储器504可将信息存储在数据结构中，包括例如反馈和/或回声消除器系数，其呈现或估计回声信号级别。
附图中所示或所描述的功能、动作或任务可以响应于存储在非暂态计算机可读介质中或其上的一组或多组逻辑来执行。功能、动作或任务独立于指令集、存储介质、处理器或处理策略的具体类型，并且可以通过单独或组合操作的软件、硬件、集成电路、固件、微代码等来执行。在一个实施例中，指令被存储在可移动媒体设备上以供本地或远程系统读取。在其它实施例中，逻辑或指令被存储在远程位置中以通过计算机网络或通过无线或有形电话或通信线路传送。在其它实施例中，逻辑或指令可以存储在给定的计算机内，诸如例如CPU。
该系统和方法强化了语音并且在交通工具中没有失真或增加噪声的情况下对其进行了增强。交通工具可以包括但不限于：汽车、公共汽车、卡车、拖拉机、摩托车、自行车、三轮车、四轮车或其它自行车、船舶、潜艇、船只或其它水上工具、直升机、无人机、飞机或其它飞机、火车、有轨电车或其它有轨交通工具、空间飞机或其它航天器，以及任何其它类型的交通工具，不管是当前存在还是在此之后。换句话说，它包括用于运送人或物的设备或结构。
该系统和方法是完全自动化的，使得应用控制持续地适应用户在车厢内的自然交互。该系统减少了损害精神处理和决策能力从而增加事故风险的驾驶员疲劳。它以低延迟操作。该系统可以在其它汽车系统(诸如信息娱乐处理器和数字信号处理器或DSP)上或其内部实现，并与其它系统软件共存和通信。该系统易于快速适应不同的交通工具和客舱类型以及不同的声学环境配置。
对于本领域技术人员而言，通过查看附图和详细描述，其它系统、方法、特征和优点将是或将变得显而易见。所有这些附加的系统、方法、特征和优点旨在被包括在本说明书内，在本公开的范围内，并且由以下权利要求保护。