用于显示用户接口的系统和方法

用于显示用户接口的系统和方法
【专利摘要】本发明描述一种用于在电子装置上显示用户接口的方法。所述方法包含呈现用户接口。所述用户接口包含坐标系。所述坐标系基于传感器数据而对应于物理坐标。所述方法还包含提供允许选择所述坐标系的至少一个扇区的扇区选择特征。所述方法进一步包含提供允许编辑所述至少一个扇区的扇区编辑特征。
【专利说明】用于显示用户接口的系统和方法
[0001] 相关申请案
[0002] 本申请案涉及2012年10月12日申请的第61/713, 447号美国临时专利申请 案"用于映射坐标的系统和方法（SYSTEMS AND METHODS FOR MAPPING COORDINATES)"、 2012年10月15日申请的第61/714,212号美国临时专利申请案"用于映射坐标的系统 和方法（SYSTEMS AND METHODS FOR MAPPING C00RDINATES)"、2012年 4 月 13 日申请的 第61/624, 181号美国临时专利申请案"用于估计到达方向的系统、方法及设备（SYSTEMS， METHODS， AND APPARATUS FOR ESTIMATING DIRECTION OF ARRIVAL)"、2012年5月 4 日 申请的第61/642, 954号美国临时专利申请案"用于估计到达方向的系统、方法及设备 (SYSTEMS，METH0DS，AND APPARATUS FOR ESTIMATING DIRECTION OF ARRIVAL)"，及2012年 11月14日申请的第61/726, 336号美国临时专利申请案"用于估计到达方向的系统、方法 及设备（SYSTEMS，METHODS，AND APPARATUS FOR ESTIMATING DIRECTION OF ARRIVAL)" 且 主张所述申请案的权益。

【技术领域】
[0003] 本发明大体上涉及电子装置。更具体来说，本发明涉及用于显示用户接口的系统 和方法。

【背景技术】
[0004] 在过去几十年中，电子装置的使用已变得常见。具体来说，电子技术的进步已减少 越来越复杂且有用的电子装置的成本。成本减少和消费者需求已使电子装置的使用激增， 使得电子装置在现代社会中几乎无所不在。随着电子装置的使用已扩大，对电子装置的新 的和改进型特征的需求也扩大。更特定来说，较快速、较有效地执行功能或具有较高质量的 电子装置常常广受欢迎。
[0005] -些电子装置（例如，蜂窝式电话、智能电话、计算机等等）使用音频或话语信号。 这些电子装置可译码话语信号以用于存储或发射。举例来说，蜂窝式电话使用麦克风俘获 用户的语音或话语。麦克风将声信号转换为电子信号。此电子信号可接着经格式化（例如， 经译码）以用于发射到另一装置（例如，蜂窝式电话、智能电话、计算机等等）以用于回放 或用于存储。
[0006] 有噪声的音频信号可引起特定挑战。举例来说，计算音频信号可能降低所要的音 频信号的质量。如从本论述可看出，提高电子装置中的音频信号质量的系统和方法可为有 益的。


【发明内容】

[0007] 描述一种用于在电子装置上显示用户接口的方法。所述方法包含呈现用户接口。 所述用户接口包含坐标系。所述坐标系基于传感器数据而对应于物理坐标。所述方法还包 含提供允许选择所述坐标系的至少一个扇区的扇区选择特征。所述方法进一步包含提供允 许编辑所述至少一个扇区的扇区编辑特征。
[0008] 所述方法可包含显示由至少一个麦克风俘获的至少一个音频信号的方向性。所述 至少一个目标音频信号可包含话音信号。所述方法可包含显示对应于所述至少一个音频信 号的图标。显示图标可包含显示用于目标音频信号的图标和/或用于干扰音频信号的图 标。
[0009] 所述方法可包含传递在所述至少一个扇区内指示的音频信号。所述方法可包含衰 减未在所述至少一个扇区内指示的音频信号。所述方法可包含指示来自一或多个图像传感 器的图像数据。所述方法可包含传递基于所述一或多个扇区的图像数据。
[0010] 所述方法可包含显示对应于所述至少一个扇区的至少一个触摸点。所述方法还可 包含接收对应于所述至少一个触摸点的触摸输入。所述方法可进一步包含基于所述触摸输 入来编辑所述至少一个扇区。
[0011] 所述方法可包含使所述用户接口的至少一部分与参考平面对准。所述参考平面可 为水平的。对准所述用户接口的至少一部分可包含将二维极坐标图映射到三维显示空间 中。
[0012] 所述物理坐标可为地球坐标。所述物理坐标可表示独立于地球坐标的物理空间。 所述坐标系可维持独立于电子装置定向的定向。
[0013] 所述方法可包含辨识音频签名。所述方法还可包含在数据库中查找所述音频签 名。所述方法可进一步包含获得对应于所述音频签名的识别信息。所述方法可另外包含在 所述用户接口上显示所述识别信息。所述识别信息可为对应于所述音频签名的人的图像。 所述方法可包含提供固定模式及可编辑模式。所述方法可包含填补所选择的扇区。
[0014] 所述扇区选择特征及所述扇区编辑特征中的至少一者可基于单点触摸输入和/ 或多点触摸输入而操作。所述扇区选择特征可使得能够一次选择多个扇区。所述扇区编辑 特征可使得能够基于单点或多点触摸输入来调整所述扇区。所述扇区选择特征可基于一或 多个滑动输入。所述一或多个滑动输入可指示圆形区。所述一或多个滑动输入可为单一滑 动。
[0015] 还描述一种电子装置。所述电子装置包含显示器。所述显示器呈现用户接口。所 述用户接口包含坐标系。所述坐标系基于传感器数据而对应于物理坐标。所述显示器提供 允许选择所述坐标系的至少一个扇区的扇区选择特征。所述显示器还提供允许编辑所述至 少一个扇区的扇区编辑特征。
[0016] 还描述一种用于显示用户接口的计算机程序产品。所述计算机程序产品包含具有 指令的非暂时性有形计算机可读媒体。所述指令包含用于导致电子装置呈现用户接口的代 码。所述用户接口包含坐标系。所述坐标系基于传感器数据而对应于物理坐标。所述指令 还包含用于导致所述电子装置提供允许选择所述坐标系的至少一个扇区的扇区选择特征 的代码。所述指令进一步包含用于导致所述电子装置提供允许编辑所述至少一个扇区的扇 区编辑特征的代码。
[0017] 还描述一种用于显示用户接口的设备。所述设备包含用于呈现用户接口的装置。 所述用户接口包含坐标系。所述坐标系基于传感器数据而对应于物理坐标。所述设备还包 含用于提供允许选择所述坐标系的至少一个扇区的扇区选择特征的装置。所述设备另外包 含用于提供允许编辑所述至少一个扇区的扇区编辑特征的装置。

【专利附图】

【附图说明】
[0018] 图1展示多麦克风手持机的多个视图；
[0019] 图2A展示相对于麦克风对的平面波传播的远场模型；
[0020] 图2B展示线性阵列中的多个麦克风对；
[0021] 图3A展示针对四个不同到达方向（DOA)的解开的相位延迟对频率的曲线图；
[0022] 图3B展示针对图3A中所描绘的相同的四个不同到达方向的缠绕的相位延迟对频 率的曲线图；
[0023] 图4A展示两个DOA候选者的所测量的相位延迟值及所计算的值的实例；
[0024] 图4B展示沿着电视屏幕的顶部边缘布置的麦克风的线性阵列；
[0025] 图5A展示计算帧的DOA差的实例；
[0026] 图5B展示计算DOA估计的实例；
[0027] 图5C展示识别每一频率的DOA估计的实例；
[0028] 图6A展示使用所计算的似然度来识别针对给定频率的最佳麦克风对及最佳DOA 候选者的实例；
[0029] 图6B展示似然度计算的实例；
[0030] 图7展示偏压去除的实例；
[0031] 图8展示偏压去除的另一实例；
[0032] 图9展示在帧及频率上绘制所估计的DOA处的源活动性似然度的角度图的实例；
[0033] 图IOA展示扬声器电话应用的实例；
[0034] 图IOB展示在麦克风阵列的平面中逐对DOA估计到360°范围的映射；
[0035] 图IIA到B展示DOA估计中的模糊性；
[0036] 图IlC展示所观测的DOA的正负号与x-y平面的象限之间的关系；
[0037] 图12A到12D展示其中源位于麦克风平面上方的实例；
[0038] 图13A展示沿着非正交轴的麦克风对的实例；
[0039] 图13B展示使用图13A的阵列获得相对于正交的X及y轴的DOA估计的实例；
[0040] 图13C说明针对两个不同DOA的实例的不同阵列的麦克风处的并行波前到达之间 的关系；
[0041] 图14A到14B展示两对麦克风阵列的逐对归一化的波束成形器/零限波束成形器 (BFNF)的实例；
[0042] 图15A展示两对麦克风阵列；
[0043] 图15B展示逐对归一化的最小方差无失真响应（MVDR)BFNF的实例；
[0044] 图16A展示其中矩阵AhA不处于病态的频率的逐对BFNF的实例；
[0045] 图16B展示导向向量的实例；
[0046] 图17展示如本文所描述的源方向估计的一体化方法的一个实例流程图；
[0047] 图18到31展示如本文所描述的DOA估计、源鉴别及源跟踪的实际结果的实例；
[0048] 图32A展示电话设计，且图32B到32D展示与对应的可视化显示器一起在各种模 式中使用此类设计；
[0049] 图33A展示根据一般配置的方法MlO的流程图；
[0050] 图33B展示任务TlO的实施方案T12 ;
[0051] 图33C展示任务TlO的实施方案T14 ;
[0052] 图33D展示方法MlO的实施方案M20的流程图；
[0053] 图34A展示方法M20的实施方案M25的流程图；
[0054] 图34B展示方法MlO的实施方案M30的流程图；
[0055] 图34C展示方法M30的实施方案MlOO的流程图；
[0056] 图35A展示方法MlOO的实施方案MllO的流程图；
[0057] 图35B展示根据一般配置的设备A5的框图；
[0058] 图35C展示设备A5的实施方案AlO的框图；
[0059] 图3?展示设备AlO的实施方案A15的框图；
[0060] 图36A展示根据一般配置的设备MF5的框图；
[0061] 图36B展示设备MF5的实施方案MFlO的框图；
[0062] 图36C展示设备MFlO的实施方案MF15的框图；
[0063] 图37A说明使用装置来表示在所述装置的平面中的三维到达方向；
[0064] 图37B说明表示具有与定位在轴平面外部的点源非正交的轴的麦克风阵列的相 应响应的混淆锥的交叉点；
[0065] 图37C说明图37B的圆锥的相交的线；
[0066] 图38A展示音频预处理级的框图；
[0067] 图38B展示音频预处理级的三通道实施方案的框图；
[0068] 图39A展示包含用于指示到达方向的装置的设备的实施方案的框图；
[0069] 图39B展示由来自线性阵列的DOA估计的单向度产生的模糊性的实例；
[0070] 图39C说明混淆锥的一个实例；
[0071] 图40展示其中三个源相对于具有线性麦克风阵列的装置位于不同相应方向上的 扬声器电话应用中的源混淆的实例；
[0072] 图41A展示包含具有正交轴的两个麦克风对的2-D麦克风阵列；
[0073] 图41B展示包含多个任务的根据一般配置的方法的流程图；
[0074] 图41C展示在显示器上展示的DOA估计的实例；
[0075] 图42A展示I-D估计的正负号与由阵列轴界定的平面的对应象限之间的对应关系 的一个实例；
[0076] 图42B展示I-D估计的正负号与由阵列轴界定的平面的对应象限之间的对应关系 的另一实例；
[0077] 图42C展示元组（sign( θ x)，sign( Θ y))的四个值与平面的象限之间的对应关 系；
[0078] 图42D展示根据替代性映射的360度显示器；
[0079] 图43A展示类似于图41A但描绘其中源位于x-y平面上方的更一般的情况的实 例；
[0080] 图43B展示其轴界定X-y平面的2-D麦克风阵列及位于X-y平面上方的源的另一 实例；
[0081] 图43C展示其中点源在由阵列轴界定的平面上方升高的此一般情况的实例；
[0082] 图44A到44D展示（θ χ，Θ y)转换为阵列平面中的角度的推导；
[0083] 图44E说明投影p及仰角的角度的一个实例；
[0084] 图45A展示通过应用替代性映射而获得的曲线图；
[0085] 图45B展示与具有与共同点源非正交的轴X及r的线性麦克风阵列的响应相关联 的相交的混淆锥的实例；
[0086] 图45C展示圆锥的交叉点的线；
[0087] 图46A展示麦克风阵列的实例；
[0088] 图46B展示使用来自图46A中所示的阵列的观测（θ χ，Θ J相对于正交轴X及y 获得χ-y平面中的组合方向性估计的实例；
[0089] 图46C说明投影的一个实例；
[0090] 图46D说明从投影向量的维度确定值的一个实例；
[0091] 图46E说明从投影向量的维度确定值的另一实例；
[0092] 图47A展示根据包含任务的实例的另一一般配置的方法的流程图；
[0093] 图47B展示包含子任务的任务的实施方案的流程图；
[0094] 图47C说明具有用于执行对应于图47A的功能的组件的设备的一个实例；
[0095] 图47D说明包含用于执行对应于图47A的功能的装置的设备的一个实例；
[0096] 图48A展示包含任务的方法的一个实施方案的流程图；
[0097] 图48B展示另一方法的实施方案的流程图；
[0098] 图49A展示方法的另一实施方案的流程图；
[0099] 图49B说明相对于显示平面的仰角的所估计的角度的指示的一个实例；
[0100] 图49C展示包含任务的另一方法的此实施方案的流程图；
[0101] 图50A及50B展示在旋转之前及之后的显示器的实例；
[0102] 图51A及51B展示在旋转之前及之后的显示器的其它实例；
[0103] 图52A展示其中装置坐标系E与世界坐标系对准的实例；
[0104] 图52B展示其中旋转装置的实例及对应于定向的矩阵F ;
[0105] 图52C展示DOA到世界参考平面上的投影的到装置的显示平面上的透视映射；
[0106] 图53A展示投射到世界参考平面上的DOA的映射显示器的实例；
[0107] 图53B展示方法的此类另一实施方案的流程图；
[0108] 图53C说明包含线性滑块电位计、摇臂开关及轮或旋钮的接口的实例；
[0109] 图54A说明用户接口的一个实例；
[0110] 图54B说明用户接口的另一实例；
[0111] 图54C说明用户接口的另一实例；
[0112] 图55A及55B展示其中使用定向传感器来跟踪装置的定向的另一实例；
[0113] 图56是说明其中可实施用于映射源位置的系统和方法的电子装置的一个配置的 框图；
[0114] 图57是说明用于映射源位置的方法的一个配置的流程图；
[0115] 图58是说明其中可实施用于映射源位置的系统和方法的电子装置的更特定的配 置的框图；
[0116] 图59是说明用于映射源位置的方法的更特定的配置的流程图；
[0117] 图60是说明用于基于所述映射执行操作的方法的一个配置的流程图；
[0118] 图61是说明用于基于所述映射执行操作的方法的另一配置的流程图；
[0119] 图62是说明其中可实施用于在电子装置上显示用户接口的系统和方法的用户接 口的一个配置的框图；
[0120] 图63是说明用于在电子装置上显示用户接口的方法的一个配置的流程图；
[0121] 图64是说明其中可实施用于在电子装置上显示用户接口的系统和方法的用户接 口的一个配置的框图；
[0122] 图65是说明用于在电子装置上显示用户接口的方法的更特定的配置的流程图；
[0123] 图66说明用于显示至少一个音频信号的方向性的用户接口的实例；
[0124] 图67说明用于显示至少一个音频信号的方向性的用户接口的另一实例；
[0125] 图68说明用于显示至少一个音频信号的方向性的用户接口的另一实例；
[0126] 图69说明用于显示至少一个音频信号的方向性的用户接口的另一实例；
[0127] 图70说明用于显示至少一个音频信号的方向性的用户接口的另一实例；
[0128] 图71说明用户接口的扇区选择特征的实例；
[0129] 图72说明用户接口的扇区选择特征的另一实例；
[0130] 图73说明用户接口的扇区选择特征的另一实例；
[0131] 图74说明用户接口的扇区选择特征的更多实例；
[0132] 图75说明用户接口的扇区选择特征的更多实例；
[0133] 图76是说明用于编辑扇区的方法的一个配置的流程图；
[0134] 图77说明用户接口的扇区编辑特征的实例；
[0135] 图78说明用户接口的扇区编辑特征的更多实例；
[0136] 图79说明用户接口的扇区编辑特征的更多实例；
[0137] 图80说明用户接口的扇区编辑特征的更多实例；
[0138] 图81说明用户接口的扇区编辑特征的更多实例；
[0139] 图82说明具有独立于电子装置定向而定向的坐标系的用户接口的实例；
[0140] 图83说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例；
[0141] 图84说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例；
[0142] 图85说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例；
[0143] 图86说明具有独立于电子装置定向而定向的坐标系的用户接口的更多实例；
[0144] 图87说明具有独立于电子装置定向而定向的坐标系的用户接口的另一实例；
[0145] 图88是说明其中可实施用于在电子装置上显示用户接口的系统和方法的用户接 口的另一配置的框图；
[0146] 图89是说明用于在电子装置上显示用户接口的方法的另一配置的流程图；
[0147] 图90说明耦合到数据库的用户接口的实例；
[0148] 图91是说明用于在电子装置上显示用户接口的方法的另一配置的流程图；
[0149] 图92是说明其中可实施用于映射源位置的系统和方法的无线通信装置的一个配 置的框图；
[0150] 图93说明可在电子装置中利用的各种组件；及
[0151] 图94说明用户接口的另一实例。

【具体实施方式】
[0152] 第三代合作伙伴计划（3GPP)是旨在界定在全球范围内可适用的第三代（3G)移动 电话规范的电信协会团体之间的合作。3GPP长期演进（LTE)是旨在提高全球移动电信系统 (UMTS)移动电话标准的3GPP计划。所述3GPP可界定下一代移动网络、移动系统及移动装 置的规范。
[0153] 应注意，在一些情况下，可关于一或多个规范来描述本文中揭示的系统和方法，例 如 3GPP 版本 8 (Rel-8)、3GPP 版本 9 (Rel-9)、3GPP 版本 10 (Rel-10)、LTE、LTE 高级（LTE-A)、 全球移动通信系统（GSM)、通用分组无线电服务（GPRS)、GSM演进增强数据速率（EDGE)、 时分长期演进（TD-LTE)、时分同步码分多址（TD-SCDM)、频分双工长期演进（FDD-LTE)、 UMTS、GSM EDGE无线电接入网络（GERAN)、全球定位系统（GPS)等。然而，本文中所描述的 所述概念中的至少一些可应用于其它无线通信系统。举例来说，术语电子装置可用于指代 用户设备（UE)。此外，术语基站可用于指代术语节点B、演进型节点B(eNB)、归属演进型节 点B(HeNB)等中的至少一者。
[0154] 除非受其上下文明确地限制，否则术语"信号"在本文中用以指示其普通意义中的 任一者，包含如在导线、总线或其它传输媒体上表达的存储器位置（或存储器位置集合）的 状态。除非受其上下文明确地限制，否则本文中使用术语"产生"来指示其普通意义中的任 一者，例如计算或以其它方式产生。除非受其上下文明确地限制，否则术语"计算"在本文 中用以指示其普通意义中的任一者，例如计算、评估、估计和/或从多个值中进行选择。除 非受其上下文明确地限制，否则使用术语"获得"来指示其普通意义中的任一者，例如推算、 导出、接收（例如，从外部装置）和/或检索（例如，从存储元件阵列）。除非受其上下文 明确地限制，否则使用术语"选择"来指示其普通意义中的任一者，例如识别、指示、应用和 /或使用一组两者或两者以上中的至少一者和少于全部。除非受其上下文明确地限制，否 则本文中使用术语"确定"来指示其普通意义中的任一者，例如决定、建立、推断、推算、选择 和/或评估。在术语"包括"用于本描述及权利要求书中的情况下，其不排除其它元件或操 作。使用术语"基于"（如在"A是基于B"中）来指示其普通意义中的任一者，包含以下情 况⑴"从中导出"（例如，"B是A的前驱体"至少基于"（例如，"A至少基于B"） 以及，在特定上下文中在适当的情况下，（iii) "等于"（例如，"A等于B"或"A与B相同"）。 类似地，使用术语"响应于"来指示其普通意义中的任一者，包含"至少响应于"。除非另有 指示，否则术语"A、B及C中的至少一者"及"A、B及C中的一或多者"指示"A和/或B和 / 或 C"。
[0155] 对多麦克风音频感测装置的麦克风的"位置"的参考指示所述麦克风的声敏感面 的中心的位置，除非上下文另有指示。根据特定上下文，有时使用术语"通道"来指示信号路 径且在其它时候指示由此路径载运的信号。除非另有指示，否则使用术语"系列"来指示两 个或两个以上项目的序列。使用术语"对数"来指示基数为十的对数，但将此运算扩展到其 它基数在本发明的范围内。使用术语"频率分量"来指示信号的一组频率或频带中的一者， 例如（例如，由快速傅里叶变换产生非）信号的频域表示的样本（或"二进位"）或信号的 子带（例如，巴克（Bark)尺度或梅尔（mel)尺度子带）。
[0156] 除非另有指示，否则对具有特定特征的设备的操作的任何揭示内容还明确地希望 揭示具有类似特征的方法（且反之亦然），且对根据特定配置的设备的操作的任何揭示内 容还明确地希望揭示根据类似配置的方法（且反之亦然）。术语"配置"可参考由其特定上 下文指示的方法、设备和/或系统来使用。术语"方法"、"过程"、"程序"和"技术"通用地且 可互换地使用，除非特定上下文另有指示。具有多个子任务的"任务"也是方法。术语"设 备"和"装置"也通用地且可互换地使用，除非特定上下文另有指示。术语"元件"和"模块" 通常用以指示较大配置的一部分。除非由其上下文明确限制，否则术语"系统"在此用以指 示其普通意义中的任一者，包含"交互以用于共同目的的元件群组"。
[0157] 通过参考文献的一部分的任何并入也应理解为并入了在所述部分内参考的术语 或变量的定义，其中此些定义出现在文献中的其它地方，以及并入了在所并入部分中参考 的任何图。除非起初通过定冠词引入，否则用于修饰权利要求元素的序数术语（例如，"第 一"、"第二"、"第三"等）本身不指示所述权利要求元素相对于另一权利要求元素的任何优 先级或次序，而是仅区别所述权利要求元素与具有同一名称（如果没有序数术语）的另一 权利要求元素。除非通过其上下文明确地限制，否则术语"多个"及"集合"中的每一者在 本文中用以指示大于一的整数数量。
[0158] A.用于估计到达方向的系统、方法和设备
[0159] 一种处理多通道信号的方法包含对于所述多通道信号的多个不同频率分量中的 每一者，计算所述多通道信号的第一对通道中的每一者中的频率分量的相位之间的差，以 获得多个相位差。此方法还包含对于多个候选方向中的每一者，估计候选方向与基于所述 多个相位差的向量之间的误差。此方法还包含从所述多个候选方向当中选择对应于所估计 误差当中的最小误差的候选方向。在此方法中，所述第一对通道中的每一者是基于由第一 对麦克风中的对应麦克风产生的信号，且不同频率分量中的至少一者具有小于所述第一对 麦克风中的麦克风之间的距离的两倍的波长。
[0160] 可假设，在发射声场的近场和远场区中，波前分别为球面的和平面的。可将近场定 义为距声接收器（例如，麦克风阵列）小于一个波长的空间区。在此定义下，到区边界的距 离与频率成反比地变化。在200、700和2000赫兹的频率下，例如，到一个波长边界的距离 分别为约170厘米、49厘米和17厘米。改为考虑近场/远场边界处于距麦克风阵列特定距 离处（例如，距阵列的麦克风或距阵列的质心50厘米，或距阵列的麦克风或距阵列的质心 1米或1. 5米）可为有用的。
[0161] 现参看图描述各种配置，在各图中，相似参考数字可指示功能上类似的元件。可以 广泛多种不同配置来布置及设计如本文中在各图中所大体描述及说明的系统和方法。因 此，对如各图中所表示的若干配置的以下更详细描述并不希望限制如所主张的范围，而仅 表示系统和方法。图中所描绘的特征和/或元素可组合至少一个其它图中所描绘的至少一 个特征和/或元素。
[0162] 图1展不多麦克风手持机HlOO (例如，多麦克风装直）的实例，所述多麦克风手持 机包含轴线在装置的正面的左右方向上的第一麦克风对MV10-1、MV10-3,和轴线在前后方 向上（即，正交于正面）的第二麦克风对MV10-UMV10-2。此类布置可用以确定用户何时 在装置的正面说话（例如，浏览-通话模式）。前后对可用以解决左右对通常无法就其本身 来解决的前后方向之间的模糊性。在一些实施方案中，手持机HlOO可包含一或多个扩音器 LS10、L20L、LS20R、触摸屏TS10、镜头LlO和/或一或多个额外麦克风ME10、MR10。
[0163] 除如图1中所展示的手持机之外，可实施以包含多麦克风阵列及执行如本文中所 描述的方法的音频感测装置的其它实例还包含便携式计算装置（例如，膝上型计算机、笔 记型计算机、上网本计算机、超便携式计算机、平板计算机、移动因特网装置、智能笔记本、 智能电话等）、音频或视频会议装置，及显示屏幕（例如，计算机监视器、电视机）。
[0164] 如图1中所展示的装置可经配置以通过以下操作来确定源信号的到达方向 (DOA):测量每一频段的麦克风通道之间的差异（例如，相位差）以获得方向指示，及将所有 频段内的方向指示平均化以确定所估计方向是否在所有频段上一致。可用于跟踪的频段的 范围通常受麦克风对的空间混叠频率约束。可将此上限定义为信号的波长为麦克风之间的 距离d的两倍所在的频率。此类方法可能不支持对超出一米的源DOA的准确跟踪且通常可 能仅支持低DOA分辨率。此外，对依赖前后对解决模糊性的相依性可能为对麦克风放置几 何布置的显著约束，这是因为将装置放置在表面上可有效地遮挡前麦克风或后麦克风。此 类方法通常还仅使用一个固定对来用于跟踪。
[0165] 可能需要提供一种通用扬声器电话应用，以使得可任意地放置多麦克风装置（例 如，放置在电话会议的表格上、放置在汽车座椅上等）且跟踪及/或提高个人说话者的话 音。此类方法可能能够关于可用麦克风的任意定向处置任意目标说话者位置。还可能需要 此类方法提供瞬时多说话者跟踪/分离能力。不幸的是，当前现有技术水平为单麦克风方 法。
[0166] 还可能需要支持远场应用中的源跟踪，所述源跟踪可用以提供用于跟踪处于大距 离处且关于多麦克风装置定向未知的源的解决方案。此类应用中的多麦克风装置可包含安 装于电视机或机顶盒上的可用以支持电话的阵列。实例包含Kinect装置阵列（微软公司， 雷蒙德华盛顿州）和Skype阵列（微软Skype分部）及三星电子（韩国汉城）。除大的源 到装置距离之外，此类应用通常还遭受不良信号对干扰加噪声比（SINR)和房间混响。
[0167] 挑战是提供一种用于针对同时发生的多个声音事件估计音频信号的每一帧的三 维到达方向（DOA)的方法，所述音频信号在背景噪声和混响下足够稳健。可通过将可靠频 段的数目最大化来获得稳健性。可能需要此类方法适合于任意成形的麦克风阵列几何布 置，以使得可避免对麦克风几何布置的特定约束。可将如本文所描述的成对I-D方法适当 地并入到任何几何布置中。
[0168] 本文中所揭示的系统和方法可针对此类通用扬声器电话应用或远场应用来实施。 可实施此类方法以在无麦克风放置约束的情况下操作。还可实施此类方法以使用上达尼奎 斯特频率及下到较低频率的可用频段来跟踪源（例如，通过支持使用具有较大麦克风间距 离的麦克风对）。不是限于单对用于跟踪，而是，可实施此类方法以在所有可用对当中选择 最好的对。此类方法可用以支持甚至远场情境（高达3米到5米或大于5米的距离）中的 源跟踪，及提供高得多的DOA分辨率。其它可能的特征包含获得作用中源的确切2-D表示。 对于最好的结果，可能需要每一源为稀疏宽带音频源，且每一频段大部分受不超过一个源 支配。
[0169] 图33A展示根据一般配置的包含任务TKKT20和T30的方法MlO的流程图。任务 TlO计算多通道信号的一对通道之间的差异（例如，其中每一通道是基于由对应麦克风产 生的信号）。对于多个（K个）候选方向当中的每一者，任务T20计算基于所计算的差异的 对应方向误差。基于K个方向误差，任务T30选择候选方向。
[0170] 方法MlO可经配置以将多通道信号作为一连串片段来处理。典型片段长度的范围 为从约5或10毫秒到约40或50毫秒，且所述片段可为重叠的（例如，与邻近片段重叠达 25%或50%)或非重叠的。在一个特定实例中，将多通道信号划分成一连串非重叠片段或 "帧"，每一者的长度为10毫秒。在另一特定实例中，每一帧的长度为20毫秒。如通过方法 MlO处理的片段还可为如通过不同操作处理的较大片段（即，子帧），或反过来也是一样。
[0171] 通道之间的差异的实例包含增益差或比率、到达时间差和相位差。举例来说，可实 施任务TlO以将一对通道之间的差异计算为所述通道的对应增益值之间的差或比率（例 如，量值或能量差）。图33B展示任务TlO的此类实施方案T12。
[0172] 可实施任务T12以计算时域（例如，对于信号的多个子带中的每一者）或频域（例 如，对于变换域中的信号的多个频率分量中的每一者，例如，快速傅里叶变换（FFT)、离散余 弦变换（DCT)或经修改的DCT (MDCT)域）中的多通道信号的片段的增益的量度。此类增益 量度的实例包含（不限于）以下各者：总量值（例如，样本值的绝对值总和）、平均量值（例 如，每一样本）、均方根（RMS)幅度、中值量值、峰值量值、峰值能量、总能量（例如，样本值的 平方总和），及平均能量（例如，每一样本）。
[0173] 为了在增益差技术情况下获得准确结果，可能需要将两个麦克风通道的响应相对 于彼此进行校准。可能需要将低通滤波器应用于多通道信号以使得增益量度的计算限于多 通道信号的音频频率分量。
[0174] 可实施任务T12以将增益之间的差计算为对数域（例如，以分贝来计的值）中的 每一通道的对应增益量度值之间的差或等效地计算为线性域中的增益量度值之间的比率。 对于经校准的麦克风对，可采用零增益差来指示源距每一麦克风等距（即，位于所述对的 边射方向），可采用具有较大正值的增益差来指示源更接近一个麦克风（即，位于所述对的 一个端射方向），且可采用具有较大负值的增益差来指示源更接近另一麦克风（即，位于所 述对的另一端射方向）。
[0175] 在另一实例中，可实施图33A的任务TlO以执行通道的相交相关以确定距离（例 如，基于多通道信号的通道之间的滞后计算到达时间差）。
[0176] 在另一实例中，实施任务TlO以将一对通道之间的差异计算为每一通道的相位之 间的差（例如，信号的特定频率分量下）。图33C展示任务TlO的此类实施方案T14。如下 文所论述，可对于多个频率分量当中的每一者执行此类计算。
[0177] 对于由一对麦克风直接从相对于麦克风对的轴线的特定到达方向（DOA)的点源 接收的信号，对于每一频率分量，相位延迟不同，而且取决于麦克风之间的间隔。可将特定 频率分量（或"频段"）下的相位延迟的所观测值计算为复数FFT系数的虚数项与复数FFT 系数的实数项的比率的反正切（还被称为反正切（arctangent))。
[0178] 如图2A中所展示，特定频率f下的至少一个麦克风MC10、MC20的源SOl的相位延

【权利要求】
1. 一种用于在电子装置上显示用户接口的方法，其包括： 呈现用户接口，其中所述用户接口包括坐标系，其中所述坐标系基于传感器数据而对 应于物理坐标； 提供允许选择所述坐标系的至少一个扇区的扇区选择特征；及 提供允许编辑所述至少一个扇区的扇区编辑特征。
2. 根据权利要求1所述的方法，其进一步包括显示由至少一个麦克风俘获的至少一个 音频信号的方向性。
3. 根据权利要求2所述的方法，其中所述至少一个音频信号包括话音信号。
4. 根据权利要求2所述的方法，其进一步包括显示对应于所述至少一个音频信号的图 标。
5. 根据权利要求4所述的方法，其中显示图标进一步包括显示用于目标音频信号的图 标及用于干扰音频信号的图标中的至少一者。
6. 根据权利要求1所述的方法，其进一步包括传递在所述至少一个扇区内指示的音频 信号。
7. 根据权利要求1所述的方法，其进一步包括衰减未在所述至少一个扇区内指示的音 频信号。
8. 根据权利要求1所述的方法，其进一步包括指示来自一或多个图像传感器的图像数 据。
9. 根据权利要求1所述的方法，其进一步包括传递基于所述一或多个扇区的图像数 据。
10. 根据权利要求1所述的方法，其中所述扇区选择特征及所述扇区编辑特征中的至 少一者基于由单点触摸输入及多点触摸输入组成的群组中的至少一者而操作。
11. 根据权利要求1所述的方法，其进一步包括： 显示对应于所述至少一个扇区的至少一个触摸点； 接收对应于所述至少一个触摸点的触摸输入；及 基于所述触摸输入来编辑所述至少一个扇区。
12. 根据权利要求1所述的方法，其进一步包括使所述用户接口的至少一部分与参考 平面对准。
13. 根据权利要求12所述的方法，其中所述参考平面是水平的。
14. 根据权利要求12所述的方法，其中对准所述用户接口的至少一部分包括将二维极 坐标图映射到三维显示空间中。
15. 根据权利要求1所述的方法，其中所述物理坐标是地球坐标。
16. 根据权利要求1所述的方法，其中所述物理坐标表示独立于地球坐标的物理空间。
17. 根据权利要求1所述的方法，其中所述坐标系维持独立于电子装置定向的定向。
18. 根据权利要求1所述的方法，其进一步包括： 辨识音频签名； 在数据库中查找所述音频签名； 获得对应于所述音频签名的识别信息；及 在所述用户接口上显示所述识别信息。
19. 根据权利要求18所述的方法，其中所述识别信息是对应于所述音频签名的人的图 像。
20. 根据权利要求1所述的方法，其进一步包括提供固定模式及可编辑模式。
21. 根据权利要求1所述的方法，其进一步包括填补所选择的扇区。
22. 根据权利要求1所述的方法，其中所述扇区选择特征使得能够一次选择多个扇区。
23. 根据权利要求1所述的方法，其中所述扇区编辑特征使得能够基于单点或多点触 摸输入来调整所述扇区。
24. 根据权利要求1所述的方法，其中所述扇区选择特征是基于一或多个滑动输入。
25. 根据权利要求24所述的方法，其中所述一或多个滑动输入指示圆形区。
26. 根据权利要求24所述的方法，其中所述一或多个滑动输入是单一滑动。
27. -种电子装置，其包括： 显示器，其中所述显示器呈现用户接口，其中所述用户接口包括坐标系，其中所述坐标 系基于传感器数据而对应于物理坐标；所述显示器提供允许选择所述坐标系的至少一个扇 区的扇区选择特征；且所述显示器提供允许编辑所述至少一个扇区的扇区编辑特征。
28. 根据权利要求27所述的电子装置，其中所述显示器显示由至少一个麦克风俘获的 至少一个音频信号的方向性。
29. 根据权利要求28所述的电子装置，其中所述至少一个音频信号包括话音信号。
30. 根据权利要求28所述的电子装置，其中所述显示器显示对应于所述至少一个音频 信号的图标。
31. 根据权利要求30所述的电子装置，其中显示图标进一步包括显示用于目标音频信 号的图标及用于干扰音频信号的图标中的至少一者。
32. 根据权利要求27所述的电子装置，其进一步包括耦合到所述显示器的操作电路， 其中所述操作电路传递在所述至少一个扇区内指示的音频信号。
33. 根据权利要求27所述的电子装置，其进一步包括耦合到所述显示器的操作电路， 其中所述操作电路衰减未在所述至少一个扇区内指示的音频信号。
34. 根据权利要求27所述的电子装置，其中所述显示器指示来自一或多个图像传感器 的图像数据。
35. 根据权利要求27所述的电子装置，其进一步包括耦合到所述显示器的操作电路， 其中所述操作电路传递基于所述一或多个扇区的图像数据。
36. 根据权利要求27所述的电子装置，其中所述扇区选择特征及所述扇区编辑特征中 的至少一者基于由单点触摸输入及多点触摸输入组成的群组中的至少一者而操作。
37. 根据权利要求27所述的电子装置，其中所述显示器显示对应于所述至少一个扇区 的至少一个触摸点，且其中所述电子装置进一步包括接收对应于所述至少一个触摸点的触 摸输入的触摸传感器，且其中所述用户接口基于所述触摸输入来编辑所述至少一个扇区。
38. 根据权利要求27所述的电子装置，其中所述用户接口使所述用户接口的至少一部 分与参考平面对准。
39. 根据权利要求38所述的电子装置，其中所述参考平面是水平的。
40. 根据权利要求38所述的电子装置，其中对准所述用户接口的至少一部分包括将二 维极坐标图映射到三维显示空间中。
41. 根据权利要求27所述的电子装置，其中所述物理坐标是地球坐标。
42. 根据权利要求27所述的电子装置，其中所述物理坐标表示独立于地球坐标的物理 空间。
43. 根据权利要求27所述的电子装置，其中所述坐标系维持独立于电子装置定向的定 向。
44. 根据权利要求27所述的电子装置，其进一步包括音频签名辨识电路，所述音频签 名辨识电路：辨识音频签名；在数据库中查找所述音频签名；获得对应于所述音频签名的 识别信息；及将所述识别信息传递到所述显示器。
45. 根据权利要求44所述的电子装置，其中所述识别信息是对应于所述音频签名的人 的图像。
46. 根据权利要求27所述的电子装置，其中所述用户接口提供固定模式及可编辑模 式。
47. 根据权利要求27所述的电子装置，其中所述用户接口填补所选择的扇区。
48. 根据权利要求27所述的电子装置，其中所述扇区选择特征使得能够一次选择多个 扇区。
49. 根据权利要求27所述的电子装置，其中所述扇区编辑特征使得能够基于单点或多 点触摸输入来调整所述扇区。
50. 根据权利要求27所述的电子装置，其中所述扇区选择特征是基于一或多个滑动输 入。
51. 根据权利要求50所述的电子装置，其中所述一或多个滑动输入指示圆形区。
52. 根据权利要求50所述的电子装置，其中所述一或多个滑动输入是单一滑动。
53. -种用于显示用户接口的计算机程序产品，其包括上面具有指令的非暂时性有形 计算机可读媒体，所述指令包括： 用于致使电子装置呈现用户接口的代码，其中所述用户接口包括坐标系，其中所述坐 标系基于传感器数据而对应于物理坐标； 用于致使所述电子装置提供允许选择所述坐标系的至少一个扇区的扇区选择特征的 代码；及 用于致使所述电子装置提供允许编辑所述至少一个扇区的扇区编辑特征的代码。
54. 根据权利要求53所述的计算机程序产品，其中所述指令进一步包括用于致使所述 电子装置显示由至少一个麦克风俘获的至少一个音频信号的方向性的代码。
55. 根据权利要求53所述的计算机程序产品，其中所述指令进一步包括用于致使所述 电子装置传递在所述至少一个扇区内指示的音频信号的代码。
56. 根据权利要求53所述的计算机程序产品，其中所述指令进一步包括用于致使所述 电子装置衰减未在所述至少一个扇区内指示的音频信号的代码。
57. 根据权利要求53所述的计算机程序产品，其中所述扇区选择特征及所述扇区编辑 特征中的至少一者基于由单点触摸输入及多点触摸输入组成的群组中的至少一者而操作。
58. 根据权利要求53所述的计算机程序产品，其中所述扇区选择特征使得能够一次选 择多个扇区。
59. 根据权利要求53所述的计算机程序产品，其中所述扇区选择特征是基于一或多个 滑动输入。
60. -种用于显示用户接口的设备，其包括： 用于呈现用户接口的装置，其中所述用户接口包括坐标系，其中所述坐标系基于传感 器数据而对应于物理坐标； 用于提供允许选择所述坐标系的至少一个扇区的扇区选择特征的装置；及 用于提供允许编辑所述至少一个扇区的扇区编辑特征的装置。
61. 根据权利要求60所述的设备，其进一步包括用于显示由至少一个麦克风俘获的至 少一个音频信号的方向性的装置。
62. 根据权利要求60所述的设备，其进一步包括用于传递在所述至少一个扇区内指示 的音频信号的装置。
63. 根据权利要求60所述的设备，其进一步包括用于衰减未在所述至少一个扇区内指 示的音频信号的装置。
64. 根据权利要求60所述的设备，其中所述扇区选择特征及所述扇区编辑特征中的至 少一者基于由单点触摸输入及多点触摸输入组成的群组中的至少一者而操作。
65. 根据权利要求60所述的设备，其中所述扇区选择特征使得能够一次选择多个扇 区。
66. 根据权利要求60所述的设备，其中所述扇区选择特征是基于一或多个滑动输入。
【文档编号】G01S15/87GK104246531SQ201380019519
【公开日】2014年12月24日 申请日期:2013年4月10日 优先权日:2012年4月13日
【发明者】金莱轩, E·维瑟, P·L·通, J·P·托曼, J·C·邵 申请人:高通股份有限公司