自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能的制作方法
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2012年12月05日、申请号为201280062049.9、发明名称为“自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能”的发明专利申请案。
相关申请
本申请为序列号为13/476,815的美国专利申请的继续申请，序列号为13/476,815的美国专利申请于2012年5月21日递交，标题为“自动化用户/传感器定位辨识以在分布式多传感器环境中定制音频性能(automateduser/sensorlocationrecognitiontocustomizeaudioperformanceinadistributedmulti-sensorenvironment)”，并主张了2011年12与19日递交的标题为“用于多扬声器环境中的增强的音频性能的自动化用户定位辨识(automateduserlocationrecognitiontoenhancedaudioperformanceinamulti-speakerenvironment)”的第61/577,483序列号美国临时专利申请案的优先权，且所有申请案转让给本受让人且在此明确以引用的方式并入本文中。
一个特征一般涉及无线装置、多麦克风以及多扬声器音频系统。在一个实例中，无线装置适于自动地执行麦克风、扩音器和/或用户检测和定位以为用户提供定制的三维浸入声音体验。
背景技术：
无线装置(例如，移动装置、移动电话、移动通信装置、智能电话、个人/移动计算装置等)常常包含一或多个麦克风以从所要/目标用户俘获音频信号。另外，此类无线装置常常还包含一或多个扩音器，通过所述一或多个扩音器将音频信号发射到目标用户。然而，一些无线装置(例如，移动装置)的典型较小的大小使得难以通过产生环绕声音效果来提高用户的体验。可通过对音频信号进行整形，使得从两个或更多不同的外部和/或内部扩音器装置发射音频信号来为目标用户产生环绕声音感觉，而产生环绕声音效果。
使用外部扩音器来产生此类整形的音频信号的一个挑战是相对于所要/目标用户识别外部扩音器的定位、位置和/或距离。也就是说，不同于集成式扩音器，无线装置不知晓目标用户(和/或无线装置)与外部扬声器之间的位置、定位和/或距离。
因此，需要一种准许无线装置充分利用附近的麦克风和/或扩音器装置来提高目标用户的声音体验的方式。
技术实现要素：
根据第一方面，提供一种用于自动地检测目标用户/听众定位且定制音频性能的在无线装置中操作的方法。断定目标用户相对于所述无线装置和一或多个外部扩音器的相对定位，其中所述目标用户相对于所述无线装置的定位是任意的。将扬声器专有音频信号从所述无线装置无线地发送到所述一或多个外部扩音器，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准目标用户的环绕声音体验。断定一或多个外部装置相对于所述无线装置的定位，所述外部装置包含所述一或多个外部麦克风和/或所述一或多个扩音器。随后从所述一或多个外部装置选择一或多个外部麦克风。在所述一或多个选定外部麦克风和/或一或多个内部麦克风上从所述目标用户俘获音频信号以断定所述目标用户相对于所述无线装置的所述相对定位。可将来自所述一或多个外部麦克风中的每一者的所述所俘获的音频彼此进行比较以断定距离和相对定向来断定所述目标用户定位。可指令所述一或多个选定外部麦克风从所述目标用户俘获所述音频信号以断定所述所俘获的音频信号的到达方向。断定所述一或多个外部装置相对于所述无线装置的定位可包含指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获音频信号以断定所述所俘获的音频信号的一或多个对应到达方向。断定所述目标用户相对于所述无线装置的所述相对定位可包含(a)断定外部装置相对于外部装置的定位，和/或(b)断定所述目标用户相对于所述外部装置的位置。可经由无线通信接口以不可听的形式发送从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号。根据一个方面，所述无线装置可为移动电话装置。
根据第二方面，提供一种用于自动地定制音频性能的在无线装置中操作的方法。所述无线装置可自动地断定一或多个外部扩音器的存在且/或自动地断定目标用户相对于所述一或多个外部扩音器的相对定位。随后，所述无线装置可将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验。所述无线装置还可(a)自动地断定一或多个外部麦克风的存在；(b)指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所述所俘获的第二音频信号的一或多个对应到达方向；和/或(c)指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所述所俘获的第三音频信号的到达方向，其中所述目标用户相对于所述一或多个外部麦克风的所述相对定位是基于所述到达方向来断定。所述无线装置可将第一音频信号导引到一或多个内部扩音器以实现瞄准所述目标用户的环绕声音体验。可经由无线通信接口以不可听的形式将所述第一音频信号从所述无线装置发送到所述一或多个外部扩音器。
根据第三方面，提供一种在外部装置中操作的方法。所述外部装置可(a)从无线装置接收第一指令以激活麦克风且将由所述麦克风俘获的第一音频信号提供给所述无线装置以便相对于所述无线装置来定位所述外部装置，(b)从所述无线装置接收第二指令以通过外部扩音器回放第二音频信号，从而辅助相对于所述无线装置来定位所述外部装置，和/或(c)从无线装置接收第三指令以激活所述麦克风且将由所述麦克风俘获的第三音频信号发送到所述无线装置以便断定目标用户相对于所述无线装置的定位。所述外部装置可进一步适于(a)从所述无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号；和/或(b)将所述扬声器专有音频信号发送到所述一或多个对应外部扩音器，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验。可经由无线通信接口以不可听的形式接收从所述无线装置到所述一或多个外部扩音器的所述扬声器专有音频信号。
附图说明
图1说明其中无线装置可利用一或多个附近的外部装置来提高到所要用户(或既定听众/扬声器)的音频递送的示范性环境。
图2到6说明其中可使用多个麦克风来为所要目标用户产生焦点音频拾取区的音频/声音俘获的各种情形。
图7是说明无线装置可如何检测且可利用一或多个附近的外部麦克风来提高来自所要用户/扬声器的音频/声音俘获的流程图。
图8说明如何断定来自外部扩音器和目标用户/听众的到达方向以便找出扩音器和目标用户的相对定位且将扩音器束导引到目标用户的实例。
图9说明可如何断定用于分布式音频换能器和目标用户定位的映射。
图10说明识别外部装置相对于无线装置的相对位置/定位的此问题。
图11到14说明用以断定相对于无线装置的到达方向的各种解决方案。
图15说明可如何获得分布式换能器和/或目标用户相对于无线装置的定位。
图16是说明适于断定一或多个外部装置和/或目标用户的相对定位以为目标用户提供聚焦音频分布和/或俘获的无线装置的框图。
图17说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的方法。
图18说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的又一方法。
图19说明适于辅助无线装置断定目标用户的相对定位以为目标用户提供聚焦音频分布和/或俘获的外部装置的框图。
图20说明用以辅助无线装置定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在外部装置中操作的方法。
具体实施方式
在以下描述中，参考附图，在附图中通过说明的方式展示其中可实践本发明的特定实施例。所述实施例意欲充分详细地对本发明的各个方面进行描述，以使得所属领域的技术人员能够实践本发明。在不脱离本发明的范围的情况下可以利用其它实施例且可对所揭示的实施例做出改变。以下详细描述将不被视为限制性意义，且本发明的范围仅由所附权利要求书界定。
术语“无线装置”在本文中可用于指代“移动装置”、“移动电话”、“移动通信装置”、“移动计算装置”、“数字平板计算机”、“智能电话”以及其它。术语“扩音器”和/或“扬声器”可在本文中互换地使用以指代将电信号转换为音频声音的音频换能器。术语“麦克风”可在本文中用于指代将音频转换为电信号的音频换能器。
概述
本发明涉及用于检测外部扩音器相对于无线装置的定位、位置和/或距离以允许向目标用户提供定制的三维浸入声音体验的设备、方法和包含指令的计算机可读媒体。一般来说，一种装置可适于自动地在(例如，装置的)坐标系中估计扩音器、麦克风和目标用户的定位以用于使用所有可用的声学装置以最佳且无缝的方式的用于目标用户的定制的空间声音重现。
为无线装置提供一个特征，其利用其它附近的音频换能器装置以产生用于目标用户的环绕声音效果。为此，所述无线装置首先断定是否存在任何附近的外部麦克风和/或扩音器装置。所述无线装置的内部麦克风以及任何其它附近的外部麦克风可用于断定所要/目标用户以及所述附近的扩音器装置的定位。此信息可随后用于通过使所述无线装置将音频信号导引到其内部扩音器和/或所述附近的外部扩音器装置来产生用于所述所要/目标用户的环绕声音效果。
示范性操作环境
图1说明其中无线装置102可利用一或多个附近的外部装置106来提高到所要用户(或既定听众/扬声器)的音频递送的示范性环境100。在此实例中，示范性环境100可包含无线装置102和一或多个外部装置106。无线装置102可包含一或多个扩音器112和114、通信接口122以及一或多个麦克风116。外部装置106可包含一或多个麦克风118和120以及一或多个扩音器108和110(例如，扬声器、音频换能器等)，其与外部装置106分离、耦合到所述外部装置且/或与所述外部装置集成。无线装置102和外部装置106可各自分别包含无线通信接口122和124。无线通信接口122和124可允许无线装置102经由无线链路126(例如，红外线链路、蓝牙链路、对等链路等)将命令和/或指令发送到外部装置106且从外部装置106接收信号和/或数据。举例来说，无线装置102可引导外部装置106激活其麦克风118和120以在特定时间处且/或在特定时间间隔内俘获音频。无线通信接口122还可允许无线装置102选择性地请求一或多个内部扩音器112和114和/或外部扩音器108和110中的一或多者发射音频信号。根据各种实例，无线通信接口122可用于经由无线链路126将无线装置102通信地耦合到一或多个外部装置106，所述无线链路可为无线通信网络(例如，wifi、蜂窝式网络等)和/或对等链路(蓝牙、近场通信等)中的至少一者。无线通信接口122还可准许无线装置102以不可听的形式(例如，数字化、包化为有效负载等)发射和/或接收音频信号。在各种实例中，无线装置102可直接地、经由直接点到点通信链路，或间接地经由外部装置106来与一或多个外部扩音器108和110通信。
在一个示范性实施方案中，无线装置102可适于利用外部装置106和/或外部麦克风118和120中的一或多者(连同集成麦克风116一起)来增强来自目标用户104的音频/声音俘获。在示范性操作环境100内，可基于目标用户的声音的所检测到的到达方向通过使用选定麦克风来增强来自目标用户104的音频/声音的俘获。
根据一个方面，可使用多个麦克风来估计、断定和/或获得用户104相对于无线装置102和/或外部装置106的位置或定位。假设由集成麦克风116和外部麦克风118和120俘获的所有音频信号可通过有线链路或无线通信链路被路由到(例如，以不可听的形式，例如数字包、模拟经编码信号等)无线装置102。举例来说，在于外部麦克风118和120处俘获音频信号后，可即刻将所述音频信号转换为电形式(例如，模拟、数字等)，所述电形式经由无线通信链路126被发射到(例如，以不可听的形式)无线装置。通过使用外部麦克风，无线装置102可能够相对于无线装置102来检测和/或定位外部扩音器108和110和/或目标用户104用户定位检测可涉及使用附近的音频装置(例如，外部麦克风118和/或120和/或扩音器108和/或110)和无线装置102的集成音频装置(例如，一或多个麦克风116和/或扩音器112和114)在操作环境100(例如，汽车或家庭环境)内的空间声音区别。
在一个示范性实施方案中，无线装置102可适于利用外部装置106和/或外部扩音器108和110中的一或多者(连同集成扩音器112和114一起)来将音频发射到目标用户104。在此类示范性操作环境100内，用户104可为从扩音器108、110、112和/或114发射的音频/声音的既定目标。为了增强到用户104的音频/声音递送，可能需要将音频/声音引导到用户104且/或提供环绕声音体验。
根据另一方面，可通过无线装置102利用附近的外部扩音器108和110来执行自动声音场定制。也就是说，在已经相对于无线装置102和/或外部扩音器108和110定位了目标用户104之后，无线装置102可执行(直接地或间接地)到各种扩音器108、110、112和/或114的音频信号导引，其可用于实现到目标用户104的环绕声音音频。此过程还可涉及自动扩音器间水平/延迟均衡化和房间/环境均衡化(尤其用于低频范围中的更好重现)。
组合分布式麦克风以增强所俘获的声音质量
根据第一方面，无线装置可能尝试自动地或者自主地识别附近的外部装置中的环绕麦克风且利用此些麦克风来增强音频/声音俘获质量。此过程可涉及确定此些麦克风在附近的外部装置中是否可用且随后断定它们相对于无线装置麦克风的定位是否有用。
图2到5说明其中可使用多个麦克风来为所要目标用户产生焦点音频拾取区的音频/声音俘获的各种情形。无线装置102可包含一或多个麦克风116，但还可利用外部装置的其它外部麦克风118和120以增加空间分集，进而允许对所要目标用户/扬声器的三角测量。在这些情形中，到达方向(doa)是相对于外部装置106处的麦克风。来自目标用户104的第一音频/声音信号202是由外部装置106处的一或多个麦克风俘获。类似地，来自无线装置102的第二音频/声音信号204是由外部装置106处的一或多个麦克风俘获。第一与第二音频/声音信号202和204之间的角度通过α标示。其中角度α小于45度的情形需要在断定目标用户104定位方面的较少模糊性，这是因为附近的外部装置106和无线装置102中的俘获麦克风充分分开以获得关于目标用户104定位的有意义信息。也就是说，麦克风分开地越远，断定目标用户104定位就越容易。由于无线装置102和外部装置106的麦克风到嘴的轴线(例如，在麦克风与所要用户104之间)不相同，所以可以使用它们来成三角形到(目标用户104的)嘴区域中，而不从背后、侧面和/或前方方向拾取音频/声音。通过第一束208来说明来自无线装置102麦克风的此聚焦声音拾取区，而通过第二束206来说明来自外部装置106麦克风的聚焦声音拾取区。
同时，其中角度α大于45度的情形需要在断定所要用户104定位方面的较大模糊性，因为随着到达方向(doa)变得更对准，会存在较少的动机来组合用于所要用户定位的它们的信息。也就是说，doa越变得更加对准，多个麦克风在执行所要用户定位方面提供越少的益处。在此情形中，可使用最靠近所要用户104的麦克风。
图2说明其中在外部装置106处断定声音信号的到达方向的第一情形。举例来说，来自目标用户104的第一声音/音频信号202在外部装置106处的麦克风处被接收。第二声音/音频信号204可在外部装置106处的麦克风处被接收。第一和第二声音/音频信号202和204的到达方向形成角度α，其中在此实例中α<45度。在此情形中，由于α<45度，所以无线装置102可以较少的模糊性来定位目标用户104。
图3说明其中第一和第二声音/音频信号202和204的到达方向在外部装置106处形成角度α的第二情形，其中。在此情形中，由于角度α≈45度，所以在断定目标用户104的定位方面可存在一些模糊性。也就是说，随着无线装置102和外部装置106变得彼此较靠近，会变得更加难以获得充分不同的信号测量值来执行三角测量且获得目标用户定位。
图4说明其中第一和第二声音/音频信号202和204的到达方向在外部装置106处形成角度α的第三情形，其中α>45度。在此情形中，由于α>45度，所以在断定目标用户104的定位方面可存在显著的模糊性，或者可能不可能断定此定位。由于无线装置102和外部装置106已变得彼此较靠近，所以更加难以获得充分不同的信号测量值来执行三角测量且获得目标用户定位。
图5说明其中第一和第二声音/音频信号的到达方向形成角度α的第四情形，其中α≈180度。在此情形中，无线装置102在外部装置106与所要用户104之间(例如，α≈180度)，无法使用麦克风的分集来断定所要用户104的定位。因此，存在较少的动机来组合到达方向或无线装置102使用外部装置106处的麦克风。由于无线装置102最靠近目标用户104，所以可使用其麦克风来俘获来自目标用户104的音频/声音，同时可能忽略或者停用由外部装置106麦克风俘获的任何音频/声音。
图6说明其中第一和第二声音/音频信号的到达方向形成角度α的第五情形，其中α≈180度。在此情形中，外部装置104在无线装置102与所要用户104之间(例如，α≈180度)，无法使用麦克风的分集来断定所要用户104的定位。因此，存在较少的动机来组合到达方向或无线装置102使用外部装置106处的麦克风。由于外部装置106最靠近目标用户104，所以可使用其麦克风来俘获来自目标用户104的音频/声音，同时可能忽略或者停用由外部装置106麦克风俘获的任何音频/声音。
因此可使用组合集成和/或外部麦克风来增强音频/声音俘获质量。多个麦克风的使用也可用于跟踪(例如，断定相对位置/定位)目标用户的定位。使用多个麦克风的此用户定位/跟踪可准许具有增加的自由度(dof)的波束成形、零限波束成形和/或遮蔽，以便聚焦来自聚焦区域(即，所要用户)的音频/声音的俘获。
然而，在组合多个麦克风之前，无线装置102可首先断定此组合实际上是否增加dof。另外，在存在多个麦克风的情况下，可使这些麦克风同步。举例来说，无线装置102可出于此目的来实施自动语音/扬声器辨识(asr)引擎。由asr引擎提供的时间戳信息可用于使目标语音的所有麦克风信号同步。
另外，还可使用asr以用于通过仅接受一定激活口头代码(例如，除了此特定目的之外通常不会发出的句子或词)来起始同步过程。asr还可用于实施目标用户相依系统，所述目标用户相依系统仅在目标用户起始所述过程时才启用一定功能性。
在一个实例中，可在无线装置102上实施asr，所述无线装置可使用其集成麦克风来俘获参考音频/声音。asr可随后使此参考音频/声音与从外部麦克风(例如，外部装置的麦克风)接收到的音频/声音串流的片段或部分相关，从而实现同步。
图7是说明无线装置可如何检测且可利用一或多个附近的外部麦克风来提高来自所要用户/扬声器的音频/声音俘获的流程图。可开启无线装置(即，通电)，从而致使所述无线装置通过使用无线通信来识别一或多个外部装置702。举例来说，可实施无线通信方案，其中装置可广播其识别符、通道、配置信息等，从而允许其它装置找到它们。一旦无线装置定位一或多个外部装置，其可任选地询问所述一或多个外部装置以断定它们的能力(例如，其是否具有一或多个麦克风、扬声器等)。无线装置可随后使用无线装置上的一或多个麦克风和/或所识别的外部装置上的一或多个麦克风来开始记录704。可将由外部装置上的一或多个麦克风(俘获的)音频/声音记录串流传输到无线装置706。在一个实例中，所述无线装置可使用语音辨识来检测来自外部装置的所有麦克风串流中的目标用户语音和/或时间戳语音活动708。
无线装置可使用(a)位于无线装置上的一或多个麦克风和/或(b)位于外部装置上的一或多个麦克风来估计所记录的所要用户音频的到达时间延迟(tdoa)710。声音/音频随后从无线装置扩音器回放(以通过外部装置俘获)，且无线装置从外部装置检索对应的到达方向(doa)712。随后由无线装置使用外部装置麦克风来比较无线装置doa和目标用户doa714。
无线装置随后断定到达方向(doa)角度上的差异是否小于阈值(例如，最大角度α)716。如果是，那么组合无线装置和外部装置到达方向信息以对准目标用户718。否则，使用无线装置到达方向信息来跟踪所要用户720。无线装置可随后根据对准和/或跟踪是否可能来调谐或调整噪声减少(nr)和其它模块722。
组合分布式扩音器以增强所重现的声音质量
在组合来自多个扩音器的音频输出以增强重现的声音质量(例如，向目标用户提供环绕声音效果)之前，无线装置可断定扩音器相对于目标用户/听众的一或多个定位。随后，可调整扩音器间增益和/或扩音器的延迟以实现用于目标用户/听众的增强的重现的声音质量，且/或可实施串音消除器以用于双声道3d音频重现。
虽然组合麦克风不需要指定所有可用的声学资源的定位，但在组合扩音器中，无线装置可通过估计来自外部扩音器和所要用户/听众的音频/声音的到达方向doa来估计无线装置与外部扩音器与所要用户/听众之间的角度。然而，一个问题是仅使用其集成麦克风的无线装置仅可以确定这些外部扩音器和所要用户/听众的角度，而不是其之间的距离。因此，无线装置可利用具有麦克风且足够远以使声音源(即，扩音器和/或所要用户/听众)成三角形的另一装置(即，一或多个外部装置)。
用于断定扩音器的相对定位/位置的方法可假设先前不知晓关于分布式麦克风的几何信息。在一个实例中，在无线装置可为移动电话的情况下，可假设目标用户/听众和无线装置处于相同位置。揭示用于产生麦克风(例如，声学换能器)和声音源(例如，扩音器、所要或目标用户/扬声器/听众)的映射的若干方法。
图8说明如何断定来自外部扩音器和目标用户/听众的到达方向以便找出扩音器和目标用户的相对定位且将扩音器束导引到目标用户的实例。一般来说，作出外部扩音器118和120是否与外部扩音器108和110对准的确定。举例来说，可断定从第一扩音器108到外部装置106的第一到达方向(doa1)802。类似地，还可断定从第二扩音器110到外部装置106的第二到达方向(doa2)804。如果第一和第二到达方向彼此是约180度，那么目标用户/听众104到外部装置106的第三到达方向(doa3)806可用于将扩音器束808和810导引到所要/目标用户/听众104。然而，一个挑战是如何相对于无线装置102来映射外部装置(例如，外部麦克风118和120和/或扩音器108和110)。
图9说明可如何断定用于分布式音频换能器和目标用户定位的映射。无线装置102寻求找出相对于针对无线装置102给定的坐标系的麦克风118和120、扩音器108和110以及目标用户104的定位。无线装置扩音器112可发射由外部装置106的麦克风118和120俘获的音频/声音信号。此处，可将到第一麦克风118的距离标示为d'，且将到第二麦克风120的距离标示为d"。无线装置102和外部装置106可经时间同步，使得可针对声音信号断定从扬声器112到麦克风118或120的传播时间。知晓了传播时间和声音速度，可断定从扬声器112到每一麦克风118和120的距离d1'和d1"。外部装置106处的麦克风118和120之间的距离d可让外部装置106知晓或可为所述外部装置已知的。举例来说，由于可将麦克风118和120固定到外部装置106，所以外部装置106可知晓距离d且可将所述距离提供给无线装置102。或者，可通过噪声相干来估计或断定距离d，所述噪声相干取决于距离d和频率。对于定义为
知晓了麦克风118与120之间的距离d，可从所接收的所俘获音频/声音信号的时间戳断定无线装置102与外部装置106之间的距离d以及到达方向(通过角度θ1标示)。也就是说，在一个实例中，无线装置102和外部装置106可经由(例如)无线通信接口时间同步。外部装置106处的每一外部麦克风118和120可俘获由外部装置102处的扩音器112发射的音频信号。由于每一所俘获的音频信号可被加时间戳(例如，通过外部装置106且/或通过无线装置102)且穿过空气的声音传播速度是已知的，所以可从一个或两个所俘获的音频信号的时间戳(例如，传播时间)以及声音传播速度断定距离d(即，d＝声音速度×传播时间)。举例来说，可以若干方式断定由扩音器112发射音频信号的时间与由麦克风118和/或120俘获音频信号的时间之间的行进时间(即，传播时间)。在第一实例中，无线装置102和外部装置106可具有同步的时钟。在第二实例中，外部装置106可具有已知的固定应答时间，使得当射频信号被麦克风118和120中的一者俘获时，外部装置106将其到达报告给无线装置102(经由通信接口124)，进而允许无线装置断定到达时间(即，传播时间)。在任一第一和/或第二实例中，无线装置102可获得所发射的音频/声音信号的行进时间。无线装置102与外部装置106之间的距离d可随后被断定为：距离d≈光速×行进时间。另外，知晓了外部麦克风118与120之间的固定距离d且具有由麦克风118和120俘获的对应音频/声音信号的时间戳，可断定麦克风(和轴线902)的相对定向以及相对于外部装置106的角度θ1。应注意，外部装置的轴线可与无线装置102的轴线处于各种角度。举例来说，外部装置106的第一轴线902可与无线装置102的第二轴线904处于一角度。
然而，使用无线装置102处的扩音器112不足以断定外部装置106相对于无线装置102的位置/定位。图10说明识别外部装置106相对于无线装置102的相对位置/定位的此问题。也就是说，虽然可断定距离d和角度θ1(相对于外部装置106)(如上文参考图9所论述，例如，通过使无线装置102和外部装置106时间同步且使用时间戳来断定传播时间)，但相对于无线装置102的到达方向(通过角度θ2标示)是未知的。因此，如此处所说明，外部装置106可处于与无线装置106相关的各种位置(在距离d下)。
为了解决此问题，可利用额外的扩音器或其它方向性装置，如图11到14的各种实例中所说明。
图11说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的解决方案。在此实例中，可使用附接到(或与其集成)外部装置106的扩音器1102来获得相对于无线装置102的到达方向(通过角度θ2标示)。无线装置扩音器112可产生或发射声音/音频信号，所述声音/音频信号由外部装置麦克风118和120俘获，以获得相对于外部装置106的第一到达方向1104(通过角度θ1标示)。类似地，外部装置扩音器1102产生声音/音频信号，所述声音/音频信号由无线装置麦克风116a、116b和/或116c俘获，以获得相对于无线装置102的第二到达方向1106(通过角度θ2标示)。因此，一旦在相同房间检测到具有多个麦克风和扩音器的两个装置，可使用这些来定位麦克风和扩音器以及甚至目标用户的所有定位/位置。也就是说，以如关于图9所论述类似的方式，从外部装置106到无线装置102的音频/声音信号用于获得距离d和角度θ2。
图12说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的另一解决方案。此解决方案使用连线到外部装置106的外部扩音器108(不具有延迟或具有已知的/可估计的延迟)来获得第二到达方向(通过角度θ2标示)。在此解决方案中，第一声音/音频信号从内部扩音器112发射且由外部麦克风118和120俘获。也就是说，无线装置102和外部装置106可时间同步，使得给音频传输加时间戳且可断定传播或行进的时间。可以可基于由麦克风118和120俘获的音频的时间戳来断定扩音器112与外部装置106之间的距离d1。由于声音的速度是已知的，所以可断定距离d1(即，d1＝声音速度×传播时间)。此处，可将到第一麦克风的距离标示为d1'，且将到第二麦克风的距离标示为d1"。类似地，可断定相对于外部装置106的第一到达方向1204(通过角度θ1标示)。知晓距离d且断定到每一麦克风118和120的距离d1'和d1"准许断定第一到达方向(即，角度θ1)，例如，θ1＝θ5/2＝arccos((d1'2+d1"2-d2)/2×d1'×d1")。可获得距离d1作为距离d1'与d1"之间的平均值(即，d1＝((d1'+d1")/2)。无线装置102可通过将消息、命令和/或第二声音/音频信号发送到第二扩音器108(例如，经由到外部装置106且随后到外部扩音器108的通信接口122)而致使第二扩音器108发射第二声音/音频信号。由于外部扩音器108物理地耦合到外部装置106(经由电线1208)，所以可假设从外部装置106经由电线1208发送第二声音/音频信号的时间与第二声音/音频信号被扩音器108发射的时间不存在时间延迟(或此延迟是相对无关紧要的)。因此，可以可通过测量从第二声音/音频信号被发射的时间到其被麦克风118和120俘获的时间的延迟来断定扩音器108与外部装置106之间的距离d2(类似于断定距离d1的方式)。可通过使用麦克风118和120获得从外部扩音器108到外部装置106的第二到达方向且知晓所述麦克风之间的距离d，来断定角度θ3(标示第二到达方向相对于外部装置106的角度)(类似于断定角度θ1的方式)。类似地，可以可通过获得从外部扩音器108到无线装置102的第三到达方向1208来断定角度θ4(例如，第二音频/声音信号被外部扩音器108发射且被无线装置麦克风116a、116b和/或116c俘获)知晓距离d1和d2，以及角度θ3-θ1和θ4，可获得距离d3(在扩音器112与扩音器108之间)和角度θ2，其提供外部装置106相对于无线装置102的定位。具体来说，距离d3可被断定为：
随后，角度θ2可被断定为：
图13说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的另一解决方案。此处，无线装置扩音器102可使用其多个扩音器112和114来产生/发射波束化(聚焦)音频信号，所述音频信号可由外部装置106的麦克风118和120俘获。无线装置102可以各种角度(例如，扫过不同角度)发射聚焦/波束化音频/声音信号(使用多个扩音器112和114)。选择在外部麦克风118和120处递送最大能量(如从所俘获的波束化/聚焦音频/声音信号断定)的角度。将选定的具有最大能量的波束化/聚焦音频信号的角度标示为角度θ2。在此实例中，可如关于图12所论述来断定距离d1和角度θ1。由于无线装置102知晓其相对于其自身的轴线所产生的每一波束化(聚焦)音频信号的角度，所以其知晓从由外部装置106报告的所接收信号能量的角度θ2。
在替代性实施方案中，可使用无线装置102上的立体摄像机来识别外部装置的定位(例如，经由物体辨识)且进而获得角度θ2。
图14说明用以断定相对于无线装置102的到达方向(通过角度θ2标示)的另一解决方案。在此实例中，无线装置和/或外部装置106可具备方向性发射器/接收器对1402和1404，使用所述方向性发射器/接收器对来替代扩音器和麦克风以断定外部装置106相对于无线装置102的定位/位置。举例来说，方向性发射器104可产生以各种角度(例如，扫过各种角度)发射的方向性信号(例如，红外、超声、电磁等)。接收器1404针对所述方向性信号检测在哪一角度感测到最大能量且选择此角度θ2。
断定了外部装置106相对于无线装置102的定位，可通过一起使用无线装置102和外部装置106两者来获得分布式换能器(例如，扩音器和/或麦克风)和目标用户的定位。
图15说明可如何获得分布式换能器和/或目标用户相对于无线装置的定位。举例来说，可通过让每一扩音器发射由无线装置102和/或外部装置106上的一或多个麦克风俘获的声音/音频信号且进行三角测量以估计或获得定位，来断定外部扩音器108和110的定位。举例来说，第一外部扩音器108可产生第一到达方向1502(到无线装置102)和第二到达方向(到外部装置106)。类似地，第二外部扩音器110可产生第三到达方向1506(到无线装置102)和第四到达方向(到外部装置106)。因为外部装置106相对于无线装置102的定位已确定，所以扩音器108和/或110相对于无线装置102的定位是可断定的。类似地，可通过在无线装置102(第五到达方向1510)和外部装置106(第六到达方向1512)处俘获来自目标用户104的音频/声音信号来断定目标用户104的定位。
示范性无线装置
图16是说明适于断定一或多个外部装置和/或目标用户的相对定位以为目标用户提供聚焦音频分布和/或俘获的无线装置的框图。在一个实例中，无线装置1602可包含耦合到通信接口1606和一或多个音频换能器的处理电路1604。通信接口1606可包含发射器电路1616和/或接收器电路1618，所述发射器电路和/或接收器电路准许发送和/或接收去往一或多个外部装置(例如，从外部麦克风、到外部扩音器等)的非可听的信号，例如数字/模拟消息、命令、经编码音频等。所述音频换能器可包含(例如)一或多个集成/外部麦克风1608和1610和/或扩音器1612和1614。
处理电路1604可包含或实施一或多个处理器、专用处理器、硬件和/或软件模块等，其适于执行音频俘获和/或到目标用户的递送的增强。举例来说，时间同步模块1620可适于使用于一或多个外部装置(例如，麦克风、扩音器)的时钟与来自无线装置1602的时钟同步。此可允许外部装置给无线装置1602所发送(例如，由一或多个扩音器1612和1614发射)的所俘获的音频信号(例如，由外部麦克风俘获)加时间戳，进而允许无线装置1602断定音频信号的传播时间，且因此断定无线装置1602与外部装置之间的距离。外部装置识别模块1624可允许无线装置1602经由通信接口1606搜索和/或询问外部装置(例如，扩音器和/或麦克风)，以断定其附近的此些外部装置的存在。定位模块1622可适于相对于无线装置1602定位和/或映射一或多个外部装置和/或一或多个目标用户。举例来说，一旦已识别一或多个外部装置(例如，麦克风和/或扩音器)(例如，通过外部装置识别模块1624)，定位模块1602便可执行一或多个算法(如图2到15所说明)以相对于无线装置1602来定位外部装置和/或目标用户。增强声音俘获和/或分布模块1626可适于使用由定位模块1622获得的外部装置和/或目标用户定位信息来随后将增强的音频/声音俘获和/或音频/声音分布提供给一或多个目标用户。举例来说，在已定位了目标用户和一或多个外部麦克风之后，增强声音俘获和/或分布模块1622可选择最佳地俘获目标用户的话音的一或多个麦克风。举例来说，可选择位于目标用户前方的麦克风。类似地，为了增强到目标用户的音频递送，可选择最靠近目标用户和/或在目标用户周围定位的扩音器向目标用户回放音频/声音。应注意，无线装置1602适于(例如，经由增强声音俘获和/或分布模块1622)从一或多个内部和/或外部麦克风选择性地接收所俘获的音频。举例来说，可由无线装置1602经由通信接口1606来接收由外部麦克风俘获的音频/声音。可给此类所俘获的音频/声音加时间戳(通过发送音频/声音的外部装置或通过无线装置)且/或与俘获麦克风相关联。类似地，可由无线装置1602经由通信接口1606将音频/声音信号发射到一或多个外部扩音器，使得可将音频/声音聚焦或波束化到目标用户。知晓了目标用户的相对位置，增强声音俘获和/或分布模块1622可选择一或多个内部和/或外部扩音器来将聚焦/波束化的音频发射到目标用户。
在一个任选的实施方案中，无线装置1602还可包含无线方向性收发器1628，所述无线方向性收发器可用于定位外部装置，例如，如图14中所说明。
图17说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的方法。应注意，在一个实例中，无线装置可动态地、自动地和/或自主地执行外部装置定位和/或增强的音频/声音俘获和/或递送，而不需要用户起始此些动作，不需要用户交互，且/或不需要外部装置和/或目标用户定位的先前知识。
无线装置可断定一或多个外部装置相对于无线装置的定位，所述外部装置包含一或多个麦克风和/或一或多个扩音器1702。所述无线装置可随后断定目标用户相对于无线装置和所述一或多个外部扩音器的相对定位，其中目标用户相对于无线装置的定位是任意的(或先前未知的)1704。举例来说，所述无线装置可从一或多个外部装置选择一或多个选定外部麦克风且利用它们(连同可能的一或多个内部麦克风一起)从目标用户俘获音频以断定所述目标用户相对于所述无线装置的相对定位。在断定了目标用户定位之后，无线装置可将扬声器专有音频信号无线地发送到所述一或多个外部扩音器，每一扬声器专有音频信号适于在对应的外部扩音器处回放以实现瞄准目标用户的环绕声音体验1706。
图18说明用以定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在无线装置中操作的又一方法。
无线装置可经配置以自动地断定一或多个外部扩音器的存在1802。随后，所述无线装置可自动地断定目标用户相对于所述一或多个外部扩音器和无线装置的相对定位1804。在此相对信息可用的情况下，所述无线装置可将第一音频信号导引到所述一或多个外部扩音器以实现瞄准所述目标用户的环绕声音体验1806。
无线装置还可自动地断定一或多个外部麦克风的存在。无线装置可随后(a)指令所述一或多个外部麦克风从所述一或多个外部扩音器俘获第二音频信号以断定所俘获的第二音频信号的一或多个对应到达方向；和/或(b)指令所述一或多个外部麦克风从所述目标用户俘获第三音频信号以断定所俘获的第三音频信号的到达方向。所述目标用户相对于所述一或多个外部扩音器的相对定位可基于所述到达方向来断定。
示范性外部装置
图19说明适于辅助无线装置断定目标用户的相对定位且为目标用户提供聚焦音频分布和/或俘获的外部装置的框图。在一个实例中，外部装置1902可包含耦合到通信接口1906和一或多个音频换能器的处理电路1904。通信接口1906可包含发射器电路1916和/或接收器电路1918，所述发射器电路和/或接收器电路准许发送和/或接收去往无线装置(例如，从外部麦克风、到外部扩音器等)的非可听的信号，例如数字/模拟消息、命令、经编码音频等。所述音频换能器可包含(例如)一或多个集成/外部麦克风1908和1910和/或扩音器1912和1914。
处理电路1904可包含或实施一或多个处理器、专用处理器、硬件和/或软件模块等，其适于辅助无线装置增强音频俘获和/或到目标用户的递送。举例来说，时间同步模块1920可适于使用于外部装置1902的时钟与来自无线装置的时钟同步。此可允许外部装置给由无线装置发送的(例如，由麦克风1908和/或1910俘获的)所俘获的音频信号加时间戳，进而允许无线装置断定音频信号的传播时间，且因此断定无线装置与外部装置1902之间的距离。外部装置识别模块1924可允许无线装置经由通信接口1906搜索和/或询问外部装置1902(例如，扩音器和/或麦克风)，以断定其附近的此些外部装置1902的存在。音频信号转发模块1922可适于将所俘获的音频信号从麦克风1908和/或1910转发到无线装置。另外，音频信号转发模块1922还可适于将音频信号从无线装置转发到内部/外部扩音器1912和1914。
在一个任选的实施方案中，外部装置1902还可包含无线方向性收发器1928，所述无线方向性收发器可用于相对于无线装置定位外部装置，例如，如图14中所说明。
图20说明用以辅助无线装置定位一或多个附近的外部装置和/或目标用户且使用此信息以提供增强的音频/声音俘获和/或到目标用户的递送的在外部装置中操作的方法。外部装置可从无线装置接收第一指令以激活麦克风且将由麦克风俘获的第一音频信号提供给无线装置，以便相对于无线装置定位外部装置2002。其还可从无线装置接收第二指令以通过外部扩音器回放第二音频信号，从而辅助相对于无线装置定位外部装置2004。另外，所述外部装置可从无线装置接收第三指令以激活麦克风且将由麦克风俘获的第三音频信号发送到无线装置，以便断定目标用户相对于无线装置的定位2006。
随后，外部装置可从无线装置接收指派给一或多个对应外部扩音器的扬声器专有音频信号2008。因此，外部装置可将扬声器专有音频信号发送到所述一或多个对应外部扩音器，每一扬声器专有音频信号适于实现瞄准所述目标用户的环绕声音体验2010。
所展示和所描述的特定实施方案仅为实例且不应被解释为用以实施本发明的唯一方式，除非本文中另有指定。所属领域的技术人员将容易明白，可通过众多其它分割解决方案来实践本发明中的各种实例。
本文中所描述且在图式中所说明的组件、动作、特征和/或功能中的一或多者可重新布置且/或组合为单个组件、动作、特征或功能，或者在若干组件、动作、特征或功能中体现。在不脱离本发明的情况下，还可添加额外的元件、组件、动作、特征和/或功能。本文中所描述的算法还可有效地实施于软件中和/或嵌入在硬件中。
在描述中，可能以框图形式展示元件、电路和功能以便不以不必要的细节混淆本发明。相反，所展示和所描述的特定实施方案仅为示范性的且不应被解释为用以实施本发明的唯一方式，除非本文中另有指定。另外，块定义以及各种块之间的逻辑分割示范了特定实施方案。所属领域的技术人员将容易明白，可通过众多其它分割解决方案来实践本发明。对于大部分来说，已经省略了关于计时考虑和类似物的细节，其中此些细节不是必要的，从而获得对本发明的完整理解且处于所属领域的技术人员的能力范围内。
而且，应注意，可将实施例描述为过程，所述过程被描绘为流程图、操作程序图、结构图或框图。尽管流程图可将操作描述为顺序过程，但可并行或同时执行许多操作。另外，可重新布置操作的次序。过程在其操作完成时终止。过程可对应于方法、功能、程序、子例程、子程序等。当过程对应于功能时，其终止对应于所述功能到调用功能或主功能的返回。
所属领域的技术人员将理解，可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说，可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在以上描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。一些图式可将多个信号说明为单个信号以用于呈现和描述的清楚。所属领域的技术人员将理解，所述信号可表示信号总线，其中所述总线可具有多种位宽度，且本发明可实施于任何数目的数据信号上，包含单个数据信号。
应理解，使用例如“第一”、“第二”等等标示对本文中的元件的任何参考不限制那些元件的数量或次序，除非明确规定此类限制。而是，可在本文中将这些标示用作在两个或更多元件或元件的实例之间进行区分的便利方法。因此，对第一和第二元件的参考不意味着在那里仅可使用两个元件或第一元件必须以某一方式在第二元件前面。另外，除非另有规定，否则一组元件可包括一或多个元件。
另外，存储媒体可表示用于存储数据的一或多个装置，包含只读存储器(rom)、随机存取存储器(ram)、磁盘存储媒体、光学存储媒体、快闪存储器装置和/或其它机器可读媒体，以及用于存储信息的处理器可读媒体和/或计算机可读媒体。术语“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”可包含(但不限于)非暂时性媒体，例如便携式或固定存储装置、光线存储装置以及能够存储、容纳或携载指令和/或数据的各种其它媒体。因此，本文中所描述的各种方法可由可存储于“机器可读媒体”、“计算机可读媒体”和/或“处理器可读媒体”中且由一或多个处理器、机器和/或装置执行的指令和/或数据完全或部分实施。
此外，实施例可由硬件、软件、固件、中间件、微码或其任何组合来实施。当实施于软件、固件、中间件或微码中时，用以执行必要的任务的程序代码或代码段可存储在例如存储媒体等机器可读媒体或其它存储装置中。处理器可执行必要任务。代码段可表示规程、函数、子程序、程序、例程、子例程、模块、软件包、类，或指令、数据结构或程序语句的任一组合。代码段可通过传递和/或接收信息、数据、自变量、参数或存储器内容而耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可经由包括存储器共享、消息传递、权标传递、网络传输等的任何适当手段来传递、转发或传输。
可通过通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑组件、离散门或晶体管逻辑、离散硬件组件，或其经设计以执行本文中所描述的功能的任何组合来实施或执行结合本文中所揭示的实施例而描述的各种说明性逻辑区块、模块、电路、元件和/或组件。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算组件的组合，例如dsp与微处理器的组合、多个微处理器、一个或一个以上微处理器结合一dsp核心，或任何其它此类配置。经配置以用于执行本文中所描述的实施例的通用处理器被视为用于实行此些实施例的专用处理器。类似地，通用计算机当经配置以用于实行本文中所描述的实施例时会被视为专用计算机。
结合本文中所揭示的实例而描述的方法或算法可以处理单元、编程指令或其它方向的形式直接体现于硬件中、由处理器执行的软件模块中或以上两者的组合中，且可容纳在单个装置中或跨多个装置而分布。软件模块可驻存在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移除盘、cd-rom或此项技术中已知的任何其它形式的存储媒体中。存储媒体可耦合到处理器，使得处理器可从存储媒体读取信息，且将信息写入到存储媒体。在替代方案中，存储媒体可与处理器成一体式。
所属领域的技术人员应了解，可将结合本文中所揭示的实施例而描述的各种说明性逻辑区块、模块、电路和算法步骤实施为电子硬件、计算机软件或两者的组合。为清楚说明硬件与软件的此互换性，上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路及步骤。所述功能性是实施为硬件、软件还是其组合取决于特定应用及强加于整个系统的设计选择。
在不脱离本发明的情况下，可在不同的系统中实施本文中所描述的本发明的各种特征。应注意，前述实施例仅为实例且将不被解释为限制本发明。对实施例的描述既定是说明性的且不限制权利要求书的范围。因而，本教示可容易地应用于其它类型的设备，且许多替代方案、修改及变化对于所属领域的技术人员来说将为显而易见的。
- 还没有人留言评论。精彩留言会获得点赞！