自动切换活动麦克风的制作方法

相关申请的交叉引用

本申请要求提交日期为2018年11月27日的美国临时专利申请no.62/771,747的权益，该申请的公开内容通过引用并入本文。

背景技术：

由于短程无线通信标准的限制，无线耳塞式耳机仅支持在电话呼叫期间充当活动麦克风的耳塞式耳机中的一个耳塞式耳机。这给用户带来了用户体验问题，因为他们在电话呼叫时不能轻松地与朋友共享他们的耳塞式耳机以进行应当无缝工作的“三向”呼叫。一种可能的解决方案是用户可以手动指定要在哪个耳塞式耳机上使用麦克风。无论是否被佩戴在用户的头部上，手动指定的耳塞式耳机都充当活动麦克风。在这种模式下，在用户发现话音数据没有被所佩戴的另一耳塞式耳机捕获之前，具有活动麦克风的耳塞式耳机可以在这种情况下保存一段时间。

技术实现要素：

本公开提供了一种系统，特别是适用于在两个或多个设备之间自动地来回切换活动麦克风的音频回放系统。例如，在系统包括一对耳塞式耳机的情况下，在每个耳塞式耳机由分开的用户佩戴时，该系统可以将活动麦克风切换到由在给定时间正在说话的用户佩戴的设备。尽管该设备保持活动麦克风，但是另一设备可以等待直到使所述麦克风空闲的特定事件为止，诸如如果佩戴具有活动麦克风的设备的用户停止说话。这种事件可以触发活动麦克风变得空闲，这时另一设备可以固定活动麦克风。根据一些示例，侧音或舒适噪声或另一通知可以通过系统中的设备中的一个或多个来提供，以让用户知道例如他不具有活动麦克风、活动麦克风是空闲的、活动麦克风已经被切换等。

本公开的一个方面提供了一种系统，包括与第二设备无线通信的第一设备，该第一设备包括：扬声器，被配置为在其中它捕获音频输入以发送给计算设备的活动模式以及在其中它不捕获音频输入的非活动模式下操作；以及一个或多个处理器。当第一设备的麦克风处于活动模式并且第二设备的麦克风处于非活动模式时，第一设备的一个或多个处理器被配置为通过第一设备的麦克风接收语音输入，检测接收到的语音输入中的端点，以及想第二设备的麦克风提供切换到活动模式的机会。检测端点可以包括例如检测以下至少一个：停顿、关键字或词尾变化(inflection)。第一设备和第二设备可以是音频回放设备，诸如耳塞式耳机。然而，在其他示例中，第一设备和第二设备可以是其他类型的设备，可以是相同类型或不同类型的。例如，第一设备可以是入耳式扬声器/麦克风，而第二设备是智能手表或头戴式显示装置。

向第二设备的麦克风提供切换到活动模式的机会可以包括例如将第一设备的麦克风切换到非活动模式。根据一些示例，当第一设备的麦克风处于非活动模式时，它监听音频输入而不捕获音频以进行发送。当第一设备处于非活动模式时，第一设备的一个或多个处理器还可以至少基于所述监听来确定是否将第一设备的麦克风切换到活动模式。在一些示例中，第一设备和第二设备中的每个设备可以具有麦克风，所述麦克风中仅一个麦克风在给定时间处于活动模式。第一设备和/或第二设备然后可以被配置为确定在接收到的语音输入中的端点，例如当用户停止说话时。例如，具有活动麦克风的设备因此可以检测用户是否已经到达由活动麦克风所接收的语音中的端点，并且响应于检测到这种端点，可以自动释放所述活动麦克风，从而向另一设备的麦克风提供切换到活动模式的机会。

根据一些示例，第一设备的一个或多个处理器还可以被配置为当第二设备的麦克风切换到活动模式时接收通知。例如，所述通知可以是从第二设备的扬声器发出的声音，诸如侧音或舒适噪声。

第一设备的一个或多个处理器还可以被配置为确定第一设备的麦克风是否处于活动模式，检测第一设备的用户是否正在提供音频输入，以及当第一设备的麦克风处于非活动模式并且音频输入被检测到时，将通知提供给第一设备的用户。

根据一些示例，第二设备的一个或多个处理器可以被配置为确定第二设备切换到活动模式的机会，因此确定例如活动麦克风已经变得可用。一个或多个处理器还可以被配置为然后通过将第二设备的麦克风切换到非活动模式来固定活动麦克风。

本公开的另一方面提供了一种方法，包括：通过第一无线设备的第一设备麦克风接收语音输入，其中第一无线设备在活动麦克风模式下操作并且与在非活动麦克风模式下操作的第二无线设备通信；通过第一设备的一个或多个处理器，检测接收到的语音输入中的端点；以及通过第一设备的一个或多个处理器，向第二设备的麦克风提供切换到活动模式的机会。向第二设备麦克风提供切换到活动模式的机会可以包括将第一设备的麦克风切换到非活动模式。

根据一些示例，该方法还可以包括：确定第一设备的麦克风是否处于活动模式；检测第一设备的用户是否正在提供音频输入；以及当第一设备的麦克风处于非活动模式并且音频输入被检测到时，通过第一设备提供通知。

本公开的再一方面提供了一种存储指令的计算机可读介质，该指令由第二设备无线通信的第一设备的一个或多个处理器可执行以执行包括以下步骤的方法：通过第一设备的第一设备麦克风接收语音输入，其中第一设备在活动麦克风模式下操作并且与在非活动麦克风模式下操作的第二无线设备通信；检测接收到的语音输入中的端点；以及向第二设备的麦克风提供切换到活动模式的机会。

附图说明

图1是图示了根据本公开的各个方面的辅助设备的示例使用的示意图。

图2是图示了根据本公开的各个方面的辅助设备的另一示例使用的示意图。

图3是图示了根据本公开的各个方面的示例系统的功能框图。

图4是用于指示根据本公开的各个方面的辅助设备的各种可能操作模式的表格。

图5是图示了根据本公开的各个方面的由具有活动麦克风的音频设备执行的示例方法的流程图。

具体实施方式

概述：

本公开提供了在多个用户设备之间无缝共享一个活动麦克风源，诸如由两个不同的人佩戴的耳塞式耳机，而无需用户输入。每个用户设备可以被配置为确定哪个设备可能需要活动麦克风。例如，所述系统可以检测用户的语音输入中的端点，从而检测另一用户何时可能输入响应语音。这种端点的示例可以是停顿、关键字、词尾变化或另一因素。有可能需要活动麦克风的设备可以被切换到活动麦克风。在一些示例中，特定设备可以请求或以其他方式固定活动麦克风。这种设备可以继续保持活动麦克风，直到其用户暂时停止提供音频输入为止。

在一些示例中，每个设备可以检测佩戴该设备的用户是否正在说话。如果用户正在说话，但设备没有活动麦克风，则可以提供通知。例如，可以提供侧音、舒适声音或另一可听通知。在其他示例中，通知可以是触觉的，诸如所述设备的振动。

在一些示例中，向系统的用户指示他们正在使用的设备是否具有活动麦克风可能是有益的。这种指示可以例如通过处于非活动模式的设备的扬声器由来自活动麦克风的侧音来提供。在这方面，当用户听到侧音时，他们将知道他们不具有活动麦克风。作为另一示例，当活动麦克风空闲并且任一设备都可以固定它时，可以提供舒适噪声。在再一示例中，可以以指示该设备是活动还是非活动的方式来调整所述活动和/或非活动设备中的音量。各种其他可能的指示中的任何一个都可以实施。

与明确的手动切换相比，活动麦克风的这种自动切换的一个优点是它是无缝的，并且不需要任何用户交互。它无需任何训练即可为设备提供“预期”行为，从而提供改善的用户体验。而且，该解决方案无需显著消耗带宽和其他资源。

示例系统

图1图示了佩戴第一音频回放设备180的用户101和佩戴第二音频回放设备190的第二用户102的示例。在该示例中，第一设备180和第二设备190是耳塞式耳机。然而，在其他示例中，第一设备和第二设备可以是其他类型的设备，可以是相同类型或不同类型的。例如，第一设备可以是入耳式扬声器/麦克风，而第二设备是智能手表或头戴式显示装置。

如图1所示，第一设备180经由连接185耦合至第二设备190。连接185可以包括标准的短程无线耦合，诸如蓝牙连接。

第一设备180和第二设备190中的每个设备都具有麦克风，其中在给定时间仅所述麦克风中的一个麦克风是“活动的”。活动麦克风可以捕获用户的话音并将其发送给计算设备170，该计算设备170可以是例如移动电话或其他移动计算设备。在图1的示例中，由第二用户102佩戴的第二设备180保持活动麦克风，并因此捕获第二用户102的话音输入。

例如在第一设备180上的非活动麦克风可以捕获用户的话音，以便确定是否尝试固定活动麦克风、或通知用户没有捕获话音以发送给计算设备170。

第一设备180和第二设备190中的每个设备可以被配置为确定用户何时开始说话或停止说话。例如，具有活动麦克风的设备可以确定其用户是否已经到达由活动麦克风所接收的语音中的端点。所述端点可以基于例如词尾变化、语速、关键字、停顿、或音频输入的其他特征。根据一些示例，在所述确定中还可以使用其他信息，诸如话音识别、设备的移动、干扰水平的变化等。例如，所述设备可以基于话音识别、检测到的移动与用户的下颚移动一致、接收到的音频的音量等，来确定是否从佩戴活动麦克风的用户或从另一用户通过活动麦克风接收到音频。

所述端点可以充当非活动设备的用户接下来将可能提供音频输入的指示。类似地，具有非活动麦克风的设备可以监听音频，而无需捕获音频进行发送。因此，具有非活动麦克风的设备可以确定其用户是否正在说话。如果是，则它可以尝试固定活动麦克风和/或通知其用户其麦克风是非活动的。具有非活动麦克风的设备可以基于加速度计移动或其他传感器信息而做出类似的确定。

当具有活动麦克风的设备的用户停止说话时，活动麦克风可以被释放。例如，第一设备180和第二设备190两者都可以进入活动麦克风可用的模式。根据一些示例，释放活动麦克风可以包括向计算设备170指示该麦克风正在进入非活动模式。例如，释放活动麦克风的设备可以发送用于指示其释放活动麦克风的信号。在这种模式下，任一设备都可以固定活动麦克风。例如，有可能需要麦克风的设备可以固定它。有可能需要麦克风的设备可以是例如以特定方式移动的设备、先前非活动的设备、用户开始对其说话的设备、或这些因素或其他因素的任何组合。

根据一些示例，可以实施机器学习算法以确定哪个设备应该切换到活动模式。例如，机器学习算法可以使用训练数据集，其包括话音输入参数，诸如说话时间、停顿时间、关键字(诸如专有名词或代词)、音量等。训练数据中的其他参数可以包括诸如由加速度计或其他设备测量的移动、信号强度、电池电量、干扰、或任何其他信息。基于这种参数中的一个或多个，所述系统可以确定哪个设备应该切换到活动模式以捕获用户话音输入。

根据一些示例，可以使用该设备上的一个或多个传感器来确定具有活动麦克风的设备的用户是否停止说话，或者具有非活动麦克风的设备的用户是否开始说话。例如，除了麦克风之外，所述设备可以包括电容传感器、热传感器或其他传感器，以检测电子设备180是否与皮肤接触，从而指示电子设备180是否被佩戴。在其他示例中，传感器可以包括用于检测与用户说话一致的用户移动的加速度计。例如，当佩戴电子设备180的用户开始说话时，他的嘴巴、下颚和他身体的其他部分移动。这种移动可以指示正在说话。

图2图示了另一示例，其中第一设备180已经被切换模式以作为活动麦克风操作，并且第二设备190已经被切换模式以作为非活动麦克风操作。因此，第一设备180可以捕获第一用户101的话音并将其发送给计算设备170。第二设备190可以等待活动麦克风变得可用，诸如当第一用户101停止说话时。如果第二用户102在活动麦克风变得可用之前开始说话，则可以通过第二设备190提供通知。例如，第二设备可以播放声音，诸如钟声，它可以播放侧音或舒适音调，它可以振动、照亮发光二极管、或提供某种其他类型的通知。

图3提供了第一(辅助)设备180和(第二)辅助设备190的示例框图。辅助设备180、190可以是各种类型的设备中的任何一种，诸如耳塞式耳机、头戴式设备、智能手表等。每个设备包括一个或多个处理器391、381、存储器392、382以及通常存在于音频回放设备和辅助设备中的其他组件。尽管示出了多个组件，但是应该理解的是，这种组件仅是非限制性示例，并且可以附加地或替换地包括其他组件。

一个或多个处理器391、381可以是任何常规处理器，诸如可商购的微处理器。替换地，一个或多个处理器可以是专用设备，诸如专用集成电路(asic)或者其他基于硬件的处理器。尽管图3在功能上将处理器、存储器以及辅助设备180、190的其他元件图示为在相同的相应框内，但是本领域的普通技术人员可以理解，所述处理器或存储器实际上可以包括多个处理器或存储器，其可以或者可以不存储在同一物理外壳内。类似地，存储器可以是硬盘驱动器或者其他存储介质，其位于与辅助设备180、190不同的外壳中。因此，对处理器或计算设备的引用将被理解为包括对处理器或计算设备或存储器的集合的引用，其可以或者可以不并行操作。

存储器382可以存储由处理器381可访问的信息，包括可以由处理器381执行的指令383和数据384。存储器382可以是可操作以存储由处理器381可访问的信息的一种存储器，包括非暂时性计算机可读介质，或者用于存储可以借助电子设备读取的数据的其他介质，诸如硬盘驱动器、存储卡、只读存储器(“rom”)、随机存取存储器(“ram”)、光盘以及其他可写和只读存储器。本文公开的主题可以包括前述的不同组合，由此将指令383和数据384的不同部分存储在不同类型的介质上。

根据指令384，可以通过处理器381取回、存储或者修改数据384。例如，尽管本公开不受特定数据结构的限制，但是数据384可以存储在计算寄存器中、存储在关系数据库中作为具有多个不同字段以及记录的表格、xml文档或者平面文件。数据384也可以以计算机可读格式来格式化，诸如但不限于二进制值、ascii或统一码。进一步仅通过示例，数据384可以被存储为包括像素的以压缩或未压缩存储的位图，或者存储为各种图像格式(例如jpeg)、基于向量的格式(例如svg)或用于绘制图形的计算机指令。而且，数据384可以包括足以标识相关信息的信息，诸如数字、描述性文本、专有代码、指针、对存储在其他存储器中的数据的引用(包括其他网络位置)或者由用于计算相关数据的函数所使用的信息。

指令383可以被执行以改善在三向呼叫期间的用户体验，其中一个用户佩戴第一辅助设备180，并且另一用户佩戴第二辅助设备190。例如，指令383可以提供用于等待活动设备的用户的语音中的端点，确定活动麦克风已经变得可用，并固定活动麦克风。

当第一辅助设备180正在执行指令383时，第二辅助设备190还可以正在执行与数据394一起存储在存储器392中的指令393。例如，类似于辅助设备180，辅助设备190还可以包括用于存储数据394和由一个或多个处理器391可执行的指令393的存储器392。存储器392可以是各种类型中的任何一种，并且数据394可以是各种格式中的任何一种，类似于辅助设备180的存储器382和数据384。当辅助设备180正在接收和编码来自佩戴辅助设备180的用户的语音时，第二辅助设备190也可以通过麦克风398监听和接收语音。指令393可以提供用于保持活动麦克风，捕获和发送第二设备190的用户的话音，检测第二用户的语音中的端点，并且当检测到所述端点时自动释放所述活动麦克风。因此，第一设备180和第二设备190可以被配置为在作为非活动麦克风设备和活动麦克风设备操作之间来回切换。因此，尽管图3的示例图示了每个指令集中的特定操作集合，但是应该理解的是，任一设备可能都能够执行任一指令集以及附加或其他指令。仅作为示例，指令383、393可以被执行以确定第一设备180和第二设备190是否由同一用户佩戴，确定哪个用户正在提供音频输入等。

可以通过输出387、397播放可听通知或其他音频，诸如来自电话呼叫另一端的用户的语音。输出387、397可以分别包括例如适用于提供可听输出的一个或多个扬声器。在一些示例中，输出387、397还可以包括一种或多种其他类型，诸如显示器、触觉反馈等。

应该理解的是，辅助设备180和移动设备190可以分别包括未示出的其他组件，诸如电池的充电输入、信号处理组件等。这种组件也可以用于执行指令383、393。

图4提供了用于图示第一辅助设备180和第二辅助设备190的一些示例操作模式的图表。在第一示例模式下，第一设备保持活动麦克风，并且第二设备等待活动麦克风被释放。例如，第二设备可以等待第一设备的第一用户的语音中的端点。

在第二示例模式下，活动麦克风是可用的。在这种模式下，活动麦克风已从其先前的设备释放，但尚未由其他设备固定。实际上，所述设备通常只会在这个模式下操作非常短的时间，诸如几分之一秒或毫秒。在这方面，当两个设备都未捕获话音输入时，将不会有令人不快的停滞时间。

在第三示例模式下，第二设备已经固定了活动麦克风，并且第一设备等待端点。在一些示例中，如果例如非活动设备的用户以特定方式(诸如高于阈值分贝水平或高于特定速率)提供话音输入，则活动麦克风可以切换设备，而不是等待端点。

示例方法

除了上述和附图中图示的操作之外，现在将描述各种操作。应该理解的是，不必以下面描述的精确顺序执行以下操作。而是，可以以不同顺序或同时地处置各种步骤，并且还可以添加或省略步骤。

图5是图示了由诸如一对耳塞式耳机的音频系统执行的示例方法的流程图，其中所述系统中的一个设备是“活动”设备并保持活动麦克风，而所述系统中的一个或多个其他设备作为“非活动”设备操作，使得它们的麦克风不会捕获音频输入。

在框410中，非活动设备等待活动麦克风变得可用。同时，在框510中，活动设备捕获用户的话音输入，并且在框520中将话音发送给计算设备。

在框530中，活动设备确定是否已到达端点，诸如活动设备的用户是否已停止说话。所述端点可以充当非活动设备的用户接下来将可能提供音频输入的指示。所述端点可以基于例如音频输入的词尾变化、语速、关键字、停顿、或其他特征。根据一些示例，在所述确定中还可以使用其他信息，诸如话音识别、设备的移动、干扰水平的变化等。如果尚未到达端点，则所述设备继续在框510中捕获输入。然而，如果到达端点，则在框540中，活动设备可以释放活动麦克风。

在框420中，非活动设备确定活动麦克风是否可用。在直到可用之前，非活动设备将继续等待。如果在框425中非活动设备检测到其用户正在说话，则非活动设备可以提供该设备不具有活动麦克风的通知。然而，如果活动麦克风是可用的，则非活动设备固定活动麦克风(框430)，从而切换模式。因此，它将捕获用户话音(框440)并将其发送给计算设备(框450)。同时，也已经被切换模式并且现在作为非活动设备操作的活动设备等待活动麦克风变得可用(框550)。

尽管以上示例主要描述了共享活动麦克风的两个设备，但在其他示例中，三个或多个设备可以共享活动麦克风。例如，两个非活动设备将等待活动麦克风变得可用。当它变得可用时，它可以由非活动设备中的一个非活动设备固定，诸如无论哪个设备首先检测到来自其用户的音频输入或该用户的移动，诸如其用户下颚或嘴巴的与用户说话一致的移动。

除非另有规定，否则前述替代示例不是相互排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不脱离权利要求所限定的主题的情况下利用上面讨论的特征的这些和其他变型以及组合，因此，对实施例的前述描述应该通过说明的方式而不是通过限制权利要求所限定的主题的方式来进行。另外，本文描述的示例的提供以及用短语表达为“诸如”、“包括”等的条款不应被解释为将权利要求的主题限制于特定示例；相反，所述示例不旨在说明许多可能实施例中的仅一个实施例。进一步地，不同附图中的相同附图标记可以标识相同或类似的元件。