多个音频设备的同步的制作方法
背景技术：
本公开涉及无线音频同步。
技术实现要素：
下文提及的所有示例和特征均可以任何技术上可能的方式组合。
在一个方面，音频分配系统包括：音频源；以及多个音频回放设备，该多个音频回放设备彼此通信并且与音频源通信。一组音频回放设备被布置为同步地呈现由音频源提供的音频内容。该组内的音频回放设备中的一个音频回放设备被配置为音频主设备，该音频主设备将音频内容从音频源分配到该组内的其他音频回放设备，并且该多个音频回放设备中除了音频主设备之外的一个音频回放设备被配置为时钟主设备，该时钟主设备分配该组音频回放设备同步到的时钟信息。
实施方式可包括以下特征中的一个特征、或它们的任何组合。
在一些具体实施中，该系统包括接入点，并且该系统被配置为基于多个音频回放设备中的音频回放设备与接入点之间的ping时间来从多个音频回放设备中选择时钟主设备。
在某些具体实施中，该系统被配置为在选择时钟主设备之前从该组音频回放设备中选择音频主设备。
在一些情况下，该系统被配置为在选择时钟主设备时将音频主设备排除在考虑之外。
在某些情况下，该系统被配置为基于报告与接入点的最短ping时间的音频回放设备，从除音频主设备之外的多个音频回放设备中选择时钟主设备。
在一些示例中，该系统被配置为在选择时钟主设备之后从该组音频回放设备中选择音频主设备。
在某些示例中，在选择音频主设备之前，将该组音频回放设备中的音频回放设备上的相应时钟同步到时钟主设备的时钟。
在一些具体实施中，该系统被配置为在选择音频主设备时将被选择用作时钟主设备的音频回放设备排除在考虑之外。
在某些具体实施中，该系统被配置为使得如果被选择用作时钟主设备的音频回放设备也被选择用作音频主设备，则该系统将选择新的时钟主设备。
在一些情况下，当该系统选择新的时钟主设备时，该组音频回放设备内的音频回放设备上的相应时钟保持同步。
在某些情况下，响应于该组音频回放设备中的一个或多个音频回放设备与时钟主设备之间的连接的丢失，该系统被配置为选择新的时钟主设备，并且该组音频回放设备内的音频回放设备被配置为在选择新的时钟主设备时继续同步回放。
在一些示例中，该组音频回放设备内的音频回放设备的相应时钟根据线性时间模型m(x)+b同步到时钟主设备的时钟，其中m是时钟主设备的时钟与同步到时钟主设备的时钟的音频回放设备的时钟之间的速率差(例如，晶体振荡器之间的频率差)；x表示根据同步到时钟主设备的时钟的音频回放设备的时钟的当前时钟时间；并且b为时钟主设备的时钟与同步到时钟主设备的时钟的音频回放设备的时钟之间的偏移。
在某些示例中，m是时钟主设备的时钟和同步到时钟主设备的时钟的音频回放设备的时钟之间的速率差，并且b是时钟主设备的时钟和同步到时钟主设备的时钟的音频回放设备的时钟之间的偏移。
在一些具体实施中，m和b是通过在给定时间窗内对从时钟主设备收集的时间戳(即，从时钟主设备接收的时间戳通信)与同步到时钟主设备的时钟的音频回放设备的时钟(a/k/a“本地时钟”)执行线性拟合来确定的。
在某些具体实施中，一旦选择了新的时钟主设备，该组音频回放设备内的其他音频回放设备就使用试探法将其时钟调节到新的时钟主设备的时钟，这使得该组音频回放设备中的音频回放设备基于新的主时钟来调节其相应的m值和b值，而新的时钟主设备将其速率减小到零，使得新的时钟主设备的m值等于1，并且新的时钟主设备的b值等于零。
在一些情况下，该系统包括控制器，该控制器被配置为使得用户能够从多个音频回放设备中选择两个或更多个音频回放设备以形成该组音频回放设备。
在某些情况下，该系统被配置为从用户选择作为该组音频回放设备的基础的该组音频回放设备中选择音频回放设备作为音频主设备。
在一些示例中，时钟主设备不是该组音频回放设备中的音频回放设备中的一个。
在某些示例中，时钟主设备是该组音频回放设备中的音频回放设备中的一个。
在一些具体实施中，该系统被配置为在选择时钟主设备时将不在该组音频回放设备内的任何音频回放设备排除在考虑之外。
具体实施可提供下列一个或多个优点。
在一些具体实施中，音频主设备和时钟主设备的分离可有助于在音频主设备改变时消除对重新同步的需求。
在某些具体实施中，音频主设备和时钟主设备的分离可有助于避免在时钟主设备恢复期间(断电时)音频回放的中断。
在一些情况下，联网音频回放设备的时钟可预先同步以减少音频回放开始之前的延迟。
附图说明
图1是音频分配系统的示意性框图。
图2是来自图1的系统的音频回放设备的示意图。
图3是来自图1的系统的被布置用于音频同步回放的一组音频回放设备的功能框图。
图4是来自图1的系统的音频回放设备的功能方面的示意性框图。
图5是用于在一组音频回放设备中同步音频回放的示例性过程的流程图。
图6是用于在一组音频回放设备中同步音频回放的另一示例性过程的流程图。
具体实施方式
一些已知的全屋音频系统由多个音频播放器单元组成，这些音频播放器单元可被布置在房屋的各个房间中，并且通过局域网(lan)彼此通信。一般来讲，播放器单元中的一个或多个具有对音频内容源的访问权限，该音频内容源可以是可通过广域网(wan)，诸如互联网广播电台，获得的源。通常，可根据用户的决定将各个单元中的两个或更多个单元分组在一起，形成一个区域，其中区域内成组的播放器单元同步地回放(呈现)音频内容。
为了便于同步回放，单元(主单元)中的一个将分配音频内容以及其他单元(从单元)中的一个或多个用于与主单元同步呈现内容的定时(时钟)信息。从设备中的每个可基于由主设备提供的时钟时间(即，主设备的时钟时间)来调节其相应的时钟或调节音频内容规定的呈现时间。这可允许多个播放器单元(每个播放器单元具有自己的时钟)同步音频内容的呈现。因此，这些现有系统依赖于单个主单元来充当音频主设备以及时钟主设备。
本公开基于这样的认知：将音频主设备和时钟主设备的角色分开可能是有益的。
图1的音频分配系统100可用于实现用于向连接到网络的多个音频回放设备(例如，无线扬声器)分配音频数据并在其中同步音频数据的方法。系统100适于递送数字音频(例如，数字音乐)并且包括多个音频回放设备110-1至110-n(统称为110)。在一个非限制性实施方案中，音频回放设备110为相同的设备，它们各自包括可接收数字音频信号并将其转换成模拟形式的数模转换器。音频回放设备110还包括电声换能器，该电声换能器接收模拟音频信号并将它们转换成声音。音频回放设备还包括处理器。音频回放设备彼此连接并且还经由网络116连接到本地路由器/接入点114。因此，音频回放设备能够彼此通信。网络116可以是有线和/或无线网络，并且可以使用已知的网络连接方法。网络116是局域网(lan)118的一部分，在该非限制性示例中，局域网(lan)118通过连接到互联网122从而连接到广域网(wan)120。lan118还包括一个或多个独立的计算设备124和一个或多个独立的本地数字音频源130。在该非限制性示例中，计算设备包括个人计算机126和移动计算设备128，诸如智能电话、平板电脑等。wan120包括服务器140和互联网广播服务142，其均可经由互联网122与lan通信。
系统100的一个用途是通过音频回放设备110中的一个或多个音频回放设备播放数字音频数据，包括但不限于音频流。数字音频源提供对内容的访问，例如通过网络116移动到音频回放设备的音频流。此类音频流的源可以包括例如互联网广播电台和用户定义的播放列表。此类数字音频源的每个维护一个音频内容的储存库，用户可以选择音频内容在一个或多个音频回放设备上播放。此类数字音频源可包括例如基于互联网的音乐服务，诸如
图2示出了作为本公开的示例的示例性音频回放设备110。音频回放设备110包括壳体210(a/k/a“壳体”)。在壳体210上存在图形界面212(例如，oled显示器)，该图形界面可向用户提供关于当前播放(“正在播放”)音乐的信息。存在一个或多个电声换能器215。音频回放设备110还包括用户输入界面216。用户输入界面216可包括多个预设置指示符，该预设置指示符可为硬件按钮。预设置指示符可向用户提供对分配给这些按钮的实体的简单的一次按压访问。
音频回放设备110还包括网络接口220、处理器222、音频硬件224、用于为各种部件供电的电源226，以及存储器228。处理器222、图形界面212、网络接口220、音频硬件224、电源226和存储器228中的每一者使用各种总线互连，并且这些部件中的若干部件可安装在公共母板上或根据情况以其他方式安装。
网络接口220经由一个或多个通信协议提供无线扬声器组200与音频源以及其他联网无线扬声器组和其他音频回放设备之间的通信。网络接口220可提供无线接口230和有线接口232中的任一者或两者。无线接口230允许无线扬声器组200根据诸如ieee802.11b/g/n/ac的通信协议与其他设备进行无线通信。有线接口232经由有线(例如，以太网)连接提供网络接口功能。
在一些情况下，网络接口220还可包括网络媒体处理器234用以支持apple
来自网络分组的所有其他数字音频通过usb网桥236直接从网络媒体处理器234发送到处理器222并且运行到解码器、dsp中，并最终经由电声换能器215回放(呈现)。网络接口220还可包括用于蓝牙应用(例如，用于与诸如智能电话或平板电脑的支持蓝牙的音频源进行无线通信)的蓝牙电路238。
流式数据从网络接口220传递至处理器222。处理器222可执行无线扬声器组内的指令(例如，用于执行数字信号处理、解码和均衡等功能)，包括存储在存储器228中的指令。处理器222可被实现为包括多个独立模拟处理器和数字处理器的芯片组。处理器222可提供例如音频回放设备110的其他部件的协调，诸如控制用户界面或由音频回放设备110运行的应用程序。
处理器222将经处理的数字音频信号提供至音频硬件224，该音频硬件包括用于将数字音频信号转换为模拟音频信号的一个或多个数模(d/a)转换器。音频硬件224还包括一个或多个放大器，该一个或多个放大器将经放大的模拟音频信号提供至电声换能器215以供回放。此外，音频硬件224可以包括用于处理模拟输入信号的电路，以提供用于与其他设备共享的数字音频信号。
存储器228可包括例如闪存存储器和/或非易失性随机存取存储器(nvram)。在一些具体实施中，指令(例如，软件)存储在信息载体中。当指令由一个或多个处理设备(例如，处理器222)执行时，指令执行一个或多个处理，诸如本文其他地方所述的那些处理。指令也可由一个或多个存储设备存储，诸如一个或多个计算机可读介质或机器可读介质(例如，存储器228或处理器上的存储器)。指令可包括用于执行解码(即，软件模块包括用于解码数字音频流的音频编解码器)以及数字信号处理和均衡的指令。
图3是由图1的音频分配系统中的多个音频回放设备110-1、110-2、110-3形成的回放组300的示意图。在例示的布置中，音频回放设备中的一个(在这种情况下为音频回放设备110-1)用作主音频设备，并且组300中的其他音频回放设备(即，音频回放设备110-2和110-3)用作音频从设备。
主设备110-1从音频源302(即，图1的130或142中的一者)接收音频数据301并将其分配给从设备110-2和110-3。在该非限制性示例中，此类音频分配可通过wifi经由无线接入点/路由器(图1的114项)进行。另选地或除此之外，音频分配可通过有线(例如，以太网)连接，或有线和无线连接的组合进行。组300中的音频设备110-1、110-2和110-3中的每一者将播放音频。同步该组中的设备之间的音频回放，使得它们全部同时播放相同的音频。
为了帮助确保音频内容的回放是同步的并且保持同步，同步组300内的各个音频回放设备的相应内部时钟(a/k/a“本地时钟”)。原则上，此类时钟包括振荡器和计数器。在同步(a/k/a“多室”)回放期间，利用诸如网络时间协议(ntp)等协议按时钟主从关系分配定时信息，以使组300中的所有设备上的当前时钟时间保持同步。
时间同步协议是独立的并且与音频流分开。就这一点而言，音频回放设备中的一个(在这种情况下为音频回放设备110-4)被指定为时钟主设备。值得注意的是，时钟主设备有意地为与音频主设备不同的设备，并且在例示的示例中，甚至不是回放组300的成员(即，在例示的具体实施中，音频回放设备110-4不与组300中的设备同步地呈现音频)。
时钟主设备向组300中的音频回放设备110-1、110-2、110-3(a/k/a“时钟从设备”)提供时钟数据303(即，时钟主设备充当时间服务器)，然后音频回放设备110-1、110-2、110-3使用该时钟数据来更新其相应的时钟以与时钟主设备的时钟同步。时钟数据可周期性地(例如，每1至6秒)提供，以保持成组设备更新并与时钟主设备同步。
单独地，音频主设备还可以提供“播放”时间304；即，组中的所有设备应开始播放分配的音频内容的时间的标识。“播放”时间304可表示单元将渲染一系列有序音频数据样本中的第一样本的时钟时间，音频数据样本的其余部分将以定义的取样速率按顺序播放。“播放”时间304在与音频流分开的控制数据中传送，并且在一些情况下，针对每个曲目仅发送一次(即，其不包括在每帧中)。每个新曲目或流将获得新的“播放”时间。
音频从设备接收音频流301中的第一样本并在指定的“播放”时间304开始回放。由于所有成组设备都同步到时钟主设备，并且因此都具有相同的当前时钟时间，因此它们都同时开始回放。由此，设备可以全部以恒定的取样速率提供回放，并且因此保持同步。
参考图4，每个音频回放设备110包括解析器400、环形缓冲器402、解码器404、样本缓冲器406、同步模块408、以及异步取样速率转换器(asrc)410。这些部件可以是除图2所示的部件之外的部件，或者可以是包括在例如图2所示的处理器222、音频硬件224和/或存储器228中的25。在流开始时，数据(例如，编码音频)开始流到主音频回放设备(a/k/a“音频主设备”)，其中该数据由音频主设备的解析器400解析以识别帧边界。解析器400剥离任何打包编码音频的容器(例如mp3)，并将其放入定制音频帧中。解析但仍然编码的数据被存储在音频主设备的环形缓冲器402中。接下来，对编码数据进行解码，生成时间偏移并将其附加到音频帧的标头，并且将解码的音频帧存储在样本缓冲器406中。该偏移表示对应帧的回放应开始的时间与“播放”时间之间的时间差。同步模块408使用偏移来确定来自对应音频帧的音频样本何时被馈送到asrc410中。asrc410确保用于呈现的恒定取样速率。
为了同步回放，编码数据被立即从音频主设备的环形缓冲器402中拉出，并被提供给从回放设备(a/k/a音频从设备)的环形缓冲器402。编码音频数据的这种分配可经由音频主设备和各个音频从设备中的每个音频从设备之间的单播通信进行。由此，音频从设备遵循如上相对于音频主设备所概述的相同过程。每个音频从设备将对从音频主设备拉出的编码音频进行解码，将偏移分配给帧标头，并将解码的音频帧存储在其相应的样本缓冲器406中。每个音频从设备都将自己的偏移应用于音频帧，但这些偏移将与音频主设备应用的偏移相同，因为每个设备都接收相同的流并使用相同的解码器软件。
由于音频主设备和音频从设备上的时钟同步并且偏移全部相同，因此组(例如，图3的组300)中的每个设备将同时将相同的数据馈送到其asrc410中。asrc410确保每个设备以相同的恒定速率输出音频。尽管处于定时同步，但单个设备上的振荡器可能以不同的速率旋转，这可能导致设备之间的时间漂移。对时钟时间的同步调整可能会导致相应从设备需要播放的音频持续时间保持同步，无论增加或缩小。每个设备上的asrc410负责这些时间调整，并调控接收到的音频数据，以确保恒定的样本输出速率。
图5是用于在组形成期间分配角色(即，主/从角色)的示例性过程500的流程图。在一些具体实施中，过程500可至少部分地由执行存储在存储器228(图2)中的指令的音频回放设备中的一个或多个音频回放设备的处理器222(图2)执行。过程500的操作包括接收关于组的形成的用户指令(502)。就这一点而言，通常经由设置在控制器设备(诸如图1的个人电脑126或移动设备128)上的用户界面中的输入来形成组。用户选择第一设备(即，音频回放设备110中的第一音频回放设备)用作组的基础，然后通过经由用户界面选择音频回放设备中的其他设备加入该组来扩大该组。另选地或除此之外，在一些具体实施中，用户可一次选择多个设备以创建组。另外，在一些具体实施中，可存在持久组或构造，其可被保存并随后被选择用于回放。例如，在一些具体实施中，可以经由语音指令来选择预定义的组，例如“在楼下播放音乐”作为自动开始播放来自预设置(“持久”)组的音乐的语音指令。关于组选择的信息被发送到一个或多个音频回放设备，并由一个或多个音频回放设备接收(502)。
过程500还包括音频主设备的选择(504)。在一些情况下，音频主设备被自动设置为被选择用作组的基础的音频回放设备。另选地，该组内具有最强wifi信号强度的设备可被选择作为音频主设备。例如，该组中的音频回放设备中的每个音频回放设备可将其信号强度传送给其他组成员。一旦该组中的每个设备已从其他每个组成员处接收到信号强度信息，每个设备就将具有最高/最强信号强度的组成员识别为该组的音频主设备。另选地或除此之外，组成员可将其相应信号强度全部报告给一个网络设备(例如，控制器设备)，并且该网络设备可向组成员标识音频主设备。
为了确保来自音频回放设备的音频输出是真正同步的，同步所有音频回放设备的相应时钟。为了实现这种时钟同步，选择音频回放设备中的一者作为时钟主设备(506)。时钟主设备分配一个参考时间，组中的所有音频回放设备将其各自的时钟同步到该参考时间。
时钟主设备可以是该组中的音频回放设备中的一个，或者可以是该组之外的音频回放设备；然而，时钟主设备的选择使得没有音频回放设备可以同时充当音频主设备和时钟主设备。就这一点而言，可根据将音频主设备排除在考虑之外的领导选择算法(a/k/a“领导选举算法”或“领导选举”)来选择时钟主设备。在分布式计算中，领导选举是将单个节点指定为分配在若干计算机(节点)(在这种情况下为音频回放设备110)之间的一些任务的组织者的过程。在任务开始之前，所有网络节点要么不知道哪个节点将用作任务的“领导”(或协调器)，要么不能与当前协调器通信。然而，在已经运行领导选举算法之后，整个网络中的每个节点将特定节点识别为任务领导。
网络节点相互通信以决定它们中的哪一个将进入“领导”状态。为此，它们需要一些方法来打破它们之间的对称性。例如，如果每个节点都有唯一且可比较的标识，那么节点可以比较它们的标识，并决定具有最高标识的节点是领导。在一些情况下，领导选择算法可选择时钟主设备作为报告最低ping时间的回放单元。
例如，组中的每个音频回放设备可以对接入点(图的114项)执行ping操作，并将其ping时间(即，从音频回放设备发送到接入点并被回传给音频回放设备的消息的往返时间)传送给其他组成员。一旦该组中的每个设备已经从其他组成员中的每个接收到相应的ping时间，每个设备就将具有最短ping时间的组成员(不包括音频主设备)识别为该组的时钟主设备。另选地，如上所述，选择时钟主设备的过程可被扩展为包括系统(诸如图1的系统100)中的所有音频回放设备，并且因此不一定仅限于回放组的成员。在这种情况下，时钟主设备可从报告最低ping时间的系统设备(不包括音频主设备)选择，无论其是否是回放组的一部分。
在一些具体实施中，音频回放设备可被布置在包括接入点的对等网络中。在此类配置中，如上所述，时钟主设备可以被选择为记录与接入点的最短ping时间的音频回放设备，或者，时钟主设备可以基于对等网络的节点之间的ping时间来确定。例如，时钟主设备可被选择为记录与其他网络节点的最小平均ping时间的音频回放设备(例如，排除音频主设备)。
选择了时钟主设备后，包括音频主设备在内的组中的成员就可以开始同步(508)时钟主设备的时钟。在一些情况下，音频回放设备的时钟可根据线性时间模型mnx+bn同步到主时钟时间，其中mn是主设备时钟与从设备n的时钟之间的速率差，x表示从设备n上的当前时钟时间，bn是自启动以来主时钟与从设备n的时钟之间的偏移。在某些情况下，mn和bn是通过在给定的时间窗口内对从时钟主设备收集的时间戳和本地时钟执行线性拟合来确定的。有了这种模型，即使需要更改时钟主设备，设备也可以保持一定程度的同步。
就这一点而言，存在可能需要新的时钟主设备的两种情况：1.如果当前时钟主设备断电；或2.如果时钟主设备成为音频主设备，这种情况可能在当前时钟主设备被选择作为新分组的领导时发生。在任一种情况下，领导选择算法重启。此时，系统处于“开环”状态，在该状态下，音频回放设备最初使用其现有的相应mn和bn值来保持时钟同步。然后，一旦选择了新的时钟主设备，其他音频回放设备就开始使用试探法将其时钟缓慢地调节到新的时钟主设备的时钟，这使得音频回放设备基于新的主时钟来调节其相应的m值和b值，而新的时钟主设备将其速率缓慢地降低到零，使得m主设备＝1，并且b主设备＝0。
参考图6，在替代实施方案(600)中，可以在形成组之前(606)和/或在选择音频主设备之前(608)选择时钟主设备(602)。这可以有利地允许音频回放设备在音频内容被选择回放之前被时钟同步(“预同步”)(604)，这最终可以允许回放开始之前的更短延迟(610)。在该实施方案中，可以使用与上述相似的领导选择算法来选择时钟主设备，但是不必排除音频主设备。然后可在稍后的某个时间确定音频主设备。就这一点而言，音频主设备可以通过主设备选择算法来选择，该算法将时钟主设备排除在考虑之外。
主设备选择算法可以基于报告最强的wifi信号连接的回放组内的音频回放设备(不包括用作时钟主设备的任何设备)来选择(608)音频主设备。可选地，可以基于报告最强的wifi信号连接的回放组内的音频回放设备来选择(608)音频主设备，而不管该设备是否也用作时钟主设备。在这种情况下，如果随后选择(608)时钟主设备作为音频主设备，则可以在开始回放所选音频的同时或之后选择新的时钟主设备，也就是说，当选择了新的时钟主设备时，组内的音频回放设备仍然可以利用其时钟已预同步的事实。
虽然已经描述了音频回放设备可能不同时用作回放组的音频主设备和时钟主设备两者的具体实施，但是可以设想，音频回放设备可用作一个回放组的时钟主设备，同时还用作相同音频分配系统内的另一个不同回放组的音频主设备。
在一些具体实施中，音频源经由个人局域网(pan)(例如，经由蓝牙连接)连接到回放组的音频回放设备中的一个。在此类情况下，耦接到音频源的设备可被选择作为音频主设备，该选择然后可经由lan从音频主设备传送到该组中的其他设备。
在某些具体实施中，音频源通过音频回放设备上的辅助输入端口经由硬连线连接连接到回放组的音频回放设备中的一个。在此类情况下，直接耦接到音频源的设备可被选择作为音频主设备，该选择然后可经由lan从音频主设备传送到该组中的其他设备。
上述系统和方法的实施方式包括对于本领域技术人员来将显而易见的计算机部件和计算机实现的步骤。例如，本领域技术人员应当理解，计算机实现的步骤可以作为计算机可执行指令存储在计算机可读介质上，诸如，例如，软盘、硬盘、光盘、闪存rom、非易失性rom和ram。此外，本领域技术人员应当理解，计算机可执行指令可以在各种处理器上执行，诸如，例如，微处理器、数字信号处理器、门阵列等。为了便于说明，上述系统和方法并不是每一个步骤或元件在本文中都被描述为计算机系统的一部分，但是本领域技术人员将认识到每个步骤或元件可以具有对应的计算机系统或软件部件。因此，通过描述其对应的步骤或元件(即，它们的功能)来实现此类计算机系统和/或软件部件在本公开的范围内。
已描述了多个实施方式。然而，应当理解，在不脱离本文所述发明构思的范围的情况下，可进行附加修改，并且因此，其他实施方式在以下权利要求书的范围内。
- 还没有人留言评论。精彩留言会获得点赞！