改进的音频同步技术的制作方法
【专利说明】改进的音频同步技术
【背景技术】
[0001] 在音频采集和处理领域中，为由多个设备交换的音频信息定义共同的时间参考系 (temporal frame of reference)是可取的。例如，为了使得音频信息在驻留于多个设备 上的扬声器上的回放能够同步，或者为了使得中央设备能够以时间同步方式组合从多个远 程设备接收到的音频信息，定义共同的时间参考系是可取的。在多个这样的设备被连接到 相同网络的布置中，该网络的网络时钟可以为多个设备提供互相理解的时间情境。这样一 来，用于基于共同的网络的网络时钟为由多个设备交换的音频信息定义共同的时间参考系 的技术是可取的。
【附图说明】
[0002] 图1示出了第一操作环境的一个实施例。
[0003] 图2示出了第二操作环境的一个实施例。
[0004] 图3示出了第一装置的一个实施例和第一系统的一个实施例。
[0005] 图4示出了第二装置的一个实施例和第二系统的一个实施例。
[0006] 图5示出了第一逻辑流程的一个实施例。
[0007] 图6示出了第一逻辑流程的一个实施例。
[0008] 图7示出了第三逻辑流程的一个实施例。
[0009] 图8示出了第四逻辑流程的一个实施例。
[0010] 图9示出了设备的一个实施例。
【具体实施方式】
[0011] 各种实施例可以一般地涉及音频同步的技术。在一个实施例中，例如，装置可以包 括处理器电路和音频同步模块，该音频同步模块可以由处理器电路操作以接收音频信息， 该音频信息包括根据网络的网络时钟定义的第一网络时间索引；确定音频信息的第二网络 时间索引，第二网络时间索引是根据第二网络时钟定义的；基于第一网络时间索引和第二 网络时间索引之间的差值确定音频信息的传输延迟值；以及基于音频信息的传输延迟值和 远程处理延迟值确定音频信息的总延迟值。其他实施例可以被描述并被要求保护。
[0012] 各种实施例可以包括一个或多个元件。元件可以包括被安排为执行某些操作的任 意结构。根据给定的一组设计参数或性能约束的需要，每个元件可以被实现为硬件、软件或 其任意组合。虽然实施例可以通过示例的方式在某一拓扑中使用有限数目的元件来描述， 但是实施例可以根据给定实现方式的需要在可替代拓扑中包括更多或更少的元件。值得 注意的是，对"一个实施例"或"实施例"的任何提及是指与该实施例相关地描述的具体特 征、结构或特性被包括在至少一个实施例中。在说明书各个地方出现的短语"在一个实施例 中"、"在一些实施例中"和"在各种实施例中"不一定都指相同的实施例。
[0013] 图1根据各种实施例示出了操作环境100的示例。如图1所示，中央设备102通 过网络106与一个或多个远程设备104-n通信。值得注意的是，本文所用的"η"以及类似 的指示符被规定为代表任意正整数的变量。因此，例如，如果实现方式设置值为η = 4,则远 程设备104-n的完整集合可以包括远程设备104-1、104-2、104-3和104-4。这些实施例不 限于该上下文。
[0014] 在一些实施例中，每个远程设备104-n可以操作以产生各自的音频信息108-n。 在各种实施例中，一个或多个远程设备l〇4-n可以包括或者被通信地耦合到相应的麦克风 I l〇-n，并且可以操作以使用这些麦克风110-n捕获音频信息108-n。在一些实施例中，通过 记录与相同真实世界事件、系列事件、或过程相关联的音频效果，每个远程设备104-n可以 操作以生成其各自的音频信息l〇8-n。例如，在各种实施例中，每个远程设备104-n可以包 括会议室中的设备，并且可以捕获该会议室中的会议的参与者的发言。这些实施例不限于 该示例。
[0015] 在一些实施例中，远程设备104-n可以操作以通过网络106向中央设备102发送 音频信息l〇8-n。在各种实施例中，网络106可以包括无线网、有线网或二者的组合。在一 些这样的实施例中，一个或多个远程设备104-n的音频信息108-n可以包括音频流和/或 作为音频流通过网络106被发送。这些实施例不限于该上下文。
[0016] 在各种实施例中，中央设备102为由远程设备104-n生成的音频信息108-n定义 设备间（inter-device)时间参考系是可取的，从而根据设备间时间参考系表达的任意具 体时间将被中央设备102和远程设备104-n普遍理解为指的是相同真实世界时间。在一些 实施例中，这样的设备间时间参考系可以被用于在多个设备同步具体音频信息108-n的回 放，来以时间同步方式组合从多个远程设备104-n接收的音频信息，和/或来对音频信息 108-n执行其他操作。这些实施例不限于该上下文。
[0017] 在各种实施例中，例如，中央设备102使用设备间时间参考系组合从多个远程设 备104-n接收的音频信息108-n以获得复合音频信息122是可取的。在一些实施例中，将来 自多个源的音频信息组合可以允许生成相对于由任意多个源单独生成的音频信息具有增 强的、改进的和/或期望的特性的复合音频信息122。例如，如果远程设备104-1位于距会 议中的发言者相当远的距离处，则它可以生成捕获发言者的发言不佳的音频信息108-1，同 时，位于发言者附近的远程设备104-2可以生成捕获发言者的发言良好的音频信息108-2。 在这样的示例中，音频信息108-1可以通过将其与音频信息108-2组合而得到改善以获得 复合音频信息122,其中发言者的发言被良好的捕获。这些实施例不受限于该示例。
[0018] 在各种实施例中，将由多个源生成的音频信息组合以获得复合音频信息122可以 包括，对于由多个源中具体远程设备104-n生成的音频信息108-n的每个部分，将该部分 与由其他源生成的音频信息相应的部分组合。关于从多个远程设备104-n接收的音频信 息108-n的组合，当音频信息180-n的各部分在同一时间被捕获时，它们可以说是互相对 应的，因此它们与真实世界事件、系列事件、或过程中的相同音效相对应。例如，远程设备 104-1可以用其麦克风110-1通过记录会议生成音频信息108-1，并且出席会议的人可能咳 嗽。对应于咳嗽的音频信息108-1的部分可以说是对应于在相同时间通过同样记录会议的 远程设备104-2捕获的音频信息108-2的部分，因此也包括该咳嗽。这些实施例不受限于 该示例。
[0019] 在传统系统中，诸如图1的中央设备102之类的中央设备可能缺少确定各个音频 信息108-n的哪个部分互相对应的能力，并且可能因此不能以获得呈现出增强的、改进的 和/或期望的特性的复合音频信息122方式来组合音频信息108-n。例如，在传统系统中， 分别从远程设备104-1和104-2接收音频信息108-1和音频信息108-2的中央设备102可 能不能确定包括咳嗽的音频信息108-1的部分与包括咳嗽的音频信息108-2的部分同时被 捕获。这样一来，在传统系统中由中央设备102生成的复合音频信息122可能呈现出退化 的和/或不期望的特性。继续上述示例，在真实生活中只发生一次的咳嗽在传统系统中通 过组合音频信息108-1和音频信息108-2生成的复合音频信息122中可能发生两次。这样 一来，用于定义设备间时间参考系以使得从多个源接收的和/或由多个源生成的音频信息 能够同步的技术是可取的。
[0020] 在一些实施例中，为了使得通过驻留在多个远程设备104-n处的扬声器回放的具 体音频信息l〇8-n的回放能够同步，对中央设备102而言定义设备间时间参考系是可取的。 使通过驻留在多个远程设备104-n处的扬声器回放的具体音频信息108-n的回放同步可以 包括确保音频信息l〇8-n由多个扬声器中的每个同时回放。然而，在各种实施例中，具体音 频信息108-n可能不被同时发送至多个远程设备104-n和/或由多个远程设备104-n同时 接收。在传统实施例中，在不同时间接收相同音频信息的多个远程设备l〇4-n可能无法确 定何时在它们的扬声器上回放音频信息以使得回放与驻留在其他远程设备104-n处的扬 声器的回放同步。这样一来，用于定义设备间时间参考系以使得在多个远程设备处的音频 回放能够同步的技术是可取的。
[0021] 图2示出了操作环境的示例，其中可以为音频信息208-n和/或音频信息212定 义设备间时间参考系。如图2所示，每个远程设备204-n可以操作来为其各自的音频信息 208_n生成时间索引218-n-p。对于具体音频彳目息208_n，这样的时间索引218-n-p可以为 音频信息208-n的任意具体部分指示在音频捕获、处理和/或发送过程中具体部分到达定 义的点的时间。该时间可以根据设备间时间参考系来定义，其对于远程设备204-n和中央 设备202可以是通用的和互相理解的并可被它们利用。例如，时间索引218-n-p可以根据 设备间时间参考系为音频信息208-n的任意具体部分指示音频信息208-n的部分准备好从 其对应的远程设备204-n传输至中央设备202的时间。这些实施例不限于该示例。
[0022] 在各种实施例中，远程设备204-n和中央设备202可以各自被连接到网络230,并 且设备间时间参考系可以根据网络230的网络时间索引232-q被定义。在一些实施例中， 网络230的网络时间索引232-q可以包括网络230的时钟信号。在各种实施例中，网络230 可以包括蓝牙 ;?网络，并且网络时间索引232-q可以包括蓝牙?网络时钟信号。在一些实 施例中，远程设备204-n可以操作来周期性地接收网络230的网络时间索引232-q，并且可 以基于网络230的网络时间索引232-q定义时间索引218-n-p。这些实施例不受限于该上 下文。
[0023] 在一些实施例中，网络2302的时钟信号的间隔可以足够大，如果定义了设备间时 间参考系以使得每个时间索引218-n-p准确地等于各自的网络时间索引232-q，则根据设 备间时间参考系执行的同步的质量可能比理想水平低。例如，在各种实施例中，网络230可 以包括具有312. 5 μ s网络时钟的蓝牙网络，并且根据具有这样的间隔水平特征的设备间 时间参考系执行的同步可能生成次优结果。在一些实施例中，为了减少设备间时间参考系 的间隔，时间索引218-n-p可以被表达为网络时间索引232-q的相对偏移。在一些实施例 中，这样的相对偏移可以包括网络230的符号时钟的多个周期。在网络230包括蓝牙网络 的示例实施例中，时间索引218-n-p可以被表达为蓝牙网络时钟的相对偏移，并且该相对 偏移可以包括蓝牙符号时钟的多周期。例如，蓝牙网络可以包括周期为312. 5 μ s的网络时 钟和具有周期为1 μ s的符号时钟，并且每个相对偏移可以包括指示多个1 μ s周期的符号 时钟的数字。这样一来，在这样的示例实施例中设备间时间参考系的间隔可以从312. 5 μ s 降低到1 μ s。这些实施例不受限于该示例。
[0024] 在各种实施例中，中央设备202也可以操作来周期性地接收由远程设备204-η接 收到的网络230的网络时间索引232-q，因此中央设备202可以基于这些网络时间索引 232-q理解由远程设备204-η利用的设备间参考时间索引。例如，在网络230包括蓝牙网络 并且网络时间索引232-q包括蓝牙网络时钟信号的一些实施例中，中央设备202和远程设 备204-η可以操作以周期性地接收相同蓝牙网络时钟信号，远程设备204-η可操作来基于 蓝牙网络时钟信号生成时间索引218-η-ρ，并且中央设备202可操作来基于网络时钟信号 解释时间索引218-n-p。这些实施例不受限于该示例。
[0025] 在各种实施例中，中央设备202可操作来通过网络206从一个或多个远程设备 204-η接收音频信息208-n和/或时间索引218-n-p。在一些实施例中，网络206可以包括 无线网络、有线网络、或二者的组合。在各种实施例中，网络206可以包括不同于网络230的 网络。这样一来，在一些实施例中，可以基于一个网络的网络时间索引为中央设备202和一 个或多个远程设备204-η定义设备间时间参考系，而远程设备204-η可以通过第二不同网 络向中央设备202发送音频信息和/或时间索引。事实上，在各种实施例中，中央设备202 和远程设备204-η完全可以不通过网络230互相通信，而是可以仅仅使用网络230来定义 设备间时间参考系，并且可以通过网络206互相通信。在其他实施例中，中央设备202和远 程设备204-η可以通过网络206和网络230互相通信。在另一些实施例中，操作环境200可 以不包括网络206,中央设备202和远程设备204-η可以基于网络230定义设备间时间参考 系并且通过网络230通信。例如，在一网络230包括蓝牙网络的些实施例中，中央设备202 和远程设备204-η可操作来基于蓝牙网络定义设备间时间参考系，还通过蓝牙网络互相通 信，而在其他各种实施例中，中央设备202和远程设备204-η可操作来基于蓝牙网络定义设 备间时间参考系，但是通过不同的网络206互相通信。这些实施例不受限于该上下文。
[0026] 在一些实施例中，在接收到任意具体音频信息208-n以后，中央设备202可操作来 为该音频?目息生成时间索引219-n-r。这样的时间索引219-n-p可以为该音频彳目息208-n 的任意具体部分、根据设备间时间参考系指示在音频捕获、处理和/或传输过程中该具体 部分到达的第二定义的点的时间。例如，时间索引219-n-r可以为音频信息208-n任意具 体部分、根据设备间时间参考系指示音频信息208-n的该部分通过网络230从其相应的远 程设备204-η被接收的时间。这样一来，在各种实施例中，中央设备202可操作来接收指示 在音频捕获、处理和/或传输过程中音频信息208-n的部分到达第一定义的点的时间的时 间索引218-n-p，以及中央设备202可操作来生成指示在音频捕获、处理和/或传输过程中 音频信息208-n的部分到达第二定义的点的时间的时间索引219-n-r。这些实施例不受限 于该上下文。
[0027] 在各种实施例中，中央设备20