联网的扬声器系统的测量和校准的制作方法

本发明主题涉及一种用于测量和校准联网的扬声器(loudspeaker)系统的系统和方法。

背景技术：

例如在虚拟和/或增强现实(vr/ar)系统中使用的那些精细三维音频效果需要扬声器所处环境的详细表示，以便生成由所述vr/ar系统中的效果算法使用的正确传递函数。而且，再现三维音频效果通常需要相当精确地知道所使用扬声器的相对位置和定向。当前，已知方法需要手动努力来将多个所记录测量结果绘图，并且然后分析结果和将结果制成表格。此复杂设置程序需要知识和技能，这禁止普通消费者自行设置，并且还可能导致人为误差。此设置程序还需要昂贵的装备，从而进一步禁止普通消费者自行设置。另一选择为，已知方法依靠简单估计，这可能导致降级的体验。

需要一种联网的扬声器平台，其自组织成一种能够超出实施设置程序的简单请求、在无人为干预的情况下进行准确环境测量和设置的系统。

技术实现要素：

一种扬声器部件网络具有多个与网络接口通信的扬声器部件，所述网络接口具有音频视频桥接/时间同步网络(avb/tsn)能力。所述多个扬声器部件中的每一扬声器部件具有可调节媒体时钟接口、第一平面上的第一麦克风元件阵列和垂直于所述第一平面的第二平面上的第二麦克风元件阵列。一种具有用于实施数字信号处理的计算机可执行指令的处理器在每一扬声器部件处生成和记录音频信号、使用至少一个扬声器部件对所记录音频进行波束成形、调节和使媒体时钟源同步、轮流在每一扬声器部件处协调测量程序并且编译结果以便为每一扬声器部件提供共同参考帧和时基。

一种用于测量和校准扬声器参与者的时间同步网络的方法。每一扬声器参与者具有多个麦克风阵列。所述方法在每一网络参与者处生成激励信号并且记录所述激励信号的精确开始和结束时间戳。编译所述数据以估计所述时间同步网络内的扬声器参与者的位置以针对所述网络中的所有所述扬声器部件建立全局参考帧。

附图说明

图1是本发明主题的一个或多个实施例的示例性扬声器的框图；

图2是示例性扬声器麦克风阵列的框图；

图3是示例性扬声器网络的框图；

图4是用于示例性扬声器网络的测量和校准的方法的流程图；

图5是用于示例性扬声器网络的自动扬声器(speaker)放置发现的方法的流程图；并且

图6是用于示例性扬声器网络的麦克风元件位置矢量的二维图。

附图中的元件和步骤是为了简单和清楚起见而示出，并且并不一定根据任何特定顺序呈现。例如，在附图中示出可以同时或按不同次序实施的步骤以帮助改进对本发明主题的实施例的理解。

具体实施方式

虽然参考特定说明性实施例描述本发明主题的各个方面，但是本发明主题并不限于此类实施例，并且可以在不背离本发明主题的情况下实现额外修改、应用和实施例。在附图中，将使用相似参考编号来示出相同部件。所属领域的技术人员将认识到，可以在不使本发明主题的范围发生变化的情况下改变本文中所阐述的各种部件。

本文提出一种用于超出请求设置程序、在无人为干预的情况下自组织联网的扬声器平台的系统和方法。图1是本发明主题的一个或多个实施例的示例性扬声器部件或参与者100的框图。在图1中显示在联网的扬声器平台中使用的扬声器部件100。扬声器部件100包含具有音频视频桥接/时敏联网能力的网络接口102、可调节媒体时钟源104、麦克风阵列106、额外传感器108、扬声器驱动器110以及能够进行数字信号处理和控制处理的处理器112。处理器112是包含可以从使用多种编程语言和/或技术创建的计算机程序编译或解译的计算机可执行指令的运算设备。一般来说，所述处理器(例如微处理器)例如从存储器、计算机可读介质或类似物接收指令，并且执行所述指令。所述处理器包含能够执行软件程序的指令的非暂时性计算机可读存储介质。所述计算机可读存储介质可以是(但不限于)电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或其任何合适组合。由处理器112执行的指令包含用于执行以下操作的数字信号处理算法：生成音频信号、对从麦克风阵列106记录的音频进行波束成形并且控制指令以使时钟同步、协调测量程序以及编译结果以便为扬声器网络中的每一扬声器提供共同参考帧和时基。根据系统要求，处理器112可以是单个处理器或单独控制件和dsp处理器的组合。

处理器112可以在内部或通过外围设备的内部支持具有用于数字音频输出到数模转换器(dac)和给扬声器驱动器馈电的放大器的能力。所述数字音频输出可以是脉冲编码调制(pcm)，其中模拟音频信号被转换为数字音频信号。所述处理器可以在内部或通过外围设备的内部支持具有用于pcm或脉冲密度调制(pdm)的能力。处理器112可以在内部或通过外围设备的内部支持具有用于锁相环路(pll)的精确细粒度调节的能力，所述锁相环路为dac和麦克风阵列接口提供采样时钟。数字pdm麦克风可以以所述采样时钟的固定倍数运行。处理器110可以在内部或通过外围设备的内部支持具有用于中间时钟边缘的高分辨率时间戳捕获能力的能力。所述时间戳可以被准确地转换为gptp(通用精确定时协议)并且可追溯到在时间戳时钟边缘处时钟输入/输出的样本。

处理器112可以在内部或通过外围设备的内部支持具有用于一个或多个具有avb/tsn能力的网络接口的能力。一个实例性配置包含一对与允许一组菊链式扬声器部件的具有avb/tsn能力的三端口交换机集成在一起的接口。其他实例是单个接口，其利用具有外部avb/tsn交换机的星形拓扑结构，或者使用无线或共享媒体avb/tsn接口。

avb/tsn网络接口的能力可以包含所传送和所接收分组根据gptp技术规范的精确时间戳记和如下机制：根据所述机制，集成定时器可以与处理器上的高分辨率系统定时器相关，使得可以在任何本体定时器与gptp总控时间之间实施精确转换。

图2是用于扬声器部件200的一侧的麦克风阵列的框图。每一扬声器部件200具有按预先确定的几何图案(例如如图2中所示的圆圈)布置的麦克风元件214的阵列206。所述预先确定的几何图案在整个三维空间中扩展，使得波束成形算法能够基于测量结果(例如声音的波前在不同麦克风元件214处的到达时间差)确定所记录音频的相对航向和仰角。例如，麦克风阵列的配置可以是一组总共十六个麦克风元件214。八个元件214的第一圆圈布置在扬声器的一侧(例如顶侧)上(如图2中所示)，并且八个麦克风元件214的第二圆圈(图2中未显示)将定位在扬声器的另一侧上，在垂直于麦克风元件214的第一圆圈的平面(或如图2中所示实例中的顶侧)的平面中。应注意，图2中所示的阵列中麦克风元件的个数和预先确定的几何图案仅是出于实例目的。阵列206中的麦克风元件的个数和图案的变化是可能的，并且太多而无法在本文中提及。阵列中的麦克风元件的几何图案和个数的配置可以产生航向对仰角折衷。

除麦克风元件214以外，传感器208还可以包含感测空气密度和距离的传感器。由于声波在空气中的传播速率基于空气密度变化，因此可以包含额外传感器208来帮助估计当前环境的空气密度，并且从而改善距离估计。额外传感器208可以是温度、湿度和气压传感器的组合。应注意，额外传感器208用于改善距离估计的目的。与系统的成本相比，可以基于性能要求省略额外传感器208。

网络中的最小数目个扬声器部件200将提供来自麦克风阵列206的测量结果，其足以确定网络中的扬声器部件的相对位置和定向。具体来说，包含定向传感器(例如mems加速度计、陀螺仪和磁力计(数字罗盘))的额外传感器208可以在位置发现算法中提供有价值的数据点。

图3是围绕房间308的周边布置的扬声器部件302的网络300的实例。将扬声器部件302中的一者指定为协调器304。协调器304通过指引扬声器部件302中的至少一者生成并播放激励信号306来起始测试程序。在下文中详细描述所述方法。

图4是用于具有麦克风阵列的扬声器时间同步网络的测量和校准的方法400的流程图。参考图4，方法400开始于发现阶段402，所述发现阶段确定网络对等体并且建立优先级。在加电并且检测到网络链接事件时，所述方法进入发现阶段。所述发现阶段包含起始标准avb/tsn协议操作404，例如确定gptp总控和流预留协议(srp)域属性。所述发现阶段还包含确定网络上其他参与者(即，联网的扬声器)的存在和能力406。参与者可以包含如本文中所述的扬声器以及适当配备的个人计算机、交互式控制面板等，只要其满足avb/tsn参与的要求并且配备有用于本文中的方法的计算机可读指令。

在发现阶段402期间还实施选择单个参与者作为网络的协调器408。协调器的选择是基于可配置优先级等级以及基于特征的默认优先级。例如，具有较高质量媒体时钟或更多处理能力的设备可具有较高默认优先级。可以通过对唯一设备标识符(例如网络mac地址)进行排序来打破优先级的联系。如果所选择协调器退出网络，则选择新的协调器。协调器表示到扬声器网络的单点接口。

在选择协调器408之后，所述协调器通过流预留协议(srp)在网络上建立并通告410媒体时钟同步流。其他参与者(即，扬声器)从选择协议知道所述选择并且在其听到通告410时主动收听所述流。其他参与者接收同步流并且使用所述同步流来调节其自己的采样时钟锁相环路，直到其与协调器媒体时钟频率和相位对准。一旦此情况已经发生，每一参与者便向协调器宣布其同步的完成。一旦网络中的所有参与者都已经向协调器报告其同步，协调器便宣布所述系统已准备好供使用。

基于例如来自控制表面、主机系统或另一源的用户输入或者基于预先确定的情况(例如第一次通电、经过的运行时间等)，协调器通过向网络参与者宣布其来起始414测量程序。扬声器参与者中的一者或多者可以生成激励信号416。所述激励信号是由指定扬声器参与者生成并播放的音频信号。在激励信号事件生成之后，所指定扬声器参与者宣布418其生成激励信号事件的精确时间、转换为gptp时间。激励信号通常将一次由一个扬声器参与者生成，但是对于一些测试程序，协调器可以指引多个扬声器参与者同时生成激励信号。参与者借助精确开始和结束时间戳记录420与测试程序有关的传感器数据。所述时间戳转换为gptp时间。

从一个测量程序414捕获的传感器数据可以作为输入用于其他程序中。例如，可以首先起始测量程序414以从与环境和定向相关联的传感器收集数据。此特定测量程序414不需要激励信号，但是所有扬声器参与者将报告信息，例如其定向、局部温度、气压测量结果等。随后，可以轮流指定每一扬声器参与者产生由高频声音“啁啾声”组成的激励信号，此后，所有其他扬声器参与者将向协调器报告第一个响应样本被记录在其麦克风元件中的每一者处的时间戳。先前收集的环境数据然后可以与每一激励信号与响应之间的时间差一起用于计算距传播时间的距离，针对局部气压进行校正。

当测量程序完成时，首先在本地编译422结果，并且然后将其传送到协调器。根据所请求测量程序，编译422可以在任何报告发生之前在测量点处和协调器处发生。例如，当扬声器参与者记录对高频“啁啾声”激励信号的本地响应时，其可在所述扬声器参与者处在本地实施对所述信号的分析。分析可以包含跨越麦克风阵列对第一响应信号进行波束成形以确定到达角。分析还可以包含对样本流中的进一步响应的分析，从而指示可经历波束成形的回声。根据来自协调器的请求，本地分析的结果可以替代原始样本数据或与原始样本数据一起转发。

所述结果还可以由协调器编译。当协调器从其他扬声器接收报告时，其还可以实施编译422。例如，其可以通过三角测量或多点定位将从系统中的扬声器参与者报告的所估计距离和角度以及来自定向传感器的结果组合成一组给出扬声器在其环境中的所估计位置的三维坐标。

编译422的另一实例可以用于扬声器将来自其麦克风阵列的个别样本流在转发到协调器之前简单组合成单个多通道表示。然后，协调器可以在将其从每一扬声器参与者接收的样本转发到主机之前对其进行进一步编译、标记和时间对准。然后，主机将接收高通道计数数据集，就好像在单个多通道记录设备上捕获一样。

在编译422之后，传送424经编译结果。如果主机系统请求测量程序并且主机请求接收结果，则协调器将执行激励信号序列并收集所需响应数据。在实施任何所请求编译之后，协调器将将数据转发到起始所述请求的主机系统，并且宣布所述系统准备好供用于测量或回放。

协调器还可以在请求时或自动存储测量程序的结果用于稍后向主机系统报告(如果请求)，因此如果主机应该忘记结果或不同主机请求所述结果，则所述过程不必重新运行。

另外或另一选择为，扬声器参与者可以配置有某些预先定义的测量程序，其编译程序产生关于特定扬声器参与者和/或整个系统的配置数据。所述程序可以自动地或响应于简单用户界面元素或主机命令而实施。例如，作为系统设置的一部分的基本测量可以由简单主机接口命令(例如触摸按钮)触发。

在此情况下，一旦协调器已经完成激励信号序列并编译了所述响应，其便可以将相关数据转发到网络中的所有扬声器参与者。所述扬声器参与者可以各自存储此数据用于配置目的。

例如，一个测量程序可以为系统中的每一扬声器参与者产生一组均衡器(eq)调节数和时间延迟参数。所述结果可以为每一扬声器参与者形成基线校准回放简档。另一个程序可以产生扬声器参与者的位置的三维坐标。可以存储和返回所述坐标作为将来查询的结果。

如上所述，再现三维音频效果需要相当精确地知道用于再现3-d效果的扬声器参与者的相对位置和定向。使用上文参考图1-4论述的具有时间同步联网和麦克风阵列的联网的扬声器平台，本文中提出一种用于在无人工干预的情况下自动确定vr/ar房间内的扬声器参与者的精确相对位置的方法。精确时间同步、扬声器参与者上具有已知几何形状的麦克风阵列和额外定向传感器的组合提供足够数据来在方法400完成时将所有扬声器参与者定位在相对3-d空间中。具有扬声器参与者的精确房间坐标实现3-d音频效果的再现和用于例如音频源的实时位置追踪等成就的额外测量精度。

参考回到图3，联网的扬声器参与者302围绕具有形成凸多边形的内部形状的房间308的周边布置。需要房间中任何一对扬声器参与者之间的直接声音传播路径。虽然在本实例中表示凸多边形，但是其他形状也是可能的，只要扬声器参与者自身按凸多边形的形式布置并且没有障碍物(即，墙壁)侵入到所述多边形的边缘中。可以通过将扬声器参与者定位成组(即，两组)来适应具有不寻常几何形状的房间，其中满足在扬声器之间具有直接声音传播路径的条件，并且在两组中都包含至少一个扬声器。

现在参考图5，描述一种表示用于自动扬声器参与者发现的方法500的流程图。生成并记录激励信号502。网络中的每一扬声器部件或扬声器参与者轮流发出由网络中的所有扬声器参与者同时测量的信号，例如音频信号。可接受信号需要使得麦克风阵列对其灵敏并且扬声器能够将其产生。例如，所述信号可以在超声波范围内。一般来说，在可由所述系统解析的范围的上端附近的频率处的任何单色声音脉冲都将是可接受的。激励信号的精确时间由协调器提供，并且所有扬声器参与者在那时开始记录来自其麦克风阵列的样本。负责生成激励信号的扬声器参与者还进行记录，使得可以减去用于生成激励信号的指令与由扬声器参与者发出的激励信号的实际声音传送之间的任何等待时间。负责生成激励信号的扬声器参与者向其他扬声器参与者发出在其中记录激励信号声音的第一音频样本的精确时间戳。系统中的其他参与者继续记录502，直到所述激励信号已经由麦克风阵列中的所有麦克风元件记录504。未能记录声音指示系统故障506。因此，如果在无所确认记录的情况下经过足够时间量，则可以识别系统故障。

所记录数据由记录设备编译508。每一扬声器参与者确定激励信号的第一所记录样本的时间戳与从生成激励信号的扬声器参与者接收的时间戳之间的差。此差表示飞行时间，或激励信号声波通过空气传播到接收激励信号的扬声器参与者中的记录麦克风所花费的时间。通过将飞行时间值乘以声音在空气中的传播速率来将其转换为传送器(生成激励信号的扬声器参与者)与接收器(接收并记录激励信号的扬声器)之间的距离。

如上文参考图2所论述，每一扬声器参与者使其麦克风阵列布置在垂直平面中。第一麦克风阵列在可平行于房间的天花板和地板的平面上。第二麦克风阵列在垂直于第一麦克风阵列的平面上。如果扬声器参与者倾斜，则可以对测量进行校正。例如，具有额外传感器(例如加速度计)的扬声器参与者能够测量相对于平行于房间的天花板或地板并且已知第二阵列与其垂直的阵列的重力矢量方向。

使用波束成形算法(例如经典延迟和波束成形器)，可以在每一麦克风阵列平面中确定到达角。这产生相对于扬声器参与者的面向方向的3-d方位角和仰角测量结果。尚不知道扬声器参与者绝对面向，但是如果扬声器参与者配备有数字罗盘的额外传感器，则其可用于估计绝对面向。

扬声器参与者的麦克风阵列中的麦克风中的每一者具有到激励信号扬声器参与者的距离和3-d方向矢量，从而识别在每一麦克风(收听设备)上居中的3-d空间中的位置。参见图6的图示，其显示扬声器参与者602和绘示每一麦克风的经编译结果的位置矢量604的二维表示600。每一矢量604是上述过程的输出，因为其与扬声器处的整个麦克风阵列有关。每一矢量604(1-5)表示麦克风阵列针对多个扬声器中的每一其他扬声器602(1-6)处的激励信号事件的输出。例如，作为测量扬声器的扬声器602(1)显示矢量604(2-6)，矢量604(2-6)表示当扬声器602(2-6)发出其激励信号时扬声器602(1)上的麦克风阵列的读数。

参考回到图5，位置信息与任何额外传感器信息(例如温度、压力或定向传感器数据)一起传送到协调器。协调器选择下一扬声器参与者以生成激励信号502，并且重复步骤504-508，直到所有扬声器参与者都已经轮流生成激励信号，并且已经收集所有响应。

协调器编译510所述结果。协调器现在具有用于高度过度约束的几何系统的数据。n-扬声器系统中的每一扬声器参与者具有n–1个位置估计值。然而，每一估计值的绝对位置受到指派给对其进行测量的扬声器参与者的绝对位置的影响。需要将所有位置估计值引入到共用坐标系(也称为全局坐标空间)中，使得从每一位置估计值捕获的测量结果与相同激励信号的其他测量结果谐调。这相当于优化问题，其中目标函数用于一旦所有参与者和测量结果都已经转换到共用坐标系中，便最小化所测量位置对所指派位置的误差的平方和。在所述算法中，将比指派给测量角度的置信度大的置信度指派给所测量距离。

存储和分配512经编译结果。一旦已经编译一组优化位置，便将网络中每一扬声器的位置作为整体发送到网络中的所有参与者。每一扬声器参与者将其自己的位置存储在全局坐标空间中并且将来自所有其他参与者的经更新位置转换成其自己的本地参考帧以便用于可以要求其实施的任何本地计算中。

可以使用与扬声器网络通信的管理设备(例如个人计算机、移动电话或平板计算机)来改变全局坐标系以便更好地匹配所述系统的用户。例如，一组经转换坐标可以被传送到扬声器，并且扬声器仅需要更新其自己的位置，因为其余坐标相对于所述位置来存储。

并不知道网络中的扬声器参与者的当前坐标的管理设备可以请求协调器设备提供当前坐标系中的坐标。协调器将请求网络中的所有扬声器参与者发送其自己的坐标、将其编译成列表，并且将其返回给管理设备。

在前述说明书中，已经参考特定示例性实施例描述了本发明主题。然而，可以在不背离如权利要求书中阐述的本发明主题的范围的情况下作出各种修改和改变。说明书和附图是说明性而非限制性的，并且修改打算包含在本发明主题的范围内。因此，本发明主题的范围应由权利要求书及其合法等效内容、而非仅由所述实例确定。

例如，在任何方法或过程权利要求中陈述的步骤都可以按任何次序执行，并且并不限于在所述权利要求中呈现的特定次序。可以使用滤波器实现测量以最小化信号噪声的影响。另外，在任何装置权利要求中陈述的部件和/或元件都可以按各种排列组装或以其他方式可操作地配置，并且因此并不限于在所述权利要求中陈述的特定配置。

上文已经关于特定实施例描述了益处、其他优点和问题的解决方案；然而，任何益处、优点、问题的解决方案或任何可导致任何特定益处、优点或解决方案发生或变得更明显的元件不应被解释为任何或所有权利要求的关键、所需或必要特征或部件。

术语“包括(comprise)”、“包括(comprises)、“包括(comprising)”、“具有”、“包含(including)”、“包含(includes)”或其任何变型都打算引用非排他性包含，使得包括元件列表的过程、方法、物品、组成或装置不仅包含那些所陈述的元件，而且可以包含未明确列出或此过程、方法、物品、组成或装置固有的其他元件。除了未具体陈述的那些之外，在本发明主题的实践中使用的上述结构、布置、应用、比例、元件、材料或部件的其他组合和/或修改可以改变或以其他方式特别适于特定环境、制造技术规范、设计参数或其他操作要求，而不背离其一般原理。