音频再现系统和方法
【专利摘要】公开了系统和方法，其用于促进滤波器的有效的校准，以便校正基于房间和/或基于扬声器的失真和/或在音频再现中的双耳不平衡性，和/或用于产生在立体声系统环境中的三维声音。根据某些实施例，使用诸如智能手机或平板的便携式设备，用户可以通过发起测试信号的回放、采用便携式设备的麦克风检测测试信号的回放并且针对多个扬声器和/或设备位置（例如接近用户的耳朵中的每个）重复该处理来校准扬声器。可以在测试信号和检测的信号之间做出比较，并且这可以用于由扬声器更精确地校准未来的信号的表现。
【专利说明】音频再现系统和方法
[0001]对相关申请的交叉引用
本申请要求在2012年2月21日提交的临时申请N0.61/601，529的优先权，由此通过引用将其全部并入。
[0002]版权授权
本专利文档的公开的一部分包含受版权保护的材料。版权所有者不反对由专利文档或专利公开的任何人以其在专利商标局的专利文件或记录中出现的方式进行复制，但是在其他方面无论如何都保留所有版权权利。
【背景技术】
[0003]包括扬声器、房间几何结构和材料、家具等等的收听环境可以对音频再现的质量具有极大影响。近来，已经显示出某人可以采用相对简单的数字滤波来提供音频的更加可信的再现，如其在工作室或音乐厅中曾最初记录的那样(见例如http://www.princeton.edu/3D3A/BACCH_intr0.html)。事实上，通过使用主动串扰消除来使用两个扬声器产生三维声音是可能的。在实际上任何种类的收听环境中，也可以使用相位和幅度均衡补偿扬声器失配以及房间布置方面的可变性。然而，现在在音乐由于mp3播放器、移动电话等等而高度便携的情况下，并且在音乐可通过因特网云服务获得的情况下，消费者将他们的音乐带到许多不同的收听环境中。这些环境被以最优方式配置是罕见的，并且所以有利的是具有校准用于诸如移动电话的便携式设备的数字滤波器的简单但有效的方法，其可以用于诸如机动车音频系统、电话入坞(docking)系统、连接因特网的扬声器系统等等的各种音频回放设备。另外，在膝上式计算机、TV、平板等等上播放的音频也可以从精确的数字均衡中受益。本文提出了系统和方法，其用于促进滤波器的有成本效率的校准，以便例如校正基于房间和/或基于扬声器的失真和/或在音频再现中的双耳不平衡性，和/或用于产生立体声系统环境中的三维(3D)声音。
【专利附图】
【附图说明】
[0004]通过参考以下结合附图的详细描述将容易地理解本发明的工作主体，其中:
图1图示了根据本发明的工作主体的实施例的示例系统。
[0005]图2示出了根据一个实施例的、用于执行扬声器校准的说明性方法。
[0006]图3图示了根据一个实施例的、用于推演环境特性的系统。
[0007]图4示出了可以用于实行本发明的工作主体的实施例的说明性系统。
【具体实施方式】
[0008]以下提供了本发明的工作主体的详细描述。虽然描述了若干实施例，但应理解的是，本发明的工作主体不限于任何一个实施例，而是替代地包含许多替代、修改和等同。另夕卜，虽然在下面的描述中阐述了许多具体细节以便提供对本发明的工作主体的彻底的理解，但是可以在没有这些细节中的某些或全部的情况下实现某些实施例。此外，出于清楚的目的，没有详细地描述在有关领域中已知的某技术材料以便避免不必要地混淆发明主体工作。
[0009]可以通过参考图来理解本公开的实施例，其中可以由相同的标号指定相同的部分。如在本文的图中一般地描述和图示的那样，可以以多种不同的配置布置和设计公开的实施例的部件。因此，各种实施例的以下详细的描述不意图限制如要求保护的本公开的范围，而仅仅表示可能的实施例。另外，不必须按任何具体次序，或者甚至顺序地执行在本文公开的方法中的动作，也不需要仅执行一次所述动作，除非另有指定。
[0010]提出了用于促进滤波器的有成本效率的校准，以便例如校正基于房间和/或基于扬声器的失真和/或在音频再现中的双耳不平衡性，和/或用于产生立体声系统环境中的三维声音的系统和方法。
[0011]在此以前，用于滤波器的校准方法是累赘、不方便和昂贵的，并且并不由在不同环境中的音频源的用户容易地执行。可以由不具有广泛知识或经验的消费者使用消费者已经拥有并且知道如何使用的设备来使用本文描述的系统和方法的某些实施例。由用户进行的参与应该优选地占用相对少量的时间(例如几秒或几分钟)。这将有助于促进用于更多环境中的更多音频源的自动均衡方法的更普遍的性能。
[0012]本文描述了用于解决以下说明性情况中的某些或全部的系统和方法:
?可以针对特定机动车、驾驶员和/或针对乘客中的一个或多个优化来自移动电话的通过无线或有线机动车音频系统回放的音频。
?连接网络的扬声器的使用(例如诸如由Sonos(www.sonos.com)制作和分发的那些)，其中音频源可以来自因特网或者来自本地连接的数字或模拟音频源。
?来自连接网络的设备(例如移动电话、平板、膝上式计算机或连接的TV)的音频，使用直接连接到所述设备或者与所述设备集成的扬声器。
?当通过例如玛站(docking stat1n)回放时,来自移动回放设备(例如便携式音乐播放器、移动电话等等)的首频。
[0013]将理解的是，在上述列表中的示例是出于说明的目的而并非限制的目的提供的，并且本文描述的系统和方法的实施例也可以应用在许多其他情况中。
[0014]图1示出了用于改善特定环境110中的音频再现的系统100的说明性实施例。如在图1中示出的那样，便携式设备104位于环境110中。例如，便携式设备104可以包括由房间、机动车或者其他特定环境110之内的人(未示出)持有的移动电话、平板、连接网络的mp3播放器等等。环境110也包括期望通过其播放音频内容的一个或多个扬声器SI，S2,...Sn。如下文将更详细地描述的那样，便携式设备包括(或者以其他方式耦合到)麦克风105以用于从扬声器Sl-Sn接收音频输出。如在图1中示出的那样，音频内容起源于源101，并且在被分发到扬声器Sl-Sn中的一个或多个之前可能经历了由数字信号处理器(DSP) 102和数模转换器/放大器103进行的处理。
[0015]在一个实施例中，设备104被配置成将预定的测试文件发送到音频源设备101(例如因特网音乐储存库、本地网络服务器等等)或者以其他方式使得音频源设备101发起通过扬声器Sl-Sn中的一个或多个的必要的测试文件的播放。在其他实施例中，设备104经由麦克风105简单地检测所述文件或其他内容的播放。在经由麦克风105收到回放的测试文件或者其他音频内容时，便携式设备(和/或与其通信的服务或设备)分析它，与最初的音频内容比较，并且确定如何使用DSP 102和/或其他装置来适当地处理未来的音频回放以改善对接受者/用户而言的音频内容的感知质量。
[0016]为改善性能，这样的分析和处理可以考虑麦克风105的传递函数(其可以例如从远程源获得，如在图1中示出的那样)、关于扬声器Sl-Sn的信息和/或任何其他适合的信息。为进一步改善性能，在某些实施例中，测试文件(在本文中也称为“参考信号”)包括促进在信号源和麦克风之间的自动同步的预定模式或者其他特性，其可以以其他方式异步操作或者关于彼此独立地操作。这样的模式使得更容易地确保捕获的波形与参考信号的对准，从而使得可以更准确地计算所述两个信号之间的差异。将理解的是，存在许多方式来创建这样的模式以促进在接收的信号和参考之间的对准，并且可以使用用于实现对准或者以其他方式改善所述比较的准确性的任何适合的模式或其他技术。
[0017]将理解的是，出于解释和说明而不是限制的目的提供在图1中示出的系统，并且可以在没有背离本文描述的原理的情况下做出许多改变。例如，在没有限制的情况下，在某些实施例中，用户的设备104可以包括音频源101和/或音频回放系统(例如DSP 12、D/A转换器/放大器103等等)。在其他实施例中，设备104以及音频源10UDSP 102和D/A转换器/放大器103中的某些或全部可以物理地分离，如在图1中图示的那样(例如位于不同的连接网络的设备上)。在其他实施例中，框102和/或103可以被集成到扬声器Sl-Sn中的一个或多个中。此外，虽然在图1中将框101、102和106图示为位于便携式设备104和扬声器SI，S2,...Sn的直接声学环境110的外部，但是在其他实施例中，这些框中的某些或全部可以位于环境110之内或者在任何其他适合的位置中。作为另一示例，在某些实施例中，框101可以是因特网音乐库，并且框102和103可以被结合到在与框105相同的本地网络上的连接网络的扬声器中，框105可以被集成在控制其他设备并且与其他设备通信的设备104 (例如平板、智能手机或者在该示例中的其他便携式设备)中。在该示例中，最优均衡和串扰消除参数的计算可以在框101-109中的任何适合的一个或多个处发生，和/或可以使得记录的系统响应可供云(例如因特网)服务用于处理，其中可以计算最优参数并且将该最优参数通过网络连接(直接地或者经由一个或多个其他框间接地)传送到框101-109中的一个或多个(例如设备104、DSP 102等等)。因此将理解的是，虽然为了易于解释，已经示出了示例实施例，其中框101、102、103、104和105的功能在相同设备中或者连接到相同设备——例如移动智能手机或平板，但是在其他实施例中，可以不同地布置图1中示出的框，可以移除框，和/或可以添加其他框。
[0018]图2示出了根据一个实施例的用于执行扬声器校准的说明性方法。如在图2中示出的那样，在一个实施例中，当用户将校准应用(或“app”)从app商店或其他源安装到他或她的便携式计算设备上，或者访问被预安装在他或她的设备上的这样的app时，从用户的观点来看，总体程序开始(201)。例如，在没有限制的情况下，可以由扬声器Sl-Sn的制造商使得所述app在联机app商店上或者在配备有扬声器的存储介质上可用。
[0019]该示例中的设备可以例如是移动电话、平板、膝上型计算机或者具有麦克风和/或适应到麦克风的连接的任何其他设备。当用户运行app时，所述app例如通过设备的用户接口提供用于定位麦克风以收集音频测试数据的指令(202)。例如，在一个实施例中，app可以指示用户将设备的麦克风定位在接近于他或她的左耳并且按设备上的按钮(或者其他用户输入)并且等待直至音频测试文件通过扬声器SI到Sn中的一个或多个开始播放并且然后停止(203)。在一个实施例中，app可以控制播放什么音频测试文件。然后用户可以被指示来例如通过将麦克风放置在接近于他或她的右耳来重新定位麦克风(204)，在所述点处播放另一(或者相同的)测试文件(205)。根据系统中的扬声器的数量和/或校准测试的数量，用户可以被提示来重复该程序几次(例如从框206出来的“是”)。
[0020]在一个实施例中，采用每个测试创建或更新测试结果文件。针对每个测试源，将存在理想的测试响应。设备(或者与其通信的另一系统)将能够通过对接收的信号执行谱分析并且将理想的测试响应与实际测试响应比较来针对系统中的每个扬声器计算均衡参数。例如，如果测试源是脉冲函数，则理想响应将具有平的频谱，并且将容易比较实际响应。然而，因为许多原因，可以使用不同的信号，其被选择以适应相位均衡并且以处理其他类型的减损。
[0021]在一个实施例中，以适应麦克风的传递函数的方式执行最优均衡参数的计算。该函数通常将在不同的麦克风设计之中变化，并且因此具有该信息从而使得可以将该传递函数从系统中减去通常将是重要的。因此，在某些实施例中，维持可以由所述app参考的麦克风传递函数的数据库(例如因特网可访问的数据库)。在移动智能手机的当前情况下，传递函数的查找是直接了当的，并且通常可以由app在没有来自用户的任何输入的情况下执行，因为app可以参考智能手机的系统信息文件来确定电话的型号，其然后可以被用于在数据库(106)中查找传递函数。响应曲线可以例如包括诸如在http://blog.faberacoustical.com/2009/1s/iphone/iphone-microphone-frequency-response-comparison处图示的数据，并且然后可以在最优滤波器特性的计算中使用该数据，如上文指示的那样。在其他实施例中，可以在设备本身上本地存储一个或多个传递函数，并且将不需要网络连接。
[0022]再次参考图2，一旦完成测量和计算，就可以使得最优均衡参数对于数字信号处理器102和扬声器而言可用，所述数字信号处理器102可以实施滤波器以用于均衡房间环境的非理想响应(208)。这可以包括例如针对房间反射的均衡、来自多个信道的串扰的消除和/或类似物。当将附加音频内容发送到扬声器以用于回放时，在将适当处理的信号发送到扬声器以用于回放之前，DSP 102将均衡参数应用到音频内容信号。
[0023]将理解的是，存在本文描述的用于促进使用便携式设备来校准可以优化特定环境中的扬声器的函数的数字滤波器的系统和方法的许多变型。例如，以小的费用简化与图2相关地描述的方法的一个方式是提供可以插入到用户的便携式设备(例如移动电话、平板等等)的音频端口中的双耳麦克风。将这些麦克风设计为被放置在接近于用户的耳朵以用于上文描述的校准处理。例如，这些麦克风可以被构建到标准头戴式耳机中。简化根据一个实施例的在图2中图示的处理的又一方式将是在重新定位麦克风之前(例如在提示用户将麦克风移动到接近于他或她的另一耳朵的位置之前)从每个扬声器播放测试文件(例如顺序地)，由此避免麦克风的重复的(并且可能不精确的)定位。替代地或者附加地，可以由每个扬声器同时播放多个测试文件(可能包含不同内容和/或不同频率)，由此再次使得能够在没有针对每个扬声器的麦克风的重复的重新定位的情况下执行校准处理。因此应理解，出于说明而不是限制的目的提供了图2，并且可以在没有背离本文描述的原理的情况下做出许多改变。例如，在没有限制的情况下，可以改变由图2中的框代表的动作的次序，可以移除某些框和/或可以添加其他框。例如，在某些实施例中，可以添加代表校准麦克风的选项的框。例如，在制造期间，制造商可以将设备的声学响应曲线(例如麦克风和/或扬声器)存储在设备上。这些可以是设备专用或模型专用的，并且可以被用于例如在执行图2中示出的其他动作之前校准麦克风。
[0024]也应理解，虽然已经描述了用于促进扬声器系统的校准和优化的某些示例，但是本文描述的某些原理适于更广的应用。例如，在没有限制的情况下，包括麦克风和扬声器的设备(例如移动电话、平板等等)可以被用于使用诸如上文描述的那些之类的音频检测和处理技术执行以下动作中的某些或全部:
将铃声用作探查信号。
测量房间大小。
测量到另一设备的距离。
通过房间响应识别熟悉的位置。
检测比如双层窗格玻璃窗(double-pane window)、窄通道和/或类似物的房间特征。 声学地绘制房间地图。
检测处于室外。
声学地测量温度。
通过语音识别承载者(例如用于检测偷盗和/或确实地标识用户以促进设备共享)。 检测被淹没在水下。
使声学数据与摄影机数据、GPS等等相关。
声学场景分析(例如其他铃声的识别、周围噪声、警笛、警报、熟悉的语音和声音等等)。
[0025]图3图示了根据一个实施例的用于推演环境特性的系统。如在图3中示出的那样，设备302可以从其(一个或多个)扬声器304发射信号，然后其可以使用其麦克风306检测所述信号。由麦克风306检测的信号将受环境300的特性影响。设备302和/或与其通信的另一设备、系统或服务然后可以分析接收的信号并且将其特性与在各种环境中将预期的那些特性比较，由此使得能够检测特定环境、环境的类型和/或类似物。这样的处理可以例如由设备周期地或者在某些事件发生时自动地执行以便监视其周围，和/或当期望这样的信息时可以由用户发起。
[0026]图4示出了可以被用于实现本发明的工作主体的实施例的系统400的更详细的示例。例如，系统400可以包括诸如图1中的设备104或因特网web服务106之类的设备的实施例。系统400可以例如包括诸如个人计算机、平板、移动智能手机等等的通用计算设备或者诸如便携式音乐或视频播放器的专用设备。系统400通常将包括处理器402、存储器404、用户接口 406、用于接受可移除存储器408或者与连接的或集成的设备或子系统(例如麦克风422、扬声器424和/或类似物)对接的一个或多个端口 406、407、网络接口 410以及用于连接上述元件的一个或多个总线412。系统400的操作通常将受在存储在存储器404中的程序的指导之下运作的处理器402控制。存储器404 —般将包括高速随机存取存储器(RAM)和诸如磁盘和/或闪式EEPROM的非易失性存储器两者。端口 407可以包括盘驱动或存储器槽以用于接受诸如USB驱动、CD-ROM、DVD、存储器卡、SD卡、其他磁或光介质和/或类似物的计算机可读介质408。网络接口 410通常可操作来提供在系统400和其他计算设备(和/或计算设备的网络)之间的经由诸如蜂窝式网络、因特网或者内联网(例如LAN、WAN、VPN等等)的网络420的连接，并且可以采用一个或多个通信技术来物理地进行这样的连接(例如无线、蜂窝式、以太网和/或类似物)。
[0027]如在图4中示出的那样，计算设备400的存储器404可以包括用于控制计算设备400的操作的数据以及各种程序或模块。例如，存储器404通常将包括操作系统421以用于管理应用、外设等等的执行。在图4中示出的示例中，存储器404也包括用于校准扬声器和/或如上文描述的那样处理声学数据的应用430。存储器404也可以包括介质内容428和关于扬声器、麦克风、某些环境和/或类似物的响应特性的数据431以用于在扬声器和/或麦克风校准中使用，和/或用于在推演关于设备400位于其中的环境(未不出)的信息中使用。
[0028]本领域普通技术人员将理解，可以采用类似于或等同于图4中图示的计算设备的计算设备、或者采用包括不具有图4中示出的某些部件的计算设备和/或具有未示出的其他部件的计算设备的实质上任何其他适合的计算设备来实现本文描述的系统和方法。因此，应理解，图4是出于图示而不是限制的目的而提供的。
[0029]本文公开的系统和方法不固有地涉及任何特定的计算机、电子控制单元或者其他装置，并且可以由硬件、软件和/或固件的适合组合来加以实施。软件实施可以包括一个或多个计算机程序，其包括当由处理器执行时可以使得处理器执行至少部分地由可执行指令限定的方法的可执行代码/指令。可以以包括编译或解释的语言的任何形式的编程语言写所述计算机程序，并且可以以任何形式部署所述计算机程序，包括作为独立程序或者作为模块、部件、子程序或适于在计算环境中使用的其他单元。进一步地，可以部署计算机程序来在一个计算机上或者在多个计算机上执行，所述多个计算机在一个站处或者跨多个站分布并且由通信网络互连。软件实施例可以被实施为包括被配置成存储计算机程序和指令的非瞬时型存储介质的计算机程序产品，所述计算机程序和指令当由处理器执行时，被配置成使得处理器执行根据指令的方法。在某些实施例中，非瞬时型存储介质可以采取能够将处理器可读的指令存储在非瞬时型存储介质上的任何形式。非瞬时型存储介质可以由致密盘、数字视频盘、硬盘驱动、磁带、磁盘、闪式存储器、集成电路或者任何其他非瞬时型数字处理装置或存储器设备实现。
[0030]虽然已经出于清楚的目的较为详细地描述了上述内容，但是显然可以在没有背离其原理的情况下做出某些改变和修改。应理解，这些系统和方法是新的，如其中采用的许多部件、系统和方法一样。应注意，存在实施本文描述的处理和装置两者的许多替代方式。相应地，本实施例应被认为是说明性的而不是限制性的，并且本发明的工作主体不被限制到本文给出的细节，而是在所附权利要求书的范围和等同物之内可以被修改。
【权利要求】
1.一种用于针对特定收听环境校准扬声器的方法，所述方法包括: 将便携式设备的麦克风定位在所述环境中的第一位置处； 发起来自第一扬声器的第一音频内容段的回放； 使用所述麦克风检测来自第一扬声器的第一音频内容段的回放； 将所述麦克风定位在所述环境中的第二位置处； 发起第二音频内容段的回放； 使用所述麦克风检测来自第一扬声器的第二音频内容段的回放； 至少部分地基于第一音频内容段的所检测到的回放以及第二音频内容段的所检测到的回放，确定在由第一扬声器回放之前将被应用于进一步的音频内容的一个或多个调整；以及 在由第一扬声器播放附加音频内容之前，将所述调整应用于附加音频内容。
2.如权利要求1所述的方法，其中发起来自第一扬声器的第一音频内容段的回放的步骤进一步包括随后发起来自第二扬声器的第一音频内容段的回放。
3.如权利要求1所述的方法，其中发起来自第一扬声器的第一音频内容段的回放的步骤进一步包括:发起来自第二扬声器的第三音频内容段的回放，其中第一音频内容段不同于第三音频内容段，并且其中来自第一扬声器的第一音频内容段的回放与来自第二扬声器的第三音频内容段的回放至少部分重叠。
4.如权利要求1所述的方法，其中第一位置包括接近于所述收听环境内的人的第一耳朵的位置。
5.如权利要求4所述的方法，其中第二位置包括接近于所述人的第二耳朵的位置。
6.如权利要求1所述的方法，其中第一音频内容段与第二音频内容段是相同的。
7.如权利要求1所述的方法，其中第一音频内容段包括一个或多个同步模式。
8.如权利要求1所述的方法，其中便携式设备包括移动电话或平板。
9.如权利要求1所述的方法，其中确定将被应用于进一步的音频内容的一个或多个调整包括:对第一音频内容段和第二音频内容段的所检测到的回放执行谱分析。
10.如权利要求9所述的方法，进一步包括: 将第一音频内容段的所检测到的回放的频率响应与理想频率响应进行比较。
【文档编号】H04R5/027GK104247461SQ201380021016
【公开日】2014年12月24日 申请日期:2013年2月21日 优先权日:2012年2月21日
【发明者】P. 马赫 D., 博康-吉博 G., 米切尔 S. 申请人:英特托拉斯技术公司