基于听众位置的音量调整的制作方法

专利名称：基于听众位置的音量调整的制作方法
基于昕众位置的音量调整背景音频系统可以用于各种不同的应用。例如，现代控制台游戏系统被配置为利用能够从若干不同的扬声器播放不同声音的多通道环绕声系统。概述本公开内容涉及所作出的影响听众所察觉的音量的实时音频调整。实时跟踪听众的位置。随着听众的位置相对于一个或多个扬声器而改变，根据基于在听众和(各)扬声器之间的距离的预先确定的函数来调整一个或多个扬声器的个体音量。提供本概述以便以简化形式介绍下面在详细描述中进一步描述的概念的选集。本概述不旨在标识所要求保护的本主题的关键特征或必要特征，也不预期用来限制所要求保护的本主题的范围。此外，所要求保护的本主题不限于解决本公开内容的任何部分中提到的任何或全部缺点的实现。附图简述

图1示出当在玩家和扬声器之间的距离改变时所察觉的音量如何改变的示例。图2在某种程度上示意性地示出根据本公开内容的实施例用于跟踪玩家的位置的示例系统。图3A和图;3B示出响应于改变的玩家位置而作出的扬声器音量调整的示例。图4A和4B示出响应于环绕声系统中的玩家的位置而作出的扬声器音量调整的示例。图5示出根据本公开内容的实施例基于玩家的位置来调节音量的示例方法。图6A和图6B示出用于根据距离来调整音频输出水平的示例函数。图7示意性地示出根据本公开内容的实施例的计算系统。详细描述本公开内容涉及基于听众相对于一个或多个扬声器的位置的音频衰减和放大。尽管下面在游戏系统的上下文中描述，但应理解，在此描述的基于听众相对于一个或多个扬声器的位置的音频衰减和放大可以用于许多不同的应用。可以至少部分地通过玩家(即，听众)在物理空间内的移动来控制结合了一个或多个扬声器的游戏系统。例如，持有运动传感控制器的玩家可以通过在世界空间中摆动运动传感控制器来引起虚拟化身在游戏空间中摆动球拍。作为另一示例，基于视觉的系统可以使用一个或多个照相机来跟踪玩家的移动，且这样的移动可以被转换成游戏控制。在这样的系统中，当玩家在包含一个或多个扬声器的空间中四处移动时，玩家所察觉的声音音量可以改变。例如，当从玩家到声音源的距离增加(即，玩家移动离开扬声器)时，玩家所察觉的声音音量可以降低。同样地，当从玩家到声音源的距离减少(即，玩家向扬声器移动) 时，玩家所察觉的声音音量可以增加。因而，玩家所察觉的声音音量随玩家位置而改变。在这样的情形中，在玩家分别离开扬声器太近或太远时，玩家所察觉的声音音量可能太响亮或太安静。在所察觉的音量太响亮时，可以导致玩家不舒服。在所察觉的音量太安静时，声音可以变得令玩家听不见。此外，当环境中存在多于一个的扬声器时，例如，在环绕声系统中，当玩家在物理空间中四处移动时，声音的平衡可能不被保留。与所察觉的音量相关的这些和其他问题可以有损于玩家体验。通过基于玩家位置调整扬声器音量，可以调节玩家所察觉的声音音量以便保持在所期望的范围和平衡。调整可以包括基于玩家的位置放大或衰减一个声音源或多个声音源
的音量。图1示出当玩家100的位置相对于扬声器102改变时玩家100所察觉的音量如何改变的示例。扬声器102所发出的声音的音量由计量104指示，且玩家100所察觉的声音音量由计量108指示。贯穿本公开内容使用这样的测量约定。当计量结合扬声器(例如， 扬声器10 来使用时，填充有黑色的计量的相对量指示扬声器的相对音量(即，较多的黑色对应于较多的输出音量，而较少的黑色对应于较少的输出音量)。当计量结合听众(例如，玩家100)来使用时，填充有黑色的计量的相对量指示听众所察觉的相对音量(即，较多的黑色对应于较响亮的所察觉的声音，而较少的黑色对应于较安静的所察觉的声音)。如图1中所示出，当扬声器102的音量被保持在恒定水平时，所得到的由玩家100 察觉的声音与玩家与扬声器的距离成比例地改变。具体而言，玩家100在相对接近扬声器 102的位置110处察觉相对响亮的声音，在相对远离扬声器102的位置114处察觉相对安静的声音，且在离开扬声器102的中间距离的位置106处察觉相对中等的声音。如下面详细描述的，可以基于听众的位置实时调制声音源的相对音量，以便调节该声音源对于听众的所察觉的音量。为了以这样的方式调节音量，跟踪听众在物理空间中相对于一个或多个声音源的位置。应理解，实际上可以使用任何实时跟踪技术而不背离本公开的范围。此外，应理解，在此描述的实时调整可以包括由计算系统的处理时间引起的短的延迟。在一个示例中，游戏系统可以跟踪持有运动传感检测器的玩家的位置。作为另一示例，压力传感垫可以向游戏系统报告位于垫上的玩家的位置。作为另一示例，可以使用声学剖面来跟踪玩家的位置。图2中示出跟踪玩家的位置的另一示例。图2示出用来跟踪玩家200的移动的基于视觉的计算系统202的示例。计算系统 202可以包括可以用来玩各种不同的游戏、播放一种或多种不同的媒体类型和/或控制或操纵非游戏应用的游戏控制台。计算系统202也可以包括显示设备206。显示设备206可以例如是高清电视，且可以用来向诸如玩家200等的玩家呈现可视信息。在图2中，计算系统202包括捕捉设备204。捕捉设备204可以包括任何可以可视地标识玩家(例如玩家200)的位置的输入机制。例如，捕捉设备204可以被配置为经由任何合适的技术(例如，飞行时间、结构化光、立体图像等等)捕捉带有深度信息的视频。因而，捕捉设备204可以包括深度相机、摄像机、立体照相机和/或其他合适的捕捉设备。在图2中，玩家200被示出为处于第一位置210。捕捉设备204可以接收一般地在208处示出的场景的深度图像，该场景包括在位置210处的玩家200。然后，计算系统可以在从捕捉设备204获取的深度图像中识别在位置210处的玩家200。例如，计算系统可以使用骨骼数据或头部跟踪来在深度图像中标识玩家200。一旦系统在深度图像中识别在位置210处的玩家200，该系统就可以标识玩家的位置信息。例如，位置信息可以包括三维坐标数据。在一些实施方式中，计算系统202可以在三维世界空间内定位特定的玩家身体部位或区域(例如，耳、头部的中心等等)的位置。
捕捉设备204可以通过接收包含玩家200的场景208的多个深度图像来实时监视玩家200的位置和/或玩家200的特定部位。因而，例如，如果玩家200移动到离开捕捉设备204较远的第二位置212，捕捉设备204则可以接收到另一深度图像或一系列深度图像。 然后，计算系统202使用带有在位置212处的玩家200的场景的深度图像用来获取位置信息，例如，玩家200和/或玩家200的特定部位在三维世界空间内的坐标。以此方式，系统 202可以在三维空间中实时跟踪玩家的位置。基于如上所述的玩家位置跟踪，可以调节从一个或多个声音源所发出的声音音量，以便实现所期望的玩家所察觉的声音平衡。图3A和图;3B示出当玩家300移动为离开声音源较近或较远时音量调节的示例。在图3A和图;3B中，示出计算系统302，例如，游戏系统。在这一示例中，计算系统 302包括显示设备304、扬声器306和捕捉设备308，例如，深度相机。在图3A中，当玩家300处于相对接近扬声器306的第一位置312时，扬声器音量被减少到由计量310所指示的水平。扬声器音量的减少补偿在玩家300和扬声器306之间的减少的距离。因而，在位置312处的玩家300所察觉的声音音量可以被维持在由计量316 所指示的所期望的水平。同样地，如果玩家300移动到离扬声器306相对较远的第二位置，例如，移动到图 3B中的位置314，则扬声器音量被增加到由图;3B中的计量310所指示的水平。扬声器音量的增加补偿在玩家300和扬声器306之间的增加的距离。因而，由在位置314处的玩家所察觉的声音音量可以被维持在由计量316所指示的所期望的水平。可以使用任何合适的方法来实时自动调节音量。在一些实施方式中，对于特定的扬声器，可以调整通道专用的音频输出水平。换句话说，游戏控制台或其他计算系统可以调整被发送给放大器的音频输出的水平，以使得不需要改变放大器的放大水平就改变从扬声器所得到的音量。在一些实施方式中，可以实时改变放大器的放大水平。图4A和图4B示出对于存在遍及房间设立的多个扬声器的情况(例如在环绕声系统中)调节音量的示例。在这样的情况中，以上参考图3A和图;3B所描述的概念可以适用于环绕声系统中的两个或更多个扬声器。图4A和图4B示出计算系统406，例如游戏系统，其包括显示设备408、捕捉设备 412和多个环绕声扬声器(例如，扬声器410a、扬声器410b、扬声器410c、扬声器410d、扬声器410e、扬声器410f、扬声器410g)。在图4A中，玩家400处于房间中的第一位置40加。可以如上参照图2所述的由捕捉设备412确定玩家400的位置。响应于玩家400的位置，将环绕声扬声器的音量水平调整到由相应的计量(例如，计量414a、计量414b、计量4Hc、计量414d、计量414e、计量414f、 计量414g)所指示的水平。图4A中所示出的扬声器音量调整是基于如箭头所指示的从给定的扬声器到玩家400的相应距离。扬声器音量调整维持在位置40 处的玩家400所察觉的所期望的声音的音量和平衡。如图4B中所示出，当玩家400移动到不同的位置402b时，如由捕捉设备204 所跟踪的，计算系统406将扬声器410a-410g的音量水平实时自动调整到由相应的计量 4Ha-414g所指示的水平。图4B中所示出的扬声器音量调整是基于如箭头所指示的从给定的扬声器到玩家400的相应距离，且用于维护在位置402b处的玩家400所察觉的所期望的声音的音量和平衡。图5示出基于诸如图3A-图4B中所示出的情形等的情形中玩家的位置来调节音量的示例方法500。在502，方法500包括标识一个或多个扬声器的位置。可以标识一个或多个扬声器位置，以使得可以估定在这样的扬声器和听众之间的相对距离。在50 ，方法500包括发出被配置为引起扬声器产生测试声音的音频信号。例如， 每一扬声器可以以一个或多个具体的频率和/或幅度发出一个或多个测试声音。可以从扬声器发出不同频率的多个测试声音，以确定在不同的频带内的扬声器音量水平(例如，如果扬声器是在沙发后面，则吸收高频声音)。来自两个或更多个扬声器中的每一个的测试声音可以是不同的，以使得它们可以彼此区别。在502b，方法500包括在例如由捕捉设备204捕捉的多个深度图像中跟踪移动话筒的位置。例如，玩家可以持有话筒并在话筒侦听测试信号的同时在扬声器环境中四处移动。在502c，方法500包括将来自扬声器的所察觉的音量与移动话筒的位置相关联。 例如，由扬声器发出的被移动话筒察觉的测试声音的音量可以与移动话筒的位置相关联。 在不同的位置处的所察觉的音量的这种关联可以被用来估计扬声器的可能位置。例如，可以创建所察觉的声音的梯度图，且可以估计扬声器位置是处于对应于梯度图上最响亮的所察觉的声音的世界空间位置。上面的标识扬声器位置的方法502是非限制性的。可以在不偏离本公开内容的预期范围的前提下使用标识一个或多个扬声器的位置的几乎任何方法。作为另一示例，玩家可以去往每一扬声器的位置以便向视觉系统指出安置该扬声器位于何处。在又另一示例中，玩家可以通过显示设备上的交互图来描述扬声器相对于初始的玩家位置的布局。在504，方法500包括基于玩家的位置调节扬声器音量。如上参照图2所描述的， 例如，在50 跟踪玩家的位置。例如，跟踪玩家的位置可以包括在从深度相机获取的深度图像中识别玩家。例如，在深度图像中识别玩家还可以包括标识玩家的三维位置。在504b，方法500包括，对于一个或多个扬声器中的每一个，估定在该扬声器和玩家之间的改变的距离。例如，可以基于在如上所述的扬声器配置步骤中获得的扬声器位置的地图来估定在玩家和扬声器之间的改变的距离。估定在玩家和扬声器之间的改变的距离可以包括计算在两个或更多个不同的时间在该扬声器的位置和玩家的位置之间的距离。在诸如图4A和图4B中示出的示例等的环绕声系统中，改变的距离的估定可以包括估定在玩家的三维位置和多个环绕声扬声器中的每一个的三维位置之间的距离。在5(Mc，方法500包括，对于一个或多个扬声器中的每一个，基于在该扬声器和玩家之间的当前距离实时自动调整该扬声器的音量。自动调整可以包括基于在扬声器的三维位置和玩家的三维位置之间的当前距离调整一个或多个扬声器的音量。在一个示例中，给定的音频信号的水平可以是给定的音频输出的标称水平音量。在另一示例中，基于由各扬声器形成的空间的大小来相对于音频水平范围作出调整。在一个示例中，可以基于在玩家和扬声器之间的当前距离的指数函数调整音量。 图6A示出用于根据当前距离来调整扬声器的音频输出的示例指数函数。在图6A中，当在玩家和声音源之间的距离增加时，可以指数地增加扬声器的音量以便补偿。可以选择指数函数以便根据距离补偿所估计的音量的逆平方减少。在另一示例中，可以基于在玩家和扬声器之间的当前距离的线性函数调整音量。 图6B示出用于根据当前距离来调整扬声器的音频输出的示例线性函数。在图6B中，当在玩家和声音源之间的距离增加时，可以线性地增加扬声器的音量以便补偿。在此描述的方法和过程可以绑定到各种不同类型的计算系统。以上所描述的计算系统202是非限制性的示例系统，其包括游戏控制台、显示设备206和捕捉设备204。作为另一个更一般的示例，图7示意性地示出可以执行在此描述的玩家跟踪、扬声器位置标识和音量调节方法和过程中的一个或多个的计算系统700。计算系统700可以采取各种不同的形式，包括但不限于游戏控制台、个人计算系统和音频/视频影院以及其他。计算系统700可以包括逻辑子系统702、操作上连接到逻辑子系统的数据存储子系统704、显示子系统706和/或捕捉设备708。计算系统可以可选地包括图7中未示出的组件，并且/或者图7中示出的一些组件可以是未集成到计算系统中的外围组件。逻辑子系统702可以包括被配置为执行一个或多个指令的一个或多个物理设备。 例如，逻辑子系统可以被配置为执行一个或多个指令，这些指令是一个或多个程序、例程、 对象、组件、数据结构或其他逻辑构造的一部分。可以实现这样的指令以执行任务、实现数据类型、变换一个或多个设备的状态或以另外方式达到所期望的结果。逻辑子系统可以包括被配置为执行软件指令的一个或多个处理器。另外，或替代地，逻辑子系统可以包括被配置为执行硬件或固件指令的一个或多个硬件或固件逻辑机器。逻辑子系统可以可选地包括遍及在一些实施方式中可以远程地定位的两个或更多个设备分布的个体组件。数据保持子系统704可以包括被配置为保持可由逻辑子系统执行以实现在此所描述的方法和过程的数据和/或指令的一个或多个物理设备。在实现这样的方法和过程时，可以变换数据保持子系统704的状态(例如，以保持不同的数据)。数据保持子系统704 可以包括可移动介质和/或内置设备。数据保持子系统704可以包括光学存储器设备、半导体存储器设备(例如，RAM、EEPR0M、闪存等等)和/或磁存储器设备以及其他。数据保持子系统704可以包括具有下列特性中的一种或多种的设备易失性、非易失性、动态、静态、 读/写、只读、随机存取、顺序存取、位置可寻址、文件可寻址和内容可寻址。在一些实施方式中，逻辑子系统702和数据保持子系统704可以被集成到诸如应用专用集成电路或片上系统等的一个或多个公共设备中。图7也示出以计算机可读的可移动介质712的形式的数据保持子系统的一个方面，其可以被用来存储和/或传输可执行以实现在此所描述的方法和过程的数据和/或指令。显示子系统706可以用来呈现数据保持子系统704所保持的数据的可视表示。当在此所描述的方法和过程改变数据保持子系统所保持的数据且因而变换数据保持子系统的状态时，可以同样变换显示子系统706的状态以可视地表示底层数据的改变。显示子系统706可以包括利用几乎任何类型的技术的一个或多个显示设备。这样的显示设备可以在共享外壳中与逻辑子系统702和/或数据保持子系统704组合，或者这样的显示设备可以是外围显示设备。计算系统700还包括被配置为获得一个或多个目标和/或场景的深度图像的捕捉设备708。捕捉设备708可以被配置为经由任何合适的技术(例如，飞行时间、结构化光、立体图像等等)捕捉具有深度信息的视频。因而，捕捉设备708可以包括深度相机、摄像机、 立体照相机和/或其他合适的捕捉设备。例如，在飞行时间分析中，捕捉设备708可以向场景发出红外光，且然后可以使用传感器来检测来自场景表面的后向散射光。在一些情况中，可以使用脉冲红外光，其中，可以测量在传出光脉冲和相应的传入光脉冲之间的时间并用来确定从捕捉设备到场景上的特定位置的物理距离。在一些情况中，可以将传出光波的相位与传入光波的相位进行比较以确定相移，且相移可以用来确定从捕捉设备到场景中的特定位置的物理距离。在另一示例中，可以使用飞行时间，通过经由诸如快门光脉冲成像等的技术来分析所反射的光束随时间的强度，来间接地确定从捕捉设备到场景中的特定位置的物理距离。在另一示例中，捕捉设备708可以利用结构化光分析来捕捉深度信息。在这样的分析中，可以将图案化的光(例如，被显示为诸如网格图案或条纹图案等的已知图案的光) 投影到景物上。在景物的表面上，图案可以变得变形，且可以研究图案的这种变形以确定从捕捉设备到场景中的特定位置的物理距离。在另一示例中，捕捉设备可以包括从不同的角度观察场景以获得可视立体数据的两个或更多个物理上分离的照相机。在这样的情况中，可以解析可视立体数据以生成深度图像。在其他实施方式中，捕捉设备708可以利用其他技术来度量和/或计算深度值。在一些实施方式中，可以将两个或更多个不同的照相机合并到集成捕捉设备中。 例如，可以将深度相机和摄像机(例如，RGB摄像机)可以合并到公共捕捉设备。在一些实施方式中，可以协作地使用两个或更多个分离的捕捉设备。例如，可以使用深度相机和分离的摄像机。当使用摄像机时，它可以用来提供目标跟踪数据、用于景物分析的错误修正的确认数据、图像捕捉、脸部识别、手指(或其他小的特征)的高精度跟踪、光传感和/或其他功能。应理解，可以由一个或多个捕捉设备的逻辑机器执行至少一些深度分析操作。捕捉设备可以包括被配置为执行一种或多种深度分析功能的一个或多个板载处理单元。捕捉设备可以包括固件以促进更新这样的板载处理逻辑。计算系统700还可以包括音频设备710。音频设备710可以包括被配置为例如将音频信号发送到放大器和/或环绕声系统中的不同扬声器的一个或多个音频输出。音频设备710也可以包括话筒。逻辑子系统702可以操作上连接到音频设备710和捕捉设备708。应理解，在此描述的配置和/或方法本质上是示例性的，且不应以限制的意义来考虑这些特定的实施例或示例，因为众多变更是可能的。在此描述的特定的例程或方法可以表示任何数量的处理策略中的一种或多种。因而，所阐释的各种动作可以以所阐释的序列、以其他序列、并行执行、或在一些情况中忽略。同样地，可以改变以上所描述的过程的次序。本公开内容的主题包括在此公开的各种过程、系统和配置以及其他特征、功能、动作和/或性质、以及其等效物中的任何和全部的所有新颖的和不明显的组合和子组合。
权利要求
1.一种调节音量的方法，所述方法包括 标识一个或多个扬声器的位置；跟踪听众的位置；对于所述一个或多个扬声器中的每一个，估定在所述扬声器和所述听众之间的改变的距离；以及基于在所述扬声器和所述听众之间的当前距离实时自动调整所述扬声器的音量。
2.如权利要求1所述的方法，其特征在于，跟踪听众的位置包括在从深度相机获取的深度图像中识别所述听众。
3.如权利要求1所述的方法，其特征在于，估定在所述扬声器和所述听众之间的所述改变的距离包括计算在两个或更多个不同的时间在所述扬声器的位置和所述听众的位置之间的距离。
4.如权利要求1所述的方法，其特征在于，自动地调整所述扬声器的音量包括根据当前距离来调整音频输出水平。
5.如权利要求4所述的方法，其特征在于，自动地调整所述扬声器的音量包括根据当前距离来指数地调整音频输出水平。
6.如权利要求4所述的方法，其特征在于，自动地调整所述扬声器的音量包括根据当前距离来线性地调整音频输出水平。
7.如权利要求1所述的方法，其特征在于，标识一个或多个扬声器的位置包括，对于每一扬声器发出被配置为引起所述扬声器产生测试声音的音频信号； 在多个深度图像中跟踪移动话筒的位置；以及将该扬声器的所察觉的音量与所述移动话筒的位置相关联。
8.一个计算系统，包括被配置为将音频信号发送给扬声器或放大器的音频输出； 被配置为捕捉可用于构建深度图像的深度信息的深度相机； 操作上连接到所述音频输出和所述深度相机的逻辑子系统；以及保持指令的数据保持子系统，所述指令可由所述逻辑子系统执行以便 在所述深度图像中识别听众； 标识所述听众的三维位置；估定在所述听众的三维位置和扬声器的三维位置之间的距离；以及基于在所述听众的三维位置和所述扬声器的三维位置之间的距离自动地设定所述音频信号的水平。
9.如权利要求8所述的计算系统，其特征在于，所述音频输出是多个环绕声音频输出中的一个，每一环绕声音频输出被配置为将音频信号发送给不同的环绕声扬声器。
10.如权利要求8所述的计算系统，其特征在于，所述数据保持子系统存储指令，所述指令可由所述逻辑子系统执行以按照在所述扬声器的三维位置和所述听众的三维位置之间的距离的指数函数自动地设定所述音频信号的水平。
11.如权利要求8所述的计算系统，其特征在于，所述数据保持子系统保持指令，所述指令可由所述逻辑子系统执行以按照在所述扬声器的三维位置和所述听众的三维位置之间的距离的线性函数自动地设定所述音频信号的水平。
12.如权利要求8所述的计算系统，其特征在于，进一步包括话筒，且其中所述数据保持子系统存储指令，所述指令可由所述逻辑子系统执行以引起所述音频输出发出被配置为引起所述扬声器产生测试声音的音频信号；在来自所述深度相机的多个深度图像中跟踪所述话筒的位置；以及将所述扬声器的所察觉的音量与所述话筒的位置相关联。
13.如权利要求8所述的计算系统，其特征在于，所述深度相机包括飞行时间深度相机。
14.如权利要求8所述的计算系统，其特征在于，所述深度相机包括结构化光深度相机。
15.如权利要求8所述的计算系统，其特征在于，所述深度相机包括立体深度相机。
全文摘要
公开了基于听众位置的音量调整。标识一个或多个扬声器的位置，并跟踪听众的位置。对于一个或多个扬声器中的每一个，估定在该扬声器和听众之间的改变的距离。基于在该扬声器和听众之间的当前距离实时自动调整该扬声器的音量。
文档编号H03G3/32GK102577433SQ201080041897
公开日2012年7月11日 申请日期2010年8月27日 优先权日2009年9月21日
发明者D·安杰洛夫, J·克拉维, R·沃克尔 申请人:微软公司