音频处理装置及其方法_5

文档序号:9439630阅读:来源:国知局
适当方法,而波束成型不是。
[0147]作为下一步骤,其它可用的信息由系统使用来在所产生的子集的渲染模式之间决定。特别地,可考虑音频对象的音频类型。例如,对于音频通道,可选择基于矢量的幅值平移,胜过高保真度立体声响复制,而对于应被渲染为高度扩散的音频对象(例如,如由元数据指示的),可选择高保真度立体声响复制清染。
[0148]在下文中,给出一些可能的例子:
?如果扬声器配置本质上符合标准立体声(多通道)扬声器配置且音频类型是“基于通道的”或“基于对象的”,则可选择标准立体声渲染。
[0149].当扬声器或多或少随机地分布在收听者周围,而没有在其间的任何极大或极小的“间隙”,且音频类型是“基于通道的”或“基于对象的”时,可选择基于矢量的幅值平移。
[0150].如果扬声器聚集成紧密间隔的紧密阵列(例如在其间小于几分米),则可选择波束成型渲染。
[0151].当有以相对于收听者的对称方位角放置的两个扬声器且只有单个用户时,可选择串音消除渲染。
[0152].在前扬声器设置由两个紧密间隔的扬声器组成时例如当平板计算机用于观看电影时,可选择立体声偶极子渲染。
[0153].当扬声器配置本质上等距地分布在收听者周围且音频类型是“音频场景成分”或“扩散”(背景)“音频对象”类型时,可选择高保真度立体声响复制渲染。
[0154].对于具有间隔开不大于大约25 cm的大量扬声器的扬声器配置,对于任何音频类型且当大收听区域被期望时,可选择波场合成渲染。
[0155].在其它可用的渲染方法不令人满意地执行的情况下对于任何音频类型,可选择最小二乘法优化渲染。
[0156]针对个体音频类型和个体扬声器子集根据这些扬声器的位置对适当渲染类型的个体和独立的选择的组合提供特别有利的操作和高质量空间体验。
[0157]然而将认识到,基于音频类型对渲染算法的选择实际上不限于下面的情形:针对扬声器的不同子集选择不同的渲染算法。
[0158]例如,音频处理装置可包括用于接收音频数据、音频描述数据和渲染配置数据的接收器,音频数据包括不同音频类型的多个音频成分的音频数据,音频描述数据至少指示至少一些音频成分的音频类型,以及渲染配置数据包括一组音频换能器的音频换能器位置数据;用于产生用于这组音频换能器的音频换能器信号的渲染器,渲染器能够根据多个渲染模式渲染音频成分;布置成响应于音频描述数据和渲染配置数据/音频换能器位置数据而针对多个音频成分的每个音频成分从多个渲染模式选择用于渲染器的渲染模式的渲染控制器。
[0159]因此,在这样的系统中,可以不针对音频换能器的不同子集个体地选择渲染模式,但可针对所有音频换能器选择渲染模式。在这样的系统中,所述操作将遵循针对图7的音频处理装置701描述的原理,但将简单地考虑作为整体的音频换能器组并可能为所有扬声器703选择相同的渲染算法。因此,该描述加以必要的变更也可适用于这样的系统。
[0160]然而在图7的系统中,针对扬声器703的不同子集独立地执行基于音频描述数据且特别地基于音频类型数据对渲染模式的选择。使得不同子集的渲染模式可以是不同的。相应地,实现对特定渲染配置和扬声器设置以及对渲染的音频的提高的适应。
[0161]将认识到,可在不同的实施例中使用用于选择个体扬声器的渲染模式的不同算法和选择标准。
[0162]在很多实施例中,渲染控制器709布置成基于给定扬声器相对于预定位置的位置来选择那个扬声器的渲染模式。特别地,在很多实施例可以根据实际位置实际上偏离标称或默认位置多少来选择渲染模式。
[0163]例如,为了大部分音频通道的渲染,假设默认扬声器设置。例如在很多系统中,假设以相等的距离围绕收听位置的一组实质上等距扬声器。对于这样的音频对象,渲染控制器709可布置成根据扬声器到默认位置多么接近来选择扬声器的渲染模式。
[0164]在很多实施例中,可为每种音频类型指定默认渲染模式。默认渲染模式可针对下面的情况向用户提供有利的空间体验:扬声器位于它们的正确默认位置处,或它们只从这些偏离小的量。然而,如果一个或多个扬声器位于远离适当的位置处,则被渲染的声音可以不提供期望的空间音频体验。例如,如果后右扬声器位于用户的左手侧上,则后声级将被扭曲。这个特定的情形提供可能的渲染模式选择方法可如何提高所感知的体验的例子。例如,如果后扬声器本质上在正确的角度处但左和右环绕声通道被交换,则选择将这两个通道简单地交换回到它们的正确地方的渲染方法常常更好,而不是使用例如可此外导致在通道之间的声音的泄漏的基于幅值平移的方法。
[0165]因此,在一些实施例中,渲染控制器709可确定每个扬声器相对于默认位置的位置。如果差异低于给定阈值(其可被预先确定或可被动态地调整),则选择默认渲染模式。例如,对于音频通道成分,渲染模式可简单地是将音频通道馈送到位于默认假设的位置处的适当扬声器的渲染模式。然而,如果扬声器位置偏离了多于阈值,则选择不同的渲染模式。例如在这种情况下,基于扬声器和在默认位置的另一侧上的第二扬声器来选择幅值平移渲染模式。在这种情况下,幅值平移渲染可用于渲染对应于默认位置的声音,即使扬声器不位于这个位置处。
[0166]作为特定的例子,如果后右扬声器位于收听者的左边,可在后右扬声器和前右扬声器之间使用幅值平移来渲染后右环绕声通道。因此,可针对不在正确位置上的扬声器(后右扬声器)但还针对可在默认位置处的另一扬声器(右前扬声器)改变渲染模式。然而,其它扬声器的渲染模式仍然可使用默认渲染方法(中心、前左和后左扬声器)。此外,虽然在默认位置处的扬声器的渲染模式可由于另一扬声器的位置远离它的默认位置而被改变,这个修改的渲染只可适用于一些音频成分。例如,前音频对象的渲染可使用右前扬声器的默认渲染。
[0167]在一些实施例中,渲染控制器709可针对给定音频对象将扬声器703分成至少两个子集。第一子集可包括在音频换能器的位置和预定位置之间的差异超过给定阈值的至少一个扬声器703。第二子集可包括在音频换能器的位置和预定位置之间的差异不超过阈值的至少一个扬声器703。可由渲染控制器709选择的渲染模式组在这个实施例中可以是不同的。特别地,对于第二子集,可从一组默认渲染模式选择渲染模式。实际上,在一些情形中,这组默认渲染模式可以只包括单个默认渲染模式。然而对于第一子集,可从特别地可以只包括非默认清染模式的不同组清染模式选择清染模式。将认识到,扬声器的第一子集可潜在地也包括在默认位置处的一个或多个扬声器。例如对于位于用户左边的右后扬声器,第一子集可包括不仅右后扬声器而且右前扬声器。
[0168]作为另一例子,系统可由在收听者前面的少量紧密间隔开的扬声器和在“标准”左和右环绕声位置处的两个后扬声器组成。在这种情况下,第二子集可由两个后扬声器和紧密间隔开的前扬声器的中心扬声器组成,且基于通道的信号的左和右环绕声和中心通道可直接发送到对应的扬声器。紧密间隔开的前扬声器一一包括第二子集的“中心”扬声器一一在这种情况下形成第一子集,且波束成型渲染可应用于它们用于再现基于通道的信号的前左和右通道。
[0169]在一些实施例中,当选择适当的渲染模式时,渲染控制器709可考虑其它渲染配置数据。
[0170]例如,渲染控制器709可被提供关于收听位置的信息并可使用此来选择适当的算法。例如,如果收听位置改变为相对于扬声器设置是不对称的,则渲染控制器709可将选择偏向到基于矢量的幅值平移的使用,以便补偿这样的不对称性。
[0171]作为另一例子,在收听位置是动态的且扬声器配置由围绕收听者的扬声器的阵列组成的情况下,可使用波场合成渲染来提供在大收听区域内的所有位置处的最佳收听体验。
[0172]作为又一例子,如果用户的位置可被跟踪且只有在收听者的前面的几个扬声器是可用的,则串音消除渲染可被使用并可根据收听者位置数据被适应性地控制。
[0173]将认识到,可在不同的实施例中使用用于选择并评估不同的渲染模式或渲染模式的组合的不同方法。
[0174]例如,在很多实施例中,渲染控制器709可布置成响应于由感知模型产生的质量度量而选择渲染模式。特别地,渲染控制器709可布置成基于从计算感知模型产生的质量度量来选择渲染模式。例如,渲染控制器709可布置成使用用户的预期收听体验的计算模拟来评估哪个渲染方法提供最接近音频数据的理想渲染的声音图像。该方法可例如基于例如在M.Park、P.A.Nelson 和 K.Kang 的“A Model of Sound Localisat1n Applied tothe Evaluat1n of Systems for Stereophony^CActa Acustica united with Acustica,94(6),825-839,(2008))中描述的方法。
[0175]这样的感知模型可特别地能够基于到收听者的耳朵的输入来计算质量估量或度量。因此,模型可针对收听者的每只耳朵针对给定输入,估计所感知的空间体验的质量。
[0176]作为例子,渲染控制器709可相应地估计渲染模式的不同组合,其中每个组合对应于扬声器的不同子集的渲染模式的选择。对于这些组合中的每个,可计算在默认收听位置处的收听者的耳朵处的因而产生的信号。这个计算考虑扬声器703的位置,可能包括房间特性等。
[0177]例如,可首先计算从每个扬声器渲染的音频(假设组合的特定渲染模式被评估)。可基于扬声器的特定位置从每个扬声器到收听者的每只耳朵来估计传递函数,且可相应地通过组合来自每个扬声器的贡献并考虑所估计的传递函数来估计在用户的耳朵处的因而产生的音频信号。因而产生的双耳声信号然后被输入到计算感知模型(例如在上面提到的文章中提议的模型)且因而产生的质量度量被计算。针对在一组质量度量中的所有因而产生的组合重复该方法。渲染控制器709可接着选择提供最佳质量度量的渲染模式的组合。
[0178]渲染模式的每个组合可对应于用于扬声器703的多个子集的渲染模式的可能选择,其中用于每个子集的渲染模式可单独地被选择。此外,不同的组合可对应于到不同子集的划分。例如,一个组合可考虑用于前扬声器的立体声渲染和用于后扬声器的最小二乘法渲染;另一组合可考虑用于前扬声器的波束成型渲染和用于后扬声器的最小二乘法渲染,另一组合可考虑用于左扬声器的幅值平移和用于后扬声器和中心扬声器的立体声渲染等。
[0179]实际上在原则上和实际上在一些实施例中,组合可包括到子集的所有可能的划分和那些子集的所有可能的渲染模式选择。然而将认识到,在很多实施例中,这样的评估可能太复杂且在计算上是密集的。在很多实施例中,组合的数量可例如通过将扬声器基于它们的位置划分成子集(例如一个子集是接近它们的默认位置的所有扬声器,而另一子集是不接近它们的默认位置的所有扬声器)而显著减少,且只有这些子集被考虑。替代地或此外,其它要求或标准可用于减少针对每个子集考虑的渲染模式的数量。例如,可针对其中扬声器位置不足够靠近在一起的所有子集来忽视波束成型。
[0180]在一些实施例中,渲染控制器709可相应地布置成针对扬声器的不同子集针对渲染模式的多个组合产生双耳声信号估计;响应于双耳声信号估计而确定每个组合的质量度量;以及将渲染模式选择为其质量度量指示最高质量的渲染模式的组合。
[0181]在很多实施例中,基于在子集中的扬声器的位置来选择给定扬声器子集的清染模式。然而,在一些实施例中,渲染控制器709可进一步考虑不是子集的部分的扬声器的位置。例如在音频对象的渲染被期望在没有在附近的单个扬声器的位置处(例如在收听者后面的源,而只有扬声器存在于收听者的前面)的情形中,可采用“虚拟渲染”算法例如串音消除或波束成型渲染,在这些选项之间的最终选择取决于实际扬声器配置的特性(例如间隔)。
[0182]在一些实施例中,渲染控制器709可布置成在渲染模式的选择中进一步考虑扬声器703的音频渲染特性数据。例如,如果3D扬声器设置的头顶扬声器是不能够再现低频的小高频扬声器(貌似合理,因为将大的全范围扬声器安装在天花板上不是简单的),旨在用于头顶扬声器的信号的低频部分可与在水平平面中围绕收听者的所有全范围扬声器等同地分布。
[
当前第5页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1