本发明一般地涉及低音感觉的心理声学增强，更具体地，涉及在这样的增强下的方向性和立体声声像的保持。相关申请的交叉引用本申请要求来自于2017年7月23日提交的题为“stereovirtualbassenhancement”的美国临时申请第62/535,898号的权益，其在此通过引用以其全部内容并入本文中。
背景技术：
：：心理声学音频增强的问题在常规技术中已经被认识到，并且各种技术已经被开发以提供解决方案，例如：1.美国专利：5930373a，“methodandsystemforenhancingqualityofsoundsignal”。2.bai，mingsianr.和wan-chilin.，“synthesisandimplementationofvirtualbasssystemwithaphase-vocoderapproach.”，journaloftheaudioengineeringsociety(音频工程学会期刊)54.11(2006)：1077-1091。3.美国专利：6134330“ultrabass”。4.u.zolzer，编辑，dafx：digitalaudioeffects(wiley，纽约，2002)。5.美国专利：8098835b2，“methodandapparatustoenhancelowfrequencycomponentofaudiosignalbycalculatingfundamentalfrequencyofaudiosignal”。6.blauert，jens，spatialhearing:thepsychophysicsofhumansoundlocalization，麻省理工学院出版社，1997。7.sanjaume，jordibonada，audiotime-scalemodificationinthecontextofprofessionalaudiopost-production，informàticaicomunicaciódigital(计算机与数字通信)，巴塞罗那庞培法布拉大学，巴塞罗那，西班牙，2002。心理声学低音增强已经受到消费性电子产品制造商的强烈关注。由于物理限制和成本约束，诸如低端扬声器和头戴式耳机的产品往往存在低音性能差的问题。已经基于被称为“基频缺失(missingfundamental)”的心理声学现象提出了解决方案，由此人类听觉系统可以根据复杂信号的高次谐波来感知复杂信号的基波频率。低音增强的许多方法利用了该效果，实质上是在低频下创建虚拟音高。因此，在音频增强的技术中，通常在不产生整个低频范围的情况下将谐波添加到原始信号，使得即使这些频率物理上不存在于所生成的声音中或者如果扬声器/头戴式耳机甚至不能生成这些频率，听众仍然可以感知到基波频率。用于心理声学效果的一些其他示例在以下文献中被示出：美国专利5930373；“ben-tzur博士等：theeffectofmaxxbasspsychoacousticbassenhancementonloudspeakerdesign，第106届aes会议，慕尼黑，德国，1999”；“woons.gan，sen.m.kuo，cheew.toh：virtualbassforhomeentertainment,multimediapc,gamestationandportableaudiosystems，ieeetransactionsonconsumerelectronics(关于消费性电子产品的ieee会刊)，第47卷，第4号，2001年11月，787页至794页”；“http://www.srslabs.com/partners/aetech/trubass_theory.asp”；“http://vst-plugins.homemusician.net/instruments/virtual_bass_vb1.html”；“http://mp3.deepsound.net/plugins_dynamique.php”和“http://www.srs-store.com/store-plugins/mall/pdf/wow％20xt％plug-inmanual.pdf”。上面引用的参考文献教导了可以适用于本公开的主题的背景信息。因此，这些公布的全部内容在适当的时候通过引用并入本文中，以用于附加的或可替选的细节、特征和/或技术背景的适当教导。技术实现要素：用于虚拟低音增强的现有方法经常用其高次谐波来代替基波低音频率。这样的方法通常基于某些类型的单声道信号例如立体声输入音频声道的和来生成谐波。通常通过如在[1]中所示的非线性增益控件或通过如在[3]和[5]中所示的放大器来控制这些谐波。该增益调整通常旨在使感知到的谐波信号的响度与感知到的输入基波频率的响度相等。在非单声道输入信号(例如，立体声、双声道、环绕声等)的情况下，这些方法可能存在问题，例如：1.受损的立体声声像——将单声道谐波添加到信号可能引起这些谐波的立体声声像朝向中心偏移。例如，当特殊效果是定向的(或在运动中)或者在包含各个位置处的一些低频乐器的现场直播音乐内容中时，该声像调节(panning)可能在电影中非常重要。2.感知到的双声道信号中的方向性的丢失——在文献中已经表明人的耳朵对方向性线索例如甚至在低频下的耳间水平差(ild)和耳间时间差(itd)是敏感的。因此，将单声道谐波添加到双声道信号损害方向性的感知，原因是原始内容的ild和itd不会被保持。这些问题可能在一些消费性装置中变得更加严重，在这些消费性装置中，由于扬声器的小尺寸而必须以较高的频率生成谐波——原因是较高的频率中的方向性线索对于立体声音频中的立体声声像以及对于感知到的双声道信号中的方向性非常重要。本公开的主题的一些实施方式的优点是：提供可以更好地保持立体声声像的低音增强效果，可以更好地保持双声道信号的方向性感知，并且可以更好地保持包括ild和itd的方向性线索。根据本公开的主题的一个方面，提供了一种用于向听者传送多声道声音信号的保持方向性的伪低频心理声学感觉的方法，所述方法包括：由处理单元从声音信号导出高频多声道信号和低频多声道信号，低频多声道信号在感兴趣的低频范围内扩展；由处理单元生成多声道谐波信号，多声道谐波信号中的至少一个声道信号的响度与低频多声道信号中的相应声道的响度基本上匹配；并且多声道谐波信号中的至少一个声道对的至少一个频率的至少一个耳间水平差(ild)与低频多声道信号中的相应声道对中的相应基波频率的ild基本上匹配；以及由处理单元对谐波多声道信号和高频多声道信号进行求和，从而产生心理声学替代信号。除了以上特征之外，根据本公开的主题的该方面的方法可以以技术上可行的任何期望的组合或排列包括下面列出的特征(i)至(ix)中的一个或更多个：(i)至少一个声道信号包括多声道谐波信号中的所有声道信号。(ii)至少一个耳间水平差包括至少一个频率的所有耳间水平差。(iii)至少一个基波频率包括低频多声道信号中的所有声道信号。(iv)生成谐波多声道信号包括：针对低频多声道信号中的至少两个声道信号，生成每声道谐波信号，每个每声道谐波信号均包括声道信号的基波频率的至少一个谐波频率；根据低频多声道信号导出参考信号；根据参考信号的响度来生成响度增益调整；以及至少根据至少一个声道信号和参考信号之间的水平差，针对每声道谐波信号中的每一个生成ild增益调整；以及将生成的响度增益调整和相应的ild增益调整应用于每声道谐波信号中的每一个。(v)生成谐波多声道信号包括：针对多声道声音信号中的至少两个声道信号，生成每声道谐波信号，每个每声道谐波信号均包括声道信号的基波频率的至少一个谐波频率；根据低频多声道信号导出参考信号；根据参考信号的响度以及至少根据至少一个声道信号和参考信号之间的水平差来生成增益调整；以及将增益调整应用于每声道谐波信号中的每一个。(vi)生成谐波多声道信号包括：针对低频多声道信号中的至少两个声道信号，生成每声道谐波信号，每个每声道谐波信号均包括声道信号的基波频率的至少一个谐波频率；根据每声道谐波信号来计算关联的包络，并且将非线性增益曲线应用于关联的包络，从而得到响度增益调整；针对每声道谐波信号中的每一个，计算未关联的包络，并且将非线性增益曲线应用于未关联的包络，从而得到ild增益调整；以及对于每声道谐波信号中的每一个，应用响度增益调整和相应的ild增益调整。(vii)生成谐波多声道信号包括：针对低频多声道信号中的至少两个声道信号，生成每声道谐波信号，每个每声道谐波信号均包括声道信号的基波频率的至少一个谐波频率；根据每声道谐波信号来计算关联的包络，并且将非线性增益曲线应用于关联的包络，从而得到响度和ild增益调整；以及对于每声道谐波信号中的每一个，应用响度和ild增益调整。(viii)生成谐波多声道信号包括：针对低频多声道信号中的至少两个声道信号，生成每声道谐波信号，每个每声道谐波信号均包括低频声道信号的至少一个基波频率的至少一个谐波频率，从而得到至少两个每声道谐波信号；根据低频多声道信号导出参考信号；针对每个每声道谐波信号中的至少一个频率，生成每频率响度增益调整，使得根据每频率响度增益调整而调整的至少一个频率的响度与参考信号的相应基波频率的响度基本上匹配；针对每个每声道谐波信号的至少一个频率来计算每频率ild增益调整，使得根据每频率ild增益调整而调整的每个每声道谐波信号的至少一个频率的ild与和参考低频信号中的基波频率的ild对应的低频声道信号的基波频率的ild基本上匹配；以及将响度增益调整和相应的ild增益调整应用于每声道谐波信号中的每一个的至少一个频率。(ix)生成每声道谐波信号使谐波信号的相位与低频多声道信号的相位同步。根据本公开的主题的另一方面，提供了一种包括处理单元的系统，其中，处理单元被配置成根据权利要求1进行操作。根据本公开的主题的另一方面，提供了一种能够由处理电路系统读取的非暂态程序存储装置，该非暂态程序存储装置有形地体现了计算机可读指令，所述计算机可读指令能够由处理电路系统执行以执行用于向听者传送多声道声音信号的保持方向性的伪低频心理声学感觉的方法，所述方法包括：由处理单元从声音信号导出高频多声道信号和低频多声道信号，低频多声道信号在感兴趣的低频范围内扩展；由处理单元生成多声道谐波信号，多声道谐波信号中的至少一个声道信号的响度与低频多声道信号中的相应声道的响度基本上匹配；并且多声道谐波信号的至少一个声道对的至少一个频率的至少一个耳间水平差(ild)与低频多声道信号中的相应声道对中的相应基波频率的ild基本上匹配；以及由处理单元对谐波多声道信号和高频多声道信号进行求和，从而产生心理声学替代信号。附图说明为了理解本发明并且了解如何可以在实践中实现本发明，将参照附图通过非限制性示例的方式来描述实施方式，在附图中：图1是根据本公开的主题的一些实施方式的虚拟低音增强的一般系统的示意图。图2示出了根据本公开的主题的一些实施方式的用于保持方向性的低音增强的示例性方法的广义流程图。图2a示出了根据本公开的主题的一些实施方式的用于生成保持方向性的谐波信号的示例性方法的广义流程图。图3示出了根据本公开的主题的一些实施方式的谐波单元的示例性的基于时域的结构。图3a示出了根据本公开的主题的一些实施方式的谐波单元的时域结构的简化版本。图4示出了根据本公开的主题的一些实施方式的用于谐波单元120中的示例性的基于时域的处理的广义流程图。图5示出了根据本公开的主题的一些实施方式的谐波单元的示例性的基于频域的结构。图5a示出了根据本公开的主题的一些实施方式的谐波单元的基于频域的结构的示例性频谱修改部件。图6示出了根据本公开的主题的一些实施方式的用于谐波单元120中的示例性的基于频域的处理的广义流程图。图7示出了根据本公开的主题的一些实施方式的头部遮蔽模型的示例性曲线。图8示出了根据本公开的主题的一些实施方式的谐波生成递归反馈回路的示例性结构。具体实施方式在以下具体实施方式中，阐述了许多具体细节以便提供对本发明的透彻理解。然而，本领域技术人员将理解，本公开的主题可以在没有这些具体细节的情况下被实践。在其他情况下，没有详细描述公知的方法、过程、部件和电路，以免模糊本公开的主题。应当理解，除非另有特别说明，否则如从以下讨论中明显的，贯穿说明书讨论使用的术语例如“处理”、“计算”、“表示”、“比较”、“生成”、“估计”、“匹配”、“更新”等是指计算机的(一个或多个)动作和/或(一个或多个)处理，这些动作和/或处理将数据操纵和/或变换为其他数据，所述数据被表示为物理的例如电子的、数量的以及/或者所述数据表示物理对象。术语“计算机”应该被广泛地解释为涵盖具有数据处理能力的任何种类的基于硬件的电子装置，该电子装置通过非限制性示例的方式包括本申请中公开的“处理单元”。本文中使用的术语“非暂态存储器”和“非暂态存储介质”应该被广泛地解释为涵盖适合于本公开的主题的任何易失性或非易失性计算机存储器。根据本文中的教导的操作可以由为期望目的而专门构造的计算机或者由通过存储在非暂态计算机可读存储介质中的计算机程序为期望目的而专门配置的通用计算机来执行。没有参考任何特定的编程语言来描述本公开的主题的实施方式。应当理解，可以使用各种编程语言来实现如本文中描述的本公开的主题的教导。人类对声音的方向的感知主要基于方向性线索，例如ild(耳间水平差)和itd(耳间时间差)。要被再现的多声道音频内容被假定包括从记录或混合处理产生的ild线索和itd线索。例如：立体声音乐包含若干乐器和声音，每个乐器和声音在立体声声像中位于不同的方向上，由用于记录的立体声麦克风进行编码，或者在多轨道混合处理中通过幅值移位被编码。当主体正在听扬声器时，由于从每个扬声器到相对的耳朵的串音，感知到的声源的itd实际上受到信号的声道之间的时间(或相位)差和水平差两者的影响。然而，当单声道低音谐波已经被添加到信号时，对于头戴式耳机和扬声器收听装置两者，感知到的原始声音中的基波频率的ild(如由左声道中的基波频率的水平和右声道中的基波频率的水平之间的比率来指示)不会被保持在谐波中。通过在谐波生成之前对声道的单声道求和，itd也不会被保持。当在有限范围的扬声器或头戴式耳机上再现相同的内容时，缺乏低音响应，并且当利用用于低音增强的高次谐波代替一些低音能量(例如，[1])时，期望保持方向性线索，原因是这些方向性线索将由全范围装置再现。为了在保持立体声声像和双声道内容的ild的多声道系统中产生谐波信号，我们应该考虑以下：a)如参考文献[1]中描述的响度的补偿对于所有声道应该都是相同的，以保持立体声声像。例如，在使用反馈回路[1]生成谐波的特定情况下，包含对谐波信号进行扩展的乘法，对该扩展的补偿(例如使用压缩器)应该被关联，即，对所有声道都具有相同的补偿增益。b)根据如在图7中所示的头部遮蔽模型，ild作为频率的函数而单调递减，这意味着一次谐波的强度应该低于基波的强度，并且通常每个谐波应该比下一个谐波更强(或者在零度的情况下相等，在零度的情况下，ild对于所有频率都是0db)。此外，在低频(1khz以下)中，对于所有角度，基波和一次谐波的ild之间的比率按照log[db]尺度都是恒定的。这对于高次谐波也是如此：无论源的角度如何，n次谐波中的ild和(n+1)次谐波中的ild之间的比率按照对数尺度也是恒定的。为了基本上保持方向性，我们应该在生成谐波时将ild递减曲线考虑在内。因为递减在所有角度中(按照log[db]尺度)都是线性的，所以可以仅通过使每个谐波的输入信号扩展(即，y＝xa)a＝n*r(相对于基波)来生成该递减，n是n次谐波，并且r是常数(实验发现为大约3.9)，该常数表示基波中的ild[db]和一次谐波中的ild[db]之间的比率。在使用包含对谐波信号进行扩展的乘法的反馈回路来生成谐波的特定情况中，补偿还将考虑反馈回路的固有扩展(y＝x2-＞r＝3.9-2＝1.9)。在下文提供的描述中，为了方便起见，操作有时被描述为被应用于所有声道、被应用于声道中的所有频率、被应用于所有ild等。应当理解，在所有这些情况下，通过非限制性示例的方式，在本公开的主题的一些实施方式中，这些操作可以被应用于声道、声道中的频率等的子集。类似地，在下文提供的描述中，为了方便起见，有时使用例如390的标识符来描述操作。应当理解，通过非限制性示例的方式，这样的描述也可以适用于标识符390a、390b等。现在将注意力转向图1，图1示出了根据本公开的主题的一些实施方式的用于多声道信号的保持方向性的低音增强的示例性系统。处理单元100是实现保持方向性的低音增强的示例性系统。处理单元100可以接收多声道输入信号105，通过非限制性示例的方式，该多声道输入信号可以包含各种类型的音频内容，例如，高保真度立体声音频、双声道或环绕声游戏内容等。处理单元100可以输出保持响度和保持方向性的增强的低音多声道输出信号145，该低音多声道输出信号例如适合于在诸如耳机或桌面扬声器的范围受限的声音输出装置上输出。处理单元100可以是例如基于模拟电路系统的信号处理单元。处理单元100可以例如利用数字信号处理技术(例如：代替模拟电路系统或除了模拟电路系统之外)。在这种情况下，处理单元100可以包括dsp(或其他类型的cpu)和存储器。然后，可以使用本领域公知的技术将输入音频信号例如转换为数字信号，并且所得到的数字输出信号可以例如类似地被转换为模拟音频信号以用于进一步的模拟处理。在这种情况下，图1中所示的各个单元被称为“被包括在处理单元中”。处理单元100可以包括分离单元110。分离单元110可以从多声道输入信号105中分离感兴趣的给定范围内的低频，从而得到多声道低频信号115和多声道高频信号125。分离单元110可以通过例如以下被实现：指引多声道输入信号105中的每个声道通过高通滤波器(hpf)和低通滤波器(lpf)(并联布置)，并且将hpf输出传递给多声道高频信号125，并将lpf输出传递给多声道低频信号115。处理单元100可以包括谐波单元120。谐波单元120可以根据存在于多声道低频信号115中的基波频率来针对多声道信号中的每个声道生成谐波频率，并且输出多声道谐波信号135。在本公开的主题的一些实施方式中，谐波单元120产生具有以下特性中的一些或全部的多声道谐波信号135：a)多声道谐波信号中的至少一个声道信号的响度与低频多声道信号中的相应声道的响度基本上匹配；b)多声道谐波信号中的至少一个声道对中的至少一个频率的至少一个耳间水平差(ild)与低频多声道信号中的相应声道对中的相应基波频率的ild基本上匹配。当满足例如在[1]中详细说明的“基本上响度匹配”的标准时，一个信号的响度可以被认为与另一个信号的响度基本上匹配。从其导出谐波的基波频率在本文中被称为相应基波频率。从其导出谐波多声道信号中的声道的低频多声道信号中的声道在本文中被称为相应声道。当根据例如频率敏感的头部遮蔽模型例如在以下文献中描述的模型，例如ild具有等效的感知到的水平差时，多声道信号中的声道对在特定频率下的ild可以被认为与相应的多声道信号中的另一声道对在不同频率下的ild基本上匹配，所述文献如下：brown,c.p.，duda,r.o.：anefficienthrtfmodelfor3-dsound(用于三维声音的有效hrtf模型)，所述文献在以下论文集中:proceedingsoftheieeeasspworkshoponapplicationsofsignalprocessingtoaudioandacoustics(将信号处理应用于音频和声学的ieeeassp研讨会的论文集)，ieee(1997)。谐波单元120可以以任何合适的方式被实现。通过非限制性示例的方式，可以使用如本文下面参照图3描述的时域结构来实现谐波单元120。通过非限制性示例的方式，可以使用如本文下面参照图5描述的频域结构来实现谐波单元120。处理单元100可以包括混合器单元130。混合器单元130可以对多声道高频信号125和多声道谐波信号135进行组合以创建输出多声道谐波信号135。可以例如通过混合器电路或通过其数字等同物来实现混合器单元130。应当注意，本公开的主题的教导不受参照图1描述的保持方向性的低音增强系统约束。等效和/或修改的功能可以以另一方式被合并或被分开，并且可以以具有固件的软件和/或硬件的任何合适的组合被实现，并在合适的装置上被执行。处理单元(100)可以是独立的实体，或者可以与其他实体全部地或部分地集成。图2示出了根据本公开的主题的一些实施方式的用于基于图1的结构的保持方向性的低音增强的示例性方法的广义流程图。应当注意，本公开的主题的教导不受图2中示出的流程图约束，示出的操作可以不按示出的顺序发生。还应当注意，尽管参照图1的系统的元件来描述流程图，但是这绝不是约束，并且操作可以由除了本文中描述的元件之外的元件来执行。现在将注意力转向图2a，图2a示出了根据本公开的主题的一些实施方式的用于生成保持方向性的谐波信号的示例性方法。处理器100(例如：谐波单元120)可以针对每个声道生成210每声道谐波信号——包括与声道信号中的每个基波频率对应的谐波频率。处理器100(例如：谐波单元120)可以生成220从多声道信号导出的参考信号(例如：在时域中对于每个样本或者在频域中对于每个缓冲区)。处理器100(例如：谐波单元120)可以根据参考信号2的响度特性来生成230响度增益调整。处理器100(例如：谐波单元120)可以根据生成每声道谐波信号的输入信号和参考信号之间的方向性线索来生成240用于每个每声道谐波信号的方向性增益调整。处理器100(例如：谐波单元120)可以向每个每声道谐波信号应用250生成的响度增益调整和ild增益调整。应当注意，本公开的主题的教导不受图2a中示出的流程图约束，示出的操作可以不按示出的顺序发生。还应当注意，尽管参照图1的系统的元件来描述流程图，但这绝不是约束，并且操作可以由除了本文中描述的元件之外的元件来执行。现在将注意力转向图3，图3示出了根据本公开的主题的一些实施方式的谐波单元的示例性的基于时域的结构。为了解释清楚，示例性谐波单元120包括对两个音频声道的处理。对本领域技术人员而言，如何将该教导应用于包括两个以上的音频声道的实施方式是明显的。如上文参照图1描述的，可以在谐波单元120处接收包括每个声道的低频的多声道输入信号。谐波单元120可以包括谐波发生器单元(hgu)310的多个实例——例如，对多声道信号的每声道而言一个hgu310实例。然后，每个hgu实例可以处理原始低频多声道信号中的一个低频声道信号。在本公开的主题的一些实施方式中，hgu310a根据其输入信号生成谐波信号320a，该谐波信号包括输入信号的每个基波频率的至少前两个谐波频率。hgu310可以被实现为例如递归反馈回路，例如在[1]的图4中描述的递归反馈回路(在下文的图8中示出)。hgu310a还可以接收如由下文描述的谐波水平控制单元340生成的增益325a。增益325a可以用作控制信号，该控制信号确定在反馈回路中产生的谐波信号的强度。在本公开的主题的一些实施方式中，每个谐波信号320a、320b被用作向谐波水平控制单元(hlc)340的输入。hlc可以输出例如经调整的谐波信号380a、380b，其中经调整的谐波信号与a)相应的原始低频声道信号的响度以及b)方向性线索信息二者例如ild或itd基本上匹配。在本公开的主题的一些实施方式中，hlc340包括包络部件345a、345b，所述包络部件可以确定每个每声道谐波信号的包络。然后，每声道包络可以用作向最大选择部件350的输入并且还用作向未关联增益曲线部件370a、370b的输入。最大选择部件350接收每个每声道包络作为输入，并且输出指示输入声道的响度的包络。在本公开的主题的一些实施方式中，输出的包络可以是例如输入包络的最大值。在本公开的主题的一些实施方式中，输出的包络可以是例如输入包络的平均值。输出的包络可以作为输入被提供给关联增益曲线部件360。关联增益曲线部件360可以产生增益曲线，该增益曲线根据诸如弗莱彻-蒙森(fletcher-munson)模型的响度模型来调整相应的谐波信号的响度——使得每个生成的谐波频率的响度(例如，如以方来测量)与从其生成谐波的基波频率的响度相同。关联增益曲线部件360可以被实现为例如如在[1]的图4和图6中所示的动态范围压缩器或agc。非线性的未关联增益曲线部件370a、370b可以利用从最大选择部件350产生的包络来产生增益曲线，该增益曲线根据调整相应的谐波信号的水平，使得感知到的谐波信号的ild与基波频率的ild基本上匹配。未关联增益曲线部件370a、370b可以被实现为例如如在[1]的图4和图6中所示的动态范围压缩器或agc。然后，关联的增益可以与未关联的增益相乘，并且所得到的增益信号不仅被应用于谐波信号320，而且作为控制信号被应用于谐波发生器310的反馈过程。应当注意，本公开的主题的教导不受参照图3描述的保持方向性的低音增强系统约束。等效和/或修改的功能可以以另一方式被合并或被分开，并且可以以具有固件的软件和/或硬件的任何合适的组合被实现，并在合适的装置上被执行。谐波单元(120)可以是独立的实体，或者可以与其他实体全部地或部分地集成。图3a表示在图3中所示的时域处理结构的简化版本。在该实施方式中，不存在未关联增益曲线部件。单个增益曲线部件360生成至左谐波发生器310a和右谐波发生器310b的控制信号，该控制信号被应用于两个谐波信号320a、320b。增益曲线部件360可以以不同的方式被实现为例如如在[1]的图4和图6中所示的动态范围压缩器或agc。应当注意，本公开的主题的教导不受参照图3a描述的保持方向性的低音增强系统约束。等效和/或修改的功能可以以另一方式被合并或被分开，并且可以以具有固件的软件和/或硬件的任何合适的组合被实现，并在合适的装置上被执行。谐波单元(120)可以是独立的实体，或者可以与其他实体全部地或部分地集成。现在将注意力转向图4，图4示出了根据本公开的主题的一些实施方式的用于谐波单元120中的示例性的基于时域的处理的广义流程图。处理单元(100)(例如：谐波发生器单元310)可以根据其输入信号针对每个声道生成410谐波信号320a，该谐波信号由输入信号的每个基波频率的至少前两个谐波频率构成。处理单元(100)(例如：包络单元345)可以针对每个声道计算420谐波信号的包络。处理单元(100)(例如：最大单元350)可以确定430关联的包络值。处理单元(100)(例如：未关联增益曲线345)可以针对每个声道应用440未关联包络上的非线性增益曲线，以便创建表示谐波之间的正确比率的增益曲线(例如，根据头部遮蔽模型)。处理单元(100)(例如：关联增益曲线360)可以应用450关联包络上的非线性增益曲线，以便创建表示谐波的正确响度的增益曲线。处理单元(100)(例如：混合器240)可以针对每个声道对未关联的增益和关联的增益进行组合460。处理单元(100)(例如：混合器330)可以针对每个声道将组合的增益曲线应用470于输出的谐波信号。应当注意，本公开的主题的教导不受图4中示出的流程图约束，示出的操作可以不按示出的顺序发生。还应当注意，尽管参照图3或图3a的系统的元件来描述流程图，但这绝不是约束，并且操作可以由除了本文中描述的元件之外的元件来执行。现在将注意力转向图5，图5示出了根据本公开的主题的一些实施方式的谐波单元的示例性的基于频域的结构。为了解释清楚，示例性谐波单元120包括对两个音频声道的处理。对本领域技术人员而言，如何将该教导应用于包括两个以上的音频声道的实施方式将是明显的。谐波单元120可以可选地包括下采样部件510。下采样部件510可以将原始采样率降低一个因子(被称为d)，使得最高谐波频率将在新采样率(2*采样率/d)的奈奎斯特(nyquist)频率之下。通过非限制性示例的方式，如果最高谐波频率是1400hz(四次谐波)并且采样率是48khz，则d将为16。谐波单元120可以包括例如快速傅立叶变换(fft)部件520。fft可以将输入的时域信号转换为频域信号。在本公开的主题的一些实施方式中，可以使用不同的时域到频域的转换方法来代替fft。可以例如在有或没有时间交叠的情况下以及/或者通过对滤波器组的频带进行求和来使用fft。fft520可以例如将频域信号分成一组频率带——其中每个频带包含单个基波频率。每个频带还可以由若干频段(bin)构成。对于每个频带，谐波单元120可以包括谐波水平控制部件530和一对谐波发生器部件540、542(每个声道一个)。谐波水平控制部件530和谐波发生器部件540、542可以例如接收每频带多声道输入信号作为输入。其中“fund”是基波频段中的线性声压级，并且hn是相关基波的n次谐波频段中的线性声压级。每频带谐波发生器540、542可以针对多声道信号中的每个声道生成强度等于基波频率强度的一系列谐波信号(高达奈奎斯特频率)。每频带谐波发生器540、542可以使用本领域已知的方法例如通过应用如在[2]中描述的基波的音高偏移(pitchshift)来生成谐波信号。每频带谐波水平控件530可以在每个频带中选择具有最高基波频率信号强度的声道(以下被称为声道imax)。应当注意，在此阶段，谐波的水平等于基波的水平。每频带谐波水平控件530可以针对每个声道的频带中的每个频段计算lc(响度补偿)，即增益值，以将频段的谐波频率的响度呈现为例如与声道imax中的频带的基波频率的响度基本上匹配。可以例如使用基于弗莱彻-蒙森等响度曲线的声压级与方的比率来确定响度值。可选地，每频带谐波水平控件530可以随着时间使响度补偿增益平滑。每频带谐波水平控件530可以针对每个声道和声道中的每个频带来测量基波的ild。每频带谐波水平控件530可以例如通过计算在输入信号中的该声道中的基波频率的水平和声道imax中的基波频率的水平之间的比率来测量基波的ild。通过非限制性示例的方式，继续上述信号，基波的ild是0.5/1，即0.5。每频带谐波水平控件530可以——针对每个声道——针对频带中的每个频段来计算ild补偿增益，即增益值，以将感知到的频段的谐波频率的ild(相对于声道imax)呈现为例如与计算的声道的ild(相对于声道imax)基本上匹配。可以根据例如头部遮蔽模型诸如在图7中所示的示例性曲线来估计感知到的ild。更具体地，可以例如采用在以下文献中描述的头部遮蔽模型：brown,c.p.，duda,r.o.：anefficienthrtfmodelfor3-dsound(用于三维声音的有效hrtf模型)，所述文献在以下论文集中:proceedingsoftheieeeasspworkshoponapplicationsofsignalprocessingtoaudioandacoustics(将信号处理应用于音频和声学的ieeeassp研讨会的论文集)，ieee(1997)。每频带谐波水平控件530可以通过例如使计算的基波的ild与计算的ild补偿增益相乘来导出保持方向性的补偿增益。可选地，每频带谐波水平控件530可以随着时间使保持方向性的补偿增益平滑。每频带谐波水平控件530可以——针对每个声道和声道内的每个频带——通过使每个频段的幅度乘以其lc增益并且乘以其ild增益来应用谐波信号的频谱修改，以创建输出增益信号。然后，各个输出增益信号可以被应用于由每频带谐波发生器540、542生成的谐波信号。下面参照图5a详细示出了用于该处理的示例性结构。谐波单元120可以包括例如加法器550a和550b(每个声道一个加法器)，所述加法器可以对来自每个频带的谐波信号进行求和。谐波单元120可以包括例如快速傅立叶逆变换(ifft)部件，以将频域谐波信号转换到时域。在本公开的主题的一些实施方式中，可以通过其他方法例如通过如在[4]中描述的正弦曲线的求和来完成转换。可以在有或没有时间交叠的情况下以及/或者通过对滤波器组的频带进行求和来使用ifft。谐波单元120可以可选地包括上采样单元570——比率为d——以便恢复原始采样率。应当注意，本公开的主题的教导不受参照图5描述的保持方向性的低音增强系统约束。等效和/或修改的功能可以以另一方式被合并或被分开，并且可以以具有固件的软件和/或硬件的任何合适的组合被实现，并在合适的装置上被执行。谐波单元(120)可以是独立的实体，或者可以与其他实体全部地或部分地集成。现在将注意力转向图6，图6示出了根据本公开的主题的一些实施方式的用于谐波单元120中的示例性的基于频域的处理的广义流程图。通过非限制性示例的方式，可以在系统例如上面参照图5描述的系统上执行下文描述的方法。下面的描述描述了在单个频率带内的处理，但是该处理可以发生在例如如在图5中所示的每个频率带上。下面的描述关于例如对频域内的信号——被划分为包含基波频率的频带——进行操作的方法。上面参照图5和图5a描述了如何获得频域信号或者如何利用频域信号的示例性描述。通过非限制性示例的方式，原始信号可以如下所示：频率fundh1h2h3h4ch11.00000ch20.50000。处理单元(100)(例如：谐波水平发生器540、542)可以针对每个声道信号中的每个基波频率生成(610)一系列谐波频率。在本公开的主题的一些实施方式中，处理单元(100)(例如：谐波水平发生器540、542)生成例如高达奈奎斯特频率的一系列谐波线，所述一系列谐波线具有与基波频率相等的频率的强度。可以例如通过谐波生成算法例如音高偏移来生成谐波系。通过非限制性示例的方式，在谐波生成之后(其中ch1是参考信号)，信号可以如此出现：频率fundh1h2h3h4ch11.01.01.01.01.0ch20.50.50.50.50.5。在本公开的主题的一些实施方式中，处理单元(100)(例如：谐波水平发生器540、542)可以使用使谐波频率与基波的相位同步的方法(例如，通过非限制性示例的方式，在以下文献中描述的方法：sanjaume，jordibonada，audiotime-scalemodificationinthecontextofprofessionalaudiopost-production，informàticaicomunicaciódigital(计算机与数字通信)，巴塞罗那庞培法布拉大学，巴塞罗那，西班牙，2002，63页，章节5.2.4)来生成谐波系。这样的方法可以例如确保谐波信号的itd与输入信号的itd基本上匹配，以便保持由听者感知到的方向性。接下来，处理单元(100)(例如：谐波水平控件530)可以基于输入声道信号——针对每个基波频率——确定(620)参考信号(具有参考信号强度)。接下来，处理单元(100)(例如：谐波水平控件530)可以根据参考信号中的基波频率的响度来确定(630)每个声道中的每个谐波频率的响度补偿值。响度补偿值——增益值——将频段的谐波频率的响度呈现为例如与声道imax中的频带的基波频率的响度基本上匹配。可以例如使用基于弗莱彻-蒙森等响度曲线的声压级与方的比率来确定响度值。可选地，处理单元(100)(例如：谐波水平控件530)可以随着时间使响度补偿增益平滑。处理单元(100)(例如：谐波水平控件530)可以——针对每个声道——针对频带中的每个谐波频率来确定(640)保持方向性的ild补偿值，即增益值，以将感知到的谐波频率的ild(相对于参考信号)呈现为例如与计算的基波声道的ild(相对于参考信号)基本上匹配。为此，处理单元(100)(例如：谐波水平控件530)可以首先——针对每个声道和声道中的每个频带——计算基波频率的ild。处理单元(100)可以例如通过计算输入信号中的该声道中的基波频率的水平和参考信号中的基波频率的水平之间的比率来计算基波频率的ild。通过非限制性示例的方式，继续上述信号，基波的ild是0.5/1，即0.5。可以根据例如实际观察到的特定频率下的ild、特定频率本身以及模型例如头部遮蔽模型例如在图7中所示的示例性曲线来评估感知到的特定谐波频率的ild。更具体地，可以例如采用在以下文献中描述的头部遮蔽模型：brown,c.p.，duda,r.o.：anefficienthrtfmodelfor3-dsound(用于三维声音的有效hrtf模型)，所述文献在以下论文集中：proceedingsoftheieeeasspworkshoponapplicationsofsignalprocessingtoaudioandacoustics(将信号处理应用于音频和声学的ieeeassp研讨会的论文集)，ieee(1997)。因此，处理单元(100)(例如：谐波水平控件530)可以选择如下增益值，对于所述增益值，根据模型的感知到的ild与计算的基波的ild基本上匹配。通过非限制性示例的方式，根据与参考信号有关的头部阴影曲线——上面呈现的信号的ild补偿增益可以如下：频率fundh1h2h3h4ch11.01.01.01.01.0ch21.00.80.60.40.2处理单元(100)(例如：谐波水平控件530)最终可以通过例如将计算的基波的ild乘以计算的ild补偿增益来计算保持方向性的补偿值。可选地，处理单元(100)(例如：谐波水平控件530)可以随着时间使保持方向性的补偿增益平滑。通过非限制性示例的方式，对于以上信号，保持方向性的补偿增益＝(基波的ild×ild补偿增益)并且如此出现：应当注意，本公开的主题的教导不受在图6中示出的流程图约束，示出的操作可以不按示出的顺序发生。还应当注意，尽管参考图5的系统的元件来描述流程图，但这绝不是约束，并且可以由除了本文中描述的元件之外的元件来执行操作。应当理解，在本发明的应用中，本发明不限于本文中包含的说明书中阐述的细节或附图中示出的细节。本发明能够具有其他实施方式，并且能够以各种方式被实践和执行。因此，应当理解，本文中采用的措词和术语是为了描述的目的，而不应该被视为进行限制。因此，本领域技术人员将理解，本公开内容所基于的构思可以容易地被用作用于设计其他结构、方法和系统的基础，所述其他结构、方法和系统用于实现本公开的主题的若干目的。还将理解的是，根据本发明的系统可以至少部分地在适当编程的计算机上被实现。同样地，本发明设想了能够由计算机读取的用于执行本发明的方法的计算机程序。本发明还设想了非暂态计算机可读存储器，该非暂态计算机可读存储器有形地体现了能够由计算机执行的用于执行本发明的方法的指令的程序。本领域技术人员将容易理解，在不脱离所附权利要求中限定的以及由所附权利要求限定的本发明的范围的情况下，各种修改和改变可以被应用于如在上文中描述的本发明的实施方式。当前第1页1 2 3 当前第1页1 2 3