生成用于音频信号的滤波器的方法及其参数化装置的制造方法
【专利摘要】本发明的目的在于有效地再现音频信号，并且本发明涉及用于生成用于音频信号的滤波器的方法及其参数化设备，其被用于以低计算复杂性实现用于输入音频信号的滤波。为此，本发明提供一种用于生成音频信号的滤波器的方法及其参数化单元，该方法包括以下步骤：接收用于滤波输入音频信号的各个子带信号的至少一个原型滤波器系数；将原型滤波器系数转换成多个子带滤波器系数；基于通过至少部分地使用从相对应的子带滤波器系数提取的特性信息获取的滤波器阶数信息截断每个子带滤波器系数，其中至少一个被截断的子带滤波器系数的长度不同于另一子带的被截断的子带滤波器系数的长度；以及在对于相对应的子带预设的块单元中通过快速傅里叶变换(FFT)被截断的子带滤波器系数生成FFT滤波器系数。
【专利说明】
生成用于音频信号的滤波器的方法及其参数化装置
技术领域
[0001] 本发明设及一种用于处理信号的方法和设备，其被用于有效地再现音频信号，并 且更加特别地，设及一种生成用于音频信号的滤波器的方法，其被用于W低计算复杂性实 现对于输入音频信号的滤波，及其参数化设备。
【背景技术】
[0002] 存在随着目标滤波器的长度增加，用于立体收听多声道信号的双耳擅染要求高计 算复杂性的问题。特别地，当使用反映了录音室特性的双耳室脉冲响应(BRIR)滤波器时， BRIR滤波器的长度可W达到48000至96000个采样。在此，当输入声道的数目像22.2声道格 式一样增加时，计算复杂性是巨大的。
[0003] 当通过xi(n)表示第i个声道的输入信号时，通过b^n)和biK(n)分别表示相对应的 声道的左右BRIR滤波器，并且通过yL(n)和/(η)表示输出信号，通过下面给出的等式能够表 达双耳滤波。
[0004] [等式 1]
[000引.V'"(") =左\', W e ;左，欠 } i
[0006] 在此，*表示卷积。通常基于快速傅立叶变换(FFT)通过使用快速卷积执行上述时 域卷积。当通过使用快速卷积执行双耳擅染时，需要通过与输入声道的数目相对应的次数 执行FFT，并且需要通过与输出声道的数目相对应的次数执行逆FFT。此外，因为像多声道音 频编解码器一样在实时再现环境下需要考虑延迟，因此需要执行分块快速卷积，并且与相 对于总长度仅执行快速卷积的情况下相比可能消耗更多的计算复杂性。
[0007] 然而，在频域中实现大多数编译方案，并且在一些编译方案(例如，肥-AAC、USAC等 等）中，在QMF域中执行解码的最后步骤。因此，当如在上面给出的等式1中所示在时域中执 行双耳滤波时，另外要求有与声道的数目一样多的用于QMF合成的操作，运是非常低效的。 因此，在QMF域中直接地执行双耳擅染是有优势的。
【发明内容】
[000引技术问题
[0009] 本发明具有下述目的，关于立体再现多声道或者多对象信号，实现双耳擅染的要 求高计算复杂性的滤波过程，用于W非常低的复杂性保留原始信号的沉浸感同时最小化音 质的损坏。
[0010] 此外，本发明具有当在输入信号中包含失真时通过使用高质量的滤波器最小化失 真的扩展的目的。
[0011] 此外，本发明具有通过具有较短长度的滤波器实现具有长度长的有限脉冲响应 (FIR)滤波器的目的。
[0012] 此外，本发明具有当通过使用被截断的FIR滤波器执行滤波时最小化由于丢弃的 滤波器系数而破坏的部分的失真的目的。
[oou]技术方案
[0014] 为了实现目的，本发明提供一种如下面的用于处理音频信号的方法和设备。
[0015] 首先，本发明的示例性实施例提供一种用于处理音频信号的方法，包括:接收输入 音频信号;接收用于滤波输入音频信号的各个子带信号的被截断的子带滤波器系数，被截 断的子带滤波器系数是从用于输入音频信号的双耳滤波的双耳室脉冲响应(BRIR)滤波器 系数获得的子带滤波器系数的至少一部分，基于通过至少部分地使用从相对应的子带滤波 器系数提取的特性信息获得的滤波器阶数信息确定被截断的子带滤波器系数的长度，并且 通过其中已经执行在相对应的子带中按照预先确定的块大小的快速傅里叶变换(FFT)的至 少一个FFT滤波器系数组成被截断的子带滤波器系数;在相对应的子带中基于预先确定的 子帖大小执行子带信号的快速傅里叶变换;通过将快速傅里叶变换的子帖和FFT滤波器系 数相乘生成被滤波的子帖；逆快速傅里叶变换被滤波的子帖；W及通过重叠添加被逆快速 傅里叶变换的至少一个子帖生成被滤波的子带信号。
[0016] 本发明的另一示例性实施例提供一种用于处理音频信号的设备，其被用于执行用 于输入音频信号的双耳擅染，各个输入音频信号包括多个子带信号，该设备包括:快速卷积 单元，该快速卷积单元执行对于每个子带信号的直接声音和前期反射声部分的擅染，其中 快速卷积单元接收输入音频信号;接收用于滤波输入音频信号的各个子带信号的被截断的 子带滤波器系数，被截断的子带滤波器系数是从用于输入音频信号的双耳滤波的双耳室脉 冲响应(BRIR)滤波器系数获得的子带滤波器系数的至少一部分，基于通过至少部分地使用 从相对应的子带滤波器系数提取的特性信息获得的滤波器阶数信息确定被截断的子带滤 波器系数的长度，并且通过其中已经执行在相对应的子带中按照预先确定的块大小的快速 傅里叶变换(FFT)的至少一个FFT滤波器系数组成被截断的子带滤波器系数;在相对应的子 带中基于预先确定的子帖大小执行子带信号的快速傅里叶变换;通过将快速傅里叶变换的 子帖和FFT滤波器系数相乘生成被滤波的子帖;逆快速傅里叶变换被滤波的子帖;并且通过 重叠添加被逆快速傅里叶变换的至少一个子帖生成被滤波的子带信号。
[0017] 本发明的另一示例性实施例提供一种用于处理音频信号的方法，包括:接收输入 音频信号;接收用于滤波输入音频信号的各个子带信号的被截断的子带滤波器系数，被截 断的子带滤波器系数是从用于输入音频信号的双耳滤波的双耳室脉冲响应(BRIR)滤波器 系数获得的子带滤波器系数的至少一部分，并且基于通过至少部分地使用从相对应的子带 滤波器系数提取的特性信息获得的滤波器阶数信息确定被截断的子带滤波器系数的长度； 在相对应的子带中按照预先确定的块大小通过快速傅里叶变换(FFT)被截断的子带滤波器 系数获得至少一个FFT滤波器系数;在相对应的子带中基于预先确定的子帖执行子带信号 的快速傅里叶变换;通过将快速傅里叶变换的子帖和FFT滤波器系数相乘生成被滤波的子 帖;逆快速傅里叶变换被滤波的子帖；W及通过重叠添加被逆快速傅里叶变换的至少一个 子帖生成被滤波的子带信号。
[0018] 本发明的另一示例性实施例提供一种用于处理音频信号的设备，其被用于执行用 于输入音频信号的双耳擅染，各个输入音频信号包括多个子带信号，该设备包括:快速卷积 单元，该快速卷积单元执行对于每个子带信号的直接声音和前期反射声部分的擅染，其中 快速卷积单元接收输入音频信号;接收用于滤波输入音频信号的各个子带信号的被截断的 子带滤波器系数，被截断的子带滤波器系数是从用于输入音频信号的双耳滤波的双耳室脉 冲响应(BRIR)滤波器系数获得的子带滤波器系数的至少一部分，并且基于通过至少部分地 使用从相对应的子带滤波器系数提取的特性信息获得的滤波器阶数信息确定被截断的子 带滤波器系数的长度；在相对应的子带中按照预先确定的块大小通过快速傅里叶变换 (FFT)被截断的子带滤波器系数获得至少一个FFT滤波器系数;在相对应的子带中基于预先 确定的子帖执行子带信号的快速傅里叶变换;通过将快速傅里叶变换的子帖和FFT滤波器 系数相乘生成被滤波的子帖；逆快速傅里叶变换被滤波的子帖;并且通过重叠添加被逆快 速傅里叶变换的至少一个子帖生成被滤波的子带信号。
[0019] 在运样的情况下，特性信息可W包括相对应的子带滤波器系数的混响时间信息， 并且滤波器阶数信息可W对于每个子带具有单个值。
[0020] 此外，至少一个被截断的子带滤波器系数的长度可W不同于另一子带的被截断的 子带滤波器系数的长度。
[0021] 预先确定的块的长度和预先确定的子帖的长度可W具有2的幕的值。
[0022] 在相对应的子带中基于预先确定的块的长度确定预先确定的子帖的长度。
[0023] 根据本发明的示例性实施例，快速傅里叶变换的执行可W包括:将子带信号分割 成预先确定的子帖大小;生成包括通过被分割的子帖组成的前半部分和通过零填充的值组 成的后半部分的临时子帖；W及快速傅里叶变换被产生的临时子帖。
[0024] 根据本发明的另一示例性实施例提供一种用于生成音频信号的滤波器的方法，包 括:接收用于滤波输入音频信号的各个子带信号的至少一个原型滤波器系数;将原型滤波 器系数转换成多个子带滤波器系数;基于通过至少部分地使用从相对应的子带滤波器系数 提取的特性信息获取的滤波器阶数信息截断子带滤波器系数中的每一个，至少一个被截断 的子带滤波器系数的长度不同于另一子带的被截断的子带滤波器系数的长度；W及在相对 应的子带中按照预先确定的块通过快速傅里叶变换(FFT)被截断的子带滤波器系数生成 FFT滤波器系数。
[0025] 本发明的另一示例性实施例提供一种用于生成音频信号的滤波器的参数化单元， 其中参数化单元接收用于滤波输入音频信号的各个子带信号的至少一个原型滤波器系数； 将原型滤波器系数转换成多个子带滤波器系数;基于通过至少部分地使用从相对应的子带 滤波器系数提取的特性信息获得的滤波器阶数信息截断子带滤波器系数中的每一个，至少 一个被截断的子带滤波器系数的长度不同于另一子带的被截断的子带滤波器系数的长度； W及在相对应的子带中按照预先确定的块通过快速傅里叶变换(FFT)被截断的子带滤波器 系数生成FFT滤波器系数。
[0026] 在运样的情况下，特性信息可W包括相对应的子带滤波器系数的混响时间信息， 并且滤波器阶数信息可W对于每个子带具有单个值。
[0027] 此外，预先确定的块的长度可W被确定为在被截断的子带滤波器系数的参考滤波 器长度的两倍的值和预先确定的最大FFT大小之间的较小值，并且参考滤波器长度可WW2 的幕的形式表示滤波器阶数的近似值和真值中的任意一个。
[0028] 当参考滤波器参数是N并且与其相对应的预先确定的块的长度是Μ时，Μ可W是2的 幕的值并且2N=kM化是自然数）。
[0029] 根据本发明的示例性实施例，FFT滤波器系数的产生可W包括:将被截断的子带滤 波器系数分割成预先确定的块大小的一半;使用被分割的滤波器系数生成预先确定的块大 小的临时滤波器系数，通过被分割的滤波器系数组成临时滤波器系数的前半部分并且通过 零填充的值组成临时滤波器系数的后半部分；W及快速傅里叶变换被生成的临时滤波器系 数。
[0030] 此外，原型滤波器系数可W是时域的BRIR滤波器系数。
[0031] 本发明的另一示例性实施例提供一种用于处理音频信号的方法，包括:接收输入 音频信号，各个输入音频信号包括多个子带信号，并且基于预先确定的频带多个子带信号 包括具有低频率的第一子带组的信号和具有高频率的第二子带组的信号;接收用于滤波第 一子带组的各个子带信号的被截断的子带滤波器系数，被截断的子带滤波器系数是从用于 滤波输入音频信号的原型滤波器系数获得的子带滤波器系数的至少一部分，并且基于通过 至少部分地使用从相对应的子带滤波器系数提取的特性信息获得的滤波器阶数信息确定 被截断的子带滤波器系数的长度;在相对应的子带中按照预先确定的块大小通过快速傅里 叶变换(FFT)被截断的子带滤波器系数获得至少一个FFT滤波器系数;在相对应的子带中基 于预先确定的子帖执行子带信号的快速傅里叶变换;通过将快速傅里叶变换的子帖和FFT 滤波器系数相乘生成被滤波的子帖;逆快速傅里叶变换被滤波的子帖；W及通过重叠添加 被逆快速傅里叶变换的至少一个子帖生成被滤波的子带信号。
[0032] 本发明的另一示例性实施例提供一种用于处理音频信号的设备，其用于执行输入 音频信号的额滤波，各个输入音频信号包括多个子带信号，并且基于预先确定的频带多个 子带信号包括具有低频率的第一子带组的信号和具有高频率的第二子带组的信号，该设备 包括:快速卷积单元，该快速卷积单元执行第一子带组的各个子带信号的滤波;抽头延迟线 处理单元，该抽头延迟线处理单元执行第二子带组的各个子带信号的滤波，其中该快速卷 积单元接收输入音频信号;接收用于滤波第一子带组的各个子带信号的被截断的子带滤波 器系数，被截断的子带滤波器系数是从用于滤波输入音频信号的原型滤波器系数获得的子 带滤波器系数的至少一部分，并且基于通过至少部分地使用从相对应的子带滤波器系数提 取的特性信息获得的滤波器阶数信息确定被截断的子带滤波器系数的长度;在相对应的子 带中按照预先确定的块大小通过快速傅里叶变换(FFT)被截断的子带滤波器系数获得至少 一个FFT滤波器系数;在相对应的子带中基于预先确定的子帖执行子带信号的快速傅里叶 变换;通过将快速傅里叶变换的子帖和FFT滤波器系数相乘生成被滤波的子帖;逆快速傅里 叶变换被滤波的子帖;并且通过重叠添加被逆快速傅里叶变换的至少一个子帖生成被滤波 的子带信号。
[0033] 在运样的情况下，一种用于处理音频信号的方法可W进一步包括:接收与第二子 带组的各个子带信号相对应的至少一个参数，从与各个子带信号相对应的子带滤波器系数 提取至少一个参数;和通过使用接收到的参数执行第二子带组的子带信号的抽头延迟线滤 波。
[0034] 此外，抽头延迟线处理单元可W接收与第二子带组的各个子带信号相对应的至少 一个参数，并且可W从与各个子带信号相对应的子带滤波器系数提取至少一个参数，并且 抽头延迟线处理单元可W通过使用接收到的参数执行第二子带组的子带信号的抽头延迟 线滤波。
[0035] 在运样的情况下，抽头延迟线滤波可W是使用参数的一抽头延迟线滤波。
[003W 有益效果
[0037] 根据本发明的示例性实施例，当执行对于多声道或者多对象信号的双耳擅染时， 能够显著地减少计算复杂性同时最小化音质的损耗。
[0038] 根据本发明的示例性实施例，能够实现其实时处理在现有的低功率设备中不可行 的多声道或者多对象音频信号的高音质的双耳擅染。
[0039] 本发明提供一种W低计算复杂性有效地执行对于包括输入的音频信号的各种形 式的多媒体信号的滤波的方法。
【附图说明】
[0040] 图1是图示根据本发明的示例性实施例的音频信号解码器的框图。
[0041] 图2是图示根据本发明的示例性实施例的双耳擅染器的每个组件的框图。
[0042] 图3至图7是图示根据本发明的实施例的用于处理音频信号的设备的各种示例性 实施例的图。
[0043] 图8至图10是图示根据本发明的示例性实施例的用于生成用于双耳擅染的FIR滤 波器的方法的图。
[0044] 图11至图14是图示本发明的P部分擅染单元的各种示例性实施例的图。
[0045] 图15和图16是图示本发明的QTDL处理的各种示例性实施例的图。
[0046] 图17和图18是图示使用分块快速卷积的音频信号处理方法的示例性示例的图。
[0047] 图19是图示在本发明的快速卷积单元中的音频信号处理过程的示例性示例的图。
【具体实施方式】
[0048] 作为在本说明书中使用的术语，通过考虑本发明中的功能，当前尽可能被广泛地 使用的通用术语被选择，但是它们可W取决于本领域中的技术人员的意图、习惯或者新技 术的出现而被改变。此外，在特定的情况下，
【申请人】任意地选择的术语可W被使用，并且在 此情况下，在本发明的相对应的描述部分中辨别其意义。因此，贯穿整个说明书，将会公开 在本说明书中使用的术语应基于不是仅术语的名称而且术语的本质意义和内容分析。
[0049] 图1是图示根据本发明的示例性实施例的音频信号解码器的框图。根据本发明的 音频信号解码器包括核屯、解码器10、擅染单元20、混合器30W及后处理单元40。
[0050] 首先，核屯、解码器10解码扬声器声道信号、离散对象信号、对象缩混信号、W及预 擅染的信号。根据示例性实施例，在核屯、解码器10中，基于统一的语音和音频编译化SAC)的 编解码器可W被使用。核屯、解码器10解码接收到的比特流并且将被解码的比特流传输到擅 染单元20。
[0051] 擅染单元20通过使用再现布局信息执行对通过核屯、解码器10解码的信号擅染。擅 染单元20可W包括格式转换器22、对象擅染器24、0AM解码器25、SA0C解码器26、W及H0A解 码器28。擅染单元20根据被解码的信号的类型通过使用上述组件中的任何一个执行擅染。
[0052] 格式转换器22将发送的声道信号转换成输出扬声器声道信号。即，格式转换器22 在发送的声道配置和要被再现的扬声器声道配置之间执行转换。当输出扬声器声道的数目 (例如，5.1声道)小于发送的声道的数目（例如，22.2声道)或者发送的声道配置不同于要被 再现的声道配置时，格式转换器22执行发送的声道信号的缩混。本发明的音频信号解码器 可w通过使用输入声道信号和输出扬声器声道信号的组合生成最佳的缩混矩阵，并且通过 使用该矩阵执行缩混。根据本发明的示例性实施例，通过格式转换器22处理的声道信号可 W包括预擅染的对象信号。根据示例性实施例，在编码音频信号W与声道信号混合之前，预 擅染至少一个对象信号。与声道信号一起，如上所述的被混合的对象信号可W被格式转换 器22转换成输出扬声器声道信号。
[0053] 对象擅染器24和SA0C解码器26执行对于基于对象的音频信号的擅染。基于对象的 音频信号可W包括离散对象波形和参数对象波形。在离散对象波形的情况下，每个对象信 号W单声波形被提供给编码器，并且编码器通过使用单个声道要素（SCE)发送对象信号中 的每个。在参数对象波形的情况下，多个对象信号被缩混成至少一个声道信号，并且每个对 象的特征和对象之间的关系被表达为空间音频对象编译(SA0C)参数。对象信号被缩混W被 编码到核屯、编解码器，并且此时生成的参数信息被一起发送到解码器。
[0054] 同时，当离散对象波形或者参数对象波形被发送到音频信号解码器时，与其相对 应的被压缩的对象元数据可W被一起发送。对象元数据W时间和空间为单位量化对象属 性，W在3D空间中指定每个对象的位置和增益值。擅染单元20的0AM解码器25接收被压缩的 对象元数据并且解码接收到的对象元数据，并且将被解码的对象元数据传输到对象擅染器 24和/或SA0C解码器26。
[0055] 对象擅染器24通过使用对象元数据根据给定的再现格式执行擅染每个对象信号。 在运样的情况下，基于对象元数据，每个对象信号可W被擅染到特定的输出声道。SA0C解码 器26从解码的SA0C传输声道和参数信息恢复对象/声道信号。SA0C解码器26可W基于再现 布局信息和对象元数据生成输出音频信号。正因如此，对象擅染器24和SA0C解码器26可W 将对象信号擅染到声道信号。
[0056] 册A解码器28接收高阶环境声化0A)系数信号和册A附加信息，并且解码接收到的 H0A系数信号和H0A附加信息。H0A解码器28通过单独的等式建模声道信号或者对象信号，W 生成声音场景。当选择在生成的声音场景中的扬声器的空间位置时，可W执行到扬声器声 道信号的擅染。
[0057] 同时，虽然在图1中未被图示，当音频信号被传输到擅染单元20的每个组件时，动 态范围控制(DRC)可W作为预处理过程被执行。DRX将再现的音频信号的动态范围限于预先 确定的水平，并且将小于预先确定的阔值的声音调节成较大并且将大于预先确定的阔值的 声音调节成较小。
[0058] 通过擅染单元20处理的基于声道的音频信号和基于对象的音频信号可W被传输 到混合器30。混合器30调苄基于声道的波形和被擅染的对象波形的延迟，并且W采样为单 位求和被调节的波形。通过混合器30求和的音频信号被传输到后处理单元40。
[0059] 后处理单元40包括扬声器擅染器100和双耳擅染器200。扬声器擅染器100执行用 于输出从混合器30传输的多声道和/或多对象音频信号的后处理。后处理可W包括动态范 围控制(DRC)、响度标准化(LN)、峰值限制器(PL)等等。
[0060] 双耳擅染器200生成多声道和/或多对象音频信号的双耳缩混信号。双耳缩混信号 是允许通过W3D定位的虚拟声源表达每个输入声道/对象信号的2声道音频信号。双耳擅染 器200可W接收被提供给扬声器擅染器100的音频信号作为输入信号。基于双耳室脉冲响应 (BRIR)滤波器执行双耳擅染，并且在时域或者QMF域中执行。根据示例性实施例，作为双耳 擅染的后处理过程，动态范围控制(DRC)、响度标准化化N)、峰值限制器(PL)等等可W被另 外执行。
[0061] 图2是图示根据本发明的示例性实施例的双耳擅染器的每个组件的框图。如在图2 中所图示，根据本发明的示例性实施例的双耳擅染器200可W包括BRIR参数化单元210、快 速卷积单元230、后期混响生成单元240、QT化处理单元250、W及混合器和组合器260。
[0062] 双耳擅染器200通过执行各种类型的输入信号的双耳擅染生成3D音频耳机信号 (即，3D音频2声道信号）。在运样的情况下，输入信号可W是包括声道信号（即，扬声器声道 信号）、对象信号、W及H0A系数信号中的至少一个的音频信号。根据本发明的另一示例性示 例，当双耳擅染器200包括特殊的解码器时，输入信号可W是前述的音频信号的被编码的比 特流。双耳擅染将解码的输入信号转换成双耳缩混信号W使其能够在通过耳机听相对应的 双耳缩混信号时体验环绕的声音。
[0063] 根据本发明的示例性实施例，双耳擅染器200可W在QMF域中执行输入信号的双耳 擅染。运就是说，双耳擅染器200可W接收QMF域的多声道(N个声道）的信号，并且通过使用 QMF域的BRIP子带滤波器执行用于多声道的信号的双耳擅染。当通过祉,1(1)表示经过QMF分 析滤波器组的第i个声道的第k个子带信号并且通过1表示子带域中的时间索引时，可W通 过下面给出的等式表达QMF域中的双耳擅染。
[0064] [等式 2]
[00 化]
[0066] 在此，通过将时域服IR滤波器转换成QMF域的子带滤波器获得me化，R巧日現.(〇 '〇
[0067] 目P，可W通过将QMF域的声道信号或者对象信号划分成多个子带信号并且利用与 其相对应的BRIR子带滤波器卷积各自的子带信号，并且其后，求和通过BRIR子带滤波器卷 积的各自的子带信号的方法，可W执行双耳擅染。
[0068] BRIR参数化单元210转换和编辑用于QMF域中的双耳擅染的BRIR滤波器系数并且 生成各种参数。首先，BRIR参数化单元210接收用于多声道或者多对象的时域BRIR滤波器系 数，并且将接收到的时域BRIR滤波器系数转换成QMF域BRIR滤波器系数。在运样的情况下， QMF域BRIR滤波器系数包括与多个频带分别相对应的多个子带滤波器系数。在本发明中，子 带滤波器系数指示QMF转换的子带域的每个BRIR滤波器系数。在本说明书中，子带滤波器系 数可W被指定为BRIR子带滤波器系数。服IR参数化单元210可W编辑QMF域的多个BRIR子带 滤波器系数中的每个，并且将被编辑的子带滤波器系数传输到快速卷积单元230等等。根据 本发明的示例性实施例，BRIR参数化单元210可W被包括作为双耳擅染器200的组件，否则 比提供作为单独的设备。根据示例性示例，包括除了 BRIR参数化单元210之外的快速卷积单 元230、后期混响生成单元240、QT化处理单元250、W及混合器和组合器260的组件可W被分 类成双耳擅染单元220。
[0069] 根据示例性实施例，BRIR参数化单元210可W接收与虚拟再现空间的至少一个位 置相对应的BRIR滤波器系数作为输入。虚拟再现空间的每个位置可W对应于多声道系统的 每个扬声器位置。根据示例性实施例，通过BRIR参数化单元210接收到的BRIR滤波器系数中 的每个可W直接地匹配双耳擅染器200的输入信号的每个声道或者每个对象。相反地，根据 本发明的另一示例性实施例，接收到的BRIR滤波器系数中的每个可W具有与双耳擅染器 200的输入信号独立的配置。即，通过BRIR参数化单元210接收到的BRIR滤波器系数的至少 一部分可W不直接匹配双耳擅染器200的输入信号，并且接收到的BRIR滤波器系数的数目 可W小于或者大于输入信号的声道和/或对象的总数目。
[0070] 根据本发明的示例性实施例，BRIR参数化单元210转换和编辑与双耳擅染器200的 输入信号的每个声道或者每个对象相对应的BRIR滤波器系数，W将被转换和编辑的BRIR滤 波器系数传输到双耳擅染单元220。相对应的BRIR滤波器系数可W是用于每个声道或者每 个对象的匹配BRIR或者回退BRIRdBRIR匹配可W被确定在虚拟再现空间中是否存在针对每 个声道或者每个对象的位置的BRIR滤波器系数。在运样的情况下，从用信号发送声道配置 的输入参数可W获得各个声道(或者对象)的位置信息。当针对输入信号的各自的声道或者 各自的对象的位置中的至少一个的BRIR滤波器系数存在时，BRIR滤波器系数可W是输入信 号的匹配BRIR。然而，当针对特定声道或者对象的位置的BRIR滤波器系数不存在时，BRIR参 数化单元210可W提供针对与相对应的声道或者对象大部分相似的位置的BRIR滤波器系 数，作为用于相对应的声道或者对象的回退BRIR。
[0071] 首先，当存在具有在距所期待的位置(特定的声道或者对象)预先确定的范围内的 高度和方位偏差的BRIR滤波器系数时，相对应的BRIR滤波器系数可W被选择。换言之，可W 选择具有在距所期待的位置的+/-20内的相同的高度和方位偏差的BRIR滤波器系数。当不 存在相对应的BRIR滤波器系数时，在BRIR滤波器系数集合中的具有距所期待的位置最小地 理距离的BRIR滤波器系数可W被选择。即，可W选择使在相对应的BRIR的位置和所期待的 位置之间的地理距离最小化的BRIR滤波器系数。在此，BRIR的位置表示与相关的BRIR滤波 器系数相对应的扬声器的位置。此外，在两个位置之间的地理距离可W被定义为通过两个 位置的高度偏差的绝对值和方位偏差的绝对值的求和获得的值。
[0072] 同时，根据本发明的另一示例性实施例，BRIR参数单元210转换和编辑接收到的 BRIR滤波器系数的全部，W将转换和编辑的BRIR滤波器系数传输到双耳擅染单元220。在运 样的情况下，通过双耳擅染单元220可W执行与输入信号的每个声道或者每个对象相对应 的BRIR滤波器系数(可替选地，编辑的BRIR滤波器系数)的选择过程。
[0073] 双耳擅染单元220包括快速卷积单元230、后期混响生成单元240、W及QTDL处理单 元250,并且接收包括多声道和/或多对象信号的多音频信号。在本说明书中，包括多声道 和/或多对象信号的输入信号将会被称为多音频信号。图2图示双耳擅染单元220根据示例 性实施例接收QMF域的多声道信号，但是双耳擅染单元220的输入信号可W进一步包括时域 多声道信号和时域多对象信号。此外，当双耳擅染单元220另外包括特定的解码器时，输入 信号可W是多音频信号的被编码的比特流。此外，在本说明书中，基于执行多音频信号的 BRIR擅染的情况描述了本发明，但是本发明不限于此。因此，通过本发明提供的特征不仅可 W被应用于BRIR而且可W被应用于其它类型的擅染滤波器，并且不仅被应用于多音频信号 而且被应用于单声道或者单对象的音频信号。
[0074] 快速卷积单元230执行在输入信号和BRIR滤波器之间的快速卷积W处理用于输入 信号的直接声音和前期反射声音。为此，快速卷积单元230可W通过使用被截断的BRIR执行 快速卷积。被截断的BRIR包括取决于每个子带频率截断的多个子带滤波器系数，并且通过 BRIR参数化单元210生成。在运样的情况下，取决于相对应的子带的频率确定每个被截断的 子带滤波器系数的长度。快速卷积单元230可W通过使用根据子带具有不同长度的被截断 的子带滤波器系数在频域中执行可变阶滤波。即，在用于每个频带的QMF域子带音频信号和 与其相对应的QMF域的被截断的子带滤波器之间可W执行快速卷积。在本说明书中，直接声 音和前期反射(D&E)部分可W被称为前(巧部分。
[0075] 后期混响生成单元240生成用于输入信号的后期混响信号。后期混响信号表示跟 随由快速卷积单元230生成的直接声音和前期反射声音的输出信号。后期混响生成单元240 可W基于通过从BRIR参数化单元210传输的每个子带滤波器系数确定的混响时间信息处理 输入信号。根据本发明的示例性实施例，后期混响生成单元240可W生成用于输入音频信号 的单声或者立体声缩混信号，并且执行被生成的缩混信号的后期混响处理。在本说明书中， 后期混响(LR)部分可W被称为参数(P)部分。
[0076] QMF域抽头延迟线(QTDL)处理单元250处理输入音频信号当中的高频带中的信号。 QT化处理单元250从BRIR参数化单元210接收对应于高频带中的每个子带信号的至少一个 参数，并且通过使用接收到的参数在QMF域中执行抽头延迟时间滤波。根据本发明的示例性 实施例，基于预先确定的常数或者预先确定的频带，双耳擅染器200将输入音频信号分离成 低频带信号和高频带信号，并且分别可W通过快速卷积单元230和后期混响生成单元240处 理低频带信号，并且可W通过QTDM处理单元处理高频带信号。
[0077] 快速卷积单元230、后期混响生成单元240、W及QT化处理单元250中的每个输出2 声道QMF域子带信号。混合器和组合器260组合并混合快速卷积单元230的输出信号、后期混 响生成单元240的输出信号，W及QTOL处理单元250的输出信号。在运样的情况下，为2个声 道的左右输出信号中的每个单独地执行输出信号的组合。双耳擅染器200在时域中对被组 合的输出信号执行QMF合成W生成最终的输出音频信号。
[0078] 在下文中，参考每个附图将会详细地描述在图2中图示的快速卷积单元230、后期 混响生成单元240、W及QTDM处理单元250及其组合的各种示例性实施例。
[0079] 图3至图7图示根据本发明的用于处理音频信号的设备的各种示例性实施例。在本 发明中，作为狭义，用于处理音频信号的设备可W指示如在图2中图示的双耳擅染器200或 者双耳擅染单元220。然而，在本发明中，作为广义，用于处理音频信号的设备可W指示包括 双耳擅染器的图1的音频信号解码器。为了描述的方便起见在图3至图7中图示的每个双耳 擅染器可W仅指示在图2中图示的双耳擅染器200的一些组件。此外，在下文中，在本说明书 中，将会主要地描述多声道输入信号的示例性实施例，但是除非另外描述，否则声道、多声 道、W及多声道输入信号可W分别被用作包括对象、多对象、W及多对象输入信号的概念。 此外，多声道输入信号也可W被用作包括册A解码和擅染的信号的概念。
[0080] 图3图示根据本发明的示例性实施例的双耳擅染器200A。当使用BRIR的双耳擅染 被一般化时，双耳擅染是用于获取用于具有Μ个声道的多声道输入信号的0输出信号的Μ至0 处理。双耳滤波可W被视为在运样的过程期间使用与每个输入声道和每个输出声道相对应 的滤波器系数的滤波。在图3中，初始滤波器集合Η意指从每个声道信号的扬声器位置直到 左耳和右耳的位置的传递函数。在传递函数当中的在一般收听室，即，混响空间中测量的传 递函数被称为双耳室脉冲响应(BRIR)。相反地，在无回声室测量使得没有被再现空间影响 的传递函数被称为头相关脉冲响应化RIR)，并且其传递函数被称为头相关传递函数。因此， 不同于HRTF，BRIR包含再现空间的信息W及方向信息。根据示例性实施例，可W通过使用 HRTF和人工混响器代替BRIR。在本说明书中，描述了使用BRIR的双耳擅染，但是本发明不限 于此，并且通过使用类似的或者对应的方法，本发明甚至可W应用于使用包括皿IR和HRTF 的各种类型的FIR滤波器的双耳擅染。此外，本发明能够被应用于用于输入信号的各种形式 的滤波W及用于音频信号的双耳擅染。同时，BRIR可W具有如上所述的96K个采样的长度， 并且因为通过使用不同的M*0个滤波器执行多声道双耳擅染，要求有具有高计算复杂性的 处理过程。
[0081] 根据本发明的示例性实施例，为了优化计算复杂性，BRIR参数化单元210可W生成 从原始滤波器集合Η变换的滤波器系数。BRIR参数化单元210将原始滤波器系数分离成前 (F)部分系数和参数(Ρ)部分系数。在此，F部分表示直接声音和前期反射(D&E)部分，Ρ部分 表示后期混响化R)部分。例如，具有9服个采样的长度的原始滤波器系数可W被分离成其中 仅前面的4Κ个采样被截断的F部分和与剩余的92Κ个采样相对应的部分的Ρ部分中的每个。
[0082] 双耳擅染单元220从BRIR参数化单元210接收F部分系数和Ρ部分系数中的每个，并 且通过使用接收到的系数执行擅染多声道输入信号。根据本发明的示例性实施例，在图2中 图示的快速卷积单元230通过使用从BRIR参数化单元210接收到的F部分系数擅染多音频信 号，并且后期混响生成单元240可W通过使用从BRIR参数化单元接收到的P部分系数擅染多 音频信号。即，快速卷积单元230和后期混响生成单元240可W分别对应于本发明的F部分擅 染单元和P部分擅染单元。根据示例性实施例，通过一般的有限脉冲响应(FIR)滤波器可W 实现F部分擅染(使用F部分系数的双耳擅染），并且通过参数方法可W实现P部分擅染(使用 P部分系数的双耳擅染）。同时，通过用户或者控制系统提供的复杂性质量控制输入可W被 用于确定对F部分和/或P部分生成的信息。
[0083] 图4图示根据本发明的另一示例性实施例的通过双耳擅染器200B实现F部分擅染 的更加详细的方法。为了描述的方便起见，在图4中P部分擅染单元被省略。此外，图4图示在 QMF域中实现的滤波器，但是本发明不限于此，并且可W被应用于其它域的子带处理。
[0084] 参考图4,在QMF域中通过快速卷积单元230可W执行F部分擅染。对于在QMF域中的 擅染，QMF分析单元222将时域输入信号xO、xl、…x_M-l转换成QMF域信号X0、X1、…X_M-1。在 运样的情况下，输入信号如、別、一^_1-1可^是多声道音频信号，即，与22.2声道扬声器相 对应的声道信号。在QMF域中，可W使用总共64个子带，但是本发明不限于此。同时，根据本 发明的示例性实施例，从双耳擅染器200B中可W省略QMF分析单元222。在使用谱带复制 (SBR)的皿-AAC或者USAC的情况下，因为在QMF域中执行处理，所W双耳擅染器200B可W在 没有QMF分析的情况下立即接收作为输入的QMF域信号X0、X1、…X_M-1。因此，当QMF域信号 作为如上所述的输入被直接地接收时，在根据本发明的双耳擅染器中使用的QMF与在先前 的处理单元（即，SBR)中使用的QMF相同。QMF合成单元244QMF合成2个声道的左和右信号Y_L 和￥_3,其中执行双耳擅染，W生成时域的2声道输出音频信号yL和yR。
[0085] 图5至图7分别图示执行F部分擅染和P部分擅染两者的双耳擅染器200CJ00DW及 200E的示例性实施例。在图5至图7的示例性实施例中，在QMF域中通过快速卷积单元230执 行F部分擅染，并且在QMF域或者时域中通过后期混响生成单元240执行P部分擅染。在图5至 图7的示例性实施例中，将会省略与先前的附图的示例性实施例重复的部分的详细描述。
[0086] 参考图5,双耳擅染器200C可W在QMF域中执行F部分擅染和P部分擅染两者。即，双 耳擅染器200C的QMF分析单元222将时域输入信号x0、xl、…x_M-l转换成QMF域信号X0、 XI、…X_M-1 W将被转换的QMF域信号X0、X1、…X_M-1中的每个传输到快速卷积单元230和后 期混响生成单元240。快速卷积单元230和后期混响生成单元240分别擅染QMF域信号XO、 XI、…X_M-m生成2声道输出信号Y_L、Y_^PY_Lp、Y_Rp。在运样的情况下，快速卷积单元 230和后期混响生成单元240可W通过分别使用BRIR参数化单元210接收到的F部分滤波器 系数和P部分滤波器系数执行擅染。F部分擅染的输出信号Y_L和Y_R与P部分擅染的输出信 号￥_1^9和￥_1^)在混合器和组合器260中被组合用于左和右声道的每个，并且被传输到QMF合 成单元224"QMF合成单元224QMF合成输入的2个声道的左右信号W生成时域的2声道输出音 频信号yL和yR。
[0087] 参考图6,双耳擅染器200D可W执行QMF域中的F部分擅染和时域中的P部分擅染。 双耳擅染器200D的QMF分析单元222QMF转换时域输入信号，并且将被转换的时域输入信号 传输到快速卷积单元230。快速卷积单元230执行F部分擅染QMF域信号W生成2声道输出信 号分析单元224将F部分擅染的输出信号转换成时域输出信号，并且将被转换 的时域输出信号传输到混合器和组合器260。同时，后期混响生成单元240通过直接地接收 时域输入信号执行P部分擅染。P部分擅染的输出信号yLp和yRp被传输到混合器和组合器 260。混合器和组合器260在时域中组合F部分擅染输出信号和P部分擅染输出信号，W在时 域中生成2声道输出音频信号y L和yR。
[0088] 在图5和图6的示例性实施例中，并行地执行F部分擅染和P部分擅染，同时根据图7 的示例性实施例，双耳擅染器200E可W顺序地执行F部分擅染和P部分擅染。即，快速卷积单 元230可W执行F部分擅染QMF转换的输入信号，并且QMF合成单元224可W将F部分擅染的2 声道信号Y_L和Y_R转换成时域信号，并且其后，将转换的时域信号传输到后期混响生成单 元240。后期混响生成单元240执行P部分擅染输入2声道信号W生成时域的2声道输出音频 信号yL和yR。
[0089] 图5至图7分别图示执行F部分擅染和P部分擅染的示例性实施例，并且各自的附图 的示例性实施例被组合和修改W执行双耳擅染。也就是说，在每个示例性实施例中，双耳擅 染器可W将输入信号缩混成2声道左右信号或者单声信号，并且其后执行P部分擅染缩混信 号W及分开地执行P部分擅染输入的多音频信号中的每个。
[0090] <频域中的可变阶滤波(V0FF)〉
[0091] 图8至图10图示根据本发明的示例性实施例的用于生成用于双耳擅染的FIR滤波 器的方法。根据本发明的示例性实施例，被转换成QMF域的多个子带滤波器的FIR滤波器可 W被用于QMF域中的双耳擅染。在运样的情况下，取决于每个子带截取的子带滤波器可W被 用于F部分擅染。即，双耳擅染器的快速卷积单元可W通过使用根据子带具有不同长度的被 截断的子带滤波器在QMF域中执行可变阶滤波。在下文中，可W通过图2的BRIR参数化单元 执行将会在下面描述的图8至图10中的滤波器生成的示例性实施例。
[0092] 图8图示根据被用于双耳擅染的QMF域滤波器的每个QMF带的长度的示例性实施 例。在图8的示例性实施例中，FIR滤波器被转换成I QMF子带滤波器，并且Fi表示QMF子带i 的被截断的子带滤波器。在QMF域中，总共64个子带可W被使用，但是本发明不限于此。此 外，N表示初始子带滤波器的长度(抽头的数目），并且分别通过N1、N2W及N3表示被截断的 子带滤波器的长度。在运样的情况下，长度N、N1、N2W及N3表示在降采样的QMF域(即，QM即寸 隙）中的抽头的数目。
[0093] 根据本发明的示例性实施例，根据每个子带具有不同的长度NUN2W及N3的被截 断的子带滤波器可W被用于F部分擅染。在运样的情况下，被截断的子带滤波器是在初始子 带滤波器中截断的前滤波器，并且也可W被指定为前子带滤波器。此外，在截取初始子带滤 波器之后的后部分可W被指定为后子带滤波器并且被用于P部分擅染。
[0094] 在使用BRIR滤波器擅染的情况下，基于从初始BRIR滤波器提取的参数，即，用于每 个子带滤波器的混响时间（RT)信息、能量衰减曲线化DC)值、能量衰减时间信息等等，用于 每个子带的滤波器阶数（即，滤波器长度)可W被确定。由于声学特性，其中取决于墙和天花 板的材料的在空气中的衰减和声音吸收程度对于每个频率变化，因此混响时间取决于频率 而变化。通常，具有更低的频率的信号具有更长的混响时间。因为混响时间长意指更多的信 息保留在FIR滤波器的后部中，所W优选的是，在正常传输混响信息中长地截断相对应的滤 波器。因此，至少基于从相对应的子带滤波器提取的特性信息（例如，混响时间信息），确定 本发明的每个被截断的子带滤波器的长度。
[0095] 根据各种示例性实施例可W确定被截断的子带滤波器的长度。首先，根据示例性 实施例，每个子带可W被分类成多个组，并且每个被截断的子带滤波器的长度可W根据被 分类的组而被确定。根据图8的示例，每个子带可W被分类成Ξ个区段区段1、区段2、W及区 段3,并且与低频率相对应的区段1的被截断的子带滤波器可W具有比与高频率相对应的区 段2和区段3的被截断的子带滤波器更长的滤波器阶数（即，滤波器长度）。此外，相对应的区 段的被截断的子带滤波器的滤波器阶数可W朝着具有高频率的区段逐渐地减少。
[0096] 根据本发明的另一示例性实施例，根据初始子带滤波器的特性信息，可W为每个 子带独立地或者可变地确定每个被截断的子带滤波器的长度。每个被截断的子带滤波器的 长度基于在相对应的子带中确定的截断长度确定，并且不受相邻的或者其它的子带的被截 断的字段滤波器的长度影响。也就是说，区段2的一些或者所有的被截断的子带滤波器的长 度可能比区段1的至少一个被截断的子带滤波器的长度长。
[0097] 根据本发明的另一示例性实施例，可W仅相对于被分类成多个组的一些子带执行 在频域中的可变阶滤波。即，仅相对于属于至少两个被分类的组当中的一些组的子带，可W 生成具有不同长度的被截断的子带滤波器。根据示例性实施例，其中生成被截断的子带滤 波器的组可W是基于预先确定的常数或者预先确定的频带被分类成低频带的子带组(也就 是说，区段1)。例如，当最初的BRIR滤波器的采样频率是48曲Z时，最初的BRIR滤波器可W被 变换成总共64个QMF子带滤波器（1 = 64)。在运样的情况下，相对于与所有0至24kHz带的一 半的0至12个kHz带相对应的子带，即，W低频带的顺序具有索引0至31的总共32个子带，可 W仅生成被截断的子带滤波器。在运样的情况下，根据本发明的示例性实施例，具有0索引 的子带的被截断的子带滤波器的长度比具有31索引的子带的被截断的子带滤波器的大。
[0098] 基于通过用于处理音频信号获得的附加信息，即，复杂性、复杂程度（属性）、或者 解码器的所要求的质量信息，可W确定被截断的滤波器的长度。根据用于处理音频信号的 设备的硬件资源或者用户直接地输入的值可W确定复杂性。质量可W根据用户的请求被确 定，或者参考通过比特流发送的值或者在比特流中包括的其它信息来确定。此外，也可W根 据通过估计被发送的音频信号的质量获得值确定质量，也就是说，随着比特率跟高，质量可 W被视为更高的质量。在运样的情况下，每个被截断的子带滤波器的长度可W根据复杂性 和质量按比例地增加，并且可用于每个带的不同的比率变化。此外，为了通过诸如下面 要描述的FFT的高速处理获取附加的增益等等，每个被截断的子带滤波器的长度可W被确 定为与附加的增益相对应的大小单元，也就是说，2的幕的倍数。相反地，当被确定的被截断 的滤波器的长度比实际子带滤波器的总长度长时，被截断的子带滤波器的长度可W被调节 成实际子带滤波器的长度。
[0099] BRIR参数化单元生成与根据前述的示例性实施例确定的各自的被截断的子带滤 波器相对应的被截断的子带滤波器系数(F部分系数），并且将生成的被截断的子带滤波器 系数传输到快速卷积单元。快速卷积单元通过使用被截断的子带滤波器系数在多音频信号 的每个子带信号的频域中执行可变阶滤波。
[0100] 图9图示被用于双耳擅染的QMF域滤波器的每个QMF带的长度的另一示例性实施 例。在图9的示例性实施例中，与图8的示例性实施例相同或者对应于图8的示例性实施例的 部分的重复描述将会被省略。
[0101] 在图9的示例性实施例中，Fi表示被用于QMF子带i的F部分擅染的被截断的子带滤 波器(前子带滤波器），并且Pi表示被用于QMF子带i的P部分擅染的后子带滤波器。N表示初 始子带滤波器的长度(抽头的数目），并且MF和MP分别表示子带i的前子带滤波器和后子 带滤波器的长度。如上所述，NiF和NiP表示在降采样的QMF域中的抽头的数目。
[0102] 根据图9的示例性实施例，基于从初始子带滤波器W及前子带滤波器提取的参数 确定后子带滤波器的长度。即，至少部分基于在相对应的子带滤波器中提取的特性信息确 定每个子带的前子带滤波器和后子带滤波器的长度。例如，基于相对应的子带滤波器的第 一混响时间信息可W确定前子带滤波器的长度，并且可W基于第二混响时间信息确定后子 带滤波器的长度。即，前子带滤波器可W是在初始子带滤波器中基于第一混响时间信息在 被截断的前部分的滤波器，并且后子带滤波器可W是在与作为跟随前子带滤波器的区段的 在第一混响时间和第二混响时间之间的区段相对应的后部分的滤波器。根据示例性实施 例，第一混响时间信息可W是RT20,并且第二混响时间信息可W是RT60,但是实施例不限于 此。
[0103] 其中前期反射声音部分被切换到后期混响声音部分的部分存在于第二混响时间 内。即，点存在，其中具有确定性特性的区段被切换到具有随机特性的区段，并且在整个带 的BRIR方面该点被称为混合时间。在混合时间之前的区段的情况下，主要存在提供用于每 个位置的方向性的信息，并且运对于每个声道来说是唯一的。相反地，因为后期混响部分具 有用于每个声道的公共特征，所W同时处理多个声道可能是有效率的。因此，用于每个子带 的混合时间被估计W在混合时间之前通过F部分擅染执行快速卷积，并且在混合时间之后 通过P部分擅染执行其中用于每个声道的公共特性被反映的处理。
[0104] 然而，在估计混合时间时从知觉的角度来看可能通过偏见而出现错误。因此，与通 过估计精确的混合时间基于相对应的边界单独处理F部分和P部分相比较，从质量的角度来 看，通过最大化F部分的长度执行快速卷积是更加优异的。因此，F部分的长度，即，前子带滤 波器的长度，可能比根据复杂性质量控制与混合时间相对应的长度更长或者更短。
[0105] 此外，为了减少每个子带滤波器的长度，除了前述的截断方法之外，当特定子带的 频率响应是单调的时，将相对应的子带的滤波器减少到低阶的建模是可用的。作为代表性 的方法，存在使用频率采样的FIR滤波器建模，并且从最小平方的角度最小化的滤波器可W 被设计。
[0106] 根据本发明的示例性实施例，对于相对应的子带的每个声道，用于每个子带的前 子带滤波器和/或后子带滤波器的长度可W具有相同的值。测量中的错误在BRIR中可能存 在，并且即使在估计混响时间中诸如偏见的错误要素等等存在。因此，为了减少影响，基于 在声道之间或者在子带之间的相互关系可W确定滤波器的长度。根据示例性实施例，BRIR 参数化单元可W从与相同子带的每个声道相对应的子带滤波器提取第一特性信息(也就是 说，第一混响时间信息），并且通过组合被提取的第一特性信息获取用于相对应的子带的单 滤波器阶数信息（可替选地，第一截断点信息）。基于获得的滤波器阶数信息（可替选地，第 一截断点信息），用于相对应的子带的每个声道的前子带滤波器可W被确定为具有相同的 长度。类似地，BRIR参数化单元可W从与相同子带的每个声道相对应的子带滤波器提取特 性信息(也就是说，第二混响时间信息），并且通过组合被提取的第二特性信息，获取要被共 同地应用于与相对应的子带的每个声道相对应的后子带滤波器的第二截断点信息。在此， 前子带滤波器可W是在初始子带滤波器中基于第一截断点信息在被截断的前部分的滤波 器，并且后子带滤波器可W是在与作为跟随前子带滤波器的区段的在第一截断点和第二阶 段点之间的区段相对应的后部分的滤波器。
[0107] 同时，根据本发明的另一示例性实施例，仅相对于特定子带组的子带执行F部分处 理。在运样的情况下，与通过使用整个子带滤波器执行处理的情况相比较，当通过仅使用直 到第一截断点的滤波器相对于对应的子带执行处理时，用户感知水平的失真可能由于被处 理的滤波器的能量差而出现。为了防止失真，对于没有被用于处理的区域，即，跟随第一截 断点的区域的能量补偿可W在相对应的子带滤波器中被实现。通过将F部分系数(第一子带 滤波器系数)除W直到相对应的子带滤波器的第一截断点的滤波器功率并且将相除的F部 分系数(前子带滤波器系数)乘W所期待的区域的能量，即，相对应的子带滤波器的总功率， 可W执行能量补偿。因此，F部分系数的能量可W被调节为与整个子带滤波器的能量相同。 此外，虽然从BRIR参数化单元发送P部分系数，但是双耳擅染单元基于复杂性质量控制可W 不执行P部分处理。在运样的情况下，双耳擅染单元可W通过使用P部分系数执行对于F部分 系数的能量补偿。
[0108] 在通过前述方法的F部分处理中，从单个时域滤波器(即，原型滤波器)获取具有用 于每个子带的不同长度的被截断的子带滤波器的滤波器系数。即，因为单个时域滤波器被 转换成多个QMF基带滤波器，并且与每个子带相对应的滤波器的长度变化，所W从单个原型 滤波器中获得每个被截断的子带滤波器。
[0109] BRIR参数化单元生成与根据前述的示例性实施例确定的每个前子带滤波器相对 应的前子带滤波器系数(F部分系数），并且将生成的前子带滤波器系数传输到快速卷积单 元。快速卷积单元通过使用接收到的前子带滤波器系数在多音频信号的每个子带信号的频 域中执行可变阶滤波。此外，BRIR参数化单元可W生成与根据前述的示例性实施例确定的 每个后子带相对应的后子带滤波器系数(P部分系数），并且将生成的后子带滤波器系数传 输到后期混响生成单元。后期混响生成单元可W通过使用接收到的后子带滤波器系数执行 每个子带信号的混响处理。根据本发明的示例性实施例，BRIR参数化单元可W组合用于每 个声道的后子带滤波器系数W生成缩混子带滤波器系数(缩混P部分系数），并且将生成的 缩混子带滤波器系数传输到后期混响生成单元。如下面所描述的，后期混响生成单元可W 通过使用接收到的缩混子带滤波器系数生成2声道左右子带混响信号。
[0110] 图10图示用于生成被用于双耳擅染的FIR滤波器的方法的又一示例性实施例。在 图10的示例性实施例中，将会省略与图8和图9的示例性实施例相同或者对应于图8和图9的 示例性实施例的部分的重复描述。
[0111] 参考图10,被QMF转换的多个子带滤波器可W被分类成多个组，并且对于每个被分 类的组可W应用不同的处理。例如，基于预先确定的频带(QMF带i)，多个子带可W被分类成 具有低频率的第一子带组区段1和具有高频率的第二子带组区段2。在运样的情况下，可W 相对于第一子带组的输入子带信号执行F部分擅染，并且可W相对于第二子带组的输入子 带信号执行下面要描述的QTOL处理。
[0112] 因此，BRIR参数化单元生成用于第一子带组的每个子带的前子带滤波器系数，并 且将被生成的前子带滤波器系数传输到快速卷积单元。快速卷积单元通过使用接收到的前 子带滤波器系数执行第一子带组的子带信号的F部分擅染。根据示例性实施例，通过后期混 响生成单元可W另外执行第一子带组的子带信号的P部分擅染。此外，BRIR参数化单元从第 二子带组的子带滤波器系数中的每个获得至少一个参数，并且将获得的参数传输到QTOL处 理单元。QTDL处理单元通过使用获得的参数执行如下面描述的第二子带组的每个子带信号 的抽头延迟时间滤波。根据本发明的示例性实施例，用于区分第一子带组和第二子带组的 预先确定的频率(QMF带i)可W基于预先确定的常数值被确定，或者基于被发送的音频输入 信号的比特流特性被确定。例如，在使用SBR的音频信号的情况下，第二子带组可W被设置 W对应于sm?带。
[0113] 根据本发明的示例性实施例，基于预先确定的第一频带(QMF带i)和预先确定的第 二频带(QMF带j)，多个子带可W被划分成Ξ个子带组。即，多个子带可W被分类成等于或者 低于第一频带的低频率区段的第一子带组区段1、高于第一频带并且等于或者低于第二频 带的中频区段的第二子带组区段2、W及高于第二频带的高频区段的第Ξ子带组区段3。例 如，当总共64个QMF子带(子带索引0至63)被划分成3个子带组时，第一子带组可W包括具有 索引0至31的总共32个子带，第二子带组可W包括具有索引32至47的总共16个子带，并且第 立子带组可W包括具有剩余索引48至63的子带。在此，随着子带频率变得更低，子带索引具 有更低的值。
[0114] 根据本发明的示例性示例，可W仅相对于第一和第二子带组的子带信号执行双耳 擅染。即，如上所述，可W相对于第一子带组的子带信号执行F部分擅染和P部分擅染，并且 可W相对于第二子带组的子带信号执行QTOL处理。此外，可W不相对于第Ξ子带组的子带 信号执行双耳擅染。同时，要执行双耳擅染的最大频带的信息化proc = 48)和要执行卷积的 频带的信息化conv = 32)可W是预先确定的值或者通过BRIR参数化单元确定W被传送到双 耳擅染单元。在运样的情况下，第一频带(QMF带i)被设置为索引Kconv-1的子带，并且第二 频带(QMF带j)被设置为索引Kproc-1的子带。同时，通过最初的BRIR输入的采样频率、输入 音频信号的采样频率等等可W变化最大频带的信息化proc)和要执行卷积的频带的信息 化conv)的值。
[0115] <后期混响擅染〉
[0116] 接下来，将会参考图11至图14描述本发明的P部分擅染的各种示例性实施例。即， 将会参考图11至图14描述在QMF域中执行P部分擅染的图2的后期擅染生成单元240的各种 示例性实施例。在图11至图14的示例性实施例中，假定多声道输入信号作为QMF域的子带信 号被接收。因此，可W为每个QMF子带执行图11至图14的各自的组件，即，解相关器241、子带 滤波单元242、IC匹配单元243、缩混单元244、W及能量衰减匹配单元246的处理。在图11至 图14的示例性实施例中，将会省略与先前的附图的示例性实施例重复的部分的详细描述。
[0117] 在图8至图10的示例性实施例中，与P部分相对应的？1。1，？2少3，-，）是通过频率 可变截断去除的每个子带滤波器的后部分，并且通常包括关于后期混响的信息。P部分的长 度可W被定义为根据复杂性质量控制在每个子带滤波器的截断点之后的整个滤波器，或者 参考相对应的子带滤波器的第二混响时间信息被定义为较小的长度。
[0118] P部分擅染可W为每个声道独立地执行或者相对于被缩混的声道执行。此外，P部 分擅染可W对于每个预先确定的子带组或者对于每个子带通过不同的处理被应用，或者作 为相同的处理被应用于所有的子带。在本示例性实施例中，可应用于P部分的处理可W包括 用于输入信号的能量衰减补偿、抽头延迟线滤波、使用无限脉冲响应（IIR)滤波器的处理、 使用人工混响器的处理、频率无关的耳间一致(FIIC)补偿、频率依赖的耳间一致(FDIC)补 偿等等。
[0119] 同时，重要的是，通常保存两个特征，即，用于P部分的参数处理的能量衰减减轻 化DR)和频率依赖的耳间一致(FDIC)的特征。首先，当从能量的角度观察P部分时，能够看到 对于每个声道来说抓R可W是相同或者相似的。因为各自的声道具有公共的抓R，所W将所 有的声道缩混到一个或者两个声道，并且其后，从能量的角度执行被缩混的声道的P部分擅 染是适当的。在运样的情况下，其中需要相对于Μ个声道执行Μ个卷积的P部分擅染的操作被 减少到Μ到0缩混和一个(可替选地，两个)卷积，从而提供显著的计算复杂性的增益。
[0120] 接下来，在Ρ部分擅染中要求补偿FDIC的过程。存在估计FDIC的各种方法，但是可 W使用下述等式。
[0121] [等式 3]
[0122]
[0123] 在此，Hm(i，k)表示脉冲响应hm(n)的短时傅立叶变换(STFT)系数，η表示时间索引， i表示频率索引，k表示帖索引，并且m表示输出声道索引L或者R。此外，分子的函数％的.输 出输入X的实数值，并且X*表示X的复共辆值。等式中的分子部分可W被替换成具有绝对值 而不是实数值的函数。
[0124] 同时，在本发明中，因为在QMF域中执行双耳擅染，所W可W通过下面给出的等式 定义抑1C。
[0125] [等式 4]
[0126]
[0127] 在此，i表示子带索引，k表示子带中的时间索引，并且hm(i，k)表示BRIR的子带滤 波器。
[01%]后期混响部分的FDIC是当BRIR被记录时主要通过两个麦克风的位置影响的参数， 并且不受被扬声器的位置，即，方向和距离影响。当假定收听者的头是球体时，BRIR的理论 的抑1C ICideal可W满足下面给出的等式。
[0129] [等式 5]
[0130]
[0131] 在此，r表示在收听者的两个耳朵之间的距离，即，在两个麦克风之间的距离，并且 k表示频率索引。
[0132] 当使用多个声道的BRIR的FDIC被分析时，能够看到主要被包括在F部分中的前期 反射声对于每个声道变化。即，F部分的FDIC对于每个声道来说不同地变化。同时，FDIC在高 频带的情况下很大地变化，但是理由是由于其能量快速衰减的高频带信号的特性导致大的 测量错误发生，并且当对于每个声道的平均值被获得时，FDIC几乎被收敛到0。相反地，即使 在P部分的情况下在对于每个声道的FDIC中的差由于测量错误而发生，但是能够确认FDIC 被平均地收敛到在图等式5中示出的同步函数。根据本发明的示例性实施例，用于P部分擅 染的后期混响生成单元可W基于前述的特性被实现。
[0133] 图11图示根据本发明的示例性实施例的后期混响生成单元240A。根据图11的示例 性实施例，后期混响生成单元240A可W包括子带滤波单元242和缩混单元244a和244b。
[0134] 子带滤波单元242通过使用P部分系数滤波用于每个子带的多声道输入信号X0, Χ1，···，Χ_Μ-ΚΡ部分系数可W从如上所述的BRIR参数化单元(未被图示）获得，并且包括具 有用于每个子带的不同长度的后子带滤波器的系数。子带滤波器单元242为每个频率执行 QMF域子带信号和与其相对应的QMF域的后子带滤波器之间的快速卷积。在运样的情况下， 可W基于如上所述的RT60确定后子带滤光器的长度，但是根据复杂性质量控制被设置为高 于或者低于RT60的值。
[0135] 通过子带滤波单元242，多声道输入信号分别被擅染成左声道信号X_L0、X_L1、…、 X_L_M-1，和右声道信号X_R0、X_R1、···、X_R_M-1。缩混单元244a和244b分别缩混用于左右声 道的被擅染的左声道信号和多个被擅染的右声道信号，W生成2声道左右输出信号Y_Lp和 Y_Rp〇
[0136] 图12图示根据本发明的另一示例性实施例的后期混响生成单元240B。根据图12的 示例性实施例，后期混响生成单元240B可W包括解相关器241、IC匹配单元243、缩混单元 244a和244b、W及能量衰减匹配单元246a和24化。此外，对于后期混响生成单元240B的处 理，BRIR参数化单元(未被图示)可W包括1C评估单元213和缩混子带滤波器生成单元216。
[0137] 根据图12的示例性实施例，后期混响生成单元240B可W通过使用用于各自的声道 的后期混响部分的能量衰减特性彼此相同来减少计算复杂性。即，后期混响生成单元240B 执行每个多声道信号的解相关和耳间一致(1C)调节，将用于每个声道的被调节的输入信号 和解相关信号缩混成左右声道信号，并且补偿被缩混的信号的能量衰减，W生成2声道左右 输出信号。更加详细地，解相关器241生成用于各自的多声道输入信号Χ0、Χ1、···、Χ_Μ-1的解 相关信号00、01、-，、0_1-1。解相关器241是一种用于调节两耳之间的一致的预处理器，并且 可W采用相位随机数发生器，并且为了计算复杂性的效率可为单位改变输入信号 的相位。
[0138] 同时，BRIR参数化单元(未被图示）的IC估计单元213估计IC值，并且将估计的IC值 传输到双耳擅染单元(未被图示）。双耳擅染单元可W将接收到的1C值存储在存储器255中， 并且将接收到的1C值传输到1C匹配单元243 JC匹配单元可W从BRIR参数化单元直接地接 收1C值，并且可替选地，获取被预存储在存储器255中的1C值。在1C匹配单元243中，用于各 自的声道的输入信号和解相关信号被擅染成左声道信号乂_10心_1^、一心_1^_1-1和右声道 信号X_R0、X_R1、…、X_R_M-1。1C匹配单元243通过参考1C值执行在用于每个声道的解相关 信号和初始输入信号之间的加权和，并且通过加权和调节在两个声道信号之间的一致。在 运样的情况下，因为用于每个声道的输入信号是子带域的信号，所W可W实现前述的FDIC 匹配。当通过X表示初始声道信号，通过D表示解相关声道信号，并且通过Φ表示相对应的子 带的I別寸，可W通过下面给出的等式表达经历1C匹配的左右声道信号乂_1^肋_尺。
[0139] [等式 6]
[0140] X_L = sqd((l+<!) )/2^±sqd((l-<!) )/2)D
[0141 ] X-民=sqrt( (Η- )/2 ) X 草sqrt( (1 >)/2 ) D
[0142] (W相同顺序的双重符号）
[0143] 缩混单元244a和244b通过IC匹配分别缩混用于左右声道的多个被擅染的左声道 信号和多个被擅染的右声道信号，从而生成2声道左右擅染信号。接下来，能量衰减匹配单 元246a和246b分别反映2声道左右擅染信号的能量衰减，W生成2声道左右输出信号Y_Lp和 Y_Rp。能量衰减匹配单元246a和24化通过使用从缩混子带滤波器生成单元216获得的缩混 子带滤波器系数执行能量衰减匹配。通过用于相对应的子带的各自的声道的后子带滤波器 系数的组合，生成缩混子带滤波器系数。换言之，关于对应的子带，缩混子带滤波器系数可 W包括具有用于每个声道的后子带滤波器系数的振幅响应的均方根值的子带滤波器系数。 因此，缩混子带滤波器系数反映用于相对应的子带信号的后期混响部分的能量衰减特性。 缩混子带滤波器系数可W包括根据示例性实施例在单声或者立体声中缩混的缩混子带滤 波器系数，并且从与FDI讨目似的BRIR参数化单元直接接收或者从预存储在存储器225中的 值获得。当通过BRIRk表示其中在Μ个声道当中的第k个声道中截取的F部分的BRIR，通过 BRI化,k表示其中在第k个声道中截取直到第N个采样的BRIR，并且通过BRIRe表示在补偿第N 个采样之后的被截取的部分的能量的缩混子带滤波器系数时，通过使用下面给出的等式可 W 获得 BRIRe。
[0144] [等式 7]
[0147]图13图示根据本发明的又一示例性实施例的后期混响生成单元240C。图13的后期 混响生成单元240C的各自的组件可W与在图12的示例性实施例中描述的后期混响生成单 元240B的各自的组件相同，并且后期混响生成单元240C和后期混响生成单元240B两者可W 在各自的组件当中的数据处理顺序上彼此部分不同。
[0148] 根据图13的示例性实施例，后期混响生成单元240C可W通过使用用于各自的声道 的后期混响部分的FDIC彼此相同来进一步减少计算复杂性。即，后期混响生成单元240C将 各自的多声道信号缩混成左右声道信号，调节被缩混的左右声道信号的1C，并且补偿对于 调节的左右声道信号的能量衰减，从而生成2声道左右输出信号。
[0149] 更加详细地，解相关器241生成用于各自的多声道输入信号乂0^1、-，心_1-1的解 相关信号DO、D1、…、D_M-1。接下来，缩混单元244a和244b分别缩混多声道输入信号和解相 关信号，W生成2声道缩混信号《_01《和0_01《。1C匹配单元243通过参考1C值执行2声道缩混 信号的加权和W调节两个声道信号之间的一致。能量衰减匹配单元246a和246b分别执行对 于通过1C匹配单元243经历1C匹配的左右声道信号乂_1^肋_1?的能量补偿，W生成2声道左右 输出信号在运样的情况下，用于能量补偿的能量补偿信息可W包括用于每个 子带的缩混子带滤波器系数。
[0150] 图14图示根据本发明的又一示例性实施例的后期混响生成单元240D。图14的后期 混响生成单元240D的各自的组件可W与在图12和图13的示例性实施例中描述的后期混响 生成单元240B和240C的各自的组件相同，但是具有被更加简化的特征。
[0151] 首先，缩混单元244缩混用于每个子带的多声道输入信号乂0^1、-，心_1-1^生成 单声道缩混信号（即，单声子带信号)X_DMX。能量衰减单元246反映用于生成的单声道缩混 信号的能量衰减。在运样的情况下，用于每个子带的缩混子带滤波器系数可W被使用W便 于反映能量衰减。接下来，解相关器241生成通过能量衰减反映的单声道缩混信号的解相关 信号D_DMXJC匹配单元243通过参考FDIC值执行反映能量衰减的单声缩混信号和解相关信 号的加权和，并且通过加权和生成2声道左右输出信号￥_1^9和￥_1^)。根据图14的示例性实施 例，因为仅关于单声缩混信号X_DMX执行能量衰减匹配一次，所W可W进一步节省计算复杂 性。
[0152] <高频带的QTDL处理〉
[0153] 接下来，将会参考图15和图16描述本发明的QT化处理的各种示例性实施例。即，参 考图15和图16将会描述在QMF域中执行QTDL处理的图2的QT化处理单元250的各种示例性实 施例。在图15和图16的示例性实施例中，假定多声道输入信号作为QMF域的子带信号被接 收。因此，在图15和图16的示例性实施例中，抽头延迟线滤波器和单抽头延迟线滤波器可W 执行用于每个QMF子带的处理。此外，仅关于基于预先确定的常数或者预先确定的频带分类 的高频带的输入信号执行QT化处理，如上所述。当谱带复制（SBR)被应用于输入音频信号 时，高频带可W对应于SBR带。在图15和图16的示例性实施例中，将会省略与先前的附图的 示例性实施例重复的部分的详细描述。
[0154] 被用于高频带的有效编码的谱带(SBR)是用于通过重新延伸由于在低比特率编码 中扔掉高频带的信号而变窄的带宽来确保与原始信号一样多的带宽的工具。在运样的情况 下，通过使用被编码和发送的低频带的信息和通过编码器发送的高频带信号的附加信息生 成高频带。然而，由于不精确的谐波的生成，在通过使用SBR产生的高频分量中可能出现失 真。此外，SBR带是高频带，并且如上所述，相对应的频带的混响时间非常短。即，SBR带的 BRIR子带滤波器可W具有少的有效信息和高的衰减率。因此，在用于与SBR带相对应的高频 带的BRIR擅染中，与执行卷积相比，在对音质的计算复杂性方面，通过使用少量的有效的抽 头执行擅染可w仍然更加有效。
[0155] 图15图示根据本发明的示例性实施例的QT化处理单元250A。根据图15的示例性实 施例，QTDL处理单元250A通过使用抽头延迟线滤波器执行用于多声道输入信号X0、X1、…、 X_M-1的每个子带的滤波。抽头延迟线滤波器关于每个声道信号执行仅少量的预先确定的 抽头的卷积。在运样的情况下，基于从与有关子带信号相对应的BRIR子带滤波器系数直接 提取的系数可W确定此时使用的少量的抽头。参数包括用于要被用于抽头延迟线滤波器的 每个抽头的延迟信息和与其相对应的增益信息。
[0156] 通过复杂性质量控制可W确定被用于抽头延迟线滤波器的数目。基于被确定的抽 头的数目，QTDL处理单元250A从BRIR参数化单元接收对应于用于每个声道和用于每个子带 的抽头的有关数目的参数集(增益信息和延迟信息）。在运样的情况下，接收到的参数集可 W从与有关子带信号相对应的BRIR子带滤波器系数提取，并且根据各种示例性实施例被确 定。例如，按照绝对值的顺序、按照实数部分的值的顺序、或者按照虚数部分的值的顺序，在 相对应的BRIR子带滤波器系数的多个峰值当中，与被确定的抽头的数目一样多的、用于每 个被提取的峰值的参数集，可W被接收。在运样的情况下，每个参数的延迟信息指示相对应 的峰值的位置信息，并且在QMF域中具有基于采样的整数值。此外，基于与延迟信息相对应 的峰值的大小确定增益信息。在运样的情况下，作为增益信息，在用于整个子带滤波器系数 的能量补偿被执行之后的相对应的峰值的加权值，W及子带滤波器系数中的相对应的峰值 本身，可W被使用。通过使用用于相对应的峰值的加权值的实数和加权值的虚数两者从而 具有复值来获得增益信息。
[0157] 通过抽头延迟线滤波器滤波的多个声道被共计到用于每个子带的2声道左右输出 信号同时，在用于双耳擅染的初始化过程期间在QTDL处理单元250A的每个抽头 延迟线滤波器中使用的参数可W被存储在存储器中，并且在没有用于提取参数的附加的操 作的情况下可W执行QTDL处理。
[0158] 图16图示根据本发明的另一示例性实施例的QTDL处理单元250B。根据图16的示例 性实施例，QTDL处理单元250B通过使用单抽头延迟线滤波器执行用于多声道输入信号X0、 Χ1、···、Χ_Μ-1的每个子带的滤波。将会理解的是，相对于每个声道信号，单抽头延迟线滤波 器仅在一个抽头中执行卷积。在运样的情况下，可W基于从与有关子带信号相对应的BRIR 子带滤波器系数中直接提取的参数确定被使用的抽头。参数包括从BRIR子带滤波器系数中 提取的延迟信息和与其相对应的增益信息。
[0159] 在图16中，L_0、L_l、…L_M-l分别表示用于与Μ个声道左耳有关的BRIR的延迟，并 且R_0、R_1、-，、R_M-1分别表示用于与Μ个声道右耳有关的BRIR的延迟。在运样的情况下，延 迟信息表示在BRIR子带滤波器系数当中W绝对值、实数部的值、或者虚数部的值的顺序的 最大峰值的位置信息。此外，在图16中，分别地，G_L_0、G_L_1、一、G_L_M-1表示与左声道的 各自的延迟信息相对应的增益，并且G_R_0、G_R_1、…、G_R_M-1表示与右声道的各自的延迟 信息相对应的增益。如所描述的，基于与延迟信息相对应的峰值的大小确定每个增益信息。 在运样的情况下，作为增益信息，在用于整个子带滤波器系数的能量补偿之后的相对应的 峰值的加权值W及在子带滤波器系数中的相对应的峰值可W被使用。通过使用用于相对应 的峰值的加权值的实数和加权值的虚数两者获得增益信息。
[0160] 如在图15的示例性实施例中所描述的，通过单抽头延迟线滤波器滤波的多个声道 信号与用于每个子带的2声道左右输出信号Y_L和Y_R被求和。此外，在用于双耳擅染的初始 化过程期间，在QTDL处理单元250B的每个单抽头延迟线滤波器中使用的参数可W被存储在 存储器中，并且在没有用于提取参数的附加的操作的情况下可W执行QTOL处理。
[0161] <分块快速卷积〉
[0162] 图17至图19图示根据本发明的示例性实施例的通过使用分块快速卷积处理音频 信号的方法。在图17至图19的示例性实施例中，将会省略与先前的附图的示例性实施例重 复的部分的详细描述。
[0163] 根据本发明的示例性实施例，在效率和性能方面，为了优化双耳擅染，可W执行预 先确定的分块快速卷积。基于FFT的快速卷积具有下述特性，其中，随着FFT的大小增加，计 算量减少，但是整个处理延迟增加并且存储器使用增加。当具有1秒的长度的BRIRW具有相 对应长度的两倍的长度的FFT大小经历快速卷积时，在计算量方面其是有效的，但是与1秒 相对应的延迟出现并且要求与其相对应的缓冲器和处理存储器。具有长延迟时间的音频信 号处理方法不适合于用于实时数据处理的应用。因为帖是通过音频信号处理设备能够执行 解码的最小单元，所W甚至在双耳擅染中，优选地W与帖单元相对应的大小执行分块快速 卷积。
[0164] 图17图示使用分块快速卷积的音频信号处理方法的示例性实施例。与前述的示例 性实施例相似，在图17的示例性实施例中，原型FIR滤波器被转换成I子带滤波器，并且Fi表 示子带i的被截断的子带滤波器。各自的子带带0至带1-1可W表示频域中的子带，即，QMF子 带。在QMF域中，可W使用总共64个子带，但是本发明不限于此。此外，N表示最初的子带滤波 器的长度(抽头的数目），并且通过NUN2W及N3分别表示被截断的子带滤波器的长度。即， 区段1中包括的子带i的被截断的子带滤波器系数的长度具有N1值，在区段2中包括的子带i 的被截断的子带滤波器系数的长度具有N2值，并且在区段3中包括的子带i的被截断的子带 滤波器系数的长度具有N3值。在运样的情况下，长度N、N1、N2、W及N3表示在降采样的QMF域 中的抽头的数目。如上所述，可W为如在图17中所图示的子带组区段1、区段2W及区段3中 的每一个独立地确定被截断的子带滤波器的长度，否则为各个子带独立地确定。
[0165] 参考图17,本发明的BRIR参数化单元(可替选地，双耳擅染单元)在相对应的子带 (可替选地，子带组）中通过预先确定的块大小执行被截断的子带滤波器的快速傅里叶变换 W生成FFT滤波器系数。在运样的情况下，基于预先确定的最大FFT大小L确定在各个子带i 中的预先确定的块的长度M_i。更加详细地，在子带i中的预先确定的块的长度M_i可W通过 下面的等式来表达。
[0166] [等式 8]
[0167] M_i=min(X,2N_i)
[0168] 其中，L表示预先确定的最大FFT大小，并且N_i表示被截断的子带滤波器系数的参 考滤波器长度。
[0169] 目P，预先确定的块的长度M_i可W被确定为是在被截断的子带滤波器系数的参考 滤波器长度N_i的两倍的值和预先确定的最大FFT大小L之间的较小的值。当被截断的子带 滤波器系数的参考滤波器长度N_i的两倍的值等于或者大于(可替选地，大于)最大FFT大小 L时，像图17的区段1和区段2-样，预先确定的块的长度M_i被确定为最大FFT大小L。然而， 当被截断的子带滤波器系数的参考滤波器参考N_i的两倍的值小于（等于或者小于）最大 FFT大小L时，像图17的区段3-样，预先确定的块的长度M_i被确定为是参考滤波器长度N_i 的两倍的值。如下面所描述的，因为通过零填充被截断的子带滤波器系数被延伸到双倍长 度并且其后经历快速傅里叶变换，所W可W基于在参考滤波器长度N_i的两倍的值和预先 确定的最大Fi^L大小L之间的比较结果确定用于快速傅里叶变换的块的长度M_i。
[0170] 在此，参考滤波器长度N_iW2的幕的形式表示在相对应的子带中的滤波器阶数 (即，被截断的子带滤波器系数的长度）的真值和近似值中的任意一个。即，当子带i的滤波 器阶数具有2的幕的形式时，相对应的滤波器阶数被用作子带i中的参考滤波器长度N_i，并 且当子带i的滤波器阶数不具有2的幕的形式时，W2的幕的形式的相对应的滤波器阶数的 上舍入值或者下舍入值被用作参考滤波器长度N_i。作为示例，因为作为区段3的子带1-1的 滤波器阶数的N3不是2的幕的值，所WW2的幕的形式的近似值的N3'可W被用作相对应的 子带的参考滤波器长度N_I-l。在运样的情况下，因为参考滤波器长度N3'的两倍的值小于 最大FFT大小L，所W子带1-1中的预先确定的块的长度M_I-1可W被设置为是N3'的两倍的 值。同时，根据本发明的示例性示例，预先确定的块的长度和参考滤波器长度N_i可W是2的 幕的值。
[0171] 如上所述，当各个子带中的块长度M_i被确定时，通过被确定的块大小执行被截断 的子带滤波器系数的快速傅里叶变换。更加详细地，BRIR参数化单元将被截断的子带滤波 器系数分割了预先确定的块大小的一半M_i/2。在图17中图示的F部分的虚线边界的区域表 示被分割了预先确定的块大小的一半的子带滤波器系数。接下来，BRIR参数化单元通过使 用各自的被分割的滤波器系数生成预先确定的块大小M_i的临时滤波器系数。在运样的情 况下，通过被分割的滤波器系数组成临时滤波器系数的前半部分，并且通过零填充的值组 成后半部分。因此，通过使用预先确定的块的一半长度的滤波器系数生成预先确定的块的 长度M_i的临时滤波器系数。接下来，BRIR参数化单元执行被生成的临时滤波器系数的快速 傅里叶变换W生成FFT滤波器系数。被生成的FFT滤波器系数可W被用于对于输入音频信号 的预先确定的分块快速卷积。即，如下所描述双耳擅染器的快速卷积单元可W通过按照子 帖大小(例如，复数乘法)将被生成的FFT滤波器系数和与其相对应的多音频信号相乘W执 行快速卷积。
[0172] 如上所述，根据本发明的示例性实施例，BRIR参数化单元通过为各个子带(可替选 地，为各个子带组)单独地确定的块大小执行被截断的子带滤波器系数的快速傅里叶变换 W生成FFT滤波器系数。结果，可W执行对于各个子带（可替选地，用于各个子带组)使用不 同数目的块的快速卷积。在运样的情况下，子带i中的块的数目ki可W满足下述等式。
[0173] [等式 9]
[0174] 2N_i=ki*M_i(ki 是自然数）
[0175] 目P，子带i中的块的数目ki可W被确定为通过将相对应的子带中的参考滤波器长 度N_i的两倍的值除W预先确定的块M_i的长度而获取的值。
[0176] 图18图示使用分块快速卷积的音频信号处理方法的另一示例性实施例。在图18的 示例性实施例中，与图10或者图17的示例性实施例相同或者对应于图10或者图17的示例性 实施例的部分的重复描述将会被省略。
[0177] 参考图18,基于预先确定的频带(QMF带i)，频域的多个子带可W被划分成具有低 频率的第一子带组区段1和具有高频率的第二子带组区段2。可替选地，基于预先确定的第 一频带(QMF带i)和第二频带(QMF带j)，多个子带可W被划分成Ξ个子带组，即，第一子带组 区段1、第二子带组区段2、W及第Ξ子带组区段3。在运样的情况下，可W相对于第一子带组 的输入子带信号执行使用分块快速卷积的F部分擅染，并且可W相对于第二子带组的输入 子带信号执行QT化处理。另外，可W不相对于第Ξ子带组的子带信号执行擅染。
[0178] 因此，根据本发明的示例性实施例，可W相对于第一子带组的前子带滤波器Fi限 制性地执行预先确定的分块FFT滤波器系数生成过程。同时，根据示例性实施例，可W通过 如上所述的后期混响产生单元执行第一子带组的子带信号的P部分擅染。根据示例性实施 例，后期混响产生单元也可W执行预先确定的分块P部分擅染。为此，BRIR参数化单元可W 分别生成与第一子带组的后子带滤波器Pi相对应的预先确定的分块FFT滤波器系数。虽然 在图18中未被图示，但是BRIR参数化单元通过预先确定的块大小执行各个后子带滤波器Pi 或者缩混子带滤波器(缩混P部分)的快速傅里叶变换W生成至少一个FFT滤波器系数。被生 成的FFT滤波器系数被传送到后期混响产生单元W被用于输入音频信号的P部分擅染。即， 后期混响产生单元可W通过按照子帖大小将获取的FFT滤波器系数和与其相对应的第一子 带组的子带信号复数相乘W执行P部分擅染。
[0179] 此外，如上所述，BRIR参数化单元从第二子带组的各个子带滤波器系数获取至少 一个参数，并且将获取的参数传送到QT化处理单元。如上所述，QTDL处理单元通过使用获取 的参数执行第二子带组的各个子带信号的抽头延迟线滤波。同时，根据本发明的另外的示 例性实施例，BRIR参数化单元执行获取的参数的预先确定的分块快速傅里叶变换W生成至 少一个FFT滤波器系数。BRIR参数化单元将与第二子带组的各个子带相对应的FFT滤波器传 送到QTOL处理单元。QTDL处理单元可W通过按照子帖大小将获取的FFT滤波器系数和与其 相对应的第二子带组的子带信号复数相乘W执行滤波。
[0180] 可W通过被包括在双耳擅染器中的BRIR参数化单元执行在图17和图18中描述的 FFT滤波器系数产生过程。然而，本发明不限于此，并且通过与双耳擅染单元分离的BRIR参 数化单元可W执行FFT滤波器系数生成过程。在运样的情况下，BRIR参数化单元将被截断的 子带滤波器系数作为分块FFT滤波器系数的形式传送到双耳擅染单元。即，由其中已经执行 分块快速傅里叶变换的至少一个FFT滤波器系数组成从BRIR参数化单元传送到双耳擅染单 元的被截断的子带滤波器系数。
[0181] 此外，在前述的示例性实施例中，描述了通过BRIR参数化单元执行使用分块快速 傅里叶变换的FFT滤波器系数生成过程，但是本发明不限于此。即，根据本发明的另一示例 性实施例，可W通过双耳擅染单元执行前述的FFT滤波器系数产生过程。BRIR参数化单元将 通过截断BRIR子带滤波器系数获得的被截断的子带滤波器系数发送到双耳擅染单元。双耳 擅染单元从BRIR参数化单元接收被截断的子带滤波器系数，并且通过预先确定的块大小执 行被截断的子带滤波器系数的快速傅里叶变换W生成至少一个FFT滤波器系数。
[0182] 图19图示在本发明的快速卷积单元中的音频信号处理过程的示例性实施例。根据 图19的示例性实施例，本发明的快速卷积单元执行分块快速卷积W滤波输入的音频信号。
[0183] 首先，快速卷积单元获得组成用于滤波各个子带信号的被截断的子带滤波器系数 的至少一个FFT滤波器系数。为此，快速卷积单元可W从BRIR参数化单元接收FFT滤波器系 数。根据本发明的另一示例性实施例，快速卷积单元(可替选地，包括快速卷积单元的双耳 擅染单元)从BRIR参数化单元接收被截断的子带滤波器系数，并且通过预先确定的块大小 执行被截断的子带滤波器系数的快速傅里叶变换W生成FFT滤波器系数。根据前述的示例 性实施例，各个子带中的预先确定的块的长度M_i被确定，并且其数目对应于有关子带中的 块的数目ki的FFT滤波器系数FFT coef.l至FFT coef.ki被获得。
[0184] 同时，快速卷积单元在相对应的子带中基于预先确定的子帖大小执行输入音频信 号的各个子带信号的快速傅里叶变换。为此，快速卷积单元通过预先确定的子帖大小分割 子带信号。为了执行在输入音频信号和被截断的子带滤波器系数之间的分块快速卷积，基 于在相对应的子带中的预先确定的块的长度M_i确定子带的长度。根据本发明的示例性实 施例，因为通过零填充各自的被分割的子带被延伸到双倍长度，并且其后，经历快速傅里叶 变换，所W子带的长度可W被确定为预先确定的块的长度1_1/2的一半。根据本发明的示例 性实施例，子帖的长度可W被设置W具有2的幕的值。接下来，快速卷积单元通过使用被分 割的子帖（即，子帖1至子帖ki)分别生成具有子帖的双倍长度（即，长度M_i)的临时子帖。在 运样的情况下，通过被分割的子帖组成临时子帖的前半部分并且通过零填充的值组成后一 半部分。快速卷积单元执行被生成的临时子帖的快速傅里叶变换W生成FFT子帖。快速卷积 单元将快速傅里叶变换的子帖（即，FFT子帖）和FFT滤波器系数相乘W生成被滤波的子帖。 快速卷积单元的复数乘法器CMPY执行FFT子帖和FFT滤波器系数的复数乘法W生成被滤波 的子帖。接下来，快速卷积单元执行各个被滤波的子帖的快速傅里叶变换W生成快速卷积 的子帖（即，快速卷积子帖）。快速卷积单元重叠添加至少一个逆快速傅里叶变换的子帖 (即，快速卷积子帖）W生成被滤波的子带信号。被滤波的子带信号可W在相对应的子带中 配置输出音频信号。根据示例性实施例，在逆快速傅里叶变换之前或者之后的步骤中，用于 相同子帖的各个声道的子帖可W被累加到用于两个输出声道的子帖。
[0185] 此外，为了最小化逆快速傅里叶变换的计算复杂性，通过在相对应的子带的第一 FFT滤波器系数，即，FFT coef.m(m是2至ki)之后执行关于FFT滤波器系数的复数乘法获得 的被滤波的子帖被存储在存储器(缓冲器）中，并且结果，当在当前子帖之后的子帖被处理 时可W累加被滤波的子帖，并且其后，经历逆快速傅里叶变换。例如，通过在第一FFT子帖 (即，FFT子帖1)和第二FFT滤波器系数（即，FFT coef.2)之间的复数乘法获得的被滤波的子 帖被存储在缓冲器中，并且其后，被滤波的子帖被添加到在与第二子帖相对应的时间通过 在第二FFT子帖（即，FFT子帖2)和第一FFT滤波器系数（即，FFT coef. 1)之间的复数乘法获 得的被滤波的子帖，并且可W相对于被添加的子帖执行逆快速傅里叶变换。类似地，通过在 第一FFT子帖（即，FFT子帖1)和第SFFT滤波器系数（即，FFT coef.3)之间的复数乘法获得 的被滤波的帖和通过在第二FFT子帖（即，FFT子帖2)和第二FFT滤波器系数（即，FFT coef.2)之间的复数乘法获得的被滤波的子帖可W被存储在缓冲器中。被存储在缓冲器中 的被滤波的子帖被添加到在与第Ξ子帖相对应的时间处通过在第SFFT子帖（即，FFT子帖 3)和第一FFT滤波器系数(即，FFT coef.l)之间的复数乘法获得的被滤波的子帖，并且可W 相对于被添加的子帖执行逆快速傅里叶变换。
[0186] 作为本发明的又一示例性实施例，子帖的长度可W具有预先确定的块的长度M_i/ 2的一半的值。在运样的情况下，各个子帖可W通过零填充被延伸到预先确定的块的长度M_ i，并且其后，经历快速傅里叶变换。此外，在重叠添加通过使用快速卷积单元的复数乘法器 CMPY生成的被滤波的子帖的情况下，可W不基于子帖的长度而是基于预先确定的块的长度 M_i/2的一半确定重叠间隔。
[0187] 在上文中，通过详细地示例性实施例已经描述了本发明，但是在没有脱离本发明 的目的和范围的情况下本领域的技术人员能够进行本发明的修改和变化。即，在本发明中 已经描述了用于多音频信号的双耳擅染的示例性实施例，但是本发明能够被相似地应用并 且甚至延伸到包括视频信号W及音频信号的各种多媒体信号。因此，分析从详细描述中本 领域的技术人员能够容易地类推的事件和本发明的示例性实施例被包括在本发明的权利 要求中。
[0188] 本发明的模式
[0189] 如上面，W最佳模式已经描述了有关特征。
[0190] 工业实用性
[0191] 本发明能够被应用于处理多媒体信号的各种形式的设备，包括用于处理音频信号 的设备和用于处理视频信号的设备等等。此外，本发明能够被应用于用于滤波多媒体信号 的各种参数化设备。
【主权项】
1. 一种用于生成音频信号的滤波器的方法，包括： 接收用于滤波输入音频信号的每个子带信号的至少一个原型滤波器系数； 将所述原型滤波器系数转换成多个子带滤波器系数； 基于通过至少部分地使用从相对应的子带滤波器系数提取的特性信息获取的滤波器 阶数信息截断所述子带滤波器系数中的每个，至少一个被截断的子带滤波器系数的长度不 同于另一子带的被截断的子带滤波器系数的长度；以及 在相对应的子带中按照预先确定的块大小通过快速傅里叶变换(FFT)被截断的子带滤 波器系数生成FFT滤波器系数。2. 根据权利要求1所述的方法，其中，所述特性信息包括所述相对应的子带滤波器系数 的混响时间信息，并且所述滤波器阶数信息对于每个子带具有单个值。3. 根据权利要求1所述的方法，其中，所述预先确定的块的长度被确定为在所述被截断 的子带滤波器系数的参考滤波器长度的两倍的值和预先确定的最大FFT大小之间的较小 值，并且所述参考滤波器长度以2的幂的形式表示所述滤波器阶数的近似值和真值中的任 意一个。4. 根据权利要求3所述的方法，其中，当所述参考滤波器长度是N并且与其相对应的所 述预先确定的块的长度是Μ时，Μ是2的幂的值并且2N=kM(k是自然数）。5. 根据权利要求1所述的方法，其中，产生所述FFT滤波器系数进一步包括： 按照预先确定的块大小的一半分割所述被截断的子带滤波器系数； 通过使用被分割的滤波器系数生成所述预先确定的块大小的临时滤波器系数，通过所 述被分割的滤波器系数组成所述临时滤波器系数的前半部分并且通过零填充的值组成所 述临时滤波器系数的后半部分；以及 快速傅里叶变换生成的临时滤波器系数。6. 根据权利要求1所述的方法，其中，所述原型滤波器系数是时域的BRIR滤波器系数。7. -种用于生成音频信号的滤波器的参数化单元，其中，所述参数化单元被配置成： 接收用于滤波输入音频信号的每个子带信号的至少一个原型滤波器系数； 将所述原型滤波器系数转换成多个子带滤波器系数； 基于通过至少部分地使用从相对应的子带滤波器系数提取的特性信息获取的滤波器 阶数信息截断所述子带滤波器系数中的每个，至少一个被截断的子带滤波器系数的长度不 同于另一子带的被截断的子带滤波器系数的长度；以及 在所述相对应的子带中按照预先确定的块大小通过快速傅里叶变换(FFT)所述被截断 的子带滤波器系数生成FFT滤波器系数。8. 根据权利要求7所述的参数化单元，其中，所述特性信息包括相对应的子带滤波器系 数的混响时间信息，并且所述滤波器阶数信息对于每个子带具有单个值。9. 根据权利要求7所述的参数化单元，其中，所述预先确定的块的长度被确定为在所述 被截断的子带滤波器系数的参考滤波器长度的两倍的值和预先确定的最大FFT大小之间的 较小值，并且所述参考滤波器长度以2的幂的形式表示所述滤波器阶数的近似值和真值中 的任意一个。10. 根据权利要求9所述的参数化单元，其中，当所述参考滤波器长度是N并且与其相对 应的所述预先确定的块的长度是Μ时，Μ是2的幂的值并且2N=kM(k是自然数）。11. 根据权利要求7所述的参数化单元，其中，所述参数化单元进一步被配置成： 按照预先确定的块大小的一半分割所述被截断的子带滤波器系数； 通过使用被分割的滤波器系数生成所述预先确定的块大小的临时滤波器系数，通过所 述被分割的滤波器系数组成所述临时滤波器系数的前半部分并且通过零填充的值组成所 述临时滤波器系数的后半部分;并且 快速傅里叶变换生成的临时滤波器系数。12. 根据权利要求7所述的参数化单元，其中，所述原型滤波器系数是时域的BRIR滤波 器系数。
【文档编号】H04S3/00GK105874819SQ201480058172
【公开日】2016年8月17日
【申请日】2014年10月22日
【发明人】李泰圭, 吴贤午, 徐廷, 徐廷一, 李用主, 白承权, 姜京玉, 张大永, 朴荣喆, 尹大熙
【申请人】韩国电子通信研究院, 延世大学工业学术合作社, 韦勒斯标准与技术协会公司