专利名称：音频或视频编码器、音频或视频解码器及利用可变预测方向处理多信道音频或视频信号 ...的制作方法
技术领域：
本发明涉及音频或视频处理，且具体地，涉及具有两个以上信道信号的多信道信号的多信道音频或视频处理。
背景技术：
已知在多信道或立体声处理领域中应用所谓的中/侧(mid/side)立体声编码。在此概念中，形成了左或第一音频信道信号与右或第二音频信道信号的合成，以获得中间或单信号M。此外，形成了左或第一信道信号与右或第二信道信号之间的差，以获得侧信号S。当左信号与右信号彼此非常相似时，由于侧信号将变得非常小，所以该中/侧编码方法导致了显著的编码增益。通常，当要量化/熵编码的值的范围变得更小时，量化器/熵编码器级的编码增益将变得更高。因此，对于PCM或基于霍夫曼或算术熵编码器，当侧信号变得更小时，编码增益增大。然而，存在中/侧编码将不会导致编码增益的特定情况。该情况可能在两个信道中的信号彼此例如相移90°时发生。则中信号和侧信号可处于非常相似的范围内，且因此，利用熵编码器来编码中信号和侧信号将不会产生编码增益且甚至可能产生增大的位率。因此，例如在侧信号未相对于原始左信号变小到特定程度的情况下，可应用频率选择性的中/侧编码以停用频带中的中/侧编码。尽管当左右信号相同时侧信号将变为零，但由于侧信号消除而产生了最大编码增益，当中信号与侧信号关于波形形状相同时，情况再次变得不同，但两个信号之间唯一不同是它们的总振幅。在该情况下，当另外假定侧信号与中信号无相移时，侧信号显著增大，尽管另一方面，中信号相对于其值的范围不会减少那么多。当该情况发生在特定频带中时，则由于缺少编码增益而将再次停用中/侧编码。中/侧编码可被频率选择性地应用或可替代性地应用在时域中。存在不依赖于与中/侧编码相同的波形方法类型而依赖于基于特定双耳线索的参数处理的替代性多信道编码技术。该技术被冠名为术语“双耳线索编码”、“参数立体声编码”或“MPEG环绕编码”。这里，特定线索针对多个频带而计算。这些线索包括内信道量级差、内信道相干性测量、内信道时间差和/或内信道相差。这些方法从假定由听众感受到的多信道印象不必依赖于两个信道的精细波形而是依赖于准确的频率选择性提供的线索或内信道信息开始。这意味着，在渲染机中，必须关注渲染准确反映线索的多信道信号，但波形不具决定性意义。该方法可能在解码器必须应用解相关处理以人工产生彼此解相关的立体声信号的情况下尤其复杂，尽管所有这些信道均源自一个和相同的下混信道。根据它们的实施，为此目的的解相关器复杂且可能引入伪差，尤其在瞬时信号部分的情况下。此外，相比波形编码，参数编码方法是有损编码方法，其不可避免地导致由典型量化引入的以及通过聚焦于双耳线索而非具体波形而引入的信息损失。该方法产生非常低的位率，但可能包括质量折衷。
存在对图7a所示的统一语音和音频编码(USAC)的新发展。核心解码器700在输入端701处执行编码立体声信号的解码操作，该编码立体声信号可以是中/侧编码的。核心解码器在线702上输出中信号且在线703上输出侧或剩余(residual，余差)信号。两个信号由QMF滤波器组704和705转换到QMF域中。随后，应用MPEG环绕解码器706来生成左信道信号707和右信道信号708。这些低频带信号随后被引入频带复制(SBR)解码器709中，解码器709在线710和711上生成宽带左信号和右信号，宽带左信号和右信号随后由QMF合成滤波器组712、713转换到时域中，从而获得宽带左右信号L、R0图7b示出了 MPEG环绕解码器706将执行中/侧解码的情况。可替代地，MPEG环绕解码器块706可执行基于双耳线索的参数解码以由单个单核解码器信号生成立体声信号。自然，MPEG环绕解码器706也可使用诸如内信道量级差、内信道相干性测量或其他这种内信道信息参数的参数信息来生成多个低频带输出信号，该多个低频带输出信号将被输入到SBR解码器块709中。当MPEG环绕解码器块706执行图7b所示中/侧解码时，可应用实际增益因子g，且DMX/RES和L/R分别为在复混合QMF域中给出的下混/剩余和左/右信号。使用块706与块709的结合仅使计算复杂度相比用作基础的立体声解码器小幅增力口，因为信号的复QMF表示已可用作SBR解码器的一部分。然而，在非SBR配置中，由于该实例性64频带分析组和64频带合成组中将需要的必要QMF组，如USAC背景下提出的基于QMF的立体声编码将导致计算复杂度显著增加。仅为立体声编码的目的，必须添加这些滤波器组。然而，在正处于开发中的MPEG USAC系统中，通常在未使用SBR时，也存在高位率的编码模式。
发明内容
本发明的目的在于提供一种改善后的音频或视频处理概念，其一方面产生高编码增益，且另一方面，产生良好音频或视频质量和/或减小的运算复杂度。该目的由根据权利要求1所述的音频或视频解码器、根据权利要求13所述的音频或视频编码器、根据权利要求19所述的音频或视频解码方法、根据权利要求18所述的音频或视频编码方法、根据权利要求19所述的计算机程序或根据权利要求20所述的编码后的多信道音频或视频信号来实现。本发明依赖于高质量波形编码方法的编码增益可通过利用第一合成信号预测第二合成信号来显著增强的研究成果，其中，利用合成规则(诸如中/侧合成规则)，这两个合成信号均源自于原始信号。已发现该预测信息由音频或视频编码器中的预测器来计算，从而满足最优化目标，仅产生很小开销，但却在不损失任何音频或视频质量的情况下使得侧信号所需的位率显著减小，因为本发明的预测终究是基于波形的编码而非基于参数的立体声或多信道编码方法。为减小计算复杂性，优选执行频域编码，其中，预测信息以频带选择方式源自于频域输入数据。用于将时域表示转换成频谱表示的转换算法优选是临界采样过程(critically sampled process)(诸如修改后的离散余弦转换(MDCT)或修改后的离散正弦转换(MDST))，其与复转换的不同之处在于仅计算实值或仅计算虚值，而在复转换中，计算频谱的实值和复值，产生2倍过采样。
此外，切换预测方向的概念实现了具有最少计算量的预测增益的增加。为此，编码器确定指示与预测剩余信号相关联的预测方向的预测方向指示符(prediction directionindicator)。在一种实施方式中，第一合成信号(诸如中信号)用于预测第二合成信号(诸如侧信号)。当中信号的能量高于侧信号的能量时，该方法是有用的。然而，当诸如侧信号的第二合成信号的能量高于第一合成信号的能量时，即当侧信号的能量高于中信号的能量时，则预测方向被逆转且侧信号用于预测中信号。在第一种情况下，即当中信号用于预测侧信号时，中信号、剩余信号、预测信息和指示该预测方向的预测方向指示符从编码器被发送至解码器。在第二种情况下，当第二合成信号用于预测第一合成信号时，诸如当侧信号用于预测中信号时，侧信号(而非中信号)与剩余信号、预测信息和指示该逆转方向的预测方向指示符一起被发送。该过程允许更好地屏蔽所产生的量化噪声。对于在诸如侧信道的第二合成信号中具有其大部分能量的信号，由侧信号S来预测诸如中信号的第一合成信号允许量化噪声的主要部分根据原始声源而平移。这反过来又使得最终输出信号中感知到更合适的误差分布。该过程具有另一优势它提供了有效多信道成对编码，其在仅有两个信道的情况下为有效立体声编码。对于中/侧(Μ/S)编码的预测方向的信号适应性选择确保在计算复杂性的最小增加的情况下对侧信号中具有主导能量的信号的较高预测增益。此外，获得了由于感知到的量化噪声的空间方向向主信号方向的平移而引起的感知上更适合的对所产生的量化噪声的屏蔽。此外，减小了关于在位流中被传送的预测系数的值的范围，这允许更有效的预测信息/系数的编码。该过程对诸如双信道或多信道音频和视频信号的联合转换编码的各类立体声处理应用均是有用的。优选地，使用基于混叠(aliasing)引入和消除的转换。具体地，MDCT即是这种转换且允许在随后的块之间交叉淡入淡出而没有任何开销，这是由于由解码器侧的交叠-相加处理获得的已知时域混叠消除(TDAC)特性所致。优选地，在编码 器中计算、发送至解码器以及在解码器中使用的预测信息包括虚部，该虚部可有利地反映在0°与360°之间任意选择的量的两音频或视频信道之间的相位差。当仅实值转换或者一般地，仅提供实部频谱或仅提供虚部频谱的转换被应用时，计算复杂性显著降低。为利用指示左信号的特定频带与右信号的相应频带之间的相移的这一虚预测信息，实部-虚部转换器或者取决于转换实施、虚部-实部转换器在解码器中被提供以由第一合成信号来计算相对于原始合成信号相位旋转的相位旋转预测信号。该相位旋转预测信号可随后与在位流中传送的预测剩余信号合成以重新产生侧信号，该侧信号最终可与中信号合成以获得特定频带中的解码左信道和该频带中的解码右信道。为提高音频或视频质量，当预测剩余信号在编码器中计算时，应用于解码器侧的相同的实部-虚部或虚部-实部转换器也在编码器侧实施。本发明的优势在于其提供了相比具有相同位率或具有相同音频或视频质量的系统的改善后的音频或视频质量和降低的位率。此外，在通常未使用SBR的情况下，获得了有关在高位速率下的MPEG USAC系统中有用的统一立体声编码的计算效率的优势。这些方法在基本的立体声转换编码器的本地MDCT域中实施基于剩余的预测立体声编码，而不是处理复混合QMF域中的信号。
根据本发明的一个方面，本发明包括用于由MDCT域中的复预测生成立体声信号的设备或方法，其中，复预测利用实数-复数转换在MDCT域中完成，其中，该立体声信号可以是编码器侧的编码立体声信号，或者可替代地，当用于生成立体声信号的设备或方法被应用于解码器侧时可以是解码/发送立体声信号。
随后参照附图来讨论本发明的优选实施方式，其中图1是音频或视频解码器的优选实施方式的框图；图2是音频或视频编码器的优选实施方式的框图；图3a示出了图2的编码器计算器的实施；图3b示出了图2的编码器计算器的替代性实施；图3c示出了应用于编码器侧的中/侧合成规则；图4a示出了图1的解码器计算器的实施；图4b示出了矩阵计算器形式的解码器计算器的替代性实施；图4c示出了对应于图3c所示的合成规则的中/侧逆合成规则；图5a示出了在优选为实值频域的频域中工作的音频或视频编码器的实施方式；图5b示出了在频域中工作的音频或视频解码器的实施；图6a示出了在MDCT域中工作并利用实部_虚部转换的音频或视频编码器的替代性实施；图6b示出了在MDCT域中工作并利用实部_虚部转换的音频或视频解码器；图7a示出了利用立体声解码器和随后连接的SBR解码器的音频后处理器；图7b示出了中/侧上混矩阵；图8a示出了图6a中的MDCT块的详细示图；图8b示出了图6b的MDCr1块的详细示图；图9a示出了以相对于MDCT输出的减小的分辨率运行的优化器的实施；图9b示出了计算预测信息的MDCT频谱和相应的较低分辨率频带的表示；图1Oa示出了图6a或图6b中的实部-虚部转换器的实施；图1Ob示出了图1Oa的虚部频谱计算器的可行实施；图1la示出了具有可逆预测方向的音频编码器的优选实施；图1lb示出了具有用于处理由可逆预测方向生成的剩余信号的能力的相关音频或视频解码器的优选实施；图12a示出了具有可逆预测方向的音频或视频编码器的另一优选实施方式；图12b示出了由预测方向指示符控制的音频或视频解码器的另一实施方式。图13a示出了预测方向标志；图13b示出了取决于预测方向指示符的不同编码器侧预测规则的实施；图13c示出了关于具有第一状态的预测方向指示符的解码器侧计算规则；图13d示出了关于具有第二状态的不同预测方向指示符的解码器侧计算规则；图13e示出了应用在音频或视频编码器或者音频或视频解码器的实施方式中的复值乘法；以及
图14示出了用于确定预测方向指示符的实施方式。
具体实施例方式图1示出了用于解码在输入线100处获得的编码后的多信道音频信号的音频或视频解码器。该编码后的多信道音频信号包括利用用于合成表示多信道音频信号的第一信道信号与第二信道信号的合成规则生成的编码后的第一合成信号、编码后的预测剩余信号和预测信息。该编码后的多信道信号可以是数据流，诸如具有三个复用形式分量的位流。其他侧信息可包括在线100上的编码后的多信道信号中。该信号被输入到输入接口 102中。输入接口 102可被实施为数据流解复用器，其在线104上输出编码后的第一合成信号，在线106上输出编码后的剩余信号，以及在线108上输出预测信息。优选地，该预测信息是具有不等于零的实部和/或异于零的虚部的因子。编码后的合成信号和编码后的剩余信号被输入到信号解码器110中来解码第一合成信号以在线112上获得解码后的第一合成信号。此夕卜，信号解码器110被配置为解码编码后的剩余信号以在线114上获得解码后的剩余信号。根据音频编码器侧的编码处理，该信号解码器可包括熵解码器(诸如霍夫曼解码器、算术解码器或任何其他熵解码器)，以及用于执行与关联音频编码器中的量化运算相匹配的解量化运算的随后连接的解量化级。线112和114上的信号被输入到解码器计算器115中，解码器计算器115在线117上输出第一信道信号，以及在线118上输出第二信道信号，其中，这两个信号是立体声信号或多信道音频信号的两个信道。例如，当多信道音频信号包括五个信道时，则这两个信号是来自多信道信号的两个信道。为完全编码具有五个信道的这种多信道信号，可应用根据图1的两个解码器，其中，第一解码器处理左信道和右信道，第二解码器处理左环绕信道和右环绕信道，以及第三单信道解码器将用于执行中心信道的单信道解码。然而，也可应用波形编码器和参数编码器的其他分组或组合。概括多于两个信道的预测方案的替代性方式将是同时处理三个(或更多个)信号，即利用两个预测系数由第一和第二信号来预测第三合成信号，非常类似于MPEG环绕声中的“二到三”模块。此外，在输入线100处获得的编码后的多信道音频信号包括预测方向指示符。该预测方向指示符(诸如预测方向标志)由输入接口 102从编码后的多信道信号中提取，并转发至解码器计算器116，使得该解码器计算器根据预测信息、解码后的第一(或第二)合成信号和由输入接口 102提供的预测方向指示符来计算解码后的多信道信号。解码器计算器116被配置为利用解码后的剩余信号114、预测信息108和解码后的第一合成信号112来计算具有解码后的第一信道信号117和解码后的第二信道信号118的解码后的多信道信号。具体地，解码器计算器116被配置为以使解码后的第一信道信号和解码后的第二信道信号至少为输入到相应编码器中的多信道信号的第一信道信号和第二信道信号的近似这一方式来工作，当生成第一合成信号和预测剩余信号时，解码后的第一信道信号和解码后的第二信道信号由合成规则来合成。具体地，线108上的预测信息包括异于零的实值部分和/或异于零的虚部。解码器计算器116可以不同方式来实施。第一实施在图4a中示出。该实施包括预测器1160、合成信号计算器1161和合成器1162。该预测器接收解码后的第一合成信号112和预测信息108，并输出预测信号1163。具体地，预测器1160被配置为向解码后的第一合成信号112或源自于解码后的第一合成信号的信号应用预测信息108。用于导出应用预测信息108的该信号的导出规则可以是实部-虚部转换，或等价地，虚部-实部转换或加权运算，或者根据实施，相移运算或合成的加权/相移运算。预测信号1163与解码后的剩余信号一起输入到合成信号计算器1161中以计算解码后的第二合成信号1165。信号112和1165均被输入到合成器1162中，合成器1162合成解码后的第一合成信号与第二合成信号以分别在输出线1166和1167上获得具有解码后的第一信道信号和解码后的第二信道信号的解码后的多信道音频信号。可替代地，该解码器计算器被实施为矩阵计算器1168，该矩阵计算器1168接收解码后的第一合成信号或信号M、解码后的剩余信号或信号D以及预测信息α 108作为输入。矩阵计算器1168向信号M、D应用如1169所示的转换矩阵以获得输出信号L、R，其中，L是解码后的第一信道信号，以及R是解码后的第二信道信号。图4b中的符号类似于具有左信道L和右信道R的立体声符号。该符号已被应用以提供更简单的理解，但对于本领域技术人员而言，显然信号L、R可以是具有多于两个信道信号的多信道信号中的两个信道信号的任何合成。矩阵运算1169将图4a的块1160、1161和1162中的运算统一成一种“单次”矩阵计算，且向图4a电路的输入和从图4a电路的输出与向矩阵计算器1168的输入或从矩阵计算器1168的输出相同。图4c示出了关于由图4a中的合成器1162应用的逆合成规则的一个实例。具体地，该合成规则类似于已知的中/侧编码中的解码器侧合成规则，其中，L=M+S，且R=M-S。需要理解，由图4c中的逆合成规则使用的信号S是由合成信号计算器计算的信号，即线1163上的预测信号与线114上的解码后的剩余信号的合成。需要理解，在该说明书中，线上的信号有时由用于该线的附图标记来命名，或者有时由已属于该线的附图标记本身来指示。因此，该符号如下具有特定信号的线指示信号本身。线可以是硬连线实施中的物理线。然而，在计算机化实施中，物理线并不存在，但由该线表示的信号从一个计算模块被发送至另一计算模块。图1lb示出了根据在预测方向指示符输入401处提供的预测方向指示符来工作的解码器计算器的另一优选实施。根据预测方向指示符的状态，应用402所示的第一计算规则或403所示的第二计算规则。另一计算规则402在输出处提供了第一信道信号和第二信道信号，且第一计算规则可如后续描述的图13c所示来实施。在第一合成信号为中信号且第二合成信号为侧信号的特定实施方式中，预测方向指示符具有“O”值，以及预测从第一合成信号向第二合成信号执行。在该情况下，输入404具有中信号，即第一合成信号。然而，当预测方向指示符等于“I”时，则开关405使输入404与第二计算规则装置403的输入连接。在该情况下，执行从诸如侧信号的第二合成信号到诸如中信号的第一合成信号的预测，且输入404将具有侧信号而非中信号。第二计算规则装置403将再次输出第一信道信号和第二信道信号，但用于计算这两个信号(即立体声实施方式中的左信号和右信号)的规则将是不同的。关于第二计算规则的特定 实施方式在后续讨论的图13d中示出。图2示出了用于编码具有两个以上信道信号的多信道音频信号200的音频编码器，其中，第一信道信号在201处示出且第二信道在202处示出。两个信号均被输入到编码器计算器203中以利用第一信道信号201和第二信道信号202以及预测信息206来计算第一合成信号204和预测剩余信号205，使得当预测剩余信号205与源自于第一合成信号204和预测信息206的预测信号合成时，产生第二合成信号，其中，利用合成规则，第一合成信号和第二合成信号均可从第一信道信号201和第二信道信号202获得。
该预测信息由用于计算预测信息206的优化器207生成，使得预测剩余信号满足最优化目标208。第一合成信号204和剩余信号205被输入到信号编码器209中以编码第一合成信号204来获得编码后的第一合成信号210以及编码剩余信号205来获得编码后的剩余信号211。编码信号210、211两者均被输入到输出接口 212中以合成编码后的第一合成信号210和编码后的预测剩余信号211以及预测信息206来获得编码后的多信道信号213，编码后的多信道信号213与输入到图1所示的音频解码器的输入接口 102中的编码后的多信道信号100类似。根据实施，优化器207接收第一信道信号201和第二信道信号202，或如由线214和215所不源自于图3a的合成器2031的第一合成信号214和第二合成信号215,这将后续讨论。优选的最优化目标在图2中示出，其中，编码增益被最大化，即尽可能降低位率。在该最优化目标中，剩余信号D相对于α被最小化。换言之，这意味着预测信息α被选定为使得I IS- a M| I2最小化。这产生了针对图2所示α的解。信号S、M以逐块方式给出，且优选为频域信号，其中，符号I1...1 I是指自变量的2-范数，以及其中，〈…〉通常示出点积。当第一信道信号201和第二信道信号202被输入到优化器207中时，则该优化器将必须应用合成规则，其中，示例性合成规则在图3c中示出。然而，当第一合成信号214和第二合成信号215被输入到优化器207中时，则优化器207本身并不需要实施该合成规则。其他最优化目标可与感知质量有关。最优化目标可以是获得最大感知质量。则该优化器将需要来自感知模型的附加信息。最优化目标的其他实施可与获得最小的或固定的位率有关。则优化器207将被实施以执行量化/熵编码操作来确定特定α值所需的位率，使得α可被设定为满足这些要求，诸如最小位率，或可替代地，固定位率。该最优化目标的其他实施可与编码器或解码器资源的最小利用率有关。在实施该最优化目标的情况下，关于特定最优化所需资源的信息将可供优化器207使用。此外，这些最优化目标或其他最优化目标的合成可用于控制计算预测信息206的优化器207。
该音频编码器另外包括预测方向计算器219，该预测方向计算器219在其输出端提供指示与图2中由编码器计算器203输出的预测剩余信号205相关联的预测方向的预测方向指示符。预测方向计算器219可以不同方式来实施，其中，若干实例在图14背景下讨论。图2中的编码器计算器203可以不同方式来实施，其中，示例性第一实施在图3a中示出，其中，显式(explicit)合成规则在合成器2031中执行。替代性示例性实施在图3b中示出，其中，使用矩阵计算器2039。图3a中的合成器2031可被实施以执行图3c所示的合成规则，该合成规则是示例性已知的中/侧编码规则，其中，加权因子O. 5被应用于所有分支。然而，根据实施，可使用其他加权因子或完全没有加权因子(统一加权)。此外，需要注意，只要存在可应用于图4a所示的解码器合成器1162的相应逆合成规则(解码器合成器1162应用与由编码器应用的合成规则相反的合成规则)，可应用其他合成规则(诸如其他线性合成规则或非线性合成规则)。由于本发明的预测，任何可逆预测规则均可被使用，因为对波形的影响被该预测“平衡”，即任何误差均包括在所发送的剩余信号中，这是因为由与编码器计算器203结合的优化器207执行的预测操作是波形保持处理。合成器2031输出第一合成信号204和第二合成信号2032。该第一合成信号被输入到预测器2033中，以及第二合成信号2032被输入到剩余计算器2034中。预测器2033计算预测信号2035，该预测信号2035与第二合成信号2032合成以最终获得剩余信号205。具体地，合成器2031被配置为以两种不同方式来合成多信道音频信号的两个信道信号201和202以获得第一合成信号204和第二合成信号2032，其中，这两种不同方式在图3c的示例性实施方式中示出。预测器2033被配置为向第一合成信号204或源自于该第一合成信号的信号应用预测信息以获得预测信号2035。源自于该合成信号的信号可由任何非线性或线性运算来导出，其中，实部-虚部转换/虚部-实部转换是优选的，该转换可利用线性滤波器(诸如执行特定值的加权加法的FIR滤波器)来实施。图3a中的剩余计算器2034可执行减法运算，使得该预测信号从第二合成信号中被减去。然而，该剩余计算器中的其他运算也是可行的。相应地，图4a中的合成信号计算器1161可执行加法运算，其中，解码后的剩余信号114与预测信号1163相加到一起来获得第二合成信号1165。图1la示出了编码器计算器的优选实施。根据输入到预测方向输入501中的预测方向指示符，选择第一预测规则502或第二预测规则503，这由受控选择开关505来示出。第一预测规则可类似于图13b中所示，为第一选择，以及第二预测规则可类似于图13b中所示，为第二选择。块502、503的输出(即合成信号和剩余信号)可被转发至输出接口，或在信号编码的情况下，转发至图2中的信号编码器209。此外，预测方向指示符与预测信息、编码后的剩余信号和编码后的合成信号一起被输入到输出位流中，在预测方向指示符等于“O”的情况下，该编码后的合成信号可以是第一合成信号，或者在预测方向指示符等于“I”的情况下，该编码后的合成信号可以是第二合成信号。图5a示出了音频编码器的优选实施。相比图3a所示的音频编码器，第一信道信号201是时域第一信道信号55a的频谱表示。相应地，第二信道信号202是时域信道信号55b的频谱表示。从时域到频谱表示的转换由用于第一信道信号的时间/频率转换器50和用于第二信道信号的时间/频率转换器51来执行。优选但非必要地，频谱转换器50、51被实施为实值转换器。转换算法可以是离散余弦转换(DCT)、仅使用实部的FFT、MDCT或提供实值频谱值的任何其他转换。可替代地，这两种转换均可被实施为虚部转换，诸如仅使用虚部而摒弃实部的DST、MDST或FFT。也可使用仅提供虚部的任何其他转换。利用纯实值转换或纯虚部转换的一个目的在于计算复杂性，因为对于每一频谱值而言，仅单一值(诸如幅值或实部)必须被处理，或者可替代地，相位或虚部必须被处理。相比之下，在完全复转换(诸如FFT)中，两个值(即针对每一频谱线的实部和虚部)将必须被处理，这使计算复杂性增加至少2的倍数。这里，利用实值转换的另一原因是该转换通常是临界采样的，且因此为信号量化和熵编码(实施在“MP3”、AAC或类似音频编码系统中的标准“感知音频编码”范例)提供合适(和常用)的域。图5a另外示出了作为加法器的剩余计算器2034，其在“加”输入处接收侧信号并在“减”输入处接收由预测器2033输出的预测信号。此外，图5a示出了预测器控制信息从优化器转发至复用器212的情况，该复用器212输出表示编码后的多信道音频信号的复用位流。具体地，预测操作以侧信号由中信号预测这一方式来执行，如由图5a右侧方程所示。尽管图5a示出了从M到S的预测，即侧信号由中信号预测(这在预测方向指示符等于零时发生)，但当预测方向指示符等于I时，应用逆预测。则执行从S到M的预测。这可通过调换块2031的输出来示出，从而上输出具有侧信号且下输出具有中信号。优选地，预测器控制信息206是如图3b右侧所示的因子。在预测控制信息仅包括实部(诸如复值α的实部或复值α的大小，其中，该部分对应于异于零的因子)的实施方式中，当中信号与侧信号由于其波形结构而彼此类似但具有不同振幅时，可获得显著的编码增益。然而，当预测控制信息仅包括第二部分(该第二部分可以是复值因子的虚部或复值因子的相位信息，其中，该虚部或相位信息异于零)时，本发明对于彼此相移异于0°或180°的值以及除相移之外具有类似波形特性和类似振幅关系的信号获得显著编码增益。优选地，预测控制信息是复值的。则可针对振幅不同且相移的信号获得显著编码增益。在时间/频率转换提供复频谱的情况下，运算2034将是复运算，其中，该预测器控制信息的实部被应用于复频谱M的实部以及该复预测信息的虚部被应用于复频谱的虚部。则在加法器2034中，该预测操作的结果是预测实部频谱和预测虚部频谱，且该预测实部频谱将从侧信号S的实部频谱中被减去(频带式)，以及该预测虚部频谱将从S的频谱虚部中被减去以获得复的剩余频谱D。时域信号L和R是实值信号，但频域信号可以是实值或复值的。当频域信号为实值时，则该转换是实值转换。当频域信号为复值时，则该转换是复值转换。这意味着到时间-频率转换的输入和频率-时间转换的输出是实值的，而频域信号可以是例如复值QMF域信号。图5b示出了对应于图5a所示的音频编码器的音频解码器。关于图1音频解码器的类似元件具有类似附图标记。由图5a中的位流复用器212输出的位流被输入到图5b中的位流解复用器102中。位流解复用器102将该位流解复用为下混信号M和剩余信号D。下混信号M被输入到解量化器IlOa中。剩余信号D被输入到解量化器IlOb中。此外，位流解复用器102将来自位流的预测器控制信息108解复用并同样输入到预测器1160中。预测器1160输出预测侧信号α ·Μ，以及合成器1161合成由解量化器IlOb输出的剩余信号与预测侧信号以最终获得重构侧信号S。该信号随后被输入到合成器1162中，合成器1162执行例如和/差处理,如图4c中针对中/侧编码所示。具体地，块1162执行(逆)中/侧解码以获得左信道的频域表示和右信道的频域表示。该频域表示随后由相应频率/时间转换器52和53转换为时域表不。图5b示出了在编码器中已完成由等于零的预测方向指示符指示的从中信号M到侧信号S的预测的情况。然而，当等于I的预测方向指示符从编码器(诸如图5a中的编码器)被发送到图5b中的解码器时，则必须执行从S到M的逆预测，即解码器计算规则是使得M由S来计算而非在预测方向指示符等于零的情况下的相反计算。根据系统的实施，当频域表示是实值表示时，频率/时间转换器52、53是实值频率/时间转换器，或者当频域表示是复值表示时，频率/时间转换器52、53是复值频率/时间转换器。然而，对于提高效率而言，执行实值转换是优选的，如针对编码器的图6a中和针对解码器的图6b中的另一实施所示。实值转换50和51由MDCT实施。此外，预测信息按照具有实部和虚部的复值来计算。 由于两频谱M、S均为实值频谱，且因此由于该频谱的虚部不存在，所以提供了由信号M的实值频谱计算估计的虚部频谱600的实部-虚部转换器2070。该实部-虚部转换器2070是优化器207的一部分，且由块2070估计的虚部频谱600与实部频谱M—起被输入到α优化器级2071中以计算预测信息206，预测信息206现在具有在2073处所示的实值因子和在2074处所示的虚部因子。现在，根据该实施方式，第一合成信号M的实值频谱乘以实部ακ2073以获得预测信号，该预测信号随后从实值侧频谱中被减去。此外，虚部频谱600乘以在2074处所示的虚部Ci1以获得另一预测信号，其中，该预测信号随后从在2034b处所示的实值侧频谱中被减去。随后，预测剩余信号D在量化器20%中被量化，而M的实值频谱在块209a中被量化/编码。此外，优选在量化器/熵编码器2072中量化和编码预测信息α以获得编码后的复α值，该复α值被转发至例如图5a的位流复用器212，且其最终被输入到位流中作为预测信息。关于针对α的量化/编码(Q/C)模块2072的位置，需要注意，乘法器2073和2074优选利用恰好相同的(量化)α，α也将在解码器中使用。因此，我们可直接移动2072到2071的输出，或者我们可考虑α的量化已在2071的优化处理中考虑到。尽管我们可在编码 器侧计算复频谱，但由于所有信息均可用，所以优选在编码器的块2070中执行实数-复数转换，从而产生关于图6b所示解码器的类似情况。解码器接收第一合成信号的实值编码频谱和编码后的剩余信号的实值频谱表示。此外，编码后的复预测信息在108处获得，且熵解码和解量化在块65中执行以获得1160b处所示的实部α Ε和1160c处所示的虚部α ΙΟ由加权元件1160b和1160c输出的中信号被添加到解码和解量化后的预测剩余信号中。具体地，在复预测因子的虚部被用作加权因子的情况下，输入到加权器1160c中的频谱值由实部-虚部转换器1160a从实值频谱M获得，这优选以与有关编码器侧的图6a的块2070相同的方式来实施。与编码器侧相比，在解码器侧，中信号或侧信号的复值表示不可用。原因在于由于位率和复杂性的原因，仅编码后的实值频谱从编码器被发送至解码器。图6a和图6b示出了预测方向指示符等于零的情况，即执行从M预测S或利用M和复预测信息α计算S的情况。然而，当该预测方向指示符等于1，或者一般而言，指示逆预测方向时，则可应用相同电路，但块2031的输出被调换，使得上线具有侧信号S且下线具有中信号Μ。在解码器侧，解码器计算规则也被改变，使得在逆预测方向的情况下，M由S来计算，这也可通过在图6b中块IlOa的输出的上线处将M信号替换为侧信号S来表示。这在块1161b的输出处产生中信号M并在块1162的上输入处产生侧信号S。因此，由块1162应用的规则必须适应该不同输入情况，或Μ/S信号必须在输入到块1162中之前被调换。在后者情况下，即当执行调换时，块1162对于两个预测方向指示符值是相同的。实部-虚部转换器1160a或图6a的相应块2070可按照在W02004/013839A1或WO2008/014853A1或者美国专利第6，980, 933号中公开的来实施。根据信号或实施，预测信息α可以是纯实值或纯虚值的或者可以是具有实部和虚部的复数。然而，若仅实施实值预测，则预测方向逆转换将已经提供了具有非常有限的附加计算需求的改善后的性能，并由于剩余信号将具有较小能量这一事实而将产生较低位率，且对于预测信息也是同样的。因此，由于剩余信号和预测信息所需的较低位率，发送预测方向指示符所需的附加位率最终产生了相当多的位节省。因此，预测信息可包括异于零的实值部分和/或异于零的虚部。可替代地，本领域已知的任何其他实施均可被应用，且优选实施在图10a、图1Ob背景下讨论。
具体地，如图1Oa所示，实部-虚部转换器1160a包括连接至虚部频谱计算器1001的频谱巾贞(frame)选择器1000。频谱巾贞选择器1000在输入1002处接收当前巾贞i的指示，且根据实施，在控制输入1003处接收控制信息。例如，当线1002上的指示指出要计算关于当前帧i的虚部频谱时，以及当控制信息1003指出仅当前帧将被用于计算时，则频谱帧选择器1000仅选择当前帧i并将该信息转发至虚部频谱计算器。随后，虚部频谱计算器仅利用当前帧i的频谱线来针对频率接近或在当前频谱线k附近执行位于当前帧中的线的加权合成(块1008)，虚部线将如图1Ob中的1004所示来计算。然而，当频谱帧选择器1000接收指示前一帧i_l和后一帧i+Ι也将用于计算虚部频谱的控制信息1003时，则该虚部频谱计算器另外接收来自帧i_l和i+Ι的值，并执行关于帧i_l的1005和关于帧i+Ι的1006处所示的相应帧中的线的加权合成。加权运算的结果由块1007中的加权合成来合成以最终获得关于帧A的虚部线k，该虚部线k随后乘以元件1160c中的预测信息的虚部以获得关于该线的预测信号，该预测信号随后被添加至关于解码器的加法器1161b中的中信号的相应线。在编码器中，执行相同操作，但在元件2034b中完成减法。必须指出，控制信息1003可另外指示使用多于两个周围帧的帧，或者例如仅利用当前帧和恰好一个或多个先前帧而不利用“未来”帧以减少系统性延迟。此外，需要指出，图1Ob所示的第一操作中来自一个帧的线被合成且随后来自这些逐帧合成操作的结果自身合成的逐级加权合成也可以另一顺序来执行。另一顺序意味着在第一步骤中，关于来自由控制信息103所示的一些相邻帧的当前频率k的线由加权合成来合成。根据将用于估计虚部线的相邻线的数目，该加权合成针对线k、k-1、k-2、k+Uk+2等来完成。随后，来自这些“逐个时间”合成的结果经过“频率方向”中的加权合成以最终获得关于帧A的虚部线k。优选地，权重被设定为-1与I之间的值，且该权重可以直接FIR或IIR滤波器合成来实施，该直接FIR或IIR滤波器合成执行来自不同频率和不同帧的频谱线或频谱信号的线性合成。如图6a和图6b所示，优选转换算法为MDCT转换算法，其应用于图6a的元件50和51中的正向且应用于元件52、53中的反向，并在频谱域中运行的合成器1162中的合成操作之后。图8a示出了块50或51的更详细实施。具体地，时域音频样本的序列被输入到分析窗口器500中，分析窗口器500利用分析窗口来执行窗口化操作,且具体地，以逐巾贞方式来执行该操作，但利用50%的步长(stride)或交叠。该分析窗口器的结果(即窗口化样本的帧序列)被输入到MDCT转换块501中，MDCT转换块501输出实值MDCT帧的序列，其中，这些帧被混叠影响。示例性地，该分析窗口器应用具有2048个样本长度的分析窗口。随后，MDCT转换块501输出具有1024条实部频谱线或MDCT值的MDCT频谱。优选地，分析窗口器500和/或MDCT转换器501可由窗口长度或转换长度控制502来控制，使得例如对于信号中的瞬时部分，减小窗口长度/转换长度以获得较好的编码结果。图Sb示出了块52和53中执行的逆MDCT运算。示例性地，块52包括用于执行逐帧逆MDCT转换的块520。例如，当MDCT值的帧具有1024个值时，则该MDCT逆转换的输出具有2048个混叠影响的时间样本。该帧被提供给合成窗口器521，合成窗口器521对2048个样本的该巾贞应用合成窗口。窗口化巾贞随后被转发至交叠/相加处理器522,不例性地,交叠/相加处理器522在两个连续帧之间应用50%的交叠，且随后执行逐样本相加，使得2048个样本的块最终产生无混叠输出信号的1024个新样本。另外，优选利用例如在编码后的多信道信号的侧信息中传送的信息来应用523处所示的窗口 /转换长度控制。α预测值可针对MDCT频谱的每条单个频谱线来计算。然而，已发现这并不是必需的，且可通过执行预测信息的逐频带计算来节省大量侧信息。换言之，图9所示频谱转换器50例如是如图8a背景下讨论的MDCT处理器，其提供具有图9b中所示的特定频谱线的高频分辨率频谱。该高频分辨率频谱被频谱线选择器90利用，频谱线选择器90提供包括特定频带B1、B2、B3、…、BN的低频分辨率频谱。该低频分辨率频谱被转发至用于计算预测信息的优化器207，使得预测信息不针对每一频谱线来计算，而是仅针对每一频带来计算。为此，优化器207接收每一频带中的频谱线，并始于相同α值用于频带中的所有频谱线的假设来计算最优化操作。优选地，频带以心理声学方式成形，使得该频带的带宽从低频增至高频，如图9b所示。可替代地，尽管不如增加的带宽实施那样优选，但也可使用等大小的频带，其中，每一频带具有至少两个或通常更多，诸如至少30条频率线。通常，对于1024条频谱线的频谱，少于30个复α值且优选地，多于5个α值被计算。对于具有少于1024条频谱线(例如，128条线)的频谱，优选更少的频带(例如，6个)被用于α。对于计算α值而言，不一定需要高分辨率的MDCT频谱。可替代地，具有类似于计算α值所需分辨率的频率分辨率的滤波器组也可被利用。当要实施频率上增大的频带时，则该滤波器组应具有变化的带宽。然而，当从低频到高频的恒定带宽足够时，则具有等宽次频带的传统滤波器组可被使用。根据实施，图3b或图4b所示的α值的符号可反转。然而，为保持一致，该符号反转必须用于编码器侧以及用于解码器侧。相比图6a，图5a示出了编码器的概图，其中，项目2033是由预测器控制信息206控制的预测器，预测器控制信息206在项目207中被确定，且嵌入位流中作为侧信息。代替图6a的块50、51中使用的MDCT，一般化时间/频率转换如所讨论的用于图5a中。如先前所述，图6a是对应于图6b中的解码器处理的编码器处理，其中，L代表左信道信号，R代表 右信道信号，M代表中信号或下混信号，S代表侧信号，以及D代表剩余信号。可替代地，L也被称作第一信道信号201，R也被称作第二信道信号202，M也被称作第一合成信号204,以及S也被称作第二合成信号2032。优选地，编码器中的模块2070和解码器中的1160a应恰好匹配以确保正确的波形编码。这优选适用于以下情况其中，这些模块利用某些形式的近似，诸如截尾滤波，或者当仅利用一个或两个而非三个MDCT帧(即线60上的当前MDCT帧、线61上的前一 MDCT帧、以及线62上的下一 MDCT帧)时。此外，优选图6a的编码器中的模块2070利用非量化MDCT频谱M作为输入，尽管解码器中的实部-虚部(R2I)模块1160a仅具有量化的MDCT频谱可用作输入。可替代地，我们还可利用编码器使用量化的MDCT系数作为向模块2070的输入的实施。然而，从感知观点来看，利用非量化的MDCT频谱作为向模块2070的输入是优选方法。随后，更详细讨论本发明实施方式的若干方面。标准的参数立体声编码(诸如USAC系统中基于MPEG环绕(MPS)的立体声编码)依赖于过采样复(混合)QMF域允许时间和频率变化的感知激励的信号处理而不引入混叠伪差的能力。然而，在下混/剩余编码(如用于这里考虑的高位率)的情况下，所获得的统一立体声编码器用作波形编码器。由于波形编码范例确保MDCT-MDCT处理链的混叠消除特性被足够好地保留，所以这允许在临界采样域(如MDCT域)中的操作。然而，为能够利用可在具有信道间时间或相位差的立体声信号的情况下利用复值预测系数α实现的改善后的编码效率，下混信号DMX的复值频域表示需要作为向复值上混矩阵的输入。这可通过使用除了对DMX信号的MDCT转换之外的MDST转换来获得。MDST频谱可由MDCT频谱(精确或作为近似地)计算。此外，上混矩阵的参数化可通过发送复预测系数α代替MPS参数来简化。因此，仅两个参数(α的实部和虚部)而非三个(ICC、CLD和IPD)被发送。在下混/剩余编码的情况下，这由于MPS参数化中的冗余而可行。MPS参数化包括关于添加到解码器中的解相关的相对量(即RES与DMX信号之间的能量比)的信息，且当实际DMX和RES信号被发送时，该/[目息是冗余的。由于相同原因，在下混/剩余编码的情况下，增益因子被舍弃。因此，用于利用复预测的下混/剩余编码的上混矩阵现在是
权利要求
1.一种用于解码编码后的多信道音频或视频信号(100)的音频或视频解码器，所述编码后的多信道音频或视频信号包括基于用于合成多信道音频或视频信号中的第一信道音频或视频信号与第二信道音频或视频信号的合成规则生成的编码后的第一合成信号、编码后的预测剩余信号和预测信息，所述音频或视频解码器包括 信号解码器(110)，其用于解码所述编码后的第一合成信号(104)以获得解码后的第一合成信号(112)，以及用于解码所述编码后的剩余信号(106)以获得解码后的剩余信号(114);以及解码器计算器(116)，其用于利用所述解码后的剩余信号(114)、所述预测信息(108)、所述解码后的第一合成信号(112)和预测方向指示符(501)来计算具有解码后的第一信道信号(117)和解码后的第二信道信号(118)的解码后的多信道信号，使得所述解码后的第一信道信号(117)和所述解码后的第二信道信号(118)至少是所述多信道信号的所述第一信道信号和所述第二信道信号的近似。
2.根据权利要求1所述的音频或视频解码器，其中，所述预测方向指示符(501)包括在所述编码后的多信道信号中，且其中，所述音频或视频解码器还包括用于提取所述预测方向指示符(501)以及用于将所述预测方向指示符转发至所述解码器计算器(116)的输入接口(102)。
3.根据权利要求1或2所述的音频或视频解码器，其中，所述解码器计算器(116)被配置为在所述预测方向指示符(501)的第一状态的情况下利用第一计算规则(402)来计算所述解码后的多信道信号，以及在所述预测方向指示符(501)的第二不同状态的情况下利用第二不同计算规则(403 )来计算所述解码后的多信道信号。
4.根据权利要求3所述的音频或视频解码器，其中，所述解码后的第一合成信号包括中信号(M)，其中，所述第一计算规则(402)包括由所述解码后的第一合成信号和所述解码后的剩余信号对侧信号(S)的计算；或者 其中，所述解码后的第一合成信号包括侧信号(S)，且其中，所述第二计算规则(403)包括由所述解码后的第一合成信号和所述解码后的剩余信号对中信号(M)的计算。
5.根据权利要求3所述的音频或视频解码器，其中，所述解码后的第一合成信号包括中信号(M)，且其中，所述第一计算规则(402)包括利用所述中信号(M)、所述预测信息(α )和所述解码后的剩余信号对所述解码后的第一信道信号的计算以及对所述解码后的第二信道信号的计算，而无需对所述侧信号的显式计算；或者 其中，所述解码后的第一合成信号包括侧信号(S)，且其中，所述第二计算规则(403)包括利用所述侧信号(S)、所述预测信息(α )和所述解码后的剩余信号对所述解码后的第一信道信号的计算以及对所述解码后的第二信道信号的计算，而无需对所述中信号的显式计算。
6.根据权利要求1至5中任一项所述的音频或视频解码器，其中，所述解码器计算器被配置为利用所述预测信息(108)，其中，所述预测信息(108)包括异于零的实值部和/或异于零的虚部。
7.根据前述权利要求中任一项所述的音频或视频解码器，其中，所述解码器计算器(116)包括 预测器(1160)，其用于将所述预测信息(108)应用于所述解码后的第一合成信号(112)或源自所述解码后的第一合成信号的信号(601)以获得预测信号(1163)；合成信号计算器(1161)，其用于通过合成所述解码后的剩余信号(114)与所述预测信号(1163)来计算第二合成信号(1165)；以及 合成器(1162),其用于合成所述解码后的第一合成信号(112)与所述第二合成信号(1165)以获得具有所述解码后的第一信道信号(117)和所述解码后的第二信道信号(118)的解码后的多信道音频或视频信号， 其中，在所述预测方向指示符(501)的第一状态的情况下，所述第一合成信号为和信号，以及所述第二合成信号为差信号，或者 其中，在所述预测方向指示符(501)的第二状态的情况下，所述第一合成信号为差信号，以及所述第二合成信号为和信号。
8.根据权利要求1至7中任一项所述的音频或视频解码器， 其中，所述编码后的第一合成信号(104)和所述编码后的剩余信号(106)已利用生成时间-频谱转换的混叠来生成， 其中，所述解码器还包括 频谱-时间转换器(52、53)，其用于利用与时间-频谱转换算法相匹配的频谱-时间转换算法来生成时域第一信道信号和时域第二信道信号； 交叠/相加处理器(522)，其用于对所述时域第一信道信号和对所述时域第二信道信号进行交叠-相加处理以获得无混叠第一时域信号和无混叠第二时域信号。
9.根据前述权利要求中任一项所述的音频或视频解码器，其中，所述预测信息(108)包括异于零的实值因子， 其中，所述预测器(1160)被配置为将所述解码后的第一合成信号乘以所述实数因子以获得所述预测信号的第一部分，以及 其中，所述合成信号计算器被配置为线性合成所述解码后的剩余信号与所述预测信号的所述第一部分。
10.根据前述权利要求中任一项所述的音频或视频解码器，其中，所述预测信息(108)包括异于零的虚数因子， 其中，所述预测器(1160)被配置为利用所述解码后的第一合成信号(112)的实值部来估计(1160a)所述解码后的第一合成信号(112)的虚部， 其中，所述预测器(1160)被配置为将所述解码后的第一合成信号的虚部(601)乘以所述预测信息(108)的虚数因子以获得所述预测信号的第二部分；以及 其中，所述合成信号计算器(1161)被配置为线性合成所述预测信号的所述第一部分以及所述预测信号的所述第二部分与所述解码后的剩余信号以获得第二合成信号(1165)。
11.根据权利要求7所述的音频或视频解码器， 其中，所述预测器(1160)被配置为利用线性滤波器(1004、1005、1006、1007)来对至少两个时间相继的帧滤波，其中，所述两个时间相继的帧中的一个帧在所述第一合成信号的当前帧之前或之后，以获得所述第一合成信号的当前帧的估计的虚部。
12.根据权利要求7所述的音频或视频解码器， 其中，所述解码后的第一合成信号包括实值信号帧序列，以及其中，所述预测器(1160)被配置为利用仅当前实值信号帧，或者利用所述当前实值信号帧和仅一个以上之前实值信号帧或仅一个以上后续实值信号帧，或者利用所述当前实值信号帧和一个以上之前实值信号帧以及一个以上后续实值信号帧来估计(1160a)当前信号帧的虚部。
13.一种用于编码具有两个以上信道信号的多信道音频或视频信号的音频或视频编码器，包括 编码器计算器(203 )，其用于利用第一信道信号(201)和第二信道信号(202 )及预测信息(206 )以及预测方向指示符来计算第一合成信号(204)和预测剩余信号(205 )，使得预测剩余信号在与源自所述第一合成信号的预测信号或源自所述第一合成信号和所述预测信息(206)的信号合成时产生第二合成信号(2032),利用合成规则,所述第一合成信号(204)和所述第二合成信号(2032)可从所述第一信道信号(201)和所述第二信道信号(202)得出； 优化器(207)，其用于计算所述预测信息(206)，使得所述预测剩余信号(205)满足最优化目标(208)； 预测方向计算器(219)，其用于计算指示与所述预测剩余信号相关联的预测方向的预测方向指示符； 信号编码器(209 )，其用于编码所述第一合成信号(204 )和所述预测剩余信号(205 )以获得编码后的第一合成信号(210)和编码后的预测剩余信号(211);以及 输出接口(212)，其用于合成所述编码后的第一合成信号(210)、所述编码后的预测剩余信号(211)和所述预测信息(206 )以获得编码后的多信道音频或视频信号。
14.根据权利要求13所述的音频或视频编码器，其中，所述编码器计算器(203)包括 合成器(2031)，其用于以两种不同方式合成所述第一信道信号(201)与所述第二信道信号(202)以获得所述第一合成信号(204)和所述第二合成信号(2032)； 预测器(2033)，其用于根据所述预测方向指示符，将所述预测信息(206)应用于所述第一合成信号(204)或源自所述第一合成信号(204)的信号(600)以获得预测信号(2035)，或者将预测信息(206)应用于所述第二合成信号或源自所述第二合成信号的信号以获得预测信号(2035);以及 剩余信号计算器(2034)，其用于根据所述预测方向指示符，通过合成所述预测信号(2035)与所述第二合成信号(2032)或者通过合成所述预测信号(2035)与所述第一合成信号(2032 )来计算所述预测剩余信号(205 )。
15.根据权利要求13或14所述的音频或视频编码器， 其中，所述第一信道信号为样本块的频谱表示； 其中，所述第二信道信号为样本块的频谱表示， 其中，所述频谱表示是纯实值频谱表示或纯虚数频谱表示， 其中，所述优化器(207)被配置为将所述预测信息(206)计算为异于零的实值因子和/或异于零的虚数因子，以及 其中，所述编码器计算器(203)包括用于根据所述预测方向指示符由所述第一合成信号或由所述第二合成信号得出转换频谱表示的实部-虚部转换器(2070)或虚部-实部转换器，以及 其中，所述编码器计算器(203)被配置为根据所述预测方向指示符来计算所述第一合成信号(204)或所述第二合成信号，以及由转换频谱和所述虚数因子来计算所述预测剩余信号(205)。
16.根据权利要求13至15中任一项所述的编码器， 其中，所述预测器(2033)被配置为将所述第一合成信号(204)乘以所述预测信息(2073)的实部以获得所述预测信号的第一部分； 利用所述第一合成信号(204)或所述第二合成信号来估计(2070)所述第一合成信号或所述第二合成信号的虚部(600)； 将所述第一合成信号或所述第二合成信号的虚部乘以所述预测信息(2074)的虚部以获得所述预测信号的第二部分；以及 其中，所述剩余计算器(2034)被配置为线性合成所述预测信号的第一部分信号或所述预测信号的第二部分信号与所述第二合成信号或所述第一合成信号以获得所述预测剩余信号(205)。
17.—种解码编码后的多信道音频或视频信号(100)的方法，所述编码后的多信道音频或视频信号包括基于用于合成多信道音频或视频信号中的第一信道音频或视频信号与第二信道音频或视频信号的合成规则生成的编码后的第一合成信号、编码后的预测剩余信号和预测信息，所述方法包括 解码(110)所述编码后的第一合成信号(104)以获得解码后的第一合成信号(112)，以及解码所述编码后的剩余信号(106)以获得解码后的剩余信号(114);以及 利用所述解码后的剩余信号(114)、所述预测信息(108)和所述解码后的第一合成信号(112)来计算(116)具有解码后的第一信道信号(117)和解码后的第二信道信号(118)的解码后的多信道信号，使得所述解码后的第一信道信号(117)和所述解码后的第二信道信号(118)至少是所述多信道信号的所述第一信道信号和所述第二信道信号的近似，其中，所述预测信息(108)包括异于零的实值部和/或异于零的虚部。
18.—种编码具有两个以上信道信号的多信道音频或视频信号的方法，包括 利用第一信道信号(201)和第二信道信号(202)以及预测信息(206)来计算(203)第一合成信号(204)和预测剩余信号(205)，使得预测剩余信号在与源自所述第一合成信号的预测信号或源自所述第一合成信号和所述预测信息(206)的信号合成时产生第二合成信号(2032),利用合成规则,所述第一合成信号(204)和所述第二合成信号(2032)可从所述第一信道信号(201)和所述第二信道信号(202 )得出； 计算(207)所述预测信息(206)，使得所述预测剩余信号(205)满足最优化目标(208); 编码(209)所述第一合成信号(204)和所述预测剩余信号(205)以获得编码后的第一合成信号(210)和编码后的剩余信号(211);以及 合成(212)所述编码后的第一合成信号(210)、所述编码后的预测剩余信号(211)和所述预测信息(206)以获得编码后的多信道音频或视频信号。
19.一种计算机程序，当在计算机或处理器上运行时，所述计算机程序用于执行根据权利要求17所述的方法或根据权利要求18所述的方法。
20.一种编码后的多信道音频或视频信号，其包括基于用于合成多信道音频或视频信号中的第一信道音频或视频信号与第二信道音频或视频信号的合成规则生成的编码后的第一合成信号、编码后的预测剩余信号、预测信息以及指示与所述编码后的预测剩余信号相关联的预测方向的预测方向指示符(501)。
全文摘要
一种音频或视频编码器和音频或视频解码器基于两个音频或视频信道(201、202)的合成以获得作为中信号的第一合成信号(204)和可利用源自中信号的预测侧信号得出的剩余信号(205)。第一合成信号和预测剩余信号连同基于最优化目标(208)和指示与剩余信号相关的预测方向的预测方向指示符由优化器(207)得出的预测信息(206)一起被编码(209)并写入(212)数据流(213)中。解码器利用预测剩余信号、第一合成信号、预测方向指示符和预测信息得出解码后的第一信道信号和解码后的第二信道信号。在编码器实例或解码器实例中，实部-虚部转换可应用于估计第一合成信号的频谱的虚部。为计算在预测剩余信号的得出中使用的预测信号，实值第一合成信号乘以复预测信息的实部且第一合成信号的估计虚部乘以复预测信息的虚部。
文档编号G10L19/00GK103052983SQ201180028339
公开日2013年4月17日 申请日期2011年2月17日 优先权日2010年4月13日
发明者朱利安·罗比利亚德, 马蒂亚斯·纽辛格, 克里斯蒂安·赫尔姆里希, 约翰内斯·希尔珀特, 尼古劳斯·雷特尔巴赫, 萨沙·迪施, 贝恩德·埃德勒 申请人:弗兰霍菲尔运输应用研究公司