音频信号解码的制作方法

文档序号:15740333发布日期:2018-10-23 22:11阅读:344来源:国知局
音频信号解码的制作方法

本申请案主张以下共同拥有的申请案的优先权权益:2016年3月18日申请的题为“音频信号解码(AUDIO SIGNAL DECODING)”的美国临时专利申请案第62/310,626号,及2017年3月16日申请的题为“音频信号解码”的美国非临时专利申请案第15/460,928号,前述申请案中的每一个的全文明确地以引用的方式并入本文中。

技术领域

本发明大体上涉及解码音频信号。



背景技术:

技术的进步已带来更小且更强大的计算装置。举例来说,当前存在多种便携式个人计算装置,包含无线电话(例如移动电话及智能电话)、平板计算机及膝上型计算机,所述便携式个人计算装置是小的、轻质的且容易由用户携带。此些装置可经由无线网络来传达语音及数据包。另外,许多此些装置并有额外功能性,例如数字照相机、数字摄像机、数字记录器及音频文件播放器。而且,此些装置可处理可执行指令,所述指令包含可用以接入因特网的软件应用程序,例如网页浏览器应用程序。因而,此些装置可包含显著的计算能力。

计算装置可包含多个麦克风以接收音频信号。一般来说,与多个麦克风中的第二麦克风相比,声源更接近于第一麦克风。因此,从第二麦克风接收的第二音频信号可相对于从第一麦克风接收的第一音频信号被延迟。在立体编码中,来自麦克风的音频信号可经编码以产生中间声道信号及一或多个侧声道信号。中间声道信号可对应于第一音频信号与第二音频信号的总和。侧声道信号可对应于第一音频信号与第二音频信号之间的差。由于在接收第二音频信号时相对于第一音频信号存在延迟,第一音频信号可不与第二音频信号在时间上对准。第一音频信号相对于第二音频信号的未对准(或“时间性偏移”)可带来具有高熵的侧声道信号(例如,侧声道信号不能最大限度地去相关)。由于侧声道的高熵,可需要更多数目个位来编码侧声道信号。

另外,不同帧类型可使得计算装置产生不同的时间性偏移或移位估计。举例来说,计算装置可确定,第一音频信号的有声帧相对于第二音频信号中的对应有声帧偏移特定量。然而,归因于相对高的噪声量,计算装置可确定,第一音频信号的转变帧(或无声帧)相对于第二音频信号的对应转变帧(或对应无声帧)偏移不同量。移位估计的变化可带来帧边界处的样本重复及伪影跳过。另外,移位估计的变化可带来更高侧声道能量,这可降低译码效率。



技术实现要素:

根据本文中所公开的技术的一个实施方案,一种设备包含:接收器,其经配置以接收包含一或多个声道间带宽扩展(BWE)参数的至少一个经编码信号。所述设备还包含:解码器,其经配置以通过基于所述至少一个经编码信号执行带宽扩展而产生中间声道时域高频带信号。所述解码器还经配置以基于所述中间声道时域高频带信号及所述一或多个声道间BWE参数而产生第一声道时域高频带信号及第二声道时域高频带信号。所述解码器经进一步配置以通过组合所述第一声道时域高频带信号及第一声道低频带信号而产生目标声道信号。所述解码器亦经配置以通过组合所述第二声道时域高频带信号及第二声道低频带信号而产生参考声道信号。所述解码器经进一步配置以通过基于时间失配值修改所述目标声道信号而产生经修改目标声道信号。在本文中所公开的技术的实例实施方案中,所述接收器可经配置以接收所述时间失配值。应注意,在本文中所公开的技术的一些实施方案中,所述目标声道信号可基于所述第二声道时域高频带信号及所述第二声道低频带信号,且所述参考声道信号可基于所述第一声道时域高频带信号及所述第一声道低频带信号。在本文中所公开的技术的一些实施方案中,所述目标声道信号及所述参考声道信号可基于高频带参考声道指示符而对于帧到帧不同。举例来说,对于第一帧,基于所述高频带参考声道指示符的第一值,所述目标声道信号可基于所述第二声道时域高频带信号及所述第二声道低频带信号,且所述参考声道信号可基于所述第一声道时域高频带信号及所述第一声道低频带信号。对于第二帧,基于所述高频带参考声道指示符的第二值,所述目标声道信号可基于所述第一声道时域高频带信号及所述第一声道低频带信号,且所述参考声道信号可基于所述第二声道时域高频带信号及所述第二声道低频带信号。

根据本文中所公开的技术的另一实施方案,一种通信方法包含在装置处接收包含一或多个声道间带宽扩展(BWE)参数的至少一个经编码信号。所述方法还包含在所述装置处通过基于所述至少一个经编码信号执行带宽扩展而产生中间声道时域高频带信号。所述方法进一步包含基于所述中间声道时域高频带信号及所述一或多个声道间BWE参数而产生第一声道时域高频带信号及第二声道时域高频带信号。所述方法还包含在所述装置处通过组合所述第一声道时域高频带信号及第一声道低频带信号而产生目标声道信号。所述方法进一步包含在所述装置处通过组合所述第二声道时域高频带信号及第二声道低频带信号而产生参考声道信号。所述方法亦包含在所述装置处通过基于时间失配值修改所述目标声道信号而产生经修改目标声道信号。在本文中所公开的技术的实例实施方案中,所述接收器可经配置以接收所述时间失配值。

根据本文中所公开的技术的另一实施方案,一种计算机可读存储装置存储指令,所述指令在由处理器执行时使所述处理器执行操作,所述操作包含接收包含一或多个声道间带宽扩展(BWE)参数的至少一个经编码信号。所述操作还包含通过基于所述至少一个经编码信号执行带宽扩展而产生中间声道时域高频带信号。所述操作进一步包含基于所述中间声道时域高频带信号及所述一或多个声道间BWE参数而产生第一声道时域高频带信号及第二声道时域高频带信号。所述操作还包含通过组合所述第一声道时域高频带信号及第一声道低频带信号而产生目标声道信号。所述操作进一步包含通过组合所述第二声道时域高频带信号及第二声道低频带信号而产生参考声道信号。所述操作还包含通过基于时间失配值修改所述目标声道信号而产生经修改目标声道信号。

根据本文中所公开的技术的另一实施方案,一种设备包含:接收器,其经配置以接收至少一个经编码信号。所述设备还包含:解码器,其经配置以基于所述至少一个经编码信号产生第一信号及第二信号。所述解码器还经配置以通过使所述第一信号的第一样本相对于所述第二信号的第二样本时间移位基于移位值的量而产生经移位第一信号。所述解码器经进一步配置以基于所述经移位第一信号产生第一输出信号且基于所述第二信号产生第二输出信号。

根据本文中所公开的技术的另一实施方案,一种通信方法包含在装置处接收至少一个经编码信号。所述方法还包含在所述装置处基于所述至少一个经编码信号产生多个高频带信号。所述方法进一步包含独立于所述多个高频带信号,基于所述至少一个经编码信号产生多个低频带信号。

根据本文中所公开的技术的另一实施方案,一种计算机可读存储装置存储指令,所述指令在由处理器执行时使所述处理器执行操作,所述操作包含接收移位值及至少一个经编码信号。所述操作还包含基于所述至少一个经编码信号产生多个高频带信号,及独立于所述多个高频带信号而基于所述至少一个经编码信号产生多个低频带信号。所述操作还包含基于所述多个低频带信号中的第一低频带信号、所述多个高频带信号中的第一高频带信号或两者而产生第一信号。所述操作还包含基于所述多个低频带信号中的第二低频带信号、所述多个高频带信号中的第二高频带信号或两者而产生第二信号。所述操作还包含通过使所述第一信号的第一样本相对于所述第二信号的第二样本时间移位基于所述移位值的量而产生经移位第一信号。所述操作进一步包含基于所述经移位第一信号产生第一输出信号及基于所述第二信号产生第二输出信号。

根据本文中所公开的技术的另一实施方案,一种设备包含用于接收至少一个经编码信号的装置。所述设备还包含用于基于经移位第一信号产生第一输出信号及基于第二信号产生第二输出信号的装置。所述经移位第一信号是通过使第一信号的第一样本相对于所述第二信号的第二样本时间移位基于移位值的量而产生。所述第一信号及所述第二信号是基于所述至少一个经编码信号。

附图说明

图1是包含可操作以编码多个音频信号的装置的系统的特定说明性实例的框图;

图2是说明包含图1的装置的系统的另一实例的图式;

图3是说明可由图1的装置编码的样本的特定实例的图式;

图4是说明可由图1的装置编码的样本的特定实例的图式;

图5是说明可操作以编码多个音频信号的系统的另一实例的图式;

图6是说明可操作以编码多个音频信号的系统的另一实例的图式;

图7是说明可操作以编码多个音频信号的系统的另一实例的图式;

图8是说明可操作以编码多个音频信号的系统的另一实例的图式;

图9A是说明可操作以编码多个音频信号的系统的另一实例的图式;

图9B是说明可操作以编码多个音频信号的系统的另一实例的图式;

图9C是说明可操作以编码多个音频信号的系统的另一实例的图式;

图10A是说明可操作以编码多个音频信号的系统的另一实例的图式;

图10B是说明可操作以编码多个音频信号的系统的另一实例的图式;

图11是说明可操作以编码多个音频信号的系统的另一实例的图式;

图12是说明可操作以编码多个音频信号的系统的另一实例的图式;

图13是说明编码多个音频信号的特定方法的流程图;

图14是说明可操作以编码多个音频信号的系统的另一实例的图式;

图15描绘说明有声帧、转变帧及无声帧的比较值的图表;

图16是说明估计在多个麦克风处捕获的音频之间的时间性偏移的方法的流程图;

图17是用于选择性地扩大用于移位估计的比较值的搜索范围的图式;

图18是描绘说明用于移位估计的比较值的搜索范围的选择性扩大的图表;

图19包含可操作以使用非因果移位解码音频信号的系统;

图20说明解码器的第一实施方案的图式;

图21说明解码器的第二实施方案的图式;

图22说明解码器的第三实施方案的图式;

图23说明解码器的第四实施方案的图式;

图24为用于解码音频信号的方法的流程图;

图25为用于解码音频信号的另一方法的流程图;

图26为用于解码音频信号的另一方法的流程图;且

图27为可操作以执行关于图1到26所描述的技术的装置的特定说明性实例的框图。

具体实施方式

公开了可操作以编码多个音频信号的系统及装置。装置可包含经配置以编码多个音频信号的编码器。多个音频信号可使用多个记录装置(例如,多个麦克风)在时间上同时地捕获。在一些实例中,多个音频信号(或多声道音频)可通过复用同时或非同时地记录的若干音频声道而以合成方式(例如,人工地)产生。作为说明性实例,音频声道的同时记录或复用可得到2声道配置(即,立体:左及右)、5.1声道配置(左、右、中心、左环绕、右环绕及低频重音(LFE)声道)、7.1声道配置、7.1+4声道配置、22.2声道配置或N声道配置。

电话会议室(或远程呈现室)中的音频捕获装置可包含获取空间音频的多个麦克风。空间音频可包含话语以及经编码且经发射的背景音频。视麦克风如何布置以及来源(例如,讲话者)相对于麦克风及房间大小所处的位置而定,来自给定来源(例如,讲话者)的话语/音频可在不同时间到达多个麦克风。举例来说,相比于与装置相关联的第二麦克风,声源(例如,讲话者)可更接近与装置相关联的第一麦克风。因此,与第二麦克风相比,从声源发出的声音可更早到达第一麦克风。装置可经由第一麦克风接收第一音频信号且可经由第二麦克风接收第二音频信号。

中侧(MS)译码及参数立体(PS)译码是可提供优于双单声道译码技术的经改进效率的立体译码技术。在双单声道译码中,左(L)声道(或信号)及右(R)声道(或信号)被独立地译码,而不利用声道间相关。通过在译码之前,将左声道及右声道变换成总和声道及差声道(例如,侧声道),MS译码减少相关L/R声道对之间的冗余。总和信号及差信号是以MS译码进行译码的波形。总和信号比侧信号耗费相对更多的位。通过将L/R信号变换成总和信号及一组侧参数,PS译码减少每一子带中的冗余。所述侧参数可指示声道间强度差(IID)、声道间相位差(IPD)、声道间时间差(ITD)等。总和信号是经译码的波形且与侧参数一起发射。在混合系统中,侧声道可在较低频带(例如,小于2千赫兹(kHz))中经波形译码且在较高频带(例如,大于或等于2kHz)中经PS译码,其中声道间相位保持在感知上不太重要。

MS译码及PS译码可在频域中或在子频带域中进行。在一些实例中,左声道及右声道可不相关。举例来说,左声道及右声道可包含不相关的合成信号。当左声道及右声道不相关时,MS译码、PS译码或两者的译码效率可接近于双单声道译码的译码效率。

视记录配置而定,可存在左声道与右声道之间的时间移位(或时间失配),以及例如回声及房间回响的其它空间效应。如果声道之间的时间移位及相位失配未得到补偿,那么总和声道及差声道可含有减少与MS或PS技术相关联的译码增益的可比能量。译码增益的减少可基于时间(或相位)移位的量。总和信号及差信号的可比能量可限制声道在时间上移位但高度相关的某些帧中的MS译码的使用。在立体译码中,中间声道(例如,总和声道)及侧声道(例如,差声道)可基于以下公式产生:

M=(L+R)/2,S=(L-R)/2, 公式1

其中M对应于中间声道,S对应于侧声道,L对应于左声道且R对应于右声道。

在一些情况下,中间声道及侧声道可基于以下公式产生:

M=c(L+R),S=c(L-R), 公式2

其中c对应于频率相依的复合值。基于式1或式2产生中间声道及侧声道可被称为执行“降混”算法。基于式1或式2从中间声道及侧声道而产生左声道及右声道的反转过程可被称为执行“升混”算法。

用以在MS译码或双单声道译码之间选择用于特定帧的特别途径可包含:产生中间信号及侧信号,计算中间信号及侧信号的能量,及基于所述能量确定是否执行MS译码。举例来说,MS译码可响应于确定侧信号与中间信号的能量的比小于阈值而执行。为进行说明,如果右声道被移位至少一第一时间(例如,约0.001秒或48kHz下的48个样本),那么中间信号(对应于左信号及右信号的总和)的第一能量可与有声话语帧的侧信号(对应于左信号与右信号之间的差)的第二能量相当。当第一能量与第二能量相当时,较高数目个位可用以编码侧声道,从而降低MS译码相对于双单声道译码的译码效率。当第一能量与第二能量相当时(例如,当第一能量与第二能量的比大于或等于阈值时),可因此使用双单声道译码。在替代性方法中,针对特定帧的MS译码与双单声道译码之间的决策可基于阈值与左声道及右声道的正规化交叉相关值的比较而作出。

在一些实例中,编码器可确定指示第一音频信号相对于第二音频信号的移位(或时间失配)的时间移位值(或时间失配值)。移位值可对应于第一音频信号在第一麦克风处的接收与第二音频信号在第二麦克风处的接收之间的时间延迟量。另外,编码器可在逐个帧的基础上(例如,基于每一20毫秒(ms)话语/音频帧)确定移位值。举例来说,移位值可对应于第二音频信号的第二帧相对于第一音频信号的第一帧延迟的时间量。替代地,移位值可对应于第一音频信号的第一帧相对于第二音频信号的第二帧延迟的时间量。

当与第二麦克风相比,声源更接近第一麦克风时,第二音频信号的帧可相对于第一音频信号的帧延迟。在此情况下,第一音频信号可被称为“参考音频信号”或“参考声道”,且延迟的第二音频信号可被称为“目标音频信号”或“目标声道”。替代地,当与第一麦克风相比,声源更接近第二麦克风时,第一音频信号的帧可相对于第二音频信号的帧延迟。在此情形下,第二音频信号可被称为参考音频信号或参考声道,且延迟的第一音频信号可被称为目标音频信号或目标声道。

视声源(例如,讲话者)位于会议室或远程呈现室内的位置及声源(例如,讲话者)位置如何相对于麦克风改变而定,参考声道及目标声道可从一个帧改变到另一帧;类似地,时间延迟值也可从一个帧改变到另一帧。然而,在一些实施中,移位值可始终为正,以指示“目标”声道相对于“参考”声道的延迟量。此外,移位值可对应于及时“拉回”延迟的目标声道的“非因果移位”值,从而使得目标声道与“参考”声道对准(例如,最大限度地对准)。用以确定中间声道及侧声道的降混算法可对参考声道及非因果移位的目标声道执行。

编码器可基于参考音频声道及应用于目标音频声道的多个移位值来确定移位值。举例来说,参考音频声道的第一帧X可在第一时间(m1)接收。目标音频声道的第一特定帧Y可在对应于第一移位值(例如,shift1=n1-m1)的第二时间(n1)接收。此外,参考音频声道的第二帧可在第三时间(m2)接收。目标音频声道的第二特定帧可在对应于第二移位值(例如,shift2=n2-m2)的第四时间(n2)接收。

装置可以第一采样速率(例如,32kHz采样速率(即,640个样本每帧))执行成帧或缓冲算法以产生帧(例如,20ms样本)。响应于确定第一音频信号的第一帧及第二音频信号的第二帧同时到达装置,编码器可估计移位值(例如,shift1)为等于零个样本。左声道(例如,对应于第一音频信号)及右声道(例如,对应于第二音频信号)可在时间上对准。在一些情况下,左声道及右声道即使在对准时也可归因于各种原因(例如,麦克风校准)而在能量方面不同。

在一些实例中,左声道及右声道可归因于各种原因(例如,与麦克风中的另一个相比,声源(例如讲话者)可更接近麦克风中的一个,且两个麦克风可隔开大于阈值(例如,1到20厘米)距离)而在时间上不对准。声源相对于麦克风的位置可在左声道及右声道中引入不同的延迟。另外,在左声道与右声道之间可存在增益差、能量差或电平差。

在一些实例中,当多个讲话者交替地讲话时(例如,在不重叠情况下),音频信号从多个声源(例如,讲话者)到达麦克风的时间可变化。在此情况下,编码器可基于讲话者而动态地调整时间移位值以识别参考声道。在一些其它实例中,多个讲话者可同时讲话,视哪个讲话者最大声、最接近麦克风等而定,此可导致变化的时间移位值。

在一些实例中,第一音频信号及第二音频信号可在所述两个信号可能展示较少(例如,无)相关时合成或人工产生。应理解,本文所描述的实例是说明性的且在确定类似或不同情境中的第一音频信号与第二音频信号之间的关系时可具指导性。

编码器可基于第一音频信号的第一帧与第二音频信号的多个帧的比较而产生比较值(例如,差值、变化值或交叉相关值)。多个帧中的每一帧可对应于特定移位值。编码器可基于比较值而产生第一估计移位值。举例来说,第一估计移位值可对应于指示第一音频信号的第一帧与第二音频信号的对应第一帧之间的较高时间相似性(或较低差)的比较值。

编码器可通过在多个阶段中优化一系列估计移位值来确定最终移位值。举例来说,基于由第一音频信号及第二音频信号的经立体预处理且经重新采样的版本产生的比较值,编码器可首先估计“试验性”移位值。编码器可产生相关联于接近估计“试验性”移位值的移位值的内插比较值。编码器可基于内插比较值来确定第二估计“内插”移位值。举例来说,第二估计“内插”移位值可对应于指示相较于剩余内插比较值及第一估计“试验性”移位值的较高时间相似性(或较小差)的特定内插比较值。如果当前帧(例如,第一音频信号的第一帧)的第二估计“内插”移位值不同于前一帧(例如,第一音频信号的先于第一帧的帧)的最终移位值,那么进一步“修正”当前帧的“内插”移位值,以改进第一音频信号与经移位的第二音频信号之间的时间相似性。特定来说,通过围绕当前帧的第二估计“内插”移位值及前一帧的最终估计移位值进行搜索,第三估计“修正”移位值可对应于时间相似性的更准确测量。进一步调节第三估计“修正”移位值以通过限制帧之间的移位值中的任何伪改变来估计最终移位值,且进行进一步控制以在如本文所描述的两个相继(或连续)帧中不将负移位值切换到正移位值(或反之亦然)。

在一些实例中,编码器可避免在连续帧中或相邻帧中在正移位值与负移位值之间切换,或反之亦然。举例来说,基于第一帧的估计“内插”或“修正”移位值及先于第一帧的特定帧中的对应估计“内插”或“修正”或最终移位值,编码器可将最终移位值设定为指示无时间移位的特定值(例如,0)。为进行说明,响应于确定当前帧的估计“试验性”或“内插”或“修正”移位值中的一个为正且前一帧(例如,先于第一帧的帧)的估计“试验性”或“内插”或“修正”或“最终”估计移位值中的另一个为负,编码器可设定当前帧(例如,第一帧)的最终移位值以指示无时间移位,即shift1=0。替代地,响应于确定当前帧的估计“试验性”或“内插”或“修正”移位值中的一个为负且前一帧(例如,先于第一帧的帧)的估计“试验性”或“内插”或“修正”或“最终”估计移位值中的另一个为正,编码器也可设定当前帧(例如,第一帧)的最终移位值以指示无时间移位,即shift1=0。

编码器可基于移位值而选择第一音频信号或第二音频信号的帧作为“参考”或“目标”。举例来说,响应于确定最终移位值为正,编码器可产生参考声道或信号指示符,其具有指示第一音频信号为“参考”信号且第二音频信号为“目标”信号的第一值(例如,0)。替代地,响应于确定最终移位值为负,编码器可产生参考声道或信号指示符,其具有指示第二音频信号为“参考”信号且第一音频信号为“目标”信号的第二值(例如,1)。

编码器可估计与参考信号及非因果移位的目标信号相关的相对增益(例如,相对增益参数)。举例来说,响应于确定最终移位值为正,编码器可估计增益值以正规化或等化第一音频信号相对于偏移了非因果移位值(例如,最终移位值的绝对值)的第二音频信号的幅度或功率电平。替代地,响应于确定最终移位值为负,编码器可估计增益值以正规化或等化非因果移位的第一音频信号相对于第二音频信号的幅度或功率电平。在一些实例中,编码器可估计增益值以正规化或等化“参考”信号相对于非因果移位的“目标”信号的幅度或功率电平。在其它实例中,编码器可基于相对于目标信号(例如,未移位目标信号)的参考信号而估计增益值(例如,相对增益值)。

编码器可基于参考信号、目标信号、非因果移位值及相对增益参数而产生至少一个经编码信号(例如,中间信号、侧信号或两者)。侧信号可对应于第一音频信号的第一帧的第一样本与第二音频信号的所选帧的所选样本之间的差。编码器可基于最终移位值而选择所选帧。相比于对应于第二音频信号的帧(与第一帧同时由装置接收)的第二音频信号的其它样本,由于第一样本与所选样本之间的差减小,更少的位可用以对侧声道信号进行编码。装置的发射器可发射至少一个经编码信号、非因果移位值、相对增益参数、参考声道或信号指示符,或其组合。

基于参考信号、目标信号、非因果移位值、相对增益参数、第一音频信号的特定帧的低频带参数、特定帧的高频带参数或其组合,编码器可产生至少一个经编码信号(例如,中间信号、侧信号或两者)。特定帧可先于第一帧。来自一或多个先前帧的某些低频带参数、高频带参数或其组合可用以编码第一帧的中间信号、侧信号或两者。基于低频带参数、高频带参数或其组合而编码中间信号、侧信号或两者可改进非因果移位值及声道间相对增益参数的估计。低频带参数、高频带参数或其组合可包含间距参数、语音参数、译码器类型参数、低频带能量参数、高频带能量参数、倾斜参数、间距增益参数、FCB增益参数、译码模式参数、语音活动参数、噪声估计参数、信噪比参数、共振峰参数、话语/音乐决策参数、非因果移位、声道间增益参数或其组合。装置的发射器可发射至少一个经编码信号、非因果移位值、相对增益参数、参考声道(或信号)指示符,或其组合。

参看图1,公开系统的特定说明性实例且所述系统整体指定为100。系统100包含经由网络120以通信方式耦合到第二装置106的第一装置104。网络120可包含一或多个无线网络、一或多个有线网络或其组合。

第一装置104可包含编码器114、发射器110、一或多个输入接口112或其组合。输入接口112的第一输入接口可耦合到第一麦克风146。输入接口112的第二输入接口可耦合到第二麦克风148。编码器114可包含时间等化器108且可经配置以对多个音频信号进行降混及编码,如本文中所描述。第一装置104还可包含经配置以存储分析数据190的存储器153。第二装置106可包含解码器118。解码器118可包含经配置以对多个声道进行升混及显现的时间平衡器124。第二装置106可耦合到第一扬声器142、第二扬声器144或两者。

在操作期间,第一装置104可经由第一输入接口从第一麦克风146接收第一音频信号130,且可经由第二输入接口从第二麦克风148接收第二音频信号132。第一音频信号130可对应于右声道信号或左声道信号中的一个。第二音频信号132可对应于右声道信号或左声道信号中的另一个。与第二麦克风148相比,声源152(例如,用户、扬声器、环境噪声、乐器等)可更接近第一麦克风146。因此,与经由第二麦克风148相比,可在输入接口112处经由第一麦克风146在稍早时间接收到来自声源152的音频信号。经由多个麦克风的多声道信号获取中的此固有延迟可引入第一音频信号130与第二音频信号132之间的时间移位。

时间等化器108可经配置以估计在麦克风146、148处捕获的音频之间的时间性偏移。时间性偏移可基于第一音频信号130的第一帧与第二音频信号132的第二帧之间的延迟来估计,其中第二帧包含与第一帧大体上类似的内容。举例来说,时间等化器108可确定第一帧与第二帧之间的交叉相关。交叉相关可依据一个帧相对于另一帧的滞后而测量两个帧的相似性。基于交叉相关,时间等化器108可确定第一帧与第二帧之间的延迟(例如,滞后)。时间等化器108可基于延迟及历史延迟数据而估计第一音频信号130与第二音频信号132之间的时间性偏移。

历史数据可包含从第一麦克风146检索的帧与从第二麦克风148检索的对应帧之间的延迟。举例来说,时间等化器108可确定相关联于第一音频信号130的先前帧与相关联于第二音频信号132的对应帧之间的交叉相关(例如,滞后)。每一滞后可由“比较值”表示。也就是说,比较值可指示第一音频信号130的帧与第二音频信号132的对应帧之间的时间移位(k)。根据一个实施方案,先前帧的比较值可存储在存储器153处。时间等化器108的平滑器192可“平滑”(或平均)在长期帧集合内的比较值且将长期经平滑比较值用于估计第一音频信号130与第二音频信号132之间的时间性偏移(例如,“移位”)。

为进行说明,如果CompValN(k)表示帧N在移位k下的比较值,那么帧N可具有比较值k=T_MIN(最小移位)到k=T_MAX(最大移位)。可执行平滑,以使得长期比较值由来表示。以上等式中的函数f可为移位(k)下的所有过去比较值(或子集)的函数。长期比较值的替代表示可为函数f或g可分别为简单的有限脉冲响应(finite impulse response;FIR)滤波器或无限脉冲响应(infinite impulse response;IIR)滤波器。举例来说,函数g可为单抽头IIR滤波器,以使得长期比较值由来表示,其中α∈(0,1.0)。因此,长期比较值可基于帧N处的瞬时比较值CompValN(k)与一或多个先前帧的长期比较值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。在特定方面中,函数f可为L抽头FIR滤波器,以使得长期比较值由来表示,其中α1、α2、……、及αL对应于权重。在特定方面中,α1、α2、……、及αL∈(0,1.0)中的每一个及α1、α2、……、及αL中的一个可与α1、α2、……、及αL的另一个相同或不同。因此,长期比较值可基于帧N处的瞬时比较值CompValN(k)与先前(L-1)个帧中的比较值CompValN-i(k)的加权混合。

上述平滑技术可大体上正规化有声帧、无声帧及转变帧之间的移位估计。经正规化的移位估计可减少帧边界处的样本重复及伪影跳过。另外,经正规化的移位估计可带来减少的侧声道能量,这可改进译码效率。

时间等化器108可确定最终移位值116(例如,非因果移位值),其指示第一音频信号130(例如,“目标”)相对于第二音频信号132(例如,“参考”)的移位(例如,非因果移位)。最终移位值116可基于瞬时比较值CompValN(k)及长期比较举例来说,可对试验性移位值、对内插移位值、对修正移位值或其组合执行上文所述的平滑操作,如关于图5所描述。最终移位值116可基于试验性移位值、内插移位值及修正移位值,如关于图5所描述。最终移位值116的第一值(例如,正值)可指示第二音频信号132相对于第一音频信号130延迟。最终移位值116的第二值(例如,负值)可指示第一音频信号130相对于第二音频信号132延迟。最终移位值116的第三值(例如,0)可指示第一音频信号130与第二音频信号132之间无延迟。

在一些实施方案中,最终移位值116的第三值(例如,0)可指示第一音频信号130与第二音频信号132之间的延迟已切换正负号。举例来说,第一音频信号130的第一特定帧可先于第一帧。第二音频信号132的第一特定帧及第二特定帧可对应于由声源152发出的同一声音。第一音频信号130与第二音频信号132之间的延迟可从使第一特定帧相对于第二特定帧延迟切换到使第二帧相对于第一帧延迟。替代地,第一音频信号130与第二音频信号132之间的延迟可从使第二特定帧相对于第一特定帧延迟切换到使第一帧相对于第二特定帧延迟。响应于确定第一音频信号130与第二音频信号132之间的延迟已切换正负号,时间等化器108可设定最终移位值116以指示第三值(例如,0)。

时间等化器108可基于最终移位值116而产生参考信号指示符164。举例来说,响应于确定最终移位值116指示第一值(例如,正值),时间等化器108可产生具有指示第一音频信号130是“参考”信号的第一值(例如,0)的参考信号指示符164。响应于确定最终移位值116指示第一值(例如,正值),时间等化器108可确定第二音频信号132对应于“目标”信号。替代地,响应于确定最终移位值116指示第二值(例如,负值),时间等化器108可产生具有指示第二音频信号132是“参考”信号的第二值(例如,1)的参考信号指示符164。响应于确定最终移位值116指示第二值(例如,负值),时间等化器108可确定第一音频信号130对应于“目标”信号。响应于确定最终移位值116指示第三值(例如,0),时间等化器108可产生具有指示第一音频信号130是“参考”信号的第一值(例如,0)的参考信号指示符164。响应于确定最终移位值116指示第三值(例如,0),时间等化器108可确定第二音频信号132对应于“目标”信号。替代地,响应于确定最终移位值116指示第三值(例如,0),时间等化器108可产生具有指示第二音频信号132是“参考”信号的第二值(例如,1)的参考信号指示符164。响应于确定最终移位值116指示第三值(例如,0),时间等化器108可确定第一音频信号130对应于“目标”信号。在一些实施方案中,响应于确定最终移位值116指示第三值(例如,0),时间等化器108可使参考信号指示符164保持不变。举例来说,参考信号指示符164可与对应于第一音频信号130的第一特定帧的参考信号指示符相同。时间等化器108可产生指示最终移位值116的绝对值的非因果移位值162。

时间等化器108可基于“目标”信号的样本及基于“参考”信号的样本而产生增益参数160(例如,编解码器增益参数)。举例来说,时间等化器108可基于非因果移位值162来选择第二音频信号132的样本。替代地,时间等化器108可独立于非因果移位值162来选择第二音频信号132的样本。响应于确定第一音频信号130是参考信号,时间等化器108可基于第一音频信号130的第一帧的第一样本来确定所选样本的增益参数160。替代地,响应于确定第二音频信号132是参考信号,时间等化器108可基于所选样本来确定第一样本的增益参数160。作为实例,增益参数160可基于以下等式中的一个:

其中gD对应于用于降混处理的相对增益参数160,Ref(n)对应于“参考”信号的样本,N1对应于第一帧的非因果移位值162,且Targ(n+N1)对应于“目标”信号的样本。增益参数160(gD)可(例如)基于等式1a到1f中的一个进行修改以并入长期平滑/滞后逻辑,以避免帧之间的增益的巨大跳变。当目标信号包含第一音频信号130时,第一样本可包含目标信号的样本且所选样本可包含参考信号的样本。当目标信号包含第二音频信号132时,第一样本可包含参考信号的样本,且所选样本可包含目标信号的样本。

在一些实施方案中,基于将第一音频信号130当作参考信号处理及将第二音频信号132当作目标信号处理,时间等化器108可产生无关于参考信号指示符164的增益参数160。举例来说,基于Ref(n)对应于第一音频信号130的样本(例如,第一样本)且Targ(n+N1)对应于第二音频信号132的样本(例如,所选样本)的等式1a到1f中的一个,时间等化器108可产生增益参数160。在替代实施方案中,基于将第二音频信号132当作参考信号处理及将第一音频信号130当作目标信号处理,时间等化器108可产生无关于参考信号指示符164的增益参数160。举例来说,基于Ref(n)对应于第二音频信号132的样本(例如,所选样本)且Targ(n+N1)对应于第一音频信号130的样本(例如,第一样本)的等式1a到1f中的一个,时间等化器108可产生增益参数160。

基于第一样本、所选样本及用于降混处理的相对增益参数160,时间等化器108可产生一或多个经编码信号102(例如,中间声道信号、侧声道信号或两者)。举例来说,时间等化器108可基于以下等式中的一个而产生中间信号:

M=Ref(n)+gDTarg(n+N1), 等式2a

M=Ref(n)+Targ(n+N1), 等式2b

其中M对应于中间声道信号,gD对应于用于降混处理的相对增益参数160,Ref(n)对应于“参考”信号的样本,N1对应于第一帧的非因果移位值162,且Targ(n+N1)对应于“目标”信号的样本。

时间等化器108可基于以下等式中的一个而产生侧声道信号:

S=Ref(n)-gDTarg(n+N1), 等式3a

S=gDRef(n)-Targ(n+N1), 等式3b

其中S对应于侧声道信号,gD对应于用于降混处理的相对增益参数160,Ref(n)对应于“参考”信号的样本,N1对应于第一帧的非因果移位值162,且Targ(n+N1)对应于“目标”信号的样本。

发射器110可经由网络120将经编码信号102(例如,中间声道信号、侧声道信号或两者)、参考信号指示符164、非因果移位值162、增益参数160或其组合发射到第二装置106。在一些实施方案中,发射器110可将经编码信号102(例如,中间声道信号、侧声道信号或两者)、参考信号指示符164、非因果移位值162、增益参数160或其组合存储于网络120的装置或本地装置处,以供稍后进一步处理或解码。

解码器118可解码经编码信号102。时间平衡器124可执行升混,以产生(例如,对应于第一音频信号130的)第一输出信号126、(例如,对应于第二音频信号132的)第二输出信号128或两者。第二装置106可经由第一扬声器142输出第一输出信号126。第二装置106可经由第二扬声器144输出第二输出信号128。

系统100可因此使得时间等化器108能够使用比中间信号更少的位来编码侧声道信号。第一音频信号130的第一帧的第一样本及第二音频信号132的所选样本可对应于由声源152发出的同一声音,且因此,第一样本与所选样本之间的差可小于第一样本与第二音频信号132的其它样本之间的差。侧声道信号可对应于第一样本与所选样本之间的差。

参看图2,公开系统的特定说明性实例且所述系统整体指定为200。系统200包含经由网络120耦合到第二装置106的第一装置204。第一装置204可对应于图1的第一装置104。系统200与图1的系统100不同,原因在于第一装置204耦合到超过两个麦克风。举例来说,第一装置204可耦合到第一麦克风146、第N麦克风248及一或多个额外麦克风(例如,图1的第二麦克风148)。第二装置106可耦合到第一扬声器142、第Y扬声器244、一或多个额外扬声器(例如,第二扬声器144)或其组合。第一装置204可包含编码器214。编码器214可对应于图1的编码器114。编码器214可包含一或多个时间等化器208。举例来说,时间等化器208可包含图1的时间等化器108。

在操作期间,第一装置204可接收超过两个音频信号。举例来说,第一装置204可经由第一麦克风146接收第一音频信号130,经由第N麦克风248接收第N音频信号232,且经由额外麦克风(例如,第二麦克风148)接收一或多个额外音频信号(例如,第二音频信号132)。

时间等化器208可产生一或多个参考信号指示符264、最终移位值216、非因果移位值262、增益参数260、经编码信号202或其组合。举例来说,时间等化器208可确定,第一音频信号130是参考信号且第N音频信号232及额外音频信号中的每一个是目标信号。时间等化器208可产生参考信号指示符164、最终移位值216、非因果移位值262、增益参数260以及对应于第一音频信号130及第N音频信号232及额外音频信号中的每一个的经编码信号202。

参考信号指示符264可包含参考信号指示符164。最终移位值216可包含指示第二音频信号132相对于第一音频信号130的移位的最终移位值116、指示第N音频信号232相对于第一音频信号130的移位的第二最终移位值或两者。非因果移位值262可包含对应于最终移位值116的绝对值的非因果移位值162、对应于第二最终移位值的绝对值的第二非因果移位值或两者。增益参数260可包含第二音频信号132的所选样本的增益参数160、第N音频信号232的所选样本的第二增益参数或两者。经编码信号202可包含经编码信号102中的至少一个。举例来说,经编码信号202可包含对应于第一音频信号130的第一样本及第二音频信号132的所选样本的侧声道信号、对应于第一样本及第N音频信号232的所选样本的第二侧声道或两者。经编码信号202可包含对应于第一样本、第二音频信号132的所选样本及第N音频信号232的所选样本的中间声道信号。

在一些实施方案中,时间等化器208可确定多个参考信号及对应目标信号,如参看图15所描述。举例来说,参考信号指示符264可包含对应于每对参考信号及目标信号的参考信号指示符。为进行说明,参考信号指示符264可包含对应于第一音频信号130及第二音频信号132的参考信号指示符164。最终移位值216可包含对应于每对参考信号及目标信号的最终移位值。举例来说,最终移位值216可包含对应于第一音频信号130及第二音频信号132的最终移位值116。非因果移位值262可包含对应于每对参考信号及目标信号的非因果移位值。举例来说,非因果移位值262可包含对应于第一音频信号130及第二音频信号132的非因果移位值162。增益参数260可包含对应于每对参考信号及目标信号的增益参数。举例来说,增益参数260可包含对应于第一音频信号130及第二音频信号132的增益参数160。经编码信号202可包含对应于每对参考信号及目标信号的中间声道信号及侧声道信号。举例来说,经编码信号202可包含对应于第一音频信号130及第二音频信号132的经编码信号102。

发射器110可经由网络120将参考信号指示符264、非因果移位值262、增益参数260、经编码信号202或其组合发射到第二装置106。基于参考信号指示符264、非因果移位值262、增益参数260、经编码信号202或其组合,解码器118可产生一或多个输出信号。举例来说,解码器118可经由第一扬声器142输出第一输出信号226,经由第Y扬声器244输出第Y输出信号228,经由一或多个额外扬声器(例如,第二扬声器144)输出一或多个额外输出信号(例如,第二输出信号128),或其组合。在另一实施方案中,发射器110可避免发射参考信号指示符264,且解码器118可基于(当前帧的)最终移位值216及先前帧的最终移位值而产生参考信号指示符264。

系统200可因此使得时间等化器208能够编码超过两个音频信号。举例来说,通过基于非因果移位值262产生侧声道信号,经编码信号202可包含使用比对应中间声道更少的位进行编码的多个侧声道信号。

参看图3,展示了样本的说明性实例且样本整体指定为300。如本文中所描述,样本300的至少一子集可由第一装置104进行编码。

样本300可包含对应于第一音频信号130的第一样本320、对应于第二音频信号132的第二样本350,或两者。第一样本320可包含样本322、样本324、样本326、样本328、样本330、样本332、样本334、样本336、一或多个额外样本或其组合。第二样本350可包含样本352、样本354、样本356、样本358、样本360、样本362、样本364、样本366、一或多个额外样本或其组合。

第一音频信号130可对应于多个帧(例如,帧302、帧304、帧306或其组合)。多个帧中的每一个可对应于第一样本320的样本的子集(例如,对应于20ms,例如32kHz下的640个样本或48kHz下的960个样本)。举例来说,帧302可对应于样本322、样本324、一或多个额外样本或其组合。帧304可对应于样本326、样本328、样本330、样本332、一或多个额外样本或其组合。帧306可对应于样本334、样本336、一或多个额外样本或其组合。

样本322可在图1的输入接口112处与样本352在大致相同的时间接收。样本324可在图1的输入接口112处与样本354在大致相同的时间接收。样本326可在图1的输入接口112处与样本356在大致相同的时间接收。样本328可在图1的输入接口112处与样本358在大致相同的时间接收。样本330可在图1的输入接口112处与样本360在大致相同的时间接收。样本332可在图1的输入接口112处与样本362在大致相同的时间接收。样本334可在图1的输入接口112处与样本364在大致相同的时间接收。样本336可在图1的输入接口112处与样本366在大致相同的时间接收。

最终移位值116的第一值(例如,正值)可指示第二音频信号132相对于第一音频信号130延迟。举例来说,最终移位值116的第一值(例如,+X ms或+Y个样本,其中X及Y包含正实数)可指示帧304(例如,样本326到332)对应于样本358到364。样本326到332及样本358到364可对应于从声源152发出的同一声音。样本358到364可对应于第二音频信号132的帧344。图1到15中的一或多个中的具有网状线的样本的说明可指示样本对应于同一声音。举例来说,样本326到332及样本358到364在图3中说明为具有网状线,以指示样本326到332(例如,帧304)及样本358到364(例如,帧344)对应于从声源152发出的同一声音。

应理解,如图3中所示,Y个样本的时间性偏移是说明性的。举例来说,时间性偏移可对应于样本的数目Y,其大于或等于0。在时间性偏移Y=0个样本的第一情况下,样本326到332(例如,对应于帧304)及样本356到362(例如,对应于帧344)可展示无任何帧偏移的高相似性。在时间性偏移Y=2个样本的第二情况下,帧304及帧344可偏移2个样本。在此情况下,第一音频信号130可在输入接口112处先于第二音频信号132Y=2个样本或X=(2/Fs)ms而接收到,其中Fs对应于以kHz计的采样率。在一些情况下,时间性偏移Y可包含非整数值,例如,Y=1.6个样本,其在32kHz下对应于X=0.05ms。

图1的时间等化器108可通过对样本326到332及样本358到364进行编码来产生经编码信号102,如参看图1所描述。时间等化器108可确定,第一音频信号130对应于参考信号且第二音频信号132对应于目标信号。

参看图4,展示了样本的说明性实例且样本整体指定为400。样本400不同于样本300,不同之处在于第一音频信号130相对于第二音频信号132延迟。

最终移位值116的第二值(例如,负值)可指示第一音频信号130相对于第二音频信号132延迟。举例来说,最终移位值116的第二值(例如,-X ms或-Y个样本,其中X及Y包含正实数)可指示帧304(例如,样本326到332)对应于样本354到360。样本354到360可对应于第二音频信号132的帧344。样本354到360(例如,帧344)及样本326到332(例如,帧304)可对应于由声源152发出的同一声音。

应理解,如图4中所示,-Y个样本的时间性偏移是说明性的。举例来说,时间性偏移可对应于样本的数目-Y,其小于或等于0。在时间性偏移Y=0个样本的第一情况下,样本326到332(例如,对应于帧304)及样本356到362(例如,对应于帧344)可展示无任何帧偏移的高相似性。在时间性偏移Y=-6个样本的第二情况下,帧304及帧344可偏移6个样本。在此情况下,第一音频信号130可在输入接口112处以Y=-6个样本或X=(-6/Fs)ms后于第二音频信号132而接收到,其中Fs对应于以kHz计的采样率。在一些情况下,时间性偏移Y可包含非整数值,例如,Y=-3.2个样本,其在32kHz下对应于X=-0.1ms。

图1的时间等化器108可通过对样本354到360及样本326到332进行编码来产生经编码信号102,如参看图1所描述。时间等化器108可确定,第二音频信号132对应于参考信号且第一音频信号130对应于目标信号。特定来说,时间等化器108可根据最终移位值116估计非因果移位值162,如参看图5所描述。基于最终移位值116的正负号,时间等化器108可将第一音频信号130或第二音频信号132中的一个识别(例如,指定)为参考信号,且将第一音频信号130或第二音频信号132中的另一个识别为目标信号。

参看图5,展示了系统的说明性实例且所述系统整体指定为500。系统500可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统500的一或多个组件。时间等化器108可包含重新采样器504、信号比较器506、内插器510、移位优化器511、移位变化分析器512、绝对移位产生器513、参考信号指定器508、增益参数产生器514、信号产生器516或其组合。

在操作期间,重新采样器504可产生一或多个经重新采样的信号,如参看图6所进一步描述。举例来说,通过基于重新采样(例如,减少采样或增加采样)因数(D)(例如,≥1)对第一音频信号130重新采样(例如,减少采样或增加采样),重新采样器504可产生第一经重新采样信号530。通过基于重新采样因数(D)对第二音频信号132重新采样,重新采样器504可产生第二经重新采样信号532。重新采样器504可将第一经重新采样信号530、第二经重新采样信号532或两者提供到信号比较器506。

信号比较器506可产生比较值534(例如,差值、变化值、相似性值、相干性值或交叉相关值)、试验性移位值536或两者,如参看图7所进一步描述。举例来说,信号比较器506可基于第一经重新采样信号530及应用于第二经重新采样信号532的多个移位值而产生比较值534,如参看图7所进一步描述。信号比较器506可基于比较值534来确定试验性移位值536,如参看图7所进一步描述。根据一个实施方案,信号比较器506可检索经重新采样信号530、532的先前帧的比较值,且可使用先前帧的比较值基于长期平滑操作来修改比较值534。举例来说,比较值534可包含当前帧(N)的长期比较值且可由来表示,其中α∈(0,1.0)。因此,长期比较值可基于帧N处的瞬时比较值CompValN(k)与一或多个先前帧的长期比较值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。

第一经重新采样信号530可包含比第一音频信号130更少的样本或更多的样本。第二经重新采样信号532可包含比第二音频信号132更少的样本或更多的样本。相比于基于原始信号(例如,第一音频信号130及第二音频信号132)的样本,基于经重新采样信号(例如,第一经重新采样信号530及第二经重新采样信号532)的较少样本来确定比较值534可使用更少的资源(例如,时间、操作次数或两者)。相比于基于原始信号(例如,第一音频信号130及第二音频信号132)的样本,基于经重新采样信号(例如,第一经重新采样信号530及第二经重新采样信号532)的较多样本来确定比较值534可增加精确度。信号比较器506可将比较值534、试验性移位值536或两者提供到内插器510。

内插器510可扩充试验性移位值536。举例来说,内插器510可产生内插移位值538,如参看图8所进一步描述。举例来说,内插器510可通过对比较值534进行内插来产生对应于接近试验性移位值536的移位值的内插比较值。内插器510可基于内插比较值及比较值534来确定内插移位值538。比较值534可基于移位值的较粗略粒度。举例来说,比较值534可基于移位值的集合的第一子集,使得第一子集的第一移位值与第一子集的每一第二移位值之间的差大于或等于阈值(例如,≥1)。所述阈值可基于重新采样因数(D)。

内插比较值可基于接近于重新采样的试验性移位值536的移位值的较精细粒度。举例来说,内插比较值可基于所述移位值集合的第二子集,使得第二子集的最高移位值与经重新采样的试验性移位值536之间的差小于所述阈值(例如,≥1),且第二子集的最低移位值与经重新采样的试验性移位值536之间的差小于所述阈值。相比于基于移位值的集合的较精细粒度(例如,所有)来确定比较值534,基于移位值的集合的较粗略粒度(例如,第一子集)来确定比较值534可使用更少的资源(例如,时间、操作或两者)。确定对应于移位值的第二子集的内插比较值可基于接近于试验性移位值536的移位值的较小集合的较精细粒度来扩充试验性移位值536,而无需确定对应于移位值的集合的每一移位值的比较值。因此,基于移位值的第一子集来确定试验性移位值536及基于内插比较值来确定内插移位值538可平衡估计移位值的资源使用率及优化。内插器510可将内插移位值538提供到移位优化器511。

根据一个实施方案,内插器510可检索先前帧的内插移位值,且可使用先前帧的内插移位值基于长期平滑操作来修改内插移位值538。举例来说,内插移位值538可包含当前帧(N)的长期内插移位值且可由来表示,其中α∈(0,1.0)。因此,长期内插移位值可基于帧N处的瞬时内插移位值InterValN(k)与一或多个先前帧的长期内插移位值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。

移位优化器511可通过优化内插移位值538来产生修正移位值540,如参看图9A到9C所进一步描述。举例来说,移位优化器511可确定内插移位值538是否指示第一音频信号130与第二音频信号132之间的移位变化大于移位变化阈值,如参看图9A所进一步描述。移位变化可通过内插移位值538与图3的与帧302相关联的第一移位值之间的差(例如,变化)来指示。响应于确定差小于或等于阈值,移位优化器511可将修正移位值540设定为内插移位值538。替代地,响应于确定差大于阈值,移位优化器511可确定对应于小于或等于移位变化阈值的差的多个移位值,如参看图9A所进一步描述。移位优化器511可基于第一音频信号130及应用于第二音频信号132的多个移位值来确定比较值。移位优化器511可基于比较值来确定修正移位值540,如参看图9A所进一步描述。举例来说,移位优化器511可基于比较值及内插移位值538而选择所述多个移位值中的一移位值,如参看图9A所进一步描述。移位优化器511可设定修正移位值540以指示所选移位值。对应于帧302的第一移位值与内插移位值538之间的非零差可指示,第二音频信号132的一些样本对应于两个帧(例如,帧302及帧304)。举例来说,第二音频信号132的一些样本在编码期间可经复制。替代地,非零差可指示,第二音频信号132的一些样本既不对应于帧302,也不对应于帧304。举例来说,第二音频信号132的一些样本在编码期间可丢失。将修正移位值540设定为多个移位值中的一个可防止连续(或邻近)帧之间的巨大移位变化,从而减少编码期间的样本丢失或样本复制的量。移位优化器511可将修正移位值540提供到移位变化分析器512。

根据一个实施方案,移位优化器可检索先前帧的修正移位值,且可使用先前帧的修正移位值基于长期平滑操作来修改修正移位值540。举例来说,修正移位值540可包含当前帧(N)的长期修正移位值且可由来表示,其中α∈(0,1.0)。因此,长期修正移位值可基于帧N处的瞬时修正移位值AmendValN(k)与一或多个先前帧的长期修正移位值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。

在一些实施方案中,移位优化器511可调整内插移位值538,如参看图9B所描述。移位优化器511可基于经调整的内插移位值538来确定修正移位值540。在一些实施方案中,移位优化器511可确定修正移位值540,如参看图9C所描述。

移位变化分析器512可确定修正移位值540是否指示第一音频信号130与第二音频信号132之间在时序上的切换或逆转,如参看图1所描述。特定来说,时序上的逆转或切换可指示:对于帧302,第一音频信号130先于第二音频信号132在输入接口112处接收到,且对于后续帧(例如,帧304或帧306),第二音频信号132先于第一音频信号130在输入接口处接收到。替代地,时序上的逆转或切换可指示:对于帧302,第二音频信号132先于第一音频信号130在输入接口112处接收到,且对于后续帧(例如,帧304或帧306),第一音频信号130先于第二音频信号132在输入接口处接收到。换句话说,时序上的切换或逆转可指示:对应于帧302的最终移位值具有不同于对应于帧304的修正移位值540的第二正负号的第一正负号(例如,正到负转变,或反过来)。基于修正移位值540及与帧302相关的第一移位值,移位变化分析器512可确定第一音频信号130与第二音频信号132之间的延迟是否已切换正负号,如参看图10A所进一步描述。响应于确定第一音频信号130与第二音频信号132之间的延迟已切换正负号,移位变化分析器512可将最终移位值116设定为指示无时间移位的值(例如,0)。替代地,响应于确定第一音频信号130与第二音频信号132之间的延迟尚未切换正负号,移位变化分析器512可将最终移位值116设定为修正移位值540,如参看图10A所进一步描述。移位变化分析器512可通过优化修正移位值540来产生估计移位值,如参看图10A、11所进一步描述。移位变化分析器512可将最终移位值116设定为估计移位值。设定最终移位值116以指示无时间移位可通过对于第一音频信号130的连续(或邻近)帧避免第一音频信号130与第二音频信号132在相反方向上的时间移位来减少解码器处的失真。移位变化分析器512可将最终移位值116提供到参考信号指定器508、提供到绝对移位产生器513或两者。在一些实施方案中,移位变化分析器512可确定最终移位值116,如参看图10B所描述。

通过将绝对函数应用于最终移位值116,绝对移位产生器513可产生非因果移位值162。绝对移位产生器513可将非因果移位值162提供到增益参数产生器514。

参考信号指定器508可产生参考信号指示符164,如参看图12到13所进一步描述。举例来说,参考信号指示符164可具有指示第一音频信号130是参考信号的第一值或指示第二音频信号132是参考信号的第二值。参考信号指定器508可将参考信号指示符164提供到增益参数产生器514。

增益参数产生器514可基于非因果移位值162而选择目标信号(例如,第二音频信号132)的样本。举例来说,响应于确定非因果移位值162具有第一值(例如,+X ms或+Y个样本,其中X及Y包含正实数),增益参数产生器514可选择样本358到364。响应于确定非因果移位值162具有第二值(例如,-X ms或-Y个样本),增益参数产生器514可选择样本354到360。响应于确定非因果移位值162具有指示无时间移位的值(例如,0),增益参数产生器514可选择样本356到362。

增益参数产生器514可基于参考信号指示符164来确定是否第一音频信号130是参考信号或第二音频信号132是参考信号。基于帧304的样本326到332及第二音频信号132的所选样本(例如,样本354到360、样本356到362或样本358到364),增益参数产生器514可产生增益参数160,如参看图1所描述。举例来说,增益参数产生器514可基于等式1a到等式1f中一或多个而产生增益参数160,其中gD对应于增益参数160,Ref(n)对应于参考信号的样本,且Targ(n+N1)对应于目标信号的样本。为进行说明,当非因果移位值162具有第一值(例如,+X ms或+Y个样本,其中X及Y包含正实数)时,Ref(n)可对应于帧304的样本326到332,且Targ(n+tN1)可对应于帧344的样本358到364。在一些实施方案中,Ref(n)可对应于第一音频信号130的样本,且Targ(n+N1)可对应于第二音频信号132的样本,如参看图1所描述。在替代性实施方案中,Ref(n)可对应于第二音频信号132的样本,且Targ(n+N1)可对应于第一音频信号130的样本,如参看图1所描述。

增益参数产生器514可将增益参数160、参考信号指示符164、非因果移位值162或其组合提供到信号产生器516。信号产生器516可产生经编码信号102,如参看图1所描述。举例来说,经编码信号102可包含第一经编码信号帧564(例如,中间声道帧)、第二经编码信号帧566(例如,侧声道帧)或两者。信号产生器516可基于等式2a或等式2b而产生第一经编码信号帧564,其中M对应于第一经编码信号帧564,gD对应于增益参数160,Ref(n)对应于参考信号的样本,且Targ(n+N1)对应于目标信号的样本。信号产生器516可基于等式3a或等式3b而产生第二经编码信号帧566,其中S对应于第二经编码信号帧566,gD对应于增益参数160,Ref(n)对应于参考信号的样本,且Targ(n+N1)对应于目标信号的样本。

时间等化器108可将以下各项存储于存储器153中:第一经重新采样信号530、第二经重新采样信号532、比较值534、试验性移位值536、内插移位值538、修正移位值540、非因果移位值162、参考信号指示符164、最终移位值116、增益参数160、第一经编码信号帧564、第二经编码信号帧566或其组合。举例来说,分析数据190可包含第一经重新采样信号530、第二经重新采样信号532、比较值534、试验性移位值536、内插移位值538、修正移位值540、非因果移位值162、参考信号指示符164、最终移位值116、增益参数160、第一经编码信号帧564、第二经编码信号帧566或其组合。

上述平滑技术可大体上正规化有声帧、无声帧及转变帧之间的移位估计。经正规化的移位估计可减少帧边界处的样本重复及伪影跳过。另外,经正规化的移位估计可带来减少的侧声道能量,这可改进译码效率。

参看图6,展示了系统的说明性实例且所述系统整体指定为600。系统600可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统600的一或多个组件。

重新采样器504可通过对图1的第一音频信号130重新采样(例如,减少采样或增加采样)来产生第一经重新采样信号530的第一样本620。重新采样器504可通过对图1的第二音频信号132重新采样(例如,减少采样或增加采样)而产生第二经重新采样信号532的第二样本650。

第一音频信号130可以第一采样率(Fs)加以采样以产生图3的第一样本320。第一采样率(Fs)可对应于与宽带(WB)带宽相关联的第一速率(例如,16千赫兹(kHz))、与超宽带(SWB)带宽相关联的第二速率(例如,32kHz)、与全频带(FB)带宽相关联的第三速率(例如,48kHz),或另一速率。第二音频信号132可以第一采样率(Fs)加以采样以产生图3的第二样本350。

在一些实施方案中,重新采样器504可在对第一音频信号130(或第二音频信号132)进行重新采样之前预处理第一音频信号130(或第二音频信号132)。通过基于无限脉冲响应(IIR)滤波器(例如,一阶IIR滤波器)对第一音频信号130(或第二音频信号132)滤波,重新采样器504可预处理第一音频信号130(或第二音频信号132)。IIR滤波器可基于以下等式:

Hpre(z)=1/(1-αz-1), 等式4

其中α为正,例如0.68或0.72。在重新采样之前执行去加重(de-emphasis)可减少例如频叠、信号调节或两者的效应。第一音频信号130(例如,经预处理的第一音频信号130)及第二音频信号132(例如,经预处理的第二音频信号132)可基于重新采样因数(D)进行重新采样。重新采样因数(D)可基于第一采样率(Fs)(例如,D=Fs/8,D=2Fs等)。

在替代性实施方案中,第一音频信号130及第二音频信号132可在重新采样之前使用抗频叠滤波器进行低通滤波或抽取。抽取滤波器可基于重新采样因数(D)。在特定实例中,响应于确定第一采样率(Fs)对应于特定速率(例如,32kHz),重新采样器504可选择具有第一截止频率(例如,π/D或π/4)的抽取滤波器。通过去加重多个信号(例如,第一音频信号130及第二音频信号132)来减少频叠相比对多个信号应用抽取滤波器可在计算上开销更少。

第一样本620可包含样本622、样本624、样本626、样本628、样本630、样本632、样本634、样本636、一或多个额外样本或其组合。第一样本620可包含图3的第一样本320的子集(例如,1/8)。样本622、样本624、一或多个额外样本或其组合可对应于帧302。样本626、样本628、样本630、样本632、一或多个额外样本或其组合可对应于帧304。样本634、样本636、一或多个额外样本或其组合可对应于帧306。

第二样本650可包含样本652、样本654、样本656、样本658、样本660、样本662、样本664、样本668、一或多个额外样本或其组合。第二样本650可包含图3的第二样本350的子集(例如,1/8)。样本654到660可对应于样本354到360。举例来说,样本654到660可包含样本354到360的子集(例如,1/8)。样本656到662可对应于样本356到362。举例来说,样本656到662可包含样本356到362的子集(例如,1/8)。样本658到664可对应于样本358到364。举例来说,样本658到664可包含样本358到364的子集(例如,1/8)。在一些实施方案中,重新采样因数可对应于第一值(例如,1),其中图6的样本622到636及样本652到668可分别类似于图3的样本322到336及样本352到366。

重新采样器504可将第一样本620、第二样本650或两者存储在存储器153中。举例来说,分析数据190可包含第一样本620、第二样本650或两者。

参看图7,展示了系统的说明性实例且所述系统整体指定为700。系统700可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统700的一或多个组件。

存储器153可存储多个移位值760。移位值760可包含第一移位值764(例如,-X ms或-Y个样本,其中X及Y包含正实数)、第二移位值766(例如,+X ms或+Y个样本,其中X及Y包含正实数)或两者。移位值760可在较小移位值(例如,最小移位值T_MIN)到较大移位值(例如,最大移位值T_MAX)的范围内。移位值760可指示第一音频信号130与第二音频信号132之间的预期时间移位(例如,最大预期时间移位)。

在操作期间,信号比较器506可基于第一样本620及应用于第二样本650的移位值760来确定比较值534。举例来说,样本626到632可对应于第一时间(t)。为进行说明,图1的输入接口112可在大致第一时间(t)接收对应于帧304的样本626到632。第一移位值764(例如,-X ms或-Y个样本,其中X及Y包含正实数)可对应于第二时间(t-1)。

样本654到660可对应于第二时间(t-1)。举例来说,输入接口112可在大致第二时间(t-1)接收样本654到660。信号比较器506可基于样本626到632及样本654到660来确定对应于第一移位值764的第一比较值714(例如,差值、变化值或交叉相关值)。举例来说,第一比较值714可对应于样本626到632与样本654到660的交叉相关的绝对值。作为另一实例,第一比较值714可指示样本626到632与样本654到660之间的差。

第二移位值766(例如,+X ms或+Y个样本,其中X及Y包含正实数)可对应于第三时间(t+1)。样本658到664可对应于第三时间(t+1)。举例来说,输入接口112可在大致第三时间(t+1)接收样本658到664。信号比较器506可基于样本626到632及样本658到664来确定对应于第二移位值766的第二比较值716(例如,差值、变化值或交叉相关值)。举例来说,第二比较值716可对应于样本626到632与样本658到664的交叉相关的绝对值。作为另一实例,第二比较值716可指示样本626到632与样本658到664之间的差。信号比较器506可将比较值534存储在存储器153中。举例来说,分析数据190可包含比较值534。

信号比较器506可识别比较值534的具有比比较值534的其它值更大(或更小)的值的所选比较值736。举例来说,响应于确定第二比较值716大于或等于第一比较值714,信号比较器506可选择第二比较值716作为所选比较值736。在一些实施方案中,比较值534可对应于交叉相关值。响应于确定第二比较值716大于第一比较值714,信号比较器506可确定样本626到632与样本658到664的相关度高于与样本654到660的相关度。信号比较器506可选择指示较高相关度的第二比较值716作为所选比较值736。在其它实施方案中,比较值534可对应于差值(例如,变化值)。响应于确定第二比较值716小于第一比较值714,信号比较器506可确定样本626到632与样本658到664的相似性大于与样本654到660的相似性(例如,与样本658到664的差小于与样本654到660的差)。信号比较器506可选择指示较小差的第二比较值716作为所选比较值736。

所选比较值736可指示比比较值534的其它值更高的相关度(或更小的差)。信号比较器506可识别移位值760的对应于所选比较值736的试验性移位值536。举例来说,响应于确定第二移位值766对应于所选比较值736(例如,第二比较值716),信号比较器506可将第二移位值766识别为试验性移位值536。

信号比较器506可基于以下等式来确定所选比较值736:

其中maxXCorr对应于所选比较值736且k对应于移位值。w(n)*l′对应于经去加重、经重新采样且经开窗的第一音频信号130,且w(n)*r′对应于经去加重、经重新采样且经开窗的第二音频信号132。举例来说,w(n)*l′可对应于样本626到632,w(n-1)*r′可对应于样本654到660,w(n)*r′可对应于样本656到662,且w(n+1)*r′可对应于样本658到664。-K可对应于移位值760的较小移位值(例如,最小移位值),且K可对应于移位值760的较大移位值(例如,最大移位值)。在等式5中,w(n)*l′对应于第一音频信号130,与第一音频信号130是否对应于右(r)声道信号或左(l)声道信号无关。在等式5中,w(n)*r′对应于第二音频信号132,与第二音频信号132是否对应于右(r)声道信号或左(l)声道信号无关。

信号比较器506可基于以下等式来确定试验性移位值536:

其中T对应于试验性移位值536。

信号比较器506可基于图6的重新采样因数(D)而将试验性移位值536从经重新采样样本映射到原始样本。举例来说,信号比较器506可基于重新采样因数(D)而更新试验性移位值536。为进行说明,信号比较器506可将试验性移位值536设定为试验性移位值536(例如,3)与重新采样因数(D)(例如,4)的乘积(例如,12)。

参看图8,展示了系统的说明性实例且所述系统整体指定为800。系统800可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统800的一或多个组件。存储器153可经配置以存储移位值860。移位值860可包含第一移位值864、第二移位值866或两者。

在操作期间,内插器510可产生接近于试验性移位值536(例如,12)的移位值860,如本文中所描述。经映射移位值可对应于基于重新采样因数(D)从经重新采样的样本映射到原始样本的移位值760。举例来说,经映射移位值的第一经映射移位值对应于第一移位值764与重新采样因数(D)的乘积。经映射移位值的第一经映射移位值与经映射移位值的每一第二经映射移位值之间的差可大于或等于阈值(例如,重新采样因数(D),例如4)。移位值860可具有比移位值760精细的粒度。举例来说,移位值860中的较小值(例如,最小值)与试验性移位值536之间的差可小于阈值(例如,4)。阈值可对应于图6的重新采样因数(D)。移位值860可在第一值(例如,试验性移位值536-(阈值-1))到第二值(例如,试验性移位值536+(阈值-1))的范围内。

内插器510可通过对比较值534执行内插来产生对应于移位值860的内插比较值816,如本文中所描述。由于比较值534的较低粒度,对应于移位值860中的一或多个的比较值可不包含在比较值534内。使用内插比较值816可能够搜索对应于移位值860中的一或多个的内插比较值,以确定对应于接近于试验性移位值536的特定移位值的内插比较值是否指示比图7的第二比较值716更高的相关(或更小的差)。

图8包含说明内插比较值816及比较值534(例如,交叉相关值)的实例的图表820。内插器510可执行基于汉宁(hanning)加窗正弦内插、基于IIR滤波器的内插、样条内插、另一形式的信号内插或其组合的内插。举例来说,内插器510可基于以下等式来执行汉宁加窗正弦内插:

其中b对应于经开窗正弦函数,对应于试验性移位值536。可对应于比较值534的特定比较值。举例来说,当i对应于4时,可指示比较值534的对应于第一移位值(例如,8)的第一比较值。当i对应于0时,可指示对应于试验性移位值536(例如,12)的第二比较值716。当i对应于-4时,可指示比较值534的对应于第三移位值(例如,16)的第三比较值。

R(k)32kHz可对应于内插比较值816的特定内插值。内插比较值816的每一内插值可对应于加窗正弦函数(b)与第一比较值、第二比较值716及第三比较值中的每一个的乘积的总和。举例来说,内插器510可确定加窗正弦函数(b)与第一比较值的第一乘积、加窗正弦函数(b)与第二比较值716的第二乘积及加窗正弦函数(b)与第三比较值的第三乘积。内插器510可基于第一乘积、第二乘积及第三乘积的总和来确定特定内插值。内插比较值816的第一内插值可对应于第一移位值(例如,9)。加窗正弦函数(b)可具有对应于第一移位值的第一值。内插比较值816的第二内插值可对应于第二移位值(例如,10)。加窗正弦函数(b)可具有对应于第二移位值的第二值。加窗正弦函数(b)的第一值可与第二值不同。第一内插值可因此与第二内插值不同。

在等式7中,8 kHz可对应于比较值534的第一速率。举例来说,第一速率可指示包含于比较值534中的对应于帧(例如,图3的帧304)的比较值的数目(例如,8)。32 kHz可对应于内插比较值816的第二速率。举例来说,第二速率可指示包含于内插比较值816中的对应于帧(例如,图3的帧304)的内插比较值的数目(例如,32)。

内插器510可选择内插比较值816的内插比较值838(例如,最大值或最小值)。内插器510可选择移位值860的对应于内插比较值838的移位值(例如,14)。内插器510可产生指示所选移位值(例如,第二移位值866)的内插移位值538。

使用粗略方法来确定试验性移位值536及在试验性移位值536周围搜索以确定内插移位值538可降低搜索复杂度而不损害搜索效率或准确度。

参看图9A,展示了系统的说明性实例且所述系统整体指定为900。系统900可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统900的一或多个组件。系统900可包含存储器153、移位优化器911或两者。存储器153可经配置以存储对应于帧302的第一移位值962。举例来说,分析数据190可包含第一移位值962。第一移位值962可对应于与帧302相关联的试验性移位值、内插移位值、修正移位值、最终移位值或非因果移位值。帧302在第一音频信号130中可先于帧304。移位优化器911可对应于图1的移位优化器511。

图9A还包含整体指定为920的说明性操作方法的流程图。方法920可由以下各者执行:图1的时间等化器108、编码器114、第一装置104;图2的时间等化器208、编码器214、第一装置204;图5的移位优化器511;移位优化器911;或其组合。

方法920包含,在901处确定第一移位值962与内插移位值538之间的差的绝对值是否大于第一阈值。举例来说,移位优化器911可确定第一移位值962与内插移位值538之间的差的绝对值是否大于第一阈值(例如,移位变化阈值)。

方法920还包含,响应于在901处确定绝对值小于或等于第一阈值,在902处,设定修正移位值540以指示内插移位值538。举例来说,响应于确定绝对值小于或等于移位变化阈值,移位优化器911可设定修正移位值540以指示内插移位值538。在一些实施方案中,移位变化阈值可具有第一值(例如,0),其指示当第一移位值962等于内插移位值538时,修正移位值540将设定为内插移位值538。在替代性实施方案中,移位变化阈值可具有第二值(例如,≥1),其指示修正移位值540在902处将被设定为内插移位值538,具有较大自由度。举例来说,针对第一移位值962与内插移位值538之间的一系列差,修正移位值540可设定为内插移位值538。举例来说,当第一移位值962与内插移位值538之间的差(例如,-2、-1、0、1、2)的绝对值小于或等于移位变化阈值(例如,2)时,修正移位值540可设定为内插移位值538。

方法920进一步包含,响应于在901处确定绝对值大于第一阈值,在904处确定第一移位值962是否大于内插移位值538。举例来说,响应于确定绝对值小于移位变化阈值,移位优化器911可确定第一移位值962是否大于内插移位值538。

方法920还包含,响应于在904处确定第一移位值962大于内插移位值538,在906处将较小移位值930设定为第一移位值962与第二阈值之间的差,且将较大移位值932设定为第一移位值962。举例来说,响应于确定第一移位值962(例如,20)大于内插移位值538(例如,14),移位优化器911可将较小移位值930(例如,17)设定为第一移位值962(例如,20)与第二阈值(例如,3)之间的差。另外,或在替代例中,移位优化器911可响应于确定第一移位值962大于内插移位值538,将较大移位值932(例如,20)设定为第一移位值962。第二阈值可基于第一移位值962与内插移位值538之间的差。在一些实施方案中,较小移位值930可设定为内插移位值538偏移与阈值(例如,第二阈值)之间的差,且较大移位值932可设定为第一移位值962与阈值(例如,第二阈值)之间的差。

方法920进一步包含,响应于在904处确定第一移位值962小于或等于内插移位值538,在910处将较小移位值930设定为第一移位值962,且将较大移位值932设定为第一移位值962与第三阈值的总和。举例来说,响应于确定第一移位值962(例如,10)小于或等于内插移位值538(例如,14),移位优化器911可将较小移位值930设定为第一移位值962(例如,10)。另外,或在替代例中,移位优化器911可响应于确定第一移位值962小于或等于内插移位值538而将较大移位值932(例如,13)设定为第一移位值962(例如,10)与第三阈值(例如,3)的总和。第三阈值可基于第一移位值962与内插移位值538之间的差。在一些实施方案中,较小移位值930可设定为第一移位值962与阈值(例如,第三阈值)之间的差,且较大移位值932可设定为内插移位值538与阈值(例如,第三阈值)之间的差。

方法920还包含,在908处,基于第一音频信号130及应用于第二音频信号132的移位值960来确定比较值916。举例来说,移位优化器911(或信号比较器506)可基于第一音频信号130及应用于第二音频信号132的移位值960而产生比较值916,如参看图7所描述。为进行说明,移位值960可在较小移位值930(例如,17)到较大移位值932(例如,20)的范围内。移位优化器911(或信号比较器506)可基于样本326到332及第二样本350的特定子集而产生比较值916的特定比较值。第二样本350的特定子集可对应于移位值960的特定移位值(例如,17)。特定比较值可指示样本326到332与第二样本350的特定子集之间的差(或相关)。

方法920进一步包含,在912处,基于比较值916(其基于第一音频信号130及第二音频信号132产生)来确定修正移位值540。举例来说,移位优化器911可基于比较值916来确定修正移位值540。举例来说,在第一情况下,当比较值916对应于交叉相关值时,移位优化器911可确定:对应于内插移位值538的图8的内插比较值838大于或等于比较值916的最大比较值。替代地,当比较值916对应于差值(例如,变化值)时,移位优化器911可确定:内插比较值838小于或等于比较值916的最小比较值。在此情况下,移位优化器911可响应于确定第一移位值962(例如,20)大于内插移位值538(例如,14)而将修正移位值540设定为较小移位值930(例如,17)。替代地,移位优化器911可响应于确定第一移位值962(例如,10)小于或等于内插移位值538(例如,14)而将修正移位值540设定为较大移位值932(例如,13)。

在第二情况下,当比较值916对应于交叉相关值时,移位优化器911可确定内插比较值838小于比较值916的最大比较值,且可将修正移位值540设定为移位值960的对应于最大比较值的特定移位值(例如,18)。替代地,当比较值916对应于差值(例如,变化值)时,移位优化器911可确定内插比较值838大于比较值916的最小比较值,且可将修正移位值540设定为移位值960的对应于最小比较值的特定移位值(例如,18)。

比较值916可基于第一音频信号130、第二音频信号132及移位值960而产生。修正移位值540可使用如由信号比较器506执行的类似过程而基于比较值916产生,如参看图7所描述。

方法920因此可使移位优化器911能够限制与连续(或相邻)帧相关联的移位值变化。减少的移位值变化可减少编码期间的样本丢失或样本复制。

参看图9B,展示了系统的说明性实例且所述系统整体指定为950。系统950可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统950的一或多个组件。系统950可包含存储器153、移位优化器511或两者。移位优化器511可包含内插移位调整器958。内插移位调整器958可经配置以基于第一移位值962来选择性地调整内插移位值538,如本文中所描述。移位优化器511可基于内插移位值538(例如,经调整的内插移位值538)来确定修正移位值540,如参看图9A、9C所描述。

图9B还包含整体指定为951的说明性操作方法的流程图。方法951可由以下各者执行:图1的时间等化器108、编码器114、第一装置104;图2的时间等化器208、编码器214、第一装置204;图5的移位优化器511;图9A的移位优化器911;内插移位调整器958;或其组合。

方法951包含,在952处基于第一移位值962与不受限内插移位值956之间的差而产生偏移957。举例来说,内插移位调整器958可基于第一移位值962与不受限内插移位值956之间的差而产生偏移957。不受限内插移位值956可对应于内插移位值538(例如,在通过内插移位调整器958调整之前)。内插移位调整器958可将不受限内插移位值956存储于存储器153中。举例来说,分析数据190可包含不受限内插移位值956。

方法951还包含,在953处确定偏移957的绝对值是否大于阈值。举例来说,内插移位调整器958可确定偏移957的绝对值是否满足阈值。所述阈值可对应于内插移位限制MAX_SHIFT_CHANGE(例如,4)。

方法951包含,响应于在953处确定偏移957的绝对值大于阈值,在954处基于第一移位值962、偏移957的正负号及阈值来设定内插移位值538。举例来说,内插移位调整器958可响应于确定偏移957的绝对值不满足(例如,大于)阈值而限定内插移位值538。举例来说,内插移位调整器958可基于第一移位值962、偏移957的正负号(例如,+1或-1)及阈值来调整内插移位值538(例如,内插移位值538=第一移位值962+正负号(偏移957)*阈值)。

方法951包含,响应于在953处确定偏移957的绝对值小于或等于阈值,在955处将内插移位值538设定为不受限内插移位值956。举例来说,内插移位调整器958可响应于确定偏移957的绝对值满足(例如,小于或等于)阈值而避免改变内插移位值538。

方法951因此可能够约束内插移位值538,以使得内插移位值538相对于第一移位值962的变化满足内插移位限制。

参看图9C,展示了系统的说明性实例且所述系统整体指定为970。系统970可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统970的一或多个组件。系统970可包含存储器153、移位优化器921或两者。移位优化器921可对应于图5的移位优化器511。

图9C还包含整体指定为971的说明性操作方法的流程图。方法971可由以下各者执行:图1的时间等化器108、编码器114、第一装置104执行;图2的时间等化器208、编码器214、第一装置204;图5的移位优化器511;图9A的移位优化器911;移位优化器921;或其组合。

方法971包含,在972处确定第一移位值962与内插移位值538之间的差是否非零。举例来说,移位优化器921可确定第一移位值962与内插移位值538之间的差是否非零。

方法971包含,响应于在972处确定第一移位值962与内插移位值538之间的差为零,在973处将修正移位值540设定为内插移位值538。举例来说,响应于确定第一移位值962与内插移位值538之间的差为零,移位优化器921可基于内插移位值538来确定修正移位值540(例如,修正移位值540=内插移位值538)。

方法971包含,响应于在972处确定第一移位值962与内插移位值538之间的差非零,在975处确定偏移957的绝对值是否大于阈值。举例来说,响应于确定第一移位值962与内插移位值538之间的差非零,移位优化器921可确定偏移957的绝对值是否大于阈值。偏移957可对应于第一移位值962与不受限内插移位值956之间的差,如参看图9B所描述。所述阈值可对应于内插移位限制MAX_SHIFT_CHANGE(例如,4)。

方法971包含,响应于在972处确定第一移位值962与内插移位值538之间的差非零或在975处确定偏移957的绝对值小于或等于阈值,在976处将较小移位值930设定为第一阈值与第一移位值962及内插移位值538中的最小值之间的差,且将较大移位值932设定为第二阈值与第一移位值962及内插移位值538中的最大值的总和。举例来说,响应于确定偏移957的绝对值小于或等于阈值,移位优化器921可基于第一阈值与第一移位值962及内插移位值538中的最小值之间的差来确定较小移位值930。移位优化器921也可基于第二阈值与第一移位值962及内插移位值538中的最大值的总和来确定较大移位值932。

方法971还包含,在977处基于第一音频信号130及应用于第二音频信号132的移位值960而产生比较值916。举例来说,移位优化器921(或信号比较器506)可基于第一音频信号130及应用于第二音频信号132的移位值960而产生比较值916,如参看图7所描述。移位值960可在较小移位值930到较大移位值932的范围内。方法971可前进到979。

方法971包含,响应于在975处确定偏移957的绝对值大于阈值,在978处基于第一音频信号130及应用于第二音频信号132的不受限内插移位值956而产生比较值915。举例来说,移位优化器921(或信号比较器506)可基于第一音频信号130及应用于第二音频信号132的不受限内插移位值956而产生比较值915,如参看图7所描述。

方法971还包含,在979处基于比较值916、比较值915或其组合来确定修正移位值540。举例来说,移位优化器921可基于比较值916、比较值915或其组合来确定修正移位值540,如参看图9A所描述。在一些实施方案中,移位优化器921可基于比较值915与比较值916的比较来确定修正移位值540,以避免由移位变化引起的局部最大值。

在一些情况下,第一音频信号130、第一经重新采样信号530、第二音频信号132、第二经重新采样信号532或其组合的固有间距可干扰移位估计过程。在此些情况下,可执行间距去加重或间距过滤,以减少由间距引起的干扰以及改进多个声道之间的移位估计的可靠性。在一些情况下,背景噪声可出现在第一音频信号130、第一经新重采样信号530、第二音频信号132、第二经重新采样信号532或其组合中,背景噪声可干扰移位估计过程。在此些情况下,噪声抑制或噪声抵消可用以改进多个声道之间的移位估计的可靠性。

参看图10A,展示了系统的说明性实例且所述系统整体指定为1000。系统1000可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统1000的一或多个组件。

图10A还包含整体指定为1020的说明性操作方法的流程图。方法1020可由移位变化分析器512、时间等化器108、编码器114、第一装置104或其组合来执行。

方法1020包含,在1001处确定第一移位值962是否等于0。举例来说,移位变化分析器512可确定对应于帧302的第一移位值962是否具有指示无时间移位的第一值(例如,0)。方法1020包含,响应于在1001处确定第一移位值962等于0而前进到1010。

方法1020包含,响应于在1001处确定第一移位值962非零,在1002处确定第一移位值962是否大于0。举例来说,移位变化分析器512可确定对应于帧302的第一移位值962是否具有指示第二音频信号132相对于第一音频信号130在时间上延迟的第一值(例如,正值)。

方法1020包含,响应于在1002处确定第一移位值962大于0,在1004处确定修正移位值540是否小于0。举例来说,响应于确定第一移位值962具有第一值(例如,正值),移位变化分析器512可确定修正移位值540是否具有指示第一音频信号130相对于第二音频信号132在时间上延迟的第二值(例如,负值)。方法1020包含,响应于在1004处确定修正移位值540小于0而前进到1008。方法1020包含响应于在1004处确定修正移位值540大于或等于0而前进到1010。

方法1020包含,响应于在1002处确定第一移位值962小于0,在1006处确定修正移位值540是否大于0。举例来说,响应于确定第一移位值962具有第二值(例如,负值),移位变化分析器512可确定修正移位值540是否具有指示第二音频信号132相对于第一音频信号130在时间上延迟的第一值(例如,正值)。方法1020包含,响应于在1006处确定修正移位值540大于0而前进到1008。方法1020包含响应于在1006处确定修正移位值540小于或等于0而前进到1010。

方法1020包含,在1008处将最终移位值116设定为0。举例来说,移位变化分析器512可将最终移位值116设定为指示无时间移位的特定值(例如,0)。

方法1020包含,在1010处确定第一移位值962是否等于修正移位值540。举例来说,移位变化分析器512可确定第一移位值962及修正移位值540是否指示第一音频信号130与第二音频信号132之间的相同时间延迟。

方法1020包含,响应于在1010处确定第一移位值962等于修正移位值540,在1012处将最终移位值116设定为修正移位值540。举例来说,移位变化分析器512可将最终移位值116设定为修正移位值540。

方法1020包含,响应于在1010处确定第一移位值962不等于修正移位值540,在1014处产生估计移位值1072。举例来说,移位变化分析器512可通过优化修正移位值540来确定估计移位值1072,如参看图11所进一步描述。

方法1020包含,在1016处将最终移位值116设定为估计移位值1072。举例来说,移位变化分析器512可将最终移位值116设定为估计移位值1072。

在一些实施方案中,响应于确定第一音频信号130与第二音频信号132之间的延迟未切换,移位变化分析器512可设定非因果移位值162以指示第二估计移位值。举例来说,响应于在1001处确定第一移位值962等于0、在1004处确定修正移位值540大于或等于0或在1006处确定修正移位值540小于或等于0,移位变化分析器512可设定非因果移位值162以指示修正移位值540。

响应于确定第一音频信号130与第二音频信号132之间的延迟在图3的帧304与帧302之间切换,移位变化分析器512因此可设定非因果移位值162以指示无时间移位。在连续帧之间防止非因果移位值162切换方向(例如,正值到负值或负值到正值)可减少编码器114处的降混信号产生中的失真,避免在解码器处针对升混合成使用额外延迟,或两者。

参看图10B,展示了系统的说明性实例且所述系统整体指定为1030。系统1030可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统1030的一或多个组件。

图10B还包含整体指定为1031的说明性操作方法的流程图。方法1031可由移位变化分析器512、时间等化器108、编码器114、第一装置104或其组合来执行。

方法1031包含,在1032处确定是否第一移位值962大于零且修正移位值540小于零。举例来说,移位变化分析器512可确定第一移位值962是否大于零且修正移位值540是否小于零。

方法1031包含,响应于在1032处确定第一移位值962大于零且修正移位值540小于零,在1033处将最终移位值116设定为零。举例来说,响应于确定第一移位值962大于零且修正移位值540小于零,移位变化分析器512可将最终移位值116设定为指示无时间移位的第一值(例如,0)。

方法1031包含,响应于在1032处确定第一移位值962小于或等于零或修正移位值540大于或等于零,在1034处确定第一移位值962是否小于零且修正移位值540是否大于零。举例来说,响应于确定第一移位值962小于或等于零或修正移位值540大于或等于零,移位变化分析器512可确定第一移位值962是否小于零且修正移位值540是否大于零。

方法1031包含,响应于确定第一移位值962小于零且修正移位值540大于零而前进到1033。方法1031包含,响应于确定第一移位值962大于或等于零或修正移位值540小于或等于零,在1035处将最终移位值116设定为修正移位值540。举例来说,响应于确定第一移位值962大于或等于零或修正移位值540小于或等于零,移位变化分析器512可将最终移位值116设定为修正移位值540。

参看图11,展示了系统的说明性实例且所述系统整体指定为1100。系统1100可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统1100的一或多个组件。图11还包含说明整体指定为1120的操作方法的流程图。方法1120可由移位变化分析器512、时间等化器108、编码器114、第一装置104或其组合来执行。方法1120可对应于图10A的步骤1014。

方法1120包含,在1104处确定第一移位值962是否大于修正移位值540。举例来说,移位变化分析器512可确定第一移位值962是否大于修正移位值540。

方法1120还包含,响应于在1104处确定第一移位值962大于修正移位值540,在1106处将第一移位值1130设定为修正移位值540与第一偏移之间的差,且将第二移位值1132设定为第一移位值962与第一偏移的总和。举例来说,响应于确定第一移位值962(例如,20)大于修正移位值540(例如,18),移位变化分析器512可基于修正移位值540来确定第一移位值1130(例如,17)(例如,修正移位值540-第一偏移)。替代地或另外,移位变化分析器512可基于第一移位值962来确定第二移位值1132(例如,21)(例如,第一移位值962+第一偏移)。方法1120可前进到1108。

方法1120进一步包含,响应于在1104处确定第一移位值962小于或等于修正移位值540,将第一移位值1130设定为第一移位值962与第二偏移之间的差,且将第二移位值1132设定为修正移位值540与第二偏移的总和。举例来说,响应于确定第一移位值962(例如,10)小于或等于修正移位值540(例如,12),移位变化分析器512可基于第一移位值962来确定第一移位值1130(例如,9)(例如,第一移位值962-第二偏移)。替代地或另外,移位变化分析器512可基于修正移位值540来确定第二移位值1132(例如,13)(例如,修正移位值540+第一偏移)。第一偏移(例如,2)可不同于第二偏移(例如,3)。在一些实施方案中,第一偏移可与第二偏移相同。第一偏移、第二偏移或两者的较大值可改进搜索范围。

方法1120还包含,在1108处基于第一音频信号130及应用于第二音频信号132的移位值1160而产生比较值1140。举例来说,如参看图7所描述,移位变化分析器512可基于第一音频信号130及应用于第二音频信号132的移位值1160而产生比较值1140。举例来说,移位值1160可在第一移位值1130(例如,17)到第二移位值1132(例如,21)的范围内。移位变化分析器512可基于样本326到332及第二样本350的特定子集而产生比较值1140的特定比较值。第二样本350的特定子集可对应于移位值1160的特定移位值(例如,17)。特定比较值可指示样本326到332与第二样本350的特定子集之间的差(或相关)。

方法1120进一步包含,在1112处基于比较值1140来确定估计移位值1072。举例来说,当比较值1140对应于交叉相关值时,移位变化分析器512可选择比较值1140的最大比较值作为估计移位值1072。替代地,当比较值1140对应于差值(例如,变化值)时,移位变化分析器512可选择比较值1140的最小比较值作为估计移位值1072。

方法1120可因此使得移位变化分析器512能够通过优化修正移位值540来产生估计移位值1072。举例来说,移位变化分析器512可基于原始样本来确定比较值1140,且可选择对应于比较值1140中的指示最高相关(或最小差)的比较值的估计移位值1072。

参看图12,展示了系统的说明性实例且所述系统整体指定为1200。系统1200可对应于图1的系统100。举例来说,图1的系统100、第一装置104或两者可包含系统1200的一或多个组件。图12还包含说明整体指示为1220的操作方法的流程图。可通过参考信号指定器508、时间等化器108、编码器114、第一装置104或其组合进行方法1220。

方法1220包含,在1202处确定最终移位值116是否等于0。举例来说,参考信号指定器508可确定最终移位值116是否具有指示无时间移位的特定值(例如,0)。

方法1220包含,响应于在1202处确定最终移位值116等于0,在1204处使参考信号指示符164保持不变。举例来说,响应于确定最终移位值116具有指示无时间移位的特定值(例如,0),参考信号指定器508可使参考信号指示符164保持不变。举例来说,参考信号指示符164可指示相同的音频信号(例如,第一音频信号130或第二音频信号132)是与帧304相关联的参考信号,帧302也是如此。

方法1220包含,响应于在1202处确定最终移位值116非零,在1206处确定最终移位值116是否大于0。举例来说,响应于确定最终移位值116具有指示时间移位的特定值(例如,非零值),参考信号指定器508可确定最终移位值116是否具有指示第二音频信号132相对于第一音频信号130延迟的第一值(例如,正值),或指示第一音频信号130相对于第二音频信号132延迟的第二值(例如,负值)。

方法1220包含,响应于确定最终移位值116具有第一值(例如,正值),在1208处将参考信号指示符164设定为具有指示第一音频信号130是参考信号的第一值(例如,0)。举例来说,响应于确定最终移位值116具有第一值(例如,正值),参考信号指定器508可将参考信号指示符164设定为指示第一音频信号130是参考信号的第一值(例如,0)。响应于确定最终移位值116具有第一值(例如,正值),参考信号指定器508可确定第二音频信号132对应于目标信号。

方法1220包含,响应于确定最终移位值116具有第二值(例如,负值),在1210处将参考信号指示符164设定为具有指示第二音频信号132是参考信号的第二值(例如,1)。举例来说,响应于确定最终移位值116具有指示第一音频信号130相对于第二音频信号132延迟的第二值(例如,负值),参考信号指定器508可将参考信号指示符164设定为指示第二音频信号132是参考信号的第二值(例如,1)。响应于确定最终移位值116具有第二值(例如,负值),参考信号指定器508可确定第一音频信号130对应于目标信号。

参考信号指定器508可将参考信号指示符164提供到增益参数产生器514。增益参数产生器514可基于参考信号来确定目标信号的增益参数(例如,增益参数160),如参看图5所描述。

目标信号可相对于参考信号在时间上延迟。参考信号指示符164可指示第一音频信号130或第二音频信号132是否对应于参考信号。参考信号指示符164可指示增益参数160是否对应于第一音频信号130或第二音频信号132。

参看图13,展示了说明特定操作方法的流程图且其整体指定为1300。方法1300可由参考信号指定器508、时间等化器108、编码器114、第一装置104或其组合执行。

方法1300包含,在1302处确定最终移位值116是否大于或等于零。举例来说,参考信号指定器508可确定最终移位值116是否大于或等于零。方法1300还包含,响应于在1302处确定最终移位值116大于或等于零而前进到1208。方法1300进一步包含,响应于在1302处确定最终移位值116小于零而前进到1210。方法1300不同于图12的方法1220,原因在于,响应于确定最终移位值116具有指示无时间移位的特定值(例如,0),参考信号指示符164经设定为指示第一音频信号130对应于参考信号的第一值(例如,0)。在一些实施方案中,参考信号指定器508可执行方法1220。在其它实施方案中,参考信号指定器508可执行方法1300。

当最终移位值116指示无时间移位时,方法1300可因此能够将参考信号指示符164设定为指示第一音频信号130对应于参考信号的特定值(例如,0),而与对于帧302来说第一音频信号130是否对应于参考信号无关。

参看图14,展示了系统的说明性实例且所述系统整体指定为1400。系统1400包含图5的信号比较器506、图5的内插器510、图5的移位优化器511及图5的移位变化分析器512。

信号比较器506可产生比较值534(例如,差值、相似性值、相干性值或交叉相关值)、试验性移位值536或两者。举例来说,信号比较器506可基于第一重新采样信号530及应用于第二重新采样信号532的多个移位值1450而产生比较值534。信号比较器506可基于比较值534来确定试验性移位值536。信号比较器506包含经配置以检索重新采样信号530、532的先前帧的比较值的平滑器1410,且可使用先前帧的比较值基于长期平滑操作来修改比较值534。举例来说,比较值534可包含当前帧(N)的长期比较值且可由来表示,其中α∈(0,1.0)。因此,长期比较值可基于帧N处的瞬时比较值CompValN(k)与一或多个先前帧的长期比较值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。信号比较器506可将比较值534、试验性移位值536或两者提供到内插器510。

内插器510可扩充试验性移位值536以产生内插移位值538。举例来说,内插器510可通过对比较值534进行内插来产生对应于接近试验性移位值536的移位值的内插比较值。内插器510可基于内插比较值及比较值534来确定内插移位值538。比较值534可基于移位值的较粗略粒度。内插比较值可基于接近于重新采样的试验性移位值536的移位值的较精细粒度。相比于基于移位值的集合的较精细粒度(例如,所有)来确定比较值534,基于移位值的集合的较粗略粒度(例如,第一子集)来确定比较值534可使用更少的资源(例如,时间、操作或两者)。确定对应于移位值的第二子集的内插比较值可基于接近于试验性移位值536的移位值的较小集合的较精细粒度来扩充试验性移位值536,而无需确定对应于移位值的集合的每一移位值的比较值。因此,基于移位值的第一子集来确定试验性移位值536及基于内插比较值来确定内插移位值538可平衡估计移位值的资源使用率及优化。内插器510可将内插移位值538提供到移位优化器511。

内插器510包含经配置以可检索先前帧的内插移位值的平滑器1420,且可使用先前帧的内插移位值基于长期平滑操作来修改内插移位值538。举例来说,内插移位值538可包含当前帧(N)的长期内插移位值且可由来表示,其中α∈(0,1.0)。因此,长期内插移位值可基于帧N处的瞬时内插移位值InterValN(k)与一或多个先前帧的长期内插移位值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。

移位优化器511可通过改进内插移位值538而产生修正移位值540。举例来说,移位优化器511可确定内插移位值538是否指示第一音频信号130与第二音频信号132之间的移位变化大于移位变化阈值。移位变化可由内插移位值538与相关联于图3的帧302的第一移位值之间的差来指示。响应于确定差小于或等于阈值,移位优化器511可将修正移位值540设定为内插移位值538。替代地,响应于确定差大于阈值,移位优化器511可确定对应于小于或等于移位变化阈值的差的多个移位值。移位优化器511可基于第一音频信号130及应用于第二音频信号132的多个移位值来确定比较值。移位优化器511可基于比较值来确定修正移位值540。举例来说,移位优化器511可基于比较值及内插移位值538来选择所述多个移位值中的移位值。移位优化器511可设定修正移位值540以指示所选移位值。对应于帧302的第一移位值与内插移位值538之间的非零差可指示,第二音频信号132的一些样本对应于两个帧(例如,帧302及帧304)。举例来说,第二音频信号132的一些样本在编码期间可经复制。替代地,非零差可指示,第二音频信号132的一些样本既不对应于帧302,也不对应于帧304。举例来说,第二音频信号132的一些样本在编码期间可丢失。将修正移位值540设定为多个移位值中的一个可防止连续(或邻近)帧之间的巨大移位变化,从而减少编码期间的样本丢失或样本复制的量。移位优化器511可将修正移位值540提供到移位变化分析器512。

移位优化器511包含经配置以检索先前帧的修正移位值的平滑器1430,且可使用先前帧的修正移位值基于长期平滑操作来修改修正移位值540。举例来说,修正移位值540可包含当前帧(N)的长期修正移位值且可由来表示,其中α∈(0,1.0)。因此,长期修正移位值可基于帧N处的瞬时修正移位值AmendValN(k)与一或多个先前帧的长期修正移位值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。

移位变化分析器512可确定修正移位值540是否指示第一音频信号130与第二音频信号132之间在时序上的切换或逆转。移位变化分析器512可基于修正移位值540及相关联于帧302的第一移位值来确定第一音频信号130与第二音频信号132之间的延迟是否已切换正负号。响应于确定第一音频信号130与第二音频信号132之间的延迟已切换正负号,移位变化分析器512可将最终移位值116设定为指示无时间移位的值(例如,0)。替代地,响应于确定第一音频信号130与第二音频信号132之间的延迟尚未切换正负号,移位变化分析器512可将最终移位值116设定为修正移位值540。

移位变化分析器512可通过优化修正移位值540来产生估计移位值。移位变化分析器512可将最终移位值116设定为估计移位值。设定最终移位值116以指示无时间移位可通过对于第一音频信号130的连续(或邻近)帧避免第一音频信号130与第二音频信号132在相反方向上的时间移位来减少解码器处的失真。移位变化分析器512可将最终移位值116提供到绝对移位产生器513。通过将绝对函数应用于最终移位值116,绝对移位产生器513可产生非因果移位值162。

上述平滑技术可大体上正规化有声帧、无声帧及转变帧之间的移位估计。经正规化的移位估计可减少帧边界处的样本重复及伪影跳过。另外,经正规化的移位估计可带来减少的侧声道能量,这可改进译码效率。

如关于图14所描述,平滑可在信号比较器506、内插器510、移位优化器511或其组合处执行。如果内插移位在输入采样速率(FSin)下始终不同于试验性移位,那么除比较值534的平滑外或替代比较值534的平滑,可执行内插移位值538的平滑。在内插移位值538的估计期间,内插过程可对以下各者执行:信号比较器506处所产生的经平滑长期比较值、信号比较器506处所产生的未平滑比较值或内插经平滑比较值与内插未平滑比较值的加权混合。如果平滑是在内插器510处执行,那么内插可经扩展以在除当前帧中所估计的暂定移位以外的多个样本附近处执行。举例来说,内插可接近先前帧的移位(例如,先前试验性移位、先前内插移位、先前修正移位或先前最终移位中的一或多个)及接近当前帧的试验性移位而执行。结果,平滑可对内插移位值的额外样本执行,此可改进内插移位估计。

参看图15,展示了说明有声帧、转变帧及无声帧的比较值的图表。根据图15,图表1502说明在不使用所描述的长期平滑技术情况下处理的有声帧的比较值(例如,交叉相关值),图表1504说明在不使用所描述的长期平滑技术情况下处理的转变帧的比较值,且图表1506说明在不使用所描述的长期平滑技术情况下处理的无声帧的比较值。

每一图表1502、1504、1506中所表示的交叉相关可大体上不同。举例来说,图表1502说明由图1的第一麦克风146检索的有声帧与由图1的第二麦克风148检索的对应有声帧之间的峰值交叉相关出现在大致17样本移位处。然而,图表1504说明由第一麦克风146检索的转变帧与由第二麦克风148检索的对应转变帧之间的峰值交叉相关出现在大致4样本移位处。此外,图表1506说明由第一麦克风146检索的无声帧与由第二麦克风148检索的对应无声帧之间的峰值交叉相关出现在大致3样本移位处。因此,移位估计对于转变帧及无声帧来说可因相对高噪声电平所致而不准确。

根据图15,图表1512说明在使用所描述的长期平滑技术情况下处理的有声帧的比较值(例如,交叉相关值),图表1514说明在使用所描述的长期平滑技术情况下处理的转变帧的比较值,且图表1516说明在使用所描述的长期平滑技术情况下处理的无声帧的比较值。每一图表1512、1514、1516中的交叉相关值可大体上类似。举例来说,每一图表1512、1514、1516说明由图1的第一麦克风146检索的帧与由图1的第二麦克风148检索的对应帧之间的峰值交叉相关出现在大致17样本移位处。因此,不管噪声如何,转变帧(由图表1514说明)及无声帧(由图表1516说明)的移位估计对于有声帧的移位估计可相对准确(或类似)。

当在每一帧中在相同移位范围上估计比较值时,可应用参看图15所描述的比较值长期平滑过程。平滑逻辑(例如,平滑器1410、1420、1430)可在估计声道之间的移位之前基于所产生比较值而执行。举例来说,平滑可在估计试验性移位、估计内插移位或修正移位之前执行。为减少沉默部分(或可引起移位估计漂移的背景噪声)期间比较值的调适,比较值可基于较大时间常量(例如,α=0.995)而平滑;另外,平滑可基于α=0.9。是否调整比较值的确定可基于背景能量或长期能量是否低于阈值。

参看图16,展示了说明特定操作方法的流程图且其整体指定为1600。方法1600可由图1的时间等化器108、编码器114、第一装置104或其组合执行。

方法1600包含,在1602处在第一麦克风处检索第一音频信号。第一音频信号可包含第一帧。举例来说,参看图1,第一麦克风146可检索第一音频信号130。第一音频信号130可包含第一帧。

在1604处,可在第二麦克风处检索第二音频信号。第二音频信号可包含第二帧,且第二帧可具有与第一帧大体上类似的内容。举例来说,参看图1,第二麦克风148可检索第二音频信号132。第二音频信号132可包含第二帧,且第二帧可具有与第一帧大体上类似的内容。第一帧及第二帧可为有声帧、转变帧或无声帧中的一个。

在1606处,可估计第一帧与第二帧之间的延迟。举例来说,参看图1,时间等化器108可确定第一帧与第二帧之间的交叉相关。在1608处,可基于延迟及基于历史延迟数据来估计第一音频信号与第二音频信号之间的时间性偏移。举例来说,参看图1,时间等化器108可估计在麦克风146、148处检索的音频之间的时间性偏移。时间性偏移可基于第一音频信号130的第一帧与第二音频信号132的第二帧之间的延迟来估计,其中第二帧包含与第一帧大体上类似的内容。举例来说,时间等化器108可使用交叉相关函数来估计第一帧与第二帧之间的延迟。交叉相关函数可用以依据一个帧相对于另一帧的滞后而测量两个帧的相似性。基于交叉相关函数,时间等化器108可确定第一帧与第二帧之间的延迟(例如,滞后)。时间等化器108可基于延迟及历史延迟数据而估计第一音频信号130与第二音频信号132之间的时间性偏移。

历史数据可包含从第一麦克风146检索的帧与从第二麦克风148检索的对应帧之间的延迟。举例来说,时间等化器108可确定相关联于第一音频信号130的先前帧与相关联于第二音频信号132的对应帧之间的交叉相关(例如,滞后)。每一滞后可由“比较值”表示。也就是说,比较值可指示第一音频信号130的帧与第二音频信号132的对应帧之间的时间移位(k)。根据一个实施方案,先前帧的比较值可存储在存储器153处。时间等化器108的平滑器192可“平滑”(或平均)在长期帧集合内的比较值且将长期经平滑比较值用于估计第一音频信号130与第二音频信号132之间的时间性偏移(例如,“移位”)。

因此,历史延迟数据可基于相关联于第一音频信号130及第二音频信号132的经平滑比较值而产生。举例来说,方法1600可包含平滑相关联于第一音频信号130及第二音频信号132的比较值以产生历史延迟数据。经平滑比较值可基于在时间上比第一帧更早产生的第一音频信号130的帧及基于在时间上比第二帧更早产生的第二音频信号132的帧。根据一个实施方案,方法1600可包含将第二帧在时间上移位时间性偏移。

为进行说明,如果CompValN(k)表示帧N在偏移k下的比较值,那么帧N可具有k=T_MIN(最小移位)到k=T_MAX(最大移位)的比较值。可执行平滑,以使得长期比较值由来表示。以上等式中的函数f可为移位(k)下的过去比较值的全部(或子集)的函数。以上等式的替代表示可为函数f或g可分别为简单有限脉冲响应(FIR)滤波器或无限脉冲响应(IIR)滤波器。举例来说,函数g可为单抽头IIR滤波器,以使得长期比较值由来表示,其中α∈(0,1.0)。因此,长期比较值可基于帧N处的瞬时比较值CompValN(k)与一或多个先前帧的长期比较值的加权混合。随着α的值增大,长期比较值中的平滑的量增大。

根据一个实施方案,方法1600可包含调整用以估计第一帧与第二帧之间的延迟的比较值的范围,如参看图17到18更详细地描述。延迟可与比较值范围内具有最高交叉相关的比较值相关联。调整范围可包含确定范围边界处的比较值是否单调增加,及响应于边界处的比较值单调增加的确定而扩展边界。边界可包含左边界或右边界。

图16的方法1600可大体上正规化有声帧、无声帧及转变帧之间的移位估计。经正规化的移位估计可减少帧边界处的样本重复及伪影跳过。另外,经正规化的移位估计可带来减少的侧声道能量,这可改进译码效率。

参看图17,展示了用于选择性地扩大用于移位估计的比较值的搜索范围的流程图1700。举例来说,流程图1700可用以基于针对当前帧产生的比较值、针对过去帧产生的比较值或其组合来扩大比较值的搜索范围。

根据流程图1700,检测器可经配置以确定在右边界或左边界附近的比较值是增加还是减少。用于未来比较值产生的搜索范围边界可基于所述确定而外推以适应更多移位值。举例来说,当比较值再生时,搜索范围边界可经外推用于后续帧中的比较值或同一帧中的比较值。检测器可基于针对当前帧产生的比较值或基于针对一或多个先前帧产生的比较值而起始搜索边界扩大。

在1702处,检测器可确定右边界处的比较值是否单调增加。作为非限制性实例,搜索范围可从-20扩大到20(例如,从负方向中的20个样本移位扩大到正方向中的20个样本移位)。如本文中所使用,负方向中的移位对应于第一信号(例如,图1的第一音频信号130)是参考信号及第二信号(例如,图1的第二音频信号132)是目标信号。正方向中的移位对应于第一信号是目标信号及第二信号是参考信号。

如果在1702处,右边界处的比较值单调增加,那么在1704处,检测器可朝外调整右边界以增大搜索范围。为进行说明,如果样本移位19处的比较值具有特定值且样本移位20处的比较值具有较大值,那么检测器可扩大正方向中的搜索范围。作为非限制性实例,检测器可将搜索范围从-20扩大到25。检测器可按一个样本、两个样本、三个样本等增量来扩大搜索范围。根据一个实施方案,1702处的确定可通过基于右边界处的杂散跳转而朝向右边界检测多个样本处的比较值以减少扩大搜索范围的可能性来执行。

如果在1702处,右边界处的比较值并不单调增加,那么在1706处,检测器可确定左边界处的比较值是否单调增加。如果在1706处,左边界处的比较值单调增加,那么在1708处,检测器可朝外调整左边界以增大搜索范围。为进行说明,如果样本移位-19处的比较值具有特定值且样本移位-20处的比较值具有较大值,那么检测器可扩大负方向中的搜索范围。作为非限制性实例,检测器可将搜索范围从-25扩大到20。检测器可按一个样本、两个样本、三个样本等增量来扩大搜索范围。根据一个实施方案,1702处的确定可通过基于左边界处的杂散跳转而朝向左边界检测多个样本处的比较值以减少扩大搜索范围的可能性来执行。如果在1706处,左边界处的比较值不单调增加,那么在1710处,检测器可使搜索范围保持不变。

因此,图17的流程图1700可起始用于未来帧的搜索范围修改。举例来说,如果过去三个连续帧被检测为比较值在阈值之前在最后十个移位值内单调增加(例如,从样本移位10增加到样本移位20,或从样本移位-10增加到样本移位-20),那么搜索范围可朝外增加特定数目个样本。搜索范围的此向外增加可被连续实施用于未来帧,直到边界处的比较值不再单调增加为止。基于先前帧的比较值增加搜索范围可减少“真移位”可能非常接近于搜索范围的边界但仅在搜索范围外部的可能性。减少此可能性可带来经改进的侧声道能量最小化及声道译码。

参看图18,展示了说明用于移位估计的比较值的搜索范围的选择性扩大的图表。所述图表可结合表1中的数据操作。

表1:选择性搜索范围扩大数据

根据表1,如果特定边界以三个或超过三个连续帧增加,那么检测器可扩大搜索范围。第一图表1802说明帧i-2的比较值。根据第一图表1802,对于一个连续帧,左边界不单调增加且右边界单调增加。因此,搜索范围对于下一个帧(例如,帧i-1)保持不变且边界可在-20到20范围内。第二图表1804说明帧i-1的比较值。根据第二图表1804,对于两个连续帧,左边界不单调增加且右边界单调增加。结果,搜索范围对于下一个帧(例如,帧i)保持不变且边界可在-20到20范围内。

第三图表1806说明帧i的比较值。根据第三图表1806,对于三个连续帧,左边界不单调增加且右边界单调增加。因为右边界对于三个或超过三个连续帧单调增加,所以下一个帧(例如,帧i+1)的搜索范围可扩大且下一个帧的边界可在-23到23范围内。第四图表1808说明帧i+1的比较值。根据第四图表1808,对于四个连续帧,左边界不未单调增加且右边界单调增加。因为右边界对于三个或超过三个连续帧单调增加,所以下一个帧(例如,帧i+2)的搜索范围可扩大且下一个帧的边界可在-26到26范围内。第五图表1810说明帧i+2的比较值。根据第五图表1810,对于五个连续帧,左边界不单调增加且右边界单调增加。因为右边界对于三个或超过三个连续帧单调增加,所以下一个帧(例如,帧i+3)的搜索范围可扩大且下一个帧的边界可在-29到29的范围内。

第六图表1812说明帧i+3的比较值。根据第六图表1812,左边界不单调增加且右边界不单调增加。结果,搜索范围对于下一个帧(例如,帧i+4)保持不变且边界可在-29到29范围内。第七图表1814说明帧i+4的比较值。根据第七图表1814,对于一个连续帧,左边界不单调增加且右边界单调增加。结果,搜索范围对于下一个帧保持不变且边界可在-29到29范围内。

根据图18,左边界与右边界一起扩大。在替代实施方案中,左边界可内推以补偿右边界的外推,以维持比较值经估计用于每一帧所针对的恒定数目个移位值。在另一实施方案中,当检测器指示右边界将朝外扩大时,左边界可保持恒定。

根据一个实施方案,当检测器指示特定边界将朝外扩大时,可基于比较值来确定特定边界朝外扩大的样本量。举例来说,当检测器基于比较值确定右边界将朝外扩大时,可在较宽移位搜索范围上产生比较值的新集合,且检测器可使用新产生的比较值及现有比较值来确定最终搜索范围。举例来说,对于帧i+1,可产生范围在-30到30的移位的较宽范围上的比较值集合。最终搜索范围可基于较宽搜索范围中所产生的比较值而受限制。

尽管图18中的实例指示右边界可朝外扩大,但如果检测器确定左边界将扩大,那么类似相似函数可经执行以朝外扩大左边界。根据一些实施方案,对于搜索范围的绝对限制可用以防止搜索范围无限增大或减小。作为非限制性实例,搜索范围的绝对值可不准许增加高于8.75毫秒(例如,编解码器的预测)。

参看图19,展示了用于解码音频信号的系统1900。系统1900包含图1的第一装置104、第二装置106及网络网络120。

如关于图1所描述,第一装置104可经由网络网络120将至少一个经编码信号(例如,经编码信号102)发射到第二装置106。经编码信号102可包含中间声道带宽扩展(BWE)参数1950、中间声道参数1954、侧声道参数1956、声道间BWE参数1952、立体升混参数1958或其组合。根据一个实施方案,中间声道BWE参数1950可包含中间声道高频带线性预测性译码(LPC)参数、增益参数的集合或两者。根据一个实施方案,声道间BWE参数1952可包含调整增益参数的集合、调整频谱形状参数、高频带参考声道指示符或其组合。高频带参考声道指示符可与图1的参考信号指示符164相同或不同。

第二装置106包含解码器118、接收器1911及存储器存储器1953。存储器存储器1953可包含分析数据数据1990。接收器1911可经配置以从第一装置104接收经编码信号102(例如,位流)且可将经编码信号102(例如,位流)提供到解码器118。解码器118的不同实施方案是关于图20到23而描述。应理解,关于图20到23所描述的解码器118的实施方案仅出于说明的目的且不应被视为限制性的。解码器118可经配置以基于经编码信号102而产生第一输出信号126及第二输出信号128。第一输出信号126及第二输出信号128可分别提供到第一扬声器142及第二扬声器144。

解码器118可基于经编码信号102产生多个低频带(LB)信号且可基于经编码信号102产生多个高频带(HB)信号。所述多个低频带信号可包含第一LB信号1922及第二LB信号1924。所述多个高频带信号可包含第一HB信号1923及第二HB信号1925。第一LB信号1922及第二LB信号1924的产生是关于图20到23更详细地描述。根据一个实施方案,所述多个高频带信号可独立于所述多个低频带信号而产生。在一些实施方案中,所述多个高频带信号可基于立体声道间带宽扩展(ICBWE)HB升混处理而产生,且所述多个低频带信号可基于立体LB升混处理而产生。立体LB升混处理可基于时域中或频域中的MS到左右(LR)转换。第一HB信号1923及第二HB信号1925的产生是关于图20到23更详细地描述。

解码器118可经配置以通过组合所述多个低频带信号的第一LB信号1922及所述多个高频带信号的第一HB信号1923而产生第一信号1902。解码器118还可经配置以通过组合所述多个低频带信号的第二LB信号1924及所述多个高频带信号的第二HB信号1925而产生第二信号1904。第二输出信号128可对应于第二信号1904。解码器118可经配置以通过移位第一信号1902而产生第一输出信号126。举例来说,解码器118可使第一信号1902的第一样本相对于第二信号1904的第二样本时间移位基于非因果移位值162的量,从而产生经移位第一信号1912。在其它实施方案中,解码器118可基于本文中所描述的其它移位值(例如,图9的第一移位值962、图5的修正移位值540、图5的内插移位值538等)移位。因此,关于解码器118,应理解,非因果移位值162可包含本文中所描述的其它移位值。第一输出信号126可对应于经移位第一信号1912。

根据一个实施方案,解码器118可通过使所述多个高频带信号的第一HB信号1923相对于所述多个高频带信号的第二HB信号1925时间移位基于非因果移位值162的量而产生经移位第一HB信号1933。在其它实施方案中,解码器118可基于本文中所描述的其它移位值(例如,图9的第一移位值962、图5的修正移位值540、图5的内插移位值538等)移位。解码器118可通过基于非因果移位值162(关于图20更详细地描述)使第一LB信号1922移位而产生经移位第一LB信号1932。第一输出信号126可通过组合经移位第一LB信号1932及经移位第一HB信号1933而产生。第二输出信号128可通过组合第二LB信号1924及第二HB信号1925而产生。应注意,在其它实施方案(例如,关于图21到23所描述的实施方案)中,低频带信号及高频带信号可组合,且组合信号可经移位。

为了易于描述及说明,将关于图20到26描述解码器118的额外操作。图19的系统1900可利用目标声道移位、一系列升混技术及移位补偿技术实现声道间BWE参数1952的集成,如关于图20到26所进一步描述。

参看图20,展示了解码器118的第一实施方案2000。根据第一实施方案2000,解码器118包含中间BWE解码器2002、LB中间核心解码器2004、LB侧核心解码器2006、升混参数解码器2008、声道间BWE空间平衡器2010、LB升频混频器2012、移位器2016以及合成器2018。

中间声道BWE参数1950可提供到中间BWE解码器2002。中间声道BWE参数1950可包含中间声道HB LPC参数及增益参数的集合。中间声道参数1954可提供到LB中间核心解码器2004,且侧声道参数1956可提供到LB侧核心解码器2006。立体升混参数1958可提供到升混参数解码器2008。

LB中间核心解码器2004可经配置以基于中间声道参数1954而产生核心参数2056及中间声道LB信号2052。核心参数2056可包含中间声道LB激励信号。核心参数2056可提供到中间BWE解码器2002及提供到LB侧核心解码器2006。中间声道LB信号2052可提供到LB升频混频器2012。中间BWE解码器2002可基于中间声道BWE参数1950及基于来自LB中间核心解码器2004的核心参数2056而产生中间声道HB信号2054。在特定实施方案中,中间BWE解码器2002可包含时域带宽扩展解码器(或模块)。时域带宽扩展解码器(例如,中间BWE解码器2002)可产生中间声道HB信号2054。举例来说,时域带宽扩展解码器可通过对中间声道LB激励信号增加采样而产生增加采样的中间声道LB激励信号。时域带宽扩展解码器可将函数(例如,非线性函数或绝对值函数)应用于对应于高频带的增加采样的中间声道LB激励信号,从而产生高频带信号。时域带宽扩展解码器可基于HB LPC参数(例如,中间声道HB LPC参数)对高频带信号滤波,从而产生经滤波信号(例如,LPC合成高频带激励)。中间声道BWE参数1950可包含HB LPC参数。时域带宽扩展解码器可通过基于子帧增益或帧增益对经滤波信号进行缩放而产生中间声道HB信号2054。中间声道BWE参数1950可包含子帧增益、帧增益或其组合。

在替代实施方案中,中间BWE解码器2002可包含频域带宽扩展解码器(或模块)。频域带宽扩展解码器(例如,中间BWE解码器2002)可产生中间声道HB信号2054。举例来说,频域带宽扩展解码器可通过基于子帧增益、子频带增益(高频带频率范围的子集)或帧增益对中间声道LB激励信号进行缩放而产生中间声道HB信号2054。中间声道BWE参数1950可包含子帧增益、子频带增益、帧增益或其组合。在一些实施方案中,中间BWE解码器2002经配置以将LPC合成经滤波高频带激励作为额外输入提供到声道间BWE空间平衡器2010。中间声道HB信号2054可提供到声道间BWE空间平衡器2010。

声道间BWE空间平衡器2010可经配置以基于中间声道HB信号2054及基于声道间BWE参数1952而产生第一HB信号1923及第二HB信号1925。声道间BWE参数1952可包含调整增益参数的集合、高频带参考声道指示符、调整频谱形状参数或其组合。在特定实施方案中,响应于确定调整增益参数的集合包含单一调整增益参数且调整频谱形状参数不存在于声道间BWE参数1952中,声道间BWE空间平衡器2010可基于调整增益参数对(经解码)中间声道HB信号2054进行缩放,从而产生调整增益经缩放的中间声道HB信号。声道间BWE空间平衡器2010可基于高频带参考声道指示符来确定调整增益经缩放的中间声道HB信号是指定为第一HB信号1923还是第二HB信号1925。举例来说,响应于确定高频带参考声道指示符具有第一值,声道间BWE空间平衡器2010可输出调整增益经缩放的中间声道HB信号作为第一HB信号1923。作为另一实例,响应于确定高频带参考声道指示符具有第二值,声道间BWE空间平衡器2010可输出调整增益经缩放的中间声道HB信号作为第二HB信号1925。声道间BWE空间平衡器2010可通过使中间声道HB信号2054依据因数(例如,2-(调整增益参数))缩放而产生第一HB信号1923或第二HB信号1925中的另一个。

响应于确定声道间BWE参数1952包含调整频谱形状参数,声道间BWE空间平衡器2010可产生(或从中间BWE解码器2002接收)合成非参考信号(例如,LPC合成高频带激励)。声道间BWE空间平衡器2010可包含频谱形状调整器模块。频谱形状调整器模块(例如,声道间BWE空间平衡器2010)可包含频谱整形滤波器。频谱整形滤波器可经配置以基于合成非参考信号(例如,LPC合成高频带激励)及调整频谱形状参数而产生频谱形状经调整信号。调整频谱形状参数可对应于频谱整形滤波器的参数或系数(例如,“u”),其中频谱整形滤波器是由函数(例如,H(z)=1/(1-uz-1))定义。频谱整形滤波器可将频谱形状经调整信号输出到增益调整模块。声道间BWE空间平衡器2010可包含增益调整模块。增益调整模块可经配置以通过将缩放因数应用于频谱形状经调整信号而产生增益经调整信号。缩放因数可基于调整增益参数。声道间BWE空间平衡器2010可基于高频带参考声道指示符的值来确定增益经调整信号是指定为第一HB信号1923还是第二HB信号1925。举例来说,响应于确定高频带参考声道指示符具有第一值,声道间BWE空间平衡器2010可输出增益经调整信号作为第一HB信号1923。作为另一实例,响应于确定高频带参考声道指示符具有第二值,声道间BWE空间平衡器2010可输出增益经调整信号作为第二HB信号1925。声道间BWE空间平衡器2010可通过使中间声道HB信号2054依据因数(例如,2-(调整增益参数))缩放而产生第一HB信号1923或第二HB信号1925中的另一个。第一HB信号1923及第二HB信号1925可提供到移位器2016。

LB侧核心解码器2006可经配置以基于侧声道参数1956及基于核心参数2056而产生侧声道LB信号2050。侧声道LB信号2050可提供到LB升频混频器2012。中间声道LB信号2052及侧声道LB信号2050可以核心频率进行采样。升混参数解码器2008可基于立体升混参数1958而再生增益参数160、非因果移位值156及参考信号指示符164。增益参数160、非因果移位值156及参考信号指示符164可提供到LB升频混频器2012及提供到移位器2016。

LB升频混频器2012可经配置以基于中间声道LB信号2052及侧声道LB信号2050而产生第一LB信号1922及第二LB信号1924。举例来说,LB升频混频器2012可将增益参数160、非因果移位值162及参考信号指示符164中的一或多个应用于信号2050、2052,从而产生第一LB信号1922及第二LB信号1924。在其它实施方案中,解码器118可基于本文中所描述的其它移位值(例如,图9的第一移位值962、图5的修正移位值540、图5的内插移位值538等)移位。第一LB信号1922及第二LB信号1924可提供到移位器2016。非因果移位值162也可提供到移位器2016。

移位器2016可经配置以基于第一HB信号1923、非因果移位值162、增益参数160、非因果移位值162及参考信号指示符164而产生经移位第一HB信号1933。举例来说,移位器2016可使第一HB信号1923移位以产生经移位第一HB信号1933。为进行说明,响应于确定参考信号指示符164指示第一HB信号1921对应于目标信号,移位器2016可使第一HB信号1921移位以产生经移位第一HB信号1933。经移位第一HB信号1933可提供到合成器2018。移位器2016也可将第二HB信号1925提供到合成器2018。

移位器2016还可经配置以基于第一LB信号1922、非因果移位值162、增益参数160、非因果移位值162及参考信号指示符164而产生经移位第一LB信号1932。在其它实施方案中,解码器118可基于本文中所描述的其它移位值(例如,图9的第一移位值962、图5的修正移位值540、图5的内插移位值538等)移位。移位器2016可使第一LB信号1922移位以产生经移位第一LB信号1932。为进行说明,响应于确定参考信号指示符164指示第一LB信号1922对应于目标信号,移位器2016可使第一LB信号1922以产生经移位第一LB信号1932。经移位第一LB信号1932可提供到合成器2018。移位器2016也可将第二LB信号1924提供到合成器2018。

合成器2018可经配置以产生第一输出信号126及第二输出信号128。举例来说,合成器2018可对经移位第一LB信号1932及经移位第一HB信号1933进行重新采样及组合,以产生第一输出信号126。另外,合成器2018可对第二LB信号1924及第二HB信号1925进行重新采样及组合,以产生第二输出信号128。在特定方面中,第一输出信号126可对应于左输出信号且第二输出信号128可对应于右输出信号。在替代方面中,第一输出信号126可对应于右输出信号且第二输出信号128可对应于左输出信号。

因此,解码器118的第一实施方案2000能够独立于第一HB信号1923及第二HB信号1925的产生来实现第一LB信号1922及第二LB信号1924的产生。而且,解码器118的第一实施方案2000使高频带及低频带个别地移位,接着组合所得信号从而形成经移位输出信号。

参看图21,展示了解码器118的第二实施方案2100,其在应用移位之前组合低频带及高频带以产生经移位信号。根据第二实施方案2100,解码器118包含中间BWE解码器2002、LB中间核心解码器2004、LB侧核心解码器2006、升混参数解码器2008、声道间BWE空间平衡器2010、LB重新采样器2114、立体升频混频器2112、组合器2118以及移位器2116。

中间声道BWE参数1950可提供到中间BWE解码器2002。中间声道BWE参数1950可包含中间声道HB LPC参数及增益参数的集合。中间声道参数1954可提供到LB中间核心解码器2004,且侧声道参数1956可提供到LB侧核心解码器2006。立体升混参数1958可提供到升混参数解码器2008。

LB中间核心解码器2004可经配置以基于中间声道参数1954而产生核心参数2056及中间声道LB信号2052。核心参数2056可包含中间声道LB激励信号。核心参数2056可提供到中间BWE解码器2002及提供到LB侧核心解码器2006。中间声道LB信号2052可提供到LB重新采样器2114。中间BWE解码器2002可基于中间声道BWE参数1950及基于来自LB中间核心解码器2004的核心参数2056而产生中间声道HB信号2054。中间声道HB信号2054可提供到声道间BWE空间平衡器2010。

声道间BWE空间平衡器2010可经配置以基于中间声道HB信号2054、声道间BWE参数1952、非线性延伸谐波LB激励、中间HB合成信号或其组合而产生第一HB信号1923及第二HB信号1925,如参看图20所描述。声道间BWE参数1952可包含调整增益参数的集合、高频带参考声道指示符、调整频谱形状参数或其组合。第一HB信号1923及第二HB信号1925可提供到组合器2118。

LB侧核心解码器2006可经配置以基于侧声道参数1956及基于核心参数2056而产生侧声道LB信号2050。侧声道LB信号2050可提供到LB重新采样器2114。中间声道LB信号2052及侧声道LB信号2050可以核心频率进行采样。升混参数解码器2008可基于立体升混参数1958而再生增益参数160、非因果移位值162及参考信号指示符164。增益参数160、非因果移位值156及参考信号指示符164可提供到立体升频混频器2112及提供到移位器2116。

LB重新采样器2114可经配置以对中间声道LB信号2052进行采样,以产生延伸中间声道信号2152。延伸中间声道信号2152可提供到立体升频混频器2112。LB重新采样器2114还可经配置以对侧声道LB信号2050进行采样,以产生延伸侧声道信号2150。延伸侧声道信号2150也可提供到立体升频混频器2112。

立体升频混频器2112可经配置以基于延伸中间声道信号2152及延伸侧声道信号2150而产生第一LB信号1922及第二LB信号1924。举例来说,立体升频混频器2112可将增益参数160、非因果移位值162及参考信号指示符164中的一或多个应用于信号2150、2152,从而产生第一LB信号1922及第二LB信号1924。第一LB信号1922及第二LB信号1924可提供到组合器2118。

组合器2118可经配置以将第一HB信号1923与第一LB信号1922组合,以产生第一信号1902。组合器2118还可经配置以将第二HB信号1925与第二LB信号1924组合,以产生第二信号1904。第一信号1902及第二信号1904可提供到移位器2116。非因果移位值162也可提供到移位器2116。基于高频带参考声道指示符及声道间BWE参数1952,组合器2118可选择第一HB信号1923或第二HB信号1925以与第一LB信号1922组合。类似地,基于高频带参考声道指示符及声道间BWE参数1952,组合器2118可选择第一HB信号1923或第二HB信号1925中的另一个以与第二LB信号1924组合。

移位器2116还可经配置以分别地基于第一信号1902及第二信号1904而产生第一输出信号126及第二输出信号128。举例来说,移位器2116可使第一信号1902移位非因果移位值162,以产生第一输出信号126。图21的第一输出信号126可对应于图19的经移位第一信号1912。移位器2116还可使第二信号1904通过以作为第二输出信号128(例如,图19的第二信号1904)。在一些实施方案中,基于参考信号指示符164、最终移位值216的正负号或最终移位值116的正负号,移位器2116可确定是否使第一信号1902或第二第二1904移位,以补偿声道中的一个的编码器侧非因果移位。

因此,解码器118的第二实施方案2100可在执行产生经移位信号(例如,第一输出信号126)的移位之前组合低频带信号及高频带信号。

参看图22,展示了解码器118的第三实施方案2200。根据第三实施方案2200,解码器118包含中间BWE解码器2002、LB中间核心解码器2004、侧参数映射器2220、升混参数解码器2008、声道间BWE空间平衡器2010、LB重新采样器2214、立体升频混频器2212、组合器2118以及移位器2116。

中间声道BWE参数1950可提供到中间BWE解码器2002。中间声道BWE参数1950可包含中间声道HB LPC参数及增益参数的集合(例如,增益形状参数、增益帧参数、混合因数等)。中间声道参数1954可提供到LB中间核心解码器2004,且侧声道参数1956可提供到侧参数映射器2220。立体升混参数1958可提供到升混参数解码器2008。

LB中间核心解码器2004可经配置以基于中间声道参数1954而产生核心参数2056及中间声道LB信号2052。核心参数2056可包含中间声道LB激励信号、LB发声因数或两者。核心参数2056可提供到中间BWE解码器2002。中间声道LB信号2052可提供到LB重新采样器2214。中间BWE解码器2002可基于中间声道BWE参数1950及基于来自LB中间核心解码器2004的核心参数2056而产生中间声道HB信号2054。中间BWE解码器2002还可产生非线性延伸谐波LB激励以作为中间信号。中间BWE解码器2002可执行组合非线性谐波LB激励与成形白噪声的高频带LP合成,以产生中间HB合成信号。中间BWE解码器2002可通过将增益形状参数、增益帧参数或其组合应用于中间HB合成信号而产生中间声道HB信号2054。中间声道HB信号2054可提供到声道间BWE空间平衡器2010。非线性延伸谐波LB激励(例如,中间信号)、中间HB合成信号或两者也可提供到声道间BWE空间平衡器2010。

声道间BWE空间平衡器2010可经配置以基于中间声道HB信号2054、声道间BWE参数1952、非线性延伸谐波LB激励、中间HB合成信号或其组合而产生第一HB信号1923及第二HB信号1925,如参看图20所描述。声道间BWE参数1952可包含调整增益参数的集合、高频带参考声道指示符、调整频谱形状参数或其组合。第一HB信号1923及第二HB信号1925可提供到组合器2118。

LB重新采样器2214可经配置以对中间声道LB信号2052进行采样,以产生延伸中间声道信号2252。延伸中间声道信号2252可提供到立体升频混频器2212。侧参数映射器2220可经配置以基于侧声道参数1956产生参数2256。参数2256可提供到立体升频混频器2212。立体升频混频器2212可将参数2256应用于延伸中间声道信号2252,以产生第一LB信号1922及第二LB信号1924。第一及第二LB信号1922、1924可提供到组合器2118。组合器2118及移位器2116可以大体上类似的方式操作,如关于图21所描述。

解码器118的第三实施方案2200可在执行产生经移位信号(例如,第一输出信号126)的移位之前组合低频带信号及高频带信号。另外,与第二实施方案2100相比,侧声道LB信号2050的产生可在第三实施方案2200中绕过以减小信号处理量。

参看图23,展示了解码器118的第四实施方案2300。根据第四实施方案2300,解码器118包含中间BWE解码器2002、LB中间核心解码器2004、侧参数映射器2220、升混参数解码器2008、中侧产生器2310、立体升频混频器2312、LB重新采样器2214、立体升频混频器2212、组合器2118以及移位器2116。

中间声道BWE参数1950可提供到中间BWE解码器2002。中间声道BWE参数1950可包含中间声道HB LPC参数及增益参数的集合。中间声道参数1954可提供到LB中间核心解码器2004,且侧声道参数1956可提供到侧参数映射器2220。立体升混参数1958可提供到升混参数解码器2008。

LB中间核心解码器2004可经配置以基于中间声道参数1954而产生核心参数2056及中间声道LB信号2052。核心参数2056可包含中间声道LB激励信号。核心参数2056可提供到中间BWE解码器2002。中间声道LB信号2052可提供到LB重新采样器2214。中间BWE解码器2002可基于中间声道BWE参数1950及基于来自LB中间核心解码器2004的核心参数2056而产生中间声道HB信号2054。中间声道HB信号2054可提供到中侧产生器2310。

中侧产生器2310可经配置以基于中间声道HB信号2054及声道间BWE参数1952而产生经调整中间声道信号2354及侧声道信号2350。经调整中间声道信号2354及侧声道信号2350可提供到立体升频混频器2312。立体升频混频器2312可基于经调整中间声道信号2354及侧声道信号2350而产生第一HB信号1923及第二HB信号1925。第一HB信号1923及第二HB信号1925可提供到组合器2118。

侧参数映射器2220、升混参数解码器2008、LB重新采样器2214、立体升频混频器2212、组合器2118以及移位器2116可以大体上类似的方式操作,如关于图20到22所描述。

解码器118的第四实施方案2300可在执行产生经移位信号(例如,第一输出信号126)的移位之前组合低频带信号及高频带信号。

参看图24,展示了通信方法2400的流程图。方法2400可由图1及19的第二装置106执行。

方法2400包含,在2402,在装置处接收至少一个经编码信号。举例来说,参看图19,接收器1911可接收来自第一装置104的经编码信号102且可将经编码信号提供到解码器118。

方法2400还包含,在2404,在装置处基于至少一个经编码信号产生第一信号及第二信号。举例来说,参看图19,解码器118可基于经编码信号102产生第一信号1902及第二信号1904。为进行说明,在图20中,第一信号可对应于第一HB信号1923且第二信号可对应于第二HB信号1925。替代地,在图19中,第一信号可对应于第一LB信号1922且第二信号可对应于第二LB信号1924。作为另一实例,在图20到23中,第一信号及第二信号可分别对应于第一信号1902及第二信号1904。

方法2400还包含,在2406,在装置处通过使第一信号的第一样本相对于第二信号的第二样本时间移位基于移位值的量而产生经移位第一信号。举例来说,参看图19,解码器118可使第一信号1902的第一样本相对于第二信号1904的第二样本时间移位基于非因果移位值162的量以产生经移位第一信号1912。在图20中,移位器2016可使第一HB信号1923移位以产生经移位第一HB信号1933。另外,移位器2016可使第一LB信号1922移位以产生经移位第一LB信号1932。在图21到23中,移位器2116可使第一信号1902移位以产生经移位第一信号1912(例如,第一输出信号126)。

方法2400还包含,在2408,在装置处基于经移位第一信号产生第一输出信号。第一输出信号可提供到第一扬声器。举例来说,参看图19,解码器118可基于经移位第一信号1912产生第一输出信号126。在图20中,合成器2018产生第一输出信号126。在图21到23中,经移位第一信号1912可为第一输出信号126。

方法2400还包含,在2410处,在装置处基于第二信号产生第二输出信号。第二输出信号可提供到第二扬声器。举例来说,参看图19,解码器118可基于第二信号1904产生第二输出信号128。在图20中,合成器2018产生第二输出信号128。在图21到23中,第二信号1904可为第二输出信号128。

根据一个实施方案,方法2400可包含基于至少一个经编码信号102产生多个低频带信号1922、1924。方法2400还可包含,独立于多个低频带信号1922、1924,基于至少一个经编码信号102产生多个高频带信号1923、1925。多个高频带信号1923、1925可包含第一信号1902及第二信号1904。方法2400还可包含通过组合多个低频带信号1922、1924的第一低频带信号1922及多个高频带信号1923、1925的第一高频带信号1923而产生第一信号1902。方法2400还可包含通过组合多个低频带信号1922、1924的第二低频带信号1924及多个高频带信号1923、1925的第二高频带信号1925而产生第二信号1904。第一输出信号126可对应于经移位第一信号1912,且第二输出信号128可对应于第二信号1904。

根据一个实施方案,所述多个低频带信号可包含第一信号1902及第二信号1904,且方法2400还可包含通过使所述多个高频带信号的第一高频带信号1923相对于所述多个高频带信号的第二高频带信号1925时间移位基于非因果移位值162的量而产生经移位第一高频带信号1933。方法2400还可包含通过组合经移位第一信号1912(例如,经移位第一LB信号1932)及经移位第一高频带信号1933而产生第一输出信号126,例如关于图20所说明。方法2400还可包含通过组合第二信号1904(例如,第二LB信号1924)及第二高频带信号1925而产生第二输出信号128。

在一些实施方案中,方法2400可包含基于至少一个经编码信号102产生第一低频带信号1922、第一高频带信号1923、第二低频带信号1924及第二高频带信号1925。第一信号1902可基于第一低频带信号1922、第一高频带信号1923或两者。第二信号1904可基于第二低频带信号1924、第二高频带信号1925或两者。为进行说明,方法2400可包含基于所述至少一个经编码信号产生中间低频带信号(例如,中间声道LB信号2052),及基于所述至少一个经编码信号产生侧低频带信号(例如,侧声道LB信号2050)。第一低频带信号(例如,第一LB信号1922)及第二低频带信号(例如,第二LB信号1924)可基于所述中间低频带信号及所述侧低频带信号。第一低频带信号及第二低频带信号可进一步基于增益参数(例如,增益参数160)。第一低频带信号及第二低频带信号可独立于第一高频带信号及第二高频带信号产生(例如,低频带处理路径中的组件2012、2114、2112、2214、2212独立于高频带处理路径中的组件2010)。

根据一个实施方案,方法2400可包含基于所述至少一个经编码信号产生中间低频带信号。方法2400还可包含接收一或多个BWE参数,及通过基于所述一或多个参数对中间低频带信号执行带宽扩展而产生中间信号。所述方法还可包含接收一或多个声道间BWE参数,及基于中间信号及一或多个声道间BWE参数而产生第一高频带信号及第二高频带信号。

根据一个实施方案,方法2400还可包含基于所述至少一个经编码信号产生中间低频带信号。第一信号及第二信号可基于中间信号及一或多个侧参数。

图24的方法2400可利用目标声道移位、一系列升混技术及移位补偿技术实现声道间BWE参数1952的集成。

参看图25,展示了通信方法2500的流程图。方法2500可由图1及19的第二装置106执行。

方法2500包含,在2502,在装置处接收至少一个经编码信号。举例来说,参看图19,接收器1911可经由网络网络120从第一装置104接收经编码信号102。

方法2500还包含,在2504,在装置处基于所述至少一个经编码信号产生多个高频带信号。举例来说,参看图19,解码器118可基于经编码信号102产生多个高频带信号1923、1925。

方法2500还包含,在2506,独立于所述多个高频带信号,基于至少一个经编码信号产生多个低频带信号。举例来说,参看图19,解码器118可基于经编码信号102产生多个低频带信号1922、1924。多个低频带信号1922、1924可独立于多个高频带信号1923、1925而产生。举例来说,在图20中,声道间BWE空间平衡器2010独立于LB升频混频器2012的输出而操作。同样,LB升频混频器2012独立于声道间BWE空间平衡器2010的输出而操作。在图21中,声道间BWE空间平衡器2010独立于LB重新采样器2114的输出且独立于立体升频混频器2112的输出而操作,且LB重新采样器2114及立体升频混频器2112独立于声道间BWE空间平衡器2010的输出而操作。另外,在图22中,声道间BWE空间平衡器2010独立于LB重新采样器2214的输出且独立于立体升频混频器2212的输出而操作,且LB重新采样器2214及立体升频混频器2212独立于声道间BWE空间平衡器2010的输出而操作。

根据一个实施方案,方法2500可包含基于至少一个经编码信号产生中间低频带信号及侧低频带信号。多个低频带信号可基于中间低频带信号、侧低频带信号及增益参数。

根据一个实施方案,方法2500可包含基于所述多个低频带信号的第一低频带信号、所述多个高频带信号的第一高频带信号或两者而产生第一信号。方法2500还包含基于所述多个低频带信号的第二低频带信号、所述多个高频带信号的第二高频带信号或两者而产生第二信号。方法2500可进一步包含通过使所述第一信号的第一样本相对于所述第二信号的第二样本时间移位基于所述移位值的量而产生经移位第一信号。方法2500还可包含基于所述经移位第一信号产生第一输出信号及基于所述第二信号产生第二输出信号。

根据一个实施方案,方法2500可包含接收移位值,及通过组合所述多个低频带信号的第一低频带信号及所述多个高频带信号的第一高频带信号而产生第一信号。方法2500还可包含通过组合所述多个低频带信号的第二低频带信号、所述多个高频带信号的第二高频带信号而产生第二信号。方法2500还可包含通过使所述第一信号的第一样本相对于所述第二信号的第二样本时间移位基于所述移位值的量而产生经移位第一信号。方法2500还可包含将所述经移位第一信号提供到第一扬声器及将所述第二信号提供到第二扬声器。

根据一个实施方案,方法2500可包含接收移位值,及通过使所述多个低频带信号的第一低频带信号相对于所述多个低频带信号的第二低频带信号时间移位基于所述移位值的量而产生经移位第一低频带信号。方法2500还可包含通过使所述多个高频带信号的第一高频带信号相对于所述多个高频带信号的第二高频带信号时间移位而产生经移位第一高频带信号。方法2500还可包含通过组合所述经移位第一低频带信号及所述经移位第一高频带信号而产生经移位第一信号。方法2500可进一步包含通过组合所述第二低频带信号及所述第二高频带信号而产生第二信号。方法2500还可包含将所述经移位第一信号提供到第一扬声器及将所述第二信号提供到第二扬声器。

参看图26,展示了通信方法2600的流程图。方法2600可由图1及19的第二装置106执行。

方法2600包含,在2602,在装置处接收包含一或多个声道间带宽扩展(BWE)参数的至少一个经编码信号。举例来说,参看图19,接收器1911可经由网络网络120从第一装置104接收经编码信号102。经编码信号102可包含声道间BWE参数1952。

方法2600还包含,在2604,在装置处通过基于所述至少一个经编码信号执行带宽扩展而产生中间声道时域高频带信号。举例来说,参看图20,解码器118可通过基于经编码信号102执行带宽扩展而产生中间声道HB信号2054。为进行说明,经编码信号102可包含中间声道参数1954、中间声道BWE参数1950或其组合。LB中间核心解码器2004可基于中间声道参数1954产生核心参数2056。图20的中间BWE解码器2002可基于中间声道BWE参数1950、核心参数2056或其组合而产生中间声道HB信号2054,如参看图20所描述。参考方法2600,中间声道HB信号2054也可被称为“中间声道时域高频带信号”。

方法2600进一步包含,在2606,基于中间声道时域高频带信号及一或多个声道间BWE参数而产生第一声道时域高频带信号及第二声道时域高频带信号。举例来说,参看图19,解码器118可基于中间声道HB信号2054、中间声道BWE参数1950、非线性延伸谐波LB激励、中间HB合成信号或其组合而产生第一HB信号1923及第二HB信号1925,如参看图20所描述。参考方法2600,第一HB信号1923也可被称为“第一声道时域高频带信号”且第二HB信号1925也可被称为“第二声道时域高频带信号”。

方法2600还包含,在2608,在装置处通过组合第一声道时域高频带信号及第一声道低频带信号而产生目标声道信号。举例来说,参看图21,解码器118可通过组合第一HB信号1923及第一LB信号1922而产生第一信号1902。参考方法2600,第一信号1902也可被称为“目标声道信号”且第一LB信号1922也可被称为“第一声道低频带信号”。

方法2600进一步包含,在2610,在装置处通过组合第二声道时域高频带信号及第二声道低频带信号而产生参考声道信号。举例来说,参看图21,解码器118可通过组合第二HB信号1925及第二LB信号1924而产生第二信号1904。参考方法2600,第二信号1904也可被称为“参考声道信号”且第二LB信号1924也可被称为“第二声道低频带信号”。

方法2600还包含,在2612,在装置处通过基于时间失配值修改目标声道信号而产生经修改目标声道信号。举例来说,参看图21,解码器118可通过基于非因果移位值162修改第一信号1902而产生经移位第一信号1912。参考方法2600,经移位第一信号1912也可被称为“经修改目标声道信号”且非因果移位值162也可被称为“时间失配值”。

根据一个实施方案,本方法2600可包含在装置处基于至少一个经编码信号产生中间声道低频带信号及侧声道低频带信号。第一声道低频带信号及第二声道低频带信号可基于中间声道低频带信号、侧声道低频带信号及增益参数。参考方法2600,中间声道LB信号2052也可被称为“中间声道低频带信号”且侧声道LB信号2050也可被称为“侧声道低频带信号”。

根据一个实施方案,方法2600可包含基于经修改目标声道信号产生第一输出信号。方法2600还可包含基于参考声道信号产生第二输出信号。方法2600可进一步包含将第一输出信号提供到第一扬声器及将第二输出信号提供到第二扬声器。

根据一个实施方案,方法2600可包含在装置处接收时间失配值。经修改目标声道信号可通过使目标声道信号的第一样本相对于参考声道信号的第二样本在时间上移位基于时间失配值的量而产生。在一些实施方案中,时间移位对应于“因果移位”,目标声道信号相对于参考声道信号在时间上“向前拉动”的量。

根据一个实施方案,方法2600可包含基于一或多个侧参数产生一或多个映射参数。至少一个经编码信号可包含所述一或多个侧参数。方法2600还可包含通过将一或多个侧参数应用于中间声道低频带信号而产生第一声道低频带信号及第二声道低频带信号。参考方法2600,图22的参数2256也可被称为“映射参数”。

关于图19到26所描述的技术可使得多通道解码器中的升混架构能够用非因果移位来解码音频信号。根据所述技术,中间声道经解码。举例来说,低频带中间声道可针对ACELP核心经解码且高频带中间声道可使用高频带中间BWE经解码。TCX完全频带可针对MDCT帧(与IGF参数或其它BWE参数一起)经解码。声道间空间平衡器可应用于高频带BWE信号,以基于倾斜、增益、ILD及参考声道指示符而产生第一声道及第二声道的高频带。对于ACELP帧,LP核心信号可使用频域或变换域(例如,DFT)重新采样来增加采样。侧声道参数可在DFT域中应用于核心中间信号,且可执行升混,继之以IDFT及开窗。第一及第二低频带通道可在时域中以输出采样频率产生。第一及第二高频带声道可在时域中分别添加到第一及第二低频带通道,以产生完全频带声道。对于TCX帧或MDCT帧,侧参数可应用于完全频带以产生第一及第二声道输出。反非因果移位可应用于目标声道,以产生声道之间的时间对准。

参考图27,描绘了装置(例如,无线通信装置)的特定说明性实例的框图且所述装置整体指定为2700。在各种实施方案中,与图27中所说明的组件相比,装置2700可具有更少或更多组件。在说明性实施方案中,装置2700可对应于图1的第一装置104或第二装置106。在说明性实施方案中,装置2700可执行参看图1到26的系统及方法所描述的一或多个操作。

在特定实施方案中,装置2700包含处理器2706(例如,中央处理单元(CPU))。装置2700可包含一或多个额外处理器2710(例如,一或多个数字信号处理器(DSP))。处理器2710可包含媒体(例如,话语及音乐)译码器解码器(CODEC)2708及回音消除器2712。媒体CODEC 2708可包含图1的解码器118(例如关于图1、19、20、21、22或23所描述)、编码器114或两者。

装置2700可包含存储器存储器2753及CODEC 2734。尽管媒体CODEC 2708经说明为处理器2710的组件(例如,专用电路及/或可执行代码),但在其它实施方案中,媒体CODEC 2708的一或多个组件(例如解码器118、编码器114或两者)可包含于处理器2706、CODEC 2734、另一处理组件或其组合中。

装置2700可包含耦合到天线2742的收发器2711。装置2700可包含耦合到显示器控制器2726的显示器2728。一或多个扬声器2748可耦合到CODEC 2734。一或多个麦克风2746可经由输入接口112耦合到CODEC 2734。在特定方面中,扬声器2748可包含图1的第一扬声器142、第二扬声器144、图2的第Y扬声器244或其组合。在特定实施方案中,麦克风2746可包含图1的第一麦克风146、第二麦克风148、图2的第N麦克风248、图11的第三麦克风1146、第四麦克风1148或其组合。CODEC 2734可包含数字到模拟转换器(DAC)2702及模拟到数字转换器(ADC)2704。

存储器存储器2753可包含可由处理器2706、处理器2710、CODEC 2734、装置2700的另一处理单元或其组合执行的指令2760,以执行参看图1到26所描述的一或多个操作。存储器存储器2753可存储分析数据数据190、1990。

装置2700的一或多个组件可经由专用硬件(例如,电路)、通过用以执行一或多个任务的处理器执行指令或其组合来实施。作为实例,存储器存储器2753或处理器2706、处理器2710及/或CODEC 2734的一或多个组件可为存储器存储器装置,例如随机存取存储器(RAM)、磁阻随机存取存储器存储器(MRAM)、自旋扭矩转移MRAM(STT-MRAM)、快闪存储器存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器存储器(EEPROM)、寄存器、硬盘、可卸除式磁盘或光盘只读存储器存储器(CD-ROM)。存储器存储器装置可包含指令(例如,指令2760),所述指令在由计算机(例如,CODEC 2734中的处理器、处理器2706及/或处理器2710)执行时可致使计算机执行参看图1到26所描述的一或多个操作。作为实例,存储器存储器2753或处理器2706、处理器2710及/或CODEC 2734的一或多个组件可为包含指令(例如,指令2760)的非暂时性计算机可读媒体,所述指令在由计算机(例如,CODEC 2734中的处理器、处理器2706及/或处理器2710)执行时致使计算机执行参看图1到26所描述的一或多个操作。

在特定实施方案中,装置2700可包含于系统级封装或系统芯片装置(例如,移动台调制解调器(MSM))2722中。在特定实施方案中,处理器2706、处理器2710、显示器控制器2726、存储器存储器2753、CODEC 2734及收发器2711包含于系统级封装或系统芯片装置2722中。在特定实施方案中,例如触摸屏及/或小键盘的输入装置2730及电力供应器2744耦合到系统芯片装置2722。此外,在特定实施方案中,如图27中所说明,显示器2728、输入装置2730、扬声器2748、麦克风2746、天线2742及电力供应器2744在系统芯片装置2722外部。然而,显示器2728、输入装置2730、扬声器2748、麦克风2746、天线2742及电力供应器2744中的每一个可耦合到系统芯片装置2722的组件(例如,接口或控制器)。

装置2700可包含无线电话、移动通信装置、移动电话、智能电话、蜂窝式电话、膝上型计算机、台式计算机、计算机、平板计算机、机顶盒、个人数字助理(PDA)、显示装置、电视、游戏控制台、音乐播放器、无线电、视频播放器、娱乐单元、通信装置、固定位置数据数据单元、个人媒体播放器、数字视频播放器、数字视频光盘(DVD)播放器、调谐器、相机、导航装置、解码器系统、编码器系统、基站、载具,或其任何组合。

在特定实施方案中,本文中所描述的系统的一或多个组件及装置2700可集成于解码系统或设备(例如,电子装置、CODEC或其中的处理器)中,集成于编码系统或设备中,或集成于两者中。在其它实施方案中,本文中所描述的系统的一或多个组件及装置2700可集成于以下各者中:无线通信装置(例如,无线电话)、平板计算机、台式计算机、膝上型计算机、机顶盒、音乐播放器、视频播放器、娱乐单元、电视、游戏控制台、导航装置、通信装置、个人数字助理(PDA)、固定位置数据数据单元、个人媒体播放器、基站、载具,或另一类型的装置。

应注意,由本文中所描述的系统的一或多个组件及装置2700执行的各种功能经描述为由某些组件或模块执行。组件及模块的此划分仅用于说明。在替代实施方案中,由特定组件或模块执行的功能可划分于多个组件或模块之中。此外,在替代实施方案中,本文中所描述的系统的两个或多于两个组件或模块可集成于单个组件或模块中。本文中所描述的系统中所说明的每一组件或模块可使用硬件(例如,现场可编程门阵列(FPGA)装置、专用集成电路(ASIC)、DSP、控制器等)、软件(例如,可由处理器执行的指令)或其任何组合来实施。

结合所描述实施方案,一种设备包含用于接收包含一或多个声道间带宽扩展(BWE)参数的至少一个经编码信号的装置。举例来说,用于接收的装置可包含图1的第二装置106、图19的接收器1911、图27的收发器2711、经配置以接收所述至少一个经编码信号的一或多个其它装置或其组合。

所述设备还包含用于通过基于所述至少一个经编码信号执行带宽扩展而产生中间声道时域高频带信号的装置。举例来说,用于产生中间声道时域高频带信号的装置可包含图1的第二装置106、解码器118、时间平衡器124、图20的中间BWE解码器2002、图27的话语及音乐译码器解码器2708、处理器2710、CODEC 2734、处理器2706、经配置以接收所述至少一个经编码信号的一或多个其它装置或其组合。

所述设备进一步包含用于基于中间声道时域高频带信号及一或多个声道间BWE参数而产生第一声道时域高频带信号及第二声道时域高频带信号的装置。举例来说,用于产生第一声道时域高频带信号及第二声道时域高频带信号的装置可包含图1的第二装置106、解码器118、时间平衡器124、图20的声道间BWE空间平衡器2010、图23的立体升频混频器2312、图27的话语及音乐译码器解码器2708、处理器2710、CODEC 2734、处理器2706、经配置以接收所述至少一个经编码信号的一或多个其它装置或其组合。

所述设备还包含用于通过组合所述第一声道时域高频带信号及第一声道低频带信号而产生目标声道信号的装置。举例来说,用于产生目标声道信号的装置可包含图1的第二装置106、解码器118、时间平衡器124、图20的声道间BWE空间平衡器2010、图21的组合器2118、图27的话语及音乐译码器解码器2708、处理器2710、CODEC 2734、处理器2706、经配置以接收所述至少一个经编码信号的一或多个其它装置或其组合。

所述设备进一步包含用于通过组合所述第二声道时域高频带信号及第二声道低频带信号而产生参考声道信号的装置。举例来说,用于产生参考声道信号的装置可包含图1的第二装置106、解码器118、时间平衡器124、图20的声道间BWE空间平衡器2010、图21的组合器2118、图27的话语及音乐译码器解码器2708、处理器2710、CODEC 2734、处理器2706、经配置以接收所述至少一个经编码信号的一或多个其它装置或其组合。

所述设备还包含用于通过基于时间失配值修改所述目标声道信号而产生经修改目标声道信号的装置。举例来说,用于产生经修改目标声道信号的装置可包含图1的第二装置106、解码器118、时间平衡器124、图20的声道间BWE空间平衡器2010、图21的移位器2116、图27的话语及音乐译码器解码器2708、处理器2710、CODEC 2734、处理器2706、经配置以接收所述至少一个经编码信号的一或多个其它装置或其组合。

同样结合所描述实施方案,一种设备包含用于接收至少一个经编码信号的装置。举例来说,用于接收的装置可包含图19的接收器1911、图27的收发器2711、经配置以接收所述至少一个经编码信号的一或多个其它装置或其组合。

所述设备还可包含用于基于经移位第一信号产生第一输出信号及基于第二信号产生第二输出信号的装置。经移位第一信号可通过使第一信号的第一样本相对于第二信号的第二样本时间移位基于移位值的量而产生。第一信号及第二信号可基于所述至少一个经编码信号。举例来说,用于产生的装置可包含图19的解码器118、经配置以产生第一输出信号及第二输出信号的一或多个装置/传感器(例如,执行存储于计算机可读存储装置处的指令的处理器)或其组合。

所属领域的技术人员将进一步了解,结合本文中所公开的实施方案而描述的各种说明性逻辑块、配置、模块、电路及算法步骤可实施为电子硬件、由例如硬件处理器的处理装置执行的计算机软件或两者的组合。上文大体在功能性方面描述各种说明性组件、块、配置、模块、电路及步骤。此功能性是实施为硬件还是实施为可执行软件取决于特定应用及强加于整个系统的设计约束。所属领域的技术人员可针对各特定应用以不同方式来实施所描述功能性,但此些实施决策不应解释为引起对本发明的范围的偏离。

结合本文中所公开的实施方案所描述的方法或算法的步骤可直接体现于硬件中、由处理器执行的软件模块中或两者的组合中。软件模块可驻存于存储器存储器装置中,例如随机存取存储器存储器(RAM)、磁阻随机存取存储器存储器(MRAM)、自旋扭矩转移MRAM(STT-MRAM)、快闪存储器存储器、只读存储器存储器(ROM)、可编程只读存储器存储器(PROM)、可擦除可编程只读存储器存储器(EPROM)、电可擦除可编程只读存储器存储器(EEPROM)、寄存器、硬盘、可卸除式磁盘或光盘只读存储器存储器(CD-ROM)。示范性存储器存储器装置耦合到处理器,以使得处理器可从存储器存储器装置读取信息以及将信息写入到存储器存储器装置。在替代例中,存储器存储器装置可与处理器成一体式。处理器及存储媒体可驻存于专用集成电路(ASIC)中。ASIC可驻存于计算装置或用户终端中。在替代例中,处理器及存储媒体可作为离散组件驻存于计算装置或用户终端中。

提供对所公开实施方案的先前描述,以使得所属领域的技术人员能够制作或使用所公开实施方案。对此些实施方案的各种修改对于所属领域的技术人员将容易地显而易见,且在不背离本发明的范围的情况下,本文中所定义的原理可应用于其它实施方案。因此,本发明并非打算限于本文中所展示的实施方案,而应符合可能与如以下权利要求书所定义的原理及新颖特征相一致的最广泛范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1