专利名称：利用可适配信号再现速率的信号处理装置和方法
技术领域：
本发明涉及一种执行信号表现的电路，例如音频或视频信号表现，以及一种信号 表现的方法。
背景技术：
从US专利5，386，493中可知，在保持高音的同时改变所记录的声音的再现速率。 例如在游戏装置中，其速度可能根据用户的交互作用而不同。速度变化对于需要相应的已 记录声音的时间点具有影响。当使用可变的速度时，回放的时间取决于回放速度的先前变 化。相反，利用恒定速度的时间点由回放起点和回放速度得出的。对于时间点的影响在音频处理流的上游具有重要意义。当通过提取音频数据或通 过对与恒定回放速度相对应的帧编码数字音频信号进行解码得到音频采样时，提取或解码 帧的时间点必须适配回放速度的变化。这些结果是由于两个不同的时间基准相关的事实， 即原始时间基准，其识别所存储的音频数据中的位置，且应用时不考虑再现速率适合；以 及可适配的时间基准识别表现采样的时间点。在这些不同的时间基准之间的转换的需要控 制操作。当音频采样在数据流的适配以改变再现速率和表现音频采样之间缓冲时，随着这 种转换而问题增加。随着缓冲后面的延迟，在所述缓冲前面已经生效的时间基准的变化逐 渐显现出来。当在短暂的时间段发生再现速率的多次变化时，这种转换可能变得不可靠。
发明内容
其中，本发明的目的在于在信号流被缓冲器延迟之前，当向所述信号流施加再现 速率的适配时，提供一种在原始信号时间基准和适配的时间基准之间的可靠转换。提出了一种如权利要求1所述的信号处理装置。其中使用一个时间转换器，所述 时间转换器控制将速率值施加至用于信号流的再现速率适配器，如音频流。当接受改变再 现速率的命令时，通过所述再现速率适配器施加所述速率。时间转换器存储与所接受的命 令的最多预定数有关的信息。当存储所令中可接受的命令的所述预定数的信息时，所述时 间转换器不再接受更多的命令，直到所述时间转换器检测到从延迟的缓冲器显现出至少一 个所述命令的效果。在实施例中，每次都存储不超过一个接受命令的信息。这样简化了时 间转换。
使用以下附图，这些和其他目的和优势根据典型实施例的描述将变得清楚明白。图1示出了音频处理装置图Ia说明了速率改变命令的时间点图2所示的是时间转换器的例子。图3所示是音频/视频处理装置。
具体实施例方式图1示出了音频处理装置，其包括帧存储器10、解码器12、音频再现速率适配器 14、缓冲器16、表现装置17、速率控制器18以及时间转换器19。解码器12具有与帧存储器 10连接的输入端和与音频再现速率适配器14连接的输出端。音频再现速率适配器14具有 通过缓冲器16与表现装置17连接的输出端。时间转换器19具有与表现装置17和速率控 制器18的输出连接的输入端和与解码器12和音频再现速率适配器14相连的输出端。解码器12、音频再现速率适配器14、缓冲器16、表现装置17、速率控制器18以及 时间转换器19可以由相应的电路实现，其部分或所有可以是配置有程序的可编程电路来， 所述程序使得所述可编程电路执行解码、音频率适配、表现、速率控制和时间转换。可选的 是，解码器12、音频再现速率适配器14、缓冲器16、表现装置17、速率控制器18以及时间转 换器19的一部分或全部可以使用由相同的可编程电路执行的相应程序模块来实现，例如 个人计算机(PC)。在一个示例中，表现装置17可以这种计算机的音频电路，缓冲器16可以 是该音频电路的装置驱动程序使用的缓冲器，时间转换器19可以由用于实现解码器12的 程序调用的软件功能来实现。在操作中，帧存储器10和解码器12用作数据源。解码器12从帧存储器10中取得 音频数据的帧。所述帧可以是任何合适的格式，例如MP3帧格式(MPEG2LayerIII)。解码器 12对所述帧进行解码。对于每一帧，其结果就是一组音频信号样本。音频再现速率适配器 14将样本流转换成已转换的音频信号样本流，其中在第一数量的音频信号样本之间存在可 适配的平均比率，所述第一数量的音频信号样本是由所述音频再现速率适配器14的输出 和输入处的第二数量的音频信号样本来产生的。用于此目的的音频再现速率适配器本质上 是已知的。解码器12中的声音信号的声音特征出现在相互时间距离的已转换流，所述相互 时间距离由时间转换器19控制。除去时间刻度上的变化，样本的已转换流表现出相同的声 音，例如声音相同的高音值和声音相同的强度。缓冲器16从音频再现速率适配器14处接收已接换流的样本值的块，以及向音频 表现装置17输出样本值。尽管如图所示缓冲器16是作为装置的一个部件，解码器12和音 频再现速率适配器14的设计者并不知道缓冲器的容量大小。表现装置17可以包含例如连接到至扬声器的数模转换器。表现装置17 —个接一 个地连续输出样本。典型的是，解码器12和音频再现速率适配器14都同时产生包含多个 样本的块(该术语包括帧)，但是这些块的大小不必相等。速率控制器18控制音频再现速率适配器14的速率值，例如，在第一数量的音频信 号样本之间的平均比率，所述第一数量的音频信号样本分别在音频再现速率适配器14的 输出和输入处的第二数量的音频信号样本产生。速率控制器18通过时间转换器19来控制 音频再现速率适配器14的速率值。在实施例中，速率值并不局限于整数值或者整数值的倒 数。时间转换器19在可适配的时间基准中的真实时间“t”和存储的信号时间基准中 的时间“tl”之间提供转换，所存储的信号时间基准中的时间“tl”用于表示什么时候需要 帧存储器10中的音频数据帧。时间“tl”根据回放的时间来识别所存储的音频数据中的位 置，而不考虑速率适配。在这种情况下，与原始样本相关联的时间tl根据其位置数在样本的理论上的流中进行采样，而不考虑速率适配。时间转换器19根据表现装置17的时间“t” 确定时间“tl”。每次当输出具有适配速率的样本流时，音频表现器的时间“t”就要提前一 步。这样就在音频再现速率适配器14的输出处确定了平均采样速率，其必须保持恒定。然 而，由于音频再现速率适配器14改变了样本数，这就意味着与在音频再现速率适配器14的 输入处的样本相关的时间tl会根据适配速率的变化而不同。这样，声音信号中的任意点都根据适配的时间基准和存储的时间基准而具有两个 相关联的时间值时间“t”为由音频表现装置17表现时的点，而时间tl表示在存储器10 中存储的信号的位置。这些时间值之间的关系依赖于音频再现速率适配器14使用的速率 值和由缓冲器16导致的名义延迟。值得注意的是这是一种概念上的延迟，其并不与每一个 样本在缓冲器16中停留的具体时间相对应，因为缓冲器16的输入是块的形式，其不需要在 精确的时间输入，而音频表现装置17的输出则是在精确定义的时间来自那些块的样本。因 此，不能够直接测量所述延迟。在实施例中，时间转换器19实现为软件模块来，该模块可以实现为函数 "getTimeO ”和函数getRate ()，函数gettimeO返回与所存储的音频数据中的位置相对 应的时间值“tl”，即根据不考虑速率适配的时间，函数getRateO返回用于音频再现速率 适配器14的可应用速率值R。在另一个实施例中，可以使用函数waitR)rTime(tl)来代 替getTime ()，或者除了 getTime ()之外使用函数waitForTime (tl)，其返回已经到达时间 “tl”的时间，所述时间“1”与所存储的音频数据中的位置相对应，在时间“t”输出所存储的 音频数据用于音频速率适配。适配的时间基准中的时间“t”是由音频表现装置17表现音频信号的点的时间，而 在所存储的信号时间基准中时间tl则表示在存储器10中存储的信号中的点的位置，时间 “ t ”和时间“ 11”之间的关系可以通过是以下公式计算出来tl = tlo+(t-to)/R其中R为音频再现速率适配器14所使用的速率，R等于m/N2，其位于音频再现速 率适配器14输入处产生的第一数量附的样本到它的输入处的第二数量N2的第二样本之 间；“to”为当由根据速率R确定的第一样本从音频表现装置17出现时的时间“t”的值，以 及tlo为应用速率R时第一样本的时间tl的值。值得注意的是，该公式仅仅只在样本在速率改变已经出现在音频表现装置之后的 样本之后，可以在速率改变后确定时间tl，因为需要时间to。在那个时间之间，必须使用 to、tlo和R的原值，并且必须保存与新的tlo和R有关的信息。原理上，当产生一系列的 速率改变时，必须保持与所有这些改变有关的信息，直到改变后的样本出现在音频表现装 置17时为止。当这些适配速率中的改变发生在不同的时间点to(n)时，表示输入采样的时 间tl的表达式为tl = tlo(n) + (t-to(n))/R(n)tlo (η) = tlo (n-1) + (to (η) -to (n_l)) /R (n_l)tlo (n-1) = tlo(n-2) + (to(n-l)-to(n-2))/R(n-2)等等，其中R(n)为从时间to (η)开始的适配速率，R(η)是等于所述时间之后的W/N2， 该比例位于音频再现速率适配器14输入处产生的样本的第一数量m到它的输入的样本的 第二数量N2之间。这样，t和tl之间的差反映了适配速率R(n)改变的累积效应。只有在to (η)已知的情况下才能计算出每个时间值tlo (η)，即在音频表现装置17处出现速率改变之后。在实施例中，时间转换器19配置用于存储数据用于从t计算tl，即用于将适配的 时间基准转换回成所存储的信号时间基准。特别是可以存储在音频表现装置17上已经出 现的最后一次速率改变的时间和速率之t0、tlo和R，以及还没有出现速率改变的tlo (η) 和R(n)。例如，tlo的值可以表现为速率改变时在采样速率适配器14之前的预定阶段所需 要样本的样本数。将存储器只配置用于预定的有限个数的这种“在缓冲器中”的速率改变。 必要时可以通过以上公式用程序计算出tl。在执行速率改变时，可以使用程序来存储针对 速率改变的像tlo (η)和R(n)的信息，以及在检测到在音频比表现装置17已经出现速率改 变时，可以执行程序来更新to、tlo和R。为了确保不会发生所存储信息的溢出，保持与缓冲器16的延迟相对应的时间段 内的速率改变的数目有限。时间转换器19不接受速率改变，因为这样会导致超过该数目。 为了这样做，时间转换器19可以保持“在缓冲器中”速率改变的数量，当每次产生速率改变 时递增该数量，当缓冲器16中已经出现速率改变之后的样本时递减该数量。当该数量超过 了最大值时，时间转换器19挂起，或者不再从速率控制器18接受新的速率值，以及因此也 不会将其应用至音频再现速率适配器14。在实施例中，时间转换器19存储用于“在缓冲器中”速率改变的这样一组值。在 该实施例中，该数量可以采用标记值的形式，依赖于速率改变是否在缓冲器中将其设置为1 或0。图IA示出了速率改变命令lOOa-e的时间点作为当从速率控制器18接收速率改 变的命令的时间的函数。时间点10加-(3、10加表示接受命令的时间。箭头表示命令和接受 之间的关系。可以看到，延迟了命令的一部分的接受，而且根本不接受一些命令，以便限制 与命令有关的缓冲信息量。图Ia还示出了时间tl作为音频表现装置17中时间t的函数。图2示出了时间转换器19的电路实施例的示例，包括时钟电路20、时钟计数器 22、第一和第二计数器速率寄存器对、25、控制电路沈和使能寄存器28。时钟电路20具有 连接到时钟计数器22的输出。时钟电路20的输出也可以用于音频表现装置(未示出)的 时钟输出。时钟计数器22具有与第二计数器速率寄存器25的输出相连的速率控制输入。 时钟22具有与解码器(未示出)相连的计数输出。使能寄存器观具有设置输入、复位输入和使能输出。控制电路沈具有与速率控 制器(未示出)相连的输入和与使能寄存器观的使能输出相连的使能输入。控制电路26 的一个输出与第一计数器速率寄存器M的输入相连，一个输出与使能寄存器观的复位输 入相连。第一计数器速率寄存器M的输出与第二计数器速率寄存器25的输入相连，并且 与音频再现速率适配器14相连。时间转换器19的输入与第二计数器速率寄存器M的控 制输入和使能寄存器观复位输入相连。在操作中，时钟电路20向时钟计数器22提供周期性的时钟信号。时钟计数器22 保持时钟计数值。响应于时钟信号的片段，时钟计数器22增加所述时钟计数值。所述片段 由第二计数器速率寄存器25来控制。在一个实施例中，对于每一个Rl时钟信号，时钟计数 器22递增时钟计数值一次，Rl为从第二计数器速率寄存器25处接收的速率值。结果就是， 由时钟计数器22表示的时钟计数值(时间)tl服从以下公式
tl = tlo+N/Rl其中tlo是在时钟计数器22中的初始时钟计数值，以及N是从设置初始时钟计数 值To起来自时钟电路20的时钟信号的个数。时钟计数值表示tl。当从速率控制器18接收命令时，控制电路沈可以改变速率值R1。速率值的变化 改变了音频再现速率适配器14所使用的速率。对在第一计数器速率寄存器M中的速率值 进行更新。当改变所述速率值时，控制电路26复位使能寄存器观，禁用了控制电路沈。在 使能之前，控制电路26响应于后续的命令用于禁用或延迟速率值的改变。当接收信号显示 检测时。在接收表示检测到音频表现装置17中已经出现了最近的速率变换的信号时，设置 使能寄存器观，并且将所述速率值从第一计数器速率寄存器M复制到第二计数器速率寄 存器25。设置和复位使能寄存器观具有的效果是在检测到前一个速率改变已经到达音 频表现装置17之后所获得的第一个样本之前，不接受速率该改变命令。将在时间转换器19 中接受速率改变命令之前的延迟用于确保有足够的空间可用于计算时间值tl。在另一个实 施例中，FIFO缓冲器(未示出)可以被添加在第一和第二计数器速率寄存器M、25之间， 以提供连续的速率值。在这种情况下，使能寄存器观可以被累积计数器来替代，累积计数 器每次在接受速率改变命令时增加计数，在每次速率改变出现在音频表现装置17时减少 计数。在这种情况下，当累积计数器表示已经试用了 FIFO缓冲器的最大容量时，禁用控制 电路接受速率改变命令。在实施例中，音频再现速率适配器14配置用于包括在样本流中的标记信号，该信 号提供给缓冲器16以表示在速率改变后所出现的第一样本。在音频表现装置17出现后， 标记信号可以被提供给使能寄存器观来设定使能寄存器观。其它的方案也可以用于此目 的。例如，可以使用样本计数值。在该实施例中，时间转换器19可以包括另一个寄存器 (未示出)，用于当新的速率值可用于音频再现速率适配器14时，存储音频再现速率适配器 14的样本计数值；以及比较器，用于对来自另一个寄存器中的值与出现在音频表现装置17 中样本的样本计数值进行比较。当所述计数值匹配时，这就表示已经出现速率改变。比较 器输出信号可以用于向使能寄存器观施加所述设置信号，以及向更新第二计数器速率寄 存器25的控制信号。在实施例中，解码器12可以使用时钟计数钟值tl来确定音频数据帧的解码时间。 解码器I2对从U得到的时钟计数值和帧的解码时间Ts进行比较。所得到的值可能等于 tl加上偏移，所述偏移用于确保音频数据在表现之前被完全解码。当所得到的值已经达到 解码时间值，解码器12开始输出在帧中编码的样本值。随后，解码器12等待，直到所得到 的时钟计数值达到下一帧的解码时间值为止。连续帧的解码时间值Ts的间隔与帧中所记 录的音频信号的持续时间相对应。在持续时间固定的实施例中，连续帧的解码时间值按照 时间tl规则地间隔开。然而，必须针对时钟电路20的给定个数的时钟周期从解码器12产 生的样本的平均数依赖于来自第二计数器速率寄存器25中的速率值。这里所使用的短语“出现速率改变的效果”包括受到由速率改变设置的速率的那 部分信号的第一样本出现。尽管已经示出基于音频表现装置17的效果出现的检测做出时 间选择，应该理解的是这种出现并不需要与实际的表现相对应。音频表现装置17可以包括 另一个缓冲器，该缓冲器可以在出现之后延迟样本的表现，在这种情况下，出现的检测可以在所述的另一个缓冲器之前执行。同样这里所使用的出现检测可以在样本实际离开缓冲器 之前的固定距离发生在缓冲器16中，在这种情况下，缓冲器中检测到出现的点可用于限定 缓冲器16的有效输出，缓冲器16的其余内容都可以作为音频表现装置17之前的另一个缓 冲器。另外，尽管出现的真实时间已经被用于时间值的计算，可以理解的是可以使用与出现 相关的任何时间，例如具有对于出现时间的固定偏移的时间。在实施例中，用于确定何时应当输出帧的解码器12的那部分可以包括在存储器 10中，用于将输出从存储器10驱动至解码器12。图3示出了两个另外的方面。在实施例中，提供了事件检测器30，从时间转换器 19处接收时间tl，并且具有与存储器10相连的输出，用于选择依赖于所检测的事件必须表 现的音频项目。可以检测诸如按下按钮之类的用户动作。音频选择也可以依赖于所检测事 件的时间。可以使用图表，例如用于列出每一个事件，以及每一个为响应该事件而应当播放 的音频数据的时间范围数。在该实施例中，事件检测器30使用转换的时间来确定选择。所 以这就避免了速率适配影响选择。作为另一个方面，附图示出了驱动视频表现装置34的视频解码器32。在这一方 面，可以通过视频表现装置34的帧时钟来驱动音频表现装置17中的时间“t”，以便保持音 频和视频的同步。也可以在事件检测器30的控制下选择视频项目。尽管已经示出了可适 配的速率音频再现的应用，可以理解的是相同的技术可以应用到应用了速率适配的任何类 型的信号。代替具有适配速率的音频信号，例如可以使用具有适配速率的视频信号。尽管已经示出了一个示例，其中数据源包括存储器10和解码器12来产生时间离 散样本，应该理解的是除了解码器12可以用于产生不同形式的信号，时间离散样本可以只 在再现速率适配器之后形成。在另一个实施例中，数据源可以根本不包括解码，利用由时间 转换器19控制的定时从存储器上读出的样本块。通过对附图、说明书以及权利要求的学习，本领域技术人员在实践所附权利要求 的本发明时可以理解和实现所公开实施例的其他变体。在权利要求书中，词语“包含”并不 排除其它部件或步骤，而且使用不定冠词“a”时“an”不排除多个。单独的处理器或其它单 元可以完成权利要求书中所述的多个部件的功能。相互不同的从属权利要求所引用的某些 措施并不表示不能有利地使用这些措施的组合。计算机程序可用存储/分布在合适的介质 上，例如光存储介质或固态介质，具有或者作为其他硬件的一部分，但是也可以按照其他形 式分布，例如通过互联网或其它有线或无线电信系统。权利要求中的任何附图标记都不得 作为对发明范围的限制。
权利要求
1.一种信号处理装置，所述信号处理装置支持可适配的信号再现速率，所述装置包括信号数据源(10，12)，配置用于提供相对于信号时间基准定义的已存储信号的信号数据；信号再现速率适配器(14)，与所述信号数据源相连，并且配置用于输出利用相对于所 述信号时间基准的可适配时间速率、相对于适配的时间基准而定义的适配的信号的样本； 信号表现装置(17)；延迟缓冲器(16)，位于所述信号再现速率适配器(14)和所述信号表现装置(17)之间， 用于将所述样本传递到所述信号表现装置(17)；速率控制器(18)，用于发出命令信号来改变所述速率；时间转换器(19)，连接在所述速率控制器(18)和所述信号再现速率适配器(14)的控 制输入之间，所述时间转换器(19)配置用于接受所述命令，并且基于最近接收的命令来控 制由所述信号再现速率适配器(14)使用的速率，所述时间转换器(19)配置用于存储与至 多预定个数的接受命令有关的信息，用于检测什么时候从所述延迟缓冲器(16)开始出现 所接受命令的效果，以及当存储与所述预定个数的接受命令有关的信息时，不再接受更多 的命令，直到检测到存储所述至少一条命令的信息的效果出现为止。
2.如权利要求1所述的信号处理装置，其中所述预定个数为1。
3.如权利要求1所述的信号处理装置，其中所述信号为音频信号。
4.如权利要求1所述的信号处理装置，其中所述信号为视频信号。
5.如权利要求1所述的信号处理装置，其中所述时间转换器(19)配置用于在允许所述 延迟缓冲器(16)接受所述命令的最近一个命令之后，检测到从所述延迟缓冲器(16)已经 呈现出信号样本的至少之一之后，基于所述命令的最近接受的一个命令的信息，建立相对 于所述信号时间基准的第一时间值，所述信号时间基准与相对于所述适配的时间基准定义 的与第二时间值相对应。
6.如权利要求5所述的信号处理装置，其中所述时间转换器(19)与所述信号数据源 (10，12)相连，以及所述信号数据源(10，12)配置用于根据相对于所述信号时间基准的时 间值来控制所述信号数据的提供。
7.如权利要求1所述的信号处理装置，其中将所述时间转换器(19)实现为在可编程计 算机上的程序模块，所述程序模块包括如下指令，当由计算机执行所述指令时引起所述计 算机存储与所接受的命令有关的信息，对于所接收的命令，在接受之后还没有从所述延迟 缓冲器呈现出所产生的信号样本；以及当所述信息的存储空间变满时，禁用输入命令的接 受。
8.如权利要求1所述的信号处理装置，其中命令的信息包括由所述命令表示的速率值。
9.如权利要求8所述的信号处理装置，其中命令的信息包括相对于所述信号时间基准 的时间值，所述信号时间基准表示首次向再现速率适配施加所述命令的时间。
10.如权利要求1所述的信号处理装置，包括控制电路06)和使能寄存器( )，使能 寄存器具有使能设置输入和使能复位输入，所述控制电路06)与所述使能复位输入相连， 所述使能设定输入与所述信号表现装置(17)相连。
11.如权利要求1所述的信号处理装置，其中所述时间转换器(19)配置用于为每个所 接受的命令使能所存储的信息的使用，以在检测从所述延迟缓冲器(16)呈现出所接受命 令的效果时，根据相对于所适配的时间基准的时间值来确定相对于所述信号时间基准的时 间值。
12.—种信号处理方法，其包括提供已存储信号的信号数据，所述已存储信号相对于信号时间基准来定义； 利用相对于所述信号时间基准的可适配时间速率来处理所述信号数据，以将再现速率 适配为适配的时间基准；传递具有适配再现速率的信号样本通过延迟缓冲器(16)，并且表现从缓冲器(16)呈 现的信号；发出信号命令以改变所述速率；基于所述命令的最近接受的命令来控制所述速率，所述速率用于再现速率适配， 存储与最多预定个数的接受命令有关的信息； 检测什么时候从延迟缓冲器(16)呈现出所接受命令的效果； 当所述预定个数的已接受命令有关的信息被存储时，禁用接受另外的命令，直至所述 检测表示所存储信息的至少一个命令的出现为止。
13.一种计算机程序产品，包括可编程计算机的指令，当计算机执行这些指令时，引起 所述计算机接收用于改变再现速率的命令，该命令利用相对于原始信号时间基适配的时间速率限 定了适配时间基准；基于最近接受的命令控制速率，该速率用于再现速率适配， 存储用于最多预定个数的所接受命令有关的信息； 检测什么时候所接受的命令的效果从延迟缓冲器(16)出现； 当存储所述预定个数的已接受命令的信息时，禁用接受另外的命令，直至检测表示从 所述延迟缓冲器(16)出现针对存储信息的至少一个命令的效果。
全文摘要
一种信号数据源，例如视频或者音频解码器(12)提供所存储信号的信号数据，所存储的信号由与信号时间基准相关的限定。通过增加或减少样本来适配再现速率至适配的时间基准，具有与信号时间基准相关的适配的时间速率，从而对信号数据进行处理。具有适配的再现速率的信号样本传递穿过延迟缓冲器(16)，以及信号在其从缓冲器(16)中出现后进行再现。时间转换器(19)从与适配的时间基准相关的时间值来确定与信号时间基准的时间值。提供命令用于控制再现速率适配所用的速率。通常，每个命令被接收和用于改变速率。一个接收的命令信息，或者更多接收的命令的预先确定的数字，在命令已经被用于改变再现速率后存储。当存储了预先确定数字的已接收命令时，更多命令的接收被中止的，直到检测显示到至少一个所存储的命令的效果已经从缓冲器出现。在检测后，用于存储信息的时间转换器(19)用于确定与信号时间基准相关的时间值。
文档编号G11B27/00GK102132346SQ200980133582
公开日2011年7月20日 申请日期2009年8月25日 优先权日2008年8月29日
发明者法瑞德·贝纳姆罗切 申请人:Nxp股份有限公司