专利名称：音频采样跟踪器的制作方法
本申请是1997年9月24日提出的08/936,366号申请的后续申请。
本发明涉及一种操作控制系统。更具体地说本发明涉及用于响应音频输入操作控制音频传输操作，以使录音和放音同步的一种系统。
近来将信号处理器用于控制多个装置的操作。通常，需要一个输入信号告知系统它将处于何种状态，诸如位置、压力、通过发动机绕组的电流等。该输入信号进入操作控制器。存在这样一种广义上的受控系统，它具有一个实际的状态，诸如它的当前位置，压力电流或其它。该系统可以包括一个网路和一个反馈回路。在通过系统进行处理的过程中，会在各种状态中产生延迟。可以将这些状态在比较单元中进行比较，如果它们相同，则比较单元的输出为零。如果状态不同，则在系统所处状态与其应该所处状态之间存在误差，需要对其予以指出。传统的操作控制器试图使当前输入信号指示状态与系统当前状态之间的误差最小。
然而，在诸如用于放音和录音的放音机和录音机一类装置中，包括用于处理使用者在音频输入端施加的操作以产生用于控制音频传输操作以使音频传输操作与音频输入同步的音频采样速率输出的系统，由于该系统构造在操作控制器和受控的音频传输之间引入了显著的延迟，所以传统的操作控制器可能是不稳定的。而且，因为要跟踪尚未在系统中发生作用的延迟的输入信号，累计信息，并且除了发送新信息还要确定接下来要发送怎样的输入信号来校正上述延迟，系统的执行程序很复杂。
因而，需要一种系统，它能够使得进行录音的音频传输操作与进行放音的音频输入的操作之间保持同步，它对系统内输入和传输之间的延迟进行补尝。本发明可以满足这些需求。
简言之，本发明提供了一种系统，它可以用于通过预测未来输入和计算预测的系统未来状态，使经过延迟后的系统未来状态和在该未来时刻输入信号的预测值之间的误差最小。
该系统对音频采样值进行处理。它包括用于根据产生音频采样值的音频源的操作产生音频采样速率输入信号的装置、用于根据音频采样速率输入信号产生音频采样速率输出信号的装置，以控制音频传输操作。输出发生装置包括用于处理音频采样速率输入信号以产生音频采样速率输出的一个网路，该网路在音频采样速率输入信号中引入了延迟，产生一个延迟的音频采样速率输入信号。该系统还包括一个装置，用于跟踪音频采样速率并补偿音频采样速率输入信号中的延迟，以使得音频采样速率输出信号与音频采样速率输入信号保持同步。该跟踪装置包括用于在延迟输入的时刻产生一个预测的音频采样速率的装置、用于在延迟输入的时刻产生一个经过计算的采样速率的装置、以及用于使音频采样速率预测值和音频采样速率计算值之间的误差最小的装置。
本发明的一个方面体现为该系统可以补偿在经过网路的延迟之后的系统的未来状态和在该未来时刻输入信号的预测值之间的任何误差。
本发明的另一方面体现为，该系统使得音频传输操作与在通过该网路的处理过程中已经发生了延迟的音频输入的操作保持同步。
通过以下结合以实例方式描述本发明特征的附图所作的详细描述，本发明其它的特征和优点将会变得更加明显。
图1表示了根据本发明构成的音频采样处理系统的总体结构；图2表示了根据本发明构成的音频采样处理系统中的处理器的总体结构；图3表示了根据本发明构成的音频采样处理系统中的处理器的总体结构；图4为描述在根据本发明构成的音频采样处理系统中的采样速率的图表；图5为描述在根据本发明构成的音频采样处理系统中的实际采样数的图表；图6为描述在根据本发明构成的音频采样处理系统中的期望采样速率的图表；图7是一个描述根据本发明构成的音频采样处理系统的性能实例的图表。
现在参考附图，特别是附图1，以及图2和3，其中展示了一个音频采样处理系统10所采用的结构的总体示意，它包括一个速率控制器12，速率控制器12包括一个音频采样跟踪器14，它对在网路18中产生的延迟16进行补偿，并且使音频输出20与由网路18延迟的音频输入源22保持同步。
系统10从一个输入源22将一个输入信号，诸如一个外部时间编码读入输入读取器24。该输入信号经由串口线26传送至处理器28，以及乘法器30(它将帧数乘以每帧的采样值)以产生一个所需的音频采样数32。在加法器34中将所需的音频采样值32与在时钟38，如一个AES音频时钟，内产生的实际采样数36相加，通过一个乘法器40，它将时钟38与每帧的采样数相乘以产生实际的采样数26。所需的音频采样数与实际的音频采样数之间的差值形成了延迟误差16。将误差16输入到音频采样跟踪器14内，它产生一个经过改变的音频采样速率42，将它在加法器44内与在模块48中产生的最后的速率46相加产生一个新速率50。将新速率50经由网路18传送至多个放音机/录音机52，并通过模块54产生反馈回乘法器40的速率56。时钟信号38也传送到放音机/录音机52中。
系统10适用于与输入源22实时保持同步，输入源22可以是一个外部时间编码源，一个手控清洗轮或一个计算机鼠际。输入源22可以由以帧为单位的信号源构成，诸如SMPTE时间编码信号源。为了使系统10与速率控制器12保持同步，在系统音频输入端读取输入源22。随着音频源的使用者施加操作的不同，输入源22中会产生显著的变化。输入源22可以长时间以稳定的速率运动，也可以突然停止或者改变速率。如果让音频源快进运动，该时间编码就开始快速运动。系统10每1/30秒在它所应该在的位置进行一次采样，然后通过网路18传送命令以便在它应该在的位置得到音频输出。
通过可以控制任意数目的放音机/录音机52的控制处理器28，系统10控制了许多通过网路连接在一起的放音机/录音机52，但是处理器28本身不是一个放音机/录音机。处理器28向放音机/录音机52传送播放速率指令。处理器28还利用读取器24的输出串口线26监视电流输入源的类型。
读取器24读取输入源22，并通过串口线26传送到处理器28内的乘法器30，它将输入信号22与每帧的采样相乘，以告知系统它应该位于音频信道的什么位置。告知处理器28的软件它应该处于音频信道的什么位置，然后处理器28通过网路18将这个信息传送给放音机/录音机52，从而它们可以处于音频信道的正确位置。不管输入是否停止或以播放速率操作或反向操作或快进，都要求使放音机/录音机52与输入源22保持同步。由于在系统10内通过网路18会产生一个延迟，它不会一直保持同步，由于当外部输入源22以一种非预测方式发生变化时，放音机/录音机52要跟上是需要时间的，短时间内会存在误差38。采样跟踪器14用于使误差16最小，以解决操作控制问题。网路18在发送一个新速率指令给放音机/录音机52与该指令实际奏效的时刻之间存在例如约1/2秒的延迟，这一延迟通过网路18传送到所有放音机/录音机52。如果每1/2秒只发送一个新的速率指令，就要花很长的时间来校正外部输入源22运动速率的哪怕很小的变化。因而网路18适用于传送比网路延迟快的速率指令。实际上会有多个速率指令通过网路18，但尚未产生效果。这些速率在未来时刻到来之前还不会产生效果，但是需要对当前时间编码位置进行测量并发送速率以使放音机/录音机52的位置与外部输入源22之间的误差最小。
来自一个AES基准的输入/输出音频时钟36提供一个时间标记，使得可以在发送一个新速率指令与指令生效之间确定延迟，从而查阅在处理器28上的当前时刻是什么。例如采样跟踪器14检查当前AES基准时间，在基准时间上加1/2秒，这是对于一个网路指令通过并奏效所需的最坏情况的时间，用当前时间加半秒对速率指令进行标记，并及时将其发送给放音机/录音机52，但在1/2秒延迟结束前它不会生效。
可以应用下面的公式来计算系统10的参数，例如，在图3中描述的，其中yn是在时刻nτ的所需采样数，gn是在时刻nτ的估算采样速率，yn+N是在时刻nτ+Nτ时y的预测值，Xn是在nτ时刻的实际采样值，xn+N是在nτ+Nτ时刻x的预测值，而fn是在nτ时刻的实际采样速率。
在时间间隔τ(通常，τ≌0.1sec.)对所需的采样值进行采样。在时间间隔τ对采样速率进行更新。采样速率改变的执行被延迟了Nτ。(通常N=5。)用于更新采样速率的采样误差反馈是基于在未来Nτ秒的y和x的预测值的。y的预测值是基于由gn=Yn-Yn-1τ]]>给出的估算预期采样速率，这样，Yn+N=Yn+Nτgn在nτ时刻从已知值和在前面的N个间隔内的已知采样值计算出x的预测值。这样，Xn+N=Xn+τΣk=nn+N-1∫K.]]>
用下面的公式从该预测采样误差计算出下一个采样速率值
在方框图中所示的模型中，用下面的公式从过去的采样速率历史计算出实际采样值
用H(z)表示从yn到Xn的传递函数，简化为H(z)=(N+2)z-N+1-(N+1)Z-(N+2)，这里我们利用了恒公式(z-1)Σk=0Nzk=zN+1-1.]]>G(z)表示从yn到fn+N的传递函数，表示为G(z)=1/T[(N+2)-(2N+3)z-1+(N+1)z-2].=(1-z-1)[(N+2)-(N+1)z-1].
F(z)表示从Fn+N到Xn的传递函数，表示为F(x)=Tz-n(over)z-1,and H(z)=F(z)G(z)．亦如在附图4到7的图表中所描述的，系统10用于基本固定地补偿系统延迟时间。例如，在ZN，每秒发送10次新速率，但是通过该网路需要1/2秒，N为5。在处理器内部它运行速率控制器，将产生5个速率采样延迟。在延迟问题中，系统监视来自外部源的当前时间，并将取回的速率同实际采样数位置进行比较。该系统将一个经过延迟的放音机/录音机应该所在的位置同该时间编码的当前位置进行比较。如图2所示，该系统计算预测的采样数。在假设输入的时间编码将继续以过去变化的速率变化时，1/τ时的输入为预测误差。这为误差提供了相加项，它是一个对输入时间编码的预测值。对于误差的减项是计算过的经过延迟后放音机/录音机应在的位置。该误差是从当前时间起第5个采样值会看到的经过延迟的误差。帧跟踪部分模拟该网路和该放音机/录音机系统，它内部也有延迟。
通过预测输入时间编码源，并通过模拟在帧跟踪器内的延迟，系统估算一个比在控制中对每个采样值的处理周期长的网路延迟。一个部件在输入时间编码源中添加一个延迟以与网路中的延迟相一致，以便产生一个未来的预测采样数。另一个部件通过累计所有前面的速率在滤波器内部模拟网路延迟。模块内还包括将K到-K的Z求和的步骤，它将所有发送到该系统并依然处于该系统中还未发生作用的变化全部加起来，以指出在未来时刻该模块将处于什么状态。该预测器和对于将处状态的延迟的流水线模型使该系统得以发挥作用。
例如，位于左下部的乘法器代表音频传输头，它模拟了磁带录音机的磁头。系统的额定速率(正常播放速率)通常为每秒48000次采样，但是可以将传输速率设定为从0到±2倍的额定速率(实际上，该系统可以处理从大约0.01到100倍额定速率的非零速率，可正可负)。
时间编码读取器从可以停止或以任何上述速率向前或向后运动的外部装置读取帧数。该外部装置的速率可以在任何时刻剧烈变化，或在长时间内保持恒定。可以将单一(额定)速率的特殊情况作为提供给误差补偿滤波器的独立输入。对该系统位于图2右侧虚线框内的部分进行更新的速率要能够使得它可以以尽可能快的速率从外部装置进行帧数采样。典型的帧速率是位于24到30帧每秒。如果该外部装置运动缓慢，可以多次重复看到同一帧数，接着增加1，再重复多次，等等。如果它运动迅速，可以在每次更新之间，看到大的跳跃。
由于将新速率播送到系统其它部分的辅助操作，所以该系统位于图2右侧虚线框内的部分是以较低的速率进行更新的。例如，从开始这样一个播送到新速率实际发生作用之间的时间通常为例如大约半秒。
为了使采样偏置误差最小，当输入时间编码帧速率恒定时，将误差控制在接近于零，而当输入时间编码帧速率产生台阶函数变化时，使误差尽可能快地趋向零(同时保持系统稳定)。
在所附的附录A中包括了本发明的音频采样跟踪器的功能介绍。
尽管以上已经结合最佳实施例对本发明进行了描述，但是本领域的普通技术人员可以理解，不采用上述公开的许多具体技术特征也可以实现本发明，在不脱离本发明的构思和范围的前提下，可以在形式或细节对本发明的上述内容作出改变。
权利要求
1．用于处理音频采样值的一种系统，包括根据产生音频采样值的音频源的操作产生一个音频采样速率输入信号的装置；根据音频采样速率输入信号产生一个音频采样速率输出信号，以便对音频传输操作进行控制的装置，其包括处理音频采样速率输入信号以产生所述音频采样速率输出信号的一个网路，该网路在音频采样速率输入信号中引入一个延迟，产生一个延迟的音频采样速率输入信号；以及用于跟踪上述音频采样速率并补偿该音频采样速率输入信号中的所述延迟以使所述音频采样速率输出与所述音频采样速率输入保持同步的装置，其包括用于产生在所述延迟的输入时间的音频采样速率预测值的装置用于产生在所述延迟的输入时间的音频采样速率计算值的装置；用于使音频采样速率预测值和音频采样速率计算值之间的误差最小化的装置。
2．如权利要求1所述的系统，其特征在于，音频采样速率预测值产生装置包括用于产生延迟该音频采样速率的一个基本与网路延迟相等的延迟量的装置。
3．如权利要求1所述的系统，其特征在于，所述音频采样速率计算值发生装置包括用于模拟该网路延迟的装置。
4．如权利要求1所述的系统，其特征在于，所述系统进一步包括用于响应所述音频源的音频输入和从所述音频输入源传送到所述音频传输部分的音频输出，其中所述音频源的操作产生所述音频采样值和所述音频采样速率输入信号。
5．如权利要求3所述的系统，其特征在于，所述模拟装置包括用于将在系统中尚未使用的新输入速率之前的速率进行累计的装置。
6．利用一个系统处理音频采样值的一种方法，该系统包括根据产生所述音频采样值的音频源的操作产生一个音频采样速率输入信号的装置、根据所述音频采样速率输入信号产生一个音频采样速率输出信号，以控制音频传输操作的装置，该装置包括一个用于处理所述音频采样速率输入信号和所述音频采样速率输出信号的网路，该网路在所述音频采样速率输入信号中引入一个延迟，产生一个经过延迟的音频采样速率输入信号，以及用于跟踪所述音频采样速率并补偿所述音频采样速率输入信号中的延迟以便使音频采样速率输出与音频采样速率输入保持同步的装置，它包括用于产生在所述延迟的输入时刻的一个音频采样速率的预测值装置、用于产生在所述延迟的输入时刻的音频采样速率计算值的装置、以及用于使音频采样速率预测值和音频采样速计算值之间误差最小化的装置，该方法包括以下步骤启动所述音频输入源以产生音频采样速率；启动所述速率预测值发生装置以产生在延迟的输入时刻的一个音频采样速率预测值；启动所述速率计算值产生装置以产生在延迟的输入时刻的音频采样速率计算值；以及启动所述误差最小化装置以使音频采样速率预测值和音频采样速率计算值之间的误差最小。
7．如权利要求6所述的方法，其特征在于，所述音频采样速率预测值产生装置包括用于在延迟所述音频采样速率中产生基本上等于所述网路延迟的延迟量的装置，启动音频速率预测值产生装置的步骤包括启动所述延迟产生装置以在音频采样速率中产生基本上等于所述网路延迟的所述延迟量。
8．如权利要求6所述的方法，其特征在于，所述音频采样速率计算值产生装置包括用于模拟该网路延迟的装置，启动所述音频采样速率计算值产生装置的步骤包括启动所述网路延迟模拟装置。
9．如权利要求6所述的方法，其特征在于，所述系统进一步包括用于响应所述音频源的音频输入和从所述音频输入源传送到所述音频传输部分的音频输出控制所述音频传输操作的装置，其中所述音频源的操作产生所述音频采样以及音频采样速率输入信号，该方法还包括响应所述音频输入和所述音频输出控制所述音频传输操作的步骤。
10．如权利要求8所述的方法，其特征在于，所述模拟装置包括用于将在系统中尚未使用的新输入速率之前的速率进行累计的装置，启动所述模拟装置的步骤包括启动所述累计装置，以对在系统中尚未使用的新输入速率之前的速率进行累计。
全文摘要
一种用于处理音频采样值的系统，它对在通过网路的延迟之后的系统的未来状态和在该未来时刻所述输入的预测值之间的任何误差进行补偿。该系统使得音频传输部分的操作与在通过该网路处理过程中被延迟的音频输入的操作之间保持同步。
文档编号G05B21/00GK1227383SQ9812027
公开日1999年9月1日 申请日期1998年9月24日 优先权日1997年9月24日
发明者R·J·奥利弗, C·W·巴内斯 申请人:索尼电影娱乐公司