用于执行能够以可变速度重放的测试声音信号与参考声音信号之间的相关的设备及方法

专利名称：用于执行能够以可变速度重放的测试声音信号与参考声音信号之间的相关的设备及方法
技术领域：
本发明涉及一种用于执行能够以可变速度重放的测试声音信号 与参考声音信号之间的相关的设备及方法，以便例如将胶片事件与图 像再现同步。
背景技术：
将音频视频数据以固定格式存储在数据载体(即胶片或磁带)上、 或传输通路(即无线电或电话机)上，该固定格式不允许分别通过新 颖的音频格式或其它同步或者诸如字幕之类的图像同步的辅助服务而 进行扩展。因此，例如随着新音频格式的引入，必须制造具有新音频 格式的新的数据载体或胶片拷贝。
图8示出了示例性胶片110。在重放期间，分别按照空间顺序或 者时间顺序来施加诸如分别被称为"帧"或"视频帧"的视频信息或 图像112以及在数字情况下具有"音频帧"的音频信息或多个模拟或 数据音轨114之类的胶片信息。此外，胶片110具有例如预先片孔 (advance perforation) 116，利用预先片孔来播放胶片。 基本上，己知两种方法用于同步补充。
第一方法包括利用针对电影院音响的DTS (数字影院系统)或以 连接到音频信号的附加通道，将时间码存储在数据载体上。这里的示 例是DAB和mp3的辅助数据。将该时间码用于分别与外部数据载体 (例如使用DTS的CD)同步地重放声音或附加信息。然而，该方法 的缺点是每种附加格式都分别需要数据载体或传输通路上的另外空 间，而这也许是不可用的。关于胶片，例如存在针对模拟声音、Dolby 数字、DTS、 SDDS (索尼动态数字音响)的音轨。然而，专有格式避
免了由其它扩展来使用一个扩展的时间码。并不总是能够避免扩展间 的相互干扰，一个示例是将MP3中的辅助数据用于来自不同制造商的
附加信息和带宽扩展。
第二方法基于对用于存储时间码的模拟音轨的不当使用，例如将
其用于具有IOSONO系统的原型电影院。然而，本方法的缺点在于模
拟音轨存在于所有系统中，并且通常在其它系统的干扰期间将其用作 代用解决方案，这意味着模拟音轨的误用妨碍了代用可能性。自动切
换到在大多数电影院中所安装的模拟音轨导致以下事实当在针对
Dolby数字或DTS的"现代"音轨上不存在信号时，时间码被作为模 拟信号来重放。因此，在原型电影院中，在下面将讨论的纯波场合成 再现期间，必须手动地断开多余的模拟再现，因为否则可以通过多余 的其它扬声器而听到该时间码。
声学波场合成的短WFS超过了格式Dolby、SDDS或DTS的环绕 方法。利用WFS，尝试在整个房间内再现真实情况下的空气振动，该 空气振动构成了声音。与通过两个或多个扬声器的传统再现(在其中， 原始声源的位置的映射局限于扬声器之间的线)相反，波场合成是将 对于原始声源为真实的整个声场传送到空间中。这表示可以在空间上 准确地定位虚拟声源，并且该虚拟声源甚至像是存在于空间内，并因 此可以环绕该虚拟声源。已经实现了在影院系统中具有多达200个扬 声器以及在剧场声音系统中具有多达900个扬声器的系统。
波场合成是基于Huygens原理，该原理认为可以将波前上的每个 点看作元球面波的开始点。通过所有元波之间的干涉，产生与原始波 相同的新的波前。
这种声音系统已经由数字媒体技术Fraunhofer协会以IOSONO命 名开发，并用于Ilmenau电影院。
因此，将Ilmenau电影院作为实践示例提及，在该示例中波场合 成操作于两种模式。
在第一模式中，电影院操作为"真实的"波场合成系统，其中将 时间码存储在35mm胶片的模拟音轨上，诸如上述关于第二 "不当" 方法所讨论的，其中从诸如硬盘或DVD之类的外部介质来播放WFS声音。
在第二模式("兼容再现")中，通过Dolby处理器将存储于每个 35mm胶片中的声音读出，并进行解码，备选地可以分别使用DTS或 SDDS，其中如果必要的话，Dolby处理器自动切换到模拟音轨，并通 过WFS将所产生的多通路信号映射到虚拟扬声器上。
由于这两种模式需要不同的信号路径，因此需要对来自针对模拟 信号的读头的信号进行划分，而这导致附加技术努力。
因此，总之，可以认为在当前的电影院胶片巻轴上没有空间用以 附着另外的同步音轨，例如针对外部声音系统或字幕系统的同步音轨。 直到现在仍然可用的所有电影院声音系统(模拟及数字的)直接通过 胶片巻轴上的一个或多个音轨或通过胶片巻轴上的特定制造商的时间 码信号来获得其音轨。针对如上所述的两个已知方法，这表示必须制 造胶片的新的拷贝，而这通常需要显著的成本。然而，例如Dolby数 字和SDDS的音频格式允许现代音频体验，但是仍然没有用于例如字 幕或胶片声音记录的外语版本的同步的时间码。
因此，Frank Jordan禾U Jesper Dannow在他们的出版物"Generating Timecode Information from Analog Sources", ll她Convention, Audio Engineering Society, 2005年5月28至31日，in Barcelona, Spain, Convention Paper 6473中提出了基于模拟音轨来产生时间码。该出版 物描述了一种被附着在放映机的模拟音轨上的名称为"soimdtitles"的 系统。基于音轨的编辑的数字拷贝以及胶片放映机的模拟信号，通过 互相关来确定时间信息或时间码。系统"soimdtitles"由三个分量组成。 核心模块"Sync Tracker"产生时间码信号。第二模块"Sync Player" 产生例如利用分束器来放映的字幕，第三模块"Clip Player"播放通 过无线耳机传送至电影院观众的同步音频片段。
然而，不利地，在"soimdtitles"系统中，由于仍然残留大约100ms 的时间偏移，所以无法产生语言同步。然而，观众将图像与声音之间 大约100ms的时间偏移理解为干扰。

发明内容
本发明的目的是提供一种用于执行相关的改进概念，以便减小胶 片中的视频信号与未存储在胶片上的声音信号或一个或多个其它胶片 事件之间的时间延迟，例如具体为实现针对声音信号的语言同步。这 个目的由根据权利要求l所述的用于执行测试声音信号与参考声音信 号之间的相关的设备、根据权利要求20所述的用于产生控制信号的设 备、根据权利要求21所述的用于执行测试声音信号与参考声音信号之间的相关的方法、以及根据权利要求22所述的计算机程序来实现。
本发明基于以下发现例如如果两个信号通过相同采样表示相同 胶片部分，则通过相关来确定产生最佳相关结果的两个信号之间的时 间偏移。其先决条件是两个信号以相同的采样率或采样率与数字图像 的重放速度之比来对这个部分进行采样，以及所重放的胶片匹配。
因此，根据本发明，提供了一种用于执行能够以可变速度重放的 测试声音信号与作为测试声音信号的数字存储版本的参考声音信号之 间的相关的设备，该设备包括用于确定对测试声音信号的测试重放 速度的测量的装置；改变装置，用于依靠针对重放速度的测量，改变对测试声音信号进行采样的测试采样率，以产生修改的测试声音信号， 或者用于依靠针对重放速度的测量，改变数字存储的参考声音信号的 参考采样率，以产生修改的参考声音信号，该改变装置形成用于改变
测试采样率或参考采样率，使得与测试声音信号相关联的测试重放速 度或与修改后的参考声音信号相关联的参考重放速度之间的偏差减 小，或者与修改后的测试声音信号相关联的测试重放速度和与参考声 音信号相关联的参考重放速度之间的偏差减小，或者与修改后的测试 声音信号相关联的测试重放速度和与修改后的参考声音信号相关联的参考重放速度之间的偏差减小；以及比较装置，用于将修改后的声音 信号与参考声音信号、或测试声音信号与修改后的参考声音信号、或修改后的测试声音信号与修改后的参考声音信号进行比较，以获得相 关结果。
为此，优选实施例形成用于将测试声音信号与具有不同参考采样 率和/或不同采样率转换的三个参考声音信号进行相关，以确定针对测 试声音信号的重放速度的测量和/或减小重放速度的偏差。
用于执行测试声音信号与参考声音信号之间的相关的设备及方法 可以用于产生针对胶片事件系统的控制信号的设备中，例如作为比较 装置，该控制信号将胶片事件与图像再现同步。针对胶片事件的示例 是声音、字幕和特殊效果，其中，特殊效果包括例如气流、振动电影 院的椅子、气味、或边墙及背墙上的灯光效果。因此，关于音频效果， 不同语言(例如同时播放原始版本并翻译成其它语言的版本)以及不 同音频技术都是可能的，例如象波场合成一样的数字环绕声系统的同 步。这里，执行相关的设备或方法具体地用于附加胶片事件的"重放 速度"与胶片的重放速度的同步和/或匹配。
尽管上述和以下示例谈及电影爱好者或电影，本发明不局限于针 对电影爱好者的电影胶片，而是在总体上分别涉及电影或视听信号， 而与这些信号是否是存储于胶片或其它数据载体和存储介质(例如磁 带或硬盘驱动机)上的胶片信息无关。此外，本发明还可用于不具有
视频的单纯的音响系统，或者例如本发明可用于通过视频-ID将单纯的
视频材料(即，没有声音的材料)与任意事件进行同步。


下列将参考附图，讨论本发明的优选实施例。附图示出了
图1是用于产生针对胶片事件系统的控制信号的设备的优选实 施例的基本方框图2a是用于执行相关的设备的实施例的基本方框图2b是用于执行相关的设备的优选实施例的基本方框图2c.1是胶片的示例性片段；
图2c.2是图2c.1中所示的胶片的片段中的声音信号的示例性曲 线图，其具有可变第一重放速度和固定的测试采样率；
图2c.3是图2c.l中所示的胶片的片段中的声音信号的示例性曲线 图，其具有可变第二重放速度和固定的测试采样率；
图2c.4是图2c.l中所示的胶片的片段中的声音信号的示例性曲线 图，其具有可变第三重放速度和固定的测试采样率；
图2d.1是胶片的两个示例性片段；
图2d.2是胶片的参考声音信号的示例性曲线图2d.3是针对胶片的片段的基于第一重放速度和固定测试采样 率的测试声音信号的示例性曲线图2d.4是由根据图2d.2的参考声音信号与根据图2d.3的测试声音信号的相关所产生的示例性第一相关结果；
图2d.5是根据图2d.l的胶片的两个示例性片段；
图2d.6是根据图2d.2的胶片的参考声音信号的示例性曲线图2d.7是针对胶片的片段的基于第二重放速度和固定测试采样率的测试声音信号的示例性曲线图;
图2d.8是由根据图2d.6的参考声音信号与根据图2d.7的测试声音信号的相关所产生的示例性第二相关结果；
图3a是用于基于指纹表示来确定胶片中的一部分的设备的优选实施例的基本方框图3b.1是胶片的两个片段；
图3b.2是针对根据图3b.l的两个片段的参考声音信号的示例性 曲线图4是用于基于对位置的粗略以及随后精细的确定来确定胶片中 的位置的设备的优选实施例的基本方框图5a是用于产生针对胶片事件系统的控制信号的设备的优选实 施例的基本方框图5b.1是胶片的两个片段；
图5b.2是针对胶片的第一片段的参考声音信号的示例性曲线图； 图5b.3是针对胶片的第二片段的测试声音信号的示例性曲线图； 图5b.4是由根据图5b.2的参考声音信号与根据图5b.3的测试声音信号的相关所产生的示例性相关结果；
图6a是具有用于产生针对胶片事件系统的控制信号的设备以及胶片事件系统的示例性电影放映系统的基本方框图6b是具有用于产生控制信号的设备以及示例性音频胶片事件系统的示例性电影放映系统的基本方框图7是时标与胶片信息的示例性联系的示意性表示；
图8是具有所施加的胶片信息的示例性胶片的示意性表示。
具体实施例方式
在本发明或优选实施例的以下描述中，分别将相同的附图标记用 于相似或相同的元件。
在下文中，将关于使用施加到胶片上的声音信号作为胶片信息的 实施例对本发明进行更加详细的描述。然而，这并非限制本发明，而 是用作例证目的。
图1示出了用于产生针对胶片事件系统的控制信号的设备的基本
方框图以及上述关于图8己说明的示例性胶片110，其中用于产生控
制信号的设备包括用于存储胶片信息的装置120;用于接收读取自 胶片的片段的装置140;用于将所读取的片段与所存储的胶片信息 112、 114进行比较的装置160;以及用于基于上述比较和时标来确定
控制信号的装置180。
例如，所存储的视频信息112、 114分别包括声音或音频信号、 或者分别包括图像或视频信号，或者还包括当前可以在胶片上找到的 标签，并且例如该标签分别确定在哪儿打开光圈或者何时开始播放胶 片或者何时停止该胶片。例如，所存储的音频和/或视频信号是数字化 的形式，优选为压縮形式以减小存储器需求。
数字化存储的优点是胶片信息的存储图像的简单且特别是无误 差的再现性。
与传统系统相反，如上所述，胶片保持不变，例如仅在制造胶片 时，产生一次胶片信息的存储图像。
在通过胶片重放设备(例如胶片放映机)来重放该胶片时，包含 在音轨114上的声音信号由接收装置140所接收并针对比较装置160 来编辑该声音信号，例如使用给定采样率来对该声音信号进行采样， 并分别将其作为给定长度的片段或给定数目的采样率来传递。
装置160形成用于将读取自胶片的所述片段与所存储的胶片信息 进行比较，其中，该比较装置160可以形成用于将该读取片段与全部 存储信息进行比较，然而优选地，该比较设备160形成用于将该读取片段与存储胶片信息的片段进行比较，以最小化计算努力。例如，可 以通过互相关来进行上述比较，也可以通过计算差值来进行上述比较， 例如通过计算压縮的散列和并在数据库中搜索相同的值来进行。上述 比较可以只基于声音信号、只基于视频信号、声音信号和视频信号的 比较、以及对上述特征的评价的组合。确定装置180基于比较装置160
的比较结果和时标来确定控制信号190。通过控制信号190来控制胶 片事件系统，例如，这基于控制信号190在时间上与重放胶片110同 步地产生了 WFS声音信号或字幕。因此，可以形成用于产生控制信 号的设备或者具体地用于确定控制信号的装置180，使得该控制信号 是任意专有或标准的时间码格式，例如根据SMPTE(电影与电视工程 师学会)进行标准化的LTC时间码格式(LTC-纵向时间码)
时间同步表示胶片事件系统基于控制信号190产生与刚刚重放的 胶片的位置的时标上的时间相对应的同步事件，在所存储的胶片信息 中，时标上的时间与该同步事件相关联。
因此，不同于所说明的实施例，可以使用任意胶片重放设备来代 替胶片放映机，可以使用任意胶片格式，例如无声电影(例如，基于 视频信息而同步)、具有模拟或数字音轨的胶片、具有一个音轨或多个 并行音轨的胶片，或者作为胶片的备选，可以使用其它任何存储介质， 例如磁带或硬盘驱动器，为了与未来的胶片重放设备兼容，胶片的格 式不能或者必须不改变，然而为此同时要将其它胶片事件同步。
在优选实施例中，使用声音信号作为用于同步的胶片信息。因此， 使用给定采样率(这将在下文中称为测试釆样率)来对读取自胶片的 片段进行采样，以产生测试声音信号，并以数字形式来存储所存储的 胶片信息，其中下文中将所存储的胶片信息称为参考信号，并通过互 相关在比较装置160中将测试声音信号与参考声音信号进行比较。
在一个实施例中，测试信号采样率和参考信号采样率是不可变 的，即固定的。例如，比较装置160可形成用于基于第一测试声音信 号和第一参考声音信号在第一时间上产生第一相关结果，以确定时标 的第一时间，以及用于基于第二测试声音信号和第二参考声音信号在 第二时间上产生第二相关结果，以确定时标的第二时间，从而例如分
别确定时间差或重放速度，或确定与目标或参考重放速度相比的速度 差。基于此，确定装置180确定用于同步例如胶片事件系统的控制信号。
然而，固定釆样率的缺点在于相关结果随着测试重放速度的改 变而减小，并且胶片中的时间或位置的确定精度由此变得不准确，并 且由此同步下降。这个缺点可以通过改变采样率来补偿，采样率表示 测试采样率和/或参考采样率。
图2示出了用于执行能够以可变重放速度来播放的测试声音信号与作为测试声音信号的数字存储版本的参考声音信号之间的相关的设 备的基本方框图，其中用于执行相关的设备包括用于确定测试重放 速度的测量的装置210;用于改变测试采样率或参考采样率的装置230;以及比较装置250。装置230形成用于改变对测试声音信号270 进行采样的测试釆样率，以产生修改的测试信号272，或用于改变参 考采样率，以基于参考声音信号274来产生修改的参考声音信号。此 外，改变装置230形成用于改变测试采样率或参考采样率，使得与测 试声音信号相关联的测试重放速度或与修改后的参考声音信号276相 关联的参考重放速度之间的偏差减小，或者与修改后的测试声音信号 272相关联的测试重放速度和与参考声音信号274相关联的参考重放 速度之间的偏差减小，或者与修改后的测试声音信号272相关联的测 试重放速度和与修改后的参考声音信号276相关联的参考重放速度之 间的偏差减小，其中下面将分别更详细地讨论术语重放速度或可变重 放速度的问题。
用于将修改后的声音信号272与参考声音信号274、或测试声音 信号270与修改后的参考声音信号276、或修改后的测试声音信号272 与修改后的参考声音信号276进行比较的装置250形成用于确定相关 的结果278。
例如，可以将如图2a所示的用于执行相关的设备的实施例用作 用于产生胶片事件系统的控制信号的设备(例如如图l所示)中的比 较装置160。
图2b示出了用于执行测试声音信号与参考声音信号之间的相关的设备的优选实施例的基本方框图。
图2b示出了用于存储参考声音信号274的装置280，该参考声音 信号274是测试声音信号270的数字版本，其中参考声音信号274是 之前基于给定存储参考重放速度和存储参考采样率产生的。
以可变测试重放速度重放该测试声音信号，并以测试采样率对其 进行采样，从而产生测试声音信号270。
用于确定对测试声音信号270的测试重放速度的测量的装置210 基于针对测试重放速度的测量来控制改变装置230。改变装置230控 制釆样率转换器232以及可变采样器234的参考或采样率，其中该采 样率转换器232形成用于基于不同的存储参考采样速度和/或存储参 考采样率，将基于存储参考重放速度和存储参考采样率的参考声音信 号转换成对应于参考声音信号的修改的参考声音信号276，以及其中 该可变采样器234形成用于以不同于标准或基本采样率的可变采样率 来对测试声音信号进行采样，以产生修改的测试声音信号272。
不同于图2b，还可以形成用于执行相关的设备，使得总是通过可 变采样器234将测试声音信号270提供给比较装置250，其中分别在 改变装置230的控制下，形成可变采样器234，使得可变测试采样率 之一与标准或基本采样率相对应，并且使得总是通过参考采样率转换 器232将参考声音信号274提供给比较装置250，并形成参考采样率 转换器232，使得参考采样率转换器232以未修改的形式将参考声音 信号274传递到比较设备250。
将与修改后的测试声音信号272进行比较的测试声音信号270以 及与修改后的声音信号276进行比较的参考声音信号独立提供给图2b 中所选的比较装置250的表示用来例证备选实施例或实现的可能性。
因此，例如在比较装置250形成用来将修改后的测试声音信号272 与未修改的参考声音信号274进行比较的一个实施例中，不需要参考 采样率转换器234，或者根据图2b的用于执行相关的设备没有参考采 样率转换器232。按照同样的方式，形成用于将未修改的测试声音信 号270与修改后的参考声音信号246进行比较的比较设备250不具有 可变采样器234。
在另一实施例中，存储装置280是用于存储胶片信息的装置，其中时标与所存储的胶片信息相关联，并且例如该测试声音信号270是 电影声音信号。然后，例如可以将根据图2b的用于执行相关的设备用 作根据图1的比较装置160。
图2c.1示出了如图1所示的具有音轨114的示例性胶片110的片 段。在图2c.l中，指示了胶片IIO中的两个位置第一位置(又称为 位置Lj)，以及第二位置(又称为位置L2)。两个位置L,和L2定义了 胶片110上长度为AL-L!-L2的片段。
图2c.2示出了与图2c.1中所描述的位置L,和L2之间的片段相关 联的测试声音信号的示例性曲线图，其中将播放胶片的位置L,的时间 表示为时间Tp以及将播放胶片的位置L2的时间表示为时间T2。时 间段AT-T,-T2取决于各个片段的长度以及胶片的重放速度v。以下公式分别适用
△T = △L/v或 T2-T1＝(L2-L1)/v。
当以采样率f= 1 /△t对测试声音信号进行采样时(其中△t是采样 周期，并且△T=n.△T)，可以将该测试声音信号示出为n+l个采样的 序列，如图2c.2中以n二10示例性指示的。
当以重放速度v和采样率f =1/△t来重放胶片时，分别将L,与 L2之间或T,与T2之间的胶片中的片段分为例如n个周期，或者分别 由n+l个采样来表示。以下公式分别适用 n = △L/(△t.v)，或 n = △L f/v。
这分别表示针对给定胶片片段AL的采样周期或釆样的数量与采 样率f成正比，或者与采样周期△t成反比。换言之，在n或采样数量 n+l要固定时，在具有固定长度AL的片段中，商"f/v"或乘积"△t.v" 分别必须固定。
在这种情况下，如果第一采样相等，则在上述条件下，各个采样 也相等。
因此，在分别以存储采样率fmemory和存储重放速度Vmemory产生存
储的胶片信息或参考声音信号时，例如，分别由nm^。7w个参考采样 来表示并存储胶片信息的存储片段或测试声音信号。
为了例证事实，图2c.2至2c.4示出了针对固定采样率f或固定采 样周期At以及可变釆样速度的位置Li和L2之间的胶片片段的示例性 采样或存储，其中图2x2示出了第一重放速度v,的示例性采样或存储， 图2c.3示出了以第二重放速度V2对胶片中的相同片段的采样或存储， 以及图2c.4示出了针对第三采样速度v3的胶片中的相同片段的采样。 因此，在这个示例中，V,是V2的一半，并且是V3的两倍Vl = v2 /2 以及V1＝2,V3。
图2c.2至图2c.4中所示的所有这三个声音信号在位置L,或相应 的时间T,处具有相同的采样。因此，对应地，如图2c.2至2c.4中示 例性例证的，由ni+l=ll个采样来表示图2c.2中的存储图像信息或参 考声音信号，在图2c.3中由ri2+l=6个采样表示胶片中的相同片段， 以及在图2c.4中，由n3+l=21个采样表示胶片中的相同片段。
如在图2c.2至图2c.4中可见的，由于采样率固定，重放速度v 的增加对应于声音信号的时间压縮，即如图2c.3中所指示的，图2c.2 中的重放速度Vl的加倍导致TVT,和n的减半，以及重放速度v减少 对应于声音信号的时间扩展，即如图2c.4中所指示的，图2c.2中的重 放速度v,的减半导致T2-T,和n的加倍。
图2d. 1和2d.2仅与图2c. 1和2c.2相对应。与图2c. 1相比，图2d. 1 示出了定义了关于胶片以及施加至其上的胶片信息的搜索片段或搜索 窗的两个附加位置，其中，由Lo指示搜索窗的第一位置，以及由L3 指示搜索窗的第二位置，其中位置U和L3之间的片段大于由位置b
和 L2所定义的片段，或者△Uindow >(其中△Uindow = H0以及△L
=L2-L》适用。对应地，在图2d.2中，在图2c.2之外添加了表示基 于给定重放速度的与位置U相关联的时间的时间T。以及表示基于给 定采样重放速度的与位置L3相关联的时间的时间t3 。
关于存储胶片信息或参考声音信号以及附加存储的时标的产生， 这分别表示例如，T0定义了与位置L。相关联的时标上的时间，时间 T,定义了与位置L,相关联的时标上的时间，时间丁2定义了与位置L2相关联的时标上的时间，以及时间t3定义了与胶片上的位置L3相关联的时标上的时间。
图2d.3与图2c.2相对应。
在下文中，关于图2d.2至2d.4，将分别对通过相关的两个信号的 比较的基本曲线图或比较两个信号时的可变重放速度的问题进行示例 性表示和讨论。
因此，图2d.3示出了施加至胶片上的当前读取的胶片信息或测试 声音信号270，图2d.2示出了在由图2d.2和图2d.3所表示的最优情 况下的存储胶片信息或参考声音信息，产生参考声音信号的存储重放 速度和存储采样率分别与测试声音信号的重放速度和测试声音信号或 如上述所提到的釆样率相对应，存储釆样率fmemory和存储重放速度Vmemory的商与测试声音信号f的采样率和测试声音信号V的重放速度的商相对应。在这种情况下，由T1和丁2定义的参考声音信号或者参 考声音信号的片段可以准确地与表示T1和T2之间的片段的测试声音 信号相对应，更精确地，如图2d.4中示例性例证的，可以通过相关来 获得确定的局部最大值或相关峰值。
峰值的位置指示测试声音信号相对于参考声音信号或搜索窗的 时间偏移。基于此，可以确定关于所存储的时标的当前时间。
与图2d.1至2d.4相反地，图2d.5至2d.8示出了示例，在其中， 与图2d.2中所指示的测试声音信号的重放速度相比，在图2d.7中所 指示的测试声音信号的重放速度减小。
图2d.5与图2d.l相对应。图2d.6与图2d.2相对应，这意味着图2d.6表示基于存储采样率fmemory和存储采样速度Vmemory的参考声音信号的示例性曲线图。图2d.7示出了基于相对于2d.3或图2d.6为不变的测试采样率f (但是测试声音信号的重放速度v'减小地改变)的测试 声音信号的示例性曲线图或示例性采样。
关于考虑中的时间段ΔT，这意味着在具有减小的速度v'的相同时 间段ΔT中，仅重放胶片中的较小片段或根据ΔL'=v'.ΔT的较小长度ΔL' 的片段，因此关于刚好在时间段Δ'之后播放的胶片，如图2d.5所示， 在位置L2之前仅达到一个位置L2'。关于参考声音信号以及与其相关联的时标，如图2d.7中所示，时标的时间T;与位置L;相关联。
关于测试声音信号中的各个采样，这表示由胶片中的音轨所预定 的测试声音信号的"空间"曲线图是不变的，因此以较低的重放速度，
v'与采样周期At或相应的空间采样片段Al'(小于A1)相对应，因此 如图2d.7所示，与图2d.6相比，测试声音信号的采样关于"空间" 信号曲线图"迁移"到左边。
在相反的情况下，其中改变的重放速度v'大于存储重放速度 vmenwy，则发生相反的情况，其中在相同周期At中，重放较长的空间 片段A1，因此测试声音信号的采样在测试声音信号的"空间"曲线图 中"迁移"到信号曲线的"右边"。
因此，利用改变的重放速度，无论该重放速度是高于或低于存储
重放速度Vmer^y，比较的结果都减小，因为即使利用别的最优条件， 测试声音信号和参考声音信号也再现胶片中的两个不同的空间片段。 存储重放速度越偏离测试重放速度，比较的结果变得越差。在通过相 关进行比较时，局部最大值或峰值的量减小，并且最大值本身变得更 宽且更平坦，所以关于时标的时间确定变得越来越不准确，直到不再 可能出现最大值。
在实际条件下，例如测试声音信号的重放速度不仅在不同的胶片 放映机之间变化，而且还可以在电影期间变化。因此，精确的重调对 于保证整个电影期间的同步是至关重要的。
因此，为了表示具有相同采样的胶片中的相同片段，根据测试声 音信号和参考声音信号的采样率和重放速度的商必须相等的上述条 件，用于执行相关的设备改变测试声音信号的采样率或参考声音信号 的参考率，以便如上所述最小化测试声音信号的可变重放速度的不利 作用。
在之前以存储采样率所产生的数字参考声音信号中，重放速度的
改变受采样率转换的影响，其中，例如对所存储的参考声音信号274
进行相应的内插，以产生具有与改变的重放速度相对应的采样率的参 考声音信号。
图2d.l-2d.8表示简化示例，其中，为了简单起见，假设存储重放速度Vmem。ry对应于用于产生测试声音信号的播放器的正常或普通重放速度。然而，如上所述，采样率f和重放速度v的商是对于参考声音信号和测试声音信号必须相等的量，以便如上所述能够表示具有相同 采样的胶片的相同片段。例如，当产生参考声音信号时，可以在使采 样率加倍的同时使用两倍的重放速度。
在根据图2b的实施例中，确定装置210可以基于相关的结果278来确定针对测试重放速度的测量。
一种方法是使用单一相关结果来确定重放速度的测量，通过对例 如峰值的幅度与给定阈值进行比较，以便确定测试声音信号和参考声 音信号的重放速度之间的偏差是否位于给定范围内。
在优选实施例中，将基于不同参考采样率或对应于不同参考重放 速度的至少两个不同的参考声音信号与测试声音信号进行比较，以便例如通过质量评价来比较相关的结果，将参考图5对此进行更详细的讨论，以便基于已知采样率和己知存储重放速度，从比较结果中确定 最相似的参考声音信号，并因此确定针对测试声音信号的重放速度的 测量。因此，可以相继形成不同的参考声音信号，并将其与测试声音 信号进行比较，或者可以同时形成并进行比较。
用于执行相关的设备的特别优选实施例在先前比较中分别基于 不同的参考采样率而产生三个参考声音信号，其中三个采样率中的中 间采样率的参考声音信号是基于具有最佳质量或与测试声音信号的最 大匹配的参考声音信号的参考采样率的，两个其它参考声音信号中的 每个分别具有高于或低于中间参考声音信号的参考采样率的参考采样率。这是由改变装置230基于确定测试重放速度的测量的确定装置210 的输出信号所控制的。因此，保证了参考声音信号的参考采样率或参 考重放速度分别适配于测试声音信号的重放速度或参考采样率。
图3a示出了如图8所示的示例性胶片以及用于确定胶片中的位 置的设备的基本方框图。
例如，可以将如图3a所示的用于确定胶片中的位置的设备的实 施例用于在用于产生针对胶片事件系统的控制信号的设备(如图1所 示)中，作为用于确定控制信号的装置180。
用于确定胶片中的位置的设备包括用于存储胶片信息的参考指 纹表示的存储器320，其中形成指纹表示，使得该指纹表示的时间曲 线取决于胶片信息的时间曲线，以及其中，时标与所存储的参考指纹 表示相关联；用于接收从胶片读取的片段的装置340;用于从读入片 段中提取出测试指纹表示的装置350;以及用于将测试指纹表示与参
考指纹表示进行比较，以便基于比较和时标来确定胶片中的位置的装
置360。
在优选实施例中，指纹表示包括具有频谱平坦度形式的表示，其 中指纹表示的时间曲线包括频谱平坦度的时间曲线。
例如，图3b.l分别示出了如图8所示的示例性胶片110。因此，
在以给定重放速度播放胶片时，例如，时标的时间TuK)与胶片的位置
L,oo相对应，时标的时间T,。3与位置Li。3相对应，时标的时间1113与 位置Ln3相对应，并且时标的时间Tn6与位置Ln6相对应。
在产生胶片信息的参考指纹标识的步骤中，在一个实施例中，针 对胶片的特定空间或时间片段来确定指纹。
例如，图3b.2示出了包括从位置L,。。到L^或T,。。到T^的片段的第 一片段和包括从位置I^到位置L^或从时间1^到时间T^的片段的第 二片段。基于这些片段，例如基于频谱分析、傅立叶变换、或特征提 取的其它方法，产生与片段相关联的指纹。在特别优选的实施例中， 指纹包括根据功率密度谱所计算的频谱平坦度^，因此针对每个片段 确定频谱平坦度的值，并且频谱平坦度的序列依赖于胶片信息(例如 与时标关联存储于存储器320中的声音信号)的时间曲线。
根据需求(例如，关于对胶片中的位置的确定的唯一性或精确 性)，确定片段的采样率、长度或持续时间，或者两个连续片段之间的 距离。片段越长，对总体特征的说明越清楚，采样率越高和/或两个片 段之间的距离越小，则可以越精确地确定胶片中的位置。采样率越高， 片段越长，并且片段之间的距离越小，则针对参考信号的存储需求或 者计算功率信号处理的需求越高。
具有频谱平坦度形式的指纹表示的显著优点在于例如与相同片 段的功率密度谱的完整存储相比，其存储需求较低。优选地，将频谱平坦度的曲线或序列用作片段的指纹。
图4a示出了如图8所指示的示例性胶片110，以及用于确定具有 按照时间顺序所施加的胶片信息的胶片中的位置的设备。
例如，可以将如图4a所示的用于确定胶片中的位置的设备的实 施例用于如图1所示的用于产生针对胶片事件系统的控制信号的设备 中，作为用于确定控制信号的装置180。
用于确定位置的设备具有用于存储按照时间顺序施加至胶片的 胶片信息的存储器420，其中时标与所存储的胶片信息相关联；用于 接收读取自胶片的片段的装置440;以及同步装置460,形成用于将基 于第一采样率的读取部分的采样序列与所存储的胶片信息的第一搜索 窗进行比较以获得粗略的结果，以及将基于第二釆样率的读取片段的 采样序列与所存储的胶片信息的第二搜索窗进行比较以获得针对胶片 位置的精细结果，其中所存储的胶片信息中的第二搜索窗的位置取决 于粗略的结果，以及其中第一搜索窗在时间上比第二搜索窗长，以及 此外第一采样率低于第二采样率。
图5a示出了如图8所指示的示例性胶片10，以及用于产生针对 胶片事件系统的控制信号的设备的优选实施例，该设备形成用于基于 施加至从胶片中读取的音频信号或测试声音信号的片段的胶片的模拟 音轨来确定控制信号，并经由时标将测试声音信号和参考声音信号进 行比较，确定与时标相关联的测试声音信号的存储数字版本(下文中 称为参考声音信号)。
图5a示出了用于产生针对具有与第一 A/D转换器544 (A/D-模 拟/数字)相连的第一胶片声音采样器542的胶片事件系统的控制信号 的设备的优选实施例，其中，该第一A/D转换器544与第一特征提取 器552、用于基于第一采样率与第一参考声音信号相关的第一装置562 用于基于第二采样率与第二参考声音信号相关的第二装置564、以及 用于基于第三采样率与第三参考声音信号相关的第三装置566相连。 用于相关的第一装置562的输入端、用于相关的第二装置564的输入 端、用于相关的第三装置566的输入端与采样率转换器(SRC) 232 的输出端相连。
用于相关的第一装置562的输出端、用于相关的第二装置564的 输出端、用于相关的第三装置566的输出端与用于质量评价的第一装 置568的输入端相连。用于质量评价的装置568则与采样率转换器232 以及用于采样器选择的装置570相连，其中用于采样器选择的装置570 的输出端与定时器582的输入端相连。定时器582则与所存储的音轨 或用于存储音轨的装置522相连，其中用于存储音轨的装置522的输 出端与采样率转换器232的输入端相连。
第一特征提取器552的输入端与用于比较具有例如特征分级器和 特征数据库的特征的装置554的输入端相连，其中用于比较特征的装 置554的输出端与定时器582的输入端相连。
定时器582的输出端与产生时间码的装置584的输入端相连，装 置584具有时间码数据库或与时间码数据库相连，其中用于产生时间 码的装置584的输出端与用于平滑时间码的装置586的输入端相连， 其中用于平滑时间码的装置586还形成用于输出时间码592，其中用 于平滑时间码的装置586的输出端与字时钟发生器588的输入端相连， 该字时钟发生器588形成用于输出字时钟信号594。
可选地，用于产生针对胶片事件系统的控制信号的设备还具有第 二胶片声音采样器542'，第二胶片声音采样器542'与第二 A/D转换器 544'相连，第二A/D转换器544'与第二特征提取器522'、用于基于第一 采样率与第四参考声音信号相关的第四装置562'、用于基于第二采样 率与第五参考声音信号相关的第五装置564'、以及用于基于第三釆样 率与第六参考声音信号相关的第六装置566'相连。
用于相关的第四装置562'的输出端、用于相关的第五装置564'的输 出端、以及用于相关的第六装置566'的输出端与用于质量评价的第二 装置568'的输入端相连，其中用于质量评价的第二装置568'的一个输出 端连接到偏移量补偿569，而另一个输出端连接到采样率转换器232 的输入端，以及其中用于偏移量补偿的装置569还与采样器选择570 相连。
因此，按照使得用于产生控制信号的设备具有足够的时间来进行 同步的方式来定位第一胶片声音采样器542(也称为主采样器)。因此，第一胶片声音采样器542提供了预延迟的信号。在同步时，增加相关 窗宽度或测试声音信号的选择的宽度。基于胶片巻轴上的孔眼，可以 精确地调整预延迟的时间差。首先推荐三秒。
在下文中，将更详细地讨论用于产生针对胶片事件系统的控制信 号的设备的实施例的操作模式，其中将基于由第一胶片声音采样器
542产生的测试声音信号或其信号处理链来讨论其原理，因为第二可 选信号处理链或由第二胶片声音采样器542'所产生的测试声音信号的 信号处理对应于第一可选信号处理链，并且因此将只详细讨论用于偏 移量补偿的装置569。
第一胶片声音采样器542分别从胶片的音轨中读取出声音信号或 者从胶片的音频中采样声音信号，并将该信号传递到第一 A/D转换器 544，其中第一 A/D转换器544形成用于基于第一胶片采样器542的 采样率以及读取音轨或胶片信息的胶片的重放速度，来产生数据音频 信号或测试声音信号。
基于测试声音信号270，提取出一个或多个特征，或形成测试指 纹表示。对于特征提取或指纹表示，例如使用频谱平坦度作为特征或 指纹。然后，通过用于比较特征或指纹表示的装置544，将测试指纹 表示与参考指纹表示进行比较，其中如上所述，形成指纹表示，使得 指纹表示的时间曲线取决于胶片信息的时间曲线，以及其中，时标与 存储在用于比较特征的装置544中的参考指纹表示相关联，以及比较 装置544形成用于基于测试指纹表示与参考指纹表示以及时标的比较 来确定胶片中的位置或产生时间码信号544Z。
基于所存储的参考声音信号274，采样率转换器产生具有微小差 别的采样率的相同信号，即，用于要并行计算的相关的修改的声音信 号。因此，包括了修改的声音信号具有与原始参考声音信号相同的采 样率的情况，因此针对下文中对图5的讨论，通常使用术语参考声音 信号。
换言之，采样率转换器232分别产生三个参考声音信号276或修 改的参考声音信号276，其中第一参考声音信号基于第一采样率，并 被提供给第一装置562用于相关，其中第二参考声音信号276基于第
二采样率，并被提供给第二装置564用于相关，以及第三参考声音信号276基于第三采样率，并被提供给第三装置566用于相关。采样率 转换器232分别将具有不同釆样率的稍有分级的信号提供用于进行相 关，或者提供给装置562、 564、 566用于相关，其中始终根据来自相 关的先前所测量的最大峰噪比的值来调整采样率。 一个相关每次接收 到具有此采样率的修改的声音信号时，另一相关接收另一个稍微低的 采样率(低一级别)，以及另一相关接收稍微高级别的采样率。从而保 证了采样率转换器可以分别调谐或者同步到模拟声音信号的速度改 变。
优选地用于存储音轨的装置522以及采样率转换器232形成用于 使用2"的窗口宽度来以较小努力经由快速傅立叶变换(FFT)来计算 较大的计算窗口。可以并行计算多于三个相关，以便补偿声音检验中 的突然跳跃。选择较大的相关窗口，以获得显著的相关峰值。为了获 得采样或采样周期的相关峰值的检测精确度，可以分别使用对输入信 号或测试声音信号的过采样。
用于存储音轨的装置522根据所提供的定时器582的时间码信号 582z来输出相关窗口长度的参考声音信号，其中该相关窗口为在其中 搜索测试声音信号的搜索窗口。
用于质量评价的第一装置568形成用于分别在信号的互相关结果 或信号量中执行最大值搜索，以及依靠与其它峰值和互相关相比的相 关峰值的高度来为互相关的结果的质量进行加权，或者关于峰值到噪 声的距离来确定每次单独相关的质量。
基于质量评价，分别确定具有最佳质量因素或质量的参考声音信 号，并基于具有最佳质量或质量因素的参考声音信号的峰值的位置， 确定峰值相对于搜索窗口的偏移，以及例如，将其作为测量的与实际 有效的时间码之间的时间码差或者相对时间码而输出。
根据质量评价的结果，用于质量评价的第一装置568将控制信号 568A发送到采样率转换器232，该采样率转换器232仅区别三个信号 值"0"、 "+l"和"-l"，其中例如，对于"0"，保持最后一次采样率 转换或相关的采样率，因为由具有中间釆样率的修改的声音信号所产生的相关被确定为具有最高质量的一个，其中对于"+l"，关于最后 一次采样率转换或相关来将采样率增加一级，因为由具有最高采样率 的修改的声音信号所产生的相关被确定为具有最高质量的一个，以及 对于"-l"，关于前一次釆样率转换或相关来将采样率增加一级，因为 由具有最低参考采样率的测试声音信号和修改的声音信号所产生的相 关被确定为具有最佳相关结果或最佳峰值到噪声距离。
换言之，根据获得最佳相关峰值的采样率(第一、第二或第三)， 将采样率转换器增加或减小采样率值的变化增量，或者控制使得其不 执行采样率转换。
因此，相关用于解决两个主要方面的问题。首先，基于来自于相 关的时间码差值，确定胶片中的位置或者确定胶片中的时间。第二， 确定重放速度的测量，以便确定最优参考采样率或参考采样率的最优 采样率转换。因此，对釆样率的适配或产生适配的采样重放速度分别 再次允许改进相关结果，因此分别改进了胶片中的时间确定或位置确 定，并由此改进了同步和预测。
执行根据图5的优选实施例，以通过信号分析来检测具有特定特 性的信号部分，以便在同步期间抑制这些信号部分，并由此避免了错 误检测或同步，或者避免了时间轴的随机变动。
例如，这种特性可以是信号分量的响度或信号的"问题"，并且
对有疑问的组件的信号分析或检测可以基于SNR(信噪比)、PNR(峰
噪比)、频谱功率或功率密度谱、频谱平坦度或对时间序列的平均。 例如，在峰值噪声值或峰值噪声距离的阈值以下，可以将时间码
之差检测为无效。或者如果确定了具有相似峰值噪声距离的多个峰值，
则也可以将时间码之差检测为无效。
此外，由于数字采样过程的较高均衡噪声，与静态信号分量(即
具有低幅度的信号分量)相关的质量低于与吵闹的信号的相关的质量，
因此基于阈值或自适应地抑制静态信号分量，以避免时间轴的随机变
动。此外，信号能量可以是另外的质量特征。
另一示例是对问题的抑制，由于重复的信号分量，避免了含混不
清以及据此避免了例如错误同步。
此外，还可以将有问题的信号分量或部分作为元数据来用信号表 示，以便例如抑制这些信号分量，而与当前相关的质量无关。
用于产生时间码的装置584形成用于基于定时器582 (例如，其 可以基于内部或专用时间码)的时间码信号582z，来将其转换成标准 时间码或基于标准时间码的时间码信号。
由内部时钟(相关的间隔或频率)、粗略的音频ID指纹或指纹表 示(例如，来自特征确定或指纹表示的时间码信号554z)、以及所确 定的相关差(例如根据用于采样器选择的装置570的相关所确定的时 间码差信号570z)来控制定时器582。该定时器必须执行对相关信号 (最高优先级)、来自特征确定的时间码以及内部时钟(最低优先级) 的优先级化。
例如，用于平滑时间码的装置586形成用于平滑时间码信号584z， 以避免严重跳跃的时间码或者在不存在来自相关的时间码的情况下找 到有用中间值，以补偿模拟声音的中断。由用于平滑时间码的装置586 所产生的时间码信号592优选地为标准时间码，通过该时间码来同步 或控制胶片事件系统。然而，如果所包括的声音重放信号是数字的， 则还可以通过慢调节的锁相环(PLL)将时间码信号592用来产生相 应的采样时钟。这种锁相环可用作完整设备，因此并非本专利的主旨。
可选地，可以使用对于放映透镜具有时间差偏移量的一个以上的 胶片采样器，来改进胶片抵御损坏的鲁棒性，或者用于不适当部分的 同步。
例如，由于第二胶片声音采样器542'己经存在于传统的电影院系 统中，所以可以使用第二胶片声音采样器542'。这里，可以由附在电 影院胶片上的不同位置处的胶片声音采样器542、 542'来桥接模拟声音 中的中断，由于胶片声音中的短暂中断，至少一个采样器(第一胶片 声音采样器542或第二胶片声音采样器542')为相关及关联同步提供 足够信号的可能性增大。
此外，可选地，例如，可以使用针对模拟声音、Dolby数字声音 (包括解码器)、DTS数字声音(包括DTS解码器)、或不同的声音 以及上述的组合的不同采样器，作为参考音轨和/或测试音轨。
这里，可以通过使用平均、多数判决或优先级化，自动或通过所 产生的时间信息的元数据以及单声道上的下混，将各个音轨用于比较。
通常，可以将不同的采样器用于不同声音格式和/或在时间上具有 不同的偏移差的不同胶片采样器。
使用单声道的下混具有如下优点在使用单声道音轨作为存储音 轨时，与存储相比，需要例如五个声道。
对多个(即多于一个)音轨(即无下混)的存储意味着将所有 声道彼此独立地存储，然后例如上述所讨论的，必须执行相应的比较 或多数判决，以便通过使用特定声道、实际音轨以及所存储的音轨的 相应声道来执行同步。
在胶片放映或胶片事件系统的同步期间，初始化阶段或第一同步 和声音之后的同步分别分成两个重要阶段。
因此，由于尚未执行同步，优选实施例在开始处计算三个以上并 行相关，这表示分别将具有不同采样率的三个以上参考声音信号与测 试声音信号进行比较或相关，以便尽快确定测试声音信号的适当采样 率或采样速度。因此，在相关之一具有最佳信号噪声距离之前，可以 相继测试不同的采样率。
备选地或另外地，第一特征提取器552和用于特征分级的装置554
连同数据库一起提供了用于定义胶片中的粗略位置的粗略的绝对时间 码值，以便在第二步骤中，例如通过相关来执行对胶片的位置的确定 或精细的时间码确定。只要进行了同步，则可以使用三个相关来同步 胶片放映期间的测试声音信号的重放速度的改变。
胶片中的位置或与该位置相关联的时间与时标(时间码)相关联 的精度取决于参考声音信号的采样率和测试声音信号的采样率，采样 率越高，则可以更加准确地确定胶片中的位置。然而，较低采样率具
有如下优点使用相同数量的采样，可以表示参考声音信号或测试声 音信号的较长分段。因此，优选实施例形成用于在第一步骤中通过具 有较低采样率的参考声音信号来表示胶片中的较长分段，以粗略确定 胶片中的位置，此外还通过以较低采样率进行采样而获得测试声音信 号。然后，在第二步骤中，基于胶片中的粗略位置，将较高采样率的
参考声音信号和较高采样率的测试声音信号用于精细确定胶片中的位 置。
换言之，在相关期间适配窗口长度。在搜索开始时，使用具有长 定时但信号的采样率减小的窗口，但是在要近似发现一个时刻并且只 能从这个时刻开始时，使用短窗口，甚至对信号进行过采样以获得较 高时间精度。
例如，在初始化阶段，可以在确定准确位置之前，执行对"旧的" 音频格式的"兼容重放"。
同样地，在再次确定准确位置之前已经明显失步的情况下，可以 执行"旧的"音频格式的"兼容重放"。
在具有多于一个的胶片声音采样器的实施例中，仅需要用于采样器选择的装置570和用于偏移量补偿的装置569。因此，例如用于采 样器选择的装置570判定是否将用于质量评价的第一装置568的结果 或时间码差值568Z、或者用于质量评价的第二装置568'的结果或时 间码差值568Z'分别传递到用于确定胶片中的位置或时间码582Z的 定时器582。由于第二胶片声音采样器542'在胶片中的不同位置处对 测试声音信号进行采样，由用于偏移量补偿的装置569对第一胶片声 音采样器542对胶片进行采样的位置与第二胶片声音采样器542对胶 片中进行采样的位置的差值(偏移量)进行补偿，因此定时器582获 得正确的定时码差值570Z,而不管时间码差值568Z或定时码差值 568Z'是否是相对于存储在定时器中的最后存储时间或胶片的最后存 储位置而选择的。
不同于图5中所示的实施例，还可以连续产生不同参考采样率的 不同参考声音信号，并分别将不同参考声音信号与测试声音信号进行 比较或相关，以便分别确定对测试声音信号的重放速度或最优参考采 样率的测量。备选地，可以将三个以上修改的参考声音信号与测试声 音信号进行比较(并行或串行地)，以便不仅允许初始相位的快速同步， 而且允许在例如由胶片中的剪切或部分缺失所引起的胶片中的较大跳 跃之后，在胶片放映期间更为快速地将胶片事件与胶片中的当前位置 进行同步。
不同于图5中所示的实施例，针对特征或指纹的评价以及针对测 试图像信号与一个或多个参考图像信号的相关，还可以基于施加于胶 片的画面来执行胶片事件系统的同步。
因此，如上述所示，可以将音频和/或视频信号的相关用于确定音 频和/或视频流的时间空间，并且由于该时间确定，可以控制同步重放。
备选地，可以将对来自以音频ID/视频ID (ID-标识符)形式的 原始材料的音频和/或视频签名的确定用于粗略地确定长AV流中的时 间，以便能够在任意位置处同步。
本发明的基本方法是以数字形式存储早己存在的模拟声音，以便 通过相关及其它特征确定来使得模拟声音与电影胶片上的模拟音轨同 步。用于产生控制信号的设备或同步设装置的输出信号或控制信号可 以是任意时间码格式。优选地，使用SMPTE标准化的LTC时间码格 式。对于每个电影胶片，在制作期间，必须为用于产生控制信号的设 备或同步装置产生数据集。
在制作期间，针对用于产生控制信号的上述设备或同步装置的每 个电影胶片，产生单独的数据载体。该数据载体包含可以在胶片巻轴 上发现的数字化模拟音轨(例如具有Dolby立体声格式)、该音轨的特征数据、以及匹配的时间码。
在下文中，参考图5b.l至5b.4描述对时间码差值的示例性确定。
图5b.l示出了如图8中所述的具有音轨114的示例性胶片110。
基于定时器582的时间码信号582z，从用于存储音轨的装置522 中读出参考声音信号274，并通过采样率转换装置232，根据图5b.2 产生修改的参考声音信号，该信号表示从位置L。至位置L3或者与位置 L。相关联的时间T。或相应的时间码与时间T3或与位置L3相关联的时间 码的胶片片段。
图5b.3示出了分别由开始时间T,和结束时间T2所定义的、并基于 采样率f=l/△t所产生的示例性测试声音信号或测试声音信号的片段。
图5b.4示出了根据图5b.2的修改的参考声音信号与图5b.3中的 测试声音信号的片段的相关的结果。图5b.2中的搜索窗口或修改的参 考声音信号的开始时间T。与搜索窗口或参考声音信号的时间T1之间的 时间差△T"=T1-T。是形成时间码差值或相对时间码所基于的时间偏移。因此，时间i;是测试声音信号的时间或时间偏移，其中参考声音信号中的n=ll个采样长的片段最大限度匹配测试声音信号，或者 N=ll个采样长的参考声音信号与测试声音信号的相关具有相关结果 的最大值。
因此，由于定时器582知道最后绝对时间或绝对时间码，所以质 量评价568不需要知道绝对时间T。或时间T1，并且只需要时间码差值 570z来确定所更新的绝对时间或时间码。例如，可以根据峰值相对应 搜索窗口的开始时间的位置来示出该差值。在图5b.4中，例如峰值是 第一采样，即相对应图5b.2中的参考声音信号，图5b.3中的测试声 音信号移动"3.△t"，其中△t是对应于修改的采样率的采样周期。
因此，例如时间码差值570z可以包括值n=3。这里，适配于测试 声音信号的可变重放速度的参考声音信号的采样率或重放速度是有利 的，因为△t也适配于重放速度，与参考声音信号的固定采样率相比， 对胶片的位置或相对于搜索窗口的偏移的准确确定是可能的，因为仅 针对胶片中的位置的确定产生多个这种采样率。
因此，例如，因为胶片仅向前播放，所以搜索窗口或参考声音信 号的时间T。可以分别等于前一次相关的T1。
图6a示出了胶片系统的实施例，其中用于产生控制信号190的 设备100与胶片事件系统600相连，因此用于基于如图8所示的胶片 110而产生控制信号的设备100产生控制信号190，例如时间码，利用 该控制信号190来同步胶片事件系统600。
图6b示出了具有用于产生控制信号100的设备100以及波场合 成系统610的胶片系统，作为示例性胶片事件系统，其中波场合成系 统610的实施例包括用于控制波场合成系统的装置620;针对波场 合成音频信号的数字存储器622;以及用于该波场合成系统的多个扬 声器624。分别基于胶片110或模拟胶片音轨114，用于产生控制信号 的设备100产生控制信号190，以便以与语言同步的方式使用原始模 拟音轨胶片来进行波场合成音频体验。
自然地，可以通过用于产生控制信号的设备100，以与语言同步 的方式来同步作为波场合成系统610的备选的其它音频系统，例如数 字音频系统或数字环绕音频系统。
图7示出了图8所示的示例性胶片、示例性数字存储的参考声音 信号720及时标的关联。
在产生存储胶片信息或参考声音信号时，以给定重放速度和给定 采样率(例如44.1kHz)来对该模拟声音信号进行采样，将例如10ms 的声音部分存储为所谓的音频帧，即数字参考声音信号作为音频帧序 列出现在存储器上。然后，例如，时标中的关联时间以升序方式从0 或1开始分别将音频帧作为时间码或时标进行编号，时间码TC1对应 于图1中的音频帧AF1，或者例如，找到音频帧的开始时间或结束时 间作为时间码，例如当音频帧具有lOms长度时，对于第一音频帧是 Oms或10ms。
通常，时间码具有如小时分钟秒帧这样的格式，其中帧通 常与具有例如每秒24个帧(电影胶片)的视频帧相关。
因此，时标或时间码可以将多个音频帧与一个视频帧相关联，或 者将音频帧定义为最小时标单元。
因此，例如，时间码或时标可以使四个音频帧与一个时间码相关
联(见图7中的TC1')，该时间码包括四个音频帧AF1至AF4，或者可以使单个视频帧与时间码相关联(见图7中的TC1)， TC1与一个
音频帧AF1相关联。因此，根据音频格式，音频帧还可以表示在时间
上重叠的音频信号的一部分。
例如，可以将控制信号190形成为时间码，但是也可以形成为脉 冲序列，其中，例如每个脉冲对应于一个时标单元，并且胶片事件系 统与相对时间码类似地累加脉冲，以便与胶片同步。
另一个实施例提供了将水印嵌入音频和/或视频信号的方法，以便 例如进一步以模拟声音信号作为代用，但同时实现时间码以用于同步
附加服务。本方法的优点在于即使以"困难的"音频信号，例如非
常安静的序列或甚至类似的"单调的"声音，也可以实现干净的时钟 恢复。针对这种变体，基本上整套相关水印声明是有用的，尤其是在 寻找正确时钟频率或采样率的重新调整的领域内。然而，这种方法的
明显缺点在于实际胶片改变了，或者必须制造胶片的新版本或胶片 的拷贝，以便能够将水印嵌入音频和/或视频信号中。
根据情况，本发明的方法可以以硬件或软件来实现。可以在数字
存储介质上(具体在具有电可读控制信号的盘或CD上)实现，该数
字存储介质可以与可编程计算机系统相互作用，以执行本方法。通常， 本发明还包括具有程序代码的存储在机器可读载体上的计算机程序产 品，当该计算机程序产品在计算机上运行时，该程序代码执行本发明 方法。因此，换言之，本发明可以实现为具有程序代码的计算机程序， 当该计算机程序在计算机上运行时，该计算机代码执行本发明方法。
权利要求
1.一种用于执行能够以可变速度重放的测试声音信号(270)与作为测试声音信号(270)的数字存储版本的参考声音信号(274)之间的相关的设备，包括用于确定对测试声音信号(270)的测试重放速度的测量的装置(210)；装置(230)，用于依靠针对重放速度的测量，改变对测试声音信号(270)进行采样的测试采样率，以产生修改的测试声音信号(272)，或者用于依靠针对重放速度的测量，改变数字存储的参考声音信号(274)的参考采样率，以产生修改的参考声音信号(276)，改变装置(230)形成用于改变测试采样率或参考采样率，使得与测试声音信号(270)相关联的重放速度或与修改后的参考声音信号(276)相关联的参考重放速度之间的偏差减小，或者与修改后的测试声音信号(272)相关联的重放速度和与参考声音信号(274)相关联的参考重放速度之间的偏差减小，或者与修改后的测试声音信号(274)相关联的重放速度和与修改后的参考声音信号(276)相关联的参考重放速度之间的偏差减小；以及装置(250)，用于将修改后的测试声音信号(272)与参考声音信号(274)、或测试声音信号(270)与修改后的参考声音信号(276)、或修改后的测试声音信号(272)与修改后的参考声音信号(276)进行比较，以获得相关结果。
2. 根据权利要求1所述的设备，其中，定义所述测试声音信号的 重放速度与参考重放速度，使得所述测试声音信号(270)由施加到胶 片(110)上的音轨(114)确定，以及如果测试声音信号(270)或修改后的测试声音信号(272)与参 考声音信号(274)或修改后的参考声音信号(276)将相同时间长度 或在时间上等距的相同数量的采样与相等空间长度的音轨部分相关 联，则以下偏差最小与测试声音信号(270)相关联的重放速度和与修改后的参考声音信号(274)相关联的参考重放速度之间的偏差，或者与修改后的测试声音信号(272)相关联的重放速度和与参考声音信号(274)相关联的参考重放速度之间的偏差，或者与修改后的测试声音信号(272)相关联的重放速度和与修改后的参考声音信号(274)相关联的参考重放速度之间的偏差。
3. 根据权利要求1或2所述的设备，其中，所述比较装置(250) 形成用于通过一连串采样表示测试声音信号(270)，并通过一连串参 考采样表示参考声音信号，以便将测试采样串与参考釆样串进行相关， 其中，相关结果基于以下事实:将所述测试采样串与参考采样串相反 地移位至少一个采样，以及针对每次移位的相应相关值由测试采样串 中的采样与参考采样串中的采样或幅值的成对相乘的乘积之和来确 定，因此相关结果是一连串相关值，因此针对时间移位值的相关结果 包括最大值，在所述最大值处所述测试采样串与所述参考采样串最大 地匹配。
4. 根据权利要求1至3之一所述的设备，其中，比较装置(250) 形成用于将多个参考声音信号中的每个与同一测试声音信号(270)进 行比较，以便获得多个比较结果，其中，所述多个参考声音信号(274， 276)是基于多个相互不同的参考采样率的，以及其中，多个参考声音 信号(274， 276)中的参考声音信号(274， 276)是参考声音信号(274) 或修改后的参考声音信号(276)。
5. 根据权利要求4所述的设备，包括质量评价装置(568)，用于对所述多个比较结果进行质量评价， 以便基于一个或多个准则从所述多个参考声音信号(274， 276)中确 定最相似的参考声音信号。
6. 根据权利要求5所述的设备，其中，所述质量评价装置(568) 形成用于确定针对每个相关结果的峰值-噪声距离，以及如果参考声音 信号(274， 276)包括与其它参考声音信号(274， 276)相比的最高 峰值-噪声距离，则将所述参考声音信号(274， 276)定义为最相似的 参考声音信号。
7. 根据权利要求5或6所述的设备，其中，所述比较装置(250) 形成用于将基于第一参考采样率的第一参考声音信号与所述测试声 音信号进行比较，以获得第一相关结果；将基于第二参考采样率的第二参考声音信号与所述测试声音信号进行比较，以获得第二相关结果;以及将基于第三参考釆样率的第三参考声音信号与所述测试声音信号 进行比较，以获得第三相关结果，其中，第二参考采样率大于第一参 考采样率，以及第三参考采样率大于第二参考采样率，以及其中，所述质量评价装置(568)基于所述相关结果来确定最相 似的参考声音信号，以及所述设备还包括改变装置(230)，改变装置 (230)形成用于如果第二参考声音信号是最相似的参考声音信号， 针对下一次相关不改变第一、第二和第三参考采样率，如果第三参考 声音信号是最相似的参考声音信号，则增加第一、第二和第三采样率， 如果第一参考声音信号是最相似的参考声音信号，则减小第一、第二 和第三采样率。
8. 根据权利要求4至7之一所述的设备，其中，所述比较装置(250) 形成用于并行地将多个参考声音信号(274， 276)与所述测试声音信 号(270)进行比较。
9. 根据权利要求1至8之一所述的设备，其中，所述比较装置(250) 形成用于并行地将多个参考声音信号(274， 276)与所述测试声音信 号(270)进行比较。
10. —种用于执行能够以可变速度重放的测试声音信号(270)与 作为测试声音信号(270)的数字存储版本的参考声音信号(274)之 间的相关的方法，包括确定对测试声音信号(270)的测试重放速度的测量； 依靠针对测试重放速度的测量，改变对测试声音信号(270)进 行采样的测试采样率，以产生修改的测试声音信号(272)，或者依靠 针对重放速度的测量，改变数字存储的参考声音信号(274)的参考采 样率，以产生修改的参考声音信号(276)，其中改变测试采样率或参 考采样率，使得与测试声音信号(270)相关联的测试重放速度或与修 改后的参考声音信号(276)相关联的参考重放速度之间的偏差减小， 或者与修改后的测试声音信号(272)相关联的测试重放速度和与参考 声音信号(274)相关联的参考重放速度之间的偏差减小，或者与修改 后的测试声音信号(274)相关联的测试重放速度和与修改后的参考声 音信号(276)相关联的参考重放速度之间的偏差减小；以及将修改后的声音信号(272)与参考声音信号(274)、或测试声 音信号(270)与修改后的参考声音信号(276)、或修改后的测试声音 信号(272)与修改后的参考声音信号(276)进行比较，以获得相关 结果。
11. 一种具有程序代码的计算机程序，当在计算机上执行所述计 算机程序时，所述程序代码用于执行根据权利要求IO所述的方法。
全文摘要
本发明描述了一种用于执行能够以可变速度重放的测试声音信号(270)与作为测试声音信号(270)的数字存储版本的参考声音信号(274)之间的相关的设备，该设备包括用于确定对测试声音信号(270)的测试重放速度的测量的装置(210)；装置(230)，用于依靠针对重放速度的测量，改变对测试声音信号(270)进行采样的测试采样率，以产生修改的测试声音信号(272)，或者用于依靠针对重放速度的测量，改变数字存储的参考声音信号(274)的参考采样率，以产生修改的参考声音信号(276)，改变装置(230)形成用于改变测试采样率或参考采样率，使得与测试声音信号(270)相关联的测试重放速度或与修改后的参考声音信号(276)相关联的参考重放速度之间的偏差减小，或者与修改后的测试声音信号(272)相关联的测试重放速度和与参考声音信号(274)相关联的参考重放速度之间的偏差减小，或者与修改后的测试声音信号(274)相关联的测试重放速度和与修改后的参考声音信号(276)相关联的参考重放速度之间的偏差减小；以及装置(250)，用于将修改后的声音信号(272)与参考声音信号(274)、或测试声音信号(270)与修改后的参考声音信号(276)、或修改后的测试声音信号(272)与修改后的参考声音信号(276)进行比较，以获得相关结果。
文档编号G11B27/10GK101203917SQ200680022392
公开日2008年6月18日 申请日期2006年6月9日 优先权日2005年6月22日
发明者托马斯·施波雷尔, 迈克尔·贝金格 申请人:弗劳恩霍夫应用研究促进协会