专利名称：唇形同步系统和方法
技术领域：
本发明一般涉及唇形同步领域，具体地讲，涉及一种用于测量并校正音频信号和
视频信号之间的时间差的系统。
背景技术：
当广播信号被再现，被从源格式转换成输出格式，或者以其它方式被处理时， 除非注意保持音频和视频的同步，否则信号的视频部分的定时就会偏离音频信号的定 时。由于当广播信号包含人说话的表现时广播信号的观看者经常会发觉时间差(time differential)，所得到的差经常被称作"lip sync (唇形同步)"误差；所说词语的声音与 说话者的唇动作不再"同步"。这个问题不但在消费设备中会遇到，而且在商业广播信号处 理设备中也会遇到。通常，因为唇形同步误差损害观看者的体验，所以期望减少(如果消除 不了的话)唇形同步误差。当视频信号落后于音频信号时，通常通过将音频信号延迟预定 量来实现唇形同步误差的减少。在特定处理条件下，音频可能落后于视频信号，所以随后将 不得不延迟视频信号。 以前，用来减少信号的音频部分和视频部分之间的定时误差的方法包括基于由 操作者的观察而确定的延迟因素的手动调节，或者基于先前确定的延迟因素的自动调节。 手动测量和调节的缺点在于它是基于人所感觉的延迟；因为相对于唇形同步误差，各人 会具有不同的感觉阈值，所以手动确定的校正可能不适当。现有技术的按照预定因素来自 动延迟音频的方法通常基于在处理过程中视频信号的预期延迟而采用任意延迟因素。这是 一个不适当的方案，因为音频信号和视频信号可能会路经多个装置，或者可能经过在确定 该任意因素时未知的多个处理步骤。每个附加装置或步骤都会对最终的唇形同步误差产生 影响。具体地讲，当使用可以提供在多种广播信号格式之间的多个信号路径和转换的多功 能装置来处理广播信号时，延迟因素是不可预测的。其它现有技术的检测唇形同步误差的 方法包括插入与音频"pip"(机器可察觉的信号)同步的视频信号，并检测视频信号和音频 信号；然而，这些现有技术的方法需要专门的设备，此外，唇形同步检测信号不能满足数字 广播信号处理的需求。 因此，期望提供一种不需要专门设备的用来测量信号路径中的唇形同步误差的系 统和方法。还期望提供一种足够鲁棒(robust)从而能够经受住数字广播环境的困难情况 的唇形同步误差测试信号，该数字广播环境包括格式之间的上变换、下变换和交叉变换、模 数变换、数模变换以及压縮。
发明内容
因此，提供了一种同步测试信号，包括视频信号，包括被消隐期中断的非黑信号； 和音频信号，包括被与所述消隐期同步的静音期中断的音调(tone)。 还提供了一种同步测试信号，包括视频信号，包括被消隐期周期性地中断的非黑 信号；和音频信号，包括被与所述消隐期同步的静音期周期性地中断的音调。
在另一方面，还提供了一种用来测量视频信号和音频信号之间的感生时间差的系 统，该系统包括同步测试信号发生器，用来产生上面描述的同步测试信号；输出部，用来 将所述同步测试信号发送到广播系统或网络；和检测模块，用来从所述广播系统或网络接 收所述同步测试信号，检测所述非黑信号和所述音调，并测量所述非黑信号和所述音调之 间的感生时间差。还提供了一种用来测量视频信号和音频信号之间的感生时间差的系统， 在该系统中，检测模块被配置成从所述广播系统或网络接收所述同步测试信号，检测所述 消隐期和所述静音期，并测量所述消隐期和所述静音期之间的感生时间差。
还提供了一种用来测量视频信号和音频信号之间的感生时间差的方法，该方法包 括以下步骤产生上面描述的同步测试信号；通过传输系统传递所述同步测试信号；接收 所述同步测试信号；将接收到的同步测试信号中的消隐期和静音期的相对定时进行比较， 以确定感生时间差。在另一实施例中，该比较步骤是这样的步骤将接收到的同步测试信号 中的非黑信号和音调的相对定时进行比较，以确定所述感生时间差。
根据本发明的优选实施例 图la是实现唇形同步测试信号发生器和检测器的多径、多功能广播信号处理器 的高级框图。 图lb是包括两个图la的处理器的唇形同步误差校正系统的高级框图。 图2是唇形同步测试信号的时基示意图。 图3是用来校正所谓的唇形同步误差的方法的框图。 图4是利用对唇形同步测试信号的记录来测量所谓的唇形同步误差的系统的示 意表示。 图5是用于测量传输系统中的所谓的唇形同步误差的系统的示意表示。
具体实施例方式
虽然本发明是在提供针对模拟和数字广播信号的处理功能的多功能广播信号处 理器的上下文中描述的，但是本领域的技术人员应该明白，本发明可以在许多可操作的环 境下实施，这些环境包括数字和模拟电视工作室、混合设施及诸如纯高清电视(HDTV)环境 或串行数字接口 (SDI)环境的单一格式视频制作环境。如下所述的本发明可以同等在单独 的处理装置中实施。 参照图la，广播信号源通过分别代表视频输入和音频输入的一个或多个输入部 101和102将音频和视频信息馈送给实现了唇形同步测试信号发生器和检测器的处理器 50，其中该广播信号源可以包括相机和/或麦克风、直播馈源或者诸如录像带、盘或其它数 据存储单元的其它音频/视频源。 处理器50优选地提供标准清晰度广播信号处理和HDTV转换，具有上变换、下变换 和从多数输入视频格式到多数输出视频格式的交叉变换的能力。优选地，处理器50设置有 多个输入连接101和102及多个输出连接103和104，这些连接与诸如光纤HDTV、同轴线缆 HDTV、 SDI、模拟视频(Betacam(R)) 、 S-视频和RGB-S、 NTSC、 PAL-M、 PAL-B和SECAM复合输 入、用于流传输縮略图的以太网、DVI-D等的视频格式兼容，以及与模拟和数字音频信号兼
4容。处理器50优选地被配置成将上述输入格式中的任何一种与输出格式中的任何一种桥 接。 用户接口 60可以设置在处理器单元50本身上或者优选地通过有线或无线网络 连接而设置到个人计算机或其它输入装置70，该用户接口 60提供对处理器50的功能的手 动和自动控制，例如用来配置任一输入格式和任一输出格式之间的桥接，该用户接口 60还 提供对由处理器50执行的本领域公知和实施的标准视频和音频处理和编辑功能的用户控 制，所述标准视频和音频处理和编辑功能包括颜色和色调控制、噪声降低、模数转换、数模 转换、帧同步、时基校正、上/下变换、交叉变换、解压縮和对诸如Dolby E 和AC-3 的嵌 入式音频信号的处理、配音以及通常在广播信号处理中需要的其它功能。优选地，处理器50 还能够在任何上变换/下变换/交叉变换处理期间按照需要对任何嵌入的元数据(诸如隐 藏式字幕)进行变换。可以在软件或硬件中适当地实现这些功能，被配置成提供这种功能 的组件通常是本领域所公知的，如变换/编解码模块130所示。由于对音频信号和视频信 号的变换、编码和解码处理不同，所以音频信号和视频信号通常被模块130来分别处理。
在优选的实施例中，处理器50包括唇形同步测试信号发生器IOO，该唇形同步测 试信号发生器100包括视频测试信号发生器110和音频测试信号发生器120。根据运动图像 和电视工程协会(SMPTE)以及其它标准和用户定制的测试图案，视频测试信号发生器IIO 被配置成在将包括级别为100%和更低级别(诸如75%)的彩条的视频测试图案注入到处 理器50内的视频信号路径中。音频测试信号发生器120被配置成沿着处理器50内的音频 信号路径以预定的或用户定制的频率产生恒定音调或周期音调。 处理器50还设置有使用本领域公知的技术将延迟引入到音频信号中的装置。一 个优选的装置包括音频数据缓冲器140，该音频数据缓冲器140用于存储音频数据并且响 应于定时信号再现要通过音频输出部104输出的音频数据。在又一优选的实施例中，处理 器50还包括视频数据缓冲器135，视频数据缓冲器135用于存储视频数据并响应于定时信 号再现要通过视频输出部103输出的该数据。处理器50还包括定时源，该定时源可以是 内部源150或外部源(未示出)。这些缓冲器135、 140可以包括在通过输出部103和104 输出之前将延迟引入到视频信号或音频信号中的其它功能块或装置，但是在优选的实施例 中，数字视频和音频信息被缓冲。如果在视频和/或音频信号中不需要延迟，则可以将信号 从下面描述(未示出连接)的检测模块160直接传送到输出部103、 104。
检测模块160被插入在输入部101、102与输出部103、104之间，(优选地为输入 部101、 102与缓冲器135、 140之间)的视频和音频信号路径中，检测模块160优选地从输 入部101U02接收视频和音频信号。检测模块160包括视频信号检测块162和音频信号检 测块164，它们分别在视频信号和音频信号中扫描下面所描述的唇形同步测试信号，并确定 应当将什么延迟因素引入到音频信号或视频信号中以校正定时误差。 在优选的实施例中，视频测试信号发生器110可被配置，最优选地可通过用户接 口60来配置，以提供由被消隐期(blackout period)周期性中断的恒定非黑信号组成的视 频信号，所述消隐期包括至少一个消隐帧或一系列的连续消隐帧。优选实施例中的消隐帧 是一视频帧，该视频帧包括有效视频中的至少一行，该有效视频由在检测模块160处被定 义为"黑色"的足够黑的信号组成。例如，除了从这行的有效部分的开始和结束起的5%之 外，这行的剩余有效部分优选地由容限在5%内的黑信号组成，从而允许在检测模块160接收信号之前噪声被引入到信号中。虽然一帧内的单个限定的黑行足以用于消隐帧，但是在 其它实施例中，可以将几行设置为黑；例如，消隐帧可以被定义为在5%的容限内视频信号 的有效部分中的每行的至少75%可以为黑色的帧。相反，非黑信号是在信号的有效部分中 不包含限定的黑行的视频信号。更优选地，非黑信号包括这样的视频信号，其中信号的有效 部分中的每行不超过50%为黑色，并且有效部分中的每行的剩余部分由强度为信号的全幅 的至少75%的彩色信号组成。在最优选的实施例中，由视频测试信号发生器110提供的非 黑信号为全(100%)强度SMPTE彩条测试信号。在优选实施例中，视频测试信号发生器110 生成对一系列非黑信号帧与一系列连续消隐帧进行周期性排序而得到的信号。更优选地， 以三秒的间隔将消隐期插入到非黑信号中，消隐期具有至少两帧的持续时间。因此，消隐期 由一系列的至少两个连续消隐帧组成。图2中的视频信号的示意性表示描绘了在3Hz的插 入频率下的三个连续帧的消隐期。然而，更优选地，使用一系列的六个连续消隐帧。唇形同 步测试信号的视频部分可以包括较长的视频消隐期，只要在一个间隔内的至少一个视频帧 (更优选地为至少两个视频帧)包括非黑信号即可。 音频测试信号发生器120可被配置成提供在20Hz至20000Hz的范围内的固定频 率的音调，所述音调具有与插入到由视频测试信号发生器产生的信号中的消隐帧同步的周 期性静音期。因此，例如，如果这一系列的连续消隐帧每3秒被插入到非黑视频信号中，则 同样每3秒插入静音期。更优选地，虽然众所周知不必规定静音期和消隐帧之间的时间相 关性，但是音频静音期的插入被定时为对应于针对视频信号进行的消隐帧的插入，如图2 的示例中所示。在图2中可以看出，音频静音期与该一系列连续消隐帧(图2中的阴影帧) 中的第一帧同时开始。更优选地，使用与单个视频帧的持续时间相同的静音期。因而，例 如，在大多数数字电视环境下，音频静音期将具有大约30毫秒至45毫秒的持续时间。假如 在每一间隔内的音调的时长至少是单个视频帧的持续时间，静音期就可以是更长的持续时 间。 视频测试信号发生器110和音频测试信号发生器120的定时优选地通过诸如内部 定时源150的单个定时源来控制。这个视频信号和音频信号一起提供唇形同步测试信号。 更优选地，测试信号发生器110U20被配置成以模拟格式和数字格式输出测试信号。由于 唇形同步测试信号能够经得起在通常的网络或广播分布配置中对视频或音频数据的编码、 解码、压縮、解压縮或变换，因而唇形同步测试信号是鲁棒的，并且唇形同步测试信号不会 被现代压縮技术剪除或消除，现代压縮技术通常会剥除多余数据或阈下信号。这里提供的 唇形同步测试信号例如提供优于水印或消隐间隔技术的优点，在这些技术中，将额外的数 据插入到垂直消隐间隔中。当利用MPEG标准对视频编码时经常去除这样的额外数据，所以 不能使用这些额外数据来测量由MPEG编码引入的唇形同步误差。 参照图lb和图3，为了在处理来自源20的广播信号之前，测量在给定的网络配置 或传输系统500中的定时或"唇形同步"误差，在步骤310，用户将配置网络配置或传输系 统500来处理广播信号。该网络或系统可以包括从SDTV到HDTV的上变换、杜比E编码和 MPEG压縮。另选地，该路径可以包括数模压縮或模数压縮，或者能让模拟视频和音频信号 通过而不将它们转换成数字格式。然后，用户将第一处理器50a配置为进入测试模式来测 量唇形同步误差。在这种测试模式下，第一处理器50a中的视频测试信号发生器110(未示 出)和音频测试信号发生器120 (未示出)将被配置成产生如上所述的唇形同步测试信号，并在步骤320通过系统或网络500发送该信号。在步骤325由第二处理器50b来接收唇形 同步测试信号，从而由第二处理器50b的检测模块160(未示出)来检测该信号。在被第二 处理器50b接收时，唇形同步测试信号中的视频信号可能落后于音频信号(典型的唇形同 步误差)，这可以通过音频无声期和视频中的消隐期的检测值之间的时间差来确定。在步骤 330，测量这个包括唇形同步误差的时间差。检测器160在音频信号中扫描静音期，并识别 该静音期的时间索引；检测器160还在视频信号中扫描消隐帧，并识别与该消隐帧相关的 时间索引。时间差是由此识别的时间索引的差。可能有音频信号落后于视频信号的情况； 第二处理器50b的检测器160同样可以被配置成测量该时间差。优选地，检测器160提供 音频信号是落后于还是领先于视频信号的时间差测量。 如果在唇形同步测试信号中，静音期和消隐期的开始被同步成在发生器100处既 不落后又不领先于另一方，那么由检测模块160测量的时间差将优选地是在检测模块160 检测到的静音期和消隐期的开始之间的时间差。如果静音期和消隐期以另外的方式被同步 为使得这些时段的开始并不一致而是以另外的方式在时间上相关(例如，静音期可能被配 置成落后于消隐期固定数目的帧)，那么优选地，由检测模块160测量的时间差将是由检测 模块160测量的静音期和消隐期之间的时间相关性与在发生器IOO处的静音期和消隐期之 间的原始时间相关性之间的时间差。如果静音期和消隐期是以使这些时段的开始不一致的 方式进行同步的，那么优选地，检测模块160将配置有用于存储关于静音期和消隐期之间 的原始时间相关性的信息的装置，例如存储在集成电路存储器元件中，从而该信息可供检 测模块160用来确定时间差。在一另选实施例中，优选地通过将代码或信号插入到视频或 音频信号的有效部分中，或者通过变更非黑信号或音调，唇形同步测试信号可以被编程有 关于静音期和消隐期之间的落后的数据，或者被编程有关于静音期和消隐期之间的领先的 数据；然后，检测模块160将被配置成进一步检测该代码或信号，并将该代码或信号与定时 信息相关以确定时间差。由于该实施例增加了唇形同步测试信号的复杂性，所以该实施例 并不是非常期望的。 假如检测器160接收到一个完整周期(在优选的实施例中为3秒)的唇形同步测 试信号，就可以相当快地完成时间差测量。因此，在步骤320，可以在视频测试信号处理器 IIO和音频测试信号处理器120接合的大约五秒内测量唇形同步误差。因此，在一个实施 例中，唇形同步测试信号可以包括被一个消隐期中断的非黑视频信号和被一个静音期中断 的音频音调，而不是被周期性的消隐期中断的视频信号和被周期性的静音期中断的音频信 号。在一另选实施例中，检测器160可以对唇形同步测试信号进行几次测量，以确定平均唇 形同步误差，。 在又一实施例中，检测器160可以在视频信号中扫描非黑信号，并在音频信号中
扫描音调。如果发生器ioo被配置成产生具有在相同的时间索引开始的非黑信号和音调的
信号，那么由检测模块160测量的时间差优选地是检测到的音调的开始和非黑信号的开始 之间的时间差。否则，由检测模块160测量的时间差将优选地是由检测模块160测量的音 调的开始和非黑信号的开始之间的时间相关性与在发生器100处的音频音调和非黑信号 之间的原始时间相关性之间的时间差。类似地，在又一实施例中，在对这些时段和信号之间 的时间相关性给予类似考虑的情况下，检测器160可以在视频信号中扫描非黑信号并在音 频信号中扫描静音期，或者在视频信号中扫描消隐期并在音频信号中扫描音调。
在最优选的实施例中，已确定了时间差的检测器160将该数据提供给第二处理器 50b的音频数据缓冲器140(未示出)或视频数据缓冲器135(未示出)。然后，在步骤340， 缓冲器140或135被配置成引入等于该时间差的延迟，以使视频信号和音频信号的定时相 等。如果确定视频信号落后于音频信号，那么音频缓冲器140将被配置成延迟音频信号。一 旦配置了缓冲器140或135，就可以去除第一处理器50a，并且在步骤350，来自源20的广播 信号可以被直接提供给接收处理器50b ;另选地，可以留下第一处理器50a以与源20和网 络500通信，但是第一处理器50a仅作为通道而工作。 参照图4，可以利用单个处理器50测量并校正唇形同步误差。将唇形同步测试信 号从处理器50中的测试信号发生器110、120直接输出到服务器或传送器400。然后，记录 的唇形同步测试信号被带入到网络连接或传输系统，并通过该连接或系统进行回放以被另 一或同一处理器50接收，在该处理器中检测并测量唇形同步测试信号的音频部分和视频 部分之间的任何时间差。另选地，上面描述的唇形同步测试信号和系统可以用来评估存储 装置或记录/回放传送器(例如文件服务器或带传送器)的相对的视频对音频的定时。
类似地，参照图5，单个处理器50可以利用唇形同步测试信号来评估外部传输系 统500的相对的视频对音频的定时，外部传输系统500可以包括外部处理器、网络连接和另 外的发射机和接收机。传输系统500回接到处理器50的输入，该处理器50被配置成将接 收到的信号直接传递回检测模块160。唇形同步测试信号被发送到传输系统500，并最终被 检测模块160接收，然后检测模块160可以确定由传输系统500造成的唇形同步测试信号 的音频部分和视频部分之间的任何时间差。 应该理解，信号处理电路或软件的一些或全部可以包含在包括测试信号发生器 110、 120和检测模块160的同一模块130内，或者另选地，处理器50可以不包括用来编码/ 解码、变换或压縮的模块130，而是可以只用作具有信号发生器110、120、检测模块160和缓 冲器135、 140的唇形同步测试信号发生器和唇形同步误差检测和校正单元。在又一实施例 中，本领域技术人员应该理解，唇形同步误差校正处理器单元可以只包括具有合适的输入 部、输出部和定时块的检测模块160和缓冲器135、 140，以用作唇形同步误差检测和校正单 元，同时单独的唇形同步信号发生器单元可以包括合适的输入部、输出部和唇形同步信号 发生器IOO，而没有检测模块160。
权利要求
一种同步测试信号，包括视频信号，包括被消隐期中断的非黑信号；和音频信号，包括被与所述消隐期同步的静音期中断的音调。
2. —种同步测试信号，包括视频信号，包括被消隐期周期性地中断的非黑信号；禾口 音频信号，包括被与所述消隐期同步的静音期周期性地中断的音调。
3. —种用来测量视频信号和音频信号之间的感生时间差的系统，该系统包括 同步测试信号发生器，用于产生如权利要求1或权利要求2之一所述的同步测试信号；输出部，用于将所述同步测试信号发送到广播系统或网络；禾口检测模块，用于从所述广播系统或网络接收所述同步测试信号，检测所述非黑信号和 所述音调，并测量所述非黑信号和所述音调之间的感生时间差。
4. 一种用来测量视频信号和音频信号之间的感生时间差的系统，该系统包括 同步测试信号发生器，用于产生如权利要求1或权利要求2之一所述的同步测试信号；输出部，用于将所述同步测试信号发送到广播系统或网络；禾口检测模块，用于从所述广播系统或网络接收所述同步测试信号，检测所述消隐期和所 述静音期，并测量所述消隐期和所述静音期之间的感生时间差。
5. —种用来测量视频信号和音频信号之间的感生时间差的方法，该方法包括以下步骤产生如权利要求1或权利要求2之一所述的同步测试信号； 通过传输系统传递所述同步测试信号； 接收所述同步测试信号；以及将接收到的同步测试信号中的所述消隐期和所述静音期的相对定时进行比较，以确定 所述感生时间差。
6. —种用来测量视频信号和音频信号之间的感生时间差的方法，该方法包括以下步骤产生如权利要求1或权利要求2之一所述的同步测试信号； 通过传输系统传递所述同步测试信号； 接收所述同步测试信号；以及将接收到的同步测试信号中的所述非黑信号和所述音调的相对定时进行比较，以确定 所述感生时间差。
全文摘要
本发明涉及唇形同步系统和方法。提供了一种利用包括视频信号和音频信号的同步测试信号来校正所谓的“唇形同步”误差的系统和方法，其中，视频信号包括被一系列连续定义的黑帧周期性地中断的彩条信号，音频信号包括被与这一系列的连续定义的黑帧中的第一帧同时开始的静音期周期性地中断的音调。同步测试信号被配置成经受得住在典型的数字广播系统环境下使用的编码、解码、变换和压缩处理，因而提供了一种测量处理后的信号的相对的音频和视频定时的装置。提供了一种用来校正唇形同步误差的方法，包括接收同步测试信号，将同步测试信号的视频部分和音频部分的相对定时与它们的原始相对定时进行比较，根据从接收到的测试信号得出的定时比较结果来延迟广播信号的音频部分或视频部分。
文档编号H04N17/00GK101796812SQ200780015616
公开日2010年8月4日 申请日期2007年3月23日 优先权日2006年3月31日
发明者C·伊普, D·王, S·拉姆 申请人:莱切技术国际公司