使音频与延迟的视频同步的制作方法

专利名称：使音频与延迟的视频同步的制作方法
技术领域：
本发明涉及一种用于补偿由于处理视频的延迟而在呈现给观众的视频和音频之间失去同步的装置。
本发明进一步涉及包括这样的用于补偿的装置的用于提供视频输出和相关的音频输出的视频源。
本发明更进一步涉及一种补偿由于处理视频的延迟而在呈现给观众的视频和音频之间失去同步的方法。
背景技术：
视频显示装置，诸如电视机和监视装备，包括复杂的视频处理电路和软件以处理视频信号的视频成分。这个处理通常在视频成分传输的过程中施加延迟，所述延迟基本上比施加于视频信号的音频成分上的任何延迟更长，并且可以不利地影响在呈现给观众的音频和视频之间的同步。
当音频和视频成分两者通过共同的装置的时候，有可能通过对音频成分增加补偿传输延迟来保持同步。但是，在这两个成分没有通过共同的装置的情况下，这样的补偿是不容易实现的。例如，如果DVD播放器是视频信号源，那么视频和音频成分可能通过不同的音频和视频设备，其中音频设备的制造商不知道在视频成分中处理延迟的持续时间。

发明内容
按照本发明，对因为视频信号处理延迟而对在视频和音频之间失去同步的补偿是通过传送表示测试图像序列的视频测试信号以由显示设备呈现来实现的。在测试图像序列被呈现之前，该视频测试信号经历处理延迟。光检测器接收来自测试图像序列的光，并且产生代表测试图像序列的接收的测试信号。补偿视频处理延迟的音频的延迟是通过控制器来产生。该控制器通过使接收的测试信号与发送的测试信号相互关联来确定所需要的延迟。
所述的补偿失去同步的装置的修改及其变化可以对应于视频源和方法的修改及其变化。


从相对于在下文中描述的实施方式和实施例以及参考伴随的附图中，按照本发明的用于补偿失去同步的装置、视频源和方法的这些和其他的方面将变得显而易见和将被阐明，其中图1是举例说明示范的包括处理延迟补偿的视频系统的实施例的方框图；图2是举例说明示范的延迟补偿方法的实施例的流程图；图3是一系列图像的各自的图像的平均亮度的示意图；和图4是一个示范的供用于补偿失去同步的装置中使用的光检测器的实施例的示意图。
具体实施例方式
图1的视频系统包括显示设备VID和连接到音频设备AUD的视频源101。该视频源101可以是提供视频信号的任何设备，例如，DVD播放器、机顶盒或者卫星接收机。该视频信号可以从象DVD或者磁带一样的存储介质中读取。可选地，该视频信号被提供给输入连接器108。该音频设备AUD可以是视频源101的一部分，或者设备的单独的部分，例如，用于驱动扬声器系统SS的音频接收机。该显示设备VID可以是电视机或者监视器，或者用于显示视频图像的其他设备。
该视频源101包括视频发生器112，例如，MPEG译码器，用于提供在视频输出连接器102处提供的具有视频成分的视频信号，和在音频输出连接器104处提供的音频成分。这些成分可以以在该领域众所周知的或者数字的或者模拟的信号的形式提供。
在视频输出连接器102处提供的视频成分经线路111被传送给显示设备VID，其中在由视频成分表示的图像被显示给观众之前，出现视频处理延迟。这个延迟典型地包括许多较小的累积的延迟，包括例如对降噪的处理、多维标度(multi-dimensional scaling)、自然动作的应用，即临时的上变换算法(temporal up-conversion algorithm)，且随着显示设备的类型(例如，等离子体、LCD、DMD、CRT)而变化。在显示设备中视频的处理延迟的持续时间可能是视频源101的制造商不得而知的，尤其地，如果这些装备来自于不同的制造商。
由视频发生器112所提供的音频成分被经由具有可控制的可变延迟的音频延迟装置118传送，然后经线路113传送给音频设备AUD。注意到，该音频延迟设备118不必是单独的设备。例如，如果视频发生器112结合一个MPEG译码器，那么期望的延迟可以通过例如操纵在MPEG数据流中的时间戳来产生。除此之外，该音频延迟设备118对于视频源101来说是任选的。可选地，其可以以单独的装置来实施或者实施在音频设备AUD中。
如在图1中所描述的视频源101包括一个用于补偿由于视频成分的处理延迟而在呈现给观众的视频和音频之间失去同步的装置102。该装置102包括视频发送装置110，用于发送表示测试图像序列的测试信号，以在所述测试信号经历所述处理延迟之后由显示设备VID呈现；光检测器116，用于基于测试图像序列来接收来自显示设备VID的光，和产生代表测试图像序列的接收的测试信号；和控制器114，用于使经由线路117所提供的接收的测试信号与经由线路115所提供的传送的测试信号相互关联；确定在所述信号之间的延迟；并且基于在所述信号之间的延迟，经由线路119输出音频延迟信号。
在这个公开中，公开了用于补偿失去同步的装置102的二个主要的实施例在用于补偿失去同步的装置102的第一个实施例中，该视频发送装置110包括测试信号发生器(未描述)，其被设置成产生一个预定的测试信号。
在用于补偿失去同步的装置102的第二个实施例中，该视频发送装置110包括用于在接收的系列图像中检测测试图像序列的检测装置(未描述)。那意思是，在这个实施例中，该视频发送装置110被设置成在如经由线路121从视频发生器112所接收的视频内容的基础上发送测试信号。这个视频内容对应于代表例如电影、肥皂剧或者动画片的标准视频内容。那指的是标准视频内容，即观众为了娱乐或者教育目的将观看的标准视频内容，并且他不会将标准视频内容直接与用于调整视频系统的测试信号相关联。
首先，解释用于补偿失去同步的装置102的第一个实施例的运作。与图3结合解释用于补偿失去同步的装置102的第二个实施例的运作。
当测试信号发生器被激活的时候，该测试信号发生器同时地经线路111和115分别地发送视频测试信号给显示设备VID和给控制器114。该测试信号发生器可以被设置成产生代表用于由显示设备VID显示的一个或多个期望的测试图案的视频测试信号。在一个示范的实施例中，该测试发生器产生代表由显示设备VID要产生的交替的较暗和较亮的图像(诸如纯的黑白屏幕)的序列的视频测试信号。
该光检测器116被设置以接收周围室内光，包括来自于由显示设备VID产生的测试图案的光。该光检测器116将接收的光转换为检测信号，其受来自于所显示的测试图案的光的影响。具体地，该检测信号包括代表测试图案的测试信号成分(“接收的测试信号”)，并且经由线路117将其传送给控制器114。
该控制器114运行以确定必须由音频延迟设备118提供的延迟，以与由显示设备VID显示的图像同步地放置来自音频设备AUD的音频。为了做到这点，控制器114测量在视频测试信号的传送和该视频测试信号的接收之间的延迟，所述视频测试信号代表由显示设备VID产生的测试图案。该控制器114然后经线路119将代表所测量的延迟的音频延迟信号发送给音频延迟设备118，这使得产生向音频设备AUD传送的音频信号的相应的延迟。
图2举例说明一个示范的用于操作图1的视频系统以补偿视频相对于呈现给观众的音频的不想要的延迟的过程。这样的延迟的负面结果的典型例子是在所显示的图像中讲话人员对不上口型(loss of lipsynch)。这个失真对于例如仅仅一秒的十分之一或者更少的那样小的视频延迟是易于察觉的。参考图2在ADM，进入音频延迟测量模式，以开始补偿视频相对于呈现给观众的音频的任何延迟的过程。方便地，当视频系统100被安装的时候，或者在任何其他期望的时间上，这将作为可以由控制器114执行的设置程序的一部分而被完成。
在TP，该控制器114经线路115发送一个信号，该信号命令在视频发送装置110中的测试信号发生器开始经线路111和115传送视频测试信号。(做为选择，线路115仅仅需要将由视频测试信号代表的测试图案的定时传送给控制器114)。任选地，该测试信号发生器可以是在该系统中的其它地方，甚至可以结合于控制器114本身中。优选地，与所预计的最长延迟相比，该测试图案(例如，交替的黑白全屏幕图像)的重复速率是长的。为了避免含糊不清，全测试图案序列的周期至少两倍于最长的预计延迟。
在MSR，该控制器114开始采样由检测器116产生的检测信号。采样应该以比因视频处理而产生的最小预计延迟更短的时间周期开始。该采样间隔应该至少与想要的视频处理延迟的测量精度一样小。例如，对于好的明显的对口型，如由典型的观众所观察到的，大约10毫秒的精度是令人满意的。在一个示范的系统中，这样的精度是不难通过使用交替的黑白全屏幕图像(每个具有大约1.0秒的持续时间)的图案，并且通过以大约1至5毫秒的间隔采样获得的。采样继续足够长的时段，以使由接收的检测信号所携带的接收的测试信号与传送的视频测试信号相互关联。该示范的系统具有几秒的采样周期，在此期间，该控制器114试图使在检测信号中检测到的黑到白和白到黑的转换与在传送的视频测试信号中的相应转换相互关联。取决于从嘈杂的接收测试信号中提取检测到的图案的期望能力，由控制器114使用的算法可以是非常简单到非常复杂。
在COR，该控制器114确定所述相互关联是否是成功的。如果来自测试图案的光与周围光本身不是可清楚地区别开的，那么相互关联将是不可能的。这可以发生在不利的照明条件之下，例如，如果日光直接照射在光检测器116的光传感器上，或者如果周围光的强度与该测试图案的强度类似地变化。如果相互关联是成功的，那么在该过程中下一步将是ADJ，如果不成功的话，那么在该过程中下一步将是OPT。
在ADJ，在紧随成功的相互关联之后，该控制器114确定在传送的测试信号和接收的测试信号之间的时间延迟。该控制器114然后相应地调整由音频延迟设备118提供的延迟，以使由音频设备AUD所产生的音频与由显示设备VID所呈现的视频图像同步。
在OPT，该控制器114经由视频发送装置110发送一个消息给显示设备VID，通知观众该同步过程是不成功的。该消息也可以提出用于改善周围光线条件的校正动作，诸如，使屋子变暗，或者相对于显示设备重新定位周围光传感器，或者提供用于增强从显示器所直射来的光和直射到光检测器116上的光的反射面。取决于视频源101智能地与遥控装置通信的能力，更进一步的选择可以通过来自控制器114的消息来解释。例如，当观看屏幕图像时，观众可以被引导经由手动调整以使音频和视频同步，例如，通过从覆盖巳知的显示设备的可能延迟范围的许多预定缺省设置中选择一个延迟。
在NORM，在紧随ADJ和OPT两者之后，该控制器114使视频源返回到其正常操作方式。
图3是包括样品301-308的时间采样信号300的示意图，样品301-308代表一系列图像的各自的图像的平均亮度。图表300的X轴对应于时间。Y轴对应于一系列图像的各自的图像的平均亮度值。我们参考图3解释用于补偿失去同步的装置102的第二个实施例的运作。
在用于补偿失去同步的装置102的第二个实施例中，该视频发送装置110被设置成在如经由线路121从视频发生器112所接收的视频内容的基础上产生测试信号。这指的是，代表例如电影或者肥皂剧的标准/正常视频内容由用于补偿失去同步的装置102使用以便实现同步。这是通过分析经由线路121由视频发生器112所提供的和由视频发送装置110所接收的视频内容来实现的。典型地，为了正常观看的目的由显示设备VID要显示的视频内容具有以下的特征，其适于确定视频的处理延迟，由此用于从其中推导出音频延迟信号。这样的特征例如是平均亮度的突然变化例如，第一明亮的/亮的图像，即，具有相对高的平均亮度，继之以第二暗的图像，即，具有相对低的平均亮度。在图3中看到，从具有附图标记301，302的样值转换到具有附图标记303，304的样值；例如，第三暗的图像继之以第四明亮的/亮的图像。在图3中看到，从具有附图标记305，306的样值转换到具有附图标记307，308的样值。
在平均亮度方面这样的突然变化典型地出现在场景变化时。典型地，许多黑色图像帧，即，视频图像被插入在相继的场景之间。场景变化的检测，或者在视频内容中在平均亮度方面的其他相对急剧的转换优选是通过以下过程实现的计算在如从视频发生器112所接收的一系列图像的第一图像的像素的第一平均亮度值与跟着第一图像并且如从视频发生器112所接收的一系列图像的第二图像的像素的第二平均亮度值之间的差值，并且比较所计算的差值与预定的阈值。如果超出该预定的阈值，那么，相应的第一和第二图像被用于形成与该测试信号对应的测试图像的序列或者其一部分。
如关于图1和图2所解释的，用于补偿失去同步的装置102的第二个实施例的其余的运作基本上相当于用于补偿失去同步的装置102的第一个实施例的运作。因此，基本上，主要区别是生成代表测试图像序列的测试信号。以下将指出与该区别有关的。确定视频的处理延迟以及任选地使音频延迟与用于补偿失去同步的装置102的第二个实施例适应的操作可以是连续的过程。这指的是例如当观众观看他最喜欢的电影时，包括连接到音频设备AUD和显示设备VID的视频源101的视频系统100的音频延迟信号可以被更新。不需要如关于图2所解释的专用的测量/调整过程。
优选地，在接收的视频内容中的多个明亮的/暗的和/或暗的/明亮的转换被用于确定实际的音频延迟信号。
图4举例说明一个示范的光检测器116的实施例。虽然各种各样的这种光检测器的设计在该技术领域内都是很好的，但是这个实施例证明这样的检测器可以用几个简单的部件以相对低费用的部件制作。该光检测器116包括包含光电二极管P、运算放大器A1和电阻R1a、R1b的第一放大器电路；包含运算放大器A2、电阻R2和电容器C的第二放大器电路；以及A/D转换器AD。
该光电二级管P被设置在其将感测在显示设备VID工作的区域中的周围光线的位置。方便地，其将被结合在视频源101或者包含光检测器116的其他部件的壳体中，但是，其还可以放置于远距离的位置。流过光电二极管的电流按照入射光的函数而变化。该第一放大器电路主要是起将光电二极管电流转换为代表入射光强度的放大的电压的作用。该第二放大器电路起比较器和积分器两者的作用。其与第一放大器电路结合以使第一放大器保持在其线性工作范围中。可以使用廉价的低转换速度A/D转换器，因为分辨率和转换速度两者可以是低的。在这个示范的光检测器116中的A/D转换器以1kHz的转换时钟速率工作。
应当注意到，上述实施例是举例说明而不是限制本发明，而且那些本领域技术人员能够设计出可供选择的实施例，而不脱离所附的权利要求的范围。在权利要求中，放置在括号之间的任何附图标记不应该被理解为限制该权利要求。单词“包括”或“包含”不排除存在没有在权利要求中列出的元件或者步骤。在元件之前的量词“一个”不排除存在多个这样的单元。本发明可以借助于包括若干不同单元的硬件和借助于适宜的程序控制计算机来实施。在列举若干装置的产品权利要求中，这些装置中的若干可以通过完全相同的硬件或者软件所包含。措词第一、第二和第三等等的使用不表示任何的顺序。这些措词将被解释为名称。除了特别指出的之外，意欲不要求动作特定的顺序。
权利要求
1.用于补偿由于视频的处理延迟而在呈现给观众的视频和音频之间失去同步的装置(102)，所述装置(102)包括视频发送装置(110)，用于发送表示测试图像序列的测试信号，以在所述测试信号经历所述处理延迟之后由显示设备呈现；光检测器(116)，用于基于测试图像序列接收来自显示设备的光，和产生代表测试图像序列的接收的测试信号；和控制器(114)，用于i)使接收的测试信号(117)与发送的测试信号(115)相互关联，ii)确定在所述信号之间的延迟，和iii)基于在所述信号(115，117)之间的延迟，输出音频延迟信号(119)。
2.根据权利要求1的装置(102)，其中视频发送装置(110)包括用于在接收的图像系列中检测测试图像序列的检测装置。
3.根据权利要求2的装置(102)，其中检测装置被设置成通过确定在测试图像序列的第一图像的第一测量和测试图像序列的第二图像的第二测量之间的差值超出一个预定的阈值来检测测试图像序列。
4.根据权利要求3的装置(102)，其中检测装置被设置成计算该序列的第一图像的像素的第一平均亮度值作为第一测量，并且计算该序列的第二图像的像素的第二平均亮度值作为第二测量。
5.根据权利要求1的装置(102)，其中视频发送装置(110)包括用于产生测试信号的信号发生器。
6.根据权利要求5的装置(102)，其中测试图像序列对应于单个图像。
7.根据权利要求5的装置(102)，其中信号发生器被设置成产生测试图案。
8.根据权利要求7的装置(102)，其中测试图案包括交替的较暗的和较亮的图像。
9.根据权利要求8的装置(102)，其中较暗的和较亮的图像以长为处理延迟至少两倍的间隔重复。
10.一种用于提供视频输出和相关的音频输出的视频源(101)，该视频源包括用于提供视频输出的视频输出装置(102)；用于提供音频输出的音频输出装置(104)；如在以上权利要求的任何一个中要求的用于补偿在呈现给观众的视频和音频之间失去同步的装置(102)，视频基于视频输出，并且音频基于音频输出。
11.根据权利要求10的视频源(101)，包括音频延迟设备(18)，其用于在用于补偿的装置(102)的音频延迟信号的基础上，在音频输出中产生可控制的延迟。
12.用于补偿由于视频的处理延迟而在呈现给观众的视频和音频之间失去同步的方法，所述方法包括发送表示测试图像序列的测试信号，以在所述测试信号经历所述处理延迟之后由显示设备呈现；基于测试图像序列检测来自显示设备的光，和产生代表测试图像序列的接收的测试信号；和使接收的测试信号与发送的测试信号相互关联；确定在所述信号之间的延迟，并且基于在所述信号之间的延迟输出音频延迟信号。
全文摘要
视频处理延迟被补偿以保持音频与视频的同步。该延迟是通过使相关从显示的光图像推导出的信号与预处理的视频测试信号相互关联来确定的，该图像是从预处理的视频测试信号中产生的。
文档编号H04N5/44GK101080933SQ200580043305
公开日2007年11月28日 申请日期2005年12月14日 优先权日2004年12月15日
发明者M·W·纽文休詹 申请人:皇家飞利浦电子股份有限公司