专利名称：视频和音频重放设备及方法、输出时刻改变设备及方法
技术领域：
本发明涉及视频和音频重放设备及方法、输出时刻改变设备及方法，特别涉及对基于诸如MPEG(运动图像专家组)流等视频和音频流的视频图像和声音(音频)进行重放的视频和音频重放设备及方法、输出时刻改变设备及方法。
背景技术：
现有情况下，已经知道对基于视频和音频流的视频图像和声音进行重放的视频和音频重放设备。例如，已经知道对基于MPEG流的视频图像和声音进行重放的视频和音频重放设备。
如下所述执行MPEG流的传输和重放。
首先，来讲述用于传输MPEG流的发送器。
发送器对视频信号进行编码，以生成由多个视频帧形成的MPEG视频流。发送器还对与视频信号同步的音频信号进行编码，以生成由多个音频帧形成的MPEG音频流。
接着，发送器对MPEG视频流进行分割以生成视频数据。发送器将视频数据组合成PES(打包的基本流)包。发送器还对MPEG音频流进行分割以生成音频数据。发送器将音频数据组合成不包含视频数据的PES包。PES包包含用于在视频图像和声音(音频)之间进行同步的时间信息。
图1为示出了PES包的解释性示图。
如图1所示，PES包100包括PTS(显示时间戳)100a和DTS(解码时间戳)100b。
DTS 100b表示PES包100中的数据应该被解码的时间(解码时刻)。PTS 100a表示PES包100中的数据应该被重放的时间(输出时刻)。
发送器将相同的值分配给包含一定视频帧的数据的PES包中的PTS以及包含与视频帧同步的音频帧的数据的PES包中的PTS。因此，可以使视频和音频同步。
之后，发送器发送MPEG流(视频和音频流)，其中MPEG流包括包含视频数据的PES包和包含音频数据的PES包。因此，MPEG流包含具有表示相同输出时刻的PTS的多对视频和音频数据。
接下来，讲述对基于MPEG流的视频图像和声音音频进行重放的重放单元。
图2为示出了重放单元的框图。
在图2中，重放单元包括MPEG解码器1、显示单元2和音频输出单元3。
MPEG解码器1对从发送器发送的MPEG流(视频和音频流)进行解码，以生成视频和音频信号。MPEG解码器1将视频信号提供给显示单元2。MPEG解码器1将音频信号提供给音频输出单元3。
当接收到来自MPEG解码器1的视频信号时，显示单元2根据视频信号来显示视频图像。
当接收到来自MPEG解码器1的音频信号时，音频输出单元3根据音频信号来提供声音。
MPEG解码器1包括分离电路1a、缓冲器1b和1c、系统解码器1d、视频解码器1e和音频解码器1f。
当接收到来自发送器的MPEG流时，分离电路1a从MPEG流分离出视频数据、音频数据、PTS和DTS。分离电路1a将视频数据存储到缓冲器1b中。分离电路1a将音频数据存储到缓冲器1c中。分离电路1a将PTS和DTS供给到系统解码器1d。
缓冲器1b存储从分离电路1a供给的视频数据。
缓冲器1c存储从分离电路1a供给的音频数据。
系统解码器1d在由与缓冲器1b中的视频数据有关的DTS表示的时间将解码命令提供给视频解码器1e。系统解码器1d在由与视频数据有关的PTS表示的时间还将输出命令提供给视频解码器1e。
此外，系统解码器1d在由与缓冲器1c中的音频数据有关的DTS表示的同一时间将解码命令提供给音频解码器1f。系统解码器1d在由与音频数据有关的PTS表示的同一时间将输出命令提供给音频解码器1f。
当接收到解码命令时，视频解码器1e从缓冲器1b读取视频数据，并且然后解码视频数据以生成视频信号。然后，当接收到输出命令时，视频解码器1e将视频信号供给到显示单元2。
当接收到解码命令时，音频解码器1f从缓冲器1c读取音频数据，并且然后解码音频数据以生成音频信号。然后，当接收到输出命令时，音频解码器1f将音频信号提供给音频输出单元3。
日本专利申请未决公开2002-354419公开了一种对基于MPEG流的视频图像和声音进行重放的记录和重放设备。
该记录和重放设备被构造为根据特殊回放的回放速度来重写DTS和PTS值，以便在选择诸如快进等特殊回放模式时，能够提供声音和图像同步的流畅视频图像。该记录和重放设备以相同的值重写某一视频帧的PTS值和与该视频帧同步的音频帧的PTS值。
另一方面，诸如液晶显示器或等离子显示器等显示设备使用固定数目的像素。具有固定数目的像素的显示设备执行称作分辨率转换的视频信号处理，以便能够根据输入的视频信号来显示图像，即使输入信号的分辨率不同于其自身的分辨率。
图3为框图，示出了包括执行分辨率转换的显示单元2的重放设备。在图3中，与图2中相同的组件被标以相同的标号。
在图3中，显示单元2包括视频信号处理器2a、驱动电路2b和具有固定数目的像素的显示设备2c。视频信号处理器2a包括存储器2a1和分辨率转换电路2a2。音频输出单元3包括音频输出电路3a和扬声器3b。
视频信号处理器2a在接收到来自MPEG解码器1的视频信号时，根据显示设备2c的分辨率来转换视频信号的分辨率。
具体地说，分辨率转换电路2a2在接收到来自MPEG解码器1的视频信号时，将视频信号在存储器2a1中存储一段时间，然后从存储器2a1读取视频信号，并且然后转换视频信号的分辨率。
驱动电路2b根据其分辨率已经通过分辨率转换电路2a2进行了转换的视频信号来驱动显示设备2c，并且根据视频信号在显示设备2c上显示视频图像。
音频输出电路3a根据从MPEG解码器1接收的音频信号来驱动扬声器3b，并且根据音频信号来从扬声器3b提供声音。
视频信号处理器2a将视频信号在存储器2a1中存储一段时间，然后执行分辨率转换。因此，显示设备2c的显示时刻延迟了分辨率转换所需的时间量。
除了分辨率转换以外，视频信号处理器2a还执行视频信号处理。因此，在实际中，显示设备2c的显示时刻延迟了这些视频信号处理所需的时间量。
另一方面，音频输出单元3不像在视频信号处理中那样具有任何延迟。
因此，例如，即使MPEG解码器1根据DTS值和PTS值来同步视频图像和声音，但由于显示单元2执行的视频信号处理，使得视频图像的发生延迟到声音生成之后。
图4为时序图，用于解释视频的延迟。图4(a)示出了视频信号被写入存储器2a1的时序。图4(b)示出了从存储器2a1读出视频信号的时序。图4(c)示出了提供音频信号的时序。
如图4(a)和图4(c)所示，在执行视频信号处理之前，具有相同PTS值的视频帧(视频信号)和音频帧(音频信号)彼此同步。
不过，如图4(b)和图4(c)所示，在执行视频信号处理之后，对于具有相同PTS值的视频帧和音频帧，视频帧是在音频帧之后提供的(参见图4(c)中的延迟A)。
在日本专利申请未决公开2002-354419中讲述的记录和重放设备以相同的值对某一视频帧的PTS值和与该视频帧同步的音频帧的PTS值进行重写。因此，如果使用该记录和重放设备作为MPEG解码器1，则会发生由于视频信号处理而导致的视频图像延迟。
由于这个原因，在视频图像和声音之间具有延迟(timing lag)，或者如果视频图像和声音必需同步，则需要为音频信号提供诸如延迟电路这样的额外硬件等。
发明内容
本发明的目的是提供一种视频和音频重放设备以及视频和音频重放方法，其能够在不使用用于音频信号的任何延迟电路的情况下，在视频图像和音频声音之间进行同步，即使在执行诸如分辨率转换等视频信号处理时。
为了实现上述目的，根据本发明的视频和音频重放设备对基于视频和音频流的视频图像和音频声音进行重放，其中视频和音频流包括具有表示输出视频图像的时刻的视频输出信息的视频数据，以及具有表示输出音频声音的时刻的音频输出信息的音频数据。视频和音频重放设备包括修正单元、解码器、显示单元和音频输出单元。
修正单元在接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，延迟输出音频声音的时刻。
解码器解码音频数据以生成音频信号，并且在由通过修正单元修正的音频输出信息表示的输出时刻提供音频信号，并且还解码视频数据以生成视频信号，并且在由视频输出信息表示的输出时刻提供视频信号。
显示单元显示与从解码器提供的视频信号相对应的视频图像。音频输出单元提供与从解码器提供的音频信号相对应的音频声音。
根据上述发明，音频输出信息被修正，以便在保持输出视频图像的时刻不变的情况下，延迟输出音频声音的时刻。
因此，音频输出信息的修正可以将音频声音延迟如下时间量，即因视频信号处理而使视频图像延迟的时间量。结果，可以在不使用用于音频信号的任何延迟电路的情况下，来同步视频图像和音频声音。
优选情况下，检测处理视频信号所需的时间，并且修正音频输出信息，从而将输出音频数据的时刻延迟检测到的处理时间。
例如，当处理诸如NTSC(国家电视标准委员会)信号和PAL(逐行倒相)信号等不同制式的视频信号时，NTSC信号的处理时间可能与PAL信号的处理时间不同。
根据上述发明，音频输出信息根据检测到的处理时间进行自动修正。因此，可以根据视频信号制式，通过自动修正音频输出信息来同步音频声音和视频图像。
优选情况下，处理是指视频信号的分辨率的转换。
根据上述发明，如果发生因分辨率转换而引起的视频图像延迟，则可以将输出音频声音的时刻延迟视频图像的延迟量。
优选情况下，视频和音频流是MPEG流，视频数据包括在MPEG视频流中，音频数据包括在MPEG音频流中，并且输出信息包括PTS。
根据上述发明，当基于MPEG流来重放视频图像和音频声音时，PTS被修正。因此，可以将输出音频声音的时刻延迟如下时间量，即视频图像因视频信号处理而延迟的时间量。因此，可以在不使用用于音频信号的任何延迟电路的情况下，来对视频图像和音频声音进行同步。
优选情况下，除了修正PTS以外，还对表示解码时刻的DTS进行修正。
根据上述发明，当基于MPEG流对视频图像和音频声音进行重放时，PTS和DTS被修正。因此，可以将输出音频声音的时刻延迟如下时间量，即视频图像因视频信号处理而延迟的时间量。因此，可以在不使用用于音频信号的任何延迟电路的情况下，来同步视频图像和音频声音。
此外，根据本发明的视频和音频重放设备对基于视频和音频流的视频图像和音频声音进行重放，其中视频和音频流包括具有表示输出视频图像的时刻的视频输出信息的视频数据，以及具有表示输出音频声音的时刻的音频输出信息的音频数据，并且视频和音频重放设备包括修正单元、解码器、显示单元和音频输出单元。
修正单元在接收到视频和音频流时，对音频输出信息和视频输出信息进行修正，以使音频声音延迟的时间量长于视频图像延迟的时间量。
解码器解码音频数据以生成音频信号，并且在由通过修正单元修正的音频输出信息表示的输出时刻提供音频信号，并且还解码视频数据以生成视频信号，并且在由通过修正单元修正的视频输出信息表示的输出时刻提供视频信号。
显示单元显示与从解码器提供的视频信号相对应的视频图像。
音频输出单元提供与从解码器提供的音频信号相对应的音频声音。
根据上述发明，音频输出信息和视频输出信息被修正，以使音频声音延迟的时间量长于视频图像延迟的时间量。
因此，可以将输出与视频图像有关的音频声音的时刻延迟如下时间量，即视频图像因视频信号处理而延迟的时间量。因此，可以在不使用用于音频信号的任何延迟电路的情况下，来对视频图像和音频声音进行同步。
由于音频输出信息和视频输出信息被修正，因此可以调节音频声音的输出时刻和视频图像的输出时刻。
为了实现前述目的，提供一种改变视频和音频流的输出时刻的设备，视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述设备包括修正单元，在接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，延迟音频输出时刻。
其中，在视频和音频流中的音频输出时刻被修正之后，对视频和音频流中包含的视频信号进行处理，并且，所述修正单元对音频输出信息进行修正，以使音频输出时刻延迟由处理视频信号所需的时间量。
其中，所述对视频信号进行处理包括执行视频信号的分辨率的转换。
其中，视频和音频流是MPEG流；视频数据包括在MPEG视频流中；音频数据包括在MPEG音频流中；并且音频输出信息和视频输出信息包括PTS。
其中，所述修正单元在接收到MPEG流时，还对音频数据中的表示解码时刻的DTS进行修正。
为了实现上述目的，提供一种改变视频和音频流的输出时刻的方法，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述方法包括a)接收视频和音频流；以及b)当接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，延迟音频输出时刻。
其中，上述方法还包括在视频和音频流中的音频输出时刻被修正之后，对视频和音频流中包含的视频信号进行处理，其中所述步骤b)包括对音频输出信息进行修正，以使音频输出时刻延迟对视频信号进行处理所需的时间量。
其中，所述对视频信号进行处理包括执行视频信号的分辨率的转换。
其中，视频和音频流是MPEG流；视频数据包括在MPEG视频流中；音频数据包括在MPEG音频流中；并且音频输出信息和视频输出信息包括PTS。
其中，所述步骤b)还包括当接收到MPEG流时，对表示音频数据的解码时刻的DTS进行修正。
下面参考示出了本发明的实例的附图来进行讲述，将使本发明的上述和其他目的、特征和优点更加清楚。
图1为示出了PES包的解释性视图。
图2为示出了重放单元的框图。
图3为示出了重放设备的框图。
图4为解释视频延迟的时序图。
图5为框图，示出了根据本发明的一个实施例的视频和音频重放设备。
图6为框图，示出了时间信息转换器4的一个实例。
图7为框图，示出了根据本发明的另一个实施例的视频和音频重放设备。
图8为框图，示出了时间信息转换器40的一个实例。
具体实施例方式
图5为框图，示出了根据本发明的一个实施例的视频和音频重放设备。在图5中，与图3中所示相同的组件被标以相同的标号。
在该视频和音频重放设备中，为图3所示的重放设备添加了时间信息转换器4。
在图5中，视频和音频重放设备包括MPEG解码器1、显示单元2、音频输出单元3和时间信息转换器4。
时间信息转换器4是修正单元的一个实例。时间信息转换器4接收MPEG流(视频和音频流)。
MPEG流包括包含视频数据和表示预定值的PTS(视频输出信息)的PES包，以及包含音频数据和表示预定值的PTS(音频输出信息)的PES包。
因此，MPEG流包含有具有表示相同输出时刻的PTS的多对视频和音频数据。
时间信息转换器4在接收到MPEG流时，改变流中的音频数据的PTS，以使输出与流中的音频数据相对应的音频声音的时刻被延迟。
例如，时间信息转换器4改变MPEG流中的音频数据的PTS，以使输出音频声音的时刻延迟如下时间量，即由视频信号处理器2a执行视频信号处理所花费的处理时间量。具体地说，时间信息转换器4将该处理时间与音频数据的PTS值相加。
时间信息转换器4保持流中的视频数据的PTS不变。
图6为框图，示出了时间信息转换器4的一个实例。时间信息转换器4不应该局限于图6所示的结构，而是可以根据需要进行改变。
在图6中，时间信息转换器4包括输入单元4a、存储器4b和加法器4c。
输入单元4a接收到要与音频数据的PTS值相加的值。例如，输入单元4a从用户接收该值。
在本实施例中，输入单元4a接收表示由视频信号处理器2a执行视频信号处理所花费的处理时间量的处理时间信息。由输入单元4a接收的值可以根据需要而改变。
存储器4b存储通过输入单元4a接收到的值。
加法器4c将存储器4b中的值与音频数据的PTS值相加。从而，延迟了输出音频声音的时刻。
在本实施例中，加法器4c还将存储器4b中的值与音频数据的DTS值相加。因此，解码音频数据的时刻也被延迟。
时间信息转换器4为MPEG解码器1提供MPEG流，该MPEG流具有音频数据中的修正的PTS和DTS。
MPEG解码器1在接收到MPEG流时，在由视频数据中的DTS指示的时刻解码流中的视频数据，以生成视频信号。
然后，MPEG解码器1在由视频数据中的PTS表示的时刻为显示单元2提供视频信号。
当MPEG解码器1接收到MPEG流时，MPEG解码器1在由通过时间信息转换器4修正的音频数据中的DTS指示的时刻，对流中的音频数据进行解码，以生成音频信号。
然后，MPEG解码器1在由通过时间信息转换器4修正的音频数据中的PTS指示的时刻，为音频输出单元3提供音频信号。
由于时间信息转换器4对音频数据的PTS值进行修正以延迟输出音频信号的时刻，因此从MPEG解码器1供给的音频信号是在提供了与音频信号同步的视频信号之后提供的。
分辨率转换电路2a2将在比音频信号的时刻更早的时刻提供的视频信号存储到存储器2a1中。然后，分辨率转换电路2a2根据显示设备2c的分辨率来对存储在存储器2a1中的视频信号的分辨率进行转换。
分辨率转换电路2a2为驱动电路2b提供具有转换的分辨率的视频信号。
该时刻，具体地说，即分辨率转换电路2a2提供视频信号的时刻，对应于由音频数据的PTS值表示的输出时刻。因此，MPEG解码器1在该时刻提供音频信号。
因此，驱动电路2b接收视频信号的时刻与音频输出电路3a接收音频信号的时刻同步。
驱动电路2b根据具有由分辨率转换电路2a2转换的分辨率的视频信号来驱动显示设备2c，并且在显示设备2c上显示对应于视频信号的视频图像。
音频输出电路3a根据从MPEG解码器1接收到的音频信号来驱动扬声器3b，并且从扬声器3b提供对应于该音频信号的音频声音。
结果，视频图像和音频声音彼此同步。
接下来，将讲述操作。
例如，用户将表示由视频信号处理器2a进行视频信号处理所花费的处理时间量的处理时间信息输入到输入单元4a。
输入单元4a在接收到处理时间信息时，将处理时间信息存储到存储器4b中。
加法器4c在接收到MPEG流时，将由处理时间信息表示的处理时间与MPEG流中的音频数据的PTS和DTS相加。
加法器4c为MPEG解码器1(具体地说，是分离电路1a)提供在音频数据中具有修正的PTS和DTS的MPEG流。
分离电路1a将视频数据、音频数据、PTS和DTS从自加法器4c发送的MPEG流中分离出来。
分离电路1a将视频数据存储到缓冲器1b中。分离电路1a将音频数据存储到缓冲器1c中。此外，分离电路1a为系统解码器1d提供PTS和DTS。
系统解码器1d在由与存储在缓冲器1b中的视频数据有关的DTS表示的时刻，为视频解码器1e提供解码命令。系统解码器1d在由与视频数据有关的PTS表示的时刻，为视频解码器1e提供输出命令。
此外，系统解码器1d在由与存储在缓冲器1c中的音频数据有关的DTS表示的时刻，为音频解码器1f提供解码命令。系统解码器1d在由与音频数据有关的PTS表示的时刻，为音频解码器1f提供输出命令。
视频解码器1e在接收到来自系统解码器1d的解码命令时，从缓冲器1b读取视频数据，并且然后解码视频数据以生成视频信号。此后，当视频解码器1e接收到来自系统解码器1d的输出命令时，视频解码器1e为显示单元2提供视频信号。
另一方面，音频解码器1f在接收到来自系统解码器1d的解码命令时，从缓冲器1c读取音频数据，并且然后解码音频数据以生成音频信号。此后，当音频解码器1f接收到来自系统解码器1d的输出命令时，音频解码器为音频输出单元3提供音频信号。
由于时间信息转换器4为了延迟输出音频信号的时刻而改变了音频数据中的PTS值，因此由MPEG解码器1提供的音频信号是在提供了与音频信号同步的视频信号之后提供的。
显示单元2中的分辨率转换电路2a2将在比音频信号的时刻更早的时刻提供的视频信号存储在存储器2a1中，然后根据显示设备2c的分辨率来转换视频信号的分辨率。
分辨率转换电路2a2为驱动电路2b提供具有转换的分辨率的视频信号。
在该时刻，具体地说，在分辨率转换电路2a2提供视频信号的时刻，MPEG解码器1提供音频信号。
因此，驱动电路2b接收到视频信号的时刻与音频输出电路3a接收音频信号的时刻同步。
驱动电路2b根据具有由分辨率转换电路2a2转换的分辨率的视频信号来驱动显示设备2c，并且在显示设备2c上显示对应于视频信号的视频图像。
音频输出电路3a根据从MPEG解码器1接收到的音频信号来驱动扬声器3b，并且由扬声器3b提供对应于音频信号的音频声音。
结果，视频图像和音频声音彼此同步。
根据本实施例，时间信息转换器4修正音频数据中的PTS(音频输出信息)，以便延迟输出音频声音的时刻。时间信息转换器4保持视频数据中的PTS不变。
因此，音频数据中的PTS的修正可以将输出音频声音的时刻延迟如下时间量，即视频图像由于视频信号处理而延迟的时间量。结果，可以在不使用用于音频信号的任何延迟电路的情况下，来同步视频图像和音频声音。
由于音频数据中的PTS为数字值，因此可以容易地设置音频声音的时间延迟。
此外，根据本实施例，使用MPEG流来作为视频和音频流，并且在使用PTS作为音频输出信息和视频输出信息时，视频数据包含在MPEG视频流中，音频数据包含在MPEG音频流中。
在这种情况下，当基于MPEG流对视频图像和音频声音进行重放时，对PTS进行修正。因此，可以将输出音频声音的时刻延迟如下时间量，即视频图像由于视频信号处理而延迟的时间量。
因此，当基于MPEG流对视频图像和音频声音进行重放时，可以在不使用用于音频信号的任何延迟电路的情况下，来同步视频图像和音频声音。
此外，在本实施例中，时间信息转换器4除了修正音频数据中的PTS之外，还修正音频数据中的DTS。
在这种情况下，当基于MPEG流对视频图像和音频声音进行重放时，对PTS和DTS二者都进行修正。因此，可以将输出音频声音的时刻延迟如下时间量，即视频图像由于视频信号处理而延迟的时间量。此外，还可以根据音频信号的输出时刻来调节音频数据的解码时刻。
因此，当基于MPEG流对视频图像和音频声音进行重放时，可以在不使用用于音频信号的任何延迟电路的情况下，来同步视频图像和音频声音。
接下来，讲述根据本发明的另一实施例。
图7为框图，示出了根据本发明的另一个实施例的视频和音频重放设备。在图7中，如图5所示的组件被标以相同的标号。
在图7所示的视频和音频重放设备中，向如图5所示的视频和音频重放设备添加了检测器2a3。
检测器2a3检测由视频信号处理器2a执行视频信号处理所需要的时间量。在本实施例中，检测器2a3检测由分辨率转换电路2a2执行分辨率转换所需要的时间量。检测器2a3不仅可以检测分辨率转换所需要的时间量，而且可以检测由视频信号处理器2a执行所有视频信号处理所需要的时间量。
当视频信号处理器2a处理诸如NTSC信号和PAL信号等不同制式的视频信号时，例如，由视频信号处理器2a执行的处理时间可以根据要处理的信号的制式的不同而不同。检测器2a3检测该处理时间。
检测器2a3为时间信息转换器4(具体地说，是输入单元4a)提供由检测到的时间表示的延迟信息。
输入单元4a在接收到延迟信息时，将延迟信息存储到存储器4b中。
加法器4c在接收到MPEG流时，将由存储器4b中的延迟信息表示的时间与流中的音频数据中的PTS和DTS相加。加法器4c为MPEG解码器1(具体地说，是分离电路1a)提供具有修正的PTS和DTS的MPEG流。
根据本实施例，时间信息转换器4对音频数据中的PTS进行修正，以使输出音频声音的时刻延迟如下时间量，即由视频信号处理器2a检测到的处理时间量。
在这种情况下，可以根据随视频信号的制式而变化的处理时间量来自动修正音频输出信息。因此，可以同步音频声音和视频图像，即使视频信号的制式发生了改变。
此外，要存储到存储器4b中的值可以被自动修正为合适的值。
此外，在本实施例中，视频信号处理器2a检测进行视频信号的分辨率转换所需要的时间量。
在这种情况下，如果由于进行分辨率转换而使视频图像延迟，则可以将输出音频声音的时刻延迟与视频图像的延迟相同的时间量。
可以对时间信息转换器4进行如下修正。
时间信息转换器4在接收到MPEG流时，修正音频数据中的PTS和视频数据中的PTS，以使音频声音延迟的时间量长于视频图像延迟的时间量。
时间信息转换器4为MPEG解码器1提供MPEG流，该MPEG流具有音频数据中的修正的PTS和视频数据中的修正的PTS。
图8为框图，示出了时间信息转换器40，作为时间信息转换器4的修正实例。在图8中，与图6中所述相同的组件被标以相同的标号。时间信息转换器4的修正实例可以根据需要进行修改，并不限于如图8所示的构造。
在图8中，时间信息转换器40包括输入单元4a、存储器4b、存储器40a和加法器40b。
存储器40a存储表示视频图像的时间延迟的信息。
在接收到MPEG流时，加法器40b将由存储器40a中的信息表示的时间延迟与流中的视频数据的PTS和DTS相加。加法器40b将该时间延迟和由存储器4b中的延迟信息表示的处理时间与流中的音频数据中的PTS和DTS相加。
加法器40b为MPEG解码器1(具体地说，是分离电路1a)提供具有修正的PTS和DTS的MPEG流。
在这种情况下，MPEG解码器1的操作如下。
MPEG解码器1在接收到来自时间信息转换器40的MPEG流时，在由通过加法器40b修正的视频数据中的DTS表示的时刻，对流中的视频数据进行解码，以生成视频信号。
然后，MPEG解码器1在由通过加法器40b修正的视频数据中的PTS表示的时刻，为显示单元2提供视频信号，并且将与该视频信号相对应的视频图像显示在显示单元2上。
此外，MPEG解码器1在接收到MPEG流时，在由通过加法器40b修正的音频数据中的DTS表示的时刻，对流中的音频数据进行解码，以生成音频信号。
然后，MPEG解码器1在由通过加法器40b修正的音频数据中的PTS表示的时刻，为音频输出单元3提供音频信号，并且从音频输出单元3供给与该音频信号相对应的音频声音。
根据该修正例子，时间信息转换器40对音频数据中的PTS和视频数据中的PTS进行修正，以使音频声音延迟的时间量长于视频图像延迟的时间量。
在这种情况下，对视频数据中的PTS和音频数据中的PTS二者都进行修正。因此，可以将输出与视频图像有关的音频声音的时刻延迟如下时间量，即视频图像由于视频信号处理而延迟的时间量。因此，可以在不使用用于音频信号的任何延迟电路的情况下，来同步视频图像和音频声音。
由于音频数据中的PTS和视频数据中的PTS被修正，因此可以调节音频和视频输出时刻。
尽管使用特定术语讲述了本发明的优选实施例，但是这种讲述只是用于解释目的，并且可以理解，在不偏离权利要求的精神和范围的情况下，可以对本发明的实施例进行更改和变化。
权利要求
1.一种视频和音频重放设备，用于对基于视频和音频流的视频图像和声音进行重放，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述设备包括修正单元，在接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，音频输出时刻被延迟；解码器，解码音频数据以生成音频信号，并在由通过所述修正单元修正的音频输出信息表示的音频输出时刻提供音频信号，并且解码视频数据以生成视频信号，并在由视频输出信息表示的视频输出时刻提供视频信号；显示单元，显示与从所述解码器提供的视频信号相对应的视频图像；以及音频输出单元，提供与从所述解码器提供的音频信号相对应的声音。
2.如权利要求1所述的视频和音频重放设备，其中所述显示单元包括视频信号处理器，用于处理视频信号并且还用于检测视频信号的处理所需的时间量；并且所述修正单元对音频输出信息进行修正，以使音频输出时刻延迟由所述视频信号处理器检测到的时间量。
3.如权利要求2所述的视频和音频重放设备，其中所述视频信号处理器执行视频信号的分辨率的转换。
4.如权利要求1所述的视频和音频重放设备，其中视频和音频流是MPEG流；视频数据包括在MPEG视频流中；音频数据包括在MPEG音频流中；并且音频输出信息和视频输出信息包括PTS。
5.如权利要求4所述的视频和音频重放设备，其中所述修正单元在接收到MPEG流时，还对音频数据中的表示解码时刻的DTS进行修正。
6.一种视频和音频重放设备，用于对基于视频和音频流的视频图像和音频声音进行重放，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述设备包括修正单元，在接收到视频和音频流时，对音频输出信息和视频输出信息进行修正，以使音频声音延迟的时间量长于视频图像延迟的时间量；解码器，解码音频数据以生成音频信号，并在由通过所述修正单元修正的音频输出信息表示的音频输出时刻提供音频信号，并且解码视频数据以生成视频信号，并在由通过所述修正单元修正的视频输出信息表示的视频输出时刻提供视频信号；显示单元，显示与从所述解码器提供的视频信号相对应的视频图像；以及音频输出单元，供给与从所述解码器提供的音频信号相对应的音频声音。
7.一种视频和音频重放设备，用于对基于视频和音频流的视频图像和声音进行重放，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述设备包括修正装置，在接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，音频输出时刻被延迟；解码装置，解码音频数据以生成音频信号，并在由通过所述修正装置修正的音频输出信息表示的音频输出时刻提供音频信号，并且解码视频数据以生成视频信号，并在由视频输出信息表示的视频输出时刻提供视频信号；显示装置，显示与从所述解码装置提供的视频信号相对应的视频图像；以及音频输出装置，供给与从所述解码装置提供的音频信号相对应的声音。
8.一种视频和音频重放设备，用于对基于视频和音频流的视频图像和音频声音进行重放，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述设备包括修正装置，在接收到视频和音频流时，对音频输出信息和视频输出信息进行修正，以使音频声音延迟的时间量长于视频图像延迟的时间量；解码装置，解码音频数据以生成音频信号，并在由通过所述修正装置修正的音频输出信息表示的音频输出时刻提供音频信号，并且解码视频数据以生成视频信号，并在由通过所述修正装置修正的视频输出信息表示的视频输出时刻提供视频信号；显示装置，显示与从所述解码装置提供的视频信号相对应的视频图像；以及音频输出装置，供给与从所述解码装置提供的音频信号相对应的声音。
9.一种由视频和音频重放设备实施的视频和音频重放方法，用于对基于视频和音频流的视频图像和声音进行重放，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述方法包括a)接收视频和音频流；b)当接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，延迟音频输出时刻；c)解码视频数据以生成视频信号，并且在由视频输出信息表示的视频输出时刻提供视频信号；d)解码音频数据以生成音频信号，并且在由修正的音频输出信息表示的音频输出时刻提供音频信号；e)显示与提供的视频信号相对应的视频图像；以及f)供给与提供的音频信号相对应的声音。
10.如权利要求9所述的视频和音频重放方法，其中步骤e)包括g)处理提供的视频信号；h)检测对提供的视频信号进行处理所需的时间量；i)显示与处理的视频信号相对应的视频图像，并且步骤b)包括j)对音频输出信息进行修正，以使音频输出时刻延迟检测到的时间量。
11.如权利要求10所述的视频和音频重放方法，其中步骤g)包括k)执行对视频信号的分辨率进行转换的处理。
12.如权利要求9所述的视频和音频重放方法，其中视频和音频流是MPEG流；视频数据包括在MPEG视频流中；音频数据包括在MPEG音频流中；并且音频输出信息和视频输出信息包括PTS。
13.如权利要求12所述的视频和音频重放方法，其中步骤b)包括i)当接收到MPEG流时，还对表示音频数据的解码时刻的DTS进行修正。
14.一种由视频和音频重放设备实施的视频和音频重放方法，用于对基于视频和音频流的视频图像和音频声音进行重放，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述方法包括接收视频和音频流；在接收到视频和音频流时，对音频输出信息和视频输出信息进行修正，以使音频声音延迟的时间量长于视频图像延迟的时间量；解码视频数据以生成视频信号，并且在由修正的视频输出信息表示的视频输出时刻提供视频信号；解码音频数据以生成音频信号，并且在由修正的音频输出信息表示的音频输出时刻提供音频信号；显示与提供的视频信号相对应的视频图像；以及供给与提供的音频信号相对应的声音。
15.一种改变视频和音频流的输出时刻的设备，视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述设备包括修正单元，在接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，延迟音频输出时刻。
16.如权利要求15所述的设备，其中，在视频和音频流中的音频输出时刻被修正之后，对视频和音频流中包含的视频信号进行处理，并且，所述修正单元对音频输出信息进行修正，以使音频输出时刻延迟由处理视频信号所需的时间量。
17.如权利要求16所述的设备，其中所述对视频信号进行处理包括执行视频信号的分辨率的转换。
18.如权利要求15所述的设备，其中视频和音频流是MPEG流；视频数据包括在MPEG视频流中；音频数据包括在MPEG音频流中；并且音频输出信息和视频输出信息包括PTS。
19.如权利要求18所述的设备，其中所述修正单元在接收到MPEG流时，还对音频数据中的表示解码时刻的DTS进行修正。
20.一种改变视频和音频流的输出时刻的方法，其中视频和音频流包括具有表示视频输出时刻的视频输出信息的视频数据，以及具有表示音频输出时刻的音频输出信息的音频数据，所述方法包括a)接收视频和音频流；以及b)当接收到视频和音频流时，对音频输出信息进行修正，以便在保持视频输出信息不变的情况下，延迟音频输出时刻。
21.如权利要求20所述的方法，还包括在视频和音频流中的音频输出时刻被修正之后，对视频和音频流中包含的视频信号进行处理，其中，所述步骤b)包括对音频输出信息进行修正，以使音频输出时刻延迟对视频信号进行处理所需的时间量。
22.如权利要求21所述的方法，其中，所述对视频信号进行处理包括执行视频信号的分辨率的转换。
23.如权利要求20所述的方法，其中视频和音频流是MPEG流；视频数据包括在MPEG视频流中；音频数据包括在MPEG音频流中；并且音频输出信息和视频输出信息包括PTS。
24.如权利要求23所述的方法，其中所述步骤b)还包括当接收到MPEG流时，对表示音频数据的解码时刻的DTS进行修正。
全文摘要
一种视频和音频重放设备及方法、输出时刻改变设备及方法。当接收到MPEG流时，时间信息转换器对流中的音频数据的PTS进行修正，以便在保持流中的视频数据的PTS不变的情况下，使输出音频声音的时刻延迟如下时间量，即由视频信号处理器执行视频信号处理所需要的时间量。因此，即使在执行诸如分辨率转换等视频信号处理时，也能够在不使用用于音频信号的任何延迟电路的情况下，在视频图像和音频声音之间进行同步。
文档编号H04N7/24GK1901656SQ20061009322
公开日2007年1月24日 申请日期2006年6月23日 优先权日2005年7月19日
发明者小柳和幸, 三原知浩 申请人:日本电气视象技术株式会社