用于可变帧速率记录的视频记录设备的制作方法

专利名称：用于可变帧速率记录的视频记录设备的制作方法
技术领域：
本发明涉及一种视频记录设备，如摄像机等，更具体地，涉及一种适合于通过代替使用胶片，数字地转换帧速率来提供电影中的慢动作效果或快动作效果的视频记录设备，以及一种用于配置视频记录设备的复用方法、画面编码方法、程序和记录介质。

背景技术：
传统上，利用胶片来拍摄和编辑电影。传统的基于胶片的视频记录设备通过以胶片的快进或慢放改变记录帧速率来提供电影中的慢动作效果或快动作效果。
半导体技术、计算机技术和高密度记录技术的进步提高了广播设备系统的画面质量和性能。现在，正在以利用VTR和基于计算机的非线性编辑工具的数字影院系统来生产越来越多的电影。这些新方法包括一种以能够通过控制成像部分中的CCD(电荷耦合器件)驱动方法、将成像的帧速率设置为任意数值的多帧速率成像设备来数字地提供慢动作效果和快动作效果的方法。
例如，由Katsuyuki Taguchi和Minoru Namikawa于2003年4月发表在由Shashin-Kogyou Publishing Inc.出版的“video α”第19卷/第4号、序列号为180上的“TECHNIQUE CALLED‘VARIABLE FRAMERATE FUNCTION’”描述了一种能够以多帧速率成像设备来数字地提供慢动作效果和快动作效果的VTR。此设备能够以1帧/秒为步长从4帧/秒到60帧/秒地改变帧速率，以逐渐驱动CCD。为了简单起见，在以后的描述中，成像速率为X帧/秒，以及将从CCD输出的画面信号称为Xp画面信号。尽管在“TECHNIQUE CALLED‘VARIABLE FRAME RATEFUNCTION’”的示例中能够以1帧/秒的步长来改变帧速率，但X不必是整数，而可以将其设置为实数范围内的任意数。
CCD输出是Xp画面信号。在包括在多帧速率成像设备中的VTR部分中，将通过所谓的下拉处理(其表示将每一帧重复一次或更多次)变化为60帧/秒的信号记录为60p画面信号。将应用其中针对每一帧完成压缩的所谓帧内压缩的VTR用作这里的VTR，从而在已压缩视频数据中获得任意帧。
也就是说，多帧速率成像设备具有包括被称为EVF(电子取景器)的液晶板的取景器。EVF可以典型地只显示60p画面信号，而不能以拍摄的帧速率来显示画面信号，如12帧/秒。必须对Xp画面信号进行下拉处理，以成为能够在EVF上显示的60p画面信号，从而使EVF能够显示CCD输出显示的Xp画面信号。将通过下拉处理得到的60p画面信号记录在VTR上。
在播放时，通过磁带播放通过下拉处理得到的60p画面信号。传统的视频记录设备通过从60p画面信号中获得Xp画面信号(下拉处理之前的信号)，并以被称为“帧速率转换器”的特定设备改变其时间轴从而使帧速率为24帧/秒，并在VTR中，将该信号记录24p画面信号，以便进行编辑，来提供慢动作效果和快动作效果。


发明内容
但是，在只需要记录Xp画面信号的情况下，当其在应用帧内压缩的VTR中记录通过下拉处理而得到的60p画面信号时，传统的视频记录设备消耗了相当多的记录介质。
此外，需要被称为“帧速率转换器”的特定设备在从VTR播放之后执行Xp画面信号的获得和时间轴转换以生成24p画面信号。
考虑到上述问题，本发明的目的在于提供一种视频记录设备、一种复用方法、一种画面编码方法、一种程序和一种记录介质，消耗少量的记录介质，并且在播放时不需要任何特定的设备。
为了解决上述问题，本发明的第一方面是一种视频记录设备，包括 复用装置，操作用于对定义了解码时间的时间管理信息和通过执行对输入画面信号的压缩编码而产生的压缩画面数据进行复用，以及操作用于输出系统流；以及 记录装置，操作用于将系统流记录在记录介质上； 其中当输入画面信号的记录帧速率不同于用于播放在记录、播放和解码系统流之后获得的画面信号的预设播放帧速率时，所述复用装置对与预设播放帧速率相对应的时间管理信息与压缩画面数据进行复用。
本发明的第二方面是根据本发明第一方面的视频记录设备，包括画面编码装置，操作用于执行对输入画面信号的压缩编码，并输出压缩画面信号。
本发明的第三方面是根据本发明第一方面的视频记录设备，其中压缩画面数据是通过对输入画面信号的一些帧执行帧间压缩而产生的。
本发明的第四方面是根据本发明第一方面的视频记录设备，其中压缩画面数据是根据从能够在成像期间改变帧速率的成像装置获得的输入画面信号而产生的。
本发明的第五方面是根据本发明第一方面的视频记录设备，其中所述复用装置操作用于执行符合MPEG标准的复用，而且时间管理信息包括用作解码和输出(显示)的定时基准的PCR或SCR，其中PTS表示输出每个解码帧的定时，而DTS表示解码定时。
本发明的第六方面是根据本发明第一方面的视频记录设备，其中所述复用装置具有时钟，操作用于产生时间管理系统，所述时钟具有可以根据当记录帧速率和播放帧速率相同时所使用的基准值而改变的频率；以及 其中当记录帧速率不同于播放帧速率时，所述复用装置根据基准值改变所述时钟的频率，并使用改变后的频率来产生时间管理信息。
本发明的第七方面是根据本发明第六方面的视频记录设备，其中当记录帧速率为X帧/秒(X是实数)，而播放帧速率为Y帧/秒时，所述复用装置将所述时钟的频率变为X和Y相同时的基准值的X/Y倍，并使用改变后的频率来产生时间管理信息。
本发明的第八方面是根据本发明第一方面的视频记录设备，其中当记录帧速率为X帧/秒(X是实数)，而播放帧速率为Y帧/秒时，所述复用装置计算时间管理信息，从而使时间管理信息之间的差值是相应基准时间管理信息之间的差值的X/Y倍，其中在X和Y相同时所产生的时间管理信息为基准时间管理信息。
本发明的第九方面是根据本发明第一方面的视频记录设备，其中当记录帧速率不同于播放帧速率时，所述复用装置以不同于基准复用间隔的复用间隔来产生定时基准信息，其中基准复用间隔是记录帧速率与播放帧速率相同的情况下、针对时间管理信息中的定时基准信息(RCR)的复用间隔。
本发明的第十方面是根据本发明第九方面的视频记录设备，其中当记录帧速率为X帧/秒(X是实数)，而播放帧速率为Y帧/秒时，所述复用装置产生定时基准信息，从而使时间管理信息中的定时基准信息(PCR)是基准复用间隔的X/Y倍，其中基准复用间隔是X和Y相同的情况下的复用间隔。
本发明的第十一方面是一种视频记录设备，包括 画面编码装置，操作用于执行对输入画面信号的压缩编码，并输出压缩画面数据； 复用装置，操作用于对其他信息和压缩画面数据进行复用，并输出系统流；以及 记录装置，操作用于将系统流记录在记录介质上； 其中所述画面编码装置操作用于在记录帧速率不同于播放帧速率时，根据基准数据速率来改变压缩画面数据的数据速率，并执行对输入画面信号的压缩编码，其中基准数据速率是当输入画面信号的记录帧速率与在播放在记录、播放和解码系统流之后而获得的画面信号时预设的播放帧速率相同时的压缩画面数据的播放数据速率。
本发明的第十二方面是根据本发明第十一方面的视频记录设备，其中当记录帧速率不同于播放帧速率时，所述画面编码装置执行对输入画面信号的压缩编码，从而使播放压缩画面数据期间的数据速率近似匹配于基准数据速率。
本发明的第十三方面是根据本发明第十二方面的视频记录设备，其中当记录帧速率为X帧/秒(X是实数)，播放帧速率为Y帧/秒且基准数据速率为R比特/秒(R是实数)时，所述画面编码装置执行速率控制，从而以R×(X/Y)比特/秒的数据速率对输入画面信号进行压缩编码。
本发明的第十四方面是根据本发明第十三方面的视频记录设备，其中系统流是符合MPEG2标准的流；以及 其中所述画面编码装置操作用于分别将表示用于速率控制的输入画面帧速率的picture_rate设置为X、将表示压缩画面数据的目标速率的bit_rate设置为R×(X/Y)。
本发明的第十五方面是根据本发明第十二方面的视频记录设备，其中当记录帧速率为X帧/秒(X是实数)，播放帧速率为Y帧/秒且基准数据速率为R比特/秒(R是实数)时，所述画面编码装置执行速率控制，从而以R比特/秒的数据速率执行对其帧速率为Y的输入画面信号的压缩编码，而与作为X的输入画面信号的帧速率无关。
本发明的第十六方面是根据本发明第十五方面的视频记录设备，其中系统流是符合MPEG2标准的流；以及 其中所述画面编码装置操作用于分别将表示用于速率控制的输入画面帧速率的picture_rate设置为Y、将表示压缩画面数据的目标速率的bit_rate设置为R。
本发明的第十七方面是根据本发明第十一方面的视频记录设备，其中当记录帧速率不同于播放帧速率时，所述画面编码装置根据记录帧速率改变与播放帧速率相对应的、播放期间的压缩画面数据的数据速率。
本发明的第十八方面是一种视频记录设备，包括 复用装置，操作用于对其他信息和通过对画面信号进行压缩编码而产生的压缩画面数据进行复用，并输出系统流；以及 记录装置，操作用于将系统流记录在记录介质上； 其中所述复用装置操作用于在记录帧速率不同于播放帧速率时，根据基准数据速率来改变系统流的记录系统数据速率，并执行复用，其中基准系统数据速率是当输入画面信号的记录帧速率与播放在记录、播放和解码系统流之后而获得的画面信号的预设播放帧速率相同时的系统流播放数据速率。
本发明的第十九方面是根据本发明第十八方面的视频记录设备，其中当记录帧速率不同于播放帧速率时，所述复用装置执行对压缩编码画面信号的复用，从而使与播放帧速率相对应的、播放期间的系统流的数据速率近似匹配于基准系统数据速率。
本发明的第二十方面是根据本发明第十九方面的视频记录设备，其中所述复用装置操作用于即使X不同于Y且系统流的数据速率为Rts比特/秒(Rts是Rts>R的实数)，执行复用，从而当已经对压缩画面数据进行了压缩编码以便能够以R比特/秒对压缩画面数据进行解码时，在所述复用装置向所述记录装置输出系统流时，系统流的输出数据速率为Rts×(X/Y)比特/秒，其中记录帧速率为X帧/秒(X是实数)，播放帧速率为Y帧/秒，以及X和Y相同时的压缩画面数据的播放数据速率为基准数据速率R比特/秒(R是实数)。
本发明的第二十一方面是根据本发明第十八方面的视频记录设备，其中当记录帧速率不同于播放帧速率时，所述复用装置根据输入画面信号的帧速率，改变播放期间系统流的数据速率。
本发明的第二十二方面是根据本发明第二方面的视频记录设备，包括有效帧检测装置，操作用于通过利用输入有效帧标记从输入画面信号中获得有效帧标记，并在输入画面信号是通过将每一帧重复一次或更多次而产生的画面信号时，以及当输入了表示作为用于产生所述输入画面信号的原始帧的有效帧的有效帧标记时，向所述画面编码装置输出所获得的有效帧。
本发明的第二十三方面是根据本发明第一方面的视频记录设备，其中所述复用装置操作用于除压缩画面数据之外，还输入声音数据，以及(1)当记录帧速率和播放帧速率相同时，所述复用装置对输入声音数据和系统流进行复用，以及(2)当记录帧速率不同于播放帧速率时，所述复用装置不对输入声音数据和系统流进行复用。
本发明的第二十四方面是根据本发明第一方面的视频记录设备，包括声音转换装置，其中当除压缩画面数据之外还输入声音数据时，以及(1)当记录帧速率和播放帧速率相同时，所述声音转换装置输出声音数据，作为记录声音数据，而并不改变输入声音数据的采样频率；以及(2)当记录帧速率不同于播放帧速率时，所述声音转换装置将输入声音数据的采样频率转换为不同的频率，并输出声音数据，作为记录声音数据；以及 其中所述复用装置操作用于将输出记录声音数据复用在系统流中。
本发明的第二十五方面是根据本发明第二十四方面的视频记录设备，其中所述声音转换装置操作用于将输入声音数据的采样频率转换为X和Y不同时的频率的X/Y倍，其中记录帧速率为X帧/秒(X是实数)，而播放帧速率为Y帧/秒(Y是实数)。
本发明的第二十六方面是根据本发明第一方面的视频记录设备，其中系统流包括多个分组；以及 其中所述记录装置操作用于将定义了播放时间的分组播放时间管理信息复用在包括在系统流中的分组中，并将其记录在记录介质上； 其中所述记录装置操作用于在记录帧速率不同于播放帧速率时，根据基准分组播放时间信息来改变分组播放时间信息，并复用此信息； 其中基准分组播放时间信息是记录帧速率和播放帧速率相同时的分组播放时间信息。
本发明的第二十七方面是根据本发明第二十六方面的视频记录设备，其中所述记录装置具有时钟，操作用于产生分组播放时间信息，其频率可以根据记录帧速率和播放帧速率相同时所使用的基准值而改变；以及 其中当记录帧速率不同于播放帧速率时，所述记录装置根据基准值改变所述时钟的频率，并使用改变后的频率来产生分组播放时间管理信息。
本发明的第二十八方面是根据本发明第二十七方面的视频记录设备，其中当记录帧速率为X帧/秒(X是实数)，而播放帧速率为Y帧/秒时，所述记录装置将所述时钟的频率变为X和Y相同时的基准值的X/Y倍，并使用所述时钟来产生分组播放时间管理信息。
本发明的第二十九方面是根据本发明第二十六方面的视频记录设备，其中当记录帧速率为X帧/秒(X是实数)，而播放帧速率为Y帧/秒时，所述记录装置计算分组播放时间信息，从而使连续分组播放时间信息的数值之间的差近似为相应基准分组播放时间信息的数值之间的差的X/Y倍。
本发明的第三十方面是根据本发明第二十九方面的视频记录设备，其中所述记录装置操作用于当所述记录装置计算相应分组播放时间信息的数值之间的差，从而使分组播放时间信息近似为连续基准分组播放时间信息的差值的X/Y倍时，从多个数值中选择相应分组播放时间信息的差来进行确定，并计算分组播放时间信息，从而所选结果的平均值是基准分组播放时间信息的差的X/Y倍。
本发明的第三十一方面是一种视频记录设备，包括 画面编码装置，操作用于对从能够改变成像期间的帧速率的成像装置获得的输入画面信号进行压缩编码，并输出压缩画面数据；以及 记录装置，操作用于将输出压缩画面数据记录在记录介质上； 其中将压缩画面数据以成像期间的帧速率记录在记录介质上；以及 其中将记录在记录介质上的压缩画面数据转换为预先确定的预定播放帧速率。
本发明的第三十二方面是一种复用方法，包括 对定义了解码时间的时间管理信息和通过执行对画面信号的压缩编码而产生的压缩画面数据进行复用，并输出系统流；以及 将系统流记录在记录介质上； 其中当输入画面信号的记录帧速率不同于用于播放在记录、播放和解码系统流之后而获得的画面信号的预设播放帧速率时，所述复用对与预设播放帧速率相对应的时间管理信息与压缩画面数据进行复用。
本发明的第三十三方面是一种复用方法，用于对定义了解码时间的时间管理信息和压缩画面数据进行复用，所述压缩画面数据已经对其帧速率为X帧/秒(X是实数)的X画面信号进行了压缩编码，从而能够以R比特/秒(R是实数)的播放比特率将X画面信号解码为其帧速率为Y帧/秒(Y是实数)的Y画面信号； 其中所述方法包括对标准时间管理信息进行复用，从而使管理信息的数值之间的差为X/Y倍；以及 其中当X＝Y时，基准时间管理信息是要复用在已经进行了压缩编码从而能够以R比特/秒的播放比特率解码X画面信号的压缩画面数据上的时间管理信息。
本发明的第三十四方面是一种复用方法，用于对定义了解码时间的时间管理信息和压缩画面数据进行复用，所述压缩画面数据已经被进行了压缩编码，从而能够将其帧速率为X帧/秒(X是实数)的X画面信号解码为其帧速率为Y帧/秒(Y是实数)的Y画面信号； 其中所述方法包括控制时间管理信息中的定时基准信息(PCR)，从而使相乘间隔为Y/X倍。
本发明的第三十五方面是一种画面编码方法，包括 对输入画面信号进行压缩编码，并输出压缩画面数据； 对其它信息与压缩画面数据进行复用，并输出系统流；以及 将系统流记录在记录介质上； 其中在记录帧速率不同于播放帧速率时，所述执行压缩编码根据基准数据速率改变压缩画面数据的记录数据速率，并对输入画面信号进行压缩编码，其中基准数据速率是当输入画面信号的记录帧速率与播放在记录、播放和解码系统流之后而获得的画面信号的预设播放帧速率相同时的压缩画面数据播放数据速率。
本发明的第三十六方面是一种画面编码方法，用于对其帧速率为X帧/秒(X是实数)的X画面信号进行压缩编码，从而能够以R比特/秒(R是实数)的播放比特率将X画面信号解码为其帧速率为Y帧/秒(Y是实数)的Y画面信号，所述方法包括 获得播放帧速率Y和播放比特率R； 输入用于成像的帧速率值X； 将用于速率控制的输入画面帧速率picture_rate设置为X，将压缩画面数据的目标速率bit_rate设置为R·(X/Y)；以及 利用picture_rate和bit_rate的值来执行压缩编码的速率控制。
本发明的第三十七方面是一种画面编码方法，用于对其帧速率为X帧/秒(X是实数)的X画面信号进行压缩编码，从而能够以R比特/秒(R是实数)的播放比特率将X画面信号解码为其帧速率为Y帧/秒(Y是实数)的Y画面信号，所述方法包括 获得播放帧速率Y和播放比特率R； 输入用于成像的帧速率值X； 将用于速率控制的输入画面帧速率picture_rate设置为Y，将压缩画面数据的目标速率bit_rate设置为R；以及 利用picture_rate和bit_rate的值来执行压缩编码的速率控制。
本发明的第三十八方面是一种与计算机一起使用的程序，所述程序包括 操作用于使计算机对定义了解码时间的时间管理信息和通过执行对输入画面信号的压缩编码而产生的压缩画面数据进行复用，以及使计算机输出系统流的可执行代码；以及 操作用于使计算机将系统流记录在记录介质上的可执行代码； 其中当输入画面信号的记录帧速率不同于用于播放在记录、播放和解码系统流之后而获得的画面信号的预设播放帧速率时，所述操作用于使计算机进行复用的可执行代码对与预设播放帧速率相对应的时间管理信息与压缩画面数据进行复用。
本发明的第三十九方面是一种与计算机一起使用的程序，所述程序包括 操作用于使计算机执行对输入画面信号的压缩编码，并输出压缩画面数据的可执行代码； 操作用于使计算机对其他信息和压缩画面数据进行复用，并输出系统流的可执行代码；以及 操作用于使计算机将系统流记录在记录介质上的可执行代码；以及 其中所述操作用于使计算机执行压缩编码的可执行代码操作用于在记录帧速率不同于播放帧速率时，根据基准数据速率来改变压缩画面数据的数据速率，并执行对输入画面信号的压缩编码，其中基准数据速率是当输入画面信号的记录帧速率与在播放在记录、播放和解码系统流之后而获得的画面信号时预设的播放帧速率相同时的压缩画面数据播放数据速率。
本发明的第四十方面是一种与计算机一起使用的程序，所述程序包括 操作用于使计算机对其他信息和通过对画面信号进行压缩编码而产生的压缩画面数据进行复用，并使计算机输出系统流的可执行代码；以及 操作用于使计算机将系统流记录在记录介质上的可执行代码； 其中所述操作用于使计算机进行复用的可执行代码操作用于在记录帧速率不同于播放帧速率时，根据基准数据速率来改变系统流的记录系统数据速率，并执行复用，其中基准系统数据速率是当输入画面信号的记录帧速率与播放在记录、播放和解码系统流之后而获得的画面信号的预设播放帧速率相同时的系统流播放数据速率。
本发明的第四十一方面是一种包含根据本发明第三十八方面所述的程序的计算机可读介质。
本发明的第四十二方面是一种包含根据本发明第三十九方面所述的程序的计算机可读介质。
本发明的第四十三方面是一种包含根据本发明第四十方面所述的程序的计算机可读介质。
本发明的第四十四方面是根据本发明第十一方面的视频记录设备，其中所述复用装置操作用于除压缩画面数据之外，还输入声音数据，以及(1)当记录帧速率和播放帧速率相同时，所述复用装置对输入声音数据和系统流进行复用，以及(2)当记录帧速率不同于播放帧速率时，所述复用装置不对输入声音数据和系统流进行复用。
本发明的第四十五方面是根据本发明第十八方面的视频记录设备，其中所述复用装置操作用于除压缩画面数据之外，还输入声音数据，以及(1)当记录帧速率和播放帧速率相同时，所述复用装置对输入声音数据和系统流进行复用，以及(2)当记录帧速率不同于播放帧速率时，所述复用装置不对输入声音数据和系统流进行复用。
本发明的第四十六方面是根据本发明第十一方面的视频记录设备，包括声音转换装置，其中当除压缩画面数据之外还输入声音数据时，以及(1)当记录帧速率和播放帧速率相同时，所述声音转换装置输出声音数据，作为记录声音数据，而并不改变输入声音数据的采样频率；以及(2)当记录帧速率不同于播放帧速率时，所述声音转换装置将输入声音数据的采样频率转换为不同的频率，并输出声音数据，作为记录声音数据；以及 其中所述复用装置操作用于将输出记录声音数据复用在系统流中。
本发明的第四十七方面是根据本发明第十八方面的视频记录设备，包括声音转换装置，其中当除压缩画面数据之外还输入声音数据时，以及(1)当记录帧速率和播放帧速率相同时，所述声音转换装置输出声音数据，作为记录声音数据，而并不改变输入声音数据的采样频率；以及(2)当记录帧速率不同于播放帧速率时，所述声音转换装置将输入声音数据的采样频率转换为不同的频率，并输出声音数据，作为记录声音数据；以及 其中所述复用装置操作用于将输出记录声音数据复用在系统流中。



图1是示出了具有根据本发明实施例1的视频记录设备的成像/记录装置的方框图； 图2是图1中的每个部件的信号波形的示意图； 图3是示出了根据本发明实施例1的视频记录设备2的详细方框图； 图4是图1和图3中的各个部件的信号波形的示意图； 图5是示出了允许在播放时进行解码的比特缓冲器36的数据容量和VBV缓冲器容量的示意图； 图6是示出了速率控制装置32中的进程的流程图； 图7是示出了要添加到STC时钟产生装置53上的结构的方框图； 图8是在慢动作情况下、图1和图3中的各个部件的信号波形的示意图； 图9是示出了在慢动作的情况下、允许在播放时进行解码的比特缓冲器36的数据容量和VBV缓冲器容量的示意图； 图10是示出了根据本发明实施例2的视频记录设备2的方框图； 图11是在将MPEG2-TS记录在记录装置23上时、存储分组定时的概念图； 图12是添加有ATS的TS分组的示例； 图13是用于再现添加有ATS的TS分组的播放定时的电路的示例； 图14是示出了在成像帧速率值X＝(8/1.001)fps时、各个部件的操作的时间图； 图15是示出了在成像帧速率值X＝14.985fps时、各个部件的操作的时间图； 图16是示出了在成像帧速率值X＝14.985fps且对TS分组之间的分数时间间隔进行寻址时、各个部件的操作的示意图；以及 图17是示出了ATS数值产生装置90的典型结构的方框图。

具体实施例方式 根据本发明的视频记录设备、画面编码方法、复用方法、程序和记录介质可以提供一种通过上述结构只记录有效帧(X画面信号)而消耗少量记录介质的视频记录设备。还可以提供一种在其基于预设播放帧速率进行压缩编码处理和复用处理的同时进行播放时，不需要任何特定装置的视频记录设备。
现在，将参照附图对根据本发明的视频记录设备、画面编码方法和复用方法进行描述。
[实施例1] 图1是示出了具有根据本发明实施例1的视频记录设备的成像/记录装置的方框图。
在图1中，参考数字1表示成像装置，2表示视频记录设备，3表示电子取景器(此后缩写为EVF)，4表示麦克风，5表示控制部分，6表示60p画面信号，7表示用于从60p画面信号中获得与从CCD10输出的Xp画面信号相对应的有效帧的有效帧标记。
参考数字10表示可以渐进地进行扫描的CCD，11表示帧存储器，12表示用于进行摄像处理的摄像处理部分，13表示CCD驱动电路，以及14表示用于切换并输出与多帧速率相对应的驱动脉冲的驱动脉冲切换电路。
参考数字20表示用于从60p画面信号中获得有效帧并输出所述帧作为Xp画面信号的有效帧获得部分，21表示用于对Xp画面信号进行MPEG视频压缩编码并输出压缩画面数据的画面编码部分，22表示用于通过对定义了解码时间的时间管理信息和与输入压缩画面数据有关的其他所需数据或压缩声音数据进行复用来输出MPEG-TS(传送流)形式的系统流的TS复用部分，23表示用于将系统流记录在记录介质上的记录部分，以及24表示声音编码部分。
本实施例中的画面编码部分21是本发明画面编码装置的示例，本实施例中的TS复用部分22是本发明复用装置的示例，以及本实施例中的记录部分23是本发明记录装置的示例。
接下来，将对本实施例的操作进行描述。
成像装置1可以如“背景技术”中所描述的传统成像装置那样改变成像装置的帧速率。控制部分5从用户操纵部分(未示出)接收由用户设置的成像帧速率值X和播放帧速率值Y，并向每个部分输出与这些数值相对应的控制信号。在稍后的描述中，播放帧速率值Y为24帧/秒。在本实施例中，将CCD的成像帧速率看作X帧/秒，并将从CCD输出的画面信号称为Xp画面信号，如“背景技术”中所述。
驱动脉冲切换电路14从控制部分5接收控制信号，产生成像Xp画面信号所需的驱动脉冲，并将这些脉冲输出到CCD驱动电路13。CCD驱动电路13通过将来自驱动脉冲切换电路14的驱动脉冲转换为预定电压来驱动CCD 10。CCD 10向帧存储器11输出所成像的Xp画面信号。
图2是图1中的每个部件的信号波形的示意图。参考数字502表示来自CCD 10的输出信号。尽管在图2中，来自CCD 10的输出信号表现为实际的Xp画面信号，输出信号只需包括与Xp画面信号相对应的画面信息，而同步信号的格式不必与Xp画面信号的格式相同。
帧存储器11输出通过写入与来自CCD 10的Xp画面信号有关的画面信息并针对相同的帧读出该画面信息多次的下拉处理而得到的60p画面信号。摄像处理部分12对60p画面信号执行预定的摄像处理，作为60p画面信号，并向EVF 3和有效帧获得部分20输出作为由502b表示的60p画面信号的信号。EVF 3可以通过以60帧/秒显示画面容易地显示与Xp画面信号有关的画面信息。
画面信息根据通过下拉处理而得到的60p画面信号中的Xp画面信号而改变。如502c所示，在画面信息之间的过渡处，向有效帧获得部分20输出用于从60p画面信号中获得与Xp画面信号相对应的有效帧的有效帧标记7。尽管有效帧标记7适合于与画面信号6相分离地输出，可以对其进行复用，并在画面信号6的垂直消隐周期中输出。
有效帧获得部分20使用有效帧标记7从60p画面信号中获得Xp画面信号，并向画面编码部分21输出Xp画面信号。画面编码部分21对输入Xp画面信号进行MPEG视频压缩编码，并输出压缩画面数据。这里，对Xp画面信号进行压缩编码，根据播放时的24帧/秒执行对压缩编码速率的控制和报头的添加。如果当在正常记录模式下(即，成像帧速率和播放帧速率相同(X＝24))记录画面时，基准数据速率为R比特/秒，画面编码部分21执行速率控制，将Xp画面信号压缩编码为R·(X/24)比特/秒。稍后将详细描述此处理。
另一方面，将以麦克风4记录的声音信号输入到声音编码部分24，进行音频压缩编码，并输出压缩声音数据。可以根据画面信号的帧速率转换来处理声音信号。换句话说，在声音信号的采样频率为Fa而压缩编码之后的基准数据速率为Ra的情况下，根据输入画面信号的帧速率，将声音信号的采样频率转换为(X/24)，并通过执行速率控制对声音信号进行压缩，从而在执行音频压缩编码时，压缩声音数据的数据速率将为Ra·(X/24)。或者，可以将采样频率根据输入画面信号的帧速率被转换为(X/24)的声音数据复用在输入声音信号上，而不执行压缩编码。
也就是说，当输入画面信号的帧速率等于播放时系统流的帧速率时，声音编码部分24输出声音数据，作为记录声音数据，而无需改变输入声音数据的采样频率。当输入画面信号的帧速率不同于播放时系统流的帧速率时，声音编码部分24可以将输入声音数据的采样频率转换为另一频率，并输出声音数据，作为记录声音数据。
针对仅当X＝24时产生并复用压缩声音数据，否则不产生也不复用压缩声音数据的情况，描述了本实施例，作为更为简化的实现示例。
换句话说，TS复用部分22输入声音数据和压缩画面数据。当输入画面信号的帧速率等于播放时系统流的帧速率时，TS复用部分22将输入声音数据复用到系统流中。当输入画面信号的帧速率不同于播放时系统流的帧速率时，TS复用部分22并不将输入声音数据复用到系统流中。
TS复用部分22对定义了解码时间的信息、与从画面编码部分21输入的压缩画面数据有关的其他必需信息以及从声音编码部分24输入的压缩声音数据进行复用，并输出由502d表示的、MPEG-TS格式的系统流。
在502d等中，例如，“I2”中的“I”表示I画面，即帧内编码画面(内编码画面)，例如，“B0”中的“B”表示B画面，即双向预测编码画面，例如，“P5”中的“P”表示P画面，即两帧之间的前向预测编码画面(预测编码画面)。因此，与“背景技术”中所描述的传统视频记录设备不同，本实施例的视频记录设备利用针对B画面或P画面的帧间压缩以及帧内压缩。
在记录部分22中记录从TS复用部分22输出的系统流。时间管理信息包括作为编码和输出(显示)的定时基准的PCR(程序时钟基准)、指示输出每个编码帧的定时的PTS(显示时标)以及指示解码定时的DTS(解码时标)。
当向外部解码装置输出记录在本实施例的视频记录设备的记录部分23中的系统流并由该解码装置解码输出系统流时，利用PCR产生用作此解码装置的操作基准的STC(系统时钟)。然后，对解码装置进行控制，从而在根据STC、规定为PTS/DTS的时刻执行解码和显示。因此，当对Xp画面信号进行压缩编码和复用时，需要改变PCR、PTS和DTS的数值，从而按照与播放其中对24p画面信号进行了压缩编码和复用的系统流的情况相同的方式，在播放时进行控制。因此，当Xp画面信号的帧速率不同于要记录在记录在记录部分23中的、播放时系统流的预设帧速率时，TS复用部分22将与播放时系统流的预设帧速率相对应的时间管理信息复用到压缩画面数据中。本实施例的Xp画面信号的帧速率是本发明的记录帧速率的示例，以及本实施例的播放时系统流的预设帧速率是本发明的播放帧速率的示例。稍后将对此进行描述。
在播放时，按照与如502e所示、以基准数据速率播放24p画面信号相同的形式来播放系统流。还按照与如502f所示、针对通常的24p画面信号相同的方式来解码压缩画面数据。最后，对已解码24p画面信号进行所谓的2-3下拉，成为60帧/秒的渐进或交织画面，以便与通常用在本实施例的视频记录设备和画面监视器之间的接口相兼容，然后输出。因此，当执行压缩编码时，画面编码部分21必须根据此2-3下拉来设置“repeat_first_field、top_field_first”。
图3是更为详细地示出了根据本发明实施例1的视频记录设备2的方框图。
将相同的数字赋予与图1中相同的组件，并省略对其的详细描述。参考数字30和31表示用于存储与用于改变处理输入帧的次序的MPEG2的B画面相对应的帧的帧存储器，32表示用于进行控制以使压缩画面数据的数据速率接近目标值的速率控制装置，33表示减法器，34表示DCT装置，35表示量化装置，36表示用于暂时存储压缩画面数据以便以恒定的速率输出压缩画面数据的比特缓冲器，37表示反量化装置，38表示IDCT装置，39表示加法器，以及40和41表示用于存储基准画面的帧存储器。包括上述部分的画面编码部分21执行MPEG2视频压缩编码。由于MPEG2视频是本领域普通技术人员所公知的标准，将省略基于该标准的各个术语的详细描述，如DCT或量化等，以及关联模块的操作。由于在MPEG2标准中，通常将要进行编码的单幅画面称为“画面”，在以下的描述中，可互换地使用“画面”和“帧”。因此，术语“帧”和“画面”在这里表示相同的意思。
参考数字50和55表示用于产生分别与画面和声音相对应的PES分组的PES生成装置，51和56表示用于通过分割输入PES分组并复用所需信息来产生TS分组的TS生成装置，52表示用于对TS分组和分别针对画面和声音的另一所需分组进行复用的复用装置，以及53表示用于产生被用作创建时间管理信息的时间轴基准的STC时钟的STC时钟产生装置。STC时钟产生装置53是根据本发明的时钟的示例。参考数字54表示用于在管理复用定时的同时根据STC时钟产生时间管理信息的STC控制电路。包括上述部分的TS复用部分22执行MPEG2-TS复用。由于MPEG2-TS是本领域普通技术人员所公知的标准，将省略基于该标准的各个术语的详细描述，如PES(分组化元素流)或TS(传送流)等，以及关联模块的操作。
图4是图1和图3中的各个部件的信号波形的示意图。504d是示出了帧存储器30的内容的图表，504e是示出了帧存储器31的内容的图表，504f是示出了帧存储器40的内容的图表，以及504g是示出了帧存储器41的内容的图表。为了将用于存储与B画面相对应的帧的帧存储器限制为30和31这两个，必须以与如504h所示的、针对60p画面信号的速度相同的速度对Xp画面信号的每一帧进行编码。
现在，将详细描述根据本发明的画面压缩编码中的速率控制。如上所述，在本发明中，画面编码部分21必须执行速率控制，从而将Xp画面信号压缩编码为R·(X/24)比特/秒。
图5是示出了允许在播放时进行解码的画面编码部分中的比特缓冲器36的数据容量和VBV缓冲器容量的示意图。速率控制装置32必须控制压缩画面数据的数据速率，从而播放时的VBV缓冲器不会产生上溢或下溢，如505e所示。505c是示出了在记录期间如何根据时间记录每一帧的图表。505d是示出了在播放时如何根据时间播放每一帧的图表。在比较505c和505d时，尽管数据的内容完全相同，但时间轴根据成像帧速率X与播放帧速率24之间的比值而发生改变。因此，505c中的数据速率是505d中的数据速率乘以X/24。
结果是，505b中比特缓冲器的数据容量下降(被输出)的速率是压缩画面数据的标准速率R乘以X/24。另一方面，画面之间的距离是成像帧速率X的倒数。因此，假定505b和505e的垂直轴的比例相同，通过分别对各个帧进行压缩编码而产生的数据量是相等的，即各个垂直线(垂直线100和200、101和201)的长度是相等的。也就是说，每个压缩帧的目标数据量与在速率控制装置32压缩24p画面信号时相同(尽管输入画面信号是Xp画面信号)。
图6是示出了速率控制装置32中的进程的流程图。在步骤S1，设置播放帧速率Y(在本实施例中固定为24)和播放比特率R(压缩画面数据的标准速率)。例如，可以根据利用开关或GUI(图形用户接口)屏幕上的输入来确定Y和R的数值，或者可以从在实现视频记录设备时已经存储了预设值的非易失性存储器中读出。然后，在步骤S2，根据利用开关或GUI屏幕上的输入来设置成像帧速率值X。
在步骤S3，计算要用于控制实际速率的参数。其中之一是picture_rate，为输入到画面编码部分21中的画面的帧速率。可以将成像帧速率值X用作picture_rate。另一个是bit_rate，为压缩画面数据的目标速率。可以通过将播放比特率R与成像帧速率和播放帧速率之间的比值(X/Y)相乘得到bit_rate。
最后，在步骤S4，利用在步骤S3获得的picture_rate和bit_rate的数值，对压缩编码进行速率控制。可以将任何方法用于速率控制。例如，可以使用公知的且用于对MPEG2进行标准化的MPEG2 TM5(测试模型5)中的速率控制方法。下面，将对使用MPEG2 TM5的控制方法的情况进行描述。
在速率控制装置32处，例如，根据公式1所示的表达式来设置要分配给特定GOP(画面组)之后的下一画面的目标数据量。在公式1中，Ti是要分配给下一个I画面的目标数据量。Tp是要分配给下一个P画面的目标数据量。Tb是要分配给下一个B画面的目标数据量。Kp和Kb是依赖于量化装置35的常数。Rgop是分配给当前处理的GOP的剩余比特量。Np和Nb是包括在当前处理的GOP中的P画面和B画面的剩余数量。Xi、Xp和Xb是指示先前的已编码I画面、P画面和B画面分别如何复杂的指示符。由于在MPEG TM5中公开了参数的细节，将省略对其的描述。
[公式1] 提供公式2，作为公式1中用于编码的序列顶部的Rgop的初始值。之后，每次对画面进行编码时，更新此初始值。N是包括在序列中的第一GOP中的画面的数量。
[公式2] 因此，通过公式1获得的Ti、Tp和Tb根据作为压缩画面数据的目标速率的bit_rate和作为帧速率的picture_rate而改变。当根据MPEG2 TM5(利用公式1和公式2)实现速率控制装置32时，通过使bit_rate为R·(X/24)、以及使picture_rate为X，可以容易地提供如505b所示的缓冲器控制。
当输入画面信号的帧速率为X帧/秒时，系统流播放时的预设帧速率为Y帧/秒，并且包括在系统流中的压缩画面数据播放时的基准数据速率为R比特/秒，画面编码部分21执行速率控制，从而以R×(X/Y)比特/秒的数据速率对输入画面信号进行压缩编码。
应当指出，在图5中每个压缩帧的目标数据量与压缩24p画面信号时相同(尽管输入画面信号是Xp画面信号)。因此，步骤S3的处理可以变为设置picture_rate＝Y且bit_rate＝R的另一处理。在上述针对MPEG2TM5的速率控制中，与速率控制相关联的每个表达式根据bit_rate/picture_rate的比例而变化，并使用picture_rate和bit_rate，当bit_rate为R且picture_rate为Y时，可以获得相同的结果，如公式3所示。
[公式3] 也就是说，当输入画面信号的帧速率为X帧/秒，系统流播放时的预设帧速率为Y帧/秒，以及包括在系统流中的压缩画面数据播放时的基准数据速率为R比特/秒时，画面编码部分21可以获得与上述相同的结果，即使其执行速率控制从而以R比特/秒的数据速率对其帧速率为Y的画面信号进行压缩编码，与为X的输入画面信号的帧速率无关。
换句话说，当输入画面信号的帧速率不同于播放时的帧速率时，画面编码部分21对输入画面信号进行压缩编码，从而使信号实质上与压缩画面数据播放时的基准数据速率相匹配，其对应于播放时的帧速率。因此，画面编码部分21可以控制压缩画面数据的数据速率，从而在播放时，VBV缓冲器不会产生上溢或下溢。
接下来，将详细描述根据本发明实施例的时间管理信息的产生。如上所述，本实施例需要在改变RCR、PTS和DTS的同时，改变对PCR、PTS和DTS进行复用的时间间隔，从而可以与播放其中已经在播放时对24p画面信号进行了压缩编码和复用的系统流的情况一样执行相同的控制。
当如505d所示播放并解码如505c所示的已编码、已复用和已记录MPEG2-TS时，在505c复用的PCR、PTS和DTS之间的时间间隔是其在505d中的时间间隔的24/X倍。因此，当输入画面信号的帧速率为X帧/秒，而播放时系统流的预设帧速率为Y帧/秒时，用于复用PCR、PTS和DTS的时间间隔是当其以X帧/秒进行记录时的基准时间间隔的Y/X倍，其中针对相同数值的X和Y的时间间隔为基准时间间隔。另一方面，利用在计数STC时钟所需的定时处的计数来产生这些数值，在TS复用部分22处将所述计数用作时间轴的基准，并用于复用。因此，当复用间隔为24/X倍时，数值之间的间隔也为24/X倍，而这导致了一些问题。
因此，在本发明中，调整PCR、PTS和DTS的数值。一种方式在于产生将STC时钟保留在通常频率的PCR、PTS和DTS(其数值之间的间隔为24/X倍)，然后利用计算器或软件，将这些数值与X/24相乘，并对结果进行复用。也就是说，当输入画面信号的帧速率为X帧/秒，而系统流播放时的预设帧速率为Y帧/秒时，TS复用部分22计算时间管理信息，并进行复用，从而时间关联信息之间的差值是基准时间管理信息之间的差值的X/Y倍，其中在X和Y相同时所产生的时间管理信息为基准时间管理信息。通过在PCR、PTS和DTS的输出级添加计算器或CPU，可以容易地得到用于执行此处理的STC控制电路54。
由于在MPEG2标准中，将复用PCR的间隔定义为最大100ms，需要控制复用间隔，以便以播放bit_rate R符合此约束。这可以通过控制STC控制电路54从而使复用PCR的间隔为实际时间中统一乘以24/X的时间来实现。也就是说，当输入画面信号的帧速率为X帧/秒，而系统流播放时的预设帧速率为Y帧/秒时，TS复用部分22添加PCR，从而使复用PCR的间隔为基准复用间隔的Y/X倍，其中在X和Y相同时的复用间隔为基准复用间隔。
符合上述约束的另一种方式在于将用于产生PCR、PTS和DTS的数值的STC时钟乘以X/24。为了产生此STC时钟，需要在STC时钟产生装置53上添加电路。
图7是示出了要添加到STC时钟产生装置53上的结构的方框图。参考数字60表示用于控制分频器61、65和66的分频比P、Q和R的控制装置，61表示用于将要输入的标准STC时钟的频率分为1/Q的分频器，62表示相差检测器，63表示环路滤波器，64表示VCO，以及65表示用于将来自VCO64的输出的频率分为1/P的分频器。控制装置60、分频器61、相差检测器62、环路滤波器63、VCO 64和分配器65构成了PLL。参考数字66表示用于将来自VCO 64的输出的频率分为1/R的分频器。
利用图7所示的结构，可以将STC时钟的频率(27MHz)变为{27MHz·(P/Q)}/R。因此，可以通过利用此结构将STC时钟的频率与X/24相乘来产生复用505c的MPEG2-TS所需的PCR、PTS和DTS的数值。
也就是说，当输入画面信号的帧速率为X帧/秒，而播放时系统流的预设帧速率为Y帧/秒时，TS复用部分22将STC时钟的频率变为X和Y相同时的基准值(27MHz)的X/Y倍，并利用改变后的STC时钟，产生PCR、PTS和DTS的相应数值。因此，当输入画面信号的帧速率不同于播放时系统流的预设帧速率时，TS复用部分22可以根据基准值(27MHz)改变STC时钟的频率，并利用改变后的STC时钟产生PCR、PTS和DTS的相应数值。
尽管图4和5示出了其中成像帧速率X＝8的播放时的三倍快动作的情况，也可以通过增加成像帧速率X使其高于播放帧速率的24帧/秒，在播放时提供慢动作，如图8和9所示。在这种情况下，通过比较图4和图8、图5和图9可以看到，由于成像帧速率X和播放帧速率24只是在数值上不同，通过应用上述结构和操作，可以在播放时提供慢动作。
因此，实施例1提供了一种视频记录设备，其通过只记录有效帧(Xp画面信号)而消耗少量的记录介质。实施例1可以节约记录介质，由于针对画面压缩编码，其可以通过利用MPEG2来实现高压缩比，这是一种代替了在帧内进行编码、在帧间进行编码的技术。实施例1还可以提供一种不需要特定装置的视频记录设备，由于该设备根据预设播放帧速率(24帧/秒)来执行压缩编码处理和复用处理，并且能够以相同的帧速率(24帧/秒)和相同的数据速率R来播放记录，如同按照通常方式对其记录那样。
无需说明，尽管通过假设将所成像的Xp画面信号下拉处理为60p画面信号，并输入视频记录设备，而且播放帧速率为24帧/秒，对实施例1进行了描述，也可以将下拉处理并转换为N帧/秒的画面信号输入视频记录设备中，并能够以M帧/秒来处理播放帧速率。
[实施例2] 图10是示出了根据本发明实施例2的视频记录设备2的方框图。将相同的数字赋予与图1和3中相同的组件，并省略对其的详细描述。参考数字90表示ATS数值产生装置，91表示ATS复用装置，以及92表示记录介质控制部分。
如果当从TS复用装置22向记录装置23传送MPEG2-TS时，实际可用的传送速率较高，则将间歇地传送TS分组。为了将MPEG2-TS有效地记录在记录介质上，可以去除实际传送流中不必要的信息，如空分组等。在这种情况下，要将TS分组输入到记录装置23以及要从记录装置23输出TS分组的定时需要以某种方式记录在记录介质上。为此目的，蓝光盘等使用到达时标(ATS)。
下面，将描述ATS对一般记录和播放的作用。图11是在将MPEG2-TS记录在记录装置23上时、存储分组定时的概念图。511a是从TS复用装置22到记录装置23的输入TS。511b是要实际记录在记录介质上的TS。511c是从记录介质播放和输出的TS。300～302是空分组。303～305表示不具有TS分组的定时。
当511a的输入TS包括如300～302所示的空分组时，应当从用于记录的511b的记录TS中去除这些空分组，因为空分组并不包括记录和播放画面和声音所需的信息。但是，由于到达定时具有针对MPEG2-TS的PCR中的定时信息，如果如511b所示进行播放，则不能播放正确的STC。因此，需要空出空分组的部分，而不具有任何分组，如511c所示，或者需要再次插入空分组，并输入。为了实现这一目的，511b将指示了分组的输入定时的ATS添加到要记录的每个分组的顶部，并对其进行记录。
图12是添加有ATS的TS分组的示例。在MPEG2-TS的TS分组的188字节之前添加了4字节的ATS。例如，通过将计数从以27MHz进行操作以便作为ATS数值产生装置90自由运行的32比特的计数器输入到ATS复用装置91中，并将每个TS分组输入ATM记录装置23中时的计数添加在TS分组前，来实现此ATS的添加。
用于再现添加有ATS的TS分组的播放定时的电路的示例如图13所示。参考数字70表示平滑缓冲器，71表示记录在平滑缓冲器上的ATS，72表示比较器，73表示读出控制部分，以及74表示计数器。
将511b所示的记录TS输入平滑缓冲器70。在记录在平滑缓冲器70中的TS分组中，读取出添加在最先记录的TS分组上的ATS71，并输入比较器72。另一方面，计数器74以27MHz时钟(与用于在记录时产生ATS相同的频率)进行操作，并将计数输出到比较器72。
当播放如511b所示的记录TS时，将添加到要最先播放的TS分组上的ATS加载到计数器74中，而输出第一TS分组。然后，比较器72将添加到随后TS分组上的ATS 71的数值与来自计数器74的数值进行比较。当数值匹配时，比较器72将匹配信息通知给读出控制部分73。当从比较器72输入匹配信息时，读出控制部分73执行控制，从而在该时刻，从平滑缓冲器70中读出添加有ATS 71的TS分组。利用这些操作，在相同的定时，输出从平滑缓冲器70中读出的TS分组，作为如511c所示的输入TS(511a)。作为一部分，511c所示的303～305不具有添加有相应ATS的TS分组，它将是空白的，而不具有任何数据。
已经描述了ATS在通常记录和播放时的作用，即成像帧速率值X和播放帧速率值Y相同时。例如，当记录介质是存储器时，必须指定地址，以对其进行存取。因此，如果原样使用输入传送流，则不能存储分组间的定时，以便记录和播放。因此，在系统中，需要再现输入时分组间的定时，如ATS等。
现在，将描述当将成像帧速率值X和播放帧速率值Y设置为不同的数值时、本发明的结构和操作。这里，假设播放帧速率Y＝(24/1.001)fps。还假设播放时MPEG2-TS的基准数据速率Rts＝24Mbps。
图14是示出了在成像帧速率值X＝(8/1.001)fps时、各个部件的操作的时间图。514a是从PES生成装置50输出的记录侧视频PES。以8fps的帧速率(有效帧速率)，按照包括一帧画面信号的数据，将PTS/DTS添加到记录侧视频PES上。因此，添加PTS/DTS的间隔反映出成像帧速率。
514b是从ATS复用装置91输出的添加有ATS的MPEG2-TS。认为在八比特并行数据线上、以27MHz时钟、向记录介质控制部分92传输与从ATS复用装置91输出的添加有ATS的MPEG2-TS有关的数据。将514e所示的视频PES分为多条，并将每一条存储在TS分组的有效载荷中(TSP)。
如514b所示的MPEG2-TS的数据速率为播放时的基准数据速率Rts乘以成像帧速率X与播放帧速率Y之间的比值，即Rts·(X/Y)＝24Mbps·(8fps/24fps)＝8Mbps。
因此，由于与27MHz时钟的八比特并行信号线的传输容量相比，MPEG2-TS的数据量较小，TS分组之间的每个间隔均为空白的，不具有任何数据。记录时TS分组之间的间隔为188·27MHz/(8Mbps/8)＝5076，其中Rts·(X/Y)＝8Mbps。
也就是说，当输入画面信号的帧速率为X帧/秒，而播放时系统流的预设帧速率为Y帧/秒时，对压缩画面数据进行压缩编码，从而能够以R比特/秒对压缩画面数据播放时的基准数据速率进行解码，以及系统流播放时的数据速率为Rts比特/秒(其中Rts是Rts>R的实数)，TS复用部分22进行复用，从而使系统流的输出数据速率为Rts×(X/Y)比特/秒，与将系统流记录在记录部分23中相同。即使输入画面信号的帧速率不同于播放时的帧速率，TS复用部分22对压缩画面数据进行复用，从而使压缩画面数据实质上与对应于播放时的帧速率的、系统流播放时的基准数据速率相匹配。
将ATS添加在每个TS分组之前。由于ATS在上述通常的记录和播放中使用以27MHz计数的记录时TS分组的到达时间的数值，连续ATS之间的差值为5076，与记录时的TS分组间隔相同。但是，当将成像帧速率值X和播放帧速率值Y设置为不同数值时，添加为ATS的数值需要根据播放时的定时而设置。稍后将对此进行描述。
514c是从记录介质播放并再现了原始TS分组的定时的MPEG2-TS。但是，定时并不与记录时精确相同。数据速率相差成像帧速率与播放帧速率之间的比值。在此阶段，首先去除ATS，但为了简单，利用仍具有ATS的附图来描述本实施例。
514d是与514c中的MPEG2-TS相分离的视频PES。还是在此图中，数据速率也相差针对记录侧视频PES(514a)的成像帧速率与播放帧速率之间的比值。
在图14中，根据播放侧，即514c和514d，来提供复用在流中的时间基准，即ATS、PCR、PTS和DTS的数值。当Rts＝2Mbps时，由上述播放时的TS分组间隔所确定的相邻ATS之间的差值为188·27MHz/(24Mbps/8)＝1692。
也就是说，当输入画面信号的帧速率为X帧/秒，而播放时系统流的预设帧速率为Y帧/秒时，ATS数值产生装置90计算ATS，从而使ATS实质上为连续基准ATS数值之间的差的X/Y倍，其中X和Y相同时所产生的ATS数值为基准ATS数值。
可以配置此ATS数值产生装置90，以利用微型计算机上的软件，根据成像帧速率值X、播放帧速率值Y和播放时基准数据速率的数值，计算差值1692，将此数值存储在寄存器中，并顺序给出添加到每个输入TS分组上的数值。稍后，将参照图17对此进行详细描述。
可以按照另一种方式来配置ATS数值产生装置90，如通常记录中那样(通常记录时为27MHz)，将以ATS基准时钟进行操作的计数器的计数器值输入ATS基准复用装置90。这可以利用其中ATS基准时钟的频率可以通过27MHz·(X/Y)而改变的结构来实现。例如，当Y＝(24/1.001)fps且X＝(8/1.001)fps时，ATS基准时钟的频率为27MHz·(8/24)＝9MHz。作为用于改变ATS基准时钟的结构，可以使用根据本发明实施例1所述的、如图7所示的结构。实施例2的ATS基准时钟是根据本发明的时钟的示例。
也就是说，当输入画面信号的帧速率为X帧/秒，而播放时系统流的预设帧速率为Y帧/秒时，ATS数值产生装置90将ATS基准时钟的频率变为X和Y相同时的基准值的X/Y倍，并使用改变后的ATS基准时钟来产生ATS数值。当输入画面信号的帧速率与播放时系统流的预设帧速率不同时，ATS数值产生装置90通过根据基准值改变ATS基准时钟的频率来产生ATS数值。
例如，当针对每L个分组插入PCR分组时，由播放时的PCR分组确定的相邻PCR之间的差值为1692·L。当Y＝24fps时，由播放时的帧间隔确定的相邻PTS和DTS之间的差值为(1/24fps)·90kHz＝3750。设置PCR值与PTS/DTS值之间的偏移值，从而在514c和514d的定时处满足符合MPEG2标准的缓冲。
如参照图14所述，当成像帧速率X＝8fps，播放帧速率为Y＝24fps，以及播放时的基准数据速率Rts＝24Mbps时，如果以27MHz的时钟进行计数，记录和播放时TS分组间的间隔都是整数。因此，可以给出ATS的数值，而没有任何问题。但是，一些成像帧速率X使得当以27MHz的时钟进行计数时、记录时TS分组之间的间隔不是整数。将参照图15对此类示例进行描述。
图15是示出了在成像帧速率值X＝14.985fps时、各个部件的操作的时间图。515e是在从记录介质进行了播放之后并再现了原始TS分组的定时的MPEG2-TS，与514c完全相同。当根据成像帧速率与播放帧速率之间的比值、由515e计算记录侧定时时，从ATS复用装置91输出的添加有ATS的MPEG2-TS类似于515d，以及从PES生成装置50输出的记录侧视频PES类似于515c。在515d计算TS分组之间的间隔188·27MHz/(24Mbps·(14.985fps/24/1.001)fps)/8＝2707.2，产生了分数。
尽管TS分组之间的间隔实际上必须为整数，例如，如果将其向上取整为2708个时钟，针对类似于515b的515d，PCR的多个间隔展宽。另一方面，在与由成像帧速率所确定的定时精确相同的定时输出从PES生成装置50输出的记录侧视频PES，类似于515a，即与515c相同。结果，PCR与PTS/DTS之间的同步关系变得不规则，其在播放时不能如通常的24fps画面信号那样正确地播放。
图16是示出了在成像帧速率值X＝14.985fps且对TS分组之间的分数时间间隔进行寻址时、各个部件的操作的示意图。516a是从PES生成装置50输出的记录侧视频PES，与515a完全相同。516b是与516a的视频PES进行复用并添加有ATS的MPEG2-TS。这里，认为TS分组之间的间隔为2707个时钟。当根据成像帧速率与播放帧速率之间的比值计算播放时、TS分组之间的间隔时，其为1691.875个时钟，如516d所示。但是，具有这种分数的数值不能用作ATS的差值。
因此，如516c所示，当为ATS赋值时，假定连续ATS的差值为1692，则针对八个分组累积与1691.875的差，其精确为一个时钟。可以通过在为ATS赋值时，每八个分组赋一次差值1691，来寻址TS分组之间的间隔的分数。
图17示出了用于为如ATS等赋值的ATS数值产生装置90的结构。参考数字80表示差值寄存器，81表示加法器，82表示选择器，83表示ATS数值计数器，84表示ATS数值寄存器，85表示加法器，86表示比较器，以及87表示计数到J然后返回0的J计数器。配置ATS数值产生装置90，从而可以由微型计算机(未示出)来设置设置在差值寄存器80中的每个ATS差值、设置在J计数器87中的数值J以及在比较器86处与来自J计数器87的输出进行比较的数值K。当执行与图16相对应的操作时，将1691设置为ATS差值，将7设置为每个数值J和K。
利用与输入到ATS复用装置91中的TS分组的输入同步的脉冲来驱动ATS数值计数器83和J计数器87。每次输入TS分组时，J计数器87从零开始顺序计数，以及在其计数到7时，当输入下一个TS分组时，其返回零。比较器86将来自J计时器的输出与K＝7进行比较。当输出小于K时，即当输出在零和六之间时，选择器82选择来自加法器81的输出(1691+1＝1692)。当来自J计数器87的输出为7时，与K相同，选择器82选择来自差值寄存器80的输出(1691)。因此，ATS计数器83将1692添加为8个TS分组输入中、针对七个TS分组输入的差值，将针对一个TS分组的1691添加到存储在ATS数值寄存器84中的数值上。通过利用来自ATS计数器83的输出值作为要添加到TS分组上的ATS数值，可以在如516c所示的时间和数值，给出ATS。
尽管在本实施例中，从数值1691和1692中选择ATS差值，所述数值并不局限于此，并可以从三个或更多的数值中选择。
这里，假设记录时的帧速率为X，而播放时的帧速率为Y。为了计算ATS差值，从而使要添加到要以帧速率Y记录的相应TS分组上的ATS的差值是记录时要添加到连续TS分组上的ATS数值的差的X/Y倍，只需要计算ATS，从而使从多个数值中选择出作为要添加到相应分组上的ATS数值的所选数值的平均值为当其以帧速率Y进行记录时添加到相应TS分组上的ATS数值的差的X/Y倍。按照这种方式，可以寻址TS分组之间的分数间隔。
当输入画面信号的帧速率与已记录系统流的预设帧速率不同时，ATS数值产生装置90将与播放时系统流的预设帧速率相对应的ATS复用到TS分组中。
因此，实施例2提供了一种能够以与按照通常方式进行记录的设备相同的帧速率(24帧/秒)和相同的TS数据速率Rts进行播放的视频记录设备，而不需要任何特定的装置。这是因为即使在用于播放具有ATS(到达时标)的TS分组定时的记录和播放系统中，该装置仍然能够实现可变帧速率记录，并执行压缩编码和复用，以符合预设播放帧速率(24帧/秒)。
已经利用播放时的TS数据数据Rts和压缩画面信号的标准速率(播放bit_rate)R恒定而与成像帧速率值(有效帧速率)X无关的情况，对实施例1和2进行了描述。但是，Rts和R的值不必是恒定的，也可以根据X的数值而改变。
也就是说，当输入画面信号的帧速率不同于播放时的帧速率时，画面编码部分21根据输入画面信号的帧速率，改变与播放时的帧速率相对应的、播放时压缩画面数据的数据速率。
例如，为了提供针对如图8所示的60fps成像的2.5倍慢动作，其中通常记录的标准速率为9Mbps，所述装置需要以作为9Mbps的2.5倍的22.5Mbps执行编码。可以将MPEG2MP@ML编码器用于通常的记录，尽管记录60fps时的编码速度超出了MPEG2MP@ML的范围，其需要更为昂贵的复杂编码器。
当成像帧速率X＝60fps且播放帧速率Y＝24fps时，通过将通常记录时的标准速率变为6Mbps，以15Mbps执行记录时的编码。因而，在MPEG2MP@ML的范围内，编码是可用的。
利用上述操作，能够以实质上低成本的编码器提供可变帧速率的记录，以通过降低标准速率R而恶化了画面质量为代价。在这种情况下，对于典型的MPEG2-TS，以标准速率R＝6Mbps的解码是可用的。
在如图16所示的利用ATS的记录和播放的情况下，相同的处理同样是可用的。也就是说，当输入画面信号的帧速率不同于播放时的帧速率时，TS复用部分22将与播放时的帧速率相对应的、播放时系统流的数据速率变为输入画面信号的帧速率。
例如，当成像帧速率X＝60fps且播放帧速率Y＝24fps，其中针对通常记录的MPEG2-TS基准数据速率Rts为24Mbps，播放时MPEG2-TS的数据速率为24Mbps·(60fps/24fps)＝60Mbps。即使在压缩编码部分和TS复用部分，此高速率处理是困难的，可以通过在X＝60fps时，变为Rts＝16Mbps，使得记录时MPEG2-TS的数据速率为16Mbps·(60fps/24fps)＝40Mbps，容易地实现此处理。
如上所述，通过根据成像帧速率值X，改变播放时的TS数据速率Rts和压缩画面数据的标准速率R，可以用较低成本的结构得到可变帧速率的记录。
尽管通过假定将MPEG2-TS用于复用，对本发明的实施例进行了描述，复用方法并不局限于此，例如，也可以使用MPEG2-PS(程序流)。尽管通过假定将MPEG2画面编码用于画面的压缩编码，对实施例进行描述，压缩编码方法并不局限于此，例如，也可以使用MPEG4视频编码、H.264视频编码、DVC(数字录像带)中的压缩编码。
通过假定视频记录设备2具有有效帧获得部分20和画面编码部分21，对实施例进行了描述，视频记录设备2并不局限于此，视频记录设备2可以不包括有效帧获得部分20、画面编码部分21和声音编码部分24。在这种情况下，视频记录设备2外部的装置具有有效帧获得部分20、画面编码部分21和声音编码部分24。在此外部装置中处理从成像装置1输出的Xp画面信号6和有效帧标志7，并且此装置输出压缩画面数据。然后，视频记录设备2将从外部装置输出的压缩画面数据输入到TS复用部分22中，由其产生系统流。视频记录设备2可以不亲自执行对输入画面信号的压缩编码，可以输入进行了压缩编码的压缩画面数据，而只执行复用。
尽管本发明并不局限于此，通过假定在将其记录到记录介质中时，对定义了用于解码PCR的时间等的时间管理信息进行复用，对实施例进行了描述。当实施例记录在记录介质上时，其可以按照记录时的帧速率X的形式进行记录，而不对这些时间管理信息进行复用，并通过在播放时，利用帧转换器等，将记录在记录介质上的画面信号变为Y帧/秒的画面信号。
也就是说，如下执行这种情况下的操作。首先，可以改变记录时的帧速率的成像设备1对画面信号进行成像。对在画面编码部分21成像的画面信号进行压缩编码，并输出压缩画面数据。在TS复用部分22并不对输出压缩画面数据进行处理。代替地，记录部分23将从画面编码部分21输出的压缩画面数据直接记录在记录介质上。当记录部分23将压缩画面数据记录在记录介质上时，其以成像时的帧速率记录压缩画面数据。当播放记录在记录介质上的压缩画面数据时，将压缩画面数据转换为预定的帧速率，所述预定的帧速率由帧转换器等预先确定。
例如，当X为12且Y为24时，操作如下进行。成像设备1以12帧/秒拍摄画面信号。对所拍摄的画面信号进行压缩编码，并产生压缩画面数据。将压缩画面数据以12帧/秒记录在记录介质上。与实施例不同，不必将压缩画面数据与定义了PCR的解码时间等的时间管理信息进行复用。当播放记录在记录介质上的压缩画面数据时，利用帧转换器，将压缩数据转换为24帧/秒的画面信号，并输出。
因此，由于在这种情况下以拍摄画面信号的帧速率将压缩画面数据记录在记录介质上，与传统的视频记录设备相比，能够有效地节约更多的记录介质。这是因为当其首先将拍摄时的画面信号转换为能够在EVF上显示的60帧/秒的帧速率时，传统的视频记录设备将冗余的压缩画面数据记录在记录介质上，然后，压缩帧内的信号，并产生压缩画面数据，并将数据作为60帧/秒的帧速率中的画面记录在记录介质上。
根据本发明的程序是一种与计算机协作的程序，用于使计算机执行本发明的上述视频记录设备的全部或一些装置的功能。
根据本发明的记录介质是一种承载有用于使计算机执行本发明的上述视频记录设备的全部或一些装置(或器件、元件等)的功能的程序的记录介质，其中计算机可读并由计算机读出的程序与计算机一起执行各种功能。
上述本发明的术语“一些装置”表示多个装置中的一个或多个装置。
上述本发明的术语“装置的功能”表示装置的全部或一些功能。
本发明的程序的用途可以是其中将所述程序记录在计算机可读的记录介质上并与计算机协作的方案。
本发明的程序的用途可以是其中所述程序在传输介质上传输、由计算机读取并与计算机协作的方案。
本发明的数据结构包括数据库、数据格式、数据表、数据列表、数据类型。
记录介质包括ROM，以及传输介质包括如因特网、光波、无线电波和声波等传输介质。
上述本发明的计算机并不局限于如CPU等完全的硬件，也可以包括固件、OS、甚或外围设备。
如上所述，可以通过软件或硬件来实现本发明的结构。
本发明的画面记录介质对于摄像机是有用的，尤其适用于不通过改变胶片的回放速度而是通过数字帧速率转换来提供电影中的慢动作效果和快动作效果的摄像机。
权利要求
1.一种视频记录设备，包括
复用装置，用于对其他信息和通过对画面信号进行压缩编码而产生的压缩画面数据进行复用，并输出系统流；以及
记录装置，用于将系统流记录在记录介质上；
其中所述复用装置用于在记录帧速率不同于播放帧速率时，根据基准数据速率来改变系统流的记录系统数据速率，并执行复用，其中基准系统数据速率是当输入画面数据的记录帧速率与播放在记录、播放和解码系统流之后而获得的播放画面信号的预设播放帧速率相同时的系统流的播放数据速率。
2.根据权利要求1所述的视频记录设备，其特征在于当记录帧速率不同于播放帧速率时，所述复用装置执行对压缩编码画面信号的复用，从而使与播放帧速率相对应的、播放期间的系统流的数据速率近似匹配于基准系统数据速率。
3.根据权利要求2所述的视频记录设备，其特征在于所述复用装置用于即使X不同于Y且系统流的数据速率为Rts比特/秒，执行复用，从而当已经对压缩画面数据进行了压缩编码从而能够以R比特/秒对压缩画面数据进行解码时，在所述复用装置向所述记录装置输出系统流时，系统流的输出数据速率为Rts×(X/Y)比特/秒，其中记录帧速率为X帧/秒，播放帧速率为Y帧/秒，以及X和Y相同时的压缩画面数据的播放数据速率为基准数据速率R比特/秒，其中Rts是Rts>R的实数，X是实数，R是实数。
4.根据权利要求1所述的视频记录设备，其特征在于当记录帧速率不同于播放帧速率时，所述复用装置根据输入画面信号的帧速率，改变播放期间系统流的数据速率。
5.根据权利要求1所述的视频记录设备，其特征在于所述复用装置用于除压缩画面数据之外，还输入声音数据，以及(1)当记录帧速率和播放帧速率相同时，所述复用装置对输入声音数据和系统流进行复用，以及(2)当记录帧速率不同于播放帧速率时，所述复用装置不对输入声音数据和系统流进行复用。
6.根据权利要求1所述的视频记录设备，其特征在于包括声音转换装置，其中当除压缩画面数据之外还输入声音数据时，以及(1)当记录帧速率和播放帧速率相同时，所述声音转换装置输出声音数据，作为记录声音数据，而并不改变输入声音数据的采样频率；以及(2)当记录帧速率不同于播放帧速率时，所述声音转换装置将输入声音数据的采样频率转换为不同的频率，并输出声音数据，作为记录声音数据；以及
其中所述复用装置用于将输出记录声音数据复用在系统流中。
全文摘要
本发明提出了一种视频记录设备，通过数字地转换帧速率代替改变胶片的回放速度来提供慢动作效果或快动作效果，从而消耗少量记录介质，且在播放时不需要任何特定的装置。画面编码部分通过改变速率控制方法，只编码有效帧，从而在播放时，以标准数据速率获得预定的播放帧速率。TS复用部分通过只按照有效帧速率和播放帧速率的比值来转换标准STC时钟的频率，并产生PCR、PTS和DTS的数值，来进行复用。
文档编号H04N5/77GK101534405SQ20091013803
公开日2009年9月16日 申请日期2005年3月31日 优先权日2004年3月31日
发明者岛崎浩昭, 三田英明, 斋藤浩 申请人:松下电器产业株式会社