专利名称：编码装置，编码方法，解码装置，解码方法，程序，程序记录介质，数据记录介质，数据结构 ...的制作方法
技术领域：
本发明涉及编码装置、编码方法、解码装置、解码方法、程序、程序记录介质、数据记录介质、数据结构和再现装置，更具体地说，涉及允许例如将显示逐行扫描的图像，而不降低其垂直分辩率的编码装置、编码方法、解码装置、解码方法、程序、程序记录介质、数据记录介质、数据结构和再现装置。
背景技术：
近年来，处理数字数据，通过用于高效信息传输和存储的图像冗余，压缩和解码图像信号，以及使用基于例如运动图像专家组(MPEG)标准的正交变换，诸如离散余弦变换和运动补偿的图像处理装置在分发信息的广播电台，以及接收信息的普通家庭中传播。
随着图像处理装置传播，图像处理装置能处理的内容正在增加。这些内容例如是电影内容。
电影是记录在胶片(影片)上的一系列静态图像。当电影广播为例如电视广播节目或出售为视频包，图像应当被转换成图像信号(视频信号)，其是电视广播电信号。换句话说，胶片的图像需要光学地投影，然后电子地俘获。此后，对电信号，需要执行其他过程，诸如图像显示率转换。该技术通常称为电视电影。
通常，图像信号的每一秒显示的帧数，即显示率不同于影片。在许多电影片中，每秒显示24帧图像。相反，在国家电视系统委员会(NTSC)系统中，每秒显示30帧图像。因此，作为主要过程的一个，电视电影转换这些显示率。该显示率转换称为2-3折叠。
更精确地说，NTSC系统的图像信号的转换率为29.97Hz，而影片的显示率为23.96Hz。
如图1所示，能将帧图像分离成所谓场的图像。例如，帧的奇数行的像素(像素值)为前场，而帧的偶数行的像素称为后场。
另外，有时将图像分类成隔行扫描图像和逐行扫描图像。隔行扫描图像的像素的采样时间不同于逐行扫描图像。换句话说，在隔行扫描图像中，一帧的奇数行的采样时间不同于一帧的偶数行。因此，前场的采样时间不同于后场。另一方面，在逐行扫描图像中，前场的采样时间与后场的采样时间相同。
影片的图像是逐行扫描图像，以及显示为帧。NTSC系统的图像是隔行扫描图像以及显示为场。换句话说，在逐行扫描中，连续地扫描帧。因此，显示帧图像。相反，在隔行扫描中，隔行扫描帧。换句话说，交替地扫描前场和后场。因此，交替地显示帧的前场和后场的图像。
因此，电视电影执行2-3折叠来将以影片的24Hz的帧频(在下文中称为24Hz影片)转换成以NTSC系统的60Hz(精确地说，59.94Hz)的场频，或60Hz的帧频的图像(在下文中，有时称为30Hz NTSC系统)。
换句话说，如图1所示，在2-3折叠中，将24Hz影片的帧分成前场和后场。此后，将前场和后场适当地分配给组成30Hz NTSC系统的帧的场。
具体地，假定按年月日次序，用A、B、C和D表示24Hz影片的四帧，以及分别用A(1)和A(2)表示帧A分离成的前场和后场。此时，如图2所示，在2-3折叠中，前场A(1)和后场A(2)组成30Hz NTSC系统的第一帧。前场B(1)和后场B(2)组成30Hz NTSC系统的第二帧。另外，前场B(1)和后场C(2)组成NTSC系统的第三帖。前场C(1)和后场D(2)组成30HzNTSC系统的第四帧。前场D(1)和后场D(2)组成30Hz NTSC系统的第五帧。
如上所述，在2-3折叠中，组成24Hz影片的帧B的场B(1)分配给30HzNTSC系统的第二帧的前场和两个更后前场(即，第三帧的前场)。另外，组成24Hz影片的帧D的场D(2)分配给30Hz NTSC系统的第四帧的后场和两个更后后场(即，第五帧的后场)。因此，24Hz影片的每四帧转换成30Hz NTSC系统的五帧。
因此，在2-3折叠中，将影片的一帧转换成NTSC系统的两场。将影片的下一帧转换成NTSC系统的后三场。将影片的下一帧转换成NTSC系统的下二场。同样地，将影片的每一帧交替地转换成NTSC系统的两场和三场。
近年来，电视会议图像编码标准已经确定为H.264或MPEG高级视频编码(AVC)(ITU-TQ6/16或ISO/IEC14496-10)，在下文中，简写为H.264/AVC。与传统的编码(解码)系统，诸如MPEG2和MPEG4一样，H.264/AVC提供使用正交变换和运动补偿技术，压缩/解码图像信号。另外，已知尽管H.264/AVC要求比传统的编码和解码系统更多编码和解码计算量(amount？)，但H.264/AVC能实现比传统系统更高的编码效率。
图3表示压缩和编码基于H.264/AVC标准，通过2-3折叠，从影片的图像获得的NTSC系统的图像的图像编码装置的结构的例子。
将通过2-3折叠获得的NTSC系统的图像(其图像信号)逐场提供给A/D转换部1。该A/D转换部1将作为模拟信号提供的图像转换成数字信号，以及将该数字信号提供给2-3检测部2。2-3检测部2通过例如从A/D转换部1提供的图像的两场间的场间差值信息，检测2-3节奏。
换句话说，如上所述，在2-3折叠中，由于影片的每一帧交替地转换成NTSC系统的两场和三场。因此，NTSC系统的图像序列具有所谓的2-3节奏，交替地重复从NTSC系统的一个逐行扫描帧获得的两场集和从NTSC系统的一个逐行扫描帧获得的三场集。2-3检测部2检测两场集和三场集(检测2-3节奏)。
另外，2-3检测部2基于场间差值信息和2-3节奏的检测结果，确定NTSC系统的每一场的图像是逐行扫描图像还是隔行扫描图像。当通过影片的图像的2-3折叠获得提供给图3所示的图像编码装置的图像时，2-3检测部2确定从影片的一帧获得的两场的图像的集合或三场的图像的集合是逐行扫描图像。
此后，2-3检测部2通过确定为逐行扫描图像的二场的图像集或三场的图像集组成一帧的逐行扫描图像。在这种情况下，2-3检测部2组成24Hz影片的帧的图像，即，未通过2-3折叠转换的图像，以及将该图像提供给图像重排缓冲器3。
当2-3检测部2已经确定组成特定帧的二场为隔行扫描图像时，2-3检测部2将作为这些场的图像的二场的图像或由二场组成的一帧的图像提供给图像重排缓冲器3。
由通过编码场的图像还是帧的图像能获得较高编码效率而定，确定隔行扫描图像(已经确定)的二场是场的图像还是帧的图像。换句话说，当通过场的图像获得较高编码效率时，确定隔行扫描图像是场的图像。相反，当通过帧的图像能获得较高编码效率时，确定隔行扫描图像是场的图像。
图像重排缓冲器3临时存储由2-3检测部提供的图像，基于作为待编码的假定图像，在下文中，有时称为编码目标图像的预定编码顺序，重排所存储的图像，以及将编码目标图像作为宏块提供给加法器4。
当编码目标图像是内编码图像时，加法器4将编码目标图像提供给正交变换部5，而不执行任何处理。
当编码目标图像是间编码图像时，加法器4从编码目标图像，减去由运动估计/补偿(ME/MC)部12提供的估计图像，以及将合成图像提供给正交变换部5。
换句话说，运动估计/补偿部12检测在图像重排缓冲器3中存储的图像的运动矢量，从帧存储器11读取已经编码，然后解码，并变为编码目标图像的参考图像的图像，以及根据运动矢量，补偿参考图像的运动。因此，运动估计/补偿部12在最佳估计模式(具有最高编码效率的估计模式)，生成编码目标图像的估计图像。运动估计/补偿部12将所估计的图像提供给加法器4。加法器4从编码目标图像减去由运动估计/补偿部12提供的估计图像，然后，将合成图像提供给正交变换部5。
根据从编码目标图像减去估计图像的减法结果，正交变换部5对由加法器4提供的编码目标图像或差值图像执行正交变换，例如离散余弦变换，获得变换系数，以及将所获得的变换系数提供给量化(Q)部6。
量化部6在速率控制部13的控制下，通过量化步骤，量化由正交变换部5提供的变换系数，如稍后所述，以及将所获得的量化系数提供给可逆编码(VLC ENC)部7和反量化(INV Q)部9。
可逆编码部7对由量化部6提供的量化系数和由运动估计/补偿部12检测的运动矢量执行可逆编码，诸如可变长度代码编码或算术编码，以便多路传输它们。可逆编码部7将所获得的编码数据(流)提供给存储缓冲器8。
可逆编码部7将在运动矢量等等插入(复合)编码数据的所谓头部部分。
存储缓冲器8临时存储从可逆编码部7提供的编码数据以及以预定速率输出它们。从存储缓冲器8输出的编码数据记录在例如数字通用盘(DVD0上。该DVD在例如非专利文献1，“DVD Specification for Read-Only Disc Part3；Version 1.1，December 1997”中描述过。
另外，将存储缓冲器8的编码数据的存储量提供给速率控制部13。速率控制部13根据存储缓冲器8的存储量，反馈控制从量化部6提供的量化步骤，以便存储缓冲器8不溢出或下溢。
相反，反量化部9通过与量化部6的量化步骤相同的量化步骤，逆向量化由量化部6提供的变换系数，以及将所获得的变换系数提供给反正交变换部10。反正交变换部10对由反量化部9提供的变换系数执行反正交变换处理。因此，反正交变换部10解码初始内编码图像或解码已经从初始间编码图像减去估计图像的差值图像，以及将解码图像提供给帧存储器11。
帧存储器11存储内编码图像的解码图像。帧存储器11从运动估计/补偿部12获得已经从间编码图像减去的估计图像，以便差值图像，以及使估计图像与差值图像的解码图像相加以便解码间编码图像。帧存储器11存储间编码图像的解码图像。
运动估计/补偿部12通过在帧存储器11中，存储为参考图像的图像，生成估计图像。
接着，图4表示解码通过图3所示的图像编码装置获得的编码数据的图像解码装置的结构的例子。
编码数据提供给存储缓冲器21。存储缓冲器21临时存储编码数据。可逆解码(VLC DEC)部22正确地读取在存储缓冲器21中存储的编码数据，以及正确地分离包含在其中的信息以及对分离信息执行例如可变长度编码解码、算术解码等等。另外，可逆解码部22使用可变长度编码解码、算术解码等等，获得量化系数和运动矢量，以及将量化系数提供给反量化部23，以及将运动矢量提供给运动估计/补偿部27。
反量化部23反量化由可逆解码部22提供的量化系数，获得变换系数，以及将变换系数提供给反正交变换部24。反正交变换部24对由反量化部23提供的变换系数，执行反正交变换处理，诸如反离散余弦变换。反正交变换部24将内编码图像的解码图像或间编码图像的差值图像的解码结果作为宏块提供给加法器24。
当反正交变换部24输出间编码图像的解码结果时，加法器25将解码图像提供给帧存储器26和图像重排缓冲器28。相反，当反正交变换部24输出间编码图像的差值图像的解码结果时，加法器25将解码结果与由运动估计/补偿部27提供的估计图像相加以便解码间编码图像。加法器25将解码图像提供给帧存储器26和图像重排缓冲器28。
帧存储器26将由加法器25提供的解码图像存储为参考图像。运动估计/补偿部27根据由可逆解码部22提供的运动矢量，对在帧存储器26中存储的参考图像，执行运动补偿，生成估计图像，以及将它们提供给加法器25。
另一方面，图像重排缓冲器28临时存储由加法器25提供的解码图像以及按显示顺序重排它们。由于在图像重排缓冲器28中存储的图像是24Hz影片的图像，根据稍后所述，基于H.264/AVC系统，复合(包含在)编码数据(中)的pic_struct，图像重排缓冲器28将24Hz影片的图像转换成30Hz NTSC系统的图像，其与由2-3折叠获得的图像相同，以及将所变换的图像提供给数字/模拟(D/A)转换部29。
D/A转换部29将由图像重排缓冲器28提供的图像(作为数字信号的图像信号)转换成模拟信号。显示设备(未示出)根据模拟信号，显示图像。
30Hz NTSC系统的图像，其中，已经对24Hz影片的图像执行2-3折叠，作为编码目标图像提供给图3所示的图像编码装置。
如果提供给图像编码装置的图像是满足2-3节奏的30Hz NTSC系统的图像，如在图5的第二行中所示，其中，已经对如图5的第一行中所示的24Hz影片的图像执行2-3折叠，2-3检测部2(图3)确定该图像是逐行扫描图像。
在图5中(同时在图13至图15，图22和图23中，稍后所述)，矩形表示帧或场的图像。未加水平条纹的矩形表示帧图像，而加水平条纹的图像表示场图像。
然而，如果对满足2-3节奏的30Hz NTSC系统的图像执行剪辑操作，如图5的第二行所示，图像不满足2-3节奏，如图5的第三行所示。当将这些图像提供给图像编码装置时，2-3检测部2双重地确定该图像是隔行扫描图像和逐行扫描图像。
换句话说，图5的第一行中所示的24Hz影片的帧的图像转换成30Hz NTSC系统的三场、二场、三场等等，如图5的第二行所示。另外，如图5的第二行中所示，剪辑30Hz NTSC系统的图像的第三和第四场。
在这种情况下，由于从影片的第一帧获得30Hz NTSC系统的图像的第一和第二场，即，以在第三行中所示的NTSC系统的30Hz的帧速率(以60Hz的场速率)的图像，将它们确定为逐行扫描图像。相反，由于从影片的第三和第四帧获得第三行中所示的30Hz NTSC系统的的第三和第四场，将它们确定为隔行扫描图像。另外，由于从影片的第三帧获得第三行中所示的30Hz NTSC系统的图像的第四至第六场，将它们确定为逐行扫描图像。
如上所述，将第三行中所示的30Hz NTSC系统的图像的第四场双重地确定为隔行扫描图像和逐行扫描图像。
除这种剪辑操作外，由于当对影片的图像执行2-3折叠时执行的菲林胶卷改变，导致双重确定的2-3节奏的不规则性也由2-3节奏的复位产生，由于在用于2-3折叠目标的影片的图像中包含的噪声，错误地检测2-3节奏。
如果解码装置端使用编码方法，诸如不按照逐行扫描图像或隔行扫描图像，定义将原始图像识别为编码目标图像的语法指明方法的H.264/AVC，由于编码图像不与表示该图像的扫描系统是隔行扫描还是逐行扫描的标识信息相关，没有方法来确定每一图像是隔行扫描图像还是逐行扫描图像。因此，即使编码目标图像是逐行扫描图像，解码装置端可以将其输出为隔行扫描场。因此，用于一场的垂直分辩率损失。
发明内容
从这种情形的观点做出了本发明。本发明的目的是允许显示逐行扫描图像，而不损失它们的垂直分辩率。
本发明为一种编码设备，包括用于确定该图像是隔行扫描图像还是逐行扫描图像的图像确定装置；标志设置装置，用于将该图像确定装置的确定结果设置到表示图像的扫描系统的扫描标志；信息设置装置，用于将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及复合装置，用于将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
本发明为一种编码方法，包括步骤确定该图像是隔行扫描图像还是逐行扫描图像；将该图像确定步骤的确定结果设置到表示图像的扫描系统的扫描标志；将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
本发明是一种使计算机执行编码图像的编码过程的第一程序，该编码过程包括步骤确定该图像是隔行扫描图像还是逐行扫描图像；将该图像确定步骤的确定结果设置到表示图像的扫描系统的扫描标志；将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
本发明是一种用于使计算机执行编码图像的编码过程的程序的第一程序记录介质，编码过程包括步骤确定该图像是隔行扫描图像还是逐行扫描图像；将该图像确定步骤的确定结果设置到表示图像的扫描系统的扫描标志；将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
本发明是一种数据记录介质，用于图像的编码数据，该编码数据已经与该图像的编码结果；表示每一图像的扫描系统的扫描标志；以及指定每一图像的显示系统的显示系统指定信息复合。
本发明是用于图像的编码数据的数据结构，该编码数据已经与该图像的编码结果；表示每一图像的扫描系统的扫描标志；以及指定每一图像的显示系统的显示系统指定信息复合。
本发明是一种解码设备，包括解码装置，用于解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；识别装置，用于基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；帧图像输出装置，用于使图像内插场，生成帧图像，以及当该识别装置的识别结果为隔行扫描图像时，输出它，以及当该识别装置的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及重复输出装置，用于将从帧图像输出装置输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
本发明是一种解码方法，包括步骤解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；使图像内插场，生成帧图像，以及当该识别步骤的识别结果为隔行扫描图像时，输出它，以及当该识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及将从帧图像输出步骤输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
本发明是一种使计算机执行解码图像的编码数据的解码过程的第二程序，该解码过程包括步骤解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；使图像内插场，生成帧图像，以及当该识别步骤的识别结果为隔行扫描图像时，输出它，以及当该识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及将从帧图像输出步骤输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
本发明是一种用于使计算机执行解码图像的编码数据的解码过程的程序的第二程序记录介质，该解码过程包括步骤解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；使图像内插场，生成帧图像，以及当该识别步骤的识别结果为隔行扫描图像时，输出它，以及当该识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及将从帧图像输出步骤输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
本发明是一种再现设备，包括解码装置，用于解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；识别装置，用于基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；帧图像输出装置，用于使图像内插场，生成帧图像，以及当该识别装置的识别结果为隔行扫描图像时，输出它，以及当该识别装置的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及重复输出装置，用于将从帧图像输出装置输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
在本发明的编码装置、编码方法、第一程序和第一程序记录介质中，确定图像是隔行扫描图像还是逐行扫描图像。将确定结果设置到表示图像的扫描系统的扫描标志。表示该图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息。图像的编码结果与扫描标志和显示系统指定信息复合，以及输出复合结果。
在本发明的数据记录介质和数据结构中，已经将编码数据与该图像的编码结果、表示每一图像的扫描系统的扫描标志，以及指定每一图像的显示系统的显示系统指定信息复合。
在本发明的解码装置、解码方法、第二程序和第二程序记录介质中，解码已经与该图像的编码结果、表示图像的扫描系统的扫描标志以及指定该图像的显示系统的显示系统指定信息复合的编码数据。基于该图像扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像。将该图像内插场。当识别结果为隔行扫描图像时，生成帧图像并输出。当识别结果为逐行扫描图像时，将该图像输出为帧图像。将该帧图像重复输出仅对应于显示系统指定信息的次数。
在本发明的再现装置中，解码已经与该图像的编码结果、表示图像的扫描系统的扫描标志以及指定该图像的显示系统的显示系统指定信息复合的编码数据。基于该图像扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像。将该图像内插场。当识别结果为隔行扫描图像时，生成帧图像并输出。当识别结果为逐行扫描图像时，将该图像输出为帧图像。将该帧图像重复输出仅对应于显示系统指定信息的次数。
根据本发明，能显示逐行扫描图像，而不降低垂直分辩率。
图1是描述影片的图像和NTSC系统的图像的示意图；图2是描述2-3折叠的示意图；图3是表示传统的图像编码装置的结构的例子的框图；图4是表示传统的图像解码装置的结构的例子的框图；图5是描述双重确定为隔行扫描图像和逐行扫描图像的编码目标图像的情形的示意图；图6是表示根据本发明的实施例的图像处理系统的结构的例子的框图；图7是表示在H.264/AVC中定义的pic_struct的表的示意图；图8是表示在H.264/AVC中定义的pic_struct的表的示意图；图9是表示图像编码装置101的结构的例子的框图；图10是描述图像编码装置101的过程的流程图；图11是表示图像解码装置102的结构的例子的框图；图12是描述图像解码装置102的过程的流程图；图13是描述图像编码装置101和图像解码装置102的过程的示意图；图14是描述图像编码装置101和图像解码装置102的过程的示意图；图15是描述图像编码装置101和图像解码装置102的过程的示意图；图16是表示由在H.264/AVC中定义的“按ITU-T推荐T.35 SEI注册的用户数据”的语法的表；
图17是表示在H.264/AVC中定义的“用户数据未注册SEI”，的语法的表；图18是表示scan_information()的语法的表；图19是表示编码和解码24Hz逐行扫描图像和显示60Hz逐行扫描图像的图像处理系统的结构的例子的框图；图20是表示图像编码装置201的结构的例子的框图；图21是表示图像解码装置202的结构的例子的框图；图22是描述输出控制部212如何控制显示图像输出缓冲器211的示意图；图23是描述输出控制部212如何控制显示图像输出缓冲器211的示意图；以及图24是表示根据本发明的实施例的计算机的结构的例子的框图。
具体实施例方式
接着，将描述本发明的实施例。权利要求的要素和实施例间的关系如下。关系表示在实施例中描述支持在权利要求中所阐述的本发明的具体例子。因此，即使一些具体例子在权利要求的要素中未描述，但不必然具体例子不对应于权利要求的要素。相反，即使具体例子描述为在该部分中的权利要求的要素的对应部分，也不必然这些具体例子不对应于除权利要求的要素外的其他要素。
在本部分中，不必须对应于在本发明的实施例中描述的具体例子的本发明的所有方面在权利要求书中阐述。换句话说，在本部分中的描述对应于在本发明的实施例中描述的具体例子。因此，本部分中的描述不否定存在在本专利申请的权利要求中未阐述的本发明的方面，以及可以提出分案专利申请和/或可以将本发明的其他方面添加为补正。
在本发明的权利要求1中所述的编码装置是编码图像的编码装置(例如图9所示的图像编码装置)，包括用于编码图像的编码装置(例如，图9所示的加法器4、正交变换部5、量化部6、可逆编码部7、反量化部9、反正交变换部10、帧存储器11和运动估计/补偿部12)；图像确定装置(例如执行图10所示的步骤S11的过程的图9所示的标识部11)，用于确定该图像是隔行扫描图像还是逐行扫描图像；
标志设置装置(例如，图9所示的标识部111，执行图10所示的步骤S12或S15的处理)，用于将图像确定装置的确定结果设置成表示图像的扫描系统的扫描标志)；信息设置装置(例如图9中所示的标识部111，执行图10所示的步骤S13、S17或S18的过程)，用于将表示图像的显示系统的信息设置成指定图像的显示系统的显示系统指定信息；以及复合装置(例如，图9所示的可逆编码部7)，用于将图像的编码结果与扫描标志以及显示系统指定信息复合，输出复合结果。
在本发明的权利要求8中所述的编码方法是编码图像的编码方法，包括步骤编码图像(例如图10中所示的步骤S1)；确定图像是隔行扫描图像还是逐行扫描图像(例如图10所示的步骤S11)；将图像确定步骤的确定结果设置成表示图像的扫描系统的扫描标志(例如图10中所示的步骤S12或S15)；将表示图像的显示系统的信息设置成指定图像的显示系统的显示系统指定信息(例如图10中所示的步骤S13、S17或S18)；以及将图像的编码结果与扫描标志和显示系统指定信息复合，以及输出复合结果(例如图10中所示的步骤S14)。
本发明的权利要求9中所述的程序以及如本发明的权利要求10中所述的在程序记录介质上记录的程序是使计算机执行编码图像的编码过程的程序，该编码过程包括步骤编码图像(例如图10中所示的步骤S1)；确定图像是隔行扫描图像还是逐行扫描图像(例如图10所示的步骤S11)；将图像确定步骤的确定结果设置成表示图像的扫描系统的扫描标志(例如图10中所示的步骤S12或S15)；将表示图像的显示系统的信息设置成指定图像的显示系统的显示系统指定信息(例如图10中所示的步骤S13、S17或S18)；以及将图像的编码结果与扫描标志和显示系统指定信息复合，以及输出复合结果(例如图10中所示的步骤S14)。
如本发明的权利要求13所述的解码装置是解码图像的编码数据的解码装置(例如图11所示的图像解码装置102)，包括解码装置(例如图11中所示的可逆解码部22、反量化部23、反正交变换部24、加法器25、帧存储器26和运动估计/补偿部27)，用于解码与该图像的编码结果复合的编码数据、表示图像的扫描系统的扫描标志，以及指定图像的显示系统的显示系统指定信息；识别装置(例如图11所示的I/P转换部122，执行图12中所示的步骤S33或S37的过程)，用于基于该图像的扫描标志和显示系统指定信息，将图像识别为隔行扫描图像或逐行扫描图像；帧图像输出装置(例如，图11中所示的I/P转换部122，执行图12中所示的步骤S34或S38的过程)，用于使该图像内插场，生成帧图像，以及当识别装置的识别结果为隔行扫描图像时，输出它，以及当识别装置的识别结果为逐行扫描图像时，将该图像输出为帧图像；重复输出装置(例如图11中所示的显示图像输出缓冲器123)，用于将从帧图像输出装置输出的帧图像重复输出仅对应于显示系统指定信息的次数。
本发明的权利要求21中所述的解码方法是解码图像的编码数据的解码方法，包括步骤解码与该图像的编码结果复合的编码数据、表示图像的扫描系统的扫描标志，以及指定图像的显示系统的显示系统指定信息(例如图12中所示的步骤S21)；基于该图像的扫描标志和显示系统指定信息，将图像识别为隔行扫描图像或逐行扫描图像(例如图12中所示的步骤S33或S37)；使该图像内插场，生成帧图像，以及当识别步骤的识别结果为隔行扫描图像时，输出它，以及当识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像(例如，图12中所示的步骤S34或S38)；将从帧图像输出步骤输出的帧图像重复输出仅对应于显示系统指定信息的次数(例如图12所示的步骤S35)。
本发明的权利要求22所述的程序和本发明的权利要求23中所述的记录在程序记录介质上的程序是使计算机执行解码图像的编码数据的解码过程的程序，解码过程包括步骤
解码与该图像的编码结果复合的编码数据、表示图像的扫描系统的扫描标志，以及指定图像的显示系统的显示系统指定信息(例如图12中所示的步骤S21)；基于该图像的扫描标志和显示系统指定信息，将图像识别为隔行扫描图像或逐行扫描图像(例如图12中所示的步骤S33或S37)；使该图像内插场，生成帧图像，以及当识别步骤的识别结果为隔行扫描图像时，输出它，以及当识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像(例如，图12中所示的步骤S34或S38)；将从帧图像输出步骤输出的帧图像重复输出仅对应于显示系统指定信息的次数(例如图12所示的步骤S35)。
本发明的权利要求24所述的再现装置是再现图像的编码数据的再现装置(例如图11中所示的图像解码装置(再现装置))，包括解码装置(例如图11中所示的可逆解码部22、反量化部23、反正交变换部24、加法器25、帧存储器26和运动估计/补偿部27)，用于解码与该图像的编码结果复合的编码数据、表示图像的扫描系统的扫描标志，以及指定图像的显示系统的显示系统指定信息；识别装置(例如图11所示的I/P转换部122，执行图12中所示的步骤S33或S37的过程)，用于基于该图像的扫描标志和显示系统指定信息，将图像识别为隔行扫描图像或逐行扫描图像；帧图像输出装置(例如，图11中所示的I/P转换部122，执行图12中所示的步骤S34或S38的过程)，用于使该图像内插场，生成帧图像，以及当识别装置的识别结果为隔行扫描图像时，输出它，以及当识别装置的识别结果为逐行扫描图像时，将该图像输出为帧图像；重复输出装置(例如图11中所示的显示图像输出缓冲器123)，用于将从帧图像输出装置输出的帧图像重复输出仅对应于显示系统指定信息的次数。
接着，参考附图，将描述本发明的实施例。
图6表示根据本发明的实施例的图像处理系统的结构的例子。
图6所示的图像处理系统由图像编码装置101、图像解码装置102(再现装置102)和显示设备103组成。
将例如已经对以影片的24Hz的帧频的图像(这些图像有时称为24Hz影片的图像)执行2-3折叠的、以NTSC的30Hz的帧频的图像(这些图像有时称为30Hz NTSC系统的图像)提供给图像编码装置101。图像编码装置101基于例如H.264/AVC标准，编码30Hz NTSC系统的图像，以及输出编码数据。
换句话说，图像编码装置101基于H.264/AVC标准编码所提供的图像。另外，图像编码装置101确定编码目标图像是隔行扫描图像还是逐行扫描图像，以及将所确定的结果设置成表示图像的扫描系统的扫描标志。此外，图像编码装置101将表示编码目标图像的显示系统的信息设置成指定图像的显示系统的显示系统指定信息，将图像的编码结果与扫描标志以及图像的显示系统指定信息复合，以及将复合数据输出为编码数据。
将从图像编码装置101输出的编码数据提供给记录介质104，诸如光盘、磁光盘、磁盘(包括硬盘)，或半导体存储器。将编码数据记录在记录介质104上。相反，通过非无线或无线传输媒介105，诸如互联网、电话线、非无线局域网(LAN)、电缆电视(CATV)、卫星电路、地波或无线LAN，传送可以从图像编码装置101输出的编码数据。
图像解码装置102从记录介质104读取编码数据，或从传输介质105接收它们并再现它们。换句话说，图像解码装置102基本上基于H.264/AVC标准，解码编码数据。另外，图像解码装置102将编码数据的编码图像转换成用于显示设备103的图像，以及将所转换的图像提供给显示设备103。
换句话说，当显示设备103是例如以与NTSC系统的显示速率(场速率)相同的60Hz(准确地说，59.94Hz)的显示速率(刷新速率)显示逐行扫描图像的显示设备时，图像解码装置102将解码图像转换成以60Hz帧频的逐行扫描图像，以及将它们提供给显示设备103。
具体地说，图像解码装置102根据解码图像的扫描标志和显示系统指定信息，将解码图像识别为隔行扫描图像或逐行扫描图像。当图像解码装置102已经将解码图像识别为隔行扫描图像时，图像解码装置102将场内插解码图像以及生成帧的图像(帧图像)。当图像解码装置102已经将解码图像识别为逐行扫描图像时，图像解码装置102将解码图像视为帧的图像。此后，当必要时，图像解码装置102重复输出帧图像达对应于显示系统指定信息的次数，获得60Hz逐行扫描帧图像，以及将它们提供给显示设备103。
因此，显示设备103显示60Hz逐行扫描图像。
接着，将更详细地描述图6中所示的图像编码装置101和图像解码装置102。在此之前，将描述在H.264/AVC中定义的几个语法。
H.264/AVC(ISO/IEC14496-10)定义pic_struct和ct_type如下。
pic_struct表示根据表D-1，图像应当显示为帧还是一或多场。帧加倍(pic_struct等于7)表示应当连续地显示该帧两次，以及帧三倍(pic_struct等于8)表示应当连续显示该帧三次。
注意-帧加倍便于在50p显示器上显示25p视频，以及在59.94p显示器上显示29.97视频。在每一其他帧上使用帧加倍和帧三倍能便于在59.94p显示器上显示23.98p视频。
NumClockTS由在表D-1中指定的pic_struct确定。对图像，可以达到ClockTimestamp信息的NumClockTS集，如对每一集合，由clock_timestamp_flag[i]指定。ClockTimestamp信息的集合应用于通过pic_struct，与该图像关联的场或帧。
ClockTimestamp语法要素的内容表示起始、俘获或交替理想显示的时间。该所示时间计算为ClockTimestamp＝((hH*60+mV)*60+sS)*time_scale+nFrames*(num_units_in_tick*(1+nuit_field_based_flag))+tOffset。
(D-1)以具有等于time_scale Hz的时钟频率的时钟的时钟报时为单位，相对于ClockTimestamp等于0的一些不定时间点。输出顺序和DPB输出时序不受ClockTimestamp的值影响。当具有pic_struct等于0的两个或多帧以输出顺序连续以及具有相同ClockTimestamp值时，表示这些帧表示相同内容，以及输出顺序中最后一个帧是最佳表示。注意-ClockTimestamp时间表示可以通过除与DPB输出时间非常匹配的刷新速率，有助在设备上显示。
clock_timestamp_flag[i]等于1表示多个ClockTimestamp语法要素存在，以有主立即如下。
clock_timestamp[i]等于0表示相关ClockTimestamp语法要素不存在。当NumClockTS大于1以及clock_timestamp[i]对不至一个i值等于1时，随i值增加，clockTimestamp的值将不减小。
ct_type表示源材料的扫描类型如下(隔行或逐行)代码帧的两场可以具有ct_type的不同值。当对在输出顺序中连续的两个相反奇偶性的场，ClockTimestamp相等，ct_type等于0(逐行)或ct_type等于2(未知)时，该两场表示来自相同源逐行帧。当用于任一场的ct_type的值为1(隔行)时，输出顺序中的两个连续场将具有不同clockTimestamp值。
图7表示在H.264/AVC中定义的pic_struct的表。图8表示ct_type的表。
图7中所示的表pic_struct是在H.264/AVC中定义的表D-1。图8中所示的表ct_type是在H.264/AVC中定义的ct_type的表。
H.264/AVC将定义为指定有关是否如何显示图像的显示系统的信息。图像编码装置101(图6)将pic_struct用作显示系统指定信息。
根据图7所示的表pic_struct，当将一帧指定为待与图像一起显示时，将0设置到图7中所示的最左字段Value中的图像的pic_struct。同样地，当将前场或后场指定为待与图像一起显示时，将1或2设置到图像的pic_struct。当将前场和后场指定为与图像一起按顺序显示时，将3设置到该图像的pic_struct。当将后场和前场指定为与图像一起按顺序显示时，将4设置到图像的pic_struct。当指定与图像一起按顺序待显示的前场、后场和重复前场时，将5设置到图像的pic_struct。当指定与图像一起按顺序待显示的后场、前场和重复后场时，将6设置到该图像的pic_struct。当将一帧指定为重复显示二次或三次时，将7或8分别设置到该图像的pic_struct。
因此，在H.264/AVC中，当编码目标图像为场图像时，将该图像的pic_struct的值限定到1或2。当编码目标图像是帧图像时，将图像的pic_struct值限定到0和3至8的任何一个。
相反，H.264/AVC将ct_type定义为用来计算clockTimestamp的信息。此外，ct_type是在H.264/AVC中定义的clock_timestamp_flag[i]的一个元素。将0或1设置到clock_timestamp_flag[i]。当clock_timestamp_flag[i]为0时，clock_timestamp_flag[i]不具有任何元素。当clock_timestamp_flag[i]为1时，clock_timestamp_flag[i]具有至少一个元素。
clock_timestamp_flag[i]的变量i是从0至NumClockTS范围的任一整数值。H.264/AVC定义由如图7的最右字段所示的pic_struct的值而定的NumClockTS。
图6中所示的图像解码装置101将已经设置为1的clock_timestamp_flag
的元素的ct_type用于表示该图像的扫描系统是隔行扫描还是逐行扫描的扫描标志，而不是用于计算ClockTimestamp。
图9表示图6所示的图像编码装置101的结构的例子。图像编码装置101将pic_struct用于显示系统指定信息，以及将ct_type用于扫描标志。
在图9中，用类似的参考数字表示与图3中所示的图像编码装置类似的元件以及将省略它们的描述。图9中所示的图像编码装置101基本上与图3所示相同，除前者具有pic_struct和隔行/逐行标识部111(在该图中表示为“标识部”以及在下文中，有时简称为标识部111)外。
将2-3节奏的检测结果和场间确定信息从2-3检测部2提供给标识部111。标识部111基于从与2-3检测部同名的2-3检测部2提供的2-3节奏的检测结果和场间差值信息，确定从图像重排缓冲器3输出到加法器4的编码目标图像是隔行扫描图像还是逐行扫描图像。标识部111将确定结果设置到为扫描标志的ct_type，以及将其提供给可逆编码部7。
标识部111以与例如2-3检测部2相同的方式，确定编码目标图像的扫描系统。因此，由于标识部111的确定结果变为与2-3检测部2的确定结果相同，标识部111不需要确定编码目标图像的扫描系统，而是能使用2-3检测部2的确定结果。
标识部111将表示编码目标图像的显示系统的值(即在图7中所示的Value字段中的值)设置到pic_struct。
如上所述，在H.264/AVC中，当编码目标图像是场图像时，将pic_struct的值限定到1或2。相反，当编码目标图像是帧图像时，将pic_struct的值限制到0和3至8的一个。
标识部111将表示编码目标图像的显示系统的值设置到pic_struct。
特别地，当标识部111已经确定编码目标图像是隔行扫描图像时，标识部111将由编码目标图像的显示系统而定的值设置到pic_struct，其中，当将前场指定为待与编码目标图像一起显示时，该值为1；当将后场指定为待与编码目标图像一起显示时，该值为2；当指定前场和后场与编码目标图像一起按顺序显示时，该值为3；以及当指定与编码目标图像一起后场和前场按顺序显示时，该值为4。在这种情况下，为隔行扫描图像的编码目标图像为场图像，将1或2设置到pic_struct。当为隔行扫描图像的编码目标图像为帧图像时，将3或4设置到pic_struct。
当标识部111确定编码目标图像为逐行扫描图像时，标识部111根据编码目标图像的显示系统，将值设置到pic_struct，其中，当将帧指定为待与编码目标图像一起显示时，该值为0；当指定前场和后场与编码目标图像一起按顺序显示时，该值为1；当指定前场和后场与编码目标图像一起按顺序显示时，该值为3；当指定前场、后场以及前场与编码目标图像一起按顺序显示时，该值为4；当指定前场、后场和前场与编码目标图像一起按顺序显示时，该值为5，以及当指定后场、前场和后场与编码目标图像一起按顺序显示时，该值为6。
如上所述，标识部11将表示编码目标图像的显示系统的值设置到编码目标图像的pic_struct，以及将其提供给可逆编码部7。
在该例子中，假定通过编码目标图像，指定待显示的2帧或3帧的7或8(图7)未设置到pic_struct。然而，在H.264/AVC中定义的fixed_frame_flag为1以及编码目标图像序列满足固定帧频，当将逐行扫描图像指定为重复显示时，可以将7或8设置到pic_struct。
接着，参考图10中的流程图，描述图9中所示的图像编码装置的过程。
在步骤S1，图像编码装置101将从图像重排缓冲器3输出到加法器4的图像指定为编码目标图像。图像编码装置101以与图3所示的图像编码装置相同的方式，编码该编码目标图像。
如图3所示，当2-3检测部2已经确定从A/D转换部1提供的两场图像的集合和三场图像的集合是逐行扫描图像时，2-3检测部2形成具有两场图像集合或三场图像集合的一帧逐行扫描图像，以及将逐行扫描图像提供给图像重排缓冲器3。相反，当2-3检测部2已经确定由帧组成的二场为隔行扫描图像时，2-3检测部2根据它们的编码效率，将二场图像作为场图像或由两场组成的一帧图像提供给图像重排缓冲器3。因此，从2-3检测部2提供给图像重排缓冲器3，然后提供给加法器4的图像的速率是在从20Hz(当帧逐行扫描图像由三场图像的集合组成时)到30Hz的范围中。
当图像编码装置101正在步骤S1执行编码处理，标识部111在步骤S11，根据从2-3检测部2提供的2-3节奏的检测结果和场间差值信息，确定从图像重排缓冲器3输出到加法器4的编码目标图像是隔行扫描图像还是逐行扫描图像。
当步骤S11的确定结果表示该编码目标图像是逐行扫描图像时，流程前进到步骤S12。在步骤S12，标识部111将表示“逐行扫描”的值(例如0)设置到ct_type，作为编码目标图像的扫描标志，以及将该扫描标志提供给可逆编码部7。此后，流程前进到步骤S13。
在步骤S13，标识部111将对应于编码目标图像的显示系统、为0和3至6的一个的值设置到确定为逐行扫描图像的编码目标图像的pic_struct，以及将该扫描标志提供给可逆编码部7。此后，流程前进到步骤S14。
在步骤S14，可逆编码部7将编码目标图像的编码结果与已经从标识部111提供的编码目标图像的ct_type和pic_struct复合，以及通过存储缓冲器8，将编码数据输出为复合结果。此后，流程从步骤S14返回到步骤S11。在步骤S11，标识部111对下一编码目标图像，执行相同的过程。
在步骤S14，可逆编码部7将1设置到编码目标图像的至少clock_timestamp_flag
，以及将作为clock_timestamp_flag
的元素，已经从标识部111提供的编码目标图像的ct_type与编码目标图像复合。
可逆编码部7可以将在H.264/AVC中定义的信息设置到clock_timestamp_flag[k](其中，k是大于1的任何整数值)，而不是clock_timestamp_flag
。相反，可逆编码部7可以不将任何信息设置到clock_timestamp_flag[k]，作为零。
相反，当步骤S1的确定结果表示编码目标图像为隔行扫描图像时，流程前进到步骤S15。在步骤S15，标识部111将表示“隔行扫描”的值(例如1)设置到编码目标图像的ct_type，作为扫描标志，以及将扫描标志提供给可逆编码部7。此后，流程前进到步骤S16。
在步骤S16，标识部111确定编码目标图像是场图像还是帧图像。
当步骤S16的确定结果表示该编码目标图像是场图像时，该流程前进到步骤S17。在步骤S17，标识部111将对应于编码目标图像的显示系统的1或2的值设置到确定为场隔行扫描图像的编码目标图像的pic_struct。在步骤S17，标识部111将编码目标图像的pic_struct提供给可逆编码部71。此后，流程前进到步骤S14。在步骤S14，可逆编码部7执行相同的过程。
当步骤S16的确定结果表示该编码目标图像是帧图像时，流程前进到步骤S18。在步骤S18，标识部111将对应于编码目标图像的显示系统的3或4的值设置到确定为帧隔行扫描图像的编码目标图像的pic_struct。在步骤S18，标识部111将编码目标图像的pic_struct提供给可逆编码部7。此后，流程前进到步骤S14。在步骤S14，可逆编码部7执行相同的过程。
如上所述，图像编码装置101将编码目标图像的扫描系统的确定结果设置到ct_type以及将输出该编码目标图像的编码结果已经与ct_type和pic_struct复合的编码数据。
接着，图11表示图6所示的图像解码装置102的结构的例子。在图11中，用类似的参考数字表示与图4中的图像解码装置类似的元件，以及将省略它们的描述。图11中所示的图像解码装置102具有图像重排缓冲器121，而不是图像重排缓冲器28。图像解码装置102具有与图4所示的图像解码装置相同的结构，除前者具有位于图像重排缓冲器121和D/A转换部29间的隔行/逐行(I/P)转换部122、显示图像输出缓冲器123和图像帧大小转换部124外。
图像重排缓冲器121临时存储由加法设备25提供的解码图像，按显示顺序重排它们，以及将重排图像输出到I/P转换部122。
如上所述，图4所示的图像解码装置的图像重排缓冲器28将已经按显示顺序排列的24Hz影片的图像转换成对应于pic_struct的30Hz NTSC系统的图像。相反，图像重排缓冲器121将按显示顺序，从加法器25提供的图像简单地输出到I/P转换部122。图9中所示的图像编码装置101将已经从图像重排缓冲器121输出到I/P转换部122的图像的速率从2-3检测部2提供到图像重排缓冲器3。图像速率在从20Hz至30Hz的范围中，与从图像重排缓冲器3提供给加法器4的图像的速率相同。
如上所述，将图像(解码图像)从图像重排缓冲器122提供给I/P转换部122。另外，将图像重排缓冲器121的每一图像的ct_type和pic_struct从可逆解码部22提供给I/P转换部122。
I/P(隔行/逐行)转换部122将从图像重排缓冲器121提供的图像指定为编码目标图像，以及根据已经从可逆解码部22提供的编码目标图像的ct_type和pic_struct，将该编码目标图像识别为隔行扫描图像还是逐行扫描图像。当I/P转换部122已经识别出编码目标图像是隔行扫描图像时，I/P转换部122将编码目标图像内插场，生成帧图像，将帧图像输出到显示图像输出缓冲器123，以及使其存储帧图像。当I/P转换部122已经确定该编码目标图像是逐行扫描图像时，I/P转换部12将编码目标图像作为帧图像输出到显示图像输出缓冲器123。
另外，I/P转换部122根据编码目标图像的pic_struct，控制在显示图像输出缓冲器123中存储的帧图像的输出次数(在显示图像输出缓冲器123中存储的帧图像的读取次数)。
显示图像输出缓冲器123存储从I/P转换部122提供的帧图像。在I/P转换部122的控制下，从显示图像输出缓冲器123读取帧图像一次或多次，并提供给图像帧大小转换部124。
图像帧大小转换部124根据显示设备103(图6)的显示屏，将从显示图像输出缓冲器123提供的帧图像的图像帧大小转换成图像帧大小，以及将所获得的帧图像提供给D/A转换部29。
接着，参考图12所示的流程图，将描述图11所示的图像解码装置102的过程。
在步骤S21，图像解码装置102以与图4所示的图像解码装置相同的方式，解码提供给它的编码数据，以及将所解码的图像连续地存储到图像重排缓冲器121中。图像重排缓冲器121重排所存储的图像以及将重排图像连续地输出到I/P转换部122。
在步骤S21的解码过程中，可逆解码部22执行与图4所示的图像解码装置相同的过程。另外，可逆解码(VLC DEC)部22将ct_type和pic_struct与每一图像分离开来，以及将ct_type和pic_struct提供给I/P转换部122。
可逆解码部22分析与解码数据复合的clock_timestamp_flag[i]。在该实施例中，可逆解码部22分析为1的clock_timestamp_flag
，获得为其元素的ct_type，以及将ct_type提供给I/P转换部122。另外，可逆解码部22可以或可以不分析clock_timestamp_flag[k](其中，k为1或更大的任何整数)，而不是clock_timestamp_flag
。然而，当可逆解码部22分析clock_timestamp_flag[k]而不是clock_timestamp_flag
并获得ct_type时，可逆解码部22忽略它。
当图像解码装置102在步骤S21正执行解码过程，在步骤S31，图像解码装置102将从图像重排缓冲器121提供的图像指定为解码目标图像，从已经由可逆解码部22提供的每一图像的ct_type和pic_struct，获得编码目标图像的ct_type和pic_struct。此后，流程前进到步骤S32。
在步骤S32，I/P转换部122确定编码目标图像的pic_struct的值。
当步骤S32的确定结果表示编码目标图像的pic_struct为0，通过该目标图像，指定待显示的帧，通过编码目标图像，指定前场、后场和前场按顺序显示，或为6，通过编码目标图像，指定后场、前场和后场按顺序显示时，流程前进到步骤S33。在步骤S33，I/P转换部122意识到编码目标图像为逐行扫描图像。此后，流程前进到步骤S34。
在步骤S34，I/P转换部122将为逐行扫描图像的编码目标图像指定为帧图像，将编码目标图像提供给显示图像输出缓冲器123，以及使其存储编码目标图像。此后，流程前进到步骤S35。
在步骤S35，I/P转换部122控制显示图像输出缓冲器123重复地读取在步骤S34存储的帧图像达对应于编码目标图像的pic_struct的次数。因此，在I/P转换部122的控制下，重复读取在显示图像输出缓冲器123中存储的帧图像多次，并从显示图像输出缓冲器123提供(输出)到图像帧大小转换部124。
换句话说，在这种情况下，编码目标图像的pic_struct为0，5和6中的一个。当编码目标图像的pic_struct为0时，读取一次在显示图像输出缓冲器123中存储的帧图像，并提供给图像帧大小转换部124。当编码目标图像的pic_struct为5或6时，重复读取三次在显示图像输出缓冲器123中存储的帧图像并提供给图像帧大小转换部124。
编码数据包含已经由图9所示的图像编码装置101编码的NTSC系统的图像的场频的速率信息。以由速率信息表示的速率，将帧图像从显示图像输出缓冲器123输出到图像帧大小转换部124。在该例子中，以NTSC系统的场频，即60Hz，其也是显示设备103的显示速率，将帧图像从显示图像输出缓冲器123输出到图像帧大小转换部124。
在步骤S35后，流程前进到步骤S36。在步骤S36，图像帧大小转换部124转换由显示图像输出缓冲器123提供的帧图像的帧大小，以及通过D/A转换部29，将所转换的帧图像提供给显示设备103(图6)，以及使其显示所转换的帧图像。此后，流程从步骤S36返回到步骤S31。在步骤S31，I/P转换部122将从图像重排缓冲器121提供的图像指定为下一编码目标图像，以及对下一编码目标图像执行相同的过程。
当步骤S32的确定结果表示编码目标图像的pic_struct为1或2时，通过该编码目标图像，指定前场或后场待显示，流程前进到步骤S37。在步骤S37，I/P转换部122将编码目标图像认可为隔行扫描图像。此后，流程前进到步骤S38。
在步骤S38，I/P转换部122使为隔行扫描图像的编码目标图像内插场，生成帧图像，将其提供给显示图像输出缓冲器123，以及使其存储帧图像。此后，流程前进到步骤S39。
换句话说，在这种情况下，编码目标图像的pic_struct为1或2。由此，为隔行扫描图像的编码目标图像为帧图像。I/P转换部1222使为帧图像的编码目标图像内插场，生成帧图像(即执行所谓的隔行-逐行转换)，将逐行扫描图像提供给显示图像输出缓冲器123，以及使其存储逐行扫描图像。应注意到场内插方法是不受限制的。
在步骤S39，I/P转换部122控制显示图像输出缓冲器123一次读取在步骤S38存储的帧图像。由此，在I/P转换部122的控制下，一次读取在显示图像输出缓冲器123中存储的帧图像，并将其从显示图像输出缓冲器123提供(输出)到图像帧大小转换部124。
在步骤S39后，流程前进到步骤S36。在步骤S36，图像帧大小转换部124转换从显示图像输出缓冲器123提供的帧图像的帧大小，通过D/A转换部29，将所转换的帧图像提供给显示设备103(图6)，以及使显示设备103显示所转换的帧图像。此后，流程从步骤S36返回到步骤S31。I/P转换部122将从图像重排缓冲器121提供的图像指定为编码目标图像，以及对下一编码目标图像执行相同的过程。
当步骤S32的确定结果表示编码目标图像的pic_struct为3，通过编码目标图像，指定前场和后场按顺序显示，或为4，通过编码目标图像，指定后场和前场按顺序显示时，流程前进到步骤S40。在步骤S40，I/P转换部122根据编码目标图像的ct_type(扫描标志)，确定编码目标图像为逐行扫描图像还是隔行扫描图像。
当步骤S40的确定结果表示编码目标图像为逐行扫描图像时，即编码目标图像的ct_type表示“逐行扫描”，流程前进到步骤S33。在步骤S33，如上所述，I/P转换部122将编码目标图像识别为逐行扫描图像。此后，流程前进到步骤S34。
在步骤S34，I/P转换部122将为逐行扫描图像的编码目标图像指定为帧图像，将编码目标图像提供给显示图像输出缓冲器123，以及使它显示该编码目标图像。
在步骤S35，I/P转换部122控制显示图像输出缓冲器123重复地读取在步骤S34存储的帧图像达对应于编码目标图像的pic_struct的次数。因此，在I/P转换部122的控制下，重复地读取在显示图像输出缓冲器123中存储的帧图像多次，以及将其从显示图像输出缓冲器123提供(输出)到图像帧大小转换部124。
换句话说，在这种情况下，编码目标图像的pic_struct为3或4。与pic_struct为3或4无关，仅重复地读取在显示图像输出缓冲器123中存储的帧图像二次，并将其提供给图像帧大小转换部124。
在步骤S35后，流程前进到步骤S36。在步骤S36，图像帧大小转换部124转换从显示图像输出缓冲器123提供的帧图像的图像帧大小，通过D/A转换部29，将所转换的帧图像提供给显示设备103(图6)，以及使它显示帧图像。此后，流程从步骤S36返回到步骤S31。在步骤S31，I/P转换部122执行相同的过程。
相反，当步骤S40的确定结果表示该编码目标图像为隔行扫描图像时，即，编码目标图像的ct_type表示“隔行扫描”时，流程前进到步骤S37。在步骤S37，I/P转换部122将该编码目标图像识别为隔行扫描图像。此后，流程前进到步骤S38。
在步骤S38，I/P转换部122使为隔行扫描图像的编码目标图像内插场，生成帧图像，以及将其提供给显示图像输出缓冲器123，以及使其存储帧图像。此后，流程前进到步骤S39。
换句话说，在这种情况下，由于编码目标图像的pic_struct为3或4，为隔行扫描图像的编码目标图像为帧图像。通过该隔行扫描图像，按顺序显示前场和后场。相反，通过该隔行扫描图像，按顺序显示后场和前场。另一方面，在该实施例中，显示设备103(图6)显示逐行扫描图像。
因此，IP转换部122使为帧图像的编码目标图像的前场和后场内插场，以及生成帧图像。当编码目标图像的pic_struct为3时，I/P转换部122通过前场生成的帧图像和通过后场生成的帧图像接连地提供给显示图像输出缓冲器123，以及使其存储它们。当编码目标图像的pic_struct为4时，I/P转换部122将通过后场生成的帧图像和通过前场生成的帧图像接连地提供给显示图像输出缓冲器123，以及使它存储它们。
在步骤S39，I/P转换部122控制显示图像输出缓冲器123每次读取已经在步骤S38存储的二帧图像一个。因此，在I/P转换部122的控制下，按存储它们的顺序，一次读取在显示图像输出缓冲器123中存储的二帧图像一个，以及从显示图像输出缓冲器123提供(输出)到图像帧大小转换部124。
在步骤S39后，流程前进到步骤S36。在步骤S36，图像帧大小转换部124转换从显示图像输出缓冲器123提供的帧图像的图像帧大小，通过D/A转换部29，将所转换的帧图像提供给显示设备103(图6)，以及使显示设备103显示所转换的帧图像。此后，流程从步骤S36返回到步骤S31。在步骤S31，I/P转换部122将从图像重排缓冲器121提供的图像指定为下一编码目标图像，以及对下一编码目标图像执行相同的过程。
如上所述，在图像解码装置102中，I/P转换部122根据编码目标图像的ct_type和pic_struct，将编码目标图像识别为隔行扫描图像还是逐行扫描图像。当识别结果表示编码目标图像为隔行扫描图像时，I/P转换部122使编码目标图像内插场，生成帧图像，将其输出到显示图像输出缓冲器123，以及使它存储帧图像。相反，当所识别的结果表示该编码目标图像为逐行扫描图像时，I/P转换部122将编码目标图像指定为帧图像，将帧图像输出到显示图像输出缓冲器123，以及使它存储帧图像。另外，图像解码装置102重复输出在显示图像输出缓冲器123中存储的帧图像达对应于pic_struct的次数。
因此，当逐行扫描图像的pic_struct为3或4时，将逐行扫描图像划分成前场和后场，以及输出为隔行扫描场。因此，防止损失用于一场的垂直分辩率。
H.264/AVC(图7)对隔行扫描显示设备的场的时间相位场，定义pic_struct的(值0至8中的)值3和4。然而，H.264/AVC不定义逐行扫描图像的pic_struct的这些值。
相反，当为隔行扫描图像的编码目标图像的pic_struct为3或4时，图像解码装置102通过帧图像的前场和后场，生成帧图像，以及一次将二帧图像的一个提供给显示设备103。当为逐行扫描帧图像的编码目标图像的pic_struct为3或4时，重复二次将帧图像提供给显示设备103。因此，为逐行扫描显示设备的显示设备103能显示从图像解码装置102提供的这些帧图像。
在图11所示的图像解码装置中，可以由I/P转换部122执行由图像帧大小转换部124执行的图像帧大小转换过程。在这种情况下，能组成图像解码装置102，而不是图像帧大小转换部124。因此，能简化图像解码装置102的过程。
接着，参考图13，将进一步描述图9所示的图像编码装置101和图11所示的图像编码装置102的过程。
假定通过2-3折叠，转换以影片的24Hz的帧频的图像后，获得、编辑以NTSC系统的30的帧频(以60Hz的场频)的图像，如图13的第一行中所示，以及作为编码目标图像提供给图像编码装置101。
图13的第一行中所示的NTSC系统的场图像的第m个最左场图像称为第m场。
在图13的第一行所示的NTSC系统的场图像中，在第二场和第三场间执行剪辑操作。另外，在第四场和第五场间，执行另一剪辑操作。
假定图9所示的图像编码装置101的2-3检测部2(以及标识部111)已经确定第一场和第二场为一帧逐行扫描图像，第三场和第四场为隔行扫描图像，以及第五场和第七场为一帧逐行扫描图像。
图像编码装置101将逐行扫描图像编码为帧图像，以及将隔行扫描图像编码为具有比其他更高编码效率的帧图像或场图像。
因此，如图13的第二行中所示，为逐行扫描图像的第一场和第二场编码为一帧图像。类似地，如图13的第二行中所示，为逐行扫描图像的第五至第七场编码为帧图像。
图像编码装置101的标识部111将“逐行扫描”设置到第一和第二场的一帧图像和第五至第七场的一帧图像的每一个的扫描标志的ct_type。
另外，标识部111需要显示为一帧图像的第一和第二场。因此，将能设置成帧图像的pic_struct的0和3至6中的3或4(图7)设置到第一和第二场的一帧图像的pic_struct。
另外，标识部111需要显示均为一帧图像的第五至第七场的三场。因此，能将设置到帧图像的pic_struct的0和3至6的一个的5或6(图7)设置到第五至第七场的一帧图像的pic_struct。
相反，将为隔行扫描图像的第三和第四场编码为具有比其他更高编码效率的帧图像或场图像。假定场图像的编码效率高于帧图像，如图13的第二行中所示，将第三和第四场编码为场图像。
图像编码装置101的标识部111将“隔行扫描”设置到第三场和第四场的图像的每一个、为扫描标志的ct_type。
另外，标识部111需要显示为场图像的第三场。因此，能将设置到场图像的pic_struct的1或2(图7)设置到第三场的场图像。同样地，标识部111需要显示为场图像的第四场。因此，能将设置到用于场图像的pic_struct的1或2(图7)设置到第四场的场图像的pic_struct在这种情况下，如图13的第三行所示，图11中所示的图像解码装置102解码图像。
换句话说，尽管已经将3或4设置到第一和第二场的一帧图像的pic_struct，由于已经将“逐行扫描”设置到ct_type，如图12的流程图所述，图像解码装置102根据已经设置成3或4的帧图像的pic_struct，重复地输出第一和第二场的逐行扫描帧图像仅二次，以及使显示设备103(图6)显示帧图像。
另一方面，由于已经将1或2设置到第三场的场图像的pic_struct，如图12的流程图中所述，图像解码装置102使第三场的场图像内插场，以及生成帧图像。图像解码装置102仅将显示设备103输出帧图像一次，使其显示帧图像。
与第三场的场图像相同，由于已经将1或2设置到第四场的场图像的pic_struct，图像解码装置102通过场内插第四场的场图像，获得帧图像，以及仅将输出到显示设备103一次，以及使其显示帧图像。
由于5或6已经设置成第五至第七场的一帧图像的pic_struct，如图12的流程图中所述，图像解码装置102根据已经设置5或6的帧图像的pic_struct，向显示设备103(图6)重复地输出第五至第七场的一个逐行扫描帧图像三次，并使其显示它们。
当将隔行扫描图像的第三和第四场编码为帧图像时，如果它们的编码效率高于场图像，图像编码装置101将第三和第四场编码为帧图像。
在这种情况下，图像编码装置101的标识部111将“隔行扫描”设置到第三和第四场的帧图像的每一个的为扫描标志的ct_type。
另外，标识部111需要显示为帧图像的第三和第四场的二场。因此，将能设置到帧图像的pic_struct的0和3至6(图7)中的3或4设置到第三和第四场的帧图像的每一个的pic_struct(图13的第二行中所示)。
在这种情况下，图11所示的图像编码装置102以下述方式解码第三和第四字段的帧图像。尽管已经将3或4设置到第三和第四场的帧图像的每一个的pic_struct，由于已经将“隔行扫描”设置到ct_type，图像解码装置102使第三和第四场的帧图像的每一个的前场和后场内插场，生成两个帧图像，一次仅将它们中的一个输出到显示设备103，以及使其显示它们。
因此，显示设备103以60Hz的帧频显示逐行扫描图像。
如图5所述，2-3检测部(由此标识部111)可以双重地确定该图像为隔行扫描图像和逐行扫描图像。在这种情况下，图像编码装置101对该图像是隔行扫描图像和逐行扫描图像的确定结果的一个列入优先。
图14是描述当已经双重确定图像为隔行扫描图像和逐行扫描图像时，将隔行扫描图像的确定结果列入优先的图像编码装置101和图像解码装置102的过程的示意图。
例如，假定在由2-3折叠转换以影片的24Hz的帧频的图像后，如图14的第一行所示，获得、编辑以NTSC系统的30Hz的帧频(60Hz的场频)的图像，然后作为编码目标图像提供给图像编码装置101。
与图13所示的情形相同，图14的第一行中所示的NTSC系统的场图像的第m最左图像称为第m场。
假定图像编码装置101的2-3检测部(以及标识部111)已经确定第一场和第二场为一帧逐行扫描图像，第三和第四场为隔行扫描图像，以及第四至第六场为一帧逐行扫描图像。
在这种情况下，已经将第四场双重地确定地隔行扫描图像和逐行扫描图像。在图14所示的实施例中，如果已经双重地确定图像，使隔行扫描图像的确定结果优先于逐行扫描图像。因此，确定第一和第二场为一帧逐行扫描图像，第三和第四场为隔行扫描图像，以及第五和第六场为一帧逐行扫描图像。
图像编码装置101将为逐行扫描图像的第一和第二场编码为一帧图像，如图14的第二行中所示。同样地，图像编码装置101将为逐行扫描图像的第五和第六场编码为图14的第二行中所示的一帧图像。
图像编码装置101的标识部111将“逐行扫描”设置到第一和第二场的一帧图像和第五和第六场的一帧图像的每一个的ct_type，其为扫描字段。
另外，标识部111需要显示为一帧图像的第一和第二场的二场。因此，将能设置成帧图像的pic_struct的0和3至6中的3或4(图7)设置到第一和第二场的一帧图像的pic_struct。
另外，标识部111需要显示均为一帧图像的第五和第六场的二场。因此，能将设置到帧图像的pic_struct的0和3至6的一个的3或4(图7)设置到第五和第六场的一帧图像的pic_struct。
相反，将为隔行扫描图像的第三和第四场编码为具有比其他更高编码效率的帧图像或场图像。假定场图像的编码效率高于帧图像，如图14的第二行中所示，将第三和第四场编码为场图像。
图像编码装置101的标识部111将“隔行扫描”设置到第三场和第四场的图像的每一个、为扫描标志的ct_type。
另外，标识部111需要显示为场图像的第三场。因此，能将设置到场图像的pic_struct的1或2(图7)设置到第三场的场图像。同样地，标识部111需要显示为场图像的第四场。因此，能将设置到用于场图像的pic_struct的1或2(图7)设置到第四场的场图像的pic_struct在这种情况下，如图14的第三行所示，图11中所示的图像解码装置102解码图像。
换句话说，尽管已经将3或4设置到第一和第二场的一帧图像的pic_struct，由于已经将“逐行扫描”设置到ct_type，如图12的流程图所述，图像解码装置102根据已经设置成3或4的帧图像的pic_struct，重复地输出第一和第二场的逐行扫描帧图像仅二次，以及使显示设备103(图6)显示帧图像。
另一方面，由于已经将1或2设置到第三场的场图像的pic_struct，如图12的流程图中所述，图像解码装置102使第三场的场图像内插场，以及生成帧图像。图像解码装置102仅将显示设备103输出帧图像一次，使其显示帧图像。
同样地，由于已经将1或2设置到第四场的场图像的pic_struct，图像解码装置102使第四场的场图像内插场，获得帧图像，仅一次将其输入到显示设备103，以及使它显示帧图像。
由于已经将3或4设置到第五和第六场的一帧图像的pic_struct，与第一和第二场的一帧图像相同，图像解码装置102根据已经设置为3或4的帧图像的pic_struct，向显示设备103(图6)重复地输出第五和第六场的一个逐行扫描帧图像仅二次，以及使其显示帧图像。
由此，显示设备103以60Hz的帧频，显示逐行扫描图像。
当将隔行扫描图像的第三和第四场编码为帧图像时，如果它们的编码效率高于场图像，图像编码装置101将第三和第四场编码为帧图像。
在这种情况下，图像编码装置101的标识部111将“隔行扫描”设置到第三和第四场的帧图像的每一个的为扫描标志的ct_type。
另外，标识部111需要显示为帧图像的第三和第四场的二场。因此，将能设置到帧图像的pic_struct的0和3至6(图7)中的3或4设置到第三和第四场的帧图像的每一个的pic_struct(图14的第二行中所示)。
在这种情况下，尽管已经将3或4设置到第三和第四场的帧图像的每一个的pic_struct，由于已经将“隔行扫描”设置到ct_type，如图12的流程图所述，图像解码装置102通过场内插第三和第四场的帧图像的每一个的前场和后场，生成两个帧图像，每次仅将它们的一个输出到显示设备103，以及使其显示它们。
图15是描述当已经双重确定图像为隔行扫描图像和逐行扫描图像时，将隔行扫描图像的确定结果列入优先的图像编码装置101和图像解码装置102的过程的示意图。
例如，假定在由2-3折叠转换以影片的24Hz的帧频的图像后，如图15的第一行所示，获得、编辑以NTSC系统的30Hz的帧频(60Hz的场频)的图像，然后作为编码目标图像提供给图像编码装置101。
与图13和图14所示的情形相同，图15的第一行中所示的NTSC系统的场图像的第m最左图像称为第m场。
图15的第一行中所示的NTSC系统的场图像与图14的第一行中所示相同。因此，假定图像编码装置101的2-3检测部(以及标识部111)已经确定第一场和第二场为一帧逐行扫描图像，第三和第四场为逐行(隔行？)扫描图像，以及第四至第六场为一帧逐行扫描图像。换句话说，已经将第四场双重地确定地隔行扫描图像和逐行扫描图像。
在图15所示的实施例中，如果已经双重地确定图像，使逐行扫描图像的确定结果优先于隔行扫描图像。因此，确定第一和第二场为一帧逐行扫描图像，第三为隔行扫描图像，以及第四至第六场为一帧逐行扫描图像。
图像编码装置101将为逐行扫描图像的第一和第二场编码为一帧图像，如图15的第二行中所示。同样地，图像编码装置101将为逐行扫描图像的第四至第六场编码为图15的第二行中所示的一帧图像。
图像编码装置101的标识部111将“逐行扫描”设置到第一和第二场的一帧图像和第四至第六场的一帧图像的每一个的ct_type，其为扫描字段。
另外，标识部111需要显示为一帧图像的第一和第二场的二场。因此，将能设置成帧图像的pic_struct的0和3至6中的3或4(图7)设置到第一和第二场的一帧图像的pic_struct。
另外，标识部111需要显示均为一帧图像的第四至第六场的三场。因此，能将设置到帧图像的pic_struct的0和3至6的一个的5或6(图7)设置到第四至第六场的一帧图像的pic_struct。
另一方面，由于不存在与为隔行扫描图像的第三场一起，组成帧图像的场，将第三场编码为场图像，如图15的第二行中所示。
图像编码装置101的标识部111将“隔行扫描”设置到第三场的场图像的、为扫描标志的ct_type。
另外，标识部111需要显示为场图像的第三场。因此，能将设置到场图像的pic_struct的1或2(图7)设置到第三场的场图像。
在这种情况下，如图15的第三行所示，图像解码装置102解码图像。
换句话说，与图14所示的情形相同，图像解码装置102重复地输出第一和第二场的逐行扫描帧图像仅二次，以及使显示设备103(图6)显示帧图像。
另一方面，由于已经将1或2设置到第三场的场图像的pic_struct，如图12的流程图中所述，图像解码装置102使第三场的场图像内插场，以及生成帧图像。图像解码装置102仅将显示设备103输出帧图像一次，使其显示帧图像。
由于已经将5或6设置到第四至第六场的一帧图像的pic_struct，图像解码装置102根据已经设置为5或6的帧图像的pic_struct，向显示设备103(图6)重复地输出第四至第六场的一个逐行扫描帧图像仅三次，以及使其显示帧图像。
在上述实施例中，使用已经设置为1的clock_timestamp_flag
的ct_type。相反，作为扫描标志，可以使用例如在H.264/AVC中定义的“用户数据SEI”中的用户定义信息。
换句话说，H.264/AVC具有用户能自由地定义语法的、称为“用户数据SEI”的语法。“用户数据SEI”定义为两种语法，“由ITU-T推荐T.35 SEI注册的用户数据”以及“用户数据未注册SEI”。图16表示“按ITU-T推荐T.35 SEI注册的用户数据”的语法。
H.264/AVC定义“按ITU-T推荐T.35 SEI注册的用户数据”如下。
按ITU-T推荐T.35 SEI消息语义注册的用户数据该消息包含如根据由ITU-T推荐T.35指定注册的用户数据、未由该推荐指定的内容、国际标准。
itu_t_t35_country_code将是具有如由ITU-T推荐T.35附录A的国家代码指定的值的字节。
itu_t_t35_country_code_extension_byte将是具有如由ITU-T推荐T.35附录B的国家代码指定的值的字节。
itu_t_t35_payload_byte将是包含如由ITU-T推荐T.35指定注册的数据的字节。
ITU-T T.35终端提供商代码和终端提供商定向代码将包含在itu_t_t35_payload_byte的第一或多个字节中，以由发布终端供应商代码的管理局指定的格式。任何剩余itu_t_t35_payload_byte将是具有如由ITU-TT.35国家代码和终端供应商代码标识的实体指定的语法和语义的数据。
另一方面，H.264/AVC定义“用户数据未注册SEI”如下用户数据未注册SEI消息语义该消息包含由UUID识别的未注册用户数据，其内容不由该推荐、国际标准指定。
UUID_iso_iec_11578将具有根据ISO/IEC 115781996附录A的过程，指定为UUID的值。
user_data_payload_byte将是包含具有如由UUID生成器指定的语法和语义的数据的字节。
在如在图16中所示的“按ITU-T推荐T.35 SEI注册的用户数据”中，由于用户定义信息能描述为每一图像中的itu_t_t35_payload_byte的元素，能将扫描标志描述为用户定义信息。当在itu_t_t35_payload_byte中描述扫描标志时，终端(供应商)需要根据ITU-T T.35注册。
在图17所示的“用户数据未注册SEI”中，能将用户定义信息描述为每一图像中的user_data_payload_byte的元素。因此，能将扫描标志描述为用户定义信息。当在user_data_payload_byte中描述扫描标志时，有必要指定UUID来识别“用户数据SEI”。
图18表示在itu_t_t35_payload_byte或user_data_payload中描述为扫描标志的元素的语法的例子。
图18表示为用户定义元素itu_t_t35_payload_byte或user_data_payload的scan_information()的语法。scan_information由作为扫描标志的一位的prog_inter_flag，以及作为预留语句的15位的reserved_for_future_use组成。为扫描标志的prog_inter_flag例如为0，表示“逐行扫描”，或为1，表示例如“隔行扫描”。prog_inter_flag的值由标识部111设置。
应注意到用作扫描标志的语法不限于上述ct_type，“按ITU-T推荐T.35SEI注册的用户数据”和“未注册的用户数据”。另外，图像编码装置101能与编码数据一起，将扫描标志记录到记录介质104上，或通过传输介质105，与编码数据一起传送扫描标志。
在图6所示的图像处理系统中，图像编码装置101编码以NTSC系统的30Hz的帧频(60Hz的场频)的图像，其中，已经通过2-3折叠转换以影片的24Hz的帧频的图像。图像解码装置102解码所编码的图像以及获得以60Hz的场频的逐行扫描图像。此后，显示设备103显示以60Hz的场频的逐行扫描图像。
图像编码装置101编码30Hz NTSC系统的图像，其中，已经通过2-3折叠转换以影片的24Hz帧频的的图像。这是因为已经传播30Hz NTSC系统的图像，其中，已经通过2-3折叠转换24Hz影片的图像。然而，未来，期望将直接分发24Hz影片的图像，而不通过2-3折叠转换。
在这种情况下，将24Hz影片的图像输入到图像编码装置101。图像解码装置102编码这些图像。图像解码装置102解码由图像编码装置101提供的编码数据，以及获得24Hz影片的图像。
另一方面，由于显示设备103显示以60Hz的场频的逐行扫描图像，其不能显示由图像解码装置102解码的24Hz影片的图像。
另外，在60p显示设备103显示24Hz影片的逐行扫描图像的情况下，H.264/AVC不提供用于定义图像的显示间隔的手段。
图19表示将24Hz逐行扫描图像编码为编码目标图像、解码编码图像以及通过60Hz逐行扫描显示设备显示它们的图像处理系统的结构的例子。
在图19中，由类似参考数字表示与图6类似的元件以及将省略它们的描述。
例如，24Hz逐行扫描图像提供给图像编码装置201。图像编码装置201基于例如H.264/AVC标准，编码24Hz逐行扫描图像，以及输出编码数据。
从图像编码装置201输出的编码数据提供给例如记录介质104并记录在其上。相反，可以通过传输介质105传送编码数据。
图像解码装置202再现来自记录介质104的编码数据，或通过传输介质105接收编码数据，基于例如H.264/AVC标准，解码编码数据，以及获得24Hz逐行扫描图像。图像解码装置202控制用于显示设备103的24Hz逐行扫描图像的输出次数，以便将60Hz逐行扫描图像提供给显示设备103。
因此，60Hz逐行扫描显示设备103显示由图像解码装置202提供的60Hz逐行扫描图像。
图20表示图19所示的图像编码装置201的结构的例子。在图20中，由类似参考数字表示与图3或图9类似的元件，以及将省略它们的描述。
图像编码装置201基本上与图3所示的图像编码装置相同，除前者不具有2-3检测部2外。将24Hz逐行扫描图像提供给图像编码装置201。图像编码装置201以与图3所示相同的方式编码24Hz逐行扫描图像。
图21表示图19中所示的图像解码装置的结构的例子。在图21中，由类似的参考数字表示与图4或图11类似的元件，以及将省略它们的描述。
图像解码装置202具有图11所示的图像重排缓冲器121，代替图像重排缓冲器28。编码解码装置202基本上与图4所示的图像解码装置相同，除前者还具有显示图像输出缓冲器211和输出控制部212外。
显示图像输出缓冲器211临时存储由图像重排缓冲器121提供的图像。图19所示的图像编码装置201将24Hz逐行扫描图像编码为编码目标图像。因此，在图21所示的图像解码装置202中，图像编码装置201已经编码为编码目标图像的24Hz逐行扫描图像从加法器25提供给图像重排缓冲器121并存储在其上。显示图像输出缓冲器211临时存储24Hz逐行扫描图像。
在输出控制部212的控制下，多次读取在显示图像输出缓冲器211中存储的图像，并通过D/A转换部29，提供给显示设备103(图19)。
换句话说，输出控制部212基于由加法器25提供给图像重排缓冲器121的解码图像的帧频，即作为编码目标图像的图像的帧频，以及逐行扫描显示设备103的显示速率，控制在显示图像输出缓冲器211中存储的图像的输出次数(从显示图像输出缓冲器211读取图像的次数)。
因此，显示图像输出缓冲器211以对应于显示设备103的显示速率的帧频，输出逐行扫描图像。将逐行扫描图像通过D/A转换部29，提供给显示设备103。
通过例如图像编码装置201，将编码目标图像的帧频信息与编码数据复合。图像解码装置202的输出控制部212识别编码目标图像的帧频。将编码目标图像的帧频信息从显示设备103提供给输出控制部212。
接着，参考图22，描述控制显示图像输出缓冲器211的输出控制部212。
如上所述，输出控制部212基于编码目标图像的帧频和显示设备103的显示速率，控制在显示图像输出缓冲器211中存储的图像的输出次数。
换句话说，编码目标图像的帧频为24Hz。显示设备103的显示速率为60Hz。在这种情况下，如图22所示，输出控制部212控制显示图像输出缓冲器211重复和交替地输出24Hz帧的一个二次以及下一个三次。因此，从显示图像输出缓冲器211读取的逐行扫描图像的帧频变为60Hz。
编码目标图像的帧频可以不是24Hz。同样地，显示设备103的显示速率可以不是60Hz。
例如，当编码目标图像的帧频为24Hz以及显示设备103的显示速率为30Hz时，输出控制部212基于编码目标图像的帧频和显示设备103的显示速率，控制在显示图像输出缓冲器211中存储的图像的输出次数，如图23所示。
换句话说，输出控制部212控制显示图像输出缓冲器211以便重复和交替地输出24Hz图像的每四个连续图像的第一至第三图像仅一次以及其第四个图像二次。因此，从显示图像输出缓冲器211读取的图像的帧频变为30Hz。
在图23中，输出每四个连续图像的第一至第三图像一次，而输出第四图像二次。然而，图像的输出模式不限于此。要点在于输出每四个连续图像的任何三个图像一次以及重复输出其另一图像二次。
当编码目标图像的帧频为24Hz以及逐行扫描显示设备103的显示速率为30Hz的整数倍，30×A[Hz](其中，A为1或更大的任何整数)，输出控制部212能控制显示图像输出缓冲器211以便重复地输出在显示图像输出缓冲器211中存储的24Hz图像的每四个连续图像的任何三个图像A次，以及重复地输出另一图像2×A次。因此，从显示图像输出缓冲器211读取的逐行扫描图像的帧频为30×A[Hz]。
通过硬件或软件执行上述过程。当由软件执行过程时，将组成软件的程序安装到通用计算机等等上。
图24表示根据本发明的实施例的计算机的结构的例子，已经将用于上述处理的程序安装到该计算机。
程序能预记录到硬件305或作为计算机的内置记录介质的ROM303上。
相反，可以将程序临时或永久存储(记录)到可移动记录介质311，诸如软盘、紧密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器。可移动记录介质311能提供为所谓软件包。
尽管已经将程序从可移动记录介质311安装到计算机上，可以通过数字广播卫星，将程序无线地从下载站点传送到计算机。相反，可以通过网络，诸如局域网(LAN)或互联网，将程序非无线地传送到计算机。在计算机中，已经传送的程序可以由通信部308接收并安装到内置硬盘305上。
计算机具有内置中央处理单元(CPU)302。输入/输出接口310通过总线301与CPU302相连。当根据由键盘、鼠标、麦克风等等组成的输入部307的用户操作，通过输入/输出接口310，将命令输入到CPU302时，执行记录在只读存储器(ROM)303中的程序。相反，CPU302可以将在硬盘305中存储的程序或从卫星或网络传送的、由通信部308接收，并安装到硬盘305的程序下载到随机存取存储器(RAM)304并执行其上的程序。因此，CPU302执行根据上述流程图的处理，或根据上述框图的处理。当需要时，CPU302使处理结果通过输入/输出接口310、通信部308，从由液晶显示器(LCD)、扬声器等等组成的输出部306输出以便传送处理结果，或硬盘305以便记录处理结果。
在本说明书中，描述使计算机执行各种处理的程序的过程步骤不总是需要按流程图的时间顺序执行。相反，可以并行或离散地执行过程步骤(例如并行过程或对象过程)。
另外，可以由一个计算机处理程序。相反，可以由多个计算机分布式地处理程序。相反，可以将程序传送到远程计算机并执行。
另外，根据实施例，作为编码目标图像，使用以NTSC系统的30Hz的帧频(60Hz的场频)的图像和以24Hz帧频的逐行扫描图像。相反，可以使用具有另一帧频(场频)的编码目标图像。
根据实施例，显示设备103是以30Hz或60Hz的显示速率的逐行扫描显示。相反，显示设备103可以具有另一显示速率。
另外，根据上述实施例，基于H.264/AVC，编码和解码图像。相反，可以将本发明应用于基于例如MPEG和H.26x编码和解码图像的装置，其使用正交变换，诸如离散余弦变换或Karhunen-Loeve变换以及运动补偿。
在图12中，在确定pic_struct后，确定为扫描标志的ct_type。相反，可以确定ct_type后，确定pic_struct。
权利要求
1.一种编码图像的编码设备，包括用于编码该图像的编码装置；用于确定该图像是隔行扫描图像还是逐行扫描图像的图像确定装置；标志设置装置，用于将该图像确定装置的确定结果设置到表示图像的扫描系统的扫描标志；信息设置装置，用于将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及复合装置，用于将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
2.如权利要求1所述的编码设备，其中，该编码装置基于MPEG4 AVC/H.264标准，编码已经通过2-3折叠转换的图像。
3.如权利要求1所述的编码设备，其中，该显示系统指定信息是在H.264/AVC标准中定义的pic_struct。
4.如权利要求1所述的编码设备，其中，该扫描标志是在H.264/AVC标准中定义的ct_type。
5.如权利要求4所述的编码设备，其中，该扫描标志是在H.264/AVC标准中定义的clock_timestamp_flag
的ct_type。
6.如权利要求4所述的编码设备，其中，该扫描标志是在H.264/AVC标准中定义的clock_timestamp_flag
的ct_type，已经将1设置到clock_timestamp_flag
。
7.如权利要求1所述的编码设备，其中，该扫描标志是在H.264/AVC中定义的用户数据SEI的用户定义信息。
8.一种编码图像的编码方法，包括步骤编码该图像；确定该图像是隔行扫描图像还是逐行扫描图像；将该图像确定步骤的确定结果设置到表示图像的扫描系统的扫描标志；将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
9.一种使计算机执行编码图像的编码过程的程序，该编码过程包括步骤编码该图像；确定该图像是隔行扫描图像还是逐行扫描图像；将该图像确定步骤的确定结果设置到表示图像的扫描系统的扫描标志；将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
10.一种用于使计算机执行编码图像的编码过程的程序的程序记录介质，编码过程包括步骤编码该图像；确定该图像是隔行扫描图像还是逐行扫描图像；将该图像确定步骤的确定结果设置到表示图像的扫描系统的扫描标志；将表示图像的显示系统的信息设置到指定图像的显示系统的显示系统指定信息；以及将图像的编码结果与扫描标志以及显示系统指定信息复合，以及输出该复合结果。
11.一种数据记录介质，用于图像的编码数据，该编码数据已经与下述复合该图像的编码结果；表示每一图像的扫描系统的扫描标志；以及指定每一图像的显示系统的显示系统指定信息。
12.用于图像的编码数据的数据结构，该编码数据已经与下述复合该图像的编码结果；表示每一图像的扫描系统的扫描标志；以及指定每一图像的显示系统的显示系统指定信息。
13.一种解码图像的编码数据的解码设备，包括解码装置，用于解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；识别装置，用于基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；帧图像输出装置，用于使图像内插场，生成帧图像，以及当该识别装置的识别结果为隔行扫描图像时，输出它，以及当该识别装置的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及重复输出装置，用于将从帧图像输出装置输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
14.如权利要求13所述的解码设备，其中，基于H.264/AVC标准，编码已经通过2-3折叠的图像。
15.如权利要求13所述的解码设备，其中，该显示系统指定信息是在H.264/AVC标准中定义的pic_struct。
16.如权利要求13所述的解码设备，其中，该扫描标志是在H.264/AVC标准中定义的ct_type。
17.如权利要求16所述的解码设备，其中，该扫描标志是在H.264/AVC标准中定义的clock_timestamp_flag
的ct_type。
18.如权利要求16所述的解码设备，其中，该扫描标志是在H.264/AVC标准中定义的clock_timestamp_flag
的ct_type，已经将1设置到clock_timestamp_flag
。
19.如权利要求13所述的解码设备，其中，该扫描标志是在H.264/AVC中定义的用户数据SEI的用户定义信息。
20.如权利要求13所述的解码设备，其中，该识别装置当该图像的显示系统指定信息将通过该图像，指定待显示的前场或后场时，将该图像识别为隔行扫描图像，当该图像的显示系统指定信息将帧指定为待与图像一起显示，指定与图像一起按顺序显示的前场、后场和前场，或指定将与图像一起按顺序显示的前场、后场和后场时，将该图像识别为逐行扫描图像；当该显示系统指定信息指定后场，代替将与图像一起显示的后场，或指定前场，代替将与图像一起显示的后场时，基于扫描标志，将图像识别为隔行扫描图像或逐行扫描图像。
21.一种解码图像的编码数据的解码方法，包括步骤解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；使图像内插场，生成帧图像，以及当该识别步骤的识别结果为隔行扫描图像时，输出它，以及当该识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及将从帧图像输出步骤输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
22.一种使计算机执行解码图像的编码数据的解码过程的程序，该解码过程包括步骤解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；使图像内插场，生成帧图像，以及当该识别步骤的识别结果为隔行扫描图像时，输出它，以及当该识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及将从帧图像输出步骤输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
23.一种用于使计算机执行解码图像的编码数据的解码过程的程序的程序记录介质，该解码过程包括步骤解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；使图像内插场，生成帧图像，以及当该识别步骤的识别结果为隔行扫描图像时，输出它，以及当该识别步骤的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及将从帧图像输出步骤输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
24.一种再现图像的编码数据的再现设备，包括解码装置，用于解码已经与图像的编码结果、表示该图像的扫描系统的扫描标志，以及指定该图像的显示系统的显示系统指定信息复合的编码数据；识别装置，用于基于该图像的扫描标志和显示系统指定信息，将该图像识别为隔行扫描图像或逐行扫描图像；帧图像输出装置，用于使图像内插场，生成帧图像，以及当该识别装置的识别结果为隔行扫描图像时，输出它，以及当该识别装置的识别结果为逐行扫描图像时，将该图像输出为帧图像；以及重复输出装置，用于将从帧图像输出装置输出的帧图像重复输出仅对应于该显示系统指定信息的次数。
25.如权利要求24所述的再现设备，其中，基于H.264/AVC标准，编码已经通过2-3折叠的图像。
26.如权利要求24所述的再现设备，其中，该显示系统指定信息是在H.264/AVC标准中定义的pic_struct。
27.如权利要求24所述的再现设备，其中，该扫描标志是在H.264/AVC标准中定义的ct_type。
28.如权利要求27所述的再现设备，其中，该扫描标志是在H.264/AVC标准中定义的clock_timestamp_flag
的ct_type。
29.如权利要求27所述的再现设备，其中，该扫描标志是在H.264/AVC标准中定义的clock_timestamp_flag
的ct_type，已经将1设置到clock_timestamp_flag
。
30.如权利要求24所述的再现设备，其中，该扫描标志是在H.264/AVC中定义的用户数据SEI的用户定义信息。
31.如权利要求24所述的再现设备，其中，该识别装置当该图像的显示系统指定信息将通过该图像，指定待显示的前场或后场时，将该图像识别为隔行扫描图像，当该图像的显示系统指定信息将帧指定为待与图像一起显示，指定与图像一起按顺序显示的前场、后场和前场，或指定将与图像一起按顺序显示的前场、后场和后场时，将该图像识别为逐行扫描图像；当该显示系统指定信息指定后场，代替将与图像一起显示的后场，或指定前场，代替将与图像一起显示的后场时，基于扫描标志，将图像识别为隔行扫描图像或逐行扫描图像。
全文摘要
在没有其垂直分辨率的损失的情况下，显示逐行扫描图像。在图像编码装置101中，表示编码目标图像是隔行扫描图像还是逐行扫描图像的确定结果设置到扫描标志。表示图像的显示系统的信息设置到显示系统指定信息。输出已经复合图像、扫描标志和显示系统指定信息的编码数据。图像解码装置102基于编码数据的扫描标志和显示系统指定信息，识别图像。当图像为隔行扫描图像时，该图像内插场。当该图像是逐行扫描图像时，该图像识别为帧图像以及重复输出对应于显示系统指定信息的次数。当基于H.264/AVC，编码和解码图像时，也可适用本发明。
文档编号H04N7/24GK1965581SQ20058001905
公开日2007年5月16日 申请日期2005年6月3日 优先权日2004年6月10日
发明者高桥邦明, 藤波靖 申请人:索尼计算机娱乐公司, 索尼株式会社