专利名称：数据处理装置及数据处理方法
技术领域：
本发明涉及一种能对动态图像数据高效压缩的动态图像编码技术。
背景技术：
作为对动态图像数据高效压缩的动态图像编码技术，周知有选择帧内编码、前向预测编码或双向预测编码中的任一个进行编码的MPEG1、MPEG2等。
如果采用这样的动态图像编码技术进行编码时，在动态图像中，多种情况下是根据帧内编码方式压缩编码的图像(以下称为“I画面”)、根据前向预测编码方式压缩编码的图像(以下称为“P画面”)及根据双向预测编码方式压缩编码的图像(以下称为“B画面”)混合存在。I画面不能用于时间方向的预测只能采用该图像数据进行编码。P画面参照位于前方的I画面及P画面进行预测编码。B画面参照位于前后方的I画面及P画面进行预测编码。被参照的图像称为参照图像，根据各画面类型设定用于预测的参照图像。
图1表示根据双向预测的动态图像数据的预测结构。图中的I、P及B分别表示I画面、P画面及B画面。在如图所示的预测结构中的编码顺序是I1、P4、B2、B3、P7、B5及B6。图1中画面I1被帧内编码。画面P4以画面I1作为参照图像被前向预测编码。画面B2及B3以画面I1和画面P4作为参照图像被双向预测编码。进一步，画面P7以画面P4作为参照图像被前向预测编码。画面B5及B6分别以各画面P4及P7的2个画面作为参照图像被双向预测编码。
通常，I画面、P画面及B画面被周期性配置。图2表示I画面、P画面及B画面的配置。I画面相隔N帧配置，在I画面之间相隔M帧配置P画面。这时，在I画面与紧接之后的P画面之间、或者P画面与紧接之后的P画面之间设置(M-1)个B画面。图3(a)、(b)和(c)分别表示在M＝1、M＝2及M＝3的情况下动态图像数据输入时和编码时的各画面类型顺序之间的对应关系。
如图3(a)所示，当M＝1时动态图像只由I画面和P画面构成，此时B画面不存在。因此，动态图像内的图像编码顺序不作变更，不发生编码时的处理延迟。其次，如图3(b)所示，当M＝2时I画面(或P画面)与紧接之后的P画面之间存在1个B画面。这时到B画面的编码开始之前会产生1帧的处理延迟。因为B画面在位于其前后方的参照图像(I画面及P画面)被编码前不能开始编码，所以必须变更输入时的各画面类型的顺序后，对B画面进行编码。
如图3(c)所示，当M＝3时I画面(或P画面)与紧接之后的P画面之间存在2个B画面。这时由于和图3(b)相同的原因，在B画面的编码开始前会产生2帧的处理延迟。
采用B画面的理由是通过采用前向预测和后向预测的双向预测而可以提高预测效率。此外，B画面，由于不象I画面、P画面那样，在后续预测编码中可以作为参照图像利用，因而不会传播预测编码时的误差。因此，与I画面、P画面相比，所具有的优点是即使分配少量编码量进行编码，在视觉上图像质量的劣化也不明显。另一方面，如果采用B画面，在P画面的前向预测中的参照图像的间隔M将由于插入了B画面而分离，特别是对于移动快的动态图像，不容易预测。
考虑这些因素，通过根据动态图像数据的特性对前向预测中的参照图像的间隔M进行动态切换就能提高编码效率。
作为通过动态切换前向预测中的参照图像的间隔M而进行编码的现有技术，例如可以列举出日本特开平9-294266号公报、特开平10-304374号公报以及特开2001-128179号公报所记载的技术。
在特开平9-294266号公报中记载的技术是对编码后的帧的运动矢量定标、使其大小可以收容到下一编码的帧的运动检索范围内从而控制参照图像的间隔M。
在特开平10-304374号公报中记载的技术是采用在编码块获得的预测误差或者活度，计算出帧间预测的预测效率，根据该预测效率控制参照图像的间隔M。
在特开2001-128179号公报中记载的技术是采用各画面类型发生的编码量或者编码复杂度，计算出帧间预测性能，根据该预测性能控制参照图像的间隔M。
除切换参照图像的间隔M以外，对于1帧图像由2个半帧图像构成的隔行方式的动态图像，通过切换画面结构来切换参照图像，从而提高编码效率。画面结构是进行编码的单位，对于各编码图像可以选择帧结构或半帧结构。作为画面结构当选择帧结构时，以帧图像单位进行编码。另一方面，当选择半帧结构时，以构成1帧的第一半帧图像和第二半帧图像的每一个为单位进行编码。
以下，将进行帧内编码的半帧图像称为I半帧，将进行前向预测编码的半帧图像称为P半帧，将进行双向预测编码的半帧图像称为B半帧。着眼于第一半帧图像的类型，将第一半帧图像是I半帧的帧称为I帧，是P半帧的帧称为P帧，是B半帧的帧称为B帧。
图4(a)、(b)和(c)表示在半帧结构中的画面类型和参照图像之间的关系。图4(a)表示I帧、图4(b)表示P帧、图4(c)表示B帧。在图4(a)的I帧中，可以选择第一半帧图像及第二半帧图像均作为I半帧的类型、和第一半帧图像作为I半帧、第二半帧图像作为P半帧的类型中的任一个。第二半帧图像是P半帧类型时，相同帧内的第一半帧图像作为参照图像。在图4(b)的P帧中，对于第一半帧图像，以以之前被编码的I半帧或P半帧作为预测编码的参照图像。对于第二半帧图像，以相同帧内的第一半帧图像(之前的半帧图像)作为参照图像。其结果，由于对第二半帧图像的参照图像的间隔为1个半帧，对于特别移动快速的图像，可以提高预测效率。在图4(c)的B帧中，第一半帧图像及第二半帧图像，均以前后帧的I半帧以及P半帧作为预测编码的参照图像。
近年来，要求即使在动态图像移动特别快速的情况下也能实现可以保持良好品质的压缩编码，同时以更高效率进行压缩编码的技术。为了实现这样的技术，需要改善用于判断动态图像的移动是否快速、保持良好品质、缩小数据尺寸的编码控制等，这在现有技术中还不充分。
发明内容
本发明的目的在于在动态图像数据的压缩编码中更确切判断动态图像的移动速度、以及即使是在包含移动特别快速的图像的情况下，通过进行控制来动态切换编码方式及编码单位，可以实现能保持足够品质的高效压缩编码。
依据本发明的数据处理装置，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单元进行压缩编码。上述动态图像通过连续显示分别由2个半帧图像构成的多帧图像而得到。数据处理装置包括存储器，其存储上述动态图像数据；计算部，其根据上述2个半帧图像的动态图像数据，算出表示上述动态图像的变化程度的参数；决定部，其根据上述计算部算出的上述参数，决定采用帧内编码方式及前向预测编码方式压缩编码的图像单位、以及规定上述给定图像单位的画面结构；和处理部，其将保存在上述存储器中的上述动态图像数据，按照由上述决定部决定的上述画面结构进行压缩编码、生成压缩数据。
在优选实施方式中，上述计算部根据上述2个半帧图像间的上述动态图像数据的变化量，求出时间方向变化量、以及针对上述2个半帧图像的每一个根据图像内的上述动态图像数据的变化量，求出空间方向变化量、根据上述时间方向变化量和上述空间方向变化量，算出上述参数。
在优选实施方式中，上述2个半帧图像是对应于上述帧图像的奇数行的第一半帧图像和对应于偶数行的第二半帧图像；上述计算部特定上述帧图像内的相互相邻的上述第一半帧图像的行以及上述第二半帧图像的行，根据各行的动态图像数据的差分，算出上述时间方向变化量，并且上述计算部特定在上述第一半帧图像以及上述第二半帧图像的各图像内的相邻行、根据各行的动态图像数据的差分，算出上述空间方向变化量。
在优选实施方式中，上述计算部，将各帧图像被分成多个块，根据每个上述块的动态图像数据算出上述时间方向变化量以及上述空间方向变化量，根据各块的时间方向变化量以及各空间方向变化量，采用上述动态图像的变化量在给定量以上的块与所有的块数之比作为上述参数算出。
在优选实施方式中，上述决定部，在上述参数比给定阈值大时，决定上述画面结构为半帧结构；上述处理部以上述半帧图像单位对上述动态图像数据进行压缩编码。
在优选实施方式中，上述决定部，增加采用上述帧内编码方式进行压缩编码的半帧图像的数量以及采用上述前向预测编码方式进行压缩编码的半帧图像的数量中的至少一方。
在优选实施方式中，上述决定部只采用上述帧内编码方式或上述前向预测编码方式对半帧图像进行压缩编码。
在优选实施方式中，上述决定部当由上述计算部算出的上述参数变得比上述给定阈值小时，决定上述画面结构为帧结构；上述处理部以上述帧图像单位对上述动态图像数据进行压缩编码。
在优选实施方式中，上述决定部，当采用前向预测编码方式压缩编码的第一图像、和参照上述第一图像被预测编码的第二图像连续时，决定上述第二图像的画面结构为半帧结构，当不连续时，决定上述第二图像的画面结构为帧结构。
在优选实施方式中，上述决定部，当采用前向预测编码方式压缩编码的第一图像、和参照上述第一图像被预测编码的第二图像连续时，决定上述第二图像的画面结构为帧结构或者半帧结构，当不连续时，决定上述第二图像的画面结构为帧结构。
在优选实施方式中，上述决定部，根据按照采用帧内编码方式压缩编码的多个图像或者采用前向预测编码方式压缩编码的多个图像决定的周期，决定采用上述前向预测编码方式压缩编码的图像的画面结构。
在优选实施方式中，上述决定部，根据按照采用帧内编码方式压缩编码的上述多个图像决定的周期，决定采用上述前向预测编码方式压缩编码的图像的画面结构。
在优选实施方式中，上述决定部，根据按照采用前向预测编码方式压缩编码的上述多个图像决定的周期，决定采用上述前向预测编码方式压缩编码的图像的画面结构。
在优选实施方式中，上述决定部，当采用帧内编码方式压缩编码的第一图像、和参照上述第一图像采用前向预测编码方式进行压缩编码的第二图像连续时，决定上述第一图像的画面结构为半帧结构，并且，决定构成上述第一图像的第一半帧图像以及第二半帧图像中，采用帧内编码方式对上述第一半帧图像进行压缩编码，采用前向预测编码方式对上述第二半帧图像进行压缩编码。
在优选实施方式中，上述决定部，决定让采用帧内编码方式压缩编码的图像的画面结构、与采用帧内编码方式压缩编码后之前的图像或者采用前向预测编码方式压缩编码后之前的图像的画面结构一致。
在优选实施方式中，上述决定部，决定让采用帧内编码方式压缩编码的图像的画面结构、与采用帧内编码方式压缩编码之后的图像或者采用前向预测编码方式压缩编码之后的图像的画面结构一致。
在优选实施方式中，上述决定部，决定让采用双向预测编码方式压缩编码的第一图像的画面结构、与采用上述第一图像参照的参照图像的画面结构一致。
依据本发明，数据处理系统，包括上述数据处理装置；和发送部，其在传送介质上传送由上述数据处理装置的处理部生成的上述压缩数据。
依据本发明，数据处理系统，包括上述数据处理装置；和记录部，其在记录介质上记录由上述数据处理装置的处理部生成的上述压缩数据。
依据本发明的另一数据处理装置，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单位进行压缩编码。上述动态图像通过连续显示多帧图像而得到。数据处理装置包括存储器，其存储上述动态图像数据；计算部，其算出表示连续2个帧图像间的上述动态图像数据的变化量的时间方向变化量、以及针对上述2个帧图像的每一个表示图像内的上述动态图像数据的变化量的空间方向变化量，根据上述时间方向变化量以及上述空间方向变化量，算出表示上述动态图像的变化程度的参数；决定部，其根据上述计算部算出的上述参数，对上述多个帧图像的每一个决定压缩编码方式；和处理部，其将保存在上述存储器中的上述动态图像数据，按照由上述决定部决定的方式进行压缩编码、生成压缩数据。
在优选实施方式中，上述动态图像通过连续显示分别由2个半帧图像构成的多帧图像而得到；上述2个半帧图像是对应于上述帧图像的奇数行的第一半帧图像和对应于偶数行的第二半帧图像；上述计算部特定上述帧图像内的相互相邻的上述第一半帧图像的行以及上述第二半帧图像的行，根据各行的动态图像数据的差分，算出上述时间方向变化量，并且上述计算部特定在上述第一半帧图像以及上述第二半帧图像的各图像内的相邻行、根据各行的动态图像数据的差分，算出上述空间方向变化量。
在优选实施方式中，上述计算部特定在上述2个帧图像中相同位置的2行，根据各行的动态图像数据的差分，算出上述时间方向变化量，并且特定上述2个帧图像中的一方图像内的相邻行、根据各行的动态图像数据的差分，算出上述空间方向变化量。
在优选实施方式中，上述决定部，增加采用上述帧内编码方式进行压缩编码的帧图像的数量以及采用上述前向预测编码方式进行压缩编码的帧图像的数量中的至少一方。
在优选实施方式中，上述决定部只采用上述帧内编码方式或上述前向预测编码方式的任一方对上述帧图像进行压缩编码。
依据本发明，数据处理系统，包括上述数据处理装置；和发送部，其通过传送介质，发送由上述数据处理装置的处理部生成的上述压缩数据。
依据本发明，数据处理系统，包括上述数据处理装置；和记录部，其在记录介质上记录由上述数据处理装置的处理部生成的上述压缩数据。
依据本发明，数据处理方法，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单元进行压缩编码。上述动态图像通过连续显示分别由2个半帧图像构成的多帧图像而得到。数据处理方法包括存储上述动态图像数据的步骤；根据上述2个半帧图像的动态图像数据，算出表示上述动态图像的变化程度的参数的步骤；根据所算出的上述参数，决定采用帧内编码方式及前向预测编码方式压缩编码的图像单位、以及规定上述给定图像单位的画面结构的步骤；和将上述动态图像数据，按照所决定的上述画面结构进行压缩编码、生成压缩数据的步骤。
再有，依据本发明，数据处理方法，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单位进行压缩编码。上述动态图像通过连续显示多帧图像而得到。数据处理方法包括存储上述动态图像数据的步骤；算出表示连续2个帧图像间的上述动态图像数据的变化量的时间方向变化量、以及针对上述2个帧图像的每一个表示图像内的上述动态图像数据的变化量的空间方向变化量的步骤；根据上述时间方向变化量以及上述空间方向变化量，算出表示上述动态图像的变化程度的参数步骤；根据所算出的上述参数，对上述多个帧图像的每一个决定压缩编码方式的步骤；和将所保存的上述动态图像数据，按照所决定的方式进行压缩编码、生成压缩数据的步骤。
图1表示根据双向预测的动态图像数据的预测结构图。
图2表示I画面、P画面及B画面的配置图。
图3(a)～(c)表示分别在M＝1～3的情况下动态图像数据输入时和编码时的各画面类型顺序之间的对应关系图。
图4(a)表示I帧的参照关系图，(b)表示P帧的参照关系图，(c)表示B帧的参照关系图。
图5表示本实施方式中动态图像编码装置100功能块的框图。
图6表示动态图像编码装置100的处理流程的流程图。
图7表示时间方向变化量(A)和空间方向变化量(B)的概念图。
图8表示将帧图像分割成多个块的示例图。
图9表示预测方法决定部109按帧图像单位决定编码方式、决定进行压缩编码的画面结构的处理顺序的流程图。
图10表示按帧图像单位决定编码方式的处理顺序的流程图。
图11表示决定进行压缩编码的画面结构的处理顺序的流程图。
图12(a)表示按帧结构进行压缩编码后的图像数据的数据结构图，(b)表示按半帧结构进行压缩编码后的帧图像数据的数据结构图。
图13表示变化度参数和压缩数据的画面结构之间的关系图。
图14表示按给定周期决定帧图像的编码方式、决定进行压缩编码的画面结构的处理顺序的流程图。
图15(a)表示编码系统10的功能块的构成图、(b)表示解码系统11的功能块的构成图。
具体实施例方式
下面，参照附图，说明本发明的实施方式。
图5是表示本实施方式中动态图像编码装置100的功能块框图。动态图像编码装置100将根据电视信号等动态图像信号获得的动态图像数据用例如MPEG2标准进行压缩编码，输出压缩数据。动态图像数据是指表示动态图像的数据、包含各帧图像的数据。动态图像数据也可以包含有关声音的声音数据。动态图像，通过连续表示多帧图像及声音而成为视听对象。
以下，说明动态图像编码装置100的构成。动态图像编码装置100包括输入图像用存储器101、解码图像用存储器102、运动矢量检测部103、运动补偿预测部104、DCT/量子化部105、逆量子化/逆DCT部106、可变长编码部107、变化度参数计算部108、预测方法决定部109、编码顺序控制部110。
输入图像用存储器101保存所接收的动态图像信号直到作为动态图像数据进行编码之前。动态图像数据以可以特定连续的多个图像的形式被保存到存储器101中。此外，存储器101保存有足够帧数的图像数据，以便应对因编码顺序引起的各图像的处理延迟。其结果，在动态图像编码装置100中压缩编码动态图像数据时、即使各图像数据的编码顺序相对于输入顺序已经变更时，也能继续进行处理。例如，对于如图3(c)所示的画面类型排列，输入图像用存储器101至少存储4帧图像量的图像数据。动态图像数据根据后述的编码顺序控制部110指定的编码顺序进行编码。
解码图像用存储器102保存将被逆量子化/逆DCT部106解码后的图像数据、和由运动补偿预测部104得到的运动补偿预测图像数据叠加后的解码图像数据。解码图像数据在后面将在运动矢量检测部103及运动补偿预测部104中作为参照图像的图像数据使用。
运动矢量检测部103参照解码图像用存储器102存储的图像数据、将输入图像用存储器101中的图像数据的图像移动(变化)后的量作为运动矢量进行检测。
运动补偿预测部104采用由运动矢量检测部103检测的运动矢量及解码图像用存储器102中的解码图像数据，生成运动补偿预测图像数据。
DCT/量子化部105将预测误差数据进行离散余弦(Discrete CosineTransform；DCT)变换、根据被指定的量子化值进行量子化。预测误差数据相当于输入图像用存储器101中的图像数据、和由运动补偿预测部104生成的运动补偿预测图像数据之间的差分。DCT/量子化部105不采用运动补偿预测图像数据也能处理输入图像数据。
逆量子化/逆DCT部106，将处理对象的图像作为I画面及P画面进行处理时，对DCT/量子化部105得到的编码数据进行逆量子化及逆离散余弦变换、生成作为参照图像用的解码图像。
可变长编码部107对被DCT/量子化部105离散余弦变换、量子化后的数据以及被运动矢量检测部检测的运动矢量相关的运动位置信息进行可变长编码、输出压缩数据。
变化度参数计算部108对于输入图像用存储器101中存储的各图像的图像数据、采用由图像特征量得到的时间方向变化量及空间方向变化量，生成变化度参数。在这里，图像特征量是指图像内各坐标的像素数据(例如亮度数据)的值、是构成图像数据的要素。另外、变化度参数是表示在对构成动态图像的多个图像进行比较时、显示的各图像内容有关的变化程度(剧烈度及速度)的参数。变化度参数计算部108的具体处理将在后面详细说明。
预测方法决定部109根据变化度参数计算部108算出的变化度参数，决定进行编码图像的参照图像及画面结构。
编码顺序控制部110根据在预测方法决定部109中决定的预测方法，控制输入图像存储器101中存储的图像数据的编码顺序。
根据本发明的动态图像编码装置100的主要特征之一是在变化度参数计算部108及预测方法决定部109中进行的处理。以下一边说明动态图像编码装置100的工作，一边详细说明这些构成要素的处理。对于由参考标号102～107，110表示的其它构成要素，除了特别说明的情况以外，都概括地统称为“处理部”。
以下，说明动态图像是隔行方式的映像的情况。因此，1帧图像由2个半帧图像构成。
图6表示动态图像编码装置100的处理流程。首先在步骤601中、动态图像编码装置100接收动态图像信号、作为动态图像数据存储到输入图像用存储器101。在步骤602中、变化度参数计算部108根据多个图像的动态图像数据算出变化度参数。具体来说，首先，变化度参数计算部108根据构成帧图像的第一半帧图像和第二半帧图像间的图像数据的变化量求出时间方向变化量。进一步，变化度参数计算部108分别对第一半帧图像和第二半帧图像根据图像内的图像数据的变化量求得空间方向变化量。之后、变化度参数计算部108根据时间方向变化量及空间方向变化量算出变化度参数。以下，参照附图详细说明。
在本实施方式中、成为计算时间方向变化量及空间方向变化量的对象的帧图像、是作为I画面或P画面被压缩编码的候补图像。候补图像是根据在动态图像编码装置100中预先确定的规则暂行决定。例如，被输入的动态图像数据包含的帧图像中、每隔N帧决定I画面的候补图像、在I画面之间，每隔M帧决定P画面的候补图像。各帧图像最终是成为I、P、B画面中的哪一个，由动态图像编码装置100通过一系列处理之后决定。
图7表示时间变化量(A)和空间变化量(B)的概念。首先、帧图像由2个半帧图像构成。为方便起见，假定第一半帧图像为对应于帧图像奇数行(图中黑色行)的图像、第二半帧图像为对应于帧图像偶数行(图中白色行)的图像。
时间方向变化量Dt(A)可以根据帧图像内垂直方向相邻2个像素的图像数据的差分(A)相加后的平均值算出。“相邻2个像素”是指第一半帧图像的像素和第二半帧图像的像素。另一方面，空间方向变化量Ds(B)可以根据第一半帧内及第二半帧内分别在垂直方向相邻的2个像素的图像数据的差分(B)相加后的平均值算出。
变化度参数计算部108可以根据式(1)和式(2)算出时间方向变化量Dt和空间方向变化量Ds。
式(1)Dt=Σx,y|F(x,y)-F(x,y+1)|/Nt]]>式(2)
Ds=Σx,y|F(x,y)-F(x,y+2)|/Ns]]>式中，F(x，y)表示在画面内的坐标(x，y)中的像素值(例如亮度)、Nt和Ns分别表示在式(1)及式(2)中被加算的差分数据的个数。动态图像的变动(变化)小时、时间方向变化量Dt比空间方向变化量Ds要相对小些。这表示帧相关要比半帧相关强。另一方面，随着动态图像的移动速度加快，时间方向变化量Dt变大，相对于帧相关，半帧相关增强。在这里，可以利用式(1)及式(2)求出的时间方向变化量Dt和空间方向变化量Ds，由式(3)算出成为对象图像的变化度参数Cf值。
式(3) 式中，A表示调整变化度参数Cf的可取值的常数，比1大的数。
由(式3)表明，时间方向变化量Dt越大，变化度参数Cf的值就越大。反过来说，变化度参数Cf的值越大动态图像的移动速度就越快。特别是，通过根据构成1帧图像的2个半帧图像的图像数据计算变化度参数Cf，即使对于移动极快的动态图像，也可以充分应对。
如果只根据时间方向变化量判断动态图像的移动速度，动态图像内的目标即使只错开1个像素也能判断出移动的速度，进一步，通过根据空间方向变化量进行判断，可以降低到稍微像素错位的影响。因此，能更加准确地判断动态图像的移动速度。
在式(1)及式(2)中，求时间方向变化量Dt与空间方向变化量Ds时采用差分的绝对平均值，也可以象式(4)及式(5)那样，采用差分平方的平均值。在式(4)及式(5)中各项的意义与式(1)及式(2)相同。再有，也可以根据采用差分量的其它算式求出时间方向变化量Dt与空间方向变化量Ds。
式(4)Dt=Σx,y{F(x,y)-F(x,y+1)}2/Nt]]>
式(5)Ds=Σx,y{F(x,y)-F(x,y+2)}2/Ns]]>以上，参照图7，说明了采用帧图像或半帧图像整体的像素数据，求出时间方向变化量和空间方向变化量，求出变化度参数Cf值的流程。变化度参数Cf值也可根据其它流程求出。以下，对其它流程进行说明。
图8是表示将帧图像分成多个块时的示例图。变化度参数计算部108在帧图像被分割成多个块(如16×16像素)时、根据式(6)及式(7)算出每个块的时间方向变化量Dt_blk与空间方向变化量Ds_blk。时间方向变化量Dt_blk能求出块内垂直方向相邻2个像素的图像数据相加后的平均值。另一方面，空间方向变化量Ds_blk能求出对应各块内奇数行的半帧内及对应各块内偶数行的半帧内各垂直方向相邻像素之间的差分(B)相加后的平均值。
式(6)Dt_blk=Σx,y|F(x,y)-F(x,y+1)|/Nt_blk]]>式(7)Ds_blk=Σx,y|F(x,y)-F(x,y+2)|/Ns_blk]]>式中，F(x，y)表示在块内的坐标(x，y)中的像素数据、Nt_blk及Ns_blk分别表示在式(6)及式(7)中相加的差分数据的个数。
变化度参数计算部108用求出的时间方向变化量Dt_blk和空间方向变化量Ds_blk、根据式(8)判定每个块的半帧相关的高低。当满足式(8)时，认为此块是半帧相关高的块、意味着动态图像的移动速度快。
式(8)Dt_blk＞K1·Ds_blk并且Dt_blk＞K2式(8)中的K1和K2是常数。
变化度参数计算部108对判定为半帧相关高的块数进行计数、作为“High_blks”保持。然后，变化度参数计算部108将计数的块数High_blks、和用于判定的全部块的数(“All_blks”)的比值用式(9)算出、这就是此帧图像的变化度参数Cf。
式(9)Cf=High_blksAll_blks]]>在式(6)及式(7)中求出块的时间方向变化量Dt_blk与空间方向变化量Ds_blk时采用了差分的绝对平均值、也可以采用如式(10)及式(11)中的差分平方的平均值。式(10)及式(11)中各项的意义与式(6)及式(7)中各项的意义相同。此外，根据采用差分量的其它算式也可求出块的时间方向变化量Dt_blk和空间方向变化量Ds_blk。例如，在MPEG2等的编码中，在决定宏块(16×16像素的块)的DCT模式(帧DCT和半帧DCT)时采用的评价值分别可以作为时间方向变化量Dt_blk和空间方向变化量Ds_blk使用。
式(10)Dt_blk=Σx,y{F(x,y)-F(x,y+1)}2/Nt_blk]]>式(11)Ds_blk=Σx,y{F(x,y)-F(x,y+2)}2/Ns_blk]]>在式(9)中，用判定为半帧相关高的块的比例作为变化度参数Cf、也可用判定为半帧相关高的块数(“High_blks”的值)作为变化度参数Cf。
如上所述，变化度参数计算部108根据构成1帧图像的2个半帧图像的图像数据算出变化度参数Cf。
在图6的步骤603中，预测方法决定部109根据算出的变化参数，按进行压缩编码的每个帧图像决定编码方式。根据该处理、各帧图像最终决定压缩编码成I画面、P画面或B画面中的那一个。同时决定图2中所示M的值。接着，在步骤604中，预测方法决定部109决定对构成动态图像数据的图像进行压缩编码时的画面结构。
以下，详细说明预测方法决定部109执行的步骤603和步骤604的处理。图9表示按帧图像单位决定编码方式、决定进行压缩编码的画面结构的处理流程。图9由步骤901～914的处理构成。其中，步骤901和902是根据上述变化度参数计算部108执行的处理、为明确整个处理流程而将其记载。预测方法决定部109的处理执行步骤903以后的处理。
图9的步骤903～914中、步骤903～910是决定每个帧图像的编码方式的处理，步骤911～914是决定进行压缩编码的画面结构的处理。
首先说明决定每个帧图像的编码方式的步骤903～914处理。在步骤903中，预测方法决定部109判断根据变化度参数计算部108算出的变化度参数Cf值是否比第1阈值TH1大。当变化度参数Cf比第1阈值TH1大时，表示动态图像的移动速度快而进入到步骤904。否则进入到步骤907。
在步骤904中，预测方法决定部109将图2所示参照图像的间隔M只减小所定值(如1)、缩小I画面与P画面之间的间隔或者P画面与P画面之间的间隔。这样，能增加作为I画面或P画面进行编码的帧图像的出现频率，从而动态图像编码装置100能适应移动速度快的动态图像。
但是，如果参照图像的间隔M变得过小(如变为0)就会发生不适合的情况，因此必须限制该值。在步骤905中，预测方法决定部109判断变化后的M值是否小于最小值Mmin。M值小于最小值Mmin时进入步骤906。否则进入步骤911。步骤906中，预测方法决定部109设定变化后的M值为最小值Mmin后进入步骤911。
在步骤907中，预测方法决定部109将变化度参数Cf值与第2阈值TH2相比较。变化度参数Cf比第2阈值TH2小时，进入步骤908，否则进入步骤911。在步骤908中，预测方法决定部109将图2所示参照图像的间隔M只增大所定值(如1)、增大I画面与P画面之间的间隔或P画面与P画面之间的间隔。这样，即使对移动速度慢的动态图像也能进行有效的编码。
但是，如果变换后的参照图像的间隔M变得过大，会发生输入图像用存储器101的容量、编码时的处理延迟量等有关不适合的情况，因此必须限制此值。在步骤909中，预测方法决定部109判断变化后的M值是否大于最大值Mmax。M值大于最大值Mmax时进入步骤910。否则进入步骤911。步骤910中，预测方法决定部109设定变化后的M值为最大值Mmax后进入到步骤911。
根据如上所述的处理，预测方法决定部109能决定I画面与P画面之间的间隔或者P画面与P画面之间的间隔。这样，特别是变化度参数较大时，即动态图像信号的时间变化比空间变化相对要大时，预测方法决定部109将参照画面的间隔M变小从而防止预测效率的降低。
在步骤901及902中，对于作为I画面与P画面进行压缩编码后的图像，算出变化度参数Cf，而没有考虑B画面。这是因为没有把B画面作为参照图像来使用，没有必要进行这之前的处理。但是，算出B画面的变化度参数Cf，采用该变化度参数Cf来决定参照画面的间隔是可能的。
下面说明决定进行压缩编码的画面结构的步骤911～914的处理。首先，所谓「决定画面结构」是指决定以帧图像，还是以构成帧图像的各半帧图像作为压缩编码的单位。前者的画面结构称作「帧结构」，后者的画面结构称作「半帧结构」。
首先，在步骤911中，预测方法决定部109判断在步骤902中算出的变化度参数Cf值是否比第3阈值TH3大。当变化度参数Cf比第3阈值TH3大时，进入步骤912，否则进入步骤913。在步骤912中，预测方法决定部109设定半帧图像为已算出变度参数Cf的帧图像之后的进行编码的图像的画面结构。理由是考虑到图像变化的激烈程度，有必要防止预测效率的低下。动态图像的移动速度快时用半帧图像作为图像单位进行编码能准确进行预测、也能保持压缩编码后的动态图像的高品质。之后、处理结束。
另一方面，在步骤913中，将变化度参数Cf与第4阈值TH4相比较，变化度参数Cf比第4阈值TH4小时，进入步骤914，否则，处理结束。在步骤914中，预测方法决定部109设定帧结构为之后进行编码的图像的画面结构。
根据以上处理，特别是变化度参数大时，即动态图像数据的时间变化比空间变化大时、通过将I画面或P画面作为半帧结构，从而可以防止预测效率的低下。此外，对于B画面，可以选择与之前的被编码的I画面或P画面的相同的画面结构进行编码。此外，也可以采用变化度参数Cf直接决定B画面的画面结构，也可以固定画面结构。
在图9的处理中，算出了I画面和P画面的候补图像的变化度参数、说明了此图像的画面结构在帧结构和半帧结构之间进行切换、也可以进行任何一方画面结构的切换。
以上，参照图9，详细说明了图6中步骤603及步骤604的相关处理。图9中步骤901～914是连续实现预测方法决定部109在步骤603、604的处理的流程、预测方法决定部109可以只对应步骤603、或只对应步骤604进行独立处理。图10是对应步骤603、以帧图像单位决定编码方式的处理流程。图11是对应步骤604、决定进行压缩编码的画面结构的处理流程。在图10和图11所示的各步骤中，与图9所示步骤相同的步骤采用相同的参照符号。根据这些图表明，所有的步骤都在图9中包含、因此省略各图的说明。
在图6的步骤605中，根据预测方法决定部109中决定的编码方式、及相同的被决定的画面结构、处理装置将存储器中存储的动态图像数据压缩编码生成压缩数据。例如，画面结构是帧结构、各帧图像如图3(c)上段(“输入顺序”)所示，I、P、B画面被压缩编码时，编码顺序控制器110根据图3(c)下段(“编码顺序”)所示顺序决定编码的进行。这样，运动矢量检测部及DCT/量子化部105根据此顺序读出帧图像的图像数据进行处理、之后、在其它的构成要素中处理、生成含有I、P、B画面的压缩数据。
在图6的步骤606中，对全部的动态图像数据压缩编码后、重复步骤602～605的处理。如同以上处理，从动态图像数据生成压缩数据。
图12(a)及(b)表示含有生成的压缩数据的图像数据的数据结构。图12(a)表示被帧结构压缩编码的图像数据的数据结构。从图中可以理解，在画面头之后配置了图像数据。画面头主要含有画面类型半帧和画面结构半帧。在画面类型半帧中表示此画面数据的画面是I画面、B画面或者P画面中的哪一个的画面类型。在画面结构半帧中也记述了该画面数据的画面是帧结构还是半帧结构的信息。图12(a)中画面结构半帧表示是“帧结构”的信息。图像数据混合包含第一半帧图像与第二半帧图像的数据、在对被压缩编码的数据再生时半帧被分离。
图12(b)表示被半帧结构压缩编码的画面(帧图像)数据的数据结构。该数据结构从第一半帧用图像头开始，依次包含第一半帧图像数据、第二半帧用画面头及第二半帧图像数据。第一半帧图像能根据第一半帧用画面头和第一半帧图像数据取得。同样的，第二半帧图像能根据第二半帧用画面头和第一半帧图像数据取得。画面头的数据结构，与刚才说明的帧结构相同、含有画面类型半帧和画面结构半帧。但是因为画面类型由每个半帧特定，在I帧的情况下第一半帧用画面头中记叙表示是“I半帧”的画面类型、第二半帧用画面头中记叙表示是“I半帧”或“P半帧”的画面类型。画面结构半帧中记载了分别表示是任一半帧的信息。
图13表示变化度参数与压缩数据的画面结构的关系。图中的I、B及P分别表示I画面、B画面及P画面。I、B及P之后的数字表示从最初的I画面开始的帧编号。此外，被实线包围的画面(I1、B2、P3等)的画面结构是帧结构、被虚线包围的画面(P4～P6)的画面结构是半帧结构。
在图13中，首先，最初部分的画面I1、B2、P3是M＝2并且以帧结构进行了编码。此时的编码顺序是画面I1、B2、P3。
但是，后续的画面P4的画面结构变化为半帧结构。与画面P3相关联算出的变化度参数Cf，满足Cf＞TH1并且Cf＞TH3。其结果使参照图像的间隔M从M＝2变换为M＝1(图9中的步骤904)、而且画面结构变为半帧结构(步骤912)。因此，最终参照图像的间隔变为一半帧，即使对于移动速度快的图像也能保持预测效率。
画面P4及P5在以半帧单位进行编码的过程中，因为与画面P5相关联算出的变化度参数Cf满足Cf＜TH4、画面结构从半帧结构变换为帧结构(步骤914)，因为与画面P6相关联算出的变化度参数Cf满足Cf＜TH2、参照画面的间隔M从M＝1变换为M＝2(步骤907)。
以上的处理结果，对于P画面来说，可以在M＝1时设定画面结构为半帧结构、M≥2时设定画面结构为帧结构。但是，这只是例子。例如M＝1时，也可以将I画面的第一半帧作为I半帧，第二半帧作为P半帧。作为其它例子，无论M＝1还是M≥2，即不考虑M的值，将P画面的画面结构设定为帧结构。并且，将I画面/P画面的画面结构也可设定为与之前的I画面或P画面的画面结构一致。B画面的画面结构也可设定为与所参照的I画面和P画面的画面结构一致。
此外，对于上述的阈值TH1～TH4，通过设定为TH1＝TH3及TH2＝TH4时能实现更简单的控制。在图13所示的例中，当M＝2且是帧结构的状态1与M＝1且是半帧结构的状态2之间进行足够的切换，就能使处理简单化。
这里显示了M＝2和M＝1的切换，例如M＝3和M＝1时，只要M的值是2以上的也可以进行切换，当M＝3、M＝2及M＝1时也可以进行M值的3个级别以上的切换。
以下，参照图14，预测方法决定部109说明各画面的编码方式以及决定画面结构时的其他处理。图14表示在给定周期内决定帧图像的编码方式及进行压缩编码的画面结构的处理顺序。「给定周期」是指例如从某个I画面开始到下一个I画面为止的周期(图2的间隔N)、P画面的周期(图2的间隔M)、这些整数倍的周期。
另外、与先前的例子相同、“I画面”及“P画面”是作为I画面及P画面被压缩编码的候补图像。从I画面到下一个I画面之间存在的画面中，最初的I画面、后续的多个P、B画面构成的画面组被叫做GOP(Group ofPicture)。GOP作为动态图像的再生时间时约是0.5秒的长度。以下对“周期”是从I画面到下一个I画面的周期(既GOP的周期)的情况进行说明。
在步骤1401中，变化度参数计算部108判断进行编码的图像是否是GOP最初的候补图像(最初图像)。是最初图像时进入步骤1402、不是最初图像时进入步骤1403。在步骤1402中，变化度参数计算部108把参数SumCf的值初始化为0、进入步骤1403。SumCf是指变化度参数Cf的总和。
在步骤1403中，变化度参数计算部108算出变化度参数Cf，与在下一步骤1404中的参数SumCf的值相加，根据其结果更新参数SumCf。在步骤1405中，变化度参数计算部108判断作为处理对象的图像是否是GOP最后的候补图像。是最后的候补图像时进入步骤1406、否则结束图14所示处理，在不改变这之前的编码条件的情况下对该图像进行压缩编码。然后，对该图像的下一个图像再从步骤1401开始进行处理。
在步骤1406中，预测方法决定部109根据以下顺序决定编码条件。首先在步骤1406中预测方法决定部109判断参数SumCf的值是否比第五阈值TH5大。参数SumCf的值比阈值TH5大时进入步骤1407，否则进入步骤1410。
在步骤1407中，预测方法决定部109将包含在下一个周期的参照图像(I画面或P画面)的间隔M只减少给定值(例如1)。这是根据现在周期中包含的图像的倾向，设定下一个周期的图像的编码条件。
在步骤1408中，预测方法决定部109判断变化后的M值是否小于最小值Mmin。M值小于最小值Mmin时进入步骤1409。否则进入步骤1414。在步骤1409中，预测方法决定部109设定变化后的M值为最小值Mmin后进入步骤1414。步骤1408和1409与图9中的步骤905和906根据相同理由设置。
在步骤1410中，预测方法决定部109将参数SumCf的值与第六阈值TH6比较。参数SumCf的值比阈值TH6小时进入步骤1411，否则进入步骤1414。
在步骤1411中，预测方法决定部109将在下一个周期以后包含的参照图像的间隔M只增大给定值(例如1)进行设定。即如同步骤1407所说明的、根据现在周期中包含的图像的倾向，设定下一个周期的图像的编码条件在步骤1412中，预测方法决定部109判断变化后的M值是否大于最大值Mmax。M值大于最大值Mmax时进入步骤1413。否则进入步骤1414。步骤1413中，预测方法决定部109设定变化后的M值为最大值Mmax后进入到步骤1414。
步骤1414～1417是决定下一周期的图像的编码条件的画面结构的处理。在步骤1414中，预测方法决定部1099将参数SumCf的值与第七阈值TH7比较。参数SumCf的值比阈值TH7大时进入步骤1415，否则进入步骤1416。
在步骤1415中，设定在下一个周期之后含有的图像采用半帧结构对指定画面类型的图像进行编码。参数SumCf的值比阈值TH7大时，可以认为图像的变化激烈，有必要防止下一个周期预测效率的低下。
在步骤1416中，参数SumCf的与第八阈值TH8相比较，变化度参数Cf比第八阈值TH8小时，进入步骤1417，否则，处理结束。在步骤1417中，预测方法决定部109设定对下一个周期之后含有的图像采用帧结构对指定画面类型的图像进行编码，结束处理。
根据以上操作，特别是变化度参数较大时即动态图像的时间变化相对空间变化大时，将参照画面的间隔M变小，同时让I画面和P画面成半帧结构，从而防止预测效率的低下。
下面说明生成压缩数据后的处理。图15(a)是编码系统10的功能块构成图。编码系统10包括编码装置100、发送部150、记录部151。例如编码系统10在广播电台作为发送设备被构筑。被编辑的动态图像在动态图像编码装置100中变换为压缩数据、采用电波、传送线等传送介质从发送部150传送到各家庭。此外，从动态图像编码装置100输出的压缩数据、被记录部151记录在记录介质200上。记录介质200包括光盘等光记录介质、SD存储卡等半导体记录介质、硬盘等磁记录介质。如果达到现有技术的画质，因为压缩数据的数据量更少，能减少传送时所需要的频带、传送时间等、也能减少记录介质200必要的记录容量。
此外，编码系统10也能在通用PC中采用。动态图像编码装置100例如是装入到PC中的编码板。输入的动态图像信号为电视信号时，PC10将有关电视节目的压缩数据记录到硬盘驱动器151内的硬盘200中。
另一方面，图15(b)表示解码系统11的功能块的构成。解码系统11包括接收部160、读出部161、解码装置300、显示部170。解码系统11，例如作为构筑在电视视听者的家庭中的映像、音响系统而被构筑。这时，接收部160是用于接收运送压缩数据的电波的天线，或者是用于接收运送压缩数据的广播信息的机顶盒的接收端口。读出部161是用于读出记录在记录介质200中的压缩数据的驱动装置、存储卡槽(图中未画出)等。解码装置300包括压缩数据的解码功能，例如当压缩数据按照MPEG标准生成时，解析图12所示的数据结构，根据解析结果是可解码的MPEG解码器。但是，在本发明中解码功能不作为主要问题，所以省略了解码装置300的说明。显示部170是具有扬声器的电视机。视听者，在解码系统11中接收压缩数据，或者从记录介质200读出进行解码，而可以视听动态图像。
以上，对动态图像编码装置100的构成以及动作进行了说明。依据本发明的动态图像编码装置100，根据表示动态图像的变化程度的变化度参数，动态控制I画面和P画面以及/或者P画面之间的间隔。进一步，画面结构也动态切换成帧结构和半帧结构，可以提高编码效率。因此，由动态图像编码装置100生成的压缩数据与现有技术的编码装置生成的压缩数据进行比较，如果是相同数据量，则再生图像的品质高，如果是相同画质，则数据量少。因此，根据本发明，在保持高品质的同时，也可以实现更加高效的压缩编码。
此外，在此之前的说明中言及的阈值TH1～TH8的具体值由制造动态图像编码装置100的生产厂家根据该装置的规格自由决定。也能根据所需要的压缩数据的品质自由决定。
再有，依据动态图像编码装置100的处理对象的动态图像虽然是采用隔行方式的映像的情况进行了说明，本发明也适用于逐行方式的映像。但是因为在逐行方式的映像的情况下不存在半帧图像只有帧图像，例如可以采用每1/60被显示的连续的2个帧图像，作为在本说明书中说明的第一半帧及第二半帧进行处理。在进行这样处理时，只要将式(1)中的F(x，y)置换成第一帧图像的像素值G1(x，y)、F(x，y+1)置换成第二帧图像的像素值G2(x，y)即可。再有，只要将式(2)中的F(x，y)置换成第一帧图像的像素值G1(x，y)、F(x，y+2)置换成第一帧图像的像素值G1(x，y+1)即可。这样，进行与对隔行方式说明的方法完全相同的处理，可以求出时间方向变化量和空间方向变化量。
数据处理装置100的上述处理依照计算机程序进行。例如、生成压缩数据的处理，通过执行按照图6、9、14所示流程图记述的计算机程序来实现。计算机程序可以记录在以光盘为代表的光记录介质、以SD存储卡、EEPROM为代表的半导体记录介质、以软盘为代表的磁记录介质等记录介质中。光盘装置100不仅可以通过记录介质，也可通过网络等电通信线路取得计算机程序。
根据本发明，提供一种保持高品质、高效率的进行动态图像数据压缩编码的数据处理装置及其方法。本发明可用于进行压缩编码后的数据的记录、传送、再生等的数据处理用途中。
权利要求
1.一种数据处理装置，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单元进行压缩编码，其特征在于，所述动态图像通过连续显示分别由2个半帧图像构成的多帧图像而得到；所述数据处理装置包括存储器，其存储所述动态图像数据；计算部，其根据所述2个半帧图像的动态图像数据，算出表示所述动态图像的变化程度的参数；决定部，其根据所述计算部算出的所述参数，决定采用帧内编码方式及前向预测编码方式压缩编码的图像单位、以及规定所述给定图像单位的画面结构；和处理部，其将保存在所述存储器中的所述动态图像数据，按照由所述决定部决定的所述画面结构进行压缩编码、生成压缩数据。
2.根据权利要求1所述的数据处理装置，其特征在于，所述计算部根据所述2个半帧图像间的所述动态图像数据的变化量，求出时间方向变化量、以及针对所述2个半帧图像的每一个根据图像内的所述动态图像数据的变化量，求出空间方向变化量、根据所述时间方向变化量和所述空间方向变化量，算出所述参数。
3.根据权利要求2所述的数据处理装置，其特征在于，所述2个半帧图像是对应于所述帧图像的奇数行的第一半帧图像和对应于偶数行的第二半帧图像；所述计算部特定所述帧图像内的相互相邻的所述第一半帧图像的行以及所述第二半帧图像的行，根据各行的动态图像数据的差分，算出所述时间方向变化量，并且所述计算部特定在所述第一半帧图像以及所述第二半帧图像的各图像内的相邻行、根据各行的动态图像数据的差分，算出所述空间方向变化量。
4.根据权利要求2所述的数据处理装置，其特征在于，所述计算部，将各帧图像被分成多个块，根据每个所述块的动态图像数据算出所述时间方向变化量以及所述空间方向变化量，根据各块的时间方向变化量以及各空间方向变化量，采用所述动态图像的变化量在给定量以上的块与所有的块数之比作为所述参数算出。
5.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，在所述参数比给定阈值大时，决定所述画面结构为半帧结构；所述处理部以所述半帧图像单位对所述动态图像数据进行压缩编码。
6.根据权利要求5所述的数据处理装置，其特征在于，所述决定部，增加采用所述帧内编码方式进行压缩编码的半帧图像的数量以及采用所述前向预测编码方式进行压缩编码的半帧图像的数量中的至少一方。
7.根据权利要求6所述的数据处理装置，其特征在于，所述决定部只采用所述帧内编码方式或所述前向预测编码方式对半帧图像进行压缩编码。
8.根据权利要求7所述的数据处理装置，其特征在于，所述决定部当由所述计算部算出的所述参数变得比所述给定阈值小时，决定所述画面结构为帧结构；所述处理部以所述帧图像单位对所述动态图像数据进行压缩编码。
9.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，当采用前向预测编码方式压缩编码的第一图像、和参照所述第一图像被预测编码的第二图像连续时，决定所述第二图像的画面结构为半帧结构，当不连续时，决定所述第二图像的画面结构为帧结构。
10.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，当采用前向预测编码方式压缩编码的第一图像、和参照所述第一图像被预测编码的第二图像连续时，决定所述第二图像的画面结构为帧结构或者半帧结构，当不连续时，决定所述第二图像的画面结构为帧结构。
11.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，根据按照采用帧内编码方式压缩编码的多个图像或者采用前向预测编码方式压缩编码的多个图像决定的周期，决定采用所述前向预测编码方式压缩编码的图像的画面结构。
12.根据权利要求11所述的数据处理装置，其特征在于，所述决定部，根据按照采用帧内编码方式压缩编码的所述多个图像决定的周期，决定采用所述前向预测编码方式压缩编码的图像的画面结构。
13.根据权利要求11所述的数据处理装置，其特征在于，所述决定部，根据按照采用前向预测编码方式压缩编码的所述多个图像决定的周期，决定采用所述前向预测编码方式压缩编码的图像的画面结构。
14.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，当采用帧内编码方式压缩编码的第一图像、和参照所述第一图像采用前向预测编码方式进行压缩编码的第二图像连续时，决定所述第一图像的画面结构为半帧结构，并且，决定构成所述第一图像的第一半帧图像以及第二半帧图像中，采用帧内编码方式对所述第一半帧图像进行压缩编码，采用前向预测编码方式对所述第二半帧图像进行压缩编码。
15.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，决定让采用帧内编码方式压缩编码的图像的画面结构、与采用帧内编码方式压缩编码后之前的图像或者采用前向预测编码方式压缩编码后之前的图像的画面结构一致。
16.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，决定让采用帧内编码方式压缩编码的图像的画面结构、与采用帧内编码方式压缩编码之后的图像或者采用前向预测编码方式压缩编码之后的图像的画面结构一致。
17.根据权利要求1～4中任一项所述的数据处理装置，其特征在于，所述决定部，决定让采用双向预测编码方式压缩编码的第一图像的画面结构、与采用所述第一图像参照的参照图像的画面结构一致。
18.一种数据处理系统，其特征在于，包括权利要求1～4中任一项所述的数据处理装置；和发送部，其在传送介质上发送由所述数据处理装置的处理部生成的所述压缩数据。
19.一种数据处理系统，其特征在于，包括权利要求1～4中任一项所述的数据处理装置；和记录部，其在记录介质上记录由所述数据处理装置的处理部生成的所述压缩数据。
20.一种数据处理装置，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单位进行压缩编码，其特征在于，所述动态图像通过连续显示多帧图像而得到；所述数据处理装置包括存储器，其存储所述动态图像数据；计算部，其算出表示连续2个帧图像间的所述动态图像数据的变化量的时间方向变化量、以及针对所述2个帧图像的每一个表示图像内的所述动态图像数据的变化量的空间方向变化量，根据所述时间方向变化量以及所述空间方向变化量，算出表示所述动态图像的变化程度的参数；决定部，其根据所述计算部算出的所述参数，对所述多个帧图像的每一个决定压缩编码方式；和处理部，其将保存在所述存储器中的所述动态图像数据，按照由所述决定部决定的方式进行压缩编码、生成压缩数据。
21.根据权利要求20所述的数据处理装置，其特征在于，所述动态图像通过连续显示分别由2个半帧图像构成的多帧图像而得到；所述2个半帧图像是对应于所述帧图像的奇数行的第一半帧图像和对应于偶数行的第二半帧图像；所述计算部特定所述帧图像内的相互相邻的所述第一半帧图像的行以及所述第二半帧图像的行，根据各行的动态图像数据的差分，算出所述时间方向变化量，并且所述计算部特定在所述第一半帧图像以及所述第二半帧图像的各图像内的相邻行、根据各行的动态图像数据的差分，算出所述空间方向变化量。
22.根据权利要求20所述的数据处理装置，其特征在于，所述计算部特定在所述2个帧图像中相同位置的2行，根据各行的动态图像数据的差分，算出所述时间方向变化量，并且特定所述2个帧图像中的一方图像内的相邻行、根据各行的动态图像数据的差分，算出所述空间方向变化量。
23.根据权利要求22所述的数据处理装置，其特征在于，所述决定部，增加采用所述帧内编码方式进行压缩编码的帧图像的数量以及采用所述前向预测编码方式进行压缩编码的帧图像的数量中的至少一方。
24.根据权利要求22所述的数据处理装置，其特征在于，所述决定部只采用所述帧内编码方式或所述前向预测编码方式的任一方对所述帧图像进行压缩编码。
25.一种数据处理系统，其特征在于，包括权利要求21所述的数据处理装置；和发送部，其通过传送介质，发送由所述数据处理装置的处理部生成的所述压缩数据。
26.一种数据处理系统，其特征在于，包括权利要求21所述的数据处理装置；和记录部，其在记录介质上记录由所述数据处理装置的处理部生成的所述压缩数据。
27.一种数据处理方法，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单元进行压缩编码，其特征在于，所述动态图像通过连续显示分别由2个半帧图像构成的多帧图像而得到；所述数据处理方法包括存储所述动态图像数据的步骤；根据所述2个半帧图像的动态图像数据，算出表示所述动态图像的变化程度的参数的步骤；根据所算出的所述参数，决定采用帧内编码方式及前向预测编码方式压缩编码的图像单位、以及规定所述给定图像单位的画面结构的步骤；和将所述动态图像数据，按照所决定的所述画面结构进行压缩编码、生成压缩数据的步骤。
28.一种数据处理方法，将表示动态图像的动态图像数据，采用帧内编码方式、前向预测编码方式以及双向预测编码方式中任一个，以给定的图像单位进行压缩编码，其特征在于，所述动态图像通过连续显示多帧图像而得到；所述数据处理方法包括存储所述动态图像数据的步骤；算出表示连续2个帧图像间的所述动态图像数据的变化量的时间方向变化量、以及针对所述2个帧图像的每一个表示图像内的所述动态图像数据的变化量的空间方向变化量的步骤；根据所述时间方向变化量以及所述空间方向变化量，算出表示所述动态图像的变化程度的参数步骤；根据所算出的所述参数，对所述多个帧图像的每一个决定压缩编码方式的步骤；和将所保存的所述动态图像数据，按照所决定的方式进行压缩编码、生成压缩数据的步骤。
全文摘要
提供一种即使在动态图像中包含移动特别激烈的图像时也不会降低编码效率的情况下可以对动态图像数据进行压缩编码的数据处理装置。动态图像通过连续显示分别由2个半帧图像构成的多帧图像而获得。装置(100)包括保存动态图像数据的存储器(101)；根据2个半帧图像的动态图像数据算出表示动态图像变化程度的参数的计算部(108)；根据所算出的参数、决定在画面内及前向预测编码方式压缩编码的图像单位、以及规定图像单位的画面结构的决定部(109)；和按照所决定的画面结构对保存在存储器的动态图像数据进行压缩编码，生成压缩数据的处理部(102～107，110)。
文档编号G06T9/00GK1613261SQ0380197
公开日2005年5月4日 申请日期2003年8月1日 优先权日2002年8月5日
发明者稻垣寻纪, 福田秀树, 近藤敏志 申请人:松下电器产业株式会社