图像处理装置和方法

专利名称：图像处理装置和方法
技术领域：
本发明涉及图像处理装置和图像处理方法。特别地，本发明涉及一种能够在内容(例如图像和音频内容)的文件传输中减少延迟量的图像处理装置和图像处理方法。
背景技术：
迄今为止,MXF (Material eXchange Format,素材交换格式)已经可以作为用于素材转换的文件格式的标准，其中，将诸如图像和音频的素材转换为用于传输的文件(例如，参见SMPTE377M =MXF文件格式规范(总体主文档)、SMPTE378M:0P_la(最小的简单的MXF文件的布局选项)、SMPTE379M:普通容器(本质存储在MXF文件的方式)以及SMPTE422M:映射J2K码流到MXF普通容器中。未压缩的视频数据和音频数据，或者被编码系统(诸如JPEG (联合图像专家组)或MPEG (运动图像专家组)编码系统)编码的视频数据和音频数据被转换(包裹(wrap))成MXF文件与元数据和文件一起被传输。这样的安排实现了在能够交换符合MXF标准的文件的设备之间的数据传输。因此，所述安排可以实现具有高自由度的以及独立于编码技术的数据传输，从而允许内容数据可以容易地在更多样化的设备之间传输。一种以更高的速度实现图像的编码和解码的方法已被提出作为图像编码系统(例如，参见国际公布小册子N0.W02007/058296A1)。对于图像数据的传输，编码图像数据可以进一步降低信息量。对于编码，使用编码系统可以降低数据传输中的延迟量。也就是说，有可能进一步减少从获取图像数据时直到执行图像数据的编码、传输和解码，所得的解码图像的再现以及解码图像数据的记录时的延迟时间。然而，在典型的MXF标准的情况下，没有考虑到如国际公布小册子N0.W02007/058296A1中描述的低延迟编码系统，并且难以实现低延迟数据传输。

发明内容

因此，期望实现有关数据(诸如图像和音频数据)传输的高自由度和低延迟。根据本发明的一个实施例，提供了一种处理编码后数据的图像处理装置，所述编码后数据是通过对每个行块(line-block)的图像数据进行编码而获得的，这些行块是通过划分图片而获得的，所述图像处理装置包括:体分区(body-partition)生成单元,其被配置为:对于这些行块之一的每个编码后数据，以预定格式生成文件的体分区，这些体分区包含所述编码后数据；分区合并单元，其被配置为:将由体分区生成单元生成的体分区、包含头信息的头分区(header partition)以及包含尾信息的尾分区(footer partition)合并,从而生成所述文件。体分区生成单元可以生成一个包含有关文件的编码后数据的体分区，以便将一个行块的编码后数据包裹到文件中。体分区生成单元可以以该顺序生成包含编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并可以将体分区以该顺序排列。
图像处理装置可以进一步包括尾分区生成单元，其被配置为生成尾分区。体分区生成单元可以以该顺序生成包含编码后数据的体分区和包含索引表段的体分区，并可以以该顺序排列体分区，并且尾分区生成单元可以生成包含头元数据的尾分区。图像处理装置可以进一步包括尾分区生成单元，其被配置为生成尾分区。体分区生成单元可以生成包含编码后数据的体分区，并且尾分区生成单元可以生成包含头元数据和索引表段的尾分区。体分区生成单元可以生成包含有关文件的编码后数据的体分区，并且可以排列体分区，使得行块的编码后数据被包裹到文件中。体分区生成单元可以以该顺序为每个行块生成包含编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并可以以该顺序排列体分区。图像处理装置可以进一步包括尾分区生成单元，其被配置为生成尾分区。对于除了最后一个行块的每个行块，体分区生成单元可以以该顺序生成包含编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并可以以该顺序排列体分区。对于最后的行块，体分区生成单元可以以该顺序生成包含编码后数据的体分区以及包含索引表段的体分区，并可以以该顺序排列体分区。尾分区生成单元可以生成包含最后的行块的头元数据的尾分区。图像处理装置可以进一步包括尾分区生成单元，其被配置为生成尾分区。对于除了最后一个行块的每个行块，体分区生成单元可以以该顺序生成包含编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并可以以该顺序排列体分区。对于最后的行块，体分区生成单元生成包含编码后数据的体分区。尾分区生成单元可以生成包含最后的行块的头元数据和索引表段的尾分区。图像处理装置可以进一步包括编码器，其被配置为编码每个行块的图像数据。体分区生成单元可以生成包含编码后数据的体分区，通过编码每个行块的图像数据而获得编码后数据，由编码器执行编码。编码器可以包括:小波变换单元，其被配置为对每个行块的图像数据执行小波变换；以及熵编码单元，其被配置为对系数数据执行熵编码，通过小波变换单元执行小波变换而获得系数数据。行块可以是若干行的像素数据组，在小波变换之后，小波变换单元使用它来生成最低频率分量的子带的一行的系数数据。预定格式可以是根据SMPTE标准的MXF。根据本发明的一个实施例，提供了一种用于处理编码后数据的图像处理装置的图像处理方法，所述编码后数据是通过对每个行块的图像数据进行编码而获得的，这些行块是通过划分图片而获得的，所述图像处理方法包括:使体分区生成单元对于这些行块之一的每个编码后数据以预定格式生成文件的体分区，这些体分区包含所述编码后数据；使分区合并单元将所生成的体分区、包含头信息的头分区以及包含尾信息的尾分区合并，从而生成所述文件。根据本发明的另一个实施例，提供了一种处理编码后数据的图像处理装置，所述编码后数据是通过对图像数据进行编码而获得的，所述图像处理装置包括:分区分离单元，其被配置为将编码后数据分离成分区，这些分区包括预定格式的文件的体分区，这些体分区包含行块之一的编码后数据，这些行块是通过划分图像而得到的；体分区解密单元，其被配置为对这些体分区进行解密以提取对于行块的编码后数据，这些体分区是被分区分离单兀分尚的。体分区解密单元可以进一步解密包含索引表段的体分区和包含头元数据的体分区，体分区被分区分离单元所分离。图像处理装置可以进一步包括解码器，其被配置为对一个行块的编码后数据进行解码，编码后数据被体分区解密单元解密和提取。解码器可以包括:熵解码单元，其被配置为对编码后数据执行熵解码以生成系数数据；以及逆小波变换单元，其被配置为对系数数据执行逆小波变换，通过熵解码单元执行解码生成系数数据。预定格式可以是根据SMPTE标准的MXF。根据本发明的另一个实施例，提供了一种用于处理编码后数据的图像处理装置的图像处理方法，所述编码后数据是通过对图像数据进行编码而获得的，所述图像处理方法包括:使分区分离单元将编码后数据分离成分区，这些分区包括预定格式的文件的体分区，这些体分区包含行块之一的编码后数据，这些行块是通过划分图像而得到的；体分区解密单元，其被配置为对所分离的体分区进行解密以对于所述行块提取所述编码后数据。根据本发明的一个实施例，提供了一种用于处理编码后数据(该数据是通过编码每个行块的图像数据而获得的，这些行块是通过划分图片而获得的)的技术。以预定格式为行块之一的每个编码后数据生成体分区，所述体分区包含所述编码后数据。此外，将所生成的体分区、包含头信息的头分区以及包含尾信息的尾分区合并在一起，从而生成所述文件。根据本发明的另一个实施例，提供了一种用于处理编码后数据的技术，所述编码后数据是通过编码图像数据而获得的。将编码后数据分离为分区，这些分区包括预定格式的文件的体分区，这些体分区包含通过划分图像而得到的行块中的一个行块的编码后数据。此外，解密所分离的体分区以提取该行块的编码后数据。根据本发明，图像可以被处理。尤其是，可以实现有关数据(诸如图像和音频数据)传输的高自由度和低延迟。


图1是示出了图像编码装置的主要配置示例的框图；图2示出了子带；图3示出了小波变换；图4是示意性地示出了当提升技术被应用到5X3滤波器时的小波变换的示意图；图5是示意性地示出了当提升技术被应用到5X3滤波器时的小波变换的示意图；图6是示出了执行基于使用5X3滤波器的提升的滤波直到分解层数2的示例的示意图；图7A至7C示意性地示出了小波变换流和逆小波变换的流程；
图8示意性地示出了用于编码和解码的元件的示例性的并行操作；图9示出了 MXF逻辑格式的基本结构的示例；图1OA至IOC示出了 MXF逻辑格式的物理结构的示例；图11示出了本质容器数据的配置的示例；图12示出了头元数据和本质容器数据之间的关系的示例；图13A至13C示出了分区的物理格式的低延迟结构的示例；图14是不出了编码处理流程的不例的流程图；图15是示出了行块编码处理流程的示例的流程图；图16是示出了体分区生成处理流程的示例的流程图；图17是示出了尾分区生成处理流程的示例的流程图；图18A和18B示出了 MXF低延迟结构的示例；图19是示出了体分区生成处理流程的另一个示例的流程图；图20是示出了尾分区生成处理流程的另一个示例的流程图；图21A和21B示出了 MXF低延迟结构的另一个示例；图22是示出了体分区生成处理流程的又一个示例的流程
图23是示出了尾分区生成处理流程的又一个示例的流程图；图24示出了 MXF低延迟结构的又一个示例；图25是示出了编码处理流程的另一个示例的流程图；图26是示出了尾分区生成处理流程的又一个示例的流程图；图27是示出了图像解码装置的主要配置示例的框图；图28是示出了解码处理流程的示例的流程图；图29是示出了尾分区解密处理流程的示例的流程图；图30是示出了体分区解密处理流程的示例的流程图；图31是示出了行块解码处理流程的示例的流程图；图32是示出了体分区解密处理流程的另一个示例的流程图；图33是示出了体分区解密处理流程的又一个示例的流程图；图34是示出了解密处理流程的另一个示例的流程图；图35是示出了尾分区解密处理流程的另一个示例的流程图；图36是示出了编码后数据交换的示例的流程图；和图37是示出个人计算机的主要配置示例的框图。
具体实施例方式下面将描述用于实施本发明的模式(此处称为“实施例”)。按照以下顺序进行描述:I第一实施例(图像编码装置)2.第二实施例(图像解码装置)3.第三实施例(个人计算机)〈1.第一实施例>图像编码装置
图1是示出了图像编码装置的主要配置示例的框图。在图1中示出的图像编码装置100被用作图像处理装置，把图像数据编码，把编码后数据转换为MXF(素材交换格式)文件，并输出该MXF文件。如图1中所示，图像编码装置100具有行块编码器101和MXF文件生成器102。行块编码器101对输入的图像数据以低延迟进行编码。更具体地，行块编码器101对多个行块中的每一个行块执行编码(在下面被描述)，所述多个行块是通过对运动图像的图像数据的每个图片进行划分而获得的。MXF文件生成器102顺序地对于每个行块把从行块编码器101中输出的编码后数据(码流)转换为MXF文件，从而抑制延迟的增大，并输出所述MXF文件。MXF是一种用于传输内容(诸如图像和音频内容)数据的传输文件格式。例如，MXF被用于在设备(诸如在广播站使用的摄像机和编辑装置等等)之间传输数字视频和音频数据。在过去，诸如图像和音频内容的内容数据通过磁带设备等在装置之间交换。然而，随着信息处理技术的改进，这些装置已经连接到通用网络，数据通过通用网络交换。作为结果，数据在更多样化的装置之间交换。MXF是一种文件格式，其具有类似用于将视频数据和音频数据与元数据一起包裹的“容器(container) ”或“包裹器(wrapper) ”的性质。MXF是标准化的，以便可以解决非专业应用的各种问题，并且针对专业应用的未来标准完全支持时间码和元数据。MXF被设计为一个范围广泛的标准，它具有高自由度并且独立于任何特定的视频或音频压缩技术(编解码器)。也就是说，MXF使得由任意编码系统编码的码流被转换为文件。也就是说，对于基于任何编码系统的码流，MXF可以在能够处理MXF文件的装置之间容易地实现数据传输。因此，MXF文件格式的使用使得有可能在更多样化的装置之间容易地传输更多不同类型的数据，而无需准备适用于编码系统的接口。也就是说，MXF实现了数据传输的更高自由度。迄今为止，对于使用MXF将视频数据转换为文件，已使用诸如序列或图片的大数据单元执行所述转换。然而，在这样的情况下，将编码后数据转换为所述文件将导致大延迟量。因此，即使在使用了行块编码器101的编码中以低延迟执行了编码，但仍然存在着转换为所述文件会导致延迟时间的增加从而使得难以实现低延迟数据传输的可能性。因此，MXF文件生成器102将由行块编码器101生成的编码后数据转换为文件，使得延迟时间的增加被最小化，并传输所述文件。各个单元的细节将在下面描述。行块编码器首先，将对行块编码器101进行描述。如图1所示，行块编码器101包括图像行输入单元121、中间计算缓冲器122、基于行的小波变换单元123、系数重排缓冲器124、系数重排单元125、量化单元126以及熵编码单元127。图像行输入单元121对于每一行接收输入的运动图像数据。图像行输入单元121对于每一行将输入的图像数据提供到保持图像数据的中间计算缓冲器122。基于行的小波变换单元123对中间计算缓冲器122中累积的图像数据执行小波变换。也就是说，基于行的小波变换单元123从中间计算缓冲器122中读取图像数据，使用分析滤波器执行滤波处理以生成低频率分量和高频率分量的系数数据，并且将所生成的系数数据存储在中间计算缓冲器122。基于行的小波变换单元123具有水平分析滤波器和垂直分析滤波器，并且在屏幕的水平方向和垂直方向上对图像数据组执行分析滤波处理。基于行的小波变换单元123重新读取存储在中间计算缓冲器122中的低频率分量系数数据，并且通过使用分析滤波器对读出的系数数据执行滤波处理，从而进一步生成高频率分量和低频率分量的系数数据。所述生成的系数数据被存储在中间计算缓冲器122。基于行的小波变换单元123递归地重复对低频率分量的处理。当分解层数达到预定层数时，基于行的小波变换单元123从中间计算缓冲器122中读取系数数据，并将读取的系数数据写入到系数重排缓冲器124中。系数重排单元125以预定的顺序读取写入到系数重排缓冲器124中的系数数据，并且将读出的系数数据提供到量化单元126。量化单元126将所提供的系数数据量化，并将所得到的系数数据提供到熵编码单元127。熵编码单元127通过使用预定的熵编码系统(诸如霍夫曼编码或算术编码)对所提供的系数数据编码。熵编码单元127将所生成的编码后数据(码流)输出到MXF文件生成器102。小波变换由基于行的小波变换单元123所执行的处`理将被更详细地描述。首先将简要地描述小波变换。如图2中示意性地示出的，在对图像数据执行的小波变换中，用于将图像数据分解为高空间频率带和低空间频率带的处理被递归地在所述分解所生成的低空间频率带数据上重复。执行这样的处理，从而将低空间频率带的数据集中到较小的区域中，从而使得有可能执行有效的压缩编码。图2示出了当水平宽度为1920像素的图像被小波分解4次时(即，分解层数4)所生成的子带。在图2中，字符“H”表示高频率分量并且“L”表示低频率分量。在“L”和“H”的顺序中，前侧指示水平分解所生成的带并且后侧指示垂直分解所得到的带。在“L”和“H”前面的数字表示在相对应区域中的分解层数。最低频率带是4LL。如在图3中所示出的，当对应N行的输入图像被累积，基于行的小波变换单元123执行垂直滤波，以将在垂直方向上排列的系数组分解为高频率分量和低频率分量。当被从屏幕的左端移动到右端时，该垂直滤波被执行，使得高频率分量和低频率分量的水平排列的系数组被生成。基于行的小波变换单元123之后对水平方向上排列的分量执行水平滤波。其结果是，生成二维子带(LL，HL, LH和HH分量)。基于行的小波变换单元123继续上述操作直到屏幕的底部，从而生成单分解小波变换系数(1LL，1HL，1LH和1HH)。接下来，将使用5X3滤波器的方法作为小波变换的具体示例进行描述。使用5 X 3滤波器的方法也被用在相关技术中描述的JPEG 2000标准中，并且其有利之处在于小波变换可以用较少数量的滤波器抽头(tap)执行。5X3滤波器的脉冲响应(Z变换表达式)是由低通滤波器HO(Z)和高通滤波器Hl(Z)构成，如下面等式(I)和⑵所指出。等式(3)和⑷示出了低通滤波器HO (z)有5个抽头，并且高通滤波器H1 (z)有三个抽头。
H0(Z) = (_l+2z 1+6z 2+2z 3_z 4) /8 (I)Hl(z) = (-l+2z-l-z-2)/2(2)根据等式(I)和(2)，可直接确定低频率分量和高频率分量的系数。在这种情况下，使用提升技术有可能减少滤波处理中的计算量。将参考图4简要描述当提升技术被应用到5X3滤波器时，用于执行小波变换的分析滤波器上的处理。在图4中，顶部、中部和底部分别指示了输入图像的像素行、高频率分量输出以及低频率分量输出。顶部可指示通过上述滤波处理而获得的系数，而不是输入图像的像素行。在该情况下，顶部指示输入图像的像素行，实心方块指示偶数像素或行(开始于第零像素或行)，并且实心圆圈表示奇数像素或行。首先，在第一阶段中，根据等式(3)从输入像素行中生成高频率分量系数d/:dil = di0-l/2(si0+si+10) (3)接下来，在第二阶段中，根据等式(4)，所生成的高频率分量系数和输入图像的奇数像素被用于生成低频率分量系数s/。sil = siO+1/4(d1-11+dil) (4)在分析滤波器，执行滤波处理以将所述输入图像的像素数据分解为低频率分量和高频率分量，如上所述。将参考图5简要描述用于执行逆小波变换以重新存储由小波变换生成的系数的在合成滤波器上的处理。图5对应于上述的图4，并且示出了其中使用5X3滤波器并且应用提升技术的示例。在图5中，顶部指示由小波变换生成的输入系数，实心圆圈指示高频率分量系数，并且实心方块指示低频率分量系数。首先，在第一阶段中，根据等式(5)，从输入的低频率分量和高频率分量系数生成奇数系数&°(开始于第零系数):siO = sil-1/4(d1-11+dil) (5)接下来，在第二阶段中，根据等式(6)，从上述第一阶段中生成的偶数系数Si°和输入高频率分量系数d/生成偶数系数:diO = dil+1/2(si0+si+10) (6)在合成滤波器，执行滤波处理以将如上所述的低频率分量系数和高频率分量系数相结合，以执行逆小波变换。小波变换的方法将被进一步描述。图6示出了一个示例，其中执行了基于使用参考上文图4所述的5X3滤波器的提升的滤波处理，直到分解层数2。在图6的左侧表现为“分析滤波器”的部分表示基于行的小波变换单元123的滤波器。在图6的右侧表现为“合成滤波器”的部分表示对应于基于行的小波变换单元123的逆小波变换单元的滤波器。图6仅示出了垂直滤波处理。图6中的最左边的列表示被小波变换的像素数据。左端起第一至第三列表示用于分解层数I的分析滤波处理(垂直滤波处理)。左端起第二列表示分析滤波处理的高频率分量输出，并且左端起第三列表示分析滤波处理的低频率分量输出。左端起第四至第六列表示用于分解层数2的分析滤波处理(垂直滤波处理)。左端起第四列表示用于分解层数I的低频率分量输出(左端起第三列)。也就是说，分析滤波处理在所生成的低频率分量上递归地重复。左端起第五列表示分析滤波处理的高频率分量输出，并且左端起第六列表示分析滤波处理的低频率分量输出。用于下一层数的分析滤波器处理的系数数据被存储在中间计算缓冲器122中。在图6中示出的示例的情况下，左端起第三和第四列中的系数数据(由虚线包围)被存储在中间计算缓冲器122中。未用于下一层数的分析滤波器处理的系数数据被存储在系数重排缓冲器124中。在图6中示出的示例的情况下，左端起第二、第五和第六列中的系数数据(由点划线包围)被存储在系数重排缓冲器124中。存储在如上所述的系数重排缓冲器124中的系数数据被量化单元126量化，所得到的系数数据被熵编码单元127编码，并且将所得到的数据被作为编码后数据(码流)传输。在所述编码后数据的传输目的地，编码后数据被解码、逆量化、并进行逆小波变换(合成滤波处理)。图6中的中心垂直虚线的右侧，即，从右端起第六列到最右边的列之间的区域表示合成滤波处理。右端起第四至第六列表示用于分解层数2的合成滤波处理(垂直滤波处理)。右端起第六列表示将要进行逆小波变换的系数数据。这个系数数据对应于高频率分量输出(图6中的左端起第五列)和用于分析滤波处理的最高分解层数(即，图6的示例中的分解层数2)的低频率分量输出(图6中的左端起第六列)。右端起第五列表示的合成滤波处理的低频率分量输出，并且右端起第四列表示合成滤波处理的高频率分量输出。右端起第三列到最右边的列表示用于分解层数I的合成滤波处理(垂直滤波处理)的结果。右端起第三列中的方块表示用于分解层数2的合成滤波处理的输出(高频率分量输出和低频率分量输出)。也就是说，某一分解层数的合成滤波处理的结果被用作为下一分解层数的合成滤波处理的低频率分量输入。右端起第三列中的圆圈表示将要进行逆小波变换的系数数据。该系数数据对应于用于分析滤波处理中更一层高分解层数(图6的示例中的分解层数I)的高频率分量输出(图6的示例中的左端起第二列)。右端起第二列表示合成滤波处理的低频率分量输出，并且最右边的列表示合成滤波处理的高频率分量输出。也就是说，分析滤波处理在所生成的低频率分量输出和作为低频率分量的高频率分量输出上递归地重复。在这种情况下，如图6所示，分析滤波处理的系数数据的输出顺序和合成滤波处理的系数数据的使用顺序是彼此不同的。分析滤波器更早地生成用于更高频率分量的系数数据(即，高频率分量到低频率分量的顺序)。合成滤波器更早地使用用于低频率分量的系数数据(即，低频率分量到高频率分量的顺序)。在图6中的最左边的列到左端起第六列中，Cl至C9表示系数数据的输出顺序。在图6中的右端起第六列到最右边的列中，Cl至C9表示系数数据被用于合成滤波处理的顺序，并且括号“ O ”中的数字表示对应于系数数据的分析滤波处理输出。例如，右端起第六列中的系数数据Cl (5)和C2(4)被进行合成滤波处理(用于分解层数2的垂直滤波处理)，使得在右端起第五列中的系数数据Cf被生成。系数数据Cl (5)对应于左端起第六列中的系数数据C5，并且系数数据C2(4)对应于左端起第五列中的系数数据C4。接下来，将系数数据Cf和右端起第三列中的系数数据C3(l)进行合成滤波处理(用于分解层数I的垂直滤波处理)，使得用于奇数行的解码后图像数据被生成。系数数据C3(l)对应于左端起第二列中的系数数据Cl。也就是说，在第一轮处理中，分析滤波器按照以下顺序输出系数数据。分析滤波器输出的系数顺序:C1 — C2 — C3 — C4 — C5接着，在第一轮处理中，合成滤波器按照以下顺序使用系数数据。合成滤波器使用的系数顺序:C5 — C4 — Cl在第二轮处理中，分析滤波器按照以下顺序输出系数数据:分析滤波器输出的系数顺序:C6 — C7 — C8 — C9接着，在第二轮处理中，合成滤波器按照以下顺序使用系数数据。经过重排的顺序:C9 — C8 — C2 — C3如上所述，分量的系数数据的生成顺序和其使用顺序是彼此不同的。因此，为了抑制由于如上述的分析滤波处理和合成滤波处理造成的延迟时间的增加，系数重排单元125通过以合成滤波处理使用的系数数据的顺序(即低频率分量到高频率分量的顺序)读取所述系数数据而以高频率分量到低频率分量的顺序重排存储在系数重排缓冲器124中的系数数据。通过这样的安排，系数数据以低频率分量到高频率分量的顺序被编码，并且编码后的系数数据被传输。也就是说，系数数据以低频率分量到高频率分量的顺序被提供给传输目的地。因此，传输目的地(解码侧)可以较低延迟执行合成滤波处理，而不用重排系数数据。为了以较低延迟执行分析滤波处理，基于行的小波变换单元123为小于图片的每个数据单元对图像数据执行分析滤波处理，而不是为每个图片对图像数据执行分析滤波处理。也就是说，基于行的小波变换单元123为将图片沿着像素行划分而得到的每个行块执行分析滤波处理。此处所用的术语“行块”对应于由一个像素行或多个像素行构成的图片部分区域。更具体地，行块对应于若干行的图像数据，小波变换使用该若干行的图像数据以生成一行数据(即，最低频率分量的子带的一行系数数据)。也就是说，对应于用于生成最低频率分量的一行数据(即，最低频率分量的子带的一行系数数据)的若干行的图像数据被称为行块(或分区)。基于行的小波变换单元123对每个行块执行分析滤波处理。行块或分区也可以被应用到滤波处理结果。也就是说，行块(或分区)指的是，在小波变换之前的原始图像数据中，用于在小波变化之后生成最低频率分量的子带的一行系数数据的若干行的像素数据组，或指的是，通过对像素数据组执行小波变换获得的每一个子带的系数数据组。在图6中的示例的情况下，使用七行的像素数据执行第一轮小波变换处理。也就是说，当七行的系数数据被存储在中间计算缓冲器122中时，基于行的小波变换单元123可以开始小波变换处理。在图6所示的示例中，由于使用了提升计算，当三行的系数数据被存储时，实际上可以开始分析滤波处理。在第二轮或随后轮的小波变换处理中，由于可以使用前一小波变换处理结果(包括中间结果)，当输入四行的像素数据时，分析滤波器处理可以开始。
因此，基于行的小波变换单元123为每个行块执行小波变换，从而使得有可能开始小波变换处理而不用等待所有行的系数数据被存储在中间计算缓冲器122中。因此，系数重排单元125、量化单元126和熵编码单元127可以更早地开始各自的处理。也就是说，基于行的小波变换单元123可以较低延迟执行小波变换处理。因此，行块编码器101可以更早地输出编码后数据。也就是说，行块编码器101可以较低延迟编码图像数据。如图6中所示，也为每个行块执行逆小波变换处理，以便对应于此类小波变换处理。因此，逆小波变换(解码处理)也可以较低延迟来执行。图7A至7C示出了一种状态，其中当从屏幕顶部到底部执行小波变换时，对整个图像执行图6中所示的操作。图7A示出了输入图像。如图所示，第一输入In-1是7行的输入，并且输入In-2和随后的输入是4行输入。图7B示出了小波变换结果(分析)。如图所示，在第一 WT-1中，一行是在第I层生成的，三行是在第2层生成的，并且在WT-2中，一行是第I层生成的，两行是在第2层生成的。图7C示出了在解码侧的合成滤波器的输出图像。如图所示，作为对WT-1执行逆小波变换的结果，获得一行Out-Ι，从WT-2中生成四行，并且八行被生成为最后行。如图8中所示，在如上所述的图像编码和解码处理中的元件可以被并行执行，使得处理可以较低延迟完成。现在，将参考图7A至7C，讨论当通过使用5 X 3滤波器执行小波变换直到分解层数2时，从图像的输入到图像的输出的延迟时间的计算。从输入第一行的图像数据到第一行的图像数据被进行编码处理、传输、进行解码处理并输出的延迟时间将由下面描述的全部因素给出。在这种情况下，延迟时间不涉及取决于系统配置而变化的延迟。这样的延迟的示例包括:在传输路径中的延迟以及由于该装置的每个单元的实际处理时序造成的延迟。(I)从输入第一行的图像数据到完成用于七行的小波变换WT-1的延迟D_WT(2)涉及三行的系数的重排Ord-1的时间D_0rd(3)用于三行的熵编码EC-1的时间D_EC(4)用于三行的熵解码iEC-Ι的时间D_iEC(5)用于三行的逆小波变换iWT-Ι的时间D_iWT参考图7A至7C，尝试用上述因素计算延迟。(I)中的延迟D_WT对应于10行的时间的量。当重排Ord-1开始之后一行被处理时，熵编码EC-1可以开始。此外，当熵解码iEC-Ι开始之后两行被处理时，逆小波变换iWT-Ι可以开始。当熵编码EC-1中一行的编码完成时，也可以开始熵解码iEC-1。因此，在图7的示例中，从输入第一行的图像数据到编码处理、解码处理等等被执行以及随后第一行图像数据被输出的延迟时间等于17行(=10+1+1+2+3)。现在将结合更具体的示例讨论延迟时间。当HDTV(高清晰度电视)的隔行扫描视频信号被输入作为图像数据时，一帧被实现具有例如1920像素X 1080行的分辨率，并且一个场由1920像素X540行构成。因此，当帧频率被假定为30赫兹，一个场中的540行是在
16.67毫秒(=I秒/60场)的周期中输入的。作为结果，输入七行的图像数据的所用的延迟时间是0.216毫秒(=16.67毫秒X7/540行)，相比于例如一个场的更新时间，这是显著的更短时间。另外，由于要被处理的行数相对于上述(I)至(5)的总的延迟时间，延迟时间被显著减少。当执行上述处理的元件以硬件来实现时，可以进一步降低处理时间。在图1中示出的配置的前级的行块编码器101的描述迄今已经给出。如上所述，对于每一行，从行块编码器101中的熵编码单元127输出的码流被发送到MXF文件生成器102。MXF文件生成器MXF文件生成器102为每个行块将提供自行块编码器101的编码后数据(码流)转换为MXF文件。因此，MXF文件生成器102为每个行块将解码后文件转换为MXF文件，而不是相关技术中的为每个图片或序列将编码后数据(码流)转换为MXF文件。通过这样做，MXF文件生成器102可以较低延迟将解码后数据转换成MXF文件。通过这样的安排，MXF文件生成器102可以减少用于累积所提供的编码后数据(码流)的存储器量，从而使其有可能抑制成本的增加。如图1所示，MXF文件生成器102包括头分区生成单元131、体分区生成单元132、尾分区生成单元133以及分区合并单元134。头分区生成单元131为MXF文件生成头分区。头分区生成单元131提供所生成的头分区到分区合并单元134。体分区生成单元132为MXF文件生成体分区。体分区生成单元132提供所生成的体分区到分区合并单元134。尾分区生成单元133为MXF文件生成尾分区。尾分区生成单元133提供所生成的尾分区到分区合并单元134。分区合并单元134将提供自头分区生成单元131的头分区、提供自体分区生成单元132的体分区、提供自尾分区生成单元133的尾分区合并以生成MXF文件。分区合并单元134将所生成的MXF文件输出到图像编码装置100的外部，并且所述MXF文件被传输到传输目的地。MXF现在将描述MXF。图9示出了在“SMPTE377M =MXF文件格式规范(总体主文档)”中公开的MXF格式的基本的逻辑结构。MXF文件具有一个逻辑结构，在该逻辑结构中，其第一部分是文件头，中心部分是文件体，末端部分是文件尾。文件头可以包含元数据，元数据是MXF的特征。文件体可以包含内容,诸如视频和音频内容。除了上述的逻辑结构，MXF文件由称为“分区”的物理结构来分段，如图1OA至IOC所示。被分区分段的区域称为“分区包(partition pack)”。图1OA中示出的头分区是包含文件头的分区，因此，更具体地说，头分区具有头分区包和头元数据。可选地，头分区可以包含索引表段和本质容器(essence container)。图1OB中示出的 体分区是包含文件体的分区，因此，更具体地说，体分区具有体分区包。可选地，体分区可以包含头元数据、索引表段和本质容器。图1OC中示出的尾分区是包含文件尾的分区，因此，更具体地说，尾分区具有尾分区包。可选地，尾分区可以包含头元数据和索引表段。上述的本质容器数据在“SMPTE379M:普通容器(本质存储在MXF文件的方式)”中定义。图11的上而部分示出了本质容器的基本结构。如图11所示，本质容器可以具有多个CP (内容包)。然而，本质容器仅具有CPO，因为MXF文件生成器102为每个行块将编码后数据转为MXF文件并将一个图片项分配到一个行块。图11的中间部分示出了 CP中的项和元素。包含在CP中的图片项具有图11的下面部分所示的KLV(键-长度-值)结构。实际的图像数据被记录到V(值)。V的数据长度被记录到L (长度)。K (键)是用于标识数据的标识信息(标签)。图1中示出的头分区生成单元131生成如在图1OA中所示的头分区。体分区生成单元132生成如在图1OB中所示的体分区。尾分区生成单元133生成如在图1OC中所示的尾分区。体分区生成单元如图1所示，体分区生成单元132包括码流数据长度检测单元141、本质容器数据生成单元142、索引表段生成单元143和头元数据生成单元144。码流数据长度检测单元141为每个行块测量码流的数据长度(例如，实际的数据长度，诸如100字节或800比特)，并将用于行块的码流连同所述数据长度提供到本质容器数据生成单元142。本质容器数据生成单元142使用所提供的用于行块的码流以及数据长度生成本质容器数据。更具体地，本质容器数据生成单元142将所提供的用于每个行块的码流记录到图片项中的区域V，并将码流的数据长度记录到L。本质容器数据生成单元142也将由SMPTE (运动图像和电视工程师协会)定义的信息记录到K。本质容器数据生成单元142将所生成的本质容器数据提供到索引表段生成单元143。通过使用提供自本质容器数据生成单元142的本质容器数据的信息，索引表段生成单元143生成索引 表段。当多个本质容器数据被包含在MXF文件中，索引表段是用于描述其各自的位置信息(索引)的数据组。索引表段生成单元143将所生成的索引表段连同本质容器数据提供到头元数据生成单元144。通过使用本质容器数据的信息，头元数据生成单元144生成头元数据。图12示出了头元数据和本质容器数据之间的关系的示例。这种关系被“SMPTE377M.MXF文件格式规范(总体主文档)”定义。如图12所示，在头元数据中，作为连续序列的图像的本质容器数据被相关联以指示本质容器数据在件么时间(时间码)存在于MXF文件中的图片轨迹中。例如，有关图12中示出的图像和音频元数据的时序相关联的信息被写入到头元数据中。头元数据生成单元144将所生成的头元数据连同索引表段以及本质容器数据提供到分区合并单元134。由于头元数据和索引表段是选择性的，因此其生成可以被省略。索引表段生成单元143输出的索引表段和本质容器数据也可以被提供到尾分区生成单元133，以便被用于生成尾分区。分区的低延迟的数据结构在如上所述的MXF文件的生成期间，头分区生成单元131、体分区生成单元132以及尾分区生成单元133将分区的数据结构转换为低延迟的数据结构，使得MXF文件可以较低延迟传输。图13A至13C示出了分区的低延迟数据结构的示例。头分区生成单元131生成具有图13A中所示的数据结构的头分区。也就是说，由于基本元素之外的元素可以省略，头分区生成单元131生成具有由头分区包和头元数据(B卩，不包含选项)构成的元素的头分区。体分区生成单元132生成具有图13B中所示的数据结构的体分区。也就是说，体分区生成单元132生成具有由体分区包以及头元数据构成的元素的体分区，所述体分区包是位于体分区前部的标记(flag)信息；具有由体分区包和索引表段构成的元素的体分区；以及具有由体分区包和本质容器数据构成的元素的体分区。如上所述，在一个行块的码流被写入本质容器数据之后，基于本质容器数据的信息生成索引表段并且生成头元数据。因此，为了抑制由于生成体分区所造成的延迟时间的增加，体分区生成单元132根据所述顺序生成体分区。也就是说，体分区生成单元132首先生成具有由体分区包和本质容器构成的元素的第一体分区，生成具有由体分区包和索引表段构成的元素的第二体分区，并且然后生成具有由体分区包和头元数据构成的元素的第三分区。也就是说，以这样的顺序排列的一组体分区被生成。尾分区生成单元133生成具有如图13C中所示的数据结构的尾分区。也就是说，尾分区生成单元133生成具有由尾分区包、头元数据以及一个或多个索引表段构成的元素的尾分区。因此，通过生成MXF文件，使得没有冗余元素被包含在每个分区中，以便最小化每个分区中的元素数(即，通过生成具有低延迟的数据结构的MXF文件)，MXF文件生成器102进一步促进MXF文件的交换，并允许以 较低延迟执行MXF文件的数据传输。如上所述，MXF文件生成器102可以通过使用适于以低延迟生成的编码后数据的方法而生成MXF文件。因此，图像编码装置100可以实现关于数据(诸如图像和音频数据)传输的高自由度和低延迟。编码处理的流程接下来，将给出如上所述的图像编码装置100所执行的各个处理的流程的描述。首先，将参考图14中示出的流程图描述由图像编码装置100执行的编码处理的流程的示例。如图14所示，图像编码装置100对输入图像数据的每个图片执行编码处理。编码处理开始后，在步骤SlOl中，行块编码器101对一个行块的输入图像数据进行编码。在步骤S102中，码流数据长度检测单元141对一个行块的码流(V)检测数据长度(L)，码流(V)在步骤SlOl中生成。在步骤S103中，体分区生成单元132生成具有例如图13B中所示的低延迟数据结构的体分区。在步骤S104中，头分区生成单元131生成具有例如图13A中所示的低延迟数据结构的头分区。在步骤S105中，尾分区生成单元133生成具有例如图13C中所示的低延迟数据结构的尾分区。在步骤S106中，分区合并单元134以该顺序将步骤S104的处理中生成的头分区、步骤S103的处理中生成的体分区、步骤S105的处理中生成的尾分区合并，以生成包含用于一个行块的码流的MXF文件。分区合并单元134将所生成的MXF文件输出到图像编码装置100的外部。通过任意的传输介质，诸如有线或无线网络或任意记录介质(诸如硬盘)，所述MXF文件被传输到例如另一装置(例如，对应于图像编码装置100的图像解码装置)。在步骤S107中，分区合并单元134确定用于要处理的图片(感兴趣的图片)的所有行块是否已经被处理。当确定存在未处理的行块时，则处理返回到步骤SlOl并且随后的
处理被重复。对每个行块执行步骤SlOl至S107中的处理。当在步骤S107中确定用于感兴趣的图片的所有行块已被处理，分区合并单元134结束编码处理。行块编码处理的流程接下来，将参考图15中示出的流程图描述图14中步骤SlOl中执行的行块编码处理的流程的示例。行块编码处理开始后，在步骤S121中，图像行输入单元121获得用于一个行块的图像数据，并且将图像数据累积在中间计算缓冲器122中。当用于一个行块的图像数据被累积，该处理前进到步骤S122，其中基于行的小波变换单元123对用于一个行块的图像数据执行垂直分析滤波(垂直方向的分析滤波处理)。如上所述，当使用提升计算(lifting computation)以执行垂直分析滤波，当用于三行的图像数据被累积时，基于行的小波变换单元123可以开始垂直分析滤波。也就是说，在用于一个行块的图像数据被累计在中间计算缓冲器122之前，基于行的小波变换单元123可以开始垂直分析滤波。垂直分析滤波完成 后，处理前进到步骤S123，其中基于行的小波变换单元123对垂直分析滤波的结果执行水平分析滤波(水平方向的分析滤波处理)。垂直分析滤波所生成的图像数据被分解为垂直低频率分量和垂直高频率分量。在这些分量上执行水平分析滤波，使得它们可被分解成水平低频率分量和水平高频率分量。因此，作为步骤S122和S123的处理结果，从所述图像数据中生成了四个子带。在步骤S124中，基于行的小波变换单元123确定分析滤波是否已经执行到了预定的最后的分解层数。当确定分析滤波没有被执行到最后的分解层数时，处理返回到步骤S122,并且随后的处理被重复。当处理返回到步骤S122时，基于行的小波变换单元123增加一层分解层数并且对垂直和水平低频率分量的子带的系数数据执行步骤S122和S123中的处理(垂直分析滤波和水平分析滤波)，子带被包括在之前的分析滤波所生成的四个子带中。作为结果，垂直和水平低频率分量的子带被进一步分解为四个子带。如上所述，对于通过分析滤波所得到的垂直和水平低频率分量的子带，基于行的小波变换单元123递归地重复步骤S122和S123中的处理直到最后的分解层数。在步骤S124中，当基于行的小波变换单元123确定上述的分析滤波已到达最后的分解层数时，则处理前进到步骤S125。基于行的小波变换单元123将输出为步骤S122和S123中处理结果的子带系数数据存储在系数重排缓冲器124中。也就是说，基于行的小波变换单元123以高频率分量到低频率分量的顺序将系数数据存储在系数重排缓冲器124中。在步骤S125中，系数重排单元125以合成滤波中使用的系数数据的顺序(即以低频率分量到高频率分量的顺序)读取存储在系数重排缓冲器124中的子带系数数据，从而重排系数数据。在步骤S126中，量化单元126以步骤S125中重排的系数数据的顺序量化系数数据。在步骤S127中，熵编码单元127对在步骤S126中量化的系数数据执行熵编码，并输出所生成的编码后数据(码流)。在步骤S127中的处理完成后，熵编码单元127结束该行块的编码处理，并且处理返回到图14。体分区生成处理的流程接下来，将参考图16中示出的流程图描述图14中的步骤S103中执行的体分区生成处理的流程的示例。体分区生成处理开始后，在步骤S141中，本质容器数据生成单元142通过使用在图14中步骤SlOl中的处理中生成的编码后数据(码流)生成本质容器数据的KLV，并且生成包含本质容器数据并且具有如图13B所示的低延迟数据结构的体分区作为第一体分区。在步骤S142中，索引表段生成单元143通过使用在步骤S141中生成的本质容器数据的信息生成索引表段。索引表段生成单元143生成包含所生成的索引表段并且具有低延迟数据结构的体分区，如图13B中所示。因此，在步骤S141中生成的第一体分区之后，索引表段生成单元143生成包含索引表段的体分区作为第二体分区。也就是说，索引表段生成单元143将包含索引表段的体分区添加到包含本质容器数据的体分区的末端。在步骤S143中，头元数据生成单元144通过使用步骤S141中生成的本质容器数据的信息以及步骤S142中生成的索引表段的信息生成头元数据。头元数据生成单元144生成包含所生成的头元数据并且具有低延迟数据结构的体分区，如图13B中所示。也就是说，在步骤S142中生成的第二体分区之后，头元数据生成单元144生成包含头元数据的体分区作为第三体分区。也就是说，头元数据生成单元144将包含头元数据的体分区添加到包含索引表段的体分区的末端。在生成如上所述的三种类型的体分区之后，头元数据生成单元144结束体分区生成处理，并且所述处理返回到图14。尾分区生成处理的流程接下来，将参考图17中所示的流程图描述在图14中的步骤S105中执行的尾分区生成处理的流程的示例。尾分区生成处理开始后，在步骤S161中，尾分区生成单元133生成尾分区包。在步骤S162中，尾分区生成单元133生成头元数据并将头元数据添加到S161中生成的尾分区包的末端 ，如图13C中所示。在步骤S163中，尾分区生成单元133生成索引表段并将索引表段添加到头元数据的末端，所述头元数据在步骤S162中被添加到尾分区包，如图13C中所示。在生成如上所述的具有低延迟数据结构的尾分区之后，尾分区生成单元133结束尾分区生成处理，并且所述处理返回到图14。作为如上所述的处理的结果，行块编码器101可以通过以低延迟编码图像数据生成编码后数据(码流)。MXF文件生成器102也可以将编码后数据(码流)转换为MXF文件而不过度增加延迟时间。因此，图像编码装置100可以实现关于数据(诸如图像和音频数据)传输的高自由度以及低延迟。体分区省略图18A示出了其中只有一个行块的码流存在于本质容器数据中的MXF文件结构的示例。如该示例所示，第三体分区的头元数据和随后的尾分区的第一头元数据是多余的。因此，如图18B所示，第三体分区(即，包含头元数据的体分区)可以省略(即，可以不添加)。换言之，最后的体分区可以是第二体分区(包含索引表的体分区)。相反，被省略(不添加)的头元数据的信息包含在头元数据中，所述头元数据包含在尾分区中。作为生成如上所述的文件体体分区和尾分区的结果，MXF文件生成器102可以减少MXF文件的信息量。在这种情况下，图像编码装置100参考图14中所示流程图如上述情况一样执行编码处理。行块编码器101参考图15中所示流程图如上述情况一样执行块编码处理。然而，体分区生成处理和尾分区生成处理根据如下的描述被执行。体分区生成处理的流程将参考图19中示出的流程图描述该情况下的体分区生成处理的流程的示例。该处理是在图14中的步骤S103中执行的处理，并且对应于上面所描述的参考图16中流程图的体分区生成处理。体分区生成处理开始后，在步骤S181和S182中的处理以与图16中步骤S141和S142中的处理相同的方式被执行 。也就是说，包含本质容器数据和具有低延迟数据结构的体分区(第一体分区)，以及包含索引表段和具有低延迟数据结构的体分区(第二体分区)被生成，如图16中所示的情况。在步骤S183中，头元数据生成单元144通过使用步骤S181生成的本质容器数据的信息和步骤S182中生成的索引表段的信息生成头元数据。在这种情况下，头元数据生成单元144结束体分区生成处理，而无需生成包含头元数据体分区，并且该处理返回到图14。也就是说，在这种情况下，两种类型的体分区(即，第一体分区和第二体分区)被生成，如在图18B中所示的示例。尾分区生成处理的流程接下来，将参考图20中示出的流程图描述该情况下的尾分区生成处理的流程的示例。该处理是在图14中的步骤S105中执行的处理，并且对应于上面所描述的参考图17中流程图的尾分区生成处理。尾分区生成处理开始后，在步骤S201中，尾分区生成单元133生成尾分区包，如步骤S161中所示的情况。在步骤S202中，尾分区生成单元133将体分区的头元数据添加到步骤S201中生成的尾分区包的末端，所述头元数据在图19的步骤S183中生成。在步骤S203中，尾分区生成单元133生成索引表段并将索引表段添加到头元数据的末端，所述头元数据在步骤S202中被添加到尾分区包。也就是说，在这种情况下，如图18B所示的示例，尾分区生成单元133生成具有与图13C中示出的结构相类似的结构的尾分区(包含头元数据和索引表段)。但是，头元数据包含体分区的头元数据的内容。在生成如上所述的具有低延迟数据结构的尾分区之后，尾分区生成单元133结束尾分区生成处理，并且所述处理返回到图14。作为执行如上所述的处理的结果，相比参考图14至17的上述情况，MXF文件生成器102可以减少MXF文件的信息量。体分区省略2图21A示出了其中只有一个行块的码流存在于本质容器数据中的MXF文件结构的示例。如该示例所示，尾分区不仅包含头元数据也包含索引表段。因此，如图21B所示，不仅是第三体分区(S卩，包含头元数据的分区)被省略，第二体分区(g卩，包含索引表段的体分区)也可以被省略(g卩，可不被添加)。也就是说，体分区也可以仅由第一体分区(即，包含本质容器数据的体分区)构成。相反，被省略(不添加)的头元数据和索引表段的信息被包含在对应的包含在尾分区中的头元数据和索引表段中。作为如上所述的生成体分区和尾分区的结果，MXF文件生成器102可以进一步减少MXF文件的信息量。在这种情况下，图像编码装置100参考图14中所示流程图如上述情况一样执行编码处理。行块编码器101参考图15中所示流程图如上述情况一样执行块编码处理。然而，体分区生成处理和尾分区生成处理根据如下的描述被执行。体分区生成处理的流程将参考图22中示出的流程图描述该情况下的体分区生成处理的流程的示例。该处理是在图14中的步骤S103中执行的处理，并且对应于上面所描述的参考图16和19中流程图的体分区生成处理。体分区生成处理开始后，在步骤S221中的处理被执行，如图16中步骤S141的处理。也就是说，如同图16中所示的情况，生成含有本质容器数据和具有低延迟数据结构的体分区(第一体分区)。在步骤S222中，索引表段生成单元143通过使用步骤S221中生成的本质容器数据的信息生成索引表段。在这种情况下，所述索引表段生成单元143不生成任何包含索引表段的体分区，并且该处理前进到步骤S223。在步骤S223中，头元数据生成器144通过使用步骤S221中生成的本质容器数据的信息和在步骤S222中生成的索引表段的信息生成头元数据。在这种情况下，头元数据生成单元144结束体分区生成处理而不生成包含头元数据的任何体分区，并且所述处理返回到图14，如步骤S183中的情况。也就是说，在这种情况下，只有第一体分区被生成为体分区，如在图21B所示的示例。尾分区生成处理的流程接下来，将参考图23中示出的流程图描述该情况下的尾分区生成处理的流程的示例。该处理是在图14中 的步骤S105中执行的处理，并且对应于上面所描述的参考图17和20中流程图的尾分区生成处理。
尾分区生成处理开始后，在步骤S241中，尾分区生成单元133生成尾分区包，如步骤S161中的情况。在步骤S242中，尾分区生成单元133将体分区的头元数据添加到步骤S241中生成的尾分区包的末端，所述头元数据在图22的步骤S223中生成。在步骤S243中，尾分区生成单元133将图22的步骤S222中生成的体分区的索引表段添加到头元数据的末端，所述头元数据在步骤S242中被添加到尾分区包。也就是说，在这种情况下，如图21B所示的示例，尾分区生成单元133生成具有与图13C中示出的结构相类似的结构的尾分区(包含头元数据和索引表段)。但是，该头元数据包含体分区的头元数据的内容，并且所述索引表段包含体分区的索引表段的内容。在生成如上所述的具有低延迟数据结构的尾分区之后，尾分区生成单元133结束尾分区生成处理，并且所述处理返回到图14。作为执行如上所述的处理的结果，相比参考图18A至20的上述情况，MXF文件生成器102可以进一步减少MXF文件的信息量。包含多个行块的MXF文件虽然上面的描述已经给出了一种情况，其中为每个行块将编码后数据被转换为MXF文件，但是本技术不限于此，并且多个行块的编码后数据也可以被包裹到单个MXF文件中。但是，延迟时间与行块的数目成比例。也就是说，例如，当N个行块的编码后数据被包裹到一个MXF文件中时，其延迟时间N倍于一个行块的编码后数据被包裹到一个MXF文件中时所发生的 延迟时间。当在系统中所涉及的延迟时间在一个允许的范围内时，因此多个行块的编码后数据可以被包裹到一个MXF文件中，允许延迟时间的增加。例如，当由于使用一个用于MXF文件传输的大的传输路径带而允许一个大的延迟时间量或一次可以传输大量的数据时，存在以下情况:延迟时间的余量大，并且因此多个行块的编码后数据可被包裹到一个MXF文件中。图24示出了这样一种情况的示例，其中多个行块的编码后数据被包裹到一个MXF文件中。如图24所示，在这种情况下也为每个行块生成体分区。也就是说，为每个行块生成第一至第三体分区，并且将第一至第三体分区添加到在它们生成之前立即生成的体分区的末端。然而，在这种情况下，如图24所示，尾分区包含对应于各行块的索引表段。也就是说，对应于被包裹到MXF文件中的编码后数据的行块的数量的索引表段被添加到尾分区的头元数据的末端。编码处理的流程现在将参考图25中示出的流程图描述当多个行块的编码后数据被包裹到一个MXF文件中时的编码处理的流程的示例。该处理对应于参考图14中示出的流程图的上述的编码处理。因此，图像编码装置100对输入图像数据的每个图片执行编码处理，如图25所
/Jn ο假定在这种情况下，N个行块(N是大于或等于2的整数)的编码后数据被包裹到一个MXF文件中。
编码处理开始后，在步骤S301中，行块编码器101与在步骤SlOl中的情况一样执行行块编码处理，从而对一个行块的输入图像数据编码。也就是说，参考图15中的流程图与上述的情况一样的行块编码处理被执行。在步骤S302中，如在步骤S102中的情况下，码流数据长度检测单元141对一个行块的码流(V)检测数据长度(L)，所述码流(V)在步骤S301的处理中生成。在步骤S303中，体分区生成单元132执行体分区生成处理(如在步骤S103中的情况一样)以生成具有低延迟数据结构的体分区，例如，如在图13B中所示。也就是说，参考图16中的流程图与上述情况一样的体分区生成处理被执行。在步骤S304中，分区合并单元134确定用于N-1个行块的图像数据是否已被处理。也就是说，当已处理的图像数据的行块的数目是小于或等于N-2，所述处理返回到步骤S301，其中分区合并单元134重复随后的处理。为每个行块重复执行步骤S301至S304中的处理。当在步骤S304中确定用于N_1个行块的图像数据已经被处理，则处理前进到步骤S305，其中分区合并单元134开始处理最后的第N个行块。在步骤S305中，如在步骤S301中的情况，行块编码器101对第N个行块进行编码。也就是说，参考图15中的流程图如上述的情况一样的行块编码处理被执行。在步骤S306中，如在步骤S302中的情况，对于第N个行块，码流数据长度检测单元141检测第N个行块的码流(V)的数据长度(L)，所述码流(V)在步骤S305的处理中生成。在步骤S307中，如在 步骤S303中的情况，体分区生成单元132对第N个行块执行体分区生成处理，以生成体具有低延迟数据结构的体分区，例如，如图13B中所示。也就是说，参考图16中的流程图如上述的情况一样的体分区生成处理被执行。在生成如上所述的N个行块的体分区之后，处理前进到步骤S308，其中头分区生成单元131生成具有低延迟数据结构的头分区，例如，如图13A所示，如步骤S104中的情况。在步骤S309中，尾分区生成单元133执行尾分区生成处理，以生成具有低延迟数据结构的尾分区，例如，如图24所示。在步骤S310中，分区合并单元134以在步骤S106中的情况下的顺序将步骤S308中处理生成的头分区、步骤S303中处理生成的体分区、步骤S307中处理生成的体分区以及步骤S309中处理生成的尾分区合并，由此生成含有N个行块的码流的MXF文件。分区合并单元134将生成的MXF文件输出到图像编码装置100的外部。通过任意的传输介质，诸如有线或无线网络或任意记录介质(诸如硬盘)，所述MXF文件被传输到，例如，另一装置(例如，对应于图像编码装置100的图像解码装置)。在步骤S311中，分区合并单元134确定用于要处理的图片(感兴趣的图片)的所有行块是否已经被处理。当确定存在未处理的行块时，则处理返回到步骤S301，并且随后的
处理被重复。对每个行块执行步骤S301至S311中的处理。当在步骤S311中确定用于感兴趣的图片的所有行块已被处理时，分区合并单元134结束编码处理。尾分区生成处理的流程
接下来，将参考图26中示出的流程图描述在图25的步骤S309中执行的尾分区生成处理的流程的示例。尾分区生成处理开始后，在步骤S331中，尾分区生成单元133生成尾分区包，如步骤S161中的情况。在步骤S332中，如步骤S162中的情况，尾分区生成单元133生成头元数据并且将头元数据添加到步骤S331中生成的尾分区包的末端，如图24所示。在步骤S333中，尾分区生成单元133为N个行块分别生成索引表段并将行块的索引表段添加到头元数据的末端，所述头元数据在步骤S332中被添加到尾分区包，如图24所
/Jn ο在生成如上所述的具有低延迟数据结构的尾分区之后，尾分区生成单元133结束尾分区生成处理，并且所述处理返回到图25。作为如上所述的处理的结果，行块编码器101可以通过以低延迟编码图像数据生成编码后数据(码流)。MXF文件生成器102可以将N个行块的编码后数据(码流)包裹到一个MXF文件中。因此，图像编码装置100可以实现关于数据(诸如图像和音频数据)传输的高自由度以及低延迟。体分区省略3因此，当N个行块的编码后数据(码流)被包裹到一个MXF文件中时，如上述参考图18A至图20，第三体分区(即，包含头元数据的体`分区)也可被省略。在这种情况下，体分区生成单元132省略了第N个行块(B卩，最后的行块)的第三体分区(即，包含头元数据的体分区)。尾分区生成单元133随后将省略的头元数据(即，省略的第N个(最后的)行块的头元数据)添加到尾分区包的末端。也就是说，在这种情况下，尾分区生成单元133生成具有与图13C中的所示的结构相类似的结构的尾分区(包含头元数据和索引表段)。但是，该头元数据包含体分区的头元数据的内容。通过这样的安排，MXF文件生成器102可以减少MXF文件的信息量。体分区省略4当N个行块的编码后数据(码流)被包裹到一个MXF文件中时，如上述参考图21至23，不仅是第三体分区(B卩，包含头元数据的体分区)被省略，第二体分区(即，包含索引表段的体分区)也可以被省略(即，可不被添加)。在这种情况下，体分区生成单元132也省略了第N个(最后的)行块的第二体分区(即，包含索引表段的体分区)和第三体分区(即，包含头元数据的体分区)。尾分区生成单元133然后将省略的头元数据(即，第N个(最后的)行块的头元数据)添加到尾分区包的末端，并将省略的索引表段(即，第N个(最后的)行块的索引表段)添加到头元数据。也就是说，在这种情况下，尾分区生成器133生成具有与图13C中所示的结构相类似的结构的尾分区(包含头元数据和索引表段)。但是，该头元数据包含体分区的头元数据的内容，并且索引表段包含体分区的索引表段的内容。通过这样的安排，MXF文件生成器102可以进一步减少MXF文件的信息量。
如上述的示例，MXF文件生成器102为每个行块生成各种体分区。因此，MXF文件生成器102可以将任意数量的行块的编码后数据包裹到一个MXF文件中。因此，MXF文件生成器102可以将小于一张图片的单元的编码后数据包裹到一个MXF文件中。因此，MXF文件生成器102可以生成MXF文件而不用过度增加的延迟时间(即，具有较低延迟)。因此，图像编码装置100可以实现关于数据(诸如图像和音频数据)传输的高自由度和低延迟。<2.第二实施例>图像解码装置图27是示出了图像解码装置的主要配置示例的框图。图27中示出的图像解码装置400是对应于图1中示出的图像编码装置100的图像处理装置。也就是说，图像解码装置400获得由图像编码装置100生成和传输的MXF文件，并且正确地解密所述MXF文件，从而提取由图像编码装置100生成的编码后数据(码流)。图像解码装置400通过使用一种对应于图像编码装置100的编码的方法，正确地解码所提取的每个行块编码后数据(码流)，从而生成每个行块的解码后图像数据，并输出解码后图像数据。如图27中所示，图像解码装置400具有MXF文件解密器401和行块解码器402。MXF文件解密器401获得从图像编码装置100传输的MXF文件，正确地解密所得到的MXF文件，并提取一个或多个行块的编码后数据(码流)，所述编码后数据被包含在MXF文件中。MXF文件解密器401将所提取的每个行块的编码后数据提供到行块解码器402。行块解码器402以低延迟为每个行块的编码后数据解密，所述编码后数据供给自MXF文件解密器401。更具体地，行块解码器402通过使用一种对应于行块编码器101的编码的方法，为每个行块的编码后数据解码，从而生成每个行块的解码后图像数据，并且输出解码后图像数据。个体单元的细节将在下面描述。MXF文件解密器MXF文件解密器401获得从图像编码装置100传输的所述MXF文件，并对所述MXF文件进行解密。如上所述，图像编码装置100生成每个行块的体分区和并将任意数量的行块的编码后数据包裹到一个MXF文件中。因此，MXF文件解密器401可以从MXF文件中提取每个行块的编码后数据(码流)。因此，MXF文件解密器401可以较低延迟提取编码后数据(码流)。通过这样的安排，比一张图片更小的单元的编码后数据(码流)可以被包裹到一个MXF文件中。因此，有可能减少用于保持由MXF文件解密器401所获得的MXF文件的存储器量，还有可能抑制成本的增加。如图27中所示，MXF文件解密器401包括分区分离单元411、头分区解密单元412、体分区解密单元413以及尾分区解密单元414。分区分离单元411获得从图像编码装置100传输的MXF文件，并且解密MXF文件以将MXF文件分离成分区。 分区分离单元411将所分离的头分区提供到头分区解密单元412。分区分离单元411将所分离的体分区提供到体分区解密单元413。分区分离单元411将所分离的尾分区提供到尾分区解密单元414。头分区解密单元412解密所提供的头分区。
通过使用由头分区解密单元412执行的头分区解密的结果，以及由尾分区解密单元414执行的尾分区解密的结果，体分区解密单元413解密所提供的体分区以提取每个行块的编码后数据(码流)。体分区解密单元413将所提取的每个行块的编码后数据提供到行块解码器402进行解码。尾分区解密单元414对所提供的尾分区进行解密。体分区解密单元如图27所示，体分区解密单元413包括头元数据解密单元421、索引表段解密单元422、码流数据长度解密单元423以及本质容器数据解密单元424。头元数据解密单元421解密包含体分区包和头元数据的第三体分区，从而从体分区中提取头元数据，所述第三体分区被包括在提供自分区分离单元411的体分区中。头元数据解密单元421将所提取的头元数据连同提供自分区分离单元411的体分区提供到索引表段解密单元422。索引表段解密单元422对包含体分区包和索引表段的第二体分区解密，从而从第二体分区中提取头元数据，所述第二体分区被包括在提供自分区分离单元411的分区中。索引表段解密单元422将所提取的索引表段连同体分区和头元数据提供到码流数据长度解密单元423。基于包含在体分区中的信息以及提供自索引表段解密单元422的索引表段，码流数据长度解密单元423解密本质容器数据的KLV结构的L，即，每个行块的码流的数据长度(例如，实际的数据长度，诸如100字节或800比特)。码流数据长度解密单元423将解密后的数据长度连同体分区、头元数据和索引表段提供到本质容器解密单元424。基于头元数据、索引 表段等等，本质容器数据解密单元424解密本质容器数据的KLV,并从本质容器数据中提取每个行块的编码后数据。本质容器数据解密单元424将所提取的每个行块的编码后数据提供到行块解码器402。行块解码器接下来，行块解码器402将在下面描述。如图27所示，行块解码器402包括熵解码单元431、逆量化单元432、系数缓冲器433、逆小波变换单元434以及行块图像输出单元435。通过使用一种对应于熵编码单元127的编码系统的方法，熵解码单元431对每个行块的编码后数据执行熵解码，以生成每个行块的系数数据，所述编码后数据提供自MXF文件解密器401。熵解码单元431将所生成的每个行块的系数数据提供到逆量化单元432。逆量化单元432对提供自熵解码单元431的系数数据执行对应于由量化单元126所执行的量化处理的逆量化处理。逆量化单元432将逆量化的系数数据提供到存储系数数据的系数缓冲器433中。逆小波变换单元434按需从系数缓冲器433中读取将要进行逆小波变换的系数数据，并对系数数据执行逆小波变换处理以生成解码后图像数据。逆小波变换单元434将所生成的解码后图像数据提供到行块图像输出单元435。行块图像输出单元435保持提供自逆小波变换单元434的解码后图像数据，并且将每个行块的解码后图像数据输出到图像解码装置400的外部。例如，解码后图像数据被提供到显示单元(未示出)，使得解码后图像被显示，被存储在记录介质(诸如硬盘或半导体存储器)中(未示出)，或者被供给到图像处理装置(未示出)，从而进行任意的图像处理。如上所述，行块解码器402可以为每个行块的编码后数据进行解码。因此，行块解码器402可以较低延迟解码编码后数据以生成解码后图像数据。当由于MXF文件解密器401执行的MXF文件解密而引起延迟时间过度增加时，有可能浪费了由行块解码器402执行的低延迟处理。然而，如上所述，MXF文件解密器401可以解密所述MXF文件以提取编码后数据，而没有过度增加延迟时间。也就是说，MXF文件解密器401可以执行处理，使得行块解码器402所执行的低延迟处理没有被不必要地抑制。因此，图像解码装置400可以实现关于数据(诸如图像和音频数据)传输的高自由度和低延迟。解码处理的流程接下来，将给出如上所述由图像解码装置400执行的各处理的流程的描述。首先，将参考图28中示出的流程图描述图像解码装置400执行的解码处理的流程的示例。图像解码装置400执行图28中所示的解码处理，每一次输入一个图片的编码后数据。当解码处理开始时，在步骤S401中，分区分离单元411获得所传输的MXF文件，并解密MXF文件以分离头分区、体分区和尾分区。

在步骤S402中，头分区解密单元412解密在步骤S401中分离的头分区。在步骤S403中，尾分区解密单元414解密在步骤S401中分离的尾分区。在步骤S404中，体分区解密单元413解密在步骤S401中分离的体分区。当单个分区被如上所述地解密时，该处理前进到步骤S405，其中本质容器数据解密单元424从MXF文件(本质容器数据)中提取一个行块的码流。在步骤S406中，行块解码器402对一个行块的编码后数据进行解码以生成个行块的解码后图像数据，所述编码后数据在步骤S405中被提取。在步骤S407中，行块图像输出单元435将一个行块的解码后图像数据输出到图像解码装置400的外部，所述解码后图像数据在步骤S406中的处理中生成。在步骤S408中，行块图像输出单元435确定有关被处理的图片(感兴趣的图片)的所有行块是否已被处理。当有关感兴趣的图片的未处理行块存在时，所述处理返回到步骤S401，其中行块图像输出单元435重复随后的处理。也就是说，分区分离单元411获得新的MXF文件，并分离其分区。因此，图像解码装置400对各个MXF文件(每个行块)执行步骤S401至S408中的处理。当在步骤S408中确定感兴趣的图片的所有彳丁块已被处理时，已输出感兴趣的图片的所有行块的解码后图像数据的行块图像输出单元435结束解码处理。尾分区解密处理的流程接下来，将参考图29中示出的流程图描述图28中步骤S403中所执行的尾分区解密处理的流程的示例。尾分区解密处理开始后，在步骤S421中，尾分区解密单元414解密包含在尾分区中的头元数据。在步骤S422中，尾分区解密单元414解密包含在尾分区中的索引表段。在完成步骤S422中的处理后，尾分区解密单元414结束尾分区解密处理，并且所述处理返回到图28。如图13C所示，尾分区不包含冗余元素，具有低延迟数据结构，并有具有小数目的元素。因此，如上所述地，尾分区解密单元414可以容易地解密尾分区。体分区解密处理的流程接下来，将参考图30中示出的流程图描述图28中步骤S404中所执行的体分区解密处理的流程的示例。体分区解密处理开始后，在步骤S441中，体分区解密单元413中的头元数据解密单元421解密包含在第三体分区中的头元数据。在步骤S442中，索引表段解密单元422解密包含在第二体分区中的索引表段。在步骤S443中，码流数据长度解密单元423和本质容器数据解密单元424解密包含在第一体分区中的本质容器数据的KLV。在完成步骤S443中的处理后，本质容器数据解密单元424结束体分区解密处理，并且所述处理返回到图28。如图13B所示，文件分区不包含冗余元素，具有低延迟数据结构，并有具有小数目的元素。因此，如上所述地，体分区解密单元413可以容易地解密体分区。行块解码处理的流程接下来，将参考图31中示出的流程图描述图28中步骤S406中所执行的行块解码处理的流程的示例。行块解码处理开始 后，在步骤S461中，熵解码单元431通过使用一种对应于由熵编码单元127执行的编码的编码系统的方法对一个行块的编码后数据执行熵解码，所述编码后数据由MXF文件解密器401从MXF文件中提取。在步骤S462中，通过使用一种对应于由量化单元126执行的量化的方法，逆量化单元432对系数数据执行逆量化，所述系数数据通过在步骤S461中的处理中对编码后数据执行熵解码生成。在步骤S463中，系数缓冲器433保持在步骤S462中逆量化的系数数据。在步骤S464中，系数缓冲器433确定一个行块的系数数据是否被累积，当系数缓冲器433确定一个行块的系数数据还没有被累积(即，没有被熵解码)时，则处理返回到步骤 S461。在步骤S461至S464中的处理被重复执行。当系数缓冲器433在步骤S464中确定一个行块的系数数据被积累时，则处理前进到步骤S465。在步骤S465中，逆小波变换单元434读取一个行块的系数数据，并且对所读取的系数数据执行垂直合成滤波(即执行垂直方向上的合成滤波处理)，所述系数数据被存储在系数缓冲器433中。作为结果，垂直方向上被分解的高频率分量和低频率分量被结合在一起。在步骤S466中，逆小波变换单元434对在步骤S465中的处理的结果执行水平方向的合成滤波(执行水平方向上的合成滤波处理)。作为结果，在水平方向上被分解的高频率分量和低频率分量被结合在一起。在步骤S467中，逆小波变换单元434确定合成滤波是否已经执行到第I层。在确定合成处理没有被执行到第I层时，该处理返回到步骤S465。
也就是说，相对于所有分解层数，逆小波变换单元434执行垂直合成滤波和水平合成滤波，以生成解码后图像数据。在步骤S467中，确定滤波已经执行到第I层，逆小波变换单元434结束行块解码处理，并且所述处理返回到图28。作为如上所述的处理的执行的结果，MXF文件解密器401可以从MXF文件中提取每个行块的编码后数据，而没有增加延迟时间。行块解码器402也可以解码每个行块的编码后数据并且可以实现低延迟解码处理。因此，图像解码装置400可以实现关于数据(诸如图像和音频数据)传输的高自由度和低延迟。体分区省略如上所述的第一实施例中，图像编码装置100可被配置为使得第三体分区(即，包含头元数据的体分区)被省略(不添加)，最后的体分区被用作第二体分区(即，包含索引表段的体分区)，并且相反地，被省略(不添加)的头元数据的信息的被包含在头元数据包中，所述头元数据被包含在尾分区中。在这种情况下，解码处理、尾分区处理和行块解码处理如上述情况被执行。但是，体分区解密处理如下述而被执行。体分区解密处理的流程现在将参考图32中示出的流程图描述该情况下的体分区解密处理的流程的示例。

体分区解密处理开始后，在步骤S481中，体分区解密单元413中的头元数据解密单元421参考尾分区的头元数据的解密结果(S卩，步骤S421中的处理结果)，因为包含头元数据中的体分区被省略。在步骤S482中，索引表段解密单元422解密包含在第二体分区中的索引表段。在步骤S483中，码流数据长度解密单元423以及本质容器数据解密单元424解密包含在第一体分区中的本质容器数据的KLV。在完成步骤S483中的处理之后，本质容器数据解密单元424结束体分区解密处理，并且所述处理返回到图28。因此，当包含头元数据的体分区被省略时，图像解码装置400也可以从MXF文件中提取解码后数据以解码编码后数据。也就是说，图像解码装置400可以减少MXF文件的信息量。体分区省略2如上所述的第一实施例中，图像编码装置100可被配置为使得不仅第三体分区(即，包含头元数据的体分区)被省略，第二体分区(即，包含索引表段的体分区)也被省略(即，不添加)，并且相反地，被省略(未添加)的头元数据的信息和索引表段的信息被包含在相对应的尾分区中包含的头元数据和索引表段中。在这种情况下，解码处理、尾分区处理和行块解码处理如上述情况被执行。但是，体分区解密处理如下述而被执行。体分区解密处理的流程现在将参考图33中示出的流程图描述该情况下的体分区解密处理的流程的示例。
体分区解密处理开始后，在步骤S501中，体分区解密单元413中的头元数据解密单元421参考尾分区的头元数据的解密结果(S卩，步骤S421中的处理结果)，因为包含头元数据的体分区被省略。在步骤S502中，索引表段解密单元422参考尾分区的索引表段的解密结果(即，步骤S422中的处理结果)，因为包含索引表段的体分区被省略。在步骤S503中，码流数据长度解密单元423以及本质容器数据解密单元424解密包含在第一体分区中的本质容器数据的KLV。在完成步骤S503中的处理之后，本质容器数据解密单元424结束体分区解密处理，并且所述处理返回到图28。因此，当不仅包含头元数据的体分区被省略，包含索引表段的体分区也被省略时，图像解码装置400也可以从MXF文件中提取解码后数据以解码编码后数据。也就是说，图像解码装置400可以进一步减少MXF文件的信息量。包含多个行块的MXF文件如上所述第一实施例中，图像编码装置100也可以将多个行块的编码后数据包裹到一个MXF文件中。在这种情况下，解码处理如下所述被执行。解码处理的流程

现在将参考图34中示出的流程图描述当多个行块的编码后数据被包裹到一个MXF文件中时的解码处理的流程的示例。假定在这种情况下，N个行块(N是大于或等于2的整数)的编码后数据被包裹到一个MXF文件中。当解码处理开始，在步骤S521中，分区分离单元411获得所传输的MXF文件，并解密MXF文件以分离头分区、体分区以及尾分区。在步骤S522中，头分区解密单元412解密在步骤S531中分离的头分区。在步骤S523中，尾分区解密单元414解密在步骤S521中分离的尾分区。尾分区解密处理的洋情在下文描述。在步骤S524中，体分区解密单元413解密在步骤S521中分离的体分区。参考图30中所示的流程图如上述情况一样执行体分区解密处理。 在步骤S525中，本质容器数据解密单元424从MXF文件(解密后本质容器数据)提取一个行块的码流。在步骤S526中，行块解码器402对一个行块的编码后数据进行解码以生成一个行块的解码后图像数据，所述编码后数据在步骤S525中被提取。参考图31中所示的流程图如上述情况一样执行行块解码处理。在步骤S527中，行块图像输出单元435输出一个行块的解码后图像数据，并且输出解码后图像数据到图像解码装置400的外部，所述解码后图像数是在步骤S526中的处理生成。在步骤S528中，行块图像输出单元435确定有关被处理的图片(感兴趣的图片)的N-1个行块的解码后数据是否已被处理。当被处理的编码后数据的量还没有达到N-1个行块，则处理返回到步骤S524中，其中行块图像输出单元435重复随后的处理。为每个行块执行步骤S524到S528中的处理。当行块图像输出单元435在步骤S528中确定N-1个行块的系数数据已经被处理时，则处理前进到步骤S529。图像解码装置400中的个体单元对第N个行块的编码后数据的体分区执行步骤S529至S532中的处理，如在步骤S524至步骤S527中的处理一样。在步骤S533中，行块图像输出单元435确定有关要处理的图片(感兴趣的图片)的所有行块是否已被处理。当有关感兴趣的图片的未处理行块存在时，所述处理返回到步骤S521，其中行块图像输出单元435重复随后的处理。也就是说，分区分离单元411获得新的MXF文件，并分离其分区。因此，图像解码装置400对各个MXF文件(每个行块)执行步骤S521至S533中的处理。当在步骤S533中确定感兴趣的图片的所有行块已被处理，已输出感兴趣的图片的所有行块的解码后图像数据的行块图像输出单元435结束解码处理。尾分区解密处理的流程接下来，将参考图35中示出的流程图描述在图34的步骤S523中执行的尾分区解密处理的流程的示例。尾分区解密处理开始后，在步骤S551中，尾分区解密单元414解密包含在尾分区中的头元数据。在步骤S552中，尾分区解密单元414解密所有N个行块的索引表段，所述索引表段包含在尾分区中。在完成步骤S552中的处理之后，尾分区解密单元414结束尾分区解密处理，并且所述处理返回到图34。如上所述，当多个行块的编码后数据(码流)被包裹到一个MXF文件中时，图像解码装置400也可以实现关于数据(诸如图像和音频数据)传输的高自由度和低延迟。如上所述，当多个行块的编码后数据(码流)被包裹到一个MXF文件中时，仅对于第N个行块的编码后数据，包含头元数据的体分区可以被省略。在这种情况下，体分区解密单元413可以参考图32中所示流程图如上述情况一样执行在步骤S529中的体分区解密处理。如上所述，当多个行块的编码后数据(码流)被包装到一个MXF文件中时，仅对于第N个行块的编码后数据，包含头元数据的体分区和包含索引表段的体分区可以被省略。在这种情况下，体分区解密单元413可以参考图33中所示流程图如上述情况一样执行步骤S529中的体分区解密处理。因此，图像解码装置400可以减少MXF文件的信息量。MXF文件传输的概述图36描绘了涉及传输侧的行块编码和MXF转换以及接收侧的MXF解密和行块解码的操作。对于HDTV视频(1080059.94i)，一个场的时间为16.7毫秒。因此，根据本技术，到执行第一行块的编码、解码和显示所花的时间可以减少到比一个场的时间更短的时间(如图36中所指示的5毫秒)。虽然上面已经描述了其中色彩分量的数量是一的情况，但分量的数量不限于此。例如，输入的图像可以由 多个色彩分量构成，如RGB和YCrCb的情况。这种情况下，可以对每个色彩分量执行如以上情况的量化表和代表值表的生成、量化处理和逆量化处理。可以对每个色彩分量独立地执行那些处理。因此，对每个色彩分量的处理可以并行地执行，或者也可以在彼此不同的时间执行。
毫无疑问，上述的每个装置也可以包括上述的那些以外的元件。例如，每个装置可以被实现为使用由图像捕获元件(CMOS (互补金属氧化物半导体)或CCD(电荷耦合器件)传感器)捕获的图像的设备或器件、直到由图像捕获元件捕获的图像被写入到存储器所使用的压缩电路、数字静态相机、视频摄像机、医疗用图像相机、医疗用内窥镜、监视像机、数字电影拍摄相机、双目图像相机、多镜头相机、用于LSI芯片的存储器减少电路、PC上的创作工具或其软件模块等。每个装置不仅可以实现为单个装置，也可被实现为包括多个装置的系统。〈3.第三实施例〉个人计算机上述的一系列处理可以通过硬件或软件执行。例如，在上述的一系列处理可以由如图37所示的个人计算机实现。在图37中，个人计算机700包括CPU (中央处理单元)701，其根据存储在ROM (只读存储器)702中的程序或从存储单元713加载到RAM (随机存取存储器)703的程序执行各种类型的处理，例如，CPU 701执行各种类型的处理所使用的数据也按需被存储在RAM 703中。CPU 70KROM 702和RAM 703也通过总线704相互连接。总线704也被连接到输入/输出接口 710。输入单元711、输出单元712、存储单元713和通信单元714也连接到输入/输出接口 710。输入单元711的示例包括键盘和鼠标。输出单元712的示例包括显示器,诸如CRT(阴极射线管)显示器或LCD(液晶显示器)以及扬声器。存储单元713的示例包括SSD(固态驱动器)， 诸如闪存以及硬盘。通信单元714的示例包括用于有线LAN(局域网)和无线LAN的接口和调制解调器。通信单元714经由包括互联网的网络执行通信处理。驱动器715也按需连接到输入/输出接口 710，并且可移动介质721被插入到驱动器715中，并且从中读出的计算机程序按需被安装到存储单元713中。可移动介质的示例包括磁盘、光盘、磁光盘以及半导体存储器。当通过软件来执行上述一系列的处理时，由软件所提供的程序从网络被安装到记录介质上。例如，如图37中所示，记录介质不仅可以是可移动介质721，其上记录了程序，并且被分发到用户以独立于该装置的主单元提供该程序；还可以是ROM 702、硬盘(包括在存储单元713中)等，其中记录了程序，并被预先并入该装置的主单元的同时分发到用户。可移动介质721的示例包括磁盘(例如软盘)、光盘(诸如CD-R0M(光盘-只读存储器)或DVD (数字多功能光盘))、磁光盘(诸如MD (迷你盘))或半导体存储器。计算机所执行的程序可以是根据如上所述的顺序以时序方式执行处理的程序、可以是以并行方式执行处理的程序或者可以是在任意时间执行处理的程序，例如在调用程序的时刻。此处，描述记录在存储介质中的程序的步骤不仅包括根据所描述的顺序以时序方式来执行的处理，而且还包括同时地或单独地、没有被按时序方式地被执行的处理。本文所用的术语“系统”是指由多个器件(装置)构成的整体。上面所描述的由单个装置(或单个处理器)所构成的配置，还可以被配置为多个器件(或处理器)。由多个装置(或多个处理器)构成的上述配置也可以被集成到一起，以构成一个装置(或处理器)。毫无疑问，除了以上描述的那些之外的元件也可以被添加到每个装置(或处理器)的配置中。另外，当整个系统的配置和操作基本上相同时，一个装置(或处理器)的部分配置可以并入到另一装置(或处理器)的配置中。也就是说，根据本发明的实施例不限于上述实施例，并且可以在不脱离本发明的精神和范围的情况下对其做出各种变化和修改。本技术可具有以下所述的配置。(I) 一种处理编码后数据的图像处理装置，所述编码后数据是通过编码每个行块的图像数据而获得的，这些行块是通过划分图片而获得的，所述图像处理装置包括:体分区生成单元，其被配置为以预定格式为一个行块的每个编码后数据生成体分区，所述体分区包含所述编码后数据；以及分区合并单元，其被配置为将由所述体分区生成单元生成的所述体分区、包含文件头信息的头分区以及包含文件尾信息的尾分区合并，从而生成所述文件。(2)根据⑴所述的图像处理装置，其中所述体分区生成单元生成一个包含有关所述文件的所述编码后数据的体分区，以将一个行块的所述编码后数据包裹到所述文件中。(3)根据(2)所述的图像处理装置，其中所述体分区生成单元以该顺序生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并将体分区以该顺序排列。(4)根据⑵所述的图像处理装置，进一步包括尾分区生成单元，其被配置为生成所述尾分区，其中，所述体分区生成单元以该顺序生成包含所述编码后数据的体分区和包含索引表段的体分区，并以该顺序排列所述体分区，并且所述尾分区生成单元生成包含头元数据的尾分区。(5)根据(2)所述的图像处理装置，进一步包括尾分区生成单元，其被配置为生成所述尾分区，其中，所述体分区生成单元以该顺序生成包含所述编码后数据的体分区，并且所述尾分区生成单元生成包含头元数据和索引表段的尾分区。(6)根据(I)所述的图像处理装置，其中所述体分区生成单元生成包含有关所述文件的所述编码后数据的体分区，并且排列所述体分区，使得所述行块的所述编码后数据被包裹到所述文件中。(7)根据(6)所述的图像处理装置，其中所述体分区生成单元以该顺序为每个行块生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并以该顺序排列所述体分区。(8)根据(6)所述的图像处理装置，进一步包括尾分区生成单元，其被配置为生成所述尾分区，其中，对于除了最后一个行块的每个行块，所述体分区生成单元以该顺序生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并以该顺序排列所述体分区；
对于最后的行块，所述体分区生成单元以该顺序生成包含所述编码后数据的体分区以及包含索引表段的体分区，并以该顺序排列所述体分区；并且所述尾分区生成单元生成包含所述最后的行块的头元数据的尾分区。(9)根据(6)所述的图像处理装置，进一步包括尾分区生成单元，其被配置为生成所述尾分区，其中，对于除了最后一个行块的每个行块，所述体分区生成单元以该顺序生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并以该顺序排列所述体分区；对于最后的行块，所述体分区生成单元生成包含所述编码后数据的体分区；并且所述尾分区生成单元生成包含所述最后的行块的头元数据和索引表段的尾分区。(10)根据(I)至(9)中任一项所述的图像处理装置，进一步包括编码器，其被配置为编码每个行块的所述图像数据，其中，所述体分区生成单元生成包含编码后数据的体分区，所述编码后数据是通过编码每个行块的所述图像数据而获得的，由所述编码器执行所述编码。(11)根据(10)所述的图像处理装置，其中所述编码器包括:小波变换单元，其被配置为对每个行块的所述图像数据执行小波变换；以及熵编码单元，其被配置为对系数数据执行熵编码，所述系数数据是通过所述小波变换单元执行所述小波变换而获得的。(12)根据(11)所述的图像处理装置，其中所述行块是若干行的像素数据组，在所述小波变换之后，所述小波变换单元使用它来生成最低频率分量的子带的一行的系数数据。(13)根据(I)至(12)中任一项所述的图像处理装置，其中所述预定格式是根据SMPTE标准的MXF。(14) 一种用于处理编码后数据的图像处理装置的图像处理方法，所述编码后数据是通过编码每个行块的图像数据而获得的，所述行块是通过划分图片而获得的，所述图像处理方法包括:使体分区生成单元以预定格式为一个行块的每个编码后数据生成体分区，所述体分区包含所述编码后数据；并且使分区合并单元将所述生成的体分区、包含文件头信息的头分区以及包含文件尾信息的尾分区合并，从而生成所述文件。(15) 一种处理编码后数据的图像处理装置，所述编码后数据是通过编码图像数据而获得的，所述图像处理装置包括:分区分离单元，其被配置为将编码后数据分离为分区，所述分区包括预定格式的体分区，所述体分区包含通过划分图像而得到的行块之一的编码后数据；以及体分区解密单元，其被配置为解密所述体分区以提取所述行块的所述编码后数据，所述体分区被所述分区分离单元所分离。(16)根据(15)所述的图像处理装置，其中所述体分区解密单元进一步解密包含索引表段的体分区和包含头元数据的体分区，所述体分区被所述分区分离单元所分离。(17)根据(15)所述的图像处理装置，进一步包括解码器，其被配置为对一个行块的所述编码后数据进行解码，所述编码后数据被体分区解密单元解密和提取。(18)根据(17)所述的图像处理装置，其中所述解码器包括:熵解码单元，其被配置为对所述编码后数据执行熵解码以生成系数数据；以及逆小波变换单元，其被配置为对所述系数数据执行逆小波变换，所述系数数据是通过所述熵解码单元执行所述解码生成的。(19)根据(15)至(18)中任一项所述的图像处理装置，其中所述预定格式是根据SMPTE标准的MXF。(20) 一种用于处理编码后数据的图像处理装置的图像处理方法，所述编码后数据是通过编码图像数据而获得的，所述图像处理方法包括:使分区分离单元将所述编码后数据分离为分区，所述分区包括预定格式的文件的体分区，所述体分区包含通过划分图像而得到的行块之一的编码后数据；以及体分区解密单元，其被配置为解密所述分离的体分区以提取所述行块的所述编码后数据。本发明包含与2011年12/月7日在日本专利局提交的日本优先权专利中请JP2011-267561中的公开内容相关的主题，其全部内容通过引用结合与此。本领域技术人员应当理解，取决于设计需要和其他因素，可以做出各种修改、组合、子组合和更改，只要它们在所附权利要求或其等同含义的范围内。
权利要求
1.一种对编码后数据进行处理的图像处理装置，所述编码后数据是通过对每个行块的图像数据进行编码而获得的，这些行块是通过划分图片而获得的，所述图像处理装置包括: 体分区生成单元，其被配置为:对于这些行块之一的每个编码后数据，以预定格式生成文件的体分区，这些体分区包含所述编码后数据；以及 分区合并单元，其被配置为:将由所述体分区生成单元生成的体分区、包含头信息的头分区以及包含尾信息的尾分区合并，从而生成所述文件。
2.根据权利要求1所述的图像处理装置，其中，所述体分区生成单元对于所述文件生成包含编码后数据的一个体分区，以将一个行块的编码后数据包裹到所述文件中。
3.根据权利要求2所述的图像处理装置，其中，所述体分区生成单元依次生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并将这些体分区以该次序排列。
4.根据权利要求2所述的图像处理装置，还包括尾分区生成单元，该单元被配置为生成所述尾分区， 其中，所述体分区生成单元依次生成包含所述编码后数据的体分区和包含索引表段的体分区，并以该次序排列这些体分区，并且 所述尾分区生成单元生成包含头元数据的尾分区。
5.根据权利要求2所述的图像处理装置，还包括尾分区生成单元，该单元被配置为生成所述尾分区， 其中，所述体分区生成单元生成包含所述编码后数据的体分区， 所述尾分区生成单元生成包含头元数据和索引表段的尾分区。
6.根据权利要求1所述的图像处理装置，其中，所述体分区生成单元对于所述文件生成包含所述编码后数据的体分区，并且排列这些体分区，使得所述行块的编码后数据被包裹到所述文件中。
7.根据权利要求6所述的图像处理装置，其中，所述体分区生成单元为每个行块依次生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并以该次序排列这些体分区。
8.根据权利要求6所述的图像处理装置，还包括尾分区生成单元，该单元被配置为生成所述尾分区， 其中，对于除了最后一个行块之外的每个行块，所述体分区生成单元依次生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并以该次序排列这些体分区； 对于所述最后一个行块，所述体分区生成单元依次生成包含所述编码后数据的体分区以及包含索引表段的体分区，并以该次序排列这些体分区；并且 所述尾分区生成单元生成包含所述最后一个行块的头元数据的尾分区。
9.根据权利要求6所述的图像处理装置，还包括尾分区生成单元，该单元被配置为生成所述尾分区， 其中，对于除了最后一个行块之外的每个行块，所述体分区生成单元依次生成包含所述编码后数据的体分区、包含索引表段的体分区以及包含头元数据的体分区，并以该次序排列这些体分区； 对于所述最后一个行块，所述体分区生成单元生成包含所述编码后数据的体分区；并且 所述尾分区生成单元生成包含所述最后一个行块的头元数据和索引表段的尾分区。
10.根据权利要求1所述的图像处理装置，还包括编码器，所述编码器被配置为对每个行块的图像数据进行编码， 其中，所述体分区生成单元生成包含编码后数据的体分区，所述编码后数据是通过对每个行块的所述图像数据进行编码而获得的，所述编码由所述编码器执行。
11.根据权利要求10所述的图像处理装置，其中，所述编码器包括: 小波变换单元，其被配置为对于每个行块，对图像数据执行小波变换；以及熵编码单元，其被配置为对系数数据执行熵编码，所述系数数据是通过所述小波变换单元执行的小波变换而获得的。
12.根据权利要求11所述的图像处理装置，其中，所述行块是对于多个行的像素数据组，在所述小波变换之后，所述小波变换单元使用该像素数据组对于最低频率分量的子带的一个行生成系数数据。
13.根据权利要求1所述的图像处理装置，其中，所述预定格式是根据SMPTE标准的MXF。
14.一种用于对编码后数据进行处理的图像处理装置的图像处理方法，所述编码后数据是通过对每个行块的图 像数据进行编码而获得的，这些行块是通过划分图片而获得的，所述图像处理方法包括: 使体分区生成单元对于这些行块之一的每个编码后数据以预定格式生成文件的体分区，这些体分区包含所述编码后数据；并且 使分区合并单元将所生成的体分区、包含头信息的头分区以及包含尾信息的尾分区合并,从而生成所述文件。
15.一种对编码后数据进行处理的图像处理装置，所述编码后数据是通过对图像数据进行编码而获得的，所述图像处理装置包括: 分区分离单元，其被配置为将编码后数据分离成分区，这些分区包括预定格式的文件的体分区，这些体分区包含行块之一的编码后数据，这些行块是通过划分图像而得到的；以及 体分区解密单元，其被配置为对这些体分区进行解密以提取对于行块的编码后数据，这些体分区是被所述分区分离单元分离的。
16.根据权利要求15所述的图像处理装置，其中，所述体分区解密单元还对包含索引表段的体分区和包含头元数据的体分区进行解密，这些体分区是被所述分区分离单元分离的。
17.根据权利要求15所述的图像处理装置，还包括解码器，所述解码器被配置为对于一个行块对所述编码后数据进行解码，所述编码后数据是所述体分区解密单元解密和提取的。
18.根据权利要求17所述的图像处理装置，其中，所述解码器包括: 熵解码单元，其被配置为对所述编码后数据执行熵解码以生成系数数据；以及逆小波变换单元，其被配置为对所述系数数据执行逆小波变换，所述系数数据是通过所述熵解码单元执行的解码而生成的。
19.根据权利要求15中所述的图像处理装置，其中，所述预定格式是根据SMPTE标准的MXF。
20.一种用于对编码后数据进行处理的图像处理装置的图像处理方法，所述编码后数据是通过对图像数据进行编码而获得的，所述图像处理方法包括: 使分区分离单元将所述编码后数据分离成分区，这些分区包括预定格式的文件的体分区，这些体分区包含行块之一的编码后数据，这些行块是通过划分图像而得到的；以及体分区解密单元，其被配置为对所分离的体分区进行解密以对于所述行块提取所述编码后数据。
全文摘要
本申请涉及图像处理装置和方法。在一种处理编码后数据的图像处理装置中，通过编码每个行块的图像数据而获得所述编码后数据，通过划分图片而获得所述行块。所述图像处理装置包括体分区生成单元，其被配置为以预定格式为一个行块的每个编码后数据生成体分区，所述体分区包含所述编码后数据；分区合并单元，其被配置为将由所述体分区生成单元生成的所述体分区、包含文件头信息的头分区以及包含文件尾信息的尾分区合并，从而生成所述文件。
文档编号H04N7/26GK103152564SQ20121050591
公开日2013年6月12日 申请日期2012年11月30日 优先权日2011年12月7日
发明者福原隆浩, 安藤胜俊 申请人:索尼公司