图像处理设备和方法

专利名称：图像处理设备和方法
技术领域：
本发明涉及图像处理设备和图像处理方法，更具体地，涉及能够实现更低延迟解码处理的图像处理设备和图像处理方法。
背景技术：
作为相关技术中的代表性图像压缩方法，存在由IS0(国际标准化组织)进行标准化的JPEG (联合图像专家组)和JPEG2000。近来，已经广泛研究了这样的方法，该方法使用由高通滤波器和低通滤波器构成的、被称为滤波器组的滤波器将图像划分为多个频带，并且对每个频带执行编码。在它们当中，作为替代DCT(离散余弦变换)的新技术的小波变换编码已经吸引了注意力，这是因为在高压缩中没有块失真，而这对于DCT是个难题。在2001年1月被进行国际标准化的JPEG2000采用这样的方案，其中具有高效率的熵编码(利用位平面单元的位建模和算术编码)与小波变换结合，并且与JPEG相比显著地改进了编码效率。JPEG2000已经被选为用于数字影院规范(DCI (数字影院提案)规范)的标准编解码方法，并且已经开始用于运动图像(如电影)的压缩。此外，每个制造商已经开始制造这样的产品，在这些产品中，JPEG2000应用于监视相机、用于广播站的采访相机、安全记录仪寸。除了 JPEG2000夕卜，已经从每个厂家开发并发布了使用小波变换的实际的(de facto)编解码器。正考虑在即刻(实时)数据传输中使用这些编解码器。一起执行图像数据的编码、 编码数据的数据传输、传输的编码数据的解码，因此实现了低延迟数据传输，诸如例如所谓的现场广播。然而，因为JPEG2000基本上利用画面为单位执行编码和解码，因此如果意图实现低延迟以便用于实时传输和接收，则在编码中延迟了至少一个画面的量，并且在解码中也延迟了至少一个画面的量。不仅JPEG2000如此，诸如帧内AVC(先进视频编码)、JPEG等之类的任何编解码方法也是如此。然而，近来，已经提出一种手段，其将像平面划分为若干矩形分片或瓦片 (tile)，并且对它们中的每一个独立地执行编码和解码，从而减少延迟时间(例如，参考日本未审专利申请公开No. 2006-311327)。当使用这种编解码方法来实现上述低延迟数据传输时，解码器必须在例如作为视频信号的特性之一的H消隐(水平消隐)或V消隐(垂直消隐)内输出预定量的解码视频信号。

发明内容
然而，为了以低延迟方式执行逆小波变换处理，必须以复杂顺序对于每条系数数据执行合成滤波，因此在行输出(line output)的定时生成偏差。换句话说，由于行输出，所需的合成滤波处理量在每一行输出中不同。出于此原因，如果系数数据以不规则的(haphazard)方式经历逆小波变换，则存在这样的担心因为行输出关于要求的速率过快或过慢，所以解码的图像显示将断断续续。期望通过控制与视频格式的特性对应的行输出定时，来实现独立于视频格式的低延迟解码处理。根据本发明的实施例，提供了一种图像处理设备，包括提供部件，其提供每个子带中的系数数据组，其中通过分级的分析滤波处理对于每个频带分解预定行数的图像数据，并且所述系数数据组包括至少最低频率分量的子带中的一行或多行系数数据；合成滤波部件，其按照预定顺序合成由提供部件提供的系数数据组，并且生成基带中的图像数据； 提供控制部件，其控制提供部件以这样的定时提供系数数据，使得合成滤波部件能够以与水平同步时段对应的定时生成基带中的图像数据，该水平同步时段指示图像数据的各水平同步信号之间的时段；以及合成滤波控制部件，其控制所述合成滤波部件按照预定顺序合成由提供部件提供的系数数据组，并且以与水平同步时段对应的定时生成基带中的图像数据。所述合成滤波部件可以按照更优先地生成更高频分量的顺序合成系数数据组，而所述提供控制部件可以控制所述提供部件以这样的定时提供合成所需的系数数据，使得所述合成滤波部件能够按照所述顺序进行合成，并每隔一个水平同步时段生成两行基带中的图像数据。所述图像处理设备还可以包括确定部件，其确定图像数据的水平同步时段的长度，其中所述提供控制部件可以控制所述提供部件以这样的定时提供系数数据，使得所述合成滤波部件能够以与由所述确定部件确定的水平同步时段对应的定时生成基带中的图像数据，以及其中所述合成滤波控制部件可以控制所述合成滤波部件以与由所述确定部件确定的水平同步时段对应的定时生成基带中的图像数据。所述确定部件可以确定图像数据的水平消隐间隔的长度，以及所述图像处理设备还可以包括提供开始定时控制部件，其根据由所述确定部件确定的水平消隐间隔的长度控制所述提供部件开始向所述合成滤波部件提供系数数据的定时。所述图像处理设备还可以包括存储部件，其存储被提供给所述合成滤波部件的系数数据组，其中所述提供部件可以读取存储在所述存储部件中的系数数据，并将读取的系数数据提供给所述合成滤波部件，以及其中所述提供控制部件可以控制所述提供部件从所述存储部件读取系数数据。所述图像处理设备还可以包括计算部件，其计算存储在所述存储部件中的系数数据的数据量；确定部件，其确定由所述计算部件计算的数据量是否超过预先设置的预定阈值；以及调整部件，当所述确定部件确定数据量超过阈值时，所述调整部件使得所述提供部件立即读取存储在所述存储部件中的系数数据。所述图像处理设备还可以包括计算部件，其计算存储在所述存储部件中的系数数据的数据量；确定部件，其确定由所述计算部件计算的数据量是否小于预先设置的预定阈值；以及调整部件，当所述确定部件确定数据量小于阈值时，所述调整部件阻止所述提供部件读取存储在所述存储部件中的系数数据。
所述图像处理设备还可以包括水平消隐间隔确定部件，其确定图像数据的水平消隐间隔的长度；计算部件，其计算存储在所述存储部件中的系数数据的数据量；数据量确定部件，当所述水平消隐间隔确定部件确定水平消隐间隔长时，数据量确定部件确定由所述计算部件计算的数据量是否超过预先设置的预定的第一阈值，而当所述水平消隐间隔确定部件确定水平消隐间隔短时，所述数据量确定部件确定由所述计算部件计算的数据量是否超过预先设置的、小于第一阈值的预定的第二阈值；调整部件，当所述数据量确定部件确定数据量超过第一阈值时，所述调整部件使得所述提供部件立即读取存储在所述存储部件中的系数数据，而当所述数据量确定部件确定数据量小于第二阈值时，所述调整部件阻止所述提供部件读取存储在所述存储部件中的系数数据。根据本发明的实施例，提供了一种图像处理设备中的图像处理方法，该方法包括以下步骤使得图像处理设备的提供部件提供每个子带中的系数数据组，其中通过分级的分析滤波处理对于每个频带分解预定行数的图像数据，并且所述系数数据组包括至少最低频率分量的子带中的一行或多行系数数据；使得图像处理设备的合成滤波部件按照预定顺序合成由所述提供部件提供的系数数据组，并且生成基带中的图像数据；使得图像处理设备的提供控制部件控制所述提供部件以这样的定时提供系数数据，使得所述合成滤波部件能够以与水平同步时段对应的定时生成基带中的图像数据，该水平同步时段指示图像数据的各水平同步信号之间的时段；以及使得图像处理设备的合成滤波控制部件控制所述合成滤波部件按照预定顺序合成由所述提供部件提供的系数数据组，并且以与水平同步时段对应的定时生成基带中的图像数据。根据本发明的实施例，提供每个子带中的系数数据组，其中通过分级的分析滤波处理对于每个频带分解预定行数的图像数据，并且所述系数数据组包括至少最低频率分量的子带中的一行或多行系数数据；按照预定顺序合成所提供的系数数据组，从而生成基带中的图像数据；以这样的定时提供系数数据，使得能够以与水平同步时段对应的定时生成基带中的图像数据，该水平同步时段指示图像数据的各水平同步信号之间的时段；以及按照预定顺序合成所提供的系数数据组，并且以与水平同步时段对应的定时生成基带中的图像数据。根据本发明，可以处理图像。具体地，可以实现更低延迟的解码处理。


图1是图示编码设备的主要配置示例的方块图。 图2是图示子带的图。 图3是图示行块(line block)的图。 图4是图示5X3分析滤波器的示例的图。
图5是图示分析滤波的提升操作(lifting operation)的示例的图。 图6是图示系数数据的输出顺序的示例的图。 图7是图示根据本发明实施例的解码设备的主要配置示例的方块图。 图8是图示5X3合成滤波器的示例的图。 图9是图示合成滤波的提升操作的示例的图。 图10是图示逆小波变换处理的顺序的图。
图11是图示在图10之后的逆小波变换处理的顺序的图。图12是图示在图11之后的逆小波变换处理的顺序的图。图13是图示图7中控制单元和逆量化单元的详细配置示例的方块图。图14是图示视频格式的图。图15是图示图像数据的配置示例的图。图16是图示解码处理流程的示例的流程图。图17是图示读取控制处理的示例的流程图。图18是图示缓冲器控制处理流程的示例的流程图。图19是图示在图18之后的缓冲器控制处理流程的示例的流程图。图20是图示根据本发明实施例的个人计算机的配置示例的方块图。
具体实施例方式此后，将描述本发明的实施例。将按照下面的顺序进行描述。1.第一实施例(解码设备)2.第二实施例(个人计算机)1.第一实施例编码处理的描述本发明涉及对通过编码图像获得的编码数据的解码处理；然而，首先，将描述对应于解码处理的图像数据的编码处理。图1是图示编码图像数据的编码设备的配置示例的图。图1所示的编码设备10通过编码输入的图像数据生成并输出编码数据。如图1 所示，编码设备10包括小波变换单元11、中间流程计算缓冲器12、系数安排缓冲器单元13、 系数安排单元14、量化单元15和熵编码单元16。被输入编码设备10的图像数据经由小波变换单元11暂时存储在中间流程计算缓冲器12中。小波变换单元11对存储在中间流程计算缓冲器12中的图像数据执行小波变换。 稍后将描述小波变换的细节。小波变换单元11将通过小波变换获得的系数数据提供给系数安排缓冲器单元13。系数安排单元14按照预定顺序(例如，逆小波变换处理的顺序)读取被写入系数安排缓冲器单元13中的系数数据，并将读取的系数数据提供给量化单元15。量化单元15通过预定方法量化所提供的系数数据，并将获得的系数数据(量化的系数数据)提供给熵编码单元16。熵编码单元16例如通过被称为霍夫曼(Huffman)编码或算术编码的预定熵编码方法来编码所提供的系数数据。熵编码单元16将生成的编码数据输出到编码设备10的外部。子带接着，将描述小波变换。小波变换是这样的处理，通过对生成的低频分量递归地重复将图像数据划分为空间频率的高分量(高频分量)和空间频率的低分量(低频分量) 的分析滤波而将图像数据变换为由分级(hierarchy)构成的每个频率分量的系数数据。此外，划分级别对于高频分量的分级称为低等级，并且对于低频分量的分级称为高等级。
7
对于一个分级(划分级别)，在水平方向和垂直方向两者中执行分析滤波。因此， 一个分级的系数数据(图像数据)通过对于一个分级的分析滤波被划分为四种分量。该四种分量包括在水平方向和垂直方向两者中具有高频的分量HH、在水平方向具有高频并且在垂直方向具有低频的分量HL、在水平方向具有低频并且在垂直方向具有高频的分量LH 和在水平方向和垂直方向两者具有低频的分量LL。各个分量的集合被称为子带。在对于某个分级执行分析滤波从而生成四个子带的状态下，在生成的四个子带中，对于在水平方向和垂直方向两者具有低频的分量LL执行用于下一(等级高1)分级的分析滤波。通过以此方式递归地重复分析滤波，将空间频率的低频中的系数数据集中在较小区域(低频分量)。因此，通过编码小波变换后的系数数据，可以执行高效的编码。图2示出通过分析滤波的四次重复而被划分为直到划分级别4的13个子带1LH、 1HL、1HH、2LH、2HL、2HH、3LH、3HL、3HH、4LL、4LH、4HL、4HH 的系数数据的配置。行块接着，将描述行块。图3是图示行块的图。小波变换中的分析滤波从要处理的两行图像数据或者系数数据中生成一个分级上的四个子带中的一行系数数据。因此，例如，当划分级别数为4时，如利用图3中的对角线部分标记的，为了获得作为最高等级分级的划分级别4的每个子带中的一行系数数据，需要子带3LL中的两行系数数据。为了获得两行子带3LL，即，划分级别3的每个子带中的两行系数数据，需要子带 2LL中的四行系数数据。为了获得四行子带2LL，即，划分级别2的每个子带中的四行系数数据，需要子带 ILL中的八行系数数据。为了获得八行子带1LL，即，划分级别1的每个子带中的八行系数数据，需要基带中的十六行系数数据。换句话说，为了获得划分级别4的每个子带中的一行系数数据，需要基带中的十六行图像数据。生成最低频率分量的子带(在图3所示的示例的情况下为4LL)中的一行系数数据所需的行数的图像数据被称为行块(或区(precinct))。例如，当划分级别数为N时，为了生成最低频率分量的子带中的一行系数数据，需要基带中的2的N次方的行的图像数据。这是行块的行数。此外，行块还指示通过对一个行块的图像数据执行小波变换获得的每个子带中的系数数据的集合。行指示水平方向上帧图像(画面)中的一行像素组或水平方向上子带中一行系数组。一行系数数据被称为系数行。此外，一行图像数据被称为图像行。此后，在需要通过更详细的区分进行描述的情况下，可以适当地改变其表述。此外，通过编码一个系数行(一行系数数据)而获得的一行编码数据被称为编码行。小波变换单元11对两行图像数据(或系数数据)执行分析滤波；然而，此时，小波变换单元11按照以尽可能低的延迟方式执行处理的顺序选择两行。
更具体地，小波变换单元11按照用于尽可能优选地生成更高等级(低频率)子带中的系数数据的顺序选择两行图像数据或系数数据，并且对于选择的图像数据或系数数据执行分析滤波。5X3分析滤波器接着，将描述分析滤波。典型地使用由低通滤波器和高通滤波器构成的滤波器组来执行小波变换处理。作为小波变换处理的详细示例，将描述使用5X3滤波器的方法。5X3滤波器的脉冲响应(Z变换表示)包括低通滤波器HO(Z)和高频滤波器 Hl (ζ)，如下面的等式(1)和⑵所示。从等式(1)和⑵可见，低通滤波器HO (ζ)具有5 抽头，而高通滤波器Hl (ζ)具有3抽头。Hci(Z) = (-1+2Z_1+6Z"2+2Z"3-Z"4) /8 (1)H1(Z) = (-1+2Z_1-Z_2)/2(2)通过等式(1)和O)，可以直接计算低频分量和高频分量系数。这里，可以通过使用提升技术来减少滤波器处理中的计算。图4是图示提升方式中的5X3滤波器的图。在该图中，位于最上部分的一行是输入信号线。从像平面的顶部开始执行数据处理，并且基于下面的等式(3)和(4)输出高频分量系数(高频系数)和低频分量系数(低频系数)。d/ = (1^-1/2(8^+8^!0) (3)Si1 = 8^+1/4((1^/+(1/) (4)提升操作接着，将描述提升操作。图5是图示使用5X3滤波器以提升方式对于纵向方向上的各行执行的滤波的图。横向方向示出操作过程和通过操作过程生成的低频和高频系数。在与图4中的情况比较时，可以看到将水平简单地变为垂直，并且操作方法彼此完全相同。在图像的上端，如用箭头51标记的，最高等级行从行1对称地扩展，如按照虚线， 以便补偿一行。如用框52标记的，使用总共三行，此行，行0和行1，执行提升操作，从而在第一步骤中生成系数a。这是最高频率系数HO。如果输入行1、行2和行3，则使用该三行，根据等式(3)计算下一高频系数a。这是高频系数HI。此外，使用总共三个系数(第一高频系数a (H0)、第二高频系数a (Hl)和行 1的系数)通过根据等式的计算生成系数b。这是低频系数Li。也就是说，如用框53 标记的，使用该三行(行1、行2和行3)和高频系数HO生成低频系数Ll和高频系数HI。此后，每次输入两行，并且按照相同方式对于随后的行重复执行提升操作，并且输出低频系数和高频系数。如用框M标记的，如果生成低频系数L (N-I)和高频系数H(N-l)， 则如按照箭头阳，对称地扩展高频系数H(N-I)，并且通过如用框56标记的操作生成低频系数 L(N)。尽管图5示出了在垂直方向上对各行执行滤波的示例，但也可以以完全相同的方式考虑水平方向上的滤波。对于每个分级执行上述提升操作。这里，按照如上所述的用于优选地生成更低频分量的顺序执行分析滤波。参考图5描述的顺序指示经历分析滤波的数据之间的依赖关系，并且与实际处理中所执行的顺序不同。一个行块处理接着，将描述执行分析滤波的顺序。要处理的图像数据(系数数据)从画面(子带)上的各行被依序处理。每次准备两行要处理的图像数据(系数数据)(即，只要变得可以执行)时，就执行分析滤波中的提升操作。然而，优选处理相对低频的子带。如下面描述的，按照相同顺序对每个行块重复执行分析滤波。因此，下面将描述对于行块(处于稳定状态的行块)的分析滤波的顺序，其中每次准备好两行就对该行块执行分析滤波。在处于初始状态的画面中或在包括子带的上端的行块(处于初始状态的行块) 中，分析滤波所需的行数与其他行块(处于稳定状态的行块的行数)不同。然而，在也处于稳定状态的行块的情况下，分析滤波处理的顺序基本上与其他行块的顺序相同，因此将省略其描述。图6是图示处于稳定状态的系数数据的输出顺序的图。在图6中，从图的顶部到图的底部按照时间序列安排小波变换后的系数数据。在稳定状态的行块中，首先，在基带中的图像数据的行块中从上面对两行执行分析滤波，从而生成划分级别1的行L (从上面开始的第L个系数行)。因为不对一行系数数据执行分析滤波，所以在下一定时时，基带中的图像数据的随后两行经历分析滤波，从而生成划分级别1的行L+l (从上面开始的第L+1个系数行)。在该时间点，由于准备了划分级别1的两行系数数据，接着，对划分级别1的两行系数数据执行划分级别ι的分析滤波，从而生成划分级别2的行M(从上面开始的第M个系数行)。然而，由于只有一行，所以还未执行划分级别2的分析滤波。此外，此时，由于没有准备划分级别1的系数数据，也不执行划分级别1的分析滤波。因此，基带中的图像数据的随后两行经历分析滤波，从而生成划分级别1的行 L+2 (从上面开始的第L+2个系数行)。由于不对一行系数数据执行分析滤波，相继地，基带中的图像数据的随后两行经历分析滤波，从而生成划分级别1的行L+3(从上面开始的第 L+3个系数行)。由于准备了划分级别1的两行系数数据，接着，对划分级别1的两行系数数据执行划分级别1的分析滤波，从而生成划分级别2的行M+1 (从上面开始的第M+1个系数行)。此时，由于准备了划分级别2的两行系数数据，接着，对划分级别2的两行系数数据执行划分级别2的分析滤波，从而生成划分级别3的行N(从上面开始的第N个系数行)。此后，通过相同方法，依序生成划分级别1的行L+4(从上面开始的第L+4个系数行)和其行L+5 (从上面开始的第L+5个系数行)、划分级别2的行M+2 (从上面开始的第 M+2个系数行)、划分级别1的行L+6 (从上面开始的第L+6个系数行)和行L+7 (从上面开始的第L+7个系数行)、划分级别2的行M+3 (从上面开始的第M+3个系数行)、和划分级别 3的行N+1 (从上面开始的第N+1个系数行)。然后，由于准备了划分级别3的两行系数数据，接着，对划分级别3的两行系数数据执行划分级别3的分析滤波，从而生成划分级别4的行P (从上面开始的第P个系数行)。如上所述，执行对于一个行块的分析滤波。也就是说，对于每个行块重复上述顺序。按照上述顺序生成的系数行例如按照逆小波变换处理的顺序安排，经历逆量化和熵编码，然后作为编码数据输出。以此方式生成的编码数据经由例如诸如网络之类的通信路径传输到解码设备，或者被记录在记录介质上然后经由记录介质提供给解码设备。编码数据到解码设备的传输方法是任意的。然而，例如如同现场广播，存在这样的情况，其中要求以低延迟方式(实时地)执行从上述编码设备中的图像数据的编码到解码设备中的编码数据的解码的整个处理。为此，优选经由例如诸如网络之类的通信路径而不是经由记录介质传输编码数据，使得一起执行编码处理和解码处理。然而，即使在将编码数据记录在记录介质上时，也可能实现解码设备能够以低延迟方式解码编码数据的效果。也就是说，解码设备可以从记录介质读取编码数据，解码它， 并且以低延迟方式输出解码的图像数据。解码设备的配置图7是图示根据本发明实施例的解码设备的主要配置示例的方块图。图7所示的解码设备100是对应于图1中的编码设备10的设备。解码设备100 通过与编码设备10的编码方法对应的方法，解码由图1中的编码设备10编码图像数据从而生成的编码数据，然后获得解码的图像数据。如图7所示，解码设备100具有熵解码单元101、逆量化单元102、控制单元103、缓冲器单元104、逆小波变换单元105和图像行输出单元106。当输入编码数据时(箭头121)，熵解码单元101通过与编码设备10的熵编码单元 16的编码方法对应的解码方法解码所提供的编码数据，然后获得系数数据(量化的系数)。 熵解码单元101将系数数据提供给逆量化单元102(箭头122)。逆量化单元102通过与编码设备10的量化单元15的量化方法对应的方法逆量化系数数据，然后将获得的系数数据(小波系数)提供给逆小波变换单元105(箭头127)。逆小波变换单元105通过与编码设备10的小波变换单元11的分析滤波对应的方法对系数数据执行合成滤波，并且生成基带中的解码的图像数据(图像行)。逆小波变换单元105将获得的图像行提供给图像行输出单元106(箭头129)。图像行输出单元106与解码的图像数据的视频格式的水平同步信号同步地输出图像行(箭头130)。当即刻地(实时地)显示从图像行输出单元106输出的解码的图像数据的图像时，图像行输出单元106需要在水平同步信号之间的每个时段(水平同步时段)输出一行图像行。换句话说，逆小波变换单元105需要以每个水平同步时段一行的步幅提供图像行到图像行输出单元106。稍后将描述其细节，并且逆小波变换单元105生成两行图像行。因此，实际上，逆小波变换单元105需要每隔一个水平同步时段提供两行图像行到图像行输出单元106。控制单元103控制逆量化单元102的输出和逆小波变换单元105的操作，使得逆小波变换单元105以这样的定时生成图像行。因为被提供给解码设备100的编码数据的速率(每单位时间的提供量)基本上几乎恒定，所以逆量化单元102暂时将逆量化后的系数数据存储在缓冲器单元104中(箭头125)。控制单元103基于从逆量化单元102提供的信息(箭头124)控制逆量化单元 102 (箭头12 ，并且继而控制从缓冲器单元104读取系数数据(箭头126)。通过这种定时控制，控制来自逆量化单元102的输出(箭头127)。此外，控制单元 103与该控制同步地操作逆小波变换单元105(箭头128)。在描述逆量化单元102的输出的定时控制之前，将描述逆小波变换处理。5X3合成滤波器逆小波变换处理是这样的处理，其中合成通过小波变换处理、由分级构成的用于每个频率分量的系数数据，以便返回到基带中的图像数据。如上所述，在小波变换处理中， 通过分析滤波将图像数据或系数数据划分为空间频率的高分量(高频分量)和空间频率的低分量(低频分量)，但是在逆小波变换处理中执行与其相逆的处理。换句话说，对于每个划分级别执行用于合成被划分为高频分量和低频分量的系数数据的合成滤波。因此，使用与在小波变换处理中所使用的滤波器相同的滤波器来执行逆小波变换处理。也就是说，当在小波变换的上述示例中使用5X3滤波器(分析滤波器)时， 使用5X3滤波器(合成滤波器)执行逆小波变换处理。图8是图示提升方式的5X3合成滤波器的图。在图中，在最上部示出通过小波变换生成的输入系数。从像平面的顶部到其底部执行数据处理，并且通过下面的等式(5)和 (6)，从高频分量的输入系数(高频系数)和低频分量的输入系数(低频系数)生成偶数编号的系数(第一个系数假设为第0个)和奇数编号的系数屯°。Si0 = 8/-1/4((1^/+(1/) (5)Cli0 = (1/+1/2 (Si0+Si+10) (6)合成滤波器侧通过滤波处理合成高频分量和低频分量的系数，并且执行逆小波变换。提升操作图9是图示使用5X3合成滤波器对于纵向方向上的各行执行滤波的情况图。横向方向示出操作过程和通过该操作过程生成的低等级系数。按照与分析滤波的情况相同的方式，也按照与垂直方向上的处理相同的方式执行水平方向上的处理。首先执行垂直方向上的合成滤波，然后执行水平方向上的合成滤波。在图像的上端，如用框151标记的，在输入高频系数H0、低频系数Ll和高频系数 Hl的时间点处执行提升操作。此时，如用箭头152标记的，对称地扩大系数a。以此方式， 生成低一个等级分级中的行0和行1。接着，如果输入两个系数行(低频系数L2和高频系数H2)，如用框153标记的，生成低一个等级分级中的行2和行3。此后，每次输入两个系数行时，如用框IM标记的，以相同方式对随后的各行重复执行提升操作，以输出两行低等级系数行。如用框155标记的，如果从输入的低频系数L(N) 和高频系数H(N)生成行2(N)-2和行2(N)-1，则如用箭头156标记的对称地扩展高频系数 H(N)，并且如用框157标记的，执行操作以生成行2 (N+1)-2和行2(N+1)_1。尽管图9示出在垂直方向上对各行执行滤波的示例，但是也可以考虑以完全相同方式的水平方向上的滤波。
对于每个分级执行上述提升操作。这里，按照如上所述的用于优选地生成更高频分量的顺序执行合成滤波。参考图9描述的顺序指示经历合成滤波的数据之间的依赖关系，并且不同于实际处理中所执行的顺序。一个行块处理接着，将参考图10到12描述合成滤波的执行顺序。在图10到12中，圆圈围绕的数字是行块中行的标识数字，并且在本说明书中，省略围绕标识数字的圆圈，并且进行描述。此外，这里将描述对于已经经历了划分级别4的小波变换的系数的逆小波变换处理。如图10所示，最初，对于作为最高等级级别的划分级别4的每个子带中的一行系数(4LL/HL/LH/HH)执行第一合成滤波(箭头Si)。通过第一合成滤波，生成划分级别3的低频子带中的第一行的系数3LL1和第二行的系数3LL2(箭头S2)。接着，对于第一行的系数3LL1和作为新输入的划分级别3的每个高频子带中的一行系数(3HL/LH/HH)执行第二合成滤波(箭头。通过第二合成滤波，生成划分级别2的低频子带中的第一行的系数2LL1和第二行的系数2LL2(箭头S4)。接着，对于第一行的系数2LL1和作为新输入的划分级别2的每个高频子带中的一行系数QHL/LH/HH)执行第三合成滤波(箭头S5)。通过第三合成滤波，生成划分级别1的低频子带中的第一行的系数ILLl和第二行的系数1LL2(箭头S6)。此外，对于第一行的系数ILLl和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第四合成滤波(箭头S7)。通过第四合成滤波，生成基带中的第一行的图像数据基数1和第二行的图像数据基数2 (箭头S8)。接着，执行第五合成滤波。在已生成的但直到现在仍未处理的系数行中，作为最低等级级别的系数行的划分级别1的低频子带中的第二行的系数1LL2变为第五合成滤波的目标。也就是说，对于划分级别1的低频子带中的第二行的系数1LL2和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第五合成滤波(箭头S9)。通过第五合成滤波，生成基带中的第三行的图像数据基数3和第四行的图像数据基数4 (箭头 S10)。接着，执行第六合成滤波。在已生成的但直到现在仍未处理的系数行中，作为最低等级级别的系数行的划分级别2的低频子带中的第二行的系数2LL2变为第六合成滤波的目标。也就是说，对于划分级别2的低频子带中的第二行的系数2LL2和作为新输入的划分级别2的每个高频子带中的一行系数QHL/LH/HH)执行第六合成滤波(箭头Sll)。如图 11所示，通过第六合成滤波，生成划分级别1的低频子带中的第三行的系数1LL3和第四行的系数1LL4(箭头S12)。接着，对于划分级别1的低频子带中的第三行的系数1LL3和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第七合成滤波(箭头S13)。通过第七合成滤波，生成基带中的第五行的图像数据基数5和第六行的图像数据基数6 (箭头S14)。接着，执行第八合成滤波。在已生成的但直到现在仍未处理的系数行中，作为最低等级级别的系数行的划分级别1的低频子带中的第四行的系数1LL4变为第八合成滤波的目标。
也就是说，对于划分级别1的低频子带中的第四行的系数1LL4和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第八合成滤波(箭头S15)。通过第八合成滤波，生成基带中的第七行的图像数据基数7和第八行的图像数据基数8 (箭头 S16)。接着，执行第九合成滤波。在已生成的但直到现在仍未处理的系数行中，作为最低等级级别的系数行的划分级别3的低频子带中的第二行的系数3LL2变为第九合成滤波的目标。也就是说，对于划分级别3的低频子带中的第二行的系数3LL2和作为新输入的划分级别3的每个高频子带中的一行系数(3HL/LH/HH)执行第九合成滤波(箭头S17)。 通过第九合成滤波，生成划分级别2的低频子带中的第三行的系数2LL3和第四行的系数 2LL4(箭头 S18)。接着，对于第三行的系数2LL3和作为新输入的划分级别2的每个高频子带中的一行系数QHL/LH/HH)执行第十合成滤波(箭头S19)。通过第十合成滤波，生成划分级别1的低频子带中的第五行的系数1LL5和第六行的系数1LL6(箭头S20)。此外，对于第五行的系数1LL5和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第十一合成滤波(箭头S21)。如图12所示，通过第十一合成滤波，生成基带中的第九行的图像数据基数9和第十行的图像数据基数10(箭头S22)。接着，执行第十二合成滤波。在已生成的但直到现在仍未处理的系数行中，作为最低等级级别的系数行的划分级别1的低频子带中的第六行的系数1LL6变为第十二合成滤波的目标。也就是说，对于划分级别1的低频子带中的第六行的系数1LL6和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第十二合成滤波(箭头S23)。通过第十二合成滤波，生成基带中的第十一行的图像数据基数11和第十二行的图像数据基数12 (箭头S24)。接着，执行第十三合成滤波。在已生成的但直到现在仍未处理的系数行中，作为最低等级级别的系数行的划分级别2的低频子带中的第四行的系数2LL4变为第十三合成滤波的目标。也就是说，对于划分级别2的低频子带中的第四行的系数2LL4和作为新输入的划分级别2的每个高频子带中的一行系数QHL/LH/HH)执行第十三合成滤波(箭头S25)。 通过第十三合成滤波，生成划分级别1的低频子带中的第七行的系数1LL7和第八行的系数 1LL8(箭头 S26)。此外，对于划分级别1的低频子带中的第七行的系数1LL7和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第十四合成滤波(箭头S27)。通过第十四合成滤波，生成基带中的第十三行的图像数据基数13和第十四行的图像数据基数 14(箭头 S28)。接着，执行第十五合成滤波。在已生成的但直到现在仍未处理的系数行中，作为最低等级级别的系数行的划分级别1的低频子带中的第八行的系数1LL8变为第十五合成滤波的目标。
14
也就是说，对于划分级别1的低频子带中的第八行的系数1LL8和作为新输入的划分级别1的每个高频子带中的一行系数(1HL/LH/HH)执行第十五合成滤波(箭头S29)。通过第十五合成滤波，生成基带中的第十五行的图像数据基数15和第十六行的图像数据基数16 (箭头S30)。按照上述顺序，执行对于一个行块的合成滤波。通过按照上述顺序重复合成滤波， 生成基带中的一个行块的图像数据(十六行)。对于下一行块重复上述相同处理(箭头S31)。为了与解码的图像数据的水平同步信号同步地输出图像行，需要控制基带中的图像行的生成定时，即，合成滤波的定时。具体地，按照上述顺序，如图10到12所示，生成基带中的两行图像行所需的合成滤波的次数变化。具体地，通过第四、第五、第七、第八、第十一、第十二、第十四和第十五合成滤波生成图像行。也就是说，为了生成第一个两行，需要四次合成滤波，为了生成下一个两行，只需要执行一次合成滤波。按照下面相同方式，合成滤波的次数变化。因此，如果解码设备100对于以不规则方式处理所提供的编码行而获得的系数行依序执行合成滤波，则存在的问题在于在基带中的图像行的生成定时中产生极大偏差，并且难以与解码的图像数据中的水平同步信号同步地输出图像行。因此，控制单元103控制逆量化单元102和逆小波变换单元105，使得逆小波变换单元105每隔一个水平同步信号之间的时段(每隔一个水平同步时段)生成基带中的图像行一次(两行)。此外，水平同步时段的长度依赖于图像的垂直分辨率或帧速率，并且被定义为视频格式之一。因此，控制单元103根据要处理的系数数据(解码的图像数据)的视频格式执行控制。稍后将描述细节，并且使用缓冲器单元104调整系数行到逆小波变换单元105的输入定时。因此，控制单元103执行控制，使得抑制缓冲器单元104中的上溢或下溢的生成。具体地，上溢或下溢的易于产生依赖于所处理的系数数据(解码的图像数据)的视频格式而不同。因此，控制单元103根据视频格式执行控制。此后，将描述控制。控制单元和逆量化单元的配置图13是图示图7中的逆量化单元102和控制单元103的主要配置示例的方块图。如图13所示，逆量化单元102具有逆量化操作单元201以及输入和输入单元202。 逆量化操作单元201对于输入的量化后的系数执行逆量化操作(箭头122)。逆量化的系数数据被提供给输入和输出单元202(箭头251)。输入和输出单元202操作为缓冲器单元104的接口，并且将从逆量化操作单元201 提供的逆量化的系数数据写入缓冲器104 (箭头12 ，或从缓冲器单元104读取逆量化的系数数据(箭头126)。输入和输出单元202在控制单元103的控制下进行操作(箭头123-1、 123-2、124-1和 124-2)。输入和输出单元202包括写入单元211、输入数据量计数单元212、输出数据量计数单元213和读取单元214。
写入单元211将从逆量化操作单元201提供的系数数据提供给缓冲器104以便存储(箭头125)。写入单元211从任意部分(如系数数据的报头)获取系数数据的视频格式，并且将关于视频格式的信息提供给控制单元103(箭头123-1)。写入单元211还将缓冲器单元104中写入的系数数据提供给输入数据量计数单元 212(箭头 261)。输入数据量计数单元212计数从写入单元211提供的系数数据的数据量。输入数据量计数单元212将计数值提供给控制单元103 (箭头123-2)。读取单元214在控制单元103的控制下(124_1)，从缓冲器单元104读取系数数据 (箭头126)，并将读取的系数数据提供给逆小波变换单元105 (箭头127)。此外，读取单元IM将从缓冲器单元104读取的系数数据提供给输出数据量计数单元213。输出数据量计数单元213计数从读取单元214提供的系数数据的数据量。输出数据量计数单元213将计数值提供给控制单元103 (箭头124-2)。控制单元103具有格式确定单元221、读取开始定时控制单元222、读取控制单元 223、逆小波变换控制单元224、和缓冲器控制单元225。格式确定单元221基于从逆量化单元102提供的关于视频格式的信息(箭头 123-1)，确定要处理的系数行(解码的图像数据)的视频格式具有什么特性。例如，格式确定单元221确定图像信号的水平同步时段或水平消隐间隔的长度。例如，如图14所示，在每秒60场的隔行扫描方法中，图像具有1920样本的有效水平尺寸和1080的有效垂直行数(1920X1080@60i)的情况下，水平尺寸(水平同步时段) 变为2200样本，而有效水平尺寸变为1920样本。在该情况下，H消隐值(水平消隐间隔) 为280样本。此外，例如如图14所示，在每秒M场的逐行扫描方法中，在图像具有1280样本的有效水平尺寸和720的有效垂直行数(1280X720船4p)的情况下，水平尺寸(水平同步时段)变为4125样本，而有效水平尺寸变为1280样本。在该情况下，H消隐值(水平消隐间隔)为2845样本。例如，如图15所示，对应于水平同步信号301的脉冲之间(也称为“水平同步信号之间”)的间隔的水平同步时段311包括在活动(active)区域中包括的水平显示区域之前和之后的水平消隐间隔312-1和水平消隐间隔312-2。此后，在不必区分水平消隐间隔 312-1和水平消隐间隔312-2的情况下，它们被简称为水平消隐间隔312。因此，在显示图像时，显示图像信号的一行，然后是水平消隐间隔312，此后显示下一行。此外，垂直同步信号302以相同方式配置，并且与垂直同步信号302的脉冲之间 (也称为“垂直同步信号之间的”)间隔对应的垂直同步时段321包括在活动区域中所包括的垂直显示区域之前和之后的垂直消隐间隔322-1和垂直消隐间隔322-2。此后，在不必区分垂直消隐间隔322-1和垂直消隐间隔322-2的情况下，它们被简称为垂直消隐间隔322。这里，重要的是图像行输出单元106必须在每个水平同步时段期间输出一行基带中的图像行。为此，逆小波变换单元105必须执行合成滤波，以便每隔一个水平同步时段输
16出两行基带中的图像数据。再次参考图13，格式确定单元221将这种视频格式的特性的确定结果通知给读取控制单元223和逆小波变换控制单元224(箭头2M和255)。读取控制单元223基于该确定结果控制读取单元214，以便以逆小波变换单元105 能够每隔一个水平同步时段输出两行基带中的图像数据的定时而从缓冲器单元104读取系数数据，然后使得读取的系数数据被提供给逆小波变换单元105。逆小波变换控制单元2M控制逆小波变换单元105，以便与系数数据的提供定时同步地执行合成滤波。当按照参考图10到12描述的顺序执行合成滤波时，将更详细地描述一个行块的控制。此外，以下将使用行块的前导部分作为参考来描述系数行或图像行(任意行)的顺序。当启动用于行块的第一水平同步时段时，读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取一行子带4LL、4HL、4LH和4HH中的系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于所提供的系数行执行利用图10中的箭头Sl标记的合成滤波，从而生成子带3LL中的两个系数行。接着，读取控制单元223控制读取单元214以便以预定定时读取子带3HL、3LH和 3HH中的第一系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带3LL中的第一系数行和向其提供的系数行执行利用图10中的箭头 S3标记的合成滤波，从而生成子带2LL中的两个系数行。然后，读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带2HL、2LH和2HH中的第一系数行，然后使得读取的行被提供给逆小波变换单元105。 逆小波变换控制单元2M对于生成的子带2LL中的第一系数行和向其提供的系数行执行利用图10中的箭头S5标记的合成滤波，从而生成子带ILL中的两个系数行。接着，读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第一系数行，然后使得读取的行被提供给逆小波变换单元105。 逆小波变换控制单元2M对于生成的子带ILL中的第一系数行和向其提供的系数行执行利用图10中的箭头S7标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在用于行块的第一水平同步时段期间，逆小波变换单元105执行四次合成滤波以生成基带中的两个图像行。在第一水平同步时段和第二水平同步时段期间，图像行输出单元106输出生成的两个行。如果如上所述读取系数行，则读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第二系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带ILL中的第二系数行和向其提供的系数行执行利用图10中的箭头S9标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在第三水平同步时段期间，逆小波变换单元105执行一次合成滤波以生成基带中的两个图像行。在第三水平同步时段和第四水平同步时段期间，图像行输出单元106输出生成的两个行。如果如上所述读取系数行，则读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带2HL、2LH和2HH中的第二系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带2LL中的第二系数行和向其提供的系数行执行利用图10中的箭头Sll标记的合成滤波，从而生成子带ILL中的两个系数行。接着，读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第三系数行，然后使得读取的行被提供给逆小波变换单元105。 逆小波变换控制单元2M对于生成的子带ILL中的第三系数行和向其提供的系数行执行利用图11中的箭头S13标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在第五水平同步时段期间，逆小波变换单元105执行两次合成滤波以生成基带中的两个图像行。在第五水平同步时段和第六水平同步时段期间，图像行输出单元106输出生成的两个行。如果如上所述读取系数行，则读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第四系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带ILL中的第四系数行和向其提供的系数行执行利用图11中的箭头S15标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在第七水平同步时段期间，逆小波变换单元105执行一次合成滤波以生成基带中的两个图像行。在第七水平同步时段和第八水平同步时段期间，图像行输出单元106输出生成的两个行。如果如上所述读取系数行，则读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带3HL、3LH和3HH中的第二系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带3LL中的第二系数行和向其提供的系数行执行利用图11中的箭头S17标记的合成滤波，从而生成子带2LL中的两个系数行。然后，读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带2HL、2LH和2HH中的第三系数行，然后使得读取的行被提供给逆小波变换单元105。 逆小波变换控制单元2M对于生成的子带2LL中的第三系数行和向其提供的系数行执行利用图11中的箭头S19标记的合成滤波，从而生成基带中的两个图像行。接着，读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第五系数行，然后使得读取的行被提供给逆小波变换单元105。 逆小波变换控制单元2M对于生成的子带ILL中的第五系数行和向其提供的系数行执行利用图11中的箭头S21标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在第九水平同步时段期间，逆小波变换单元105执行三次合成滤波以生成基带中的两个图像行。在第九水平同步时段和第十水平同步时段期间，图像行输出单元106输出生成的两个行。如果如上所述读取系数行，则读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第六系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带ILL中的第六系数行和向其提供的系数行执行利用图12中的箭头S23标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在第十一水平同步时段期间，逆小波变换单元105执行一次合成滤波以生成基带中的两个图像行。在第十一水平同步时段和第十二水平同步时段期间，图像行输出单元106输出生成的两个行。如果如上所述读取系数行，则读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带2HL、2LH和2HH中的第四系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带2LL中的第四系数行和向其提供的系数行执行利用图12中的箭头S25标记的合成滤波，从而生成子带ILL中的两个系数行接着，读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第七系数行，然后使得读取的行被提供给逆小波变换单元105。 逆小波变换控制单元2M对于生成的子带ILL中的第七系数行和向其提供的系数行执行利用图12中的箭头S27标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在第十三水平同步时段期间，逆小波变换单元105执行两次合成滤波以生成基带中的两个图像行。在第十三水平同步时段和第十四水平同步时段期间，图像行输出单元106输出生成的两个行。如果如上所述读取系数行，则读取控制单元223控制读取单元214以便以预定定时从缓冲器单元104读取子带IHLULH和IHH中的第八系数行，然后使得读取的行被提供给逆小波变换单元105。逆小波变换控制单元2M对于生成的子带ILL中的第八系数行和向其提供的系数行执行利用图12中的箭头幻9标记的合成滤波，从而生成基带中的两个图像行。读取控制单元223和逆小波变换控制单元224以这种定时执行这些控制，使得在第十五水平同步时段期间，逆小波变换单元105执行一次合成滤波以生成基带中的两个图像行。在第十五水平同步时段和第十六水平同步时段期间，图像行输出单元106输出生成的两个行。如上所述，读取控制单元223和逆小波变换控制单元2M基于视频格式的特性执行控制，从而可以每隔一个水平同步时段输出两行基带中的图像数据。因此，图像行输出单元106可以每隔一个水平同步时段输出一行基带中的图像数据。换句话说，只要任何视频格式是可实现的，则诸如在图像显示时可以即刻地(实时地)使用解码的图像数据。以此方式，解码设备100可以在不遵循视频格式的情况下以低延迟方式实现解码处理。图像行输出单元106在其中嵌入缓冲器，并且使用缓冲器输出一行图像行，所述图像行是逆小波变换单元105以两行提供的。如果缓冲器的容量增加并且可以容纳三行或更多行的图像行，则可以应对逆小波变换处理中的延迟，但是存在的问题在于由于存储器容量的增加导致的制造成本增加或者增加延迟时间。对于这点，解码设备100执行如上所述的控制，从而抑制存储器容量的增加，并且以低延迟方式实现解码处理。如可以从图14中的表看到的，水平消隐间隔的长度依赖于图像的分辨率或帧速率。也就是说，对于每种图像格式设置水平消隐间隔的长度，并且水平消隐间隔的长度可以在具有不同视频格式的各条图像数据之间不同。例如，在1920X 1080i60i的图像的情况下，H消隐值为280个样本，而在 1280X720i24p的情况下，H消隐值为观45个样本。水平消隐间隔的长度指示解码处理中的裕量(marginal)程度。即，较长的水平消隐间隔指示关于水平同步时段的长度(水平尺寸)在水平同步时段期间要处理的样本数小 (有效水平尺寸小)。即，解码处理中的裕量程度(H消隐值)增加。相反，较短的水平消隐间隔指示关于水平同步时段的长度(水平尺寸)在水平同步时段期间要处理的样本数大 (有效水平尺寸大)。即，解码处理中的裕量程度(H消隐值)减少。随着裕量程度增加，执行合成滤波的定时中的自由度也增加。例如，通常当在具有长度10的时段期间将具有长度1的处理执行10次时，只存在很少的裕量并且需要执行每个处理，但是当在具有长度10的时段期间执行具有长度2的处理两次适用时，可以以更多可变定时开始处理。在该自由度的范围内，因为确保用于将系数数据累积在缓冲器单元104中的时间，所以基本上在时间上稍后开始处理是有利的。换句话说，即使在水平同步时段的长度相同时，缓冲器单元104的系数数据的优化读取开始定时依赖于水平消隐间隔的长度而不同。因此，格式确定单元221将视频格式的特性的确定结果提供给读取开始定时控制单元222(图13中的箭头252)。读取开始定时控制单元222基于由确定结果所示的水平消隐间隔的长度调整系数数据的读取开始定时，并且将调整后的读取开始定时通知给读取控制单元223(箭头 253)。例如，如果水平消隐间隔长，则读取开始定时控制单元222将系数数据的读取开始定时在时间上设置为尽可能迟。相反，如果水平消隐间隔短，则读取开始定时控制单元 222将系数数据的读取开始定时在时间上设置为尽可能早。
读取控制单元223控制读取单元214以便在读取开始定时处开始读取系数数据。以此方式，依赖于水平消隐间隔的长度，读取控制单元223可以以更适当的定时进行系数数据读取。读取开始定时控制单元222可以不使用读取控制单元223来控制读取单元214。 然而，在该情况下，读取控制单元223也必须掌握读取开始定时控制单元222对于随后的读取控制进行系数数据读取。由于如上所述的读取控制单元223的控制，由读取单元214读取的系数数据量在每个水平同步时段变化。为此原因，认为存在这样的情况，其中依赖于视频格式，在缓冲器单元104中产生上溢或下溢。因此，缓冲器控制单元225基于从输入数据量计数单元212提供的计数值(输入数据量)和从输出数据量计数单元213提供的计数值(输出数据量)，管理在缓冲器单元 104中累积的数据量(缓冲量)，并且控制从缓冲器单元104读取系数数据，使得在缓冲器单元104中产生上溢或下溢。也就是说，缓冲器控制单元225基于输入数据量和输出数据量计算缓冲量，并且当看起来要产生上溢时，控制读取缓冲器单元223 (箭头258)，使得即使不是原始读取定时，读取单元214也立即读取系数数据。另一方面，当看起来要在缓冲器单元104中产生下溢时，缓冲器控制单元225控制读取控制单元223 (箭头258)，使得即使在原始定时处时，读取单元214也不读取系数数据。如图13所示，缓冲器控制单元225具有缓冲量计算单元231、缓冲量确定单元232 和读取调整单元233。缓冲量计算单元231基于输入数据量或输出数据量的计数值，计算用于指示缓冲器单元104中累积的系数数据的数据量的缓冲量。缓冲量确定单元232确定由缓冲器计算单元231计算的缓冲量是小于还是大于预先设置的预定阈值(可允许值)。该阈值(可允许值)包括用于抑制上溢的产生的阈值 (即，指示缓冲量的可允许范围的上限的可允许值)和用于抑制下溢的产生的阈值(即，指示缓冲量的可允许范围的下限的可允许值)。读取调整单元233基于确定结果，进行从缓冲器单元104读取系数数据，用于缓冲量的调整。例如，如果缓冲量大于指示可允许范围的上限的可允许值，则由于担心产生上溢， 所以读取调整单元233控制读取控制单元223，使得读取单元214立即读取系数数据。此外，例如，如果缓冲量小于指示可允许范围的下限的可允许值，则由于担心产生下溢，所以读取调整单元233控制读取控制单元223，使得读取单元214不读取系数数据。以此方式，缓冲器控制单元225控制从缓冲器单元104读取系数数据，从而控制缓冲器单元104中的缓冲量。因此，可以抑制缓冲器单元104中的上溢或下溢的产生。从而， 解码设备100可以以低延迟方式实现解码处理。读取调整单元233可以不使用读取控制单元223控制读取单元214。然而，在该情况下，读取控制单元223也必须掌握读取调整单元233对于随后的读取控制进行系数数据读取。缓冲器控制单元225可以抑制上溢的产生或下溢的产生。在该情况下，缓冲器控
21制单元225便利于控制，从而减少处理负担，但是不抑制其它的产生。同时，上溢或下溢的易于产生依赖于视频格式的特性。例如，当水平消隐间隔短时，由于裕量程度小并且每单位时间从缓冲器单元104 读取的系数数据量大，因此下溢趋于产生。另一方面，当水平消隐间隔长时，由于裕量程度大并且每单位时间从缓冲器单元104读取的系数数据量小，因此上溢趋于产生。为此原因，缓冲器控制单元225只对具有较高的上溢和下溢产生可能性的一侧执行控制处理。以此方式，缓冲器控制单元225可以对具有较低的产生可能性的一侧省略处理，因此相应地减少处理负担。此外，上溢和下溢的易于产生依赖于视频格式的特性。因此，缓冲器控制单元225 基于该特性确定上溢和下溢的哪一侧具有较高的产生可能性。格式确定单元221还将格式的确定结果通知给缓冲器控制单元225(箭头257)。 缓冲器控制单元225基于由确定结果所示的水平消隐间隔的长度，确定是上溢容易产生还是下溢容易产生，并且只对容易产生的一侧执行处理。以此方式，缓冲器控制单元225可以根据视频格式的特性(水平消隐间隔的长度) 执行抑制上溢或下溢的产生的处理，并且可以更高效地执行处理。处理流程将参考图16中的流程图描述由上述解码设备100执行的解码处理的流程示例。如果解码处理开始，则在步骤SlOl解码设备100的熵解码单元101对于提供的编码数据执行熵解码。在步骤S102，逆量化单元102逆量化通过在步骤SlOl的处理对于编码数据执行熵解码获得的系数数据。在步骤S103，逆量化单元102将通过在步骤S102的处理逆量化的系数数据写入缓冲器单元104中。在步骤S104，控制单元103控制逆量化单元102从缓冲器单元104读取系数数据。 逆小波变换单元105在控制单元103的控制下，对于读取的系数数据执行逆小波变换。在步骤S105，图像行输出单元106与水平同步信号同步地输出一行由逆小波变换获得的图像行。如果完成步骤S105的处理，则解码处理结束。对于每个预定数据单元重复上述处理。在各个步骤的上述处理可以一起执行。接着，将参考图17的流程图描述在图16的步骤S104执行的读取控制处理的流程示例。如果读取控制处理开始，则在步骤S121，格式确定单元221确定由写入单元211写入缓冲器单元104的系数数据的视频格式的特性。在步骤S122，读取开始定时控制单元222根据水平消隐间隔的长度设置读取开始定时。在步骤S123，读取控制单元223控制读取单元214，以便以这样的步幅从缓冲器单元104读取系数数据，使得在水平同步时段期间可以输出一行图像数据。当然，读取控制单元223根据在步骤S122设置的读取开始定时执行读取。在步骤S1M，逆小波变换控制单元224控制逆小波变换单元105，以便以这样的步幅执行逆小波变换，使得在水平同步时段期间可以输出一行图像数据。如果完成在步骤SlM的处理，则读取控制处理结束，然后流程返回到图16中的步骤S104的处理，并且从步骤S105执行处理。控制单元103执行上述读取控制处理，从而解码设备100可以在不遵循视频格式的情况下实现低延迟解码处理。读取控制单元223和逆小波变换控制单元2M可以根据预先设置的水平同步时段的预定长度执行读取控制处理。在该情况下，可以省略图17中的步骤S121和S122的处理。 此外，在图13中，可以省略控制单元103的格式确定单元221、读取开始定时控制单元222 和缓冲器控制单元225。读取控制单元223和逆小波变换控制单元2 可以根据由格式确定单元221确定的视频格式的特性(水平同步时段的长度)执行读取控制处理。在该情况下，可以省略图 17中的步骤S122的处理。此外，可以省略控制单元103的读取开始定时控制单元222和缓冲器控制单元225。此外，控制单元103可以只执行读取控制处理。在该情况下，可以省略图13中的控制单元103的缓冲器控制单元225。解码设备100与图16所示的解码处理一起执行用于控制缓冲器单元104中的缓冲量的缓冲器控制处理。将参考图18和19中的流程图描述缓冲器控制处理的流程示例。如果缓冲器控制处理开始，则在步骤S141，格式确定单元221确定由写入单元211 写入缓冲器单元104中的系数数据的视频格式的特性(水平消隐间隔的长度)。例如，格式确定单元221比较水平消隐间隔的长度和预定时间(阈值)，并且确定是否比该阈值长。当在步骤S142确定水平消隐间隔长于该预定时间时，控制单元103允许执行步骤 S143的处理。在水平消隐间隔长的情况下，因为上溢的产生可能性高，所以从步骤S143开始执行用于抑制上溢产生的处理。在步骤S143，输入数据量计数单元212对在缓冲器单元104中写入的系数数据的数据量(In_Data)进行计数。在步骤S144，缓冲量计算单元231通过反映如等式(7)所示的输入数据量来计算缓冲量(Buffer)。Buffer = Buffer+In_Data(7)在步骤S145，读取控制单元223确定是否到达读取调度定时，并且当确定未到达读取调度定时时，流程进行到步骤S146的处理。在步骤S146，缓冲量确定单元232比较缓冲量和预先设置的预定可允许值(阈值)，并且确定缓冲量是否超过该可允许值。当确定缓冲量等于或小于可允许值时，缓冲量确定单元232使得能够执行步骤S147的处理。在步骤S147，具体地，读取调整单元233不控制读取控制单元223，而是等待。此外，流程返回到步骤S143，其中读取调整单元233执行处理。当在步骤S146确定缓冲量超过可允许值时，缓冲量确定单元232使得能够执行步骤S148的处理。在步骤S148，为了抑制上溢的产生，读取调整单元233控制读取控制单元223，使得读取单元214立即读取系数数据。如果该处理完成，则读取调整单元233使得能够执行步骤S149的处理。当在步骤S145确定到达读取调度定时时，读取控制单元223允许执行步骤S149 的处理。在该情况下，读取控制单元223不受读取调度单元233的控制，因此读取单元214 按照调度读取系数数据。在步骤S149，输出数据量计数单元213计数从缓冲器单元104读取的系数数据的数据量(0ut_Data)。在步骤S150，缓冲量计算单元231通过反映输出数据量的如等式(8)所示计算缓冲量(Buffer)。Buffer = Buffer-Out_Data(8)在步骤S151，控制单元103确定是否结束缓冲器控制处理。当存在未处理的系数数据并且确定继续缓冲器控制处理时，流程进行到步骤S143，并且控制单元103从其开始执行处理。也就是说，重复从步骤S143到步骤S151的处理，直到处理了所有的系数数据。在步骤S151，当确定结束缓冲器控制处理时，控制单元103结束缓冲器控制处理。当在步骤S142确定水平消隐间隔短于预定时间时，控制单元103控制执行图19 中的步骤S171的处理。当水平消隐间隔短时，因为下溢的产生可能性高，所以从步骤S171 开始执行用于抑制下溢产生的处理。在步骤S171，输入数据量计数单元212计数写入缓冲器单元104的系数数据的数据量(In_Data)。在步骤S172，通过反映如上述等式(7)所示的输入数据量来计算缓冲量 (Buffer)ο在步骤S173，读取控制单元223确定是否到达读取调度定时。当确定未到达读取调度定时时，流程返回到步骤S171的处理，并且读取控制单元223执行从其开始的处理。换句话说，在处理下溢的情况下，读取调整单元233只在典型的读取调度定时处执行控制，其中读取控制单元223控制读取单元214以便在没有读取调整单元233的控制的情况下读取系数数据。在步骤S173，当确定到达读取调度定时时，读取控制单元223使得能够执行步骤 S174的处理。在步骤S174，缓冲量确定单元232比较在读取一调度量的系数数据时的缓冲量和预先设置的预定可允许值(阈值)，并且如果读取了该调度量的系数数据，则确定缓冲量是否小于该可允许值。当确定缓冲量小于该可允许值时，缓冲量确定单元232使得能够执行步骤S175的处理。在该情况下，因为下溢的产生可能性高，所以在步骤S175，为了抑制下溢的产生， 读取调整单元233控制读取控制单元223以便暂时阻止读取系数数据。换句话说，在该读取调度定时处，阻止读取控制单元223读取系数数据。在阻止读取后，流程返回到步骤S171，并且读取调整单元233执行从其以后的处理。在步骤S174，即使在读取了该调度量的系数数据后，当确定缓冲器等于或大于可允许值时，缓冲量确定单元232使得能够执行步骤S176的处理。在步骤S171，读取调整单元233不控制读取控制单元223。换句话说，读取控制单元223允许读取单元214按照调度读取系数数据。如果完成该处理，则读取控制单元223 使得能够执行步骤S177的处理。在步骤S177，输出数据量计数单元213计数从缓冲器单元104读取的系数数据的数据量(0ut_Data)。在步骤S178，缓冲量计算单元231通过反映输出数据量如上述等式(8)所示计算缓冲量(Buffer)。在步骤S179，控制单元103确定是否结束缓冲器控制处理。当存在未处理的系数数据并且确定要继续缓冲器控制处理时，流程返回到步骤S171，并且控制单元103执行从其开始的处理。也就是说，重复从步骤S171到步骤S179的处理，直到处理了所有的系数数据。在步骤S179，当确定结束缓冲器控制处理时，控制单元103返回图18中的处理，并且结束缓冲器控制处理。通过执行如上所述的缓冲器控制处理，解码设备100可以抑制上溢或下溢的产生。缓冲器控制单元225可以只抑制上溢的产生。在该情况下，可以省略图18中的步骤S141和S142以及图19中的步骤S171到S179的各个处理。此外，缓冲器控制单元225可以只抑制下溢的产生。在该情况下，可以省略图18 中的步骤S141到S151的各个处理，并且只执行图19中的处理。2.第二实施例个人计算机上述处理系列可以由硬件或软件执行。在该情况下，例如如图20所示，可以作为个人计算机的配置。在图20中，个人计算机400的CPU (中央处理单元)401根据ROM (只读存储器)402 中存储的程序或从存储单元413加载到RAM(随机存取存储器)403的程序执行各种处理。 RAM 403适当地存储CPU 401执行各种处理所需的数据等。CPU 40UROM 402和RAM 403经由总线404彼此连接。总线404还连接到输入和输出接口 410。输入和输出接口 410连接到由键盘、鼠标等构成的输入单元411，连接到由诸如 CRT(阴极射线管)显示器或LCD(液晶显示器)之类的显示器和扬声器构成的输出单元， 连接到由诸如闪存之类的SSD(固态驱动器)或硬盘等构成的存储单元413，并且连接到由有线LAN(局域网)或无线LAN的接口或调制解调器等构成的通信单元414。通信单元414 经由包括因特网的网络执行通信。输入和输出接口 410可选地连接到驱动器415。磁盘、光盘、磁光盘或诸如半导体存储器之类的可移除介质421适当地配备在驱动器415中，并且从其读取的计算机程序可选地安装在存储单元413中。在通过软件执行上述处理系列的情况下，构成软件的程序从网络或记录介质安装。记录介质包括磁盘(包括软盘)、光盘(包括⑶-ROM (致密盘-只读存储器)和 DVD (数字多用途盘))、磁光盘(包括MD (迷你盘))、或诸如半导体存储器之类的可移除介质421，它们存储程序并且与设备主体分开地分发，例如如图20所示，以便传递程序给用户，并且还包括ROM 402或存储单元413中包括的硬盘，其在被嵌入主体中的状态下存储要传递给用户的程序。由计算机执行的程序可以是根据本说明书中描述的顺序以时间序列执行处理的程序，或者可以是与之并行执行的程序或在需要的定时(如在访问时)执行处理的程序。此外，在本说明书中，用于描述记录介质中记录的程序的步骤不仅包括根据描述的顺序以时间序列执行的处理，而且包括即使不一定以时间序列执行的、并行或分开执行的处理。在本说明书中，系统指示由多个设备配置的整体设备。在上面描述中，使用一个设备(或处理单元)描述的配置可以由多个设备(或处理单元)构成。相反，使用多个设备(或处理单元)描述的配置可以由一个设备(或处理单元)集成构成。此外，不同于上述配置的配置可以被添加到每个设备(或处理单元)的配置。此外，如果作为整个系统的配置或操作实质上相同，则某个设备(或处理单元)的配置的一部分可以被包括在另一设备(或另一处理单元)的配置中。也就是说，本发明的各实施例不限于上述实施例，而是可以具有各种修改而不偏离本发明的范围。本发明适于这样的设备，其可用于例如压缩运动图像信号、视频信号或静态图像， 发送和接收并解码它们以便输出图像的系统等。具体地，本发明可应用于移动通信设备、电信系统、监视相机和记录仪系统、远程医学诊断、广播站中的视频压缩和传输、现场广播图像的传递、老师和学生之间的交互式通信、无线方式的静态图像和运动图像的传输、交互式游戏应用等。本申请包含与于2010年1月四日向日本专利局提交的日本优先权专利申请JP 2010-01拟84中公开的内容有关的主题，在此通过引用并入其全部内容。本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、 子组合和更改，只要它们在所附的权利要求或其等效物的范围内。
权利要求
1.一种图像处理设备，包括提供部件，其提供每个子带中的系数数据组，其中通过分级的分析滤波处理对于每个频带分解预定行数的图像数据，并且所述系数数据组包括至少最低频率分量的子带中的一行或多行系数数据；合成滤波部件，其按照预定顺序合成由所述提供部件提供的系数数据组，并且生成基带中的图像数据；提供控制部件，其控制所述提供部件以这样的定时提供系数数据，使得所述合成滤波部件能够以与水平同步时段对应的定时生成基带中的图像数据，所述水平同步时段指示图像数据的各水平同步信号之间的时段；以及合成滤波控制部件，其控制所述合成滤波部件按照预定顺序合成由所述提供部件提供的系数数据组，并且以与水平同步时段对应的定时生成基带中的图像数据。
2.如权利要求1所述的图像处理设备，其中所述合成滤波部件按照用于更优先地生成更高频分量的顺序合成系数数据组，以及其中所述提供控制部件控制所述提供部件以这样的定时提供合成所需的系数数据，使得所述合成滤波部件能够按照所述顺序进行合成且每隔一个水平同步时段生成两行基带中的图像数据。
3.如权利要求1所述的图像处理设备，还包括确定部件，其确定图像数据的水平同步时段的长度，其中所述提供控制部件控制所述提供部件以这样的定时提供系数数据，使得所述合成滤波部件能够以与由所述确定部件确定的水平同步时段对应的定时生成基带中的图像数据，以及其中所述合成滤波控制部件控制所述合成滤波部件以与由所述确定部件确定的水平同步时段对应的定时生成基带中的图像数据。
4.如权利要求3所述的图像处理设备，其中所述确定部件确定图像数据的水平消隐间隔的长度，以及其中所述图像处理设备还包括提供开始定时控制部件，其根据由所述确定部件确定的水平消隐间隔的长度控制所述提供部件开始向所述合成滤波部件提供系数数据的定时。
5.如权利要求1所述的图像处理设备，还包括存储部件，其存储被提供给所述合成滤波部件的系数数据组，其中所述提供部件读取被存储在所述存储部件中的系数数据，并将读取的系数数据提供给所述合成滤波部件，以及其中所述提供控制部件控制所述提供部件从所述存储部件中读取系数数据。
6.如权利要求5所述的图像处理设备，还包括计算部件，其计算被存储在所述存储部件中的系数数据的数据量；确定部件，其确定由所述计算部件计算的数据量是否超过预先设置的预定阈值；以及调整部件，当所述确定部件确定数据量超过阈值时，所述调整部件使得所述提供部件立即读取被存储在所述存储部件中的系数数据。
7.如权利要求5所述的图像处理设备，还包括计算部件，其计算被存储在所述存储部件中的系数数据的数据量；确定部件，其确定由所述计算部件计算的数据量是否小于预先设置的预定阈值；以及调整部件，当所述确定部件确定数据量小于阈值时，所述调整部件阻止所述提供部件读取被存储在所述存储部件中的系数数据。
8.如权利要求5所述的图像处理设备，还包括水平消隐间隔确定部件，其确定图像数据的水平消隐间隔的长度； 计算部件，其计算被存储在所述存储部件中的系数数据的数据量； 数据量确定部件，当所述水平消隐间隔确定部件确定水平消隐间隔长时，所述数据量确定部件确定由所述计算部件计算的数据量是否超过预先设置的预定的第一阈值，而当所述水平消隐间隔确定部件确定水平消隐间隔短时，所述数据量确定部件确定由所述计算部件计算的数据量是否超过小于第一阈值的、预先设置的预定的第二阈值；调整部件，当所述数据量确定部件确定数据量超过第一阈值时，所述调整部件使得所述提供部件立即读取被存储在所述存储部件中的系数数据，而当所述数据量确定部件确定数据量小于第二阈值时，所述调整部件阻止所述提供部件读取被存储在所述存储部件中的系数数据。
9.一种图像处理设备中的图像处理方法，包括以下步骤使得图像处理设备的提供部件提供每个子带中的系数数据组，其中通过分级的分析滤波处理对于每个频带分解预定行数的图像数据，并且所述系数数据组包括至少最低频率分量的子带中的一行或多行系数数据；使得所述图像处理设备的合成滤波部件按照预定顺序合成由所述提供部件提供的系数数据组且生成基带中的图像数据；使得所述图像处理设备的提供控制部件控制所述提供部件以这样的定时提供系数数据，使得所述合成滤波部件能够以与水平同步时段对应的定时生成基带中的图像数据，所述水平同步时段指示图像数据的各水平同步信号之间的时段；以及使得所述图像处理设备的合成滤波控制部件控制所述合成滤波部件按照预定顺序合成由所述提供部件提供的系数数据组并且以与水平同步时段对应的定时生成基带中的图像数据。
10.一种图像处理设备，包括提供单元，其提供每个子带中的系数数据组，其中通过分级的分析滤波处理对于每个频带分解预定行数的图像数据，并且所述系数数据组包括至少最低频率分量的子带中的一行或多行系数数据；合成滤波单元，其按照预定顺序合成由所述提供单元提供的系数数据组，并且生成基带中的图像数据；提供控制单元，其控制所述提供单元以这样的定时提供系数数据，使得所述合成滤波单元能够以与水平同步时段对应的定时生成基带中的图像数据，该水平同步时段指示图像数据的各水平同步信号之间的时段；以及合成滤波控制单元，其控制所述合成滤波单元按照预定顺序合成由所述提供单元提供的系数数据组，并且以与水平同步时段对应的定时生成基带中的图像数据。
全文摘要
一种图像处理设备和方法，所述图像处理设备包括提供单元，其提供每个子带中的系数数据组，其中通过分级的分析滤波处理对于每个频带分解预定行数的图像数据，并且系数数据组包括至少最低频率分量的子带中的一行或多行系数数据；合成滤波单元，其合成系数数据组并且生成基带中的图像数据；提供控制单元，其控制提供单元以这样的定时提供系数数据，使得合成滤波单元能够以与水平同步时段对应的定时生成图像数据；以及合成滤波控制单元，其控制合成滤波单元按照预定顺序合成系数数据组，并且以与水平同步时段对应的定时生成图像数据。
文档编号H04N7/26GK102158695SQ20111002483
公开日2011年8月17日 申请日期2011年1月24日 优先权日2010年1月29日
发明者福原隆浩, 秋永浩志, 西村直人 申请人:索尼公司