运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
【专利摘要】本发明设置有：并行处理开始部(3)，将输入图像分割为规定尺寸的分块，并分配分割后的分块；以及N个分块编码部(5-1～5-N)，实施针对由并行处理开始部(3)分配的分块的预测差分编码处理，生成局部解码图像，N个分块环路滤波器部(7-1～7-N)决定适合于由分块编码部(5-1～5-N)生成的局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器来实施针对该局部解码图像的滤波处理。
【专利说明】运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
【技术领域】
[0001]本发明涉及对图像进行压缩编码而传送的运动图像编码装置以及运动图像编码方法、和从由运动图像编码装置传送的编码数据解码出图像的运动图像解码装置以及运动图像解码方法。
【背景技术】
[0002]以往，在 MPEG (Moving Picture Experts Group:运动图像专家组)、“ ITU-T
H.26x”等国际标准影像编码方式中，将输入影像帧分割为以宏块(MB)、编码单元(CU)等名称称呼的正方块，针对每个块，实施帧内预测、帧间预测、预测误差信号的正交变换、量化、熵编码处理等。
[0003]另外，在所有宏块的处理完成而制作出一张画面的局部解码图像之后，实施决定环路滤波器的参数的处理、使用该环路滤波器对局部解码图像进行滤波的处理、熵编码处理。
[0004]此处，各编码单元的编码处理以按照光栅扫描顺序处理编码单元为前提，在某个编码单元的编码处理中，需要按光栅扫描顺序在前面的编码单元的编码结果。
[0005]具体而言，在进行帧间预测的情况下，将邻接的编码单元的局部解码图像使用为像素参照。
[0006]另外，在熵编码处理中，在推测码元的发生概率时，与按光栅扫描顺序在前面的编码单元共享概率迁移模型，并且，为了概率模型的切换，需要参照邻接的宏块的模式信息。
[0007]因此，为了进行某编码单元的编码处理，按光栅扫描顺序在前面的编码单元的处理的一部分或者全部必须完成。
[0008]这样的编码单元间的依赖性成为编码处理以及解码处理的并行化的障碍。
[0009]在以下的非专利文献I中，为了解决上述问题，使用了被称为分块(tile)的构造体。
[0010]此处，分块是如图11所示地由多个编码单元构成的矩形区域。通过消除与属于不同的分块的编码单元的依赖性，能够实现分块等级下的并行处理。
[0011]具体而言，分块具有以下所示那样的特征。
[0012](I)通过图像的分块进行分割是以编码单元单位进行的。
[0013](2)关于通过图像的分块进行的分割，各行/各列的宽度为不均匀的格子状。即，关于在纵向邻接的分块，左右两端的坐标相等，关于在横向邻接的分块，上下两端的坐标相
坐寸ο
[0014](3)各编码单元是按照在分块内封闭的光栅扫描顺序处理的。另外，能够在分块内进行切片分割。
[0015](4)关于在分块内最初处理的编码单元，从初始状态开始熵编码。
[0016](5)在帧内预测、帧间预测、熵编码/解码的处理中，在进行邻接的编码单元的局部解码图像以及编码模式的参照时，在邻接的编码单元属于不同的分块的情况下，不参照邻接的编码单元而实施画面端的处理。
[0017](6)环路滤波处理是在所有分块的处理完成而制作出整个画面的解码图像之后对整个画面实施的。
[0018]以上，在属于某个分块的编码单元的编码处理中，在预测/预测误差信号的正交变换/量化/熵编码的处理中，仅需要属于相同的分块内的编码单元的结果。
[0019]因此，能够在分块等级下，对编码处理中的帧内/帧间预测、预测误差信号的正交变换/量化、熵编码的处理进行并行处理。
[0020]另外，在使用分块而制作的比特流的解码处理中，能够对熵解码、预测误差信号的逆量化/逆变换、帧内/帧间预测的处理进行分块等级下的并行处理。
[0021]非专利文献I
[0022]Arild Fuldseth, Michael Horowitz, Shilin Xu, Andrew SegalI, Minhua Zhou,“JCTVC-F335:Tiles”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino,IT, 14-22July,2011
【发明内容】
[0023]以往的运动图像编码装置如以上那样地构成，所以虽然能够对帧内/帧间预测、预测误差信号的正交变换/量化、熵编码的处理进行并行处理，但环路滤波器的处理是针对整个画面进行的。在该情况下，在分块边界的滤波处理中，需要参照与边界邻接的两方的分块的局部解码图像，所以存在两方的分块的处理必须完成，无法进行分块等级下的并行处理的课题。
[0024]本发明是为了解决上述那样的课题而完成的，其目的在于得到一种能够在分块等级下并行地进行环路滤波器的处理的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。
[0025]本发明提供一种运动图像编码装置，设置有:分割控制单元，输出指示输入图像的分割状态的分割控制信息；分块分配单元，依照从分割控制单元输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块；图像存储器，存储滤波处理后的局部解码图像；一个以上的分块编码单元，参照图像存储器中存储的局部解码图像，实施针对由分块分配单元分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据编码比特数据生成局部解码图像；一个以上的分块滤波器单元，决定与由分块编码单元生成的局部解码图像的滤波处理对应的分块单位的滤波器，使用滤波器来实施针对局部解码图像的滤波处理；局部解码图像保存单元，依照从分割控制单元输出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的局部解码图像而生成帧单位的局部解码图像，将局部解码图像保存到图像存储器中；以及复用单元，对从分块编码单元输出的编码比特数据、表示由分块滤波器单元决定的分块单位的滤波器的滤波器参数以及从分割控制单元输出的分割控制信息进行复用而生成比特流。
[0026]根据本发明，构成为设置有:分割控制单元，输出指示输入图像的分割状态的分割控制信息；分块分配单元，依照从分割控制单元输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块；以及一个以上的分块编码单元，参照图像存储器中存储的局部解码图像，实施针对由分块分配单元分配的分块的预测差分编码处理，从而输出作为其编码结果的编码比特数据，并且根据该编码比特数据生成局部解码图像，其中，一个以上的分块滤波器单元决定适合于由分块编码单元生成的局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器，实施针对该局部解码图像的滤波处理，所以具有能够在分块等级下并行地进行环路滤波器的处理的效果。
【专利附图】
【附图说明】
[0027]图1是示出本发明的实施方式I的运动图像编码装置的结构图。
[0028]图2是示出本发明的实施方式I的运动图像编码装置的处理内容(运动图像编码方法)的流程图。
[0029]图3是示出本发明的实施方式I的运动图像编码装置的分块编码部5_n(n = 1，2，…，N)的结构图。
[0030]图4是示出本发明的实施方式I的运动图像编码装置的分块编码部5_n(n = 1，2，…，N)的处理内容的流程图。[0031]图5是示出本发明的实施方式I的运动图像编码装置的分块环路滤波器部7_n(n=1,2,…，N)的结构图。
[0032]图6是示出本发明的实施方式I的运动图像解码装置的结构图。
[0033]图7是示出本发明的实施方式I的运动图像解码装置的处理内容(运动图像解码方法)的流程图。
[0034]图8是示出本发明的实施方式I的运动图像解码装置的分块解码部54_n(n = 1，2，…，N)的结构图。
[0035]图9是示出本发明的实施方式I的运动图像解码装置的分块解码部54_n(n = 1，2，…，N)的处理内容的流程图。
[0036]图10是示出本发明的实施方式I的运动图像解码装置的分块环路滤波器部56-η(η = 1,2,...，N)的结构图。
[0037]图11是示出图像的IXU分割以及分块分割的一个例子的说明图。
[0038]图12是示出最大编码块被分层地分割为多个编码对象块的例子的说明图。
[0039]图13是用四叉树图表示出分割后的分区的分布、对分层分割后的分区分配编码模式Hl(Bn)的状况的说明图。
[0040]图14是示出分块和滤波器定义区域的说明图。
[0041]图15是示出复用了滤波器参数的比特流的说明图。
[0042]图16是示出滤波器边界处的滤波处理的说明图。
[0043]图17是示出本发明的实施方式2的运动图像编码装置的结构图。
[0044]图18是示出本发明的实施方式2的运动图像解码装置的结构图。
[0045]图19是示出非格子状配置的自由的分块分割的一个例子的说明图。
[0046]符号说明
[0047]1:编码控制部(分割控制单元);2:分块分割控制部(分块分配单元);3:并行处理开始部(分块分配单元)；4:运动补偿预测帧存储器(图像存储器)；5:分块编码装置；5-1~5-N:分块编码部(分块编码单元)；6:环路滤波器控制部(帧单位滤波器决定单元)；7:分块环路滤波器装置；7-1~7-N:分块环路滤波器部(分块滤波器单元)；8:并行处理结束部(局部解码图像保存单元)；9:可变长码复用部(复用单元)；21:分块编码控制部；22:块分割部；23:切换开关；24:帧内预测部；25:运动补偿预测部；26:减法部；27:变换/量化部；28:逆量化/逆变换部；29:加法部；30:分块局部解码图像存储器；31:可变长编码部；41:分块环路滤波器控制部；42:环路滤波器实施部；43:可变长编码部；51:可变长码分离部(分离单元)；52:并行处理开始部(编码比特数据分配单元)；53:运动补偿预测帧存储器(图像存储器)；54:分块解码装置；54-1~54-N:分块解码部(分块解码单元)；55:滤波器参数解码部；56:分块环路滤波器装置；56-1~56-N:分块环路滤波器部(分块滤波器单元)；57:分块分割控制部(解码图像保存单元)；58:并行处理结束部(解码图像保存单元)；61:可变长解码部；62:切换开关；63:帧内预测部；64:运动补偿部；65:逆量化/逆变换部；66:加法部；67:分块解码图像存储器；71:分块滤波器参数解码部；72:环路滤波器实施部；81:编码控制部(分割控制单元)；82:分块分割控制部(分块分配单元)；83:并行处理开始部(分块分配单元)；84:运动补偿预测帧存储器(图像存储器)；85:分块编码装置；85-1~85-N:分块编码部(分块编码单元)；86:帧编码部(帧编码单元)；87-1~87-M:环路滤波器控制部；88-1~87-M:分块环路滤波器装置；88_1_1~
88-1-Ν、88-2-1~88-2-N、...、88-Μ_1~88-M-N:分块环路滤波器部(分块滤波器单元)；
89-1~89-M:帧环路滤波器部(帧滤波器单元)；90-1~90-M:并行处理切换部；91:并行处理结束部(局部解码图像保存单元)；92:可变长码复用部(复用单元)；101:可变长码分离部(分离单元)；102:并行处理开始部(编码比特数据分配单元)；103:运动补偿预测帧存储器(图像存储器)；104:分块解码装置；104-1~104-N:分块解码部(分块解码单元)；105:帧解码部(帧解码单元)；106-1~106-M:滤波器参数解码部；107-1~107-M:分块环路滤波器装置；107-1-1 ~107-1-N、107-2-1 ~107-2_N、...、107-M-1 ~107-M-N:分块环路滤波器部(分块滤波器单元)；108-1~108-M:帧环路滤波器部(帧滤波器单元)；109:分块分割控制部(解码图像保存单元)；110-1~110-M:并行处理切换部；111:并行处理结束部(解码图像保存单元)。
【具体实施方式】
[0048]以下，为了更详细地说明本发明，依照【专利附图】
【附图说明】用于实施本发明的方式。
[0049]实施方式1.[0050]图1是示出本发明的实施方式I的运动图像编码装置的结构图。
[0051]在图1中，编码控制部I实施输出分块分割控制信息(分割控制信息)的处理，该分块分割控制信息指示将影像信号表示的输入图像分割为作为规定尺寸的矩形区域的分块时的分割状态。
[0052]另外，编码控制部I实施输出滤波器参数共享标志(滤波器共享标志)的处理，该滤波器参数共享标志表示是否在各分块中共用由分块编码部5-1~5-N生成的分块单位的局部解码图像的滤波处理中使用的滤波器。
[0053]另外，编码控制部I构成了分割控制单元。
[0054]分块分割控制部2以与从编码控制部I输出的分块分割控制信息指示的分割状态一致的方式，实施控制并行处理开始部3中的输入图像的分割的处理。[0055]并行处理开始部3实施在分块分割控制部2的指示下，将影像信号表示的输入图像分割为规定尺寸的分块，并将分割后的分块分配给分块编码部5-1?5-N的处理。
[0056]另外，由分块分割控制部2以及并行处理开始部3构成了分块分配单元。
[0057]运动补偿预测帧存储器4是存储滤波处理后的局部解码图像的记录介质。另外，运动补偿预测帧存储器4构成了图像存储器。
[0058]分块编码装置5安装有N个分块编码部5-1?5-N，N个分块编码部5_1?5_N独立地实施预测差分编码处理。N是I以上的整数。
[0059]分块编码部5-1?5-N实施如下处理:参照运动补偿预测帧存储器4中存储的滤波处理后的局部解码图像，实施针对由并行处理开始部3分配的分块的预测差分编码处理，从而输出作为其编码结果的比特序列数据(编码比特数据)以及编码参数(编码参数是在实施预测差分编码处理时使用的参数，与编码模式、预测差分编码参数、帧内预测参数、帧间预测参数相当)，并且生成分块局部解码图像(局部解码图像)。另外，分块编码部5-1?5-N构成了分块编码单兀。
[0060]环路滤波器控制部6实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，根据由分块编码部5-1?5-N生成的分块局部解码图像得到帧单位的局部解码图像，决定适合于帧单位的局部解码图像的帧单位的滤波器，将表示该滤波器的滤波器参数输出到分块环路滤波器装置7。
[0061]另外，环路滤波器控制部6实施如下处理:对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据输出到并行处理结束部8。
[0062]另外，环路滤波器控制部6构成了帧单位滤波器决定单元。
[0063]分块环路滤波器装置7安装有N个分块环路滤波器部7-1?7-N，N个分块环路滤波器部7-1?7-N独立地实施滤波处理。N是I以上的整数。
[0064]分块环路滤波器部7-1?7-N实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，决定适合于由分块编码部5-1?5-N生成的分块局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器来实施针对分块局部解码图像的滤波处理，并且对表示分块单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从分块编码部5-1?5-N输出的比特序列数据。
[0065]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从环路滤波器控制部6输出的滤波器参数表示的帧单位的滤波器来实施由分块编码部5-1?5-N生成的分块局部解码图像的滤波处理，并且将从分块编码部5-1?5-N输出的比特序列数据原样地输出。
[0066]另外，分块环路滤波器部7-1?7-N构成了分块滤波器单元。
[0067]并行处理结束部8实施如下处理:依照从编码控制部I输出的分块分割控制信息，组合由分块环路滤波器部7-1?7-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像存储到运动补偿预测帧存储器4中，并且将从分块环路滤波器部7-1?7-N输出的比特序列数据输出到可变长码复用部9。
[0068]另外，并行处理结束部8实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，将表示从环路滤波器控制部6输出的帧单位的滤波器的滤波器参数的编码数据输出到可变长码复用部9。
[0069]另外，并行处理结束部8构成了局部解码图像保存单元。
[0070]可变长码复用部9实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，对从并行处理结束部8输出的比特序列数据、和从编码控制部I输出的分块分割控制信息以及滤波器参数共享标志进行复用而生成比特流。
[0071]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，对从并行处理结束部8输出的比特序列数据以及表示帧单位的滤波器的滤波器参数的编码数据、和从编码控制部I输出的分块分割控制信息以及滤波器参数共享标志进行复用而生成比特流。
[0072]另外，可变长码复用部9构成了复用单元。
[0073]在图1的例子中，设想了作为运动图像编码装置的构成要素的编码控制部1、分块分割控制部2、并行处理开始部3、运动补偿预测帧存储器4、分块编码装置5、环路滤波器控制部6、分块环路滤波器装置7、并行处理结束部8以及可变长码复用部9各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了编码控制部1、分块分割控制部2、并行处理开始部3、分块编码装置5、环路滤波器控制部6、分块环路滤波器装置7、并行处理结束部8以及可变长码复用部9的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存 的程序。
[0074]图2是示出本发明的实施方式I的运动图像编码装置的处理内容(运动图像编码方法)的流程图。
[0075]图3是示出本发明的实施方式I的运动图像编码装置的分块编码部5_n(n = 1，2，…，N)的结构图。
[0076]在图3中，分块编码控制部21实施如下处理:决定作为编码对象块的尺寸的编码块尺寸，并且从可选择的I个以上的帧内编码模式以及帧间编码模式中决定针对从块分割部22输出的编码对象块的编码效率最高的编码模式。
[0077]另外，分块编码控制部21实施如下处理:在编码效率最高的编码模式是帧内编码模式的情况下，决定在按照该帧内编码模式实施针对编码对象块的帧内预测处理时使用的帧内预测参数，在编码效率最高的编码模式是帧间编码模式的情况下，决定在按照该帧间编码模式实施针对编码对象块的帧间预测处理时使用的帧间预测参数。
[0078]进而，分块编码控制部21实施决定提供给变换/量化部27、逆量化/逆变换部28以及可变长编码部31的预测差分编码参数的处理。
[0079]以后，将由分块编码控制部21决定的编码模式、预测差分编码参数、帧内预测参数或者帧间预测参数集中称为编码参数。分块编码控制部21实施将编码参数输出到分块环路滤波器部7-n(n = 1,2,…，N)的处理。
[0080]块分割部22实施如下处理:将由并行处理开始部3分配的分块分割为由分块编码控制部21决定出的编码块尺寸的块(预测处理单位的块)，输出作为预测处理单位的块的编码对象块。
[0081]切换开关23实施如下处理:如果由分块编码控制部21决定的编码模式是帧内编码模式，则将从块分割部22输出的编码对象块输出到帧内预测部24，如果由分块编码控制部21决定的编码模式是帧间编码模式，则将从块分割部22输出的编码对象块输出到运动补偿预测部25。
[0082]帧内预测部24实施如下处理:参照分块局部解码图像存储器30中保存的局部解码图像，同时使用由分块编码控制部21决定的帧内预测参数，实施针对从切换开关23输出的编码对象块的帧内预测处理，生成帧内预测图像。
[0083]另外，因为分块局部解码图像存储器30中保存的局部解码图像仅为属于相同的分块的块的局部解码图像，所以在帧内预测部24的帧内预测处理中，不参照属于不同的分块的块的局部解码图像。在参照位置的块是属于不同的分块的块的情况下，实施不需要像素参照的帧内预测处理。
[0084]运动补偿预测部25实施如下处理:比较从切换开关23输出的编码对象块和运动补偿预测帧存储器4中保存的滤波处理后的局部解码图像，搜索运动矢量，使用该运动矢量和由分块编码控制部21决定的帧间预测参数，实施针对该编码对象块的帧间预测处理(运动补偿预测处理)，生成帧间预测图像。
[0085]减法部26实施如下处理:从由块分割部22输出的编码对象块减去由帧内预测部24生成的帧内预测图像、或者减去由运动补偿预测部25生成的帧间预测图像，将作为其减法运算结果的预测差分信号(差分图像)输出到变换/量化部27。
[0086]变换/量化部27实施如下处理:参照由分块编码控制部21决定的预测差分编码参数，实施针对从减法部26输出的预测差分信号的正交变换处理(例如DCT (离散余弦变换)、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理)，计算变换系数，并且参照该预测差分编码参数对该变换系数进行量化，将作为量化后的变换系数的压缩数据(差分图像的量化系数)输出到逆量化/逆变换部28以及可变长编码部31。
[0087]逆量化/逆变换部28实施如下处理:参照由分块编码控制部21决定的预测差分编码参数，对从变换/量化部27输出的压缩数据进行逆量化，并且参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从减法部26输出的预测差分信号相当的局部解码预测差分信号。
[0088]加法部29实施如下处理:对由逆量化/逆变换部28计算出的局部解码预测差分信号、和由帧内预测部24生成的帧内预测图像或者由运动补偿预测部25生成的帧间预测图像进行加法运算，计算与从块分割部22输出的编码对象块相当的局部解码图像的处理。
[0089]分块局部解码图像存储器30是保存由加法部29计算出的局部解码图像的记录介质。在属于分块的所有编码单元(CU)的编码处理结束了的时刻，将内部保存着的I个分块的局部解码图像输出到分块环路滤波器部7-n。
[0090]可变长编码部31实施如下处理:对从变换/量化部27输出的压缩数据、从分块编码控制部21输出的编码参数、以及从运动补偿预测部25输出的运动矢量(编码模式是帧间编码模式的情况)进行可变长编码，将作为其编码结果的比特序列数据输出到分块环路滤波器部7-n。
[0091]另外，图4 是示出本发明的实施方式I的运动图像编码装置的分块编码部5-η(η=1,2,…，N)的处理内容的流程图。
[0092]图5是示出本发明的实施方式I的运动图像编码装置的分块环路滤波器部7-n (η=1,2,…，N)的结构图。
[0093]在图5中，分块环路滤波器控制部41实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，决定适合于由分块编码部5-η生成的分块局部解码图像的滤波处理的分块单位的滤波器，将表示该滤波器的滤波器参数输出到环路滤波器实施部42以及可变长编码部43。
[0094]环路滤波器实施部42在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，使用从分块环路滤波器控制部41输出的滤波器参数表示的分块单位的滤波器和从分块编码部5-η输出的编码参数，实施针对从分块编码部5-η输出的分块局部解码图像的滤波处理。
[0095]另一方面，在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从环路滤波器控制部6输出的滤波器参数表示的帧单位的滤波器和从分块编码部5-η输出的编码参数，实施针对从分块编码部5-η输出的分块局部解码图像的滤波处理。
[0096]可变长编码部43实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，对从分块环路滤波器控制部41输出的表示分块单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从分块编码部5-η输出的比特序列数据上而输出到并行处理结束部8。
[0097]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，将从分块编码部5-η输出的比特序列数据原样地输出到并行处理结束部8。
[0098]图6是示出本发明的实施方式I的运动图像解码装置的结构图。
[0099]在图6中，可变长码分离部51实施如下处理:如果输入了由图1的运动图像编码装置生成的比特流，则分离复用在该比特流上的帧单位的比特序列数据(分块单位的比特序列数据集中了的数据)、指示输入图像的分割状态的分块分割控制信息、表示是否在各分块中共用滤波器的滤波器共享标志、以及表示帧单位的滤波器的滤波器参数的编码数据(滤波器参数共享标志表示在各分块中共用滤波器的意思时)。另外，可变长码分离部51构成了分离单元。
[0100]并行处理开始部52实施将从可变长码分离部51输出的帧单位的比特序列数据分割为分块单位的比特序列数据，并将分块单位的比特序列数据分配给分块解码部54-1~54-Ν的处理。另外，并行处理开始部52构成了编码比特数据分配单元。
[0101]运动补偿预测帧存储器53是存储滤波处理后的解码图像的记录介质。另外，运动补偿预测帧存储器53构成了图像存储器。
[0102]分块解码装置54安装有N个分块解码部54-1~54_Ν，N个分块解码部54_1~54-Ν独立地实施预测差分解码处理。N是I以上的整数。
[0103]分块解码部54-1~54-Ν实施如下处理:参照运动补偿预测帧存储器53中存储的滤波处理后的解码图像，实施针对由并行处理开始部52分配的分块单位的比特序列数据的预测差分解码处理，从而生成分块解码图像(分块单位的解码图像)，并且将在实施该预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到分块环路滤波器部56-1~56-Ν。
[0104]另外，实施如下处理:在表示分块单位的滤波器的滤波器参数的编码数据被复用到比特序列数据上的情况下，将该滤波器参数的编码数据输出到分块环路滤波器部56~1 ~56-N。
[0105]另外，分块解码部54-1~54-N构成了分块解码单元。
[0106]滤波器参数解码部55实施如下处理:在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，从由滤波器参数解码部55输出的编码数据解码出表示帧单位的滤波器的滤波器参数，并将该滤波器参数输出到分块环路滤波器部56-1~56-N。
[0107]分块环路滤波器装置56安装有N个分块环路滤波器部56-1~56_N，N个分块环路滤波器部56-1~56-N独立地实施滤波处理。N是I以上的整数。
[0108]分块环路滤波器部56-1~56-N实施如下处理:在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，从由分块解码部54-1~54-N输出的编码数据解码出表示分块单位的滤波器的滤波器参数，使用该滤波器参数表示的分块单位的滤波器，实施针对由分块解码部54-1~54-N生成的分块解码图像的滤波处理。[0109]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从滤波器参数解码部55输出的滤波器参数表示的帧单位的滤波器，实施针对由分块解码部54-1~54-N生成的分块解码图像的滤波处理。
[0110]另外，分块环路滤波器部56-1~56-N构成了分块滤波器单元。
[0111]分块分割控制部57实施如下处理:根据由可变长码分离部51分离出的分块分割控制信息而掌握分块的分割状态，以得到与原来的输入图像相当的解码图像的方式，控制并行处理结束部58中的各分块解码图像的配置。
[0112]并行处理结束部58实施如下处理:在分块分割控制部57的控制下，组合由分块环路滤波器部56-1~56-N实施滤波处理后的分块解码图像而生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器53中。
[0113]另外，由分块分割控制部57以及并行处理结束部58构成了解码图像保存单元。
[0114]在图6的例子中，设想了作为运动图像解码装置的构成要素的可变长码分离部
51、并行处理开始部52、运动补偿预测帧存储器53、分块解码装置54、滤波器参数解码部55、分块环路滤波器装置56、分块分割控制部57以及并行处理结束部58各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成了的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长码分离部51、并行处理开始部
52、分块解码装置54、滤波器参数解码部55、分块环路滤波器装置56、分块分割控制部57以及并行处理结束部58的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
[0115]图7是示出本发明的实施方式I的运动图像解码装置的处理内容(运动图像解码方法)的流程图。
[0116]图8是示出本发明的实施方式I的运动图像解码装置的分块解码部54_n(n = 1，2，…，N)的结构图。
[0117]在图8中，可变长解码部61实施如下处理:从由并行处理开始部52分配的分块单位的比特序列数据，对与作为预测处理单位的块的解码对象块(与编码对象块相当的块)有关的压缩数据、编码参数(编码模式、帧内预测参数(编码模式是帧内编码模式时)、帧间预测参数(编码模式是帧间编码模式的情况)、预测差分编码参数)、以及运动矢量(编码模式是帧间编码模式时)进行可变长解码，并且将可变长解码后的编码参数以及复用在分块单位的比特序列数据上的表示分块单位的滤波器的滤波器参数的编码数据输出到分块环路滤波器部56-η。
[0118]切换开关62实施如下处理:如果由可变长解码部61可变长解码了的编码模式是帧内编码模式，则将由可变长解码部61可变长解码了的帧内预测参数输出到帧内预测部63，如果由可变长解码部61可变长解码了的编码模式是帧间编码模式，则将由可变长解码部61可变长解码了的帧间预测参数以及运动矢量输出到运动补偿部64。
[0119]帧内预测部63实施如下处理:参照分块解码图像存储器67中保存的解码图像，同时使用从切换开关62输出的帧内预测参数，实施针对解码对象块的帧内预测处理而生成帧内预测图像。
[0120]运动补偿部64实施如下处理:参照运动补偿预测帧存储器53中保存的滤波处理后的解码图像，同时使用从切换开关62输出的运动矢量和帧间预测参数，实施针对解码对象块的帧间预测处理而生成帧间预测图像。
[0121]逆量化/逆变换部65实施如下处理:参照由可变长解码部61可变长解码了的预测差分编码参数，对由可变长解码部61可变长解码了的压缩数据进行逆量化，并且参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算解码预测差分信号。
[0122]加法部66实施如下处理:对由逆量化/逆变换部65计算出的解码预测差分信号、和由帧内预测部63生成的帧内预测图像或者由运动补偿部64生成的帧间预测图像进行加法运算，计算解码图像。
[0123]分块解码图像存储器67是保存由加法部66计算出的解码图像的记录介质。
[0124]在属于分块的所有编码单元(CU)的解码处理结束了的时刻，将所保存的I个分块的解码图像输出到分块解码部54-η的外部。
[0125]另外，图9是示出本发明的实施方式I的运动图像解码装置的分块解码部54-η (η=1,2,…，N)的处理内容的流程图。
[0126]图10是示出本发明的实施方式I的运动图像解码装置的分块环路滤波器部56-η (η = 1,2,...，N)的结构图。
[0127]在图10中，分块滤波器参数解码部71实施如下处理:在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，对由可变长码分离部51分离出的表示分块单位的滤波器的滤波器参数的编码数据进行解码，将作为其解码结果的滤波器参数输出到环路滤波器实施部72。
[0128]环路滤波器实施部72在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，使用由分块滤波器参数解码部71解码出的滤波器参数表示的分块单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。
[0129]另一方面，在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从滤波器参数解码部55输出的滤波器参数表示的帧单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。
[0130]接下来，说明动作。
[0131]在该实施方式I中说明运动图像编码装置和运动图像解码装置，该运动图像编码装置将影像的各帧图像作为输入图像，在接近帧之间实施运动补偿预测，对所得到的预测差分信号实施基于正交变换/量化的压缩处理，之后，进行可变长编码而生成比特流，该运动图像解码装置对从该运动图像编码装置输出的比特流进行解码。
[0132]首先，说明图1的运动图像编码装置的动作，图1的运动图像编码装置的特征在于将输入图像分割为被称为分块的矩形区域来消除分块间的处理的依赖性，从而在编码处理中，能够进行分块等级下的并行处理。
[0133]同时，在解码处理中，特征在于输出能够进行分块等级下的并行处理的编码结果。
[0134]关于影像信号的编码处理，一般处理量与输入影像的空间/时间/亮度等级分辨率成比例地增加。
[0135]伴随摄像装置、存储装置以及传送装置等的进化，影像信号的时间/空间/亮度等级分辨率处于不断增加的倾向中，在既存的运动图像编码装置、运动图像解码装置中，无法按照规定的速度进行编码处理、解码处理。
[0136]作为对应于这样的状况的对策之一，考虑空间地分割输入图像而提供给多个编码部，使多个编码部并行地动作，从而降低处理时间。在该情况下，在解码侧，也能够将分割并编码了的数据分别提供给不同的解码部，使多个解码部并行处理解码处理，从而降低处理时间。
[0137]此处，为了更高速地执行并行处理，期望尽可能减少并行地动作的编码部/解码部间的信息的参照。这包括用于帧内预测的像素的参照、用于运动矢量预测的运动矢量信息的参照、以及用于熵编码的接近区域的编码参数信息的参照、熵编码中的码元发生概率推测模型的状态。
[0138]在进行某个区域的编码时，在通过其他编码部对接近区域并行地进行了处理的情况下，为了进行这些信息的参照，需要处理的同步，所以为了提高并行性能并不优选。
[0139]另外，除了上述的信息以外，在进行画面的滤波处理的情况下，也需要接近区域的像素参照。因此，为了提高还包括滤波处理在内的并行性能，在滤波处理中也不应进行通过其他编码部/解码部并行地进行处理的接近区域的像素参照。
[0140]在该实施方式I中，为了实现这样的运动图像编码的并行处理所要求的功能，采用如下结构:将输入图像分割为称为分块的矩形区域，设为能够以分块等级进行预测差分编码处理的并行化，并且能够进行滤波系数导出以及滤波处理的并行化，并且切换是否对滤波系数导出进行并行化。
[0141]关于图1的运动图像编码装置设为处理对象的影像信号格式，除了由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还设为单色图像信号、红外线图像信号等影像帧由水平/垂直二维的数字采样(像素)列构成的任意的影像信号。
[0142]其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
[0143]在以下的说明中，为便于说明，只要没有特别限定，叙述输入图像的影像信号是YUV信号、并且处理2个色差分量U、V相对亮度分量Y而被子采样了的4:2:0格式的信号的情况。
[0144]另外，将与影像信号的各帧对应的处理数据单位称为“图片”。
[0145]在该实施方式I中，将“图片”设为顺序扫描(逐行扫描)了的影像帧信号而进行说明，但在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场图像信号。
[0146]首先，编码控制部I将分块分割控制信息输出到分块分割控制部2、并行处理结束部8以及可变长码复用部9，该分块分割控制信息指示将影像信号表示的输入图像分割为规定尺寸的分块时的分割状态。
[0147]另外，编码控制部I将表示是否在各分块中共用由分块编码部5-1?5-N生成的分块单位的局部解码图像的滤波处理中使用的滤波器的滤波器参数共享标志(在各分块中共用的情况:0N的标志、在各分块中不共用的情况:0FF的标志)输出到分块分割控制部
2、环路滤波器控制部6、分块环路滤波器部7-1?7-N以及可变长码复用部9。
[0148]分块分割控制部2如果从编码控制部I接收到分块分割控制信息，则以与该分块分割控制信息所指示的分割状态一致的方式，控制并行处理开始部3中的输入图像的分割。
[0149]并行处理开始部3如果输入了表示输入图像的影像信号，则在分块分割控制部2的指示下，将该输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部5-1?5-N(图2的步骤STl)。
[0150]此处，关于控制分块分割的信息考虑了各种表现，但例如考虑将最大尺寸的⑶(Largest⑶:IXU)作为分块的最小单位，通过包括几个IXU这样的信息来指定分块分割。
[0151]图11是示出图像的IXU分割以及分块分割的一个例子的说明图。
[0152]如图11所示，将输入图像以左上作为始点而分割为格子状地排列的IXU。如果指定了图像的高度和宽度以及IXU的一边的长度，则其分割唯一地确定。
[0153]关于分块分割，将LCU作为最小单位而进行，所以各分块的宽度以及高度能够用横边以及纵边中包含的LCU的数量来表示。
[0154]因此,作为分块分割控制信息,提供作为2个整数的序列的ColumnWidthArray []、RowHeightArray[]。
[0155]ColumnffidthArray[]是将用IXU的数量表现了横向排列的分块的宽度的值从右到左依次排列而得到的。
[0156]另外，RowHeightArray[]是将用IXU的数量表现了上下方向排列的分块的高度的值从上到下依次排列而得到的。
[0157]例如，在指定为ColumnWidthArray [] = {4, 3,6,4,6} > RowHeightArray [] = {3，3,4,5}的情况下，如图11那样进行分块分割。
[0158]另外，关于输入图像的IXU分割，根据图像尺寸和IXU的一边的长度被唯一地决定，所以即使最右列的宽度、和最下行的高度未指定，也能够根据其他行、列的信息唯一地确定。
[0159]因此,这些信息能够省略,在该情况下，指定为ColumnWidthArray口 = {4,3,6,4} > RowHeightArray [] = {3,3,4}即可。
[0160]在上述中，说明了如图11所示地将帧分割为格子状的分块的例子，但还能够进行图19所示那样的非格子状配置的更自由的分块分割。在这样的情况下，分块分割控制信息也必须是能够表现这样的分割状态的信息。例如，作为例子而例举通过分块的最左上的像素或者LCU的坐标、分块的宽度以及高度的信息来表现的情况。
[0161]另外，关于分块分割状态，既可以在整个序列中维持相同的分割状态，也可以按照帧单位进行变更，或者也可以针对帧内部图片、帧间图片等每个图片种类来切换。在整个序列中使用相同的分块分割状态的情况下，分块分割信息复用在序列的头部即可，在序列的中途进行切换的情况下，复用到刚刚切换之后的图片的图片头部即可。
[0162]另外，图1的运动图像编码装置还能够实现不进行所谓分块等级下的并行处理的动作。
[0163]在该情况下，既可以以分块的数量是I个、并且分块的尺寸与输入图像的尺寸一致的方式来指定分块分割控制信息，另外，也可以通过分块编码并行标志、分块环路滤波并行标志而将所有并行处理设为OFF。
[0164]另外，也可以将其他标志复用到分块分割控制信息，用该标志切换并行处理的实施/不实施。
[0165]以下，说明进行分块等级下的并行处理的情况，但不进行并行处理的情况的动作与整个帧是I个分块的情况的动作等同。
[0166]如上所述，并行处理开始部3将输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部5-1?5-N，但可同时并行处理的分块数以分块编码部5-1?5-N的个数为上限，所以在分块数多于分块编码部5-1?5-N的个数的情况下，对一个分块编码部5-η输出多个分块。
[0167]例如，在分块数是7、且分块编码部的个数是3的情况下，将分块I?3的处理分配给分块编码部5-1、将分块4?5的处理分配给分块编码部5-2、将分块6?7的处理分配给分块编码部5-3。
[0168]另外，在分块的分割数不足分块编码部的个数的情况下，也可以控制为对I个分块编码部分配多个分块。
[0169]在从编码控制部I输出的滤波器参数共享标志是OFF的情况(步骤ST2)下，继续进行分块编码部5-η以及分块环路滤波器部7-n的处理(步骤ST3、ST4)。
[0170]此时，反复执行分块的数量次的分块编码部5-η以及分块环路滤波器部7-n的处理(步骤ST5、ST6)，并且，各环路的处理独立，所以能够并行地执行分块编码部5-η的个数。
[0171]在滤波器参数共享标志是OFF的情况下，能够将分块的编码处理和分块的环路滤波处理集中而并行化，所以能够进一步提高编码处理的并行性。另外，滤波器参数被局部化，所以针对每个画面区域，在图像的性质显著不同的情况下，相应地画质提高。
[0172]另外，关于分块编码部5-η以及分块环路滤波器部7-n的处理内容的详情，后述。
[0173]另一方面，在从编码控制部I输出的滤波器参数共享标志是ON的情况下(步骤ST2)，分块编码部5-η反复执行分块的编码处理(步骤ST8?ST10)，直至所有分块的编码处理结束为止，如果所有分块的编码处理结束，则环路滤波器控制部6从由分块编码部5-η生成的分块局部解码图像得到作为整个画面的帧单位的局部解码图像，决定适合于帧单位的局部解码图像的帧单位的滤波器，将表示该滤波器的滤波器参数输出到分块环路滤波器部7-n以及并行处理结束部8 (步骤ST11)。关于环路滤波器控制部6的处理内容的详情，后述。
[0174]分块环路滤波器部7-n如果从环路滤波器控制部6接收到滤波器参数，则反复执行分块局部解码图像的滤波处理(步骤ST12?ST14)，直至所有分块局部解码图像的滤波处理结束为止。
[0175]在滤波器参数共享标志是ON的情况下，在所有分块中共享滤波器参数，所以相比于滤波器参数共享标志是OFF的情况，能够抑制滤波器参数的码量。另外，使用整个帧的局部解码图像而设计了滤波器参数时的做法对提高画质情况等是有效的。
[0176]但是，在滤波器参数共享标志是ON的情况下，需要在分块编码部5-η与分块环路滤波器部7-n之间使并行处理临时同步，所以编码处理的并行性能降低。
[0177]在后述运动图像解码装置中，对在滤波器参数共享标志是ON时所制作出的比特流进行解码的情况下，并行性能也不降低。
[0178]在并行处理结束部8中，如果分块环路滤波器部7-1?7-N的滤波处理完成，则依照从编码控制部I输出的分块分割控制信息，组合由分块环路滤波器部7-1?7-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像保存到运动补偿预测帧存储器4中，并且将从分块环路滤波器部7-1?7-N输出的比特序列数据输出到可变长码复用部9。
[0179]另外，在从编码控制部I输出的滤波器参数共享标志是ON的情况下，并行处理结束部8将从环路滤波器控制部6输出的表示帧单位的滤波器的滤波器参数的编码数据输出到可变长码复用部9。
[0180]可变长码复用部9在从编码控制部I输出的滤波器参数共享标志是OFF的情况下，通过规定的方式，对从并行处理结束部8输出的比特序列数据(由分块编码部5-1?5-N生成的比特序列数据)、和从编码控制部I输出的分块分割控制信息以及滤波器参数共享标志进行复用，生成比特流(步骤ST7)。
[0181]另一方面，在滤波器参数共享标志是ON的情况下，通过规定的方式，对从并行处理结束部8输出的比特序列数据(由分块编码部5-1?5-N生成的比特序列数据)、从编码控制部I输出的分块分割控制信息和滤波器参数共享标志、以及从环路滤波器控制部6输出的表示帧单位的滤波器的滤波器参数的编码数据进行复用，生成比特流(步骤ST15)。
[0182]接下来，详细说明分块编码装置5中的分块编码部5-1?5-N的处理内容。
[0183]分块编码装置5安装有N个分块编码部5-1?5-N，N个分块编码部5_1?5_N独立地实施预测差分编码处理(不进行分块间的任何的信息参照的预测差分编码处理)。
[0184]分块编码部5-η的分块编码控制部21决定最大编码块(LCU)的尺寸以及分割层数的上限，针对各IXU的图像区域，按照特定的顺序，实施图4的步骤ST21?ST31的处理。
[0185]首先，直至达到在上述决定的分割层数的上限为止，分块编码控制部21将分层地分割为具有编码块尺寸的编码对象块的指示输出到块分割部22，并且决定针对各编码对象块的编码模式(图4的步骤ST21)。
[0186]块分割部22在分块编码控制部21的指示下，将由并行处理开始部3分配的分块分割为编码块尺寸的块(预测处理单位的块)，输出作为预测处理单位的块的编码对象块。
[0187]此处，图12是示出最大编码块被分层地分割为多个编码对象块的例子的说明图。
[0188]在图12中，最大编码块是记载为“第O层”的亮度分量具有(L°，M°)的尺寸的编码对象块。
[0189]设为将LCU尺寸的块作为出发点，在四叉树构造中直至另行确定的规定的深度为止，分层地进行分割，从而得到编码对象块。
[0190]在深度n，编码对象块是尺寸(Ln，Mn)的图像区域。
[0191]其中，1^和Mn既可以相同也可以不同，但在图12中示出Ln = M1^A情形。
[0192]以后，将由分块编码控制部21决定的编码块尺寸定义为编码对象块的亮度分量中的尺寸(Ln，Mn)。
[0193]由于进行四叉树分割，所以(Ln+1，Mn+1) = (Ln/2，Mn/2)始终成立。
[0194]另外，在RGB信号等所有颜色分量具有同一采样数的彩色影像信号(4:4:4格式)中，所有颜色分量的尺寸成为(Ln，Mn)，但在处理4:2:0格式的情况下，对应的色差分量的编码块尺寸成为(Ln/2，Mn/2)。
[0195]以后，设为用Bn表示第η层的编码对象块，用m(Bn)表示在编码对象块Bn中可选择的编码模式。
[0196]在由多个颜色分量构成的彩色影像信号的情况下，关于编码模式m(Bn)，既可以构成为针对每个颜色分量分别使用个别的模式，也可以构成为针对所有颜色分量使用共用的模式。以后，只要没有特别限定，设为表示针对YUV信号、4:2:0格式的编码块的亮度分量的编码模式而进行说 明。
[0197]在编码模式m(Bn)中，有一个或者多个帧内编码模式(总称为“INTRA”)、和一个或者多个帧间编码模式(总称为“INTER”)，分块编码控制部21从该图片中可利用的所有编码模式或者其子集中，选择针对编码对象块Bn的编码效率最高的编码模式。
[0198]进而，如图13所示，编码对象块Bn由块分割部22分割为一个或者多个预测处理单位(分区)。
[0199]以后，将属于编码对象块Bn的分区记载为PinQ是第η层中的分区编号)。
[0200]关于在编码模式m(Bn)中作为信息包括如何进行编码对象块Bn的分区分割。
[0201]关于分区ΡΛ依照所有编码模式m (Bn)进行预测处理，但针对每个编码对象块Bn或者分区ΡΛ选择预测参数。
[0202]分块编码控制部21针对最大编码块，例如，生成图13所示那样的块分割状态，确定编码对象块。
[0203]图13(a)的斜线部分表示分割后的分区的分布，在图13(b)中，用四叉树图表示出通过分层地分割分配编码模式m(Bn)的状况。
[0204]图13(b)的□所包围的节点是分配了编码模式m(Bn)的节点(编码对象块)。
[0205]切换开关23在由分块编码控制部21决定的编码模式m(Bn)是帧内编码模式的情况(m(Bn) e INTRA的情况)下，将从块分割部22输出的编码对象块Bn输出到帧内预测部24。
[0206]另一方面，在由分块编码控制部21决定的编码模式m(Bn)是帧间编码模式的情况(m(Bn) e INTER的情况)下，将从块分割部22输出的编码对象块Bn输出到运动补偿预测部25。
[0207]在帧内预测部24中，如果由分块编码控制部21决定的编码模式m(Bn)是帧内编码模式(m(Bn) e INTRA的情况)，且从切换开关23接收到编码对象块Bn (步骤ST22)，则参照分块局部解码图像存储器30中保存的局部解码图像，同时使用由分块编码控制部21决定的帧内预测参数，实施针对该编码对象块Bn内的各分区Pi11的帧内预测处理，生成帧内预测图像PINTKAin(步骤ST23)。
[0208]另外，分块局部解码图像存储器30中保存的局部解码图像仅为属于当前分块的块的局部解码图像，所以关于分块端部的帧内预测处理，进行与不需要邻接像素的参照的画面端部的帧内预测同样的处理。
[0209]另外，图6的运动图像解码装置需要生成与帧内预测图像？1_广完全相同的帧内预测图像，所以从分块编码控制部21将在帧内预测图像PINTKAin的生成中使用的帧内预测参数输出到可变长编码部31，并复用到比特流上。
[0210]在运动补偿预测部25中，如果由分块编码控制部21决定的编码模式m(Bn)是帧间编码模式(m(Bn) e INTER的情况)，且从切换开关23接收到编码对象块Bn (步骤ST22)，则比较该编码对象块Bn内的各分区Pi11和运动补偿预测帧存储器4中保存的滤波处理后的局部解码图像而搜索运动矢量，使用该运动矢量和由分块编码控制部21决定的帧间预测参数，实施针对该编码对象块Bn内的各分区Pi11的帧间预测处理，生成帧间预测图像PINTEKin(步骤 ST24)。
[0211]另外，图6的运动图像解码装置需要生成与帧间预测图像P—^完全相同的帧间预测图像，所以从分块编码控制部21将在帧间预测图像PINTEKin的生成中使用的帧间预测参数输出到可变长编码部31，并复用到比特流上，从运动补偿预测部25将该运动矢量输出到可变长编码部31，并复用到比特流上。
[0212]如果从块分割部22接收到编码对象块Bn，则减法部26从该编码对象块Bn内的分区PA减去由帧内预测部24生成的帧内预测图像PINTKAin、或者减去由运动补偿预测部25生成的帧间预测图像pINTEKin，将作为其减法运算结果的预测差分信号ein输出到变换/量化部27 (步骤 ST25)。
[0213]如果从减法部26接收到预测差分信号θΛ则变换/量化部27参照由分块编码控制部21决定的预测差分编码参数，实施针对该预测差分信号ein的正交变换处理(例如DCT(离散余弦变换)、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理)，计算该变换系数。
[0214]另外，变换/量化部27参照该预测差分编码参数，对该变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部28以及可变长编码部31 (步骤ST26)。
[0215]如果从变换/量化部27接收到压缩数据，则逆量化/逆变换部28参照由分块编码控制部21决定的预测差分编码参数而对该压缩数据进行逆量化。
[0216]另外，逆量化/逆变换部28参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理(例如逆DCT、逆KL变换等)，计算与从减法部26输出的预测差分信号ein相当的 局部解码预测差分信号(步骤ST29)。
[0217]如果从逆量化/逆变换部28接收到局部解码预测差分信号，则加法部29对该局部解码预测差分信号、和由帧内预测部24生成的帧内预测图像PINTKAin、或者由运动补偿预测部25生成的帧间预测图像PINTEKin进行加法运算，作为局部解码分区图像或者该局部解码分区图像的集合，计算与从块分割部22输出的编码对象块Bn相当的局部解码图像(步骤ST30)。
[0218]另外，加法部29将该局部解码图像保存到分块局部解码图像存储器30中。该局部解码图像为当前分块中的以后的帧内预测用的图像信号。
[0219]在可变长编码部31中，如果针对所有编码对象块Bn的步骤ST22?ST30的处理完成(步骤ST27、ST28)，则对从变换/量化部27输出的压缩数据、从分块编码控制部21输出的编码模式m(Bn)、从分块编码控制部21输出的帧内预测参数(编码模式是帧内编码模式时)或者帧间预测参数(编码模式是帧间编码模式时)、以及从运动补偿预测部25输出的运动矢量(编码模式是帧间编码模式时)进行可变长编码，生成表示这些编码结果的比特序列数据(步骤ST31)。
[0220]另外，在作为可变长编码的手法例如使用了上下文自适应型算术编码等的情况下，与编码的行进配合而更新可变长编码部31的内部的状态，但关于其内部状态的初始值，设为使用规定的固定值或者从图1的并行处理开始部3输出的值，不继承分块间的状态。
[0221]另外，在分块编码部5-η的动作中，在包括上述帧内预测、可变长码的任意处理中，都不进行属于与当前分块不同的分块的块的编码参数、局部解码图像的参照。分块端部的参照处理被置换为不需要任何参照的处理。
[0222]关于置换为什么样的处理，需要在运动图像编码装置和运动图像解码装置中一致，但既可以在编码侧和解码侧固定地进行相同的处理，也可以发送表示处理内容的信号。
[0223]以上，分块编码部5-1?5-Ν的处理在各分块中独立，可并行执行。
[0224]另外，在针对分块编码部5-1?5-Ν的一个模块从并行处理开始部3输出了多个分块的情况下，该模块针对各个分块逐次地实施编码处理。另外，即使是通过相同的模块编码了的分块彼此，也维持分块间的独立性，以使所输出的比特序列与并行地处理了的情况相等的方式动作。
[0225]另外，在分块编码部5-η中，也可以将当前分块分割为被称为切片的I个以上的构造体来进行处理。切片是进一步分割分块的构造体，包括连续地处理的I个以上的LCU、或者比LCU更小的编码块。在相同的切片的内部中，能够使用针对每个切片独立地决定的参数、模式。另外，能够与分块同样地，进行禁止属于与当前切片不同的切片的块的信息的参照、或者在切片的开头的块中对熵编码的内部状态进行初始化等处理。切片与分块同样地具有易于进行并行处理的效果。另外，对通过I切片的处理输出的比特序列进行分组化等，能够将数据用于分组。另外，在误差容限方面也有优点。
[0226]在将分块内分割为切片的情况下，切片的分割信息、各切片独立的参数、模式信息以及表示是否进行跨越切片间的信息参照的标志等信息被复用到比特流上而传送到解码侧。
[0227]在作为可变长编码的手法使用所述上下文自适应型算术编码的情况下，上下文自适应算术编码处理的运算复杂，所以有时成为处理速度的瓶颈。为了提高分块编码处理的并行处理性，期望所有分块的编码同时结束，所以构成为按照切片单位限制上下文自适应算术编码的处理的一部分。
[0228]具体而言，在切片头部中复用可变长编码处理控制信息，在所述可变长编码处理控制信息表示限制为不进行上下文切换的情况下，在该切片中，不进行上下文切换而进行自适应算术编码。同样地，在所述可变长编码处理控制信息表示限制为不进行上下文切换以及自适应处理的情况下，在该切片中，不进行上下文切换以及自适应处理而进行算术编码。通过构成为这样，能够适当地省略上下文切换、自适应处理而进行可变长编码处理，所以关于判断为编码所需的时间比其他分块更长的分块，在接下来处理的切片中如上述那样对编码处理施加限制，从而能够高速地进行分块的编码处理，能够缩短与其他分块的编码处理时间的差，所以能够提高分块的并行处理性。
[0229]此处，以上下文自适应算术编码为例子进行了说明，但即使是其他任意的可变长编码手法，如果即使去掉其一部分的处理仍然能够进行可变长编码，则能够通过同样的单元得到同样的效果。
[0230]接下来，详细说明分块环路滤波器装置7中的分块环路滤波器部7-1?7-N的处理内容。
[0231]在分块环路滤波器部7-n中，进行校正局部解码图像中包含的编码失真的滤波器的设计、滤波处理。
[0232]此处，环路滤波处理是对所输入了的局部解码图像串序地实施不同的一种以上的环路滤波器(缓和块边界的不连续的解块滤波器、自校正量化误差所致的直流分量的变动和边缘的不连续的SAO(Sample Adaptive Offset:采样点自适应偏移)、每次设计使与输入图像的误差为最小的滤波器的自适应型环路滤波器)的滤波处理。此时，在哪个滤波处理中都实施不进行跨越分块的像素、其他信息的参照的滤波处理。
[0233]在从图1的编码控制部I输出的滤波器参数共享标志是ON的情况下，使用从环路滤波器控制部6输出的滤波器参数表示的帧单位的滤波器。
[0234]另一方面，在滤波器参数共享标志是OFF的情况下，分块环路滤波器控制部41决定适合于从分块编码部5-η输出的分块局部解码图像的分块单位的滤波器，并使用该滤波器。
[0235]以下，说明分块编码部5-η使用的滤波器是自适应型环路滤波器(ALF =AdaptiveLoop Filter)的例子。
[0236]ALF是将画面分割为一定数的滤波器定义区域，并且针对每个滤波器定义区域定义局部解码图像和输入图像的误差为最小的滤波器的手法。
[0237]ALF中的滤波器参数为表示分割区域的形状、对各区域定义的滤波器的形状以及滤波系数的信息。
[0238]此处，为便于说明，考虑使用了将滤波器定义区域数设为16、将处理单位的矩形(帧或者分块)分割为4X4的矩形区域的区域分割手法的情况。
[0239]图1的环路滤波器控制部6在从编码控制部I输出的滤波器参数共享标志是ON的情况下，将I帧局部解码图像分割为4X4的16个滤波器定义区域(参照图14(a))，针对各个滤波器定义区域的每一个决定滤波形状以及滤波系数。
[0240]另外，求出各滤波器定义区域的各分块内的相对位置信息，将该相对位置信息以及滤波形状/滤波系数信息作为滤波器参数而输出到各分块。
[0241]如果分块环路滤波器部7-N的环路滤波器从环路滤波器控制部6接收到滤波器定义区域的相对位置以及滤波形状/滤波系数信息，则实施部42根据该相对位置以及滤波形状/滤波系数信息来实施滤波处理。[0242]在图14的例子中，在滤波器参数共享标志是OFF的情况下，能够针对各分块设计16种滤波器，所以作为整个帧而设计144种滤波器。
[0243]因此，考虑例如针对图像的特性局部地大幅变化那样的图像来说，对画质的改善效果更大的优点。
[0244]另一方面，还考虑针对各个分块设计16种滤波器这件事，在画质改善方面不稳，反倒是滤波器参数的码量的增加成为问题。
[0245]在这样的情况下，通过将滤波器参数共享标志设为0N，能够削减滤波器参数的码量，高效地进行环路滤波处理。
[0246]分块环路滤波器控制部41在滤波器参数共享标志是OFF的情况下，针对每个分块独立地进行滤波器定义区域的分割，针对各滤波器定义区域决定滤波形状/滤波系数(参照图14(b))，将滤波器定义区域信息以及滤波形状/滤波系数信息作为滤波器参数而输出到环路滤波器实施部42。
[0247]环路滤波器实施部42如果从分块环路滤波器控制部41接收到滤波器定义区域信息以及滤波形状/滤波系数信息，则根据该滤波器定义区域信息以及滤波形状/滤波系数信息来实施滤波处理。
[0248]可变长编码部43在滤波器参数共享标志是OFF的情况下，对从分块环路滤波器控制部41输出的滤波器定义区域信息以及滤波形状/滤波系数信息进行可变长编码，将其编码结果复用到从分块编码部5-η输出的比特序列数据上而输出到并行处理结束部8。
[0249]另一方面，在滤波器参数共享标志是ON的情况下，将从分块编码部5-η输出的比特序列数据原样地输出到并行处理结束部8。
[0250]以上，在滤波器参数共享标志是ON的情况下，在帧中滤波器参数被定义为最多I组，但在滤波器参数共享标志是OFF的情况下，针对每个分块将滤波器参数定义为最多I组。
[0251]在滤波器参数共享标志是ON的情况下，例如如图15 (a)所示，滤波器参数在比特流上被复用为图片的头部。
[0252]在滤波器参数共享标志是OFF的情况下，例如如图15 (b)所示，针对每个分块定义的滤波器参数组在比特流上，作为分块的头部而被复用到各分块数据的开头位置。
[0253]如上所述，环路滤波器实施部42使用从环路滤波器控制部6或者分块环路滤波器控制部41输出的滤波器参数表示的滤波器，实施针对分块局部解码图像的滤波处理。
[0254]此时，在分块边界处，实施不参照与当前分块不同的分块的像素的滤波。
[0255]例如，在使用图16 (a)所示的滤波形状的线性滤波器的情况下，在滤波器边界，如图16(b)所示，以不参照滤波器边界的外部的方式，变更滤波形状。
[0256]或者，通过如图16(c)所示，拷贝滤波器边界附近的像素那样的处理，实施不参照与当前分块不同的分块的像素的滤波处理。
[0257]关于不需要不同的分块间的像素参照的滤波手法，需要在运动图像编码装置和运动图像解码装置中一致，但既可以在编码侧和解码侧固定地进行相同的手法，也可以发送表不处理内容的信号。
[0258]即使在滤波器参数共享标志是0N，且在与当前分块邻接的分块中使用相同的滤波器参数的情况下，也不进行跨越分块的像素参照。[0259]通过不进行跨越分块的像素参照，能够实现分块编码部7-N的环路滤波处理的并行化，并且能够在由该分块编码部7-n制作的比特流的解码中，实现环路滤波处理的并行化。
[0260]接下来，具体地说明图6的运动图像解码装置的处理内容。
[0261]如果输入了由图1的运动图像编码装置生成的比特流，则可变长码分离部51分离在该比特流上复用的滤波器参数共享标志，将该滤波器参数共享标志输出到滤波器参数解码部55以及分块环路滤波器部56-η。
[0262]另外，可变长码分尚部51分尚在比特流上复用的分块分割控制信息,将该分块分割控制信息输出到分块分割控制部57，如果该滤波器参数共享标志是0Ν，则分离在比特流上复用的表示帧单位的滤波器的滤波器参数的编码数据，将该滤波器参数的编码数据输出到滤波器参数解码部55。
[0263]另外，可变长码分离部51将复用在比特流上的比特序列数据分离出分块的个数，将该比特序列数据输出到并行处理开始部52(图7的步骤ST41)。
[0264]分块分割控制部57如果从可变长码分离部51接收到分块分割控制信息，则根据该分块分割控制信息而掌握分块的分割状态(步骤ST42)，控制后述并行处理结束部58中的各分块解码图像的配置，以得到与原来的输入图像相当的解码图像。
[0265]并行处理开始部52如果从可变长码分离部51接收到分块的个数的比特序列数据(帧单位的比特序列数据)，则分割为分块单位的比特序列数据，将分块单位的比特序列数据分配给分块解码部54-1?54-Ν。
[0266]滤波器参数解码部55在从可变长码分离部51输出的滤波器参数共享标志是ON的情况下(步骤ST43)，从由可变长码分离部51输出的编码数据解码出表示帧单位的滤波器的滤波器参数，将该滤波器参数输出到分块环路滤波器部56-η (步骤ST44)。
[0267]分块解码部54-η的处理和分块环路滤波器部56_η的处理是连续地进行的(步骤ST45、ST46)，针对所有分块反复执行这2个处理(步骤ST47、ST48)。
[0268]关于步骤ST45?ST48的环路内的处理，如后述那样，在各分块中独立，所以能够并行地执行。
[0269]与图1的运动图像编码装置不同，不管滤波器参数共享标志的0N/0FF如何，都能够将步骤ST45?ST48的处理集中并行化。
[0270]在并行处理结束部58中，如果所有分块的解码处理和环路滤波处理完成(步骤47)，则在分块分割控制部57的控制下，组合由分块环路滤波器部56-1?56-Ν实施滤波处理后的分块解码图像而生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器53中，并且将该解码图像作为再生图像而输出到外部。
[0271]接下来，详细说明分块解码装置54中的分块解码部54-1?54_Ν的处理内容。
[0272]分块解码装置54安装有N个分块解码部54-1?54_Ν，N个分块解码部54_1?54-Ν独立地实施预测差分解码处理(不进行分块间的任何信息参照的预测差分解码处理)。
[0273]分块解码部54-η的可变长解码部61如果输入了由并行处理开始部52分配的分块单位的比特序列数据，则通过与图3的分块编码控制部21同样的方法，决定最大编码块(LCU)的尺寸和分割层数的上限。[0274]在可变长解码部61中，如果决定了最大编码块的尺寸和分割层数的上限，则从分块单位的比特序列数据解码出分配给最大编码块的编码模式Hl(Bn)，并解码出该编码模式Hi(Bn)中包含的表示最大编码块的分割状态的信息(图9的步骤ST51)。
[0275]在可变长解码部61中，如果对表示最大编码块的分割状态的信息进行了解码，则根据该分割状态，确定分层地分割了的解码对象块(与图1的运动图像编码装置的“编码对象块”相当的块)(步骤ST52)。
[0276]可变长解码部61在对解码对象块(编码对象块)分配的编码模式m(Bn)是帧内编码模式的情况下，从分块单位的比特序列数据，针对该解码对象块中包含的I个以上的每个分区，解码出帧内预测参数。
[0277]另一方面，在分配给解码对象块(编码对象块)的编码模式m(Bn)是帧间编码模式的情况下，从分块单位的比特序列数据，针对每个解码对象块、或者针对该解码对象块中包含的I个以上的每个分区解码出帧间预测参数以及运动矢量(步骤ST53)。
[0278]可变长解码部61进一步根据预测差分编码参数中包含的变换块尺寸的信息，将成为预测处理单位的分区分割为成为变换处理单位的一个或者多个分区，从分块单位的比特序列数据，针对每个作为变换处理单位的分区解码压缩数据(变换/量化后的变换系数)(步骤 ST53)。
[0279]在可变长解码部61中，滤波器参数共享标志是0FF，所以在表示分块单位的滤波器的滤波器参数的编码数据被复用到了分块单位的比特序列数据上的情况下，分离该编码数据而输出到分块环路滤波器部56-η。
[0280]另外，可变长解码部61将编码参数输出到分块环路滤波器部56-η。
[0281]在切换开关62中，如果由可变长解码部61可变长解码了的编码模式m(Bn)是帧内编码模式(m(Bn) e INTRA的情况)，则将由可变长解码部61可变长解码了的帧内预测参数输出到帧内预测部63。
[0282]另一方面，如果由可变长解码部61可变长解码了的编码模式m(Bn)是帧间编码模式(m(Bn) e INTER的情况)，则将由可变长解码部61可变长解码了的帧间预测参数以及运动矢量输出到运动补偿部64。
[0283]另外，在输入了的比特序列数据使用了上下文自适应型算术码等根据过去的块的编码结果而内部状态变化的编码方式的情况下，关于可变长解码部61的内部状态的初始值，使用与图3的可变长编码部31同样的值，不进行分块间的继承。
[0284]在帧内预测部63中，如果由可变长解码部61可变长解码了的编码模式m (Bn)是帧内编码模式(m(Bn) e INTRA的情况)，且从切换开关62接收到帧内预测参数(步骤ST54)，则按照与图3的帧内预测部24同样的步骤，参照分块解码图像存储器67中保存的解码图像，同时使用从切换开关62输出的帧内预测参数，实施针对解码对象块&内的各分区Pi11的帧内预测处理，生成帧内预测图像PINTKAin(步骤ST55)。
[0285]在运动补偿部64中，如果由可变长解码部61可变长解码了的编码模式m (Bn)是帧间编码模式(m(Bn) e INTER的情况)，且从切换开关62接收到帧间预测参数以及运动矢量(步骤ST54)，则参照运动补偿预测帧存储器53中保存的滤波处理后的解码图像，同时使用从切换开关62输出的运动矢量和帧间预测参数，实施针对解码对象块Bn或者分区Pi11的帧间预测处理，生成帧间预测图像PINTEKin(步骤ST56)。[0286]但是，在针对解码对象块Bn内的所有分区ΡΛ决定了共用的帧间预测模式和共用的参照图像指示索引的情况下，运动补偿部64使用该参照图像指示索引表示的所有分区Pi11中共用的参照图像、和每个分区Pi11的运动矢量，实施针对该分区Pi11的帧间预测处理而生成帧间预测图像PINTEKin。
[0287]逆量化/逆变换部65如果从可变长解码部61接收到压缩数据以及预测差分编码参数，则按照与图3的逆量化/逆变换部28同样的步骤，参照该预测差分编码参数，对该压缩数据进行逆量化，并且参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从图3的减法部26输出的预测差分信号相当的解码预测差分信号(步骤ST57)。
[0288]加法部66对由逆量化/逆变换部65计算出的解码预测差分信号、和由帧内预测部63生成的帧内预测图像PINTEAin或者由运动补偿部64生成的帧间预测图像PINTEKin进行加法运算，作为解码对象块内包含的一个或者多个解码分区图像的集合，将解码图像保存到分块解码图像存储器67中(步骤ST58)。
[0289]该解码图像成为以后的帧内预测用的图像信号。
[0290]在分块解码部54-η中，在包括上述帧内预测、可变长解码在内的任意的处理中都不进行与当前分块不同的块的解码参数以及解码图像的参照。分块端部的参照处理被置换为与编码侧同样的不需要参照的处理。因此，分块解码部54-η的处理在各分块中独立，能够并行执行。
[0291]另外，在分块解码部54-η中，如上述那样在编码侧分块内被分割为切片的情况下，根据复用在比特流上的切片分割信息将当前分块分割为切片，依照针对每个切片独立地定义了的参数以及模式信息来进行解码处理。
[0292]另外，在作为可变长解码单元使用上下文自适应算术解码的情况下，对复用在切片头部的可变长编码处理控制信息进行解码，在所述可变长编码处理控制信息表示限制为不进行上下文切换的情况下，在该切片中不进行上下文切换而进行自适应算术解码。同样地，在所述可变长编码处理控制信息表示限制为不进行上下文切换以及自适应处理的情况下，在该切片中，不进行上下文切换以及自适应处理而进行算术解码。通过这样构成，能够对由本发明的编码单元生成的比特流适当地进行解码。此处，以上下文自适应算术解码为例子进行了说明，但即使是其他任意的可变长解码手法，如果即使去掉其一部分的处理仍能够进行可变长解码，则通过同样的单元能够得到同样的效果。
[0293]接下来，详细说明分块环路滤波器装置56中的分块环路滤波器部56-1?56-Ν的处理内容。
[0294]分块环路滤波器部56-η的分块滤波器参数解码部71在由可变长码分离部51分离出的滤波器参数共享标志是OFF的情况下，从由分块解码部54-η输出的滤波器参数的编码数据解码出表示分块单位的滤波器的滤波器参数，将作为其解码结果的滤波器参数输出到环路滤波器实施部72。
[0295]因为由可变长码分离部51分离出的滤波器参数共享标志是0FF，所以环路滤波器实施部72如果从分块滤波器参数解码部71接收到滤波器参数，则使用该滤波器参数表示的分块单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。[0296]另一方面，因为由可变长码分离部51分离出的滤波器参数共享标志是0N，所以如果从滤波器参数解码部55接收到滤波器参数，则使用该滤波器参数表示的帧单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。
[0297]环路滤波器实施部72进行与图5的环路滤波器实施部42相同的处理。即，进行不进行跨越不同的分块的像素参照的滤波处理，所以分块环路滤波器部45-η的处理在各分块中独立，能够并行执行。
[0298]如以上说明，根据该实施方式1，构成为设置:编码控制部1，输出指示输入图像的分割状态的分割控制信息；并行处理开始部3，依照从编码控制部I输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块；以及N个分块编码部5-1~5-Ν，参照运动补偿预测帧存储器4中存储的局部解码图像，实施针对由并行处理开始部3分配的分块的预测差分编码处理，从而输出作为作为其编码结果的编码比特数据，并且根据该编码比特数据而生成局部解码图像，N个分块环路滤波器部7-1~7-Ν决定适合于由分块编码部5-1~5-Ν生成的局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器，实施针对该局部解码图像的滤波处理，所以起到能够在分块等级下并行地进行环路滤波器的处理的效果。
[0299]实施方式2.[0300]在该实施方式2中，说明针对上述实施方式I中的运动图像编码装置追加了分块等级下的并行处理的实施/不实施的切换功能的运动图像编码装置。
[0301]另外，说明能够从由该运动图像编码装置制作出的比特流解码出运动图像的运动图像解码装置。
[0302]图17是示出本发明的实施方式2的运动图像编码装置的结构图。
[0303]在图17中，编码控制部81与图1的编码控制部I同样地，实施输出分块分割控制信息(分割控制信息)的处理，该分块分割控制信息指示将影像信号表示的输入图像分割为规定尺寸的分块时的分割状态。
[0304]另外，编码控制部81实施如下处理:输出表示是否分割输入图像而并行化的编码并行标志(分割标志)，并且按照滤波处理的每个种类，输出表示是否在各分块中共用该滤波处理中使用的滤波器的滤波器参数共享标志(滤波器共享标志)#1~Μ。
[0305]进而，编码控制部81实施输出表示前级的处理部与后级的处理部的连接关系的环路滤波器并行标志#1~M的处理。
[0306]另外，编码控制部81构成了分割控制单元。
[0307]分块分割控制部82实施如下处理:以与从编码控制部81输出的分块分割控制信息指示了的分割状态一致的方式，控制并行处理开始部83中的输入图像的分割。
[0308]并行处理开始部83实施如下处理:在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，在分块分割控制部2的指示下，将影像信号表示的输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部85-1~85-Ν。
[0309]另一方面，实施如下处理:在编码并行标志表示不将输入图像分割而并行化的意思的情况下，不分割影像信号表示的输入图像，将作为帧单位的图像的输入图像输出到帧编码部86。[0310]另外，由分块分割控制部82以及并行处理开始部83构成了分块分配单元。
[0311]运动补偿预测帧存储器84是存储滤波处理后的局部解码图像的记录介质。另外，运动补偿预测帧存储器84构成了图像存储器。
[0312]分块编码装置85安装有N个分块编码部85-1~85_N，N个分块编码部85_1~85-N独立地实施预测差分编码处理。N是I以上的整数。
[0313]分块编码部85-1~85-N与图1的分块编码部5_1~5_N同样地，实施如下处理:参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对由并行处理开始部83分配的分块的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成分块局部解码图像(局部解码图像)。另外，分块编码部85-1~85-N构成了分块编码单兀。
[0314]帧编码部86实施如下处理:参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对输入图像(未由并行处理开始部83分割的帧单位的图像)的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成帧局部解码图像(局部解码图像)。另外，帧编码部86构成了帧编码单元。
[0315]环路滤波器控制部87-1~87-M实施如下处理:在从编码控制部81输出的滤波器参数共享标志#1~M表示在各分块中共用滤波器的意思的情况下，根据从并行处理切换部
90-1~90-M输出的分块局部解码图像而得到帧单位的局部解码图像，决定适合于帧单位的局部解码图像的帧单位的滤波器，将表示该滤波器的滤波器参数输出到分块环路滤波器装置88-1~88-M。
[0316]另外，环路滤波器控制部87-1~87-M实施如下处理:对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据输出到并行处理结束部91。
[0317]分块环路滤波器装置88-1~87-M是实施相互不同的种类的滤波处理的滤波器装置，安装有N个分块环路滤波器部88-m-l~88-m-N(m = 1,2,…，Μ)，N个分块环路滤波器部88-m-l~88-m-N独立地实施滤波处理。M是I以上的整数。
[0318]分块环路滤波器部88-m_n(n = 1,2,…，N)实施如下处理:在从编码控制部81输出的滤波器参数共享标志#m表示在各分块中不共用滤波器的意思的情况下，决定适合于从并行处理切换部90-m输出的分块局部解码图像的滤波处理的分块单位的滤波器，并使用该滤波器来实施针对分块局部解码图像的滤波处理，并且对表示分块单位的滤波器的滤波器参数进行可变长编码，将其编码结果复用到从并行处理切换部90-1~90-M输出的比特序列数据上。
[0319]另一方面，实施如下处理:在滤波器参数共享标志#m表示在各分块中共用滤波器的意思的情况下，使用从环路滤波器控制部87-m输出的滤波器参数表示的帧单位的滤波器来实施从并行处理切换部90-m输出的分块局部解码图像的滤波处理，并且原样地输出从并行处理切换部90-m输出的比特序列数据。
[0320]另外，分块环路滤波器部88-1-1 ~88-1-Ν、88-2-1 ~88-2-N、...、88-Μ_1 ~
88-M-N构成了分块滤波器单元。
[0321]帧环路滤波器部89-m实施如下处理:在从并行处理切换部90_m输出了分块局部解码图像的情况下，决定适合于根据该分块局部解码图像得到的帧局部解码图像(帧单位的局部解码图像)的滤波处理的帧单位的滤波器，在从并行处理切换部90-m输出了帧局部解码图像的情况下，决定适合于该帧局部解码图像的帧单位的滤波器，使用帧单位的滤波器来实施针对帧局部解码图像的滤波处理，并且对表示帧单位的滤波器的滤波器参数进行可变长编码，将其编码结果复用到从并行处理切换部90-1?90-M输出的比特序列数据上。另外，帧环路滤波器部89-1?89-M构成了帧滤波器单元。
[0322]并行处理切换部90-m实施依照从编码控制部81输出的环路滤波器并行标志#m来控制前级的处理部与后级的处理部的连接关系的处理。
[0323]由此，即使在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，在从编码控制部81输出的滤波器参数共享标志#1?M中的例如滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，也将从前级的处理部输出的局部解码图像、编码参数以及比特序列数据输出到帧环路滤波器部89-x，而并不输出到分块环路滤波器部88-x-n。
[0324]并行处理结束部91实施如下处理:在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#M表示在各分块中不共用滤波器的意思，则依照从编码控制部81输出的分块分割控制信息而组合由分块环路滤波器部88-M-1?88-M-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像保存到运动补偿预测帧存储器84中，并且将从分块环路滤波器部88-M-1?88-M-N输出的比特序列数据输出到可变长码复用部92。
[0325]另外，实施如下处理:在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#1表示在各分块中共用滤波器的意思，则将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部88-M输出的比特序列数据输出到可变长码复用部92。
[0326]另一方面，实施如下处理:在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部88-M输出的比特序列数据输出到可变长码复用部92。
[0327]另外，并行处理结束部91构成了局部解码图像保存单元。
[0328]可变长码复用部92实施如下处理:对从并行处理结束部91输出的比特序列数据、从编码控制部81输出的分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M以及滤波器参数共享标志#1?M、以及表示由分块环路滤波器部88-m-n或者帧环路滤波器部
89-m决定的滤波器的滤波器参数的编码数据进行复用而生成比特流。
[0329]另外，可变长码复用部92构成了复用单元。
[0330]在图17的例子中，设想了作为运动图像编码装置的构成要素的编码控制部81、分块分割控制部82、并行处理开始部83、运动补偿预测帧存储器84、分块编码装置85、帧编码部86、环路滤波器控制部87-1?87-M、分块环路滤波器装置88_1?88-M、帧环路滤波器部89-1?89-M、并行处理切换部90-1?90-M、并行处理结束部91以及可变长码复用部92各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成了的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了编码控制部81、分块分割控制部82、并行处理开始部83、分块编码装置85、帧编码部86、环路滤波器控制部
87-1?87-M、分块环路滤波器装置88-1?88-M、帧环路滤波器部89_1?89-M、并行处理切换部90-1?90-M、并行处理结束部91以及可变长码复用部92的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
[0331]图18是示出本发明的实施方式2的运动图像解码装置的结构图。
[0332]在图18中，可变长码分离部101实施如下处理:如果输入了由图17的运动图像编码装置生成的比特流，则分离复用在该比特流上的比特序列数据、分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M、滤波器参数共享标志#1?M以及滤波器参数的编码数据。另外，可变长码分离部101构成了分离单元。
[0333]并行处理开始部102实施如下处理:在由可变长码分离部101分离出的编码并行标志表示将输入图像分割而并行化的意思的情况下，将从可变长码分离部101输出的帧单位的比特序列数据分割为分块单位的比特序列数据，将分块单位的比特序列数据分配给分块解码部104-1?104-N。
[0334]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，实施将从可变长码分离部101输出的帧单位的比特序列数据输出到帧解码部105的处理。另夕卜，并行处理开始部102构成了编码比特数据分配单元。
[0335]运动补偿预测帧存储器103是存储滤波处理后的解码图像的记录介质。另外，运动补偿预测帧存储器103构成了图像存储器。
[0336]分块解码装置104安装有N个分块解码部104-1?104-N，N个分块解码部104-1?104-N独立地实施预测差分解码处理。N是I以上的整数。
[0337]分块解码部104-1?104-N与图6的分块解码部54_1?54_N同样地，实施如下处理:参照运动补偿预测帧存储器103中存储的滤波处理后的解码图像，实施针对由并行处理开始部102分配的分块单位的比特序列数据的预测差分解码处理，从而生成分块解码图像(分块单位的解码图像)，并且将该分块解码图像和在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处切换部110-1。
[0338]另外，实施将复用在比特序列数据上的表示分块单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0339]另外，分块解码部104-1?104-N构成了分块解码单元。
[0340]帧解码部105实施如下处理:参照运动补偿预测帧存储器103中存储的滤波处理后的局部解码图像，实施针对从并行处理开始部102输出的帧单位的比特序列数据的预测差分解码处理，从而生成帧解码图像(帧单位的解码图像)，并且将该帧解码图像和在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处切换部110-1。
[0341]另外，实施将复用在比特序列数据上的表示帧单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0342]另外，帧解码部105构成了帧解码单元。
[0343]滤波器参数解码部106-1?106-M实施如下处理:在由可变长码分离部101分离出的滤波器参数共享标志#1?M表示在各分块中共用滤波器的意思的情况下，从由可变长码分离部101分离出的滤波器参数的编码数据#1?M解码出表示帧单位的滤波器的滤波器参数，将该滤波器参数输出到分块环路滤波器装置107-1~107-M。
[0344]分块环路滤波器装置107-1~107-M是实施相互不同的种类的滤波处理的滤波器装置，安装有N个分块环路滤波器部107-m-l~107-m-N(m= 1,2,…，Μ)，N个分块环路滤波器部107-m-l~107-m-N独立地实施滤波处理。M是I以上的整数。
[0345]分块环路滤波器部107-m-n(n = 1,2,…，N)如果从并行处理切换部110_m输出了分块解码图像，则在由可变长码分离部101分离出的滤波器参数共享标志#m表示在各分块中不共用滤波器的意思的情况下，从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示分块单位的滤波器的滤波器参数，使用分块单位的滤波器来实施针对分块解码图像的滤波处理。
[0346]另一方面，在滤波器参数共享标志#m表示在各分块中共用滤波器的意思的情况下，从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示帧单位的滤波器的滤波器参数，使用帧单位的滤波器来实施针对分块解码图像的滤波处理。
[0347]另外，分块环路滤波器部107-1-1 ~107-1-N、107-2-1 ~107-2_N、...、107-M-1 ~
107-M-N构成了分块滤波器单元。
[0348]帧环路滤波器部108-m如果从并行处理切换部110_m输出了帧解码图像，则从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示帧单位的滤波器的滤波器参数，使用帧单位的滤波器来实施针对帧解码图像的滤波处理。另外，帧环路滤波器部
108-1~108-M构成了帧滤 波器单元。
[0349]分块分割控制部109实施如下处理:根据由可变长码分离部101分离出的分块分割控制信息而掌握分块的分割状态，控制并行处理结束部111中的各分块解码图像的配置，以得到与原来的输入图像相当的解码图像。
[0350]并行处理切换部110-m实施依照由可变长码分离部101分离出的环路滤波器并行标志#m控制前级的处理部与后级的处理部的连接关系的处理。
[0351]由此，即使由可变长码分尚部101分尚出的编码并行标志表不将输入图像分割而并行化的意思的情况下，在由可变长码分离部101分离出的滤波器参数共享标志#1~M中的例如滤波器参数共享标志#x表示在各分块中共用滤波器的意思的情况下，将从前级的处理部输出的解码图像、编码参数以及滤波器参数的编码数据输出到帧环路滤波器部108-x，而不输出到分块环路滤波器部107-x-n。
[0352]并行处理结束部111实施如下处理:在分块分割控制部109的控制下，组合由分块环路滤波器部107-M-1~107-M-N实施滤波处理后的分块解码图像，生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器103中。
[0353]另外，由分块分割控制部109以及并行处理结束部111构成了解码图像保存单元。
[0354]在图18的例子中，设想了作为运动图像解码装置的构成要素的可变长码分离部101、并行处理开始部102、运动补偿预测帧存储器103、分块解码装置104、帧解码部105、滤波器参数解码部106-1~106-M、分块环路滤波器装置107-1~107-M、帧环路滤波器部108-1~108-M、分块分割控制部109、并行处理切换部110-1~110-M以及并行处理结束部111各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成了的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长码分离部101、并行处理开始部102、分块解码装置104、帧解码部105、滤波器参数解码部106-1~106-M、分块环路滤波器装置107-1~107-M、帧环路滤波器部108-1~108-M、分块分割控制部109、并行处理切换部110-1~110-M以及并行处理结束部111的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
[0355]实施方式3.[0356]在上述实施方式I中，示出了分块环路滤波器装置7是I级结构的例子，但在该实施方式3中，在多级地连接了实现相互不同的种类的环路滤波器的分块环路滤波器装置88-1~88-M的点上不同。
[0357]例如，在作为对图像实施的环路滤波器，定义了解块滤波器、SA0、ALF的情况下，如果图像被分割为分块，则必须通过在分块间不进行参照的手法来实施编码处理以及所有滤波处理。
[0358]但是，根据环路滤波器的种类，相比于按照分块单位进行滤波处理，在按照帧单位进行滤波处理时有时状况更佳。
[0359]例如，考虑在ALF的情况下，即使在I帧图像中也能够通过H/W高速地进行处理，所以不需要并行处理，但在解块滤波器的情况下，H/W下的高速处理困难，所以并行处理不可欠缺这样的状况。[0360]在这样的状况下，根据画质的观点，不需要并行化的环路滤波器期望实施进行跨越分块间的像素参照的滤波处理。
[0361]另外，存在虽然预测差分编码处理、解码处理有并行化的必要性，但环路滤波处理无并行化的必要性的情况、或者相反地虽然预测差分编码处理、解码处理无并行化的必要性，但环路滤波处理有并行化的必要性的情况。
[0362]为了对应于这样的状况，关于预测差分编码处理/解码处理和各种环路滤波处理，各自独立地切换是否进行并行化的跨越分块间的参照那样的手法是有效的。
[0363]在该实施方式3中，分割输入图像，切换进行分块单位的并行化处理、或者不并行化而按照帧单位进行处理。
[0364]另外，针对每个环路滤波器，切换进行分块单位的滤波处理、或者进行帧单位的滤波处理。
[0365]最初，说明运动图像编码装置的处理内容。
[0366]编码控制部81与图1的编码控制部I同样地，对分块分割控制部82、并行处理结束部91以及可变长码复用部92输出指示将影像信号表示的输入图像分割为规定尺寸的分块时的分割状态的分块分割控制信息。
[0367]另外，编码控制部81将表示是否将输入图像分割而并行化的编码并行标志输出到并行处理开始部83，并且按照滤波处理的每个种类，将表示是否在各分块中共用在该滤波处理中使用的滤波器的滤波器参数共享标志#1~M(在各分块中共用时:0N的标志、在各分块中不共用时=OFF的标志)输出到环路滤波器控制部87-1~87-M、分块环路滤波器装置88-1~88-M以及可变长码复用部91。
[0368]进而，编码控制部81将表示前级的处理部与后级的处理部的连接关系的环路滤波器并行标志#1~M输出到并行处理切换部90-1~90-M。
[0369]分块分割控制部82如果从编码控制部81接收到分块分割控制信息，则以与该分块分割控制信息指示了的分割状态一致的方式，控制并行处理开始部83中的输入图像的分割。
[0370]并行处理开始部83在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，在分块分割控制部82的指示下，将影像信号表示的输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部85-1?85-N。
[0371]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，不分割影像信号表示的输入图像，将作为帧单位的图像的输入图像输出到帧编码部86。
[0372]分块编码部85-1?85-N如果从并行处理开始部83接收到分块，则按照与图1的分块编码部5-1?5-N同样的步骤生成分块局部解码图像。
[0373]即，分块编码部85-1?85-N参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对由并行处理开始部83分配的分块的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成分块局部解码图像。
[0374]帧编码部86如果从并行处理开始部83接收到作为帧单位的图像的输入图像，则参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对该输入图像的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成帧局部解码图像。
[0375]在编码处理的处理单位是帧单位的点与分块编码部85-1?85-N不同，但编码处理自身与分块编码部85-1?85-N相同，所以省略详细的说明。
[0376]并行处理切换部90-m依照从编码控制部81输出的环路滤波器并行标志#m，控制前级的处理部与后级的处理部的连接关系，但例如在编码并行标志表示不将输入图像分割而并行化的意思的情况下，并行处理开始部83不分割输入图像，帧编码部86进行帧单位的编码处理，所以将帧编码部86(或者、前级的帧环路滤波器部)的输出信号(帧局部解码图像、比特序列数据、编码参数)传送到后级的帧环路滤波器部。
[0377]另一方面，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0FF，则进行分块单位的滤波处理，所以将分块编码部85-1?85-N(或者、前级的分块环路滤波器部)的输出信号(分块局部解码图像、比特序列数据、编码参数)传送到后级的分块环路滤波器部。
[0378]但是，在第m-Ι级的环路滤波器中进行帧单位的滤波处理的情况下，将从前级的帧环路滤波器部输出的帧局部解码图像分割为分块局部解码图像，将该分块局部解码图像、比特序列数据以及编码参数传送到后级的分块环路滤波器部。
[0379]即使在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0N，则在第m级的环路滤波器中进行帧单位的滤波处理，所以将分块编码部85-1?85-N(或者前级的分块环路滤波器部)的输出信号(分块局部解码图像、比特序列数据、编码参数)、或者前级的帧环路滤波器部的输出信号(帧局部解码图像、比特序列数据、编码参数)传送到后级的帧环路滤波器部。
[0380]环路滤波器控制部87-m在从编码控制部81输出的滤波器参数共享标志#m是ON的情况下，从由并行处理切换部90-m输出的分块局部解码图像得到帧局部解码图像，决定适合于该帧局部解码图像的帧单位的滤波器。在从并行处理切换部90-m输出了帧局部解码图像的情况下，决定适合于该帧局部解码图像的帧单位的滤波器。
[0381]在环路滤波器控制部87-m中，如果决定了帧单位的滤波器，则将表示该滤波器的滤波器参数输出到分块环路滤波器装置88-m。
[0382]另外，环路滤波器控制部87-m对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据输出到并行处理结束部91。
[0383]分块环路滤波器部88-m-n如果从并行处理切换部90_m接收到分块局部解码图像，则与图1的分块环路滤波器部7-n同样地，如果从编码控制部81输出的滤波器参数共享标志#m是0FF，则根据从并行处理切换部90-m输出的编码参数决定适合于该分块局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器来实施针对分块局部解码图像的滤波处理，将滤波处理后的分块局部解码图像输出到后级的并行处理切换部或者并行处理结束部91。
[0384]另外，分块环路滤波器部88-m-n对表示分块单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从并行处理切换部90-m输出的比特序列数据上，并输出到后级的并行处理切换部或者并行处理结束部91。
[0385]另外，如果从编码控制部81输出的滤波器参数共享标志#m是0N，则使用从环路滤波器控制部87-m输出的滤波器参数表示的帧单位的滤波器，实施从并行处理切换部90-m输出的分块局部解码图像的滤波处理，但在该实施方式2中，即使在编码并行标志表示将输入图像分割而并行化的意思的情况下，在滤波器参数共享标志#m是ON的情况下，并行处理切换部90-m也将帧局部解码图像提供给帧环路滤波器部89-m，而不将分块局部解码图像提供给分块环路滤波器部88-m-n，所以在该状况下，不使用帧单位的滤波器来实施分块局部解码图像的滤波处理。
[0386]作为分块环路滤波器部88-m-n使用帧单位的滤波器来实施分块局部解码图像的滤波处理的状况，例如，考虑编码控制部81不使用输出编码并行标志的功能，而停止帧环路滤波器部89-m的功能的状况等(与实施方式I类似的结构)。
[0387]帧环路滤波器部89-m如果从并行处理切换部90_m接收到分块局部解码图像，则从该分块局部解码图像得到帧局部解码图像，根据从并行处理切换部90-m输出的编码参数，决定适合于该帧局部解码图像的滤波处理的帧单位的滤波器。在从并行处理切换部
90-m输出了帧局部解码图像的情况下，根据该编码参数，决定适合于该帧局部解码图像的帧单位的滤波器。
[0388]在帧环路滤波器部89-m中，如果决定了帧单位的滤波器，则使用帧单位的滤波器来实施针对该帧局部解码图像的滤波处理，将滤波处理后的帧局部解码图像输出到后级的并行处理切换部或者并行处理结束部91。
[0389]另外，帧环路滤波器部89-m对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从并行处理切换部90-m输出的比特序列数据上，并输出到后级的并行处理切换部或者并行处理结束部91。
[0390]并行处理结束部91在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#11是0FF，则依照从编码控制部81输出的分块分割控制信息，组合由分块环路滤波器部88-M-1?88-M-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像保存到运动补偿预测帧存储器84中，并且将从分块环路滤波器部88-M-1?88-M-N输出的比特序列数据输出到可变长码复用部92。[0391]另外，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#M是0N，则将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部
88-M输出的比特序列数据输出到可变长码复用部92。
[0392]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部88-M输出的比特序列数据输出到可变长码复用部92。
[0393]可变长码复用部92对从并行处理结束部91输出的比特序列数据、和从编码控制部81输出的分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M以及滤波器参数共享标志#1?M进行复用而生成比特流。
[0394]接下来，说明运动图像解码装置的处理内容。
[0395]可变长码分离部101如果输入了由图17的运动图像编码装置生成的比特流，则分离复用在该比特流上的比特序列数据、分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M、滤波器参数共享标志#1?M以及滤波器参数的编码数据而输出。
[0396]并行处理开始部102在由可变长码分离部101分离出的编码并行标志表示将输入图像分割而并行化的意思的情况下，将从可变长码分离部101输出的帧单位的比特序列数据分割为分块单位的比特序列数据，将分块单位的比特序列数据分配给分块解码部104-1 ?104-No
[0397]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将从可变长码分离部101输出的帧单位的比特序列数据输出到帧解码部105。
[0398]分块解码部104-1?104-N如果从并行处理开始部102接收到分块单位的比特序列数据，则按照与图6的分块解码部54-1?54-N同样的步骤生成分块解码图像。
[0399]S卩，分块解码部104-1?104-N参照运动补偿预测帧存储器103中存储的滤波处理后的解码图像，实施针对由并行处理开始部102分配的分块单位的比特序列数据的预测差分解码处理，从而生成分块解码图像，并且将该分块解码图像以及在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处理结束部111。
[0400]另外，实施将复用在比特序列数据上的表示分块单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0401]帧解码部105如果从并行处理开始部102接收到帧单位的比特序列数据，则参照运动补偿预测帧存储器103中存储的滤波处理后的局部解码图像，实施针对该帧单位的比特序列数据的预测差分解码处理而生成帧解码图像，将该帧解码图像以及在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处理结束部111。
[0402]另外，实施将复用在比特序列数据上的表示帧单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0403]并行处理切换部100-m依照由可变长码分离部101分离出的环路滤波器并行标志#m，控制前级的处理部与后级的处理部的连接关系，但例如在编码并行标志表示不将输入图像分割而并行化的意思的情况下，并行处理开始部102不将帧单位的比特序列数据分割为分块单位的比特序列数据，帧解码部105进行帧单位的解码处理，所以将帧解码部105(或者前级的帧环路滤波器部)的输出信号(帧解码图像、编码参数、表示帧单位的滤波器的滤波器参数的编码数据)传送到后级的帧环路滤波器部。
[0404]另一方面，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0FF，则进行分块单位的滤波处理，所以将分块解码部104-1?104-N(或者、前级的分块环路滤波器部)的输出信号(分块局部解码图像、编码参数、表示分块单位的滤波器的滤波器参数的编码数据)传送到后级的分块环路滤波器部。
[0405]但是，在第m-Ι级的环路滤波器中进行帧单位的滤波处理的情况下，将从前级的帧环路滤波器部输出的帧解码图像分割为分块解码图像，将该分块解码图像、编码参数以及表示分块单位的滤波器的滤波器参数的编码数据传送到后级的分块环路滤波器部。
[0406]即使编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0N，则在第m级的环路滤波器中进行帧单位的滤波处理，所以将分块解码部104-1?104-N(或者、前级的分块环路滤波器部)的输出信号(分块局部解码图像、编码参数、表示分块单位的滤波器的滤波器参数的编码数据)、或者前级的帧环路滤波器部的输出信号(帧解码图像、编码参数、表示帧单位的滤波器的滤波器参数的编码数据)传送到后级的帧环路滤波器部。
[0407]滤波器参数解码部106-m在由可变长码分离部101分离出的滤波器参数共享标志#n是ON的情况下，从由可变长码分离部101分离出的滤波器参数的编码数据#m解码出表示帧单位的滤波器的滤波器参数，将该滤波器参数输出到分块环路滤波器装置107-m。
[0408]分块环路滤波器部107-m-n在从并行处理切换部110_m接收到分块解码图像时，如果由可变长码分离部101分离出的滤波器参数共享标志#m是0FF，则从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示分块单位的滤波器的滤波器参数，使用分块单位的滤波器来实施针对该分块解码图像的滤波处理。
[0409]另外，如果滤波器参数共享标志#m是0N，则使用从滤波器参数解码部106_m输出的滤波器参数表示的帧单位的滤波器来实施针对分块解码图像的滤波处理，但在该实施方式2中，即使在编码并行标志表示将输入图像分割而并行化的意思的情况下，在滤波器参数共享标志#m是ON的情况下，并行处理切换部110-m将帧解码图像提供给帧环路滤波器部108-m，而不将分块解码图像提供给分块环路滤波器部107-m-n，所以在该状况下，使用帧单位的滤波器，而不实施分块解码图像的滤波处理。
[0410]作为分块环路滤波器部107-m-n使用帧单位的滤波器实施分块解码图像的滤波处理的状况，例如，考虑编码侧不使用输出编码并行标志的功能，而停止帧环路滤波器部
108-m的功能的状况等(与实施方式I类似的结构)。
[0411]帧环路滤波器部108-m如果从并行处理切换部110_m接收到帧解码图像，则从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示帧单位的滤波器的滤波器参数，使用帧单位的滤波器来实施针对该帧解码图像的滤波处理。
[0412]分块分割控制部109实施如下处理:根据由可变长码分离部101分离出的分块分割控制信息而掌握分块的分割状态，控制并行处理结束部111中的各分块解码图像的配置，以得到与原来的输入图像相当的解码图像。
[0413]并行处理结束部111在由可变长码分离部101分离出的编码并行标志表示将输入图像分割而并行化的意思的情况下，如果由可变长码分离部101分离出的滤波器参数共享标志#M是OFF，则在分块分割控制部109的控制下，组合由分块环路滤波器部107-M-1?
107-M-N实施滤波处理后的分块解码图像而生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器103中。
[0414]另外，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果该滤波器参数共享标志#M是0N，则将由帧环路滤波器部108-M实施滤波处理后的帧解码图像保存到运动补偿预测帧存储器103中。
[0415]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将由帧环路滤波器部108-M实施滤波处理后的帧解码图像保存到运动补偿预测帧存储器103中。
[0416]如以上说明，根据该实施方式3，构成为切换分割输入图像而进行分块单位的并行化处理或者不并行化而按照帧单位进行处理，并且针对每个环路滤波器切换进行分块单位的滤波处理或者进行帧单位的滤波处理，所以起到即使在多级地连接不同的种类的环路滤波器来提高整个的滤波器性能的情况下，也能够实现处理的高速化的效果。
[0417]另外，本申请发明能够在该发明的范围内，实施各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者各实施方式的任意的构成要素的省略。
[0418]产业上的可利用性
[0419]本发明的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法，设为能够生成分块单位的局部解码图像，决定适合于该局部解码图像的分块单位的滤波器，使用该分块来实施局部解码图像的滤波处理，在分块等级下并行地进行环路滤波器的处理，所以能够应用于对图像进行压缩编码而传送的运动图像编码装置以及运动图像编码方法、和从由运动图像编码装置传送的编码数据解码出图像的运动图像解码装置以及运动图像解码方法。
【权利要求】
1.一种运动图像编码装置，其特征在于，具备: 分割控制单元，输出指示输入图像的分割状态的分割控制信息； 分块分配单元，依照从所述分割控制单元输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块； 图像存储器，存储滤波处理后的局部解码图像； 一个以上的分块编码单元，参照所述图像存储器中存储的局部解码图像，实施针对由所述分块分配单元分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 一个以上的分块滤波器单元，决定与由所述分块编码单元生成的局部解码图像的滤波处理对应的分块单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 局部解码图像保存单元，依照从所述分割控制单元输出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的局部解码图像而生成帧单位的局部解码图像，将所述局部解码图像保存到所述图像存储器中；以及 复用单元，对从所述分块编码单元输出的编码比特数据、表示由所述分块滤波器单元决定的分块单位的滤波器的滤波器参数以及从所述分割控制单元输出的分割控制信息进行复用而生成比特流。
2.根据权利要 求1所述的运动图像编码装置，其特征在于， 设置有帧单位滤波器决定单元，该帧单位滤波器决定单元在从分割控制单元输出表示是否在各分块中共用由一个以上的分块编码单元生成的局部解码图像的滤波处理中使用的滤波器的滤波器共享标志的情况下，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则决定在各分块中共用的帧单位的滤波器， 在一个以上的分块滤波器单元中，如果所述滤波器共享标志表示在各分块中不共用滤波器的意思，则使用分块单位的滤波器来实施针对由所述分块编码单元生成的局部解码图像的滤波处理，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则使用由所述帧单位滤波器决定单元决定的帧单位的滤波器来实施针对由所述分块编码单元生成的局部解码图像的滤波处理， 复用单元将从所述分割控制单元输出的滤波器共享标志复用到比特流上，并且如果所述滤波器共享标志表示在各分块中不共用滤波器的意思，则对表示由所述分块滤波器单元决定的分块单位的滤波器的滤波器参数进行复用，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则对表示由所述帧单位滤波器决定单元决定的帧单位的滤波器的滤波器参数进行复用。
3.—种运动图像编码装置，其特征在于，具备: 分割控制单元，输出指示输入图像的分割状态的分割控制信息，并且输出表示是否分割所述输入图像的分割标志； 分块分配单元，在从所述分割控制单元输出的分割标志表示分割的意思的情况下，依照从所述分割控制单元输出的分割控制信息将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块，在所述分割标志表示不分割的意思的情况下，将所述输入图像不分割而输出；图像存储器，存储滤波处理后的局部解码图像； 一个以上的分块编码单元，参照所述图像存储器中存储的局部解码图像，实施针对由所述分块分配单元分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 帧编码单元，参照所述图像存储器中存储的局部解码图像，实施针对从所述分块分配单元输出的输入图像的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 一个以上的分块滤波器单元，决定适合于由所述分块编码单元生成的局部解码图像的滤波处理的分块单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 帧滤波器单元，决定适合于由所述帧编码单元生成的局部解码图像的滤波处理的帧单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 局部解码图像保存单元，在从所述分割控制单元输出的分割标志表示分割的意思的情况下，依照从所述分割控制单元输出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的局部解码图像而生成帧单位的局部解码图像，将所述局部解码图像保存到所述图像存储器中，在所述分割标志表示不分割的意思的情况下，将由所述帧滤波器单元实施滤波处理后的局部解码图像保存到所述图像存储器中；以及 复用单元，对从所述分块编码单元或者所述帧滤波器单元输出的编码比特数据、表示由所述分块滤波器单元或者所述帧滤波器单元决定的滤波器的滤波器参数、从所述分割控制单元输出的分割控 制信息以及分割标志进行复用而生成比特流。
4.根据权利要求3所述的运动图像编码装置，其特征在于， 分割控制单元在分块滤波器单元以及帧滤波器单元具备实施多个种类的滤波处理的功能的情况下，按照滤波处理的每个种类，输出表示是否在各分块中共用在该滤波处理中使用的滤波器的滤波器共享标志， 即使从所述分割控制单元输出的分割标志表示分割的意思的时，在从所述分割控制单元输出的滤波器共享标志关于某个种类的滤波处理而表示在各分块中共用滤波器的意思的情况下，关于该滤波处理，代替分块滤波器单元，帧滤波器单元使用帧单位的滤波器来实施针对局部解码图像的滤波处理， 复用单元将从所述分割控制单元输出的滤波处理的按种类的滤波器共享标志复用到比特流上。
5.一种运动图像解码装置，其特征在于，具备: 分离单元，分离复用在比特流上的编码比特数据、表示作为规定尺寸的矩形区域的分块单位的滤波器的滤波器参数、以及指示输入图像的分割状态的分割控制信息； 编码比特数据分配单元，依照由所述分离单元分离出的分割控制信息，将所述编码比特数据分割为分块单位的编码比特数据，并分配分割后的编码比特数据； 图像存储器，存储滤波处理后的解码图像； 一个以上的分块解码单元，参照所述图像存储器中存储的解码图像，实施针对由所述编码比特数据分配单元分配的编码比特数据的预测差分解码处理，生成分块单位的解码图像；一个以上的分块滤波器单元，使用由所述分离单元分离出的滤波器参数表示的分块单位的滤波器，实施针对由所述分块解码单元生成的解码图像的滤波处理；以及 解码图像保存单元，依照由所述分离单元分离出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的解码图像而生成帧单位的解码图像，将所述解码图像保存到所述图像存储器中。
6.根据权利要求5所述的运动图像解码装置，其特征在于， 分离单元在表示是否在各分块中共用滤波器的滤波器共享标志被复用到比特流上的情况下，分离所述滤波器共享标志，并且分离表示分块单位的滤波器的滤波器参数或者表示帧单位的滤波器的滤波器参数， 在一个以上的分块滤波器单元中，如果由所述分离单元分离出的滤波器共享标志表示在各分块中不共用滤波器的意思，则使用由所述分离单元分离出的滤波器参数表示的分块单位的滤波器来实施针对由所述分块解码单元生成的分块单位的解码图像的滤波处理，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则使用由所述分离单元分离出的滤波器参数表示的帧单位的滤波器来实施针对由所述分块解码单元生成的分块单位的解码图像的滤波处理。
7.—种运动图像解码装置，其特征在于，具备: 分离单元，分离复用在比特流上的编码比特数据、表示分块单位的滤波器的滤波器参数或者表示帧单位的滤波器的滤波器参数、指示输入图像的分割状态的分割控制信息以及表示是否分割输入图 编码比特数据分配单元，在由所述分离单元分离出的分割标志表示分割的意思的情况下，依照由所述分离单元分离出的分割控制信息，将所述编码比特数据分割为分块单位的编码比特数据，并分配分割后的编码比特数据，在所述分割标志表示不分割的意思的情况下，不分割由所述分离单元分离出的编码比特数据而输出帧单位的编码比特数据； 图像存储器，存储滤波处理后的解码图像； 一个以上的分块解码单元，参照所述图像存储器中存储的解码图像，实施针对由所述编码比特数据分配单元分配的分块单位的编码比特数据的预测差分解码处理，生成分块单位的解码图像； 帧解码单元，参照所述图像存储器中存储的解码图像，实施针对从所述分离单元输出的帧单位的编码比特数据的预测差分解码处理，生成帧单位的解码图像； 一个以上的分块滤波器单元，使用由所述分离单元分离出的滤波器参数表示的分块单位的滤波器来实施针对由所述分块解码单元生成的解码图像的滤波处理； 帧滤波器单元，使用由所述分离单元分离出的滤波器参数表示的帧单位的滤波器来实施针对由所述帧解码单元生成的解码图像的滤波处理；以及 解码图像保存单元，在由所述分离单元分离出的分割标志表示分割的意思的情况下，依照由所述分离单元分离出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的解码图像而生成帧单位的解码图像，将所述解码图像保存到所述图像存储器中，在所述分割标志表示不分割的意思的情况下，将由所述帧滤波器单元实施滤波处理后的解码图像保存到所述图像存储器中。
8.根据权利要求7所述的运动图像解码装置，其特征在于，分离单元在分块滤波器单元以及帧滤波器单元具备实施多个种类的滤波处理的功能的情况下，从比特流中分离表示是否在各分块中共用滤波器的按滤波处理的种类的滤波器共享标志， 即使在由所述分离单元分离出的分割标志表示分割的意思时，在由所述分离单元分离出的滤波器共享标志关于某个种类的滤波处理而表示在各分块中共用滤波器的意思的情况下，针对该滤波处理，代替分块滤波器单元，帧滤波器单元使用帧单位的滤波器来实施针对由帧解码单元生成的解码图像的滤波处理。
9.一种运动图像编码方法，其特征在于，具备: 分割控制处理步骤，分割控制单元输出指示输入图像的分割状态的分割控制信息；分块分配处理步骤，分块分配单元依照在所述分割控制处理步骤中输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块； 分块编码处理步骤，一个以上的分块编码单元参照图像存储器中存储的滤波处理后的局部解码图像，实施针对在所述分块分配处理步骤中分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 分块滤波处理步骤，一个以上的分块滤波器单元决定与在所述分块编码处理步骤中生成的局部解码图像的滤波处理对应的分块单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 局部解码图像保存处理步骤，局部解码图像保存单元依照在所述分割控制处理步骤中输出的分割控制信息，组合所述分块滤波处理步骤中的滤波处理后的局部解码图像而生成帧单位的局部解码图像 ，将所述局部解码图像保存到所述图像存储器中；以及 复用处理步骤，复用单元对在所述分块编码处理步骤中输出的编码比特数据、表示在所述分块滤波处理步骤中决定的分块单位的滤波器的滤波器参数、以及在所述分割控制处理步骤中输出的分割控制信息进行复用而生成比特流。
10.一种运动图像解码方法，其特征在于，具备: 分离处理步骤，分离单元分离复用在比特流上的编码比特数据、表示作为规定尺寸的矩形区域的分块单位的滤波器的滤波器参数、以及指示输入图像的分割状态的分割控制信息； 编码比特数据分配处理步骤，编码比特数据分配单元依照在所述分离处理步骤中分离出的分割控制信息，将所述编码比特数据分割为分块单位的编码比特数据，并分配分割后的编码比特数据； 分块解码处理步骤，一个以上的分块解码单元参照图像存储器中存储的滤波处理后的解码图像，实施针对在所述编码比特数据分配处理步骤中分配的编码比特数据的预测差分解码处理，生成分块单位的解码图像； 分块滤波处理步骤，一个以上的分块滤波器单元使用在所述分离处理步骤中分离出的滤波器参数表示的分块单位的滤波器来实施针对在所述分块解码处理步骤中生成的解码图像的滤波处理；以及 解码图像保存处理步骤，解码图像保存单元依照在所述分离处理步骤中分离出的分割控制信息，组合所述分块滤波处理步骤中的滤波处理后的解码图像而生成帧单位的解码图像，将所述解码图像保存到所述图像存储器中。
【文档编号】H04N19/117GK103907348SQ201280053518
【公开日】2014年7月2日 申请日期:2012年10月30日 优先权日:2011年10月31日
【发明者】服部亮史, 峯泽彰, 伊谷裕介, 杉本和夫, 关口俊一, 守屋芳美, 日和佐宪道 申请人:三菱电机株式会社
【专利摘要】本发明设置有：并行处理开始部(3)，将输入图像分割为规定尺寸的分块，并分配分割后的分块；以及N个分块编码部(5-1～5-N)，实施针对由并行处理开始部(3)分配的分块的预测差分编码处理，生成局部解码图像，N个分块环路滤波器部(7-1～7-N)决定适合于由分块编码部(5-1～5-N)生成的局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器来实施针对该局部解码图像的滤波处理。
【专利说明】运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
【技术领域】
[0001]本发明涉及对图像进行压缩编码而传送的运动图像编码装置以及运动图像编码方法、和从由运动图像编码装置传送的编码数据解码出图像的运动图像解码装置以及运动图像解码方法。
【背景技术】
[0002]以往，在 MPEG (Moving Picture Experts Group:运动图像专家组)、“ ITU-T
H.26x”等国际标准影像编码方式中，将输入影像帧分割为以宏块(MB)、编码单元(CU)等名称称呼的正方块，针对每个块，实施帧内预测、帧间预测、预测误差信号的正交变换、量化、熵编码处理等。
[0003]另外，在所有宏块的处理完成而制作出一张画面的局部解码图像之后，实施决定环路滤波器的参数的处理、使用该环路滤波器对局部解码图像进行滤波的处理、熵编码处理。
[0004]此处，各编码单元的编码处理以按照光栅扫描顺序处理编码单元为前提，在某个编码单元的编码处理中，需要按光栅扫描顺序在前面的编码单元的编码结果。
[0005]具体而言，在进行帧间预测的情况下，将邻接的编码单元的局部解码图像使用为像素参照。
[0006]另外，在熵编码处理中，在推测码元的发生概率时，与按光栅扫描顺序在前面的编码单元共享概率迁移模型，并且，为了概率模型的切换，需要参照邻接的宏块的模式信息。
[0007]因此，为了进行某编码单元的编码处理，按光栅扫描顺序在前面的编码单元的处理的一部分或者全部必须完成。
[0008]这样的编码单元间的依赖性成为编码处理以及解码处理的并行化的障碍。
[0009]在以下的非专利文献I中，为了解决上述问题，使用了被称为分块(tile)的构造体。
[0010]此处，分块是如图11所示地由多个编码单元构成的矩形区域。通过消除与属于不同的分块的编码单元的依赖性，能够实现分块等级下的并行处理。
[0011]具体而言，分块具有以下所示那样的特征。
[0012](I)通过图像的分块进行分割是以编码单元单位进行的。
[0013](2)关于通过图像的分块进行的分割，各行/各列的宽度为不均匀的格子状。即，关于在纵向邻接的分块，左右两端的坐标相等，关于在横向邻接的分块，上下两端的坐标相
坐寸ο
[0014](3)各编码单元是按照在分块内封闭的光栅扫描顺序处理的。另外，能够在分块内进行切片分割。
[0015](4)关于在分块内最初处理的编码单元，从初始状态开始熵编码。
[0016](5)在帧内预测、帧间预测、熵编码/解码的处理中，在进行邻接的编码单元的局部解码图像以及编码模式的参照时，在邻接的编码单元属于不同的分块的情况下，不参照邻接的编码单元而实施画面端的处理。
[0017](6)环路滤波处理是在所有分块的处理完成而制作出整个画面的解码图像之后对整个画面实施的。
[0018]以上，在属于某个分块的编码单元的编码处理中，在预测/预测误差信号的正交变换/量化/熵编码的处理中，仅需要属于相同的分块内的编码单元的结果。
[0019]因此，能够在分块等级下，对编码处理中的帧内/帧间预测、预测误差信号的正交变换/量化、熵编码的处理进行并行处理。
[0020]另外，在使用分块而制作的比特流的解码处理中，能够对熵解码、预测误差信号的逆量化/逆变换、帧内/帧间预测的处理进行分块等级下的并行处理。
[0021]非专利文献I
[0022]Arild Fuldseth, Michael Horowitz, Shilin Xu, Andrew SegalI, Minhua Zhou,“JCTVC-F335:Tiles”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-TSG16WP3and IS0/IEC JTCl/SC29/WG116th Meeting:Torino,IT, 14-22July,2011
【发明内容】
[0023]以往的运动图像编码装置如以上那样地构成，所以虽然能够对帧内/帧间预测、预测误差信号的正交变换/量化、熵编码的处理进行并行处理，但环路滤波器的处理是针对整个画面进行的。在该情况下，在分块边界的滤波处理中，需要参照与边界邻接的两方的分块的局部解码图像，所以存在两方的分块的处理必须完成，无法进行分块等级下的并行处理的课题。
[0024]本发明是为了解决上述那样的课题而完成的，其目的在于得到一种能够在分块等级下并行地进行环路滤波器的处理的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。
[0025]本发明提供一种运动图像编码装置，设置有:分割控制单元，输出指示输入图像的分割状态的分割控制信息；分块分配单元，依照从分割控制单元输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块；图像存储器，存储滤波处理后的局部解码图像；一个以上的分块编码单元，参照图像存储器中存储的局部解码图像，实施针对由分块分配单元分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据编码比特数据生成局部解码图像；一个以上的分块滤波器单元，决定与由分块编码单元生成的局部解码图像的滤波处理对应的分块单位的滤波器，使用滤波器来实施针对局部解码图像的滤波处理；局部解码图像保存单元，依照从分割控制单元输出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的局部解码图像而生成帧单位的局部解码图像，将局部解码图像保存到图像存储器中；以及复用单元，对从分块编码单元输出的编码比特数据、表示由分块滤波器单元决定的分块单位的滤波器的滤波器参数以及从分割控制单元输出的分割控制信息进行复用而生成比特流。
[0026]根据本发明，构成为设置有:分割控制单元，输出指示输入图像的分割状态的分割控制信息；分块分配单元，依照从分割控制单元输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块；以及一个以上的分块编码单元，参照图像存储器中存储的局部解码图像，实施针对由分块分配单元分配的分块的预测差分编码处理，从而输出作为其编码结果的编码比特数据，并且根据该编码比特数据生成局部解码图像，其中，一个以上的分块滤波器单元决定适合于由分块编码单元生成的局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器，实施针对该局部解码图像的滤波处理，所以具有能够在分块等级下并行地进行环路滤波器的处理的效果。
【专利附图】
【附图说明】
[0027]图1是示出本发明的实施方式I的运动图像编码装置的结构图。
[0028]图2是示出本发明的实施方式I的运动图像编码装置的处理内容(运动图像编码方法)的流程图。
[0029]图3是示出本发明的实施方式I的运动图像编码装置的分块编码部5_n(n = 1，2，…，N)的结构图。
[0030]图4是示出本发明的实施方式I的运动图像编码装置的分块编码部5_n(n = 1，2，…，N)的处理内容的流程图。[0031]图5是示出本发明的实施方式I的运动图像编码装置的分块环路滤波器部7_n(n=1,2,…，N)的结构图。
[0032]图6是示出本发明的实施方式I的运动图像解码装置的结构图。
[0033]图7是示出本发明的实施方式I的运动图像解码装置的处理内容(运动图像解码方法)的流程图。
[0034]图8是示出本发明的实施方式I的运动图像解码装置的分块解码部54_n(n = 1，2，…，N)的结构图。
[0035]图9是示出本发明的实施方式I的运动图像解码装置的分块解码部54_n(n = 1，2，…，N)的处理内容的流程图。
[0036]图10是示出本发明的实施方式I的运动图像解码装置的分块环路滤波器部56-η(η = 1,2,...，N)的结构图。
[0037]图11是示出图像的IXU分割以及分块分割的一个例子的说明图。
[0038]图12是示出最大编码块被分层地分割为多个编码对象块的例子的说明图。
[0039]图13是用四叉树图表示出分割后的分区的分布、对分层分割后的分区分配编码模式Hl(Bn)的状况的说明图。
[0040]图14是示出分块和滤波器定义区域的说明图。
[0041]图15是示出复用了滤波器参数的比特流的说明图。
[0042]图16是示出滤波器边界处的滤波处理的说明图。
[0043]图17是示出本发明的实施方式2的运动图像编码装置的结构图。
[0044]图18是示出本发明的实施方式2的运动图像解码装置的结构图。
[0045]图19是示出非格子状配置的自由的分块分割的一个例子的说明图。
[0046]符号说明
[0047]1:编码控制部(分割控制单元);2:分块分割控制部(分块分配单元);3:并行处理开始部(分块分配单元)；4:运动补偿预测帧存储器(图像存储器)；5:分块编码装置；5-1~5-N:分块编码部(分块编码单元)；6:环路滤波器控制部(帧单位滤波器决定单元)；7:分块环路滤波器装置；7-1~7-N:分块环路滤波器部(分块滤波器单元)；8:并行处理结束部(局部解码图像保存单元)；9:可变长码复用部(复用单元)；21:分块编码控制部；22:块分割部；23:切换开关；24:帧内预测部；25:运动补偿预测部；26:减法部；27:变换/量化部；28:逆量化/逆变换部；29:加法部；30:分块局部解码图像存储器；31:可变长编码部；41:分块环路滤波器控制部；42:环路滤波器实施部；43:可变长编码部；51:可变长码分离部(分离单元)；52:并行处理开始部(编码比特数据分配单元)；53:运动补偿预测帧存储器(图像存储器)；54:分块解码装置；54-1~54-N:分块解码部(分块解码单元)；55:滤波器参数解码部；56:分块环路滤波器装置；56-1~56-N:分块环路滤波器部(分块滤波器单元)；57:分块分割控制部(解码图像保存单元)；58:并行处理结束部(解码图像保存单元)；61:可变长解码部；62:切换开关；63:帧内预测部；64:运动补偿部；65:逆量化/逆变换部；66:加法部；67:分块解码图像存储器；71:分块滤波器参数解码部；72:环路滤波器实施部；81:编码控制部(分割控制单元)；82:分块分割控制部(分块分配单元)；83:并行处理开始部(分块分配单元)；84:运动补偿预测帧存储器(图像存储器)；85:分块编码装置；85-1~85-N:分块编码部(分块编码单元)；86:帧编码部(帧编码单元)；87-1~87-M:环路滤波器控制部；88-1~87-M:分块环路滤波器装置；88_1_1~
88-1-Ν、88-2-1~88-2-N、...、88-Μ_1~88-M-N:分块环路滤波器部(分块滤波器单元)；
89-1~89-M:帧环路滤波器部(帧滤波器单元)；90-1~90-M:并行处理切换部；91:并行处理结束部(局部解码图像保存单元)；92:可变长码复用部(复用单元)；101:可变长码分离部(分离单元)；102:并行处理开始部(编码比特数据分配单元)；103:运动补偿预测帧存储器(图像存储器)；104:分块解码装置；104-1~104-N:分块解码部(分块解码单元)；105:帧解码部(帧解码单元)；106-1~106-M:滤波器参数解码部；107-1~107-M:分块环路滤波器装置；107-1-1 ~107-1-N、107-2-1 ~107-2_N、...、107-M-1 ~107-M-N:分块环路滤波器部(分块滤波器单元)；108-1~108-M:帧环路滤波器部(帧滤波器单元)；109:分块分割控制部(解码图像保存单元)；110-1~110-M:并行处理切换部；111:并行处理结束部(解码图像保存单元)。
【具体实施方式】
[0048]以下，为了更详细地说明本发明，依照【专利附图】
【附图说明】用于实施本发明的方式。
[0049]实施方式1.[0050]图1是示出本发明的实施方式I的运动图像编码装置的结构图。
[0051]在图1中，编码控制部I实施输出分块分割控制信息(分割控制信息)的处理，该分块分割控制信息指示将影像信号表示的输入图像分割为作为规定尺寸的矩形区域的分块时的分割状态。
[0052]另外，编码控制部I实施输出滤波器参数共享标志(滤波器共享标志)的处理，该滤波器参数共享标志表示是否在各分块中共用由分块编码部5-1~5-N生成的分块单位的局部解码图像的滤波处理中使用的滤波器。
[0053]另外，编码控制部I构成了分割控制单元。
[0054]分块分割控制部2以与从编码控制部I输出的分块分割控制信息指示的分割状态一致的方式，实施控制并行处理开始部3中的输入图像的分割的处理。[0055]并行处理开始部3实施在分块分割控制部2的指示下，将影像信号表示的输入图像分割为规定尺寸的分块，并将分割后的分块分配给分块编码部5-1?5-N的处理。
[0056]另外，由分块分割控制部2以及并行处理开始部3构成了分块分配单元。
[0057]运动补偿预测帧存储器4是存储滤波处理后的局部解码图像的记录介质。另外，运动补偿预测帧存储器4构成了图像存储器。
[0058]分块编码装置5安装有N个分块编码部5-1?5-N，N个分块编码部5_1?5_N独立地实施预测差分编码处理。N是I以上的整数。
[0059]分块编码部5-1?5-N实施如下处理:参照运动补偿预测帧存储器4中存储的滤波处理后的局部解码图像，实施针对由并行处理开始部3分配的分块的预测差分编码处理，从而输出作为其编码结果的比特序列数据(编码比特数据)以及编码参数(编码参数是在实施预测差分编码处理时使用的参数，与编码模式、预测差分编码参数、帧内预测参数、帧间预测参数相当)，并且生成分块局部解码图像(局部解码图像)。另外，分块编码部5-1?5-N构成了分块编码单兀。
[0060]环路滤波器控制部6实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，根据由分块编码部5-1?5-N生成的分块局部解码图像得到帧单位的局部解码图像，决定适合于帧单位的局部解码图像的帧单位的滤波器，将表示该滤波器的滤波器参数输出到分块环路滤波器装置7。
[0061]另外，环路滤波器控制部6实施如下处理:对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据输出到并行处理结束部8。
[0062]另外，环路滤波器控制部6构成了帧单位滤波器决定单元。
[0063]分块环路滤波器装置7安装有N个分块环路滤波器部7-1?7-N，N个分块环路滤波器部7-1?7-N独立地实施滤波处理。N是I以上的整数。
[0064]分块环路滤波器部7-1?7-N实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，决定适合于由分块编码部5-1?5-N生成的分块局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器来实施针对分块局部解码图像的滤波处理，并且对表示分块单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从分块编码部5-1?5-N输出的比特序列数据。
[0065]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从环路滤波器控制部6输出的滤波器参数表示的帧单位的滤波器来实施由分块编码部5-1?5-N生成的分块局部解码图像的滤波处理，并且将从分块编码部5-1?5-N输出的比特序列数据原样地输出。
[0066]另外，分块环路滤波器部7-1?7-N构成了分块滤波器单元。
[0067]并行处理结束部8实施如下处理:依照从编码控制部I输出的分块分割控制信息，组合由分块环路滤波器部7-1?7-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像存储到运动补偿预测帧存储器4中，并且将从分块环路滤波器部7-1?7-N输出的比特序列数据输出到可变长码复用部9。
[0068]另外，并行处理结束部8实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，将表示从环路滤波器控制部6输出的帧单位的滤波器的滤波器参数的编码数据输出到可变长码复用部9。
[0069]另外，并行处理结束部8构成了局部解码图像保存单元。
[0070]可变长码复用部9实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，对从并行处理结束部8输出的比特序列数据、和从编码控制部I输出的分块分割控制信息以及滤波器参数共享标志进行复用而生成比特流。
[0071]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，对从并行处理结束部8输出的比特序列数据以及表示帧单位的滤波器的滤波器参数的编码数据、和从编码控制部I输出的分块分割控制信息以及滤波器参数共享标志进行复用而生成比特流。
[0072]另外，可变长码复用部9构成了复用单元。
[0073]在图1的例子中，设想了作为运动图像编码装置的构成要素的编码控制部1、分块分割控制部2、并行处理开始部3、运动补偿预测帧存储器4、分块编码装置5、环路滤波器控制部6、分块环路滤波器装置7、并行处理结束部8以及可变长码复用部9各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了编码控制部1、分块分割控制部2、并行处理开始部3、分块编码装置5、环路滤波器控制部6、分块环路滤波器装置7、并行处理结束部8以及可变长码复用部9的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存 的程序。
[0074]图2是示出本发明的实施方式I的运动图像编码装置的处理内容(运动图像编码方法)的流程图。
[0075]图3是示出本发明的实施方式I的运动图像编码装置的分块编码部5_n(n = 1，2，…，N)的结构图。
[0076]在图3中，分块编码控制部21实施如下处理:决定作为编码对象块的尺寸的编码块尺寸，并且从可选择的I个以上的帧内编码模式以及帧间编码模式中决定针对从块分割部22输出的编码对象块的编码效率最高的编码模式。
[0077]另外，分块编码控制部21实施如下处理:在编码效率最高的编码模式是帧内编码模式的情况下，决定在按照该帧内编码模式实施针对编码对象块的帧内预测处理时使用的帧内预测参数，在编码效率最高的编码模式是帧间编码模式的情况下，决定在按照该帧间编码模式实施针对编码对象块的帧间预测处理时使用的帧间预测参数。
[0078]进而，分块编码控制部21实施决定提供给变换/量化部27、逆量化/逆变换部28以及可变长编码部31的预测差分编码参数的处理。
[0079]以后，将由分块编码控制部21决定的编码模式、预测差分编码参数、帧内预测参数或者帧间预测参数集中称为编码参数。分块编码控制部21实施将编码参数输出到分块环路滤波器部7-n(n = 1,2,…，N)的处理。
[0080]块分割部22实施如下处理:将由并行处理开始部3分配的分块分割为由分块编码控制部21决定出的编码块尺寸的块(预测处理单位的块)，输出作为预测处理单位的块的编码对象块。
[0081]切换开关23实施如下处理:如果由分块编码控制部21决定的编码模式是帧内编码模式，则将从块分割部22输出的编码对象块输出到帧内预测部24，如果由分块编码控制部21决定的编码模式是帧间编码模式，则将从块分割部22输出的编码对象块输出到运动补偿预测部25。
[0082]帧内预测部24实施如下处理:参照分块局部解码图像存储器30中保存的局部解码图像，同时使用由分块编码控制部21决定的帧内预测参数，实施针对从切换开关23输出的编码对象块的帧内预测处理，生成帧内预测图像。
[0083]另外，因为分块局部解码图像存储器30中保存的局部解码图像仅为属于相同的分块的块的局部解码图像，所以在帧内预测部24的帧内预测处理中，不参照属于不同的分块的块的局部解码图像。在参照位置的块是属于不同的分块的块的情况下，实施不需要像素参照的帧内预测处理。
[0084]运动补偿预测部25实施如下处理:比较从切换开关23输出的编码对象块和运动补偿预测帧存储器4中保存的滤波处理后的局部解码图像，搜索运动矢量，使用该运动矢量和由分块编码控制部21决定的帧间预测参数，实施针对该编码对象块的帧间预测处理(运动补偿预测处理)，生成帧间预测图像。
[0085]减法部26实施如下处理:从由块分割部22输出的编码对象块减去由帧内预测部24生成的帧内预测图像、或者减去由运动补偿预测部25生成的帧间预测图像，将作为其减法运算结果的预测差分信号(差分图像)输出到变换/量化部27。
[0086]变换/量化部27实施如下处理:参照由分块编码控制部21决定的预测差分编码参数，实施针对从减法部26输出的预测差分信号的正交变换处理(例如DCT (离散余弦变换)、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理)，计算变换系数，并且参照该预测差分编码参数对该变换系数进行量化，将作为量化后的变换系数的压缩数据(差分图像的量化系数)输出到逆量化/逆变换部28以及可变长编码部31。
[0087]逆量化/逆变换部28实施如下处理:参照由分块编码控制部21决定的预测差分编码参数，对从变换/量化部27输出的压缩数据进行逆量化，并且参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从减法部26输出的预测差分信号相当的局部解码预测差分信号。
[0088]加法部29实施如下处理:对由逆量化/逆变换部28计算出的局部解码预测差分信号、和由帧内预测部24生成的帧内预测图像或者由运动补偿预测部25生成的帧间预测图像进行加法运算，计算与从块分割部22输出的编码对象块相当的局部解码图像的处理。
[0089]分块局部解码图像存储器30是保存由加法部29计算出的局部解码图像的记录介质。在属于分块的所有编码单元(CU)的编码处理结束了的时刻，将内部保存着的I个分块的局部解码图像输出到分块环路滤波器部7-n。
[0090]可变长编码部31实施如下处理:对从变换/量化部27输出的压缩数据、从分块编码控制部21输出的编码参数、以及从运动补偿预测部25输出的运动矢量(编码模式是帧间编码模式的情况)进行可变长编码，将作为其编码结果的比特序列数据输出到分块环路滤波器部7-n。
[0091]另外，图4 是示出本发明的实施方式I的运动图像编码装置的分块编码部5-η(η=1,2,…，N)的处理内容的流程图。
[0092]图5是示出本发明的实施方式I的运动图像编码装置的分块环路滤波器部7-n (η=1,2,…，N)的结构图。
[0093]在图5中，分块环路滤波器控制部41实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，决定适合于由分块编码部5-η生成的分块局部解码图像的滤波处理的分块单位的滤波器，将表示该滤波器的滤波器参数输出到环路滤波器实施部42以及可变长编码部43。
[0094]环路滤波器实施部42在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，使用从分块环路滤波器控制部41输出的滤波器参数表示的分块单位的滤波器和从分块编码部5-η输出的编码参数，实施针对从分块编码部5-η输出的分块局部解码图像的滤波处理。
[0095]另一方面，在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从环路滤波器控制部6输出的滤波器参数表示的帧单位的滤波器和从分块编码部5-η输出的编码参数，实施针对从分块编码部5-η输出的分块局部解码图像的滤波处理。
[0096]可变长编码部43实施如下处理:在从编码控制部I输出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，对从分块环路滤波器控制部41输出的表示分块单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从分块编码部5-η输出的比特序列数据上而输出到并行处理结束部8。
[0097]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，将从分块编码部5-η输出的比特序列数据原样地输出到并行处理结束部8。
[0098]图6是示出本发明的实施方式I的运动图像解码装置的结构图。
[0099]在图6中，可变长码分离部51实施如下处理:如果输入了由图1的运动图像编码装置生成的比特流，则分离复用在该比特流上的帧单位的比特序列数据(分块单位的比特序列数据集中了的数据)、指示输入图像的分割状态的分块分割控制信息、表示是否在各分块中共用滤波器的滤波器共享标志、以及表示帧单位的滤波器的滤波器参数的编码数据(滤波器参数共享标志表示在各分块中共用滤波器的意思时)。另外，可变长码分离部51构成了分离单元。
[0100]并行处理开始部52实施将从可变长码分离部51输出的帧单位的比特序列数据分割为分块单位的比特序列数据，并将分块单位的比特序列数据分配给分块解码部54-1~54-Ν的处理。另外，并行处理开始部52构成了编码比特数据分配单元。
[0101]运动补偿预测帧存储器53是存储滤波处理后的解码图像的记录介质。另外，运动补偿预测帧存储器53构成了图像存储器。
[0102]分块解码装置54安装有N个分块解码部54-1~54_Ν，N个分块解码部54_1~54-Ν独立地实施预测差分解码处理。N是I以上的整数。
[0103]分块解码部54-1~54-Ν实施如下处理:参照运动补偿预测帧存储器53中存储的滤波处理后的解码图像，实施针对由并行处理开始部52分配的分块单位的比特序列数据的预测差分解码处理，从而生成分块解码图像(分块单位的解码图像)，并且将在实施该预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到分块环路滤波器部56-1~56-Ν。
[0104]另外，实施如下处理:在表示分块单位的滤波器的滤波器参数的编码数据被复用到比特序列数据上的情况下，将该滤波器参数的编码数据输出到分块环路滤波器部56~1 ~56-N。
[0105]另外，分块解码部54-1~54-N构成了分块解码单元。
[0106]滤波器参数解码部55实施如下处理:在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，从由滤波器参数解码部55输出的编码数据解码出表示帧单位的滤波器的滤波器参数，并将该滤波器参数输出到分块环路滤波器部56-1~56-N。
[0107]分块环路滤波器装置56安装有N个分块环路滤波器部56-1~56_N，N个分块环路滤波器部56-1~56-N独立地实施滤波处理。N是I以上的整数。
[0108]分块环路滤波器部56-1~56-N实施如下处理:在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，从由分块解码部54-1~54-N输出的编码数据解码出表示分块单位的滤波器的滤波器参数，使用该滤波器参数表示的分块单位的滤波器，实施针对由分块解码部54-1~54-N生成的分块解码图像的滤波处理。[0109]另一方面，实施如下处理:在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从滤波器参数解码部55输出的滤波器参数表示的帧单位的滤波器，实施针对由分块解码部54-1~54-N生成的分块解码图像的滤波处理。
[0110]另外，分块环路滤波器部56-1~56-N构成了分块滤波器单元。
[0111]分块分割控制部57实施如下处理:根据由可变长码分离部51分离出的分块分割控制信息而掌握分块的分割状态，以得到与原来的输入图像相当的解码图像的方式，控制并行处理结束部58中的各分块解码图像的配置。
[0112]并行处理结束部58实施如下处理:在分块分割控制部57的控制下，组合由分块环路滤波器部56-1~56-N实施滤波处理后的分块解码图像而生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器53中。
[0113]另外，由分块分割控制部57以及并行处理结束部58构成了解码图像保存单元。
[0114]在图6的例子中，设想了作为运动图像解码装置的构成要素的可变长码分离部
51、并行处理开始部52、运动补偿预测帧存储器53、分块解码装置54、滤波器参数解码部55、分块环路滤波器装置56、分块分割控制部57以及并行处理结束部58各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成了的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长码分离部51、并行处理开始部
52、分块解码装置54、滤波器参数解码部55、分块环路滤波器装置56、分块分割控制部57以及并行处理结束部58的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
[0115]图7是示出本发明的实施方式I的运动图像解码装置的处理内容(运动图像解码方法)的流程图。
[0116]图8是示出本发明的实施方式I的运动图像解码装置的分块解码部54_n(n = 1，2，…，N)的结构图。
[0117]在图8中，可变长解码部61实施如下处理:从由并行处理开始部52分配的分块单位的比特序列数据，对与作为预测处理单位的块的解码对象块(与编码对象块相当的块)有关的压缩数据、编码参数(编码模式、帧内预测参数(编码模式是帧内编码模式时)、帧间预测参数(编码模式是帧间编码模式的情况)、预测差分编码参数)、以及运动矢量(编码模式是帧间编码模式时)进行可变长解码，并且将可变长解码后的编码参数以及复用在分块单位的比特序列数据上的表示分块单位的滤波器的滤波器参数的编码数据输出到分块环路滤波器部56-η。
[0118]切换开关62实施如下处理:如果由可变长解码部61可变长解码了的编码模式是帧内编码模式，则将由可变长解码部61可变长解码了的帧内预测参数输出到帧内预测部63，如果由可变长解码部61可变长解码了的编码模式是帧间编码模式，则将由可变长解码部61可变长解码了的帧间预测参数以及运动矢量输出到运动补偿部64。
[0119]帧内预测部63实施如下处理:参照分块解码图像存储器67中保存的解码图像，同时使用从切换开关62输出的帧内预测参数，实施针对解码对象块的帧内预测处理而生成帧内预测图像。
[0120]运动补偿部64实施如下处理:参照运动补偿预测帧存储器53中保存的滤波处理后的解码图像，同时使用从切换开关62输出的运动矢量和帧间预测参数，实施针对解码对象块的帧间预测处理而生成帧间预测图像。
[0121]逆量化/逆变换部65实施如下处理:参照由可变长解码部61可变长解码了的预测差分编码参数，对由可变长解码部61可变长解码了的压缩数据进行逆量化，并且参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算解码预测差分信号。
[0122]加法部66实施如下处理:对由逆量化/逆变换部65计算出的解码预测差分信号、和由帧内预测部63生成的帧内预测图像或者由运动补偿部64生成的帧间预测图像进行加法运算，计算解码图像。
[0123]分块解码图像存储器67是保存由加法部66计算出的解码图像的记录介质。
[0124]在属于分块的所有编码单元(CU)的解码处理结束了的时刻，将所保存的I个分块的解码图像输出到分块解码部54-η的外部。
[0125]另外，图9是示出本发明的实施方式I的运动图像解码装置的分块解码部54-η (η=1,2,…，N)的处理内容的流程图。
[0126]图10是示出本发明的实施方式I的运动图像解码装置的分块环路滤波器部56-η (η = 1,2,...，N)的结构图。
[0127]在图10中，分块滤波器参数解码部71实施如下处理:在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，对由可变长码分离部51分离出的表示分块单位的滤波器的滤波器参数的编码数据进行解码，将作为其解码结果的滤波器参数输出到环路滤波器实施部72。
[0128]环路滤波器实施部72在由可变长码分离部51分离出的滤波器参数共享标志表示在各分块中不共用滤波器的意思的情况下，使用由分块滤波器参数解码部71解码出的滤波器参数表示的分块单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。
[0129]另一方面，在滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，使用从滤波器参数解码部55输出的滤波器参数表示的帧单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。
[0130]接下来，说明动作。
[0131]在该实施方式I中说明运动图像编码装置和运动图像解码装置，该运动图像编码装置将影像的各帧图像作为输入图像，在接近帧之间实施运动补偿预测，对所得到的预测差分信号实施基于正交变换/量化的压缩处理，之后，进行可变长编码而生成比特流，该运动图像解码装置对从该运动图像编码装置输出的比特流进行解码。
[0132]首先，说明图1的运动图像编码装置的动作，图1的运动图像编码装置的特征在于将输入图像分割为被称为分块的矩形区域来消除分块间的处理的依赖性，从而在编码处理中，能够进行分块等级下的并行处理。
[0133]同时，在解码处理中，特征在于输出能够进行分块等级下的并行处理的编码结果。
[0134]关于影像信号的编码处理，一般处理量与输入影像的空间/时间/亮度等级分辨率成比例地增加。
[0135]伴随摄像装置、存储装置以及传送装置等的进化，影像信号的时间/空间/亮度等级分辨率处于不断增加的倾向中，在既存的运动图像编码装置、运动图像解码装置中，无法按照规定的速度进行编码处理、解码处理。
[0136]作为对应于这样的状况的对策之一，考虑空间地分割输入图像而提供给多个编码部，使多个编码部并行地动作，从而降低处理时间。在该情况下，在解码侧，也能够将分割并编码了的数据分别提供给不同的解码部，使多个解码部并行处理解码处理，从而降低处理时间。
[0137]此处，为了更高速地执行并行处理，期望尽可能减少并行地动作的编码部/解码部间的信息的参照。这包括用于帧内预测的像素的参照、用于运动矢量预测的运动矢量信息的参照、以及用于熵编码的接近区域的编码参数信息的参照、熵编码中的码元发生概率推测模型的状态。
[0138]在进行某个区域的编码时，在通过其他编码部对接近区域并行地进行了处理的情况下，为了进行这些信息的参照，需要处理的同步，所以为了提高并行性能并不优选。
[0139]另外，除了上述的信息以外，在进行画面的滤波处理的情况下，也需要接近区域的像素参照。因此，为了提高还包括滤波处理在内的并行性能，在滤波处理中也不应进行通过其他编码部/解码部并行地进行处理的接近区域的像素参照。
[0140]在该实施方式I中，为了实现这样的运动图像编码的并行处理所要求的功能，采用如下结构:将输入图像分割为称为分块的矩形区域，设为能够以分块等级进行预测差分编码处理的并行化，并且能够进行滤波系数导出以及滤波处理的并行化，并且切换是否对滤波系数导出进行并行化。
[0141]关于图1的运动图像编码装置设为处理对象的影像信号格式，除了由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还设为单色图像信号、红外线图像信号等影像帧由水平/垂直二维的数字采样(像素)列构成的任意的影像信号。
[0142]其中，各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
[0143]在以下的说明中，为便于说明，只要没有特别限定，叙述输入图像的影像信号是YUV信号、并且处理2个色差分量U、V相对亮度分量Y而被子采样了的4:2:0格式的信号的情况。
[0144]另外，将与影像信号的各帧对应的处理数据单位称为“图片”。
[0145]在该实施方式I中，将“图片”设为顺序扫描(逐行扫描)了的影像帧信号而进行说明，但在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场图像信号。
[0146]首先，编码控制部I将分块分割控制信息输出到分块分割控制部2、并行处理结束部8以及可变长码复用部9，该分块分割控制信息指示将影像信号表示的输入图像分割为规定尺寸的分块时的分割状态。
[0147]另外，编码控制部I将表示是否在各分块中共用由分块编码部5-1?5-N生成的分块单位的局部解码图像的滤波处理中使用的滤波器的滤波器参数共享标志(在各分块中共用的情况:0N的标志、在各分块中不共用的情况:0FF的标志)输出到分块分割控制部
2、环路滤波器控制部6、分块环路滤波器部7-1?7-N以及可变长码复用部9。
[0148]分块分割控制部2如果从编码控制部I接收到分块分割控制信息，则以与该分块分割控制信息所指示的分割状态一致的方式，控制并行处理开始部3中的输入图像的分割。
[0149]并行处理开始部3如果输入了表示输入图像的影像信号，则在分块分割控制部2的指示下，将该输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部5-1?5-N(图2的步骤STl)。
[0150]此处，关于控制分块分割的信息考虑了各种表现，但例如考虑将最大尺寸的⑶(Largest⑶:IXU)作为分块的最小单位，通过包括几个IXU这样的信息来指定分块分割。
[0151]图11是示出图像的IXU分割以及分块分割的一个例子的说明图。
[0152]如图11所示，将输入图像以左上作为始点而分割为格子状地排列的IXU。如果指定了图像的高度和宽度以及IXU的一边的长度，则其分割唯一地确定。
[0153]关于分块分割，将LCU作为最小单位而进行，所以各分块的宽度以及高度能够用横边以及纵边中包含的LCU的数量来表示。
[0154]因此,作为分块分割控制信息,提供作为2个整数的序列的ColumnWidthArray []、RowHeightArray[]。
[0155]ColumnffidthArray[]是将用IXU的数量表现了横向排列的分块的宽度的值从右到左依次排列而得到的。
[0156]另外，RowHeightArray[]是将用IXU的数量表现了上下方向排列的分块的高度的值从上到下依次排列而得到的。
[0157]例如，在指定为ColumnWidthArray [] = {4, 3,6,4,6} > RowHeightArray [] = {3，3,4,5}的情况下，如图11那样进行分块分割。
[0158]另外，关于输入图像的IXU分割，根据图像尺寸和IXU的一边的长度被唯一地决定，所以即使最右列的宽度、和最下行的高度未指定，也能够根据其他行、列的信息唯一地确定。
[0159]因此,这些信息能够省略,在该情况下，指定为ColumnWidthArray口 = {4,3,6,4} > RowHeightArray [] = {3,3,4}即可。
[0160]在上述中，说明了如图11所示地将帧分割为格子状的分块的例子，但还能够进行图19所示那样的非格子状配置的更自由的分块分割。在这样的情况下，分块分割控制信息也必须是能够表现这样的分割状态的信息。例如，作为例子而例举通过分块的最左上的像素或者LCU的坐标、分块的宽度以及高度的信息来表现的情况。
[0161]另外，关于分块分割状态，既可以在整个序列中维持相同的分割状态，也可以按照帧单位进行变更，或者也可以针对帧内部图片、帧间图片等每个图片种类来切换。在整个序列中使用相同的分块分割状态的情况下，分块分割信息复用在序列的头部即可，在序列的中途进行切换的情况下，复用到刚刚切换之后的图片的图片头部即可。
[0162]另外，图1的运动图像编码装置还能够实现不进行所谓分块等级下的并行处理的动作。
[0163]在该情况下，既可以以分块的数量是I个、并且分块的尺寸与输入图像的尺寸一致的方式来指定分块分割控制信息，另外，也可以通过分块编码并行标志、分块环路滤波并行标志而将所有并行处理设为OFF。
[0164]另外，也可以将其他标志复用到分块分割控制信息，用该标志切换并行处理的实施/不实施。
[0165]以下，说明进行分块等级下的并行处理的情况，但不进行并行处理的情况的动作与整个帧是I个分块的情况的动作等同。
[0166]如上所述，并行处理开始部3将输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部5-1?5-N，但可同时并行处理的分块数以分块编码部5-1?5-N的个数为上限，所以在分块数多于分块编码部5-1?5-N的个数的情况下，对一个分块编码部5-η输出多个分块。
[0167]例如，在分块数是7、且分块编码部的个数是3的情况下，将分块I?3的处理分配给分块编码部5-1、将分块4?5的处理分配给分块编码部5-2、将分块6?7的处理分配给分块编码部5-3。
[0168]另外，在分块的分割数不足分块编码部的个数的情况下，也可以控制为对I个分块编码部分配多个分块。
[0169]在从编码控制部I输出的滤波器参数共享标志是OFF的情况(步骤ST2)下，继续进行分块编码部5-η以及分块环路滤波器部7-n的处理(步骤ST3、ST4)。
[0170]此时，反复执行分块的数量次的分块编码部5-η以及分块环路滤波器部7-n的处理(步骤ST5、ST6)，并且，各环路的处理独立，所以能够并行地执行分块编码部5-η的个数。
[0171]在滤波器参数共享标志是OFF的情况下，能够将分块的编码处理和分块的环路滤波处理集中而并行化，所以能够进一步提高编码处理的并行性。另外，滤波器参数被局部化，所以针对每个画面区域，在图像的性质显著不同的情况下，相应地画质提高。
[0172]另外，关于分块编码部5-η以及分块环路滤波器部7-n的处理内容的详情，后述。
[0173]另一方面，在从编码控制部I输出的滤波器参数共享标志是ON的情况下(步骤ST2)，分块编码部5-η反复执行分块的编码处理(步骤ST8?ST10)，直至所有分块的编码处理结束为止，如果所有分块的编码处理结束，则环路滤波器控制部6从由分块编码部5-η生成的分块局部解码图像得到作为整个画面的帧单位的局部解码图像，决定适合于帧单位的局部解码图像的帧单位的滤波器，将表示该滤波器的滤波器参数输出到分块环路滤波器部7-n以及并行处理结束部8 (步骤ST11)。关于环路滤波器控制部6的处理内容的详情，后述。
[0174]分块环路滤波器部7-n如果从环路滤波器控制部6接收到滤波器参数，则反复执行分块局部解码图像的滤波处理(步骤ST12?ST14)，直至所有分块局部解码图像的滤波处理结束为止。
[0175]在滤波器参数共享标志是ON的情况下，在所有分块中共享滤波器参数，所以相比于滤波器参数共享标志是OFF的情况，能够抑制滤波器参数的码量。另外，使用整个帧的局部解码图像而设计了滤波器参数时的做法对提高画质情况等是有效的。
[0176]但是，在滤波器参数共享标志是ON的情况下，需要在分块编码部5-η与分块环路滤波器部7-n之间使并行处理临时同步，所以编码处理的并行性能降低。
[0177]在后述运动图像解码装置中，对在滤波器参数共享标志是ON时所制作出的比特流进行解码的情况下，并行性能也不降低。
[0178]在并行处理结束部8中，如果分块环路滤波器部7-1?7-N的滤波处理完成，则依照从编码控制部I输出的分块分割控制信息，组合由分块环路滤波器部7-1?7-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像保存到运动补偿预测帧存储器4中，并且将从分块环路滤波器部7-1?7-N输出的比特序列数据输出到可变长码复用部9。
[0179]另外，在从编码控制部I输出的滤波器参数共享标志是ON的情况下，并行处理结束部8将从环路滤波器控制部6输出的表示帧单位的滤波器的滤波器参数的编码数据输出到可变长码复用部9。
[0180]可变长码复用部9在从编码控制部I输出的滤波器参数共享标志是OFF的情况下，通过规定的方式，对从并行处理结束部8输出的比特序列数据(由分块编码部5-1?5-N生成的比特序列数据)、和从编码控制部I输出的分块分割控制信息以及滤波器参数共享标志进行复用，生成比特流(步骤ST7)。
[0181]另一方面，在滤波器参数共享标志是ON的情况下，通过规定的方式，对从并行处理结束部8输出的比特序列数据(由分块编码部5-1?5-N生成的比特序列数据)、从编码控制部I输出的分块分割控制信息和滤波器参数共享标志、以及从环路滤波器控制部6输出的表示帧单位的滤波器的滤波器参数的编码数据进行复用，生成比特流(步骤ST15)。
[0182]接下来，详细说明分块编码装置5中的分块编码部5-1?5-N的处理内容。
[0183]分块编码装置5安装有N个分块编码部5-1?5-N，N个分块编码部5_1?5_N独立地实施预测差分编码处理(不进行分块间的任何的信息参照的预测差分编码处理)。
[0184]分块编码部5-η的分块编码控制部21决定最大编码块(LCU)的尺寸以及分割层数的上限，针对各IXU的图像区域，按照特定的顺序，实施图4的步骤ST21?ST31的处理。
[0185]首先，直至达到在上述决定的分割层数的上限为止，分块编码控制部21将分层地分割为具有编码块尺寸的编码对象块的指示输出到块分割部22，并且决定针对各编码对象块的编码模式(图4的步骤ST21)。
[0186]块分割部22在分块编码控制部21的指示下，将由并行处理开始部3分配的分块分割为编码块尺寸的块(预测处理单位的块)，输出作为预测处理单位的块的编码对象块。
[0187]此处，图12是示出最大编码块被分层地分割为多个编码对象块的例子的说明图。
[0188]在图12中，最大编码块是记载为“第O层”的亮度分量具有(L°，M°)的尺寸的编码对象块。
[0189]设为将LCU尺寸的块作为出发点，在四叉树构造中直至另行确定的规定的深度为止，分层地进行分割，从而得到编码对象块。
[0190]在深度n，编码对象块是尺寸(Ln，Mn)的图像区域。
[0191]其中，1^和Mn既可以相同也可以不同，但在图12中示出Ln = M1^A情形。
[0192]以后，将由分块编码控制部21决定的编码块尺寸定义为编码对象块的亮度分量中的尺寸(Ln，Mn)。
[0193]由于进行四叉树分割，所以(Ln+1，Mn+1) = (Ln/2，Mn/2)始终成立。
[0194]另外，在RGB信号等所有颜色分量具有同一采样数的彩色影像信号(4:4:4格式)中，所有颜色分量的尺寸成为(Ln，Mn)，但在处理4:2:0格式的情况下，对应的色差分量的编码块尺寸成为(Ln/2，Mn/2)。
[0195]以后，设为用Bn表示第η层的编码对象块，用m(Bn)表示在编码对象块Bn中可选择的编码模式。
[0196]在由多个颜色分量构成的彩色影像信号的情况下，关于编码模式m(Bn)，既可以构成为针对每个颜色分量分别使用个别的模式，也可以构成为针对所有颜色分量使用共用的模式。以后，只要没有特别限定，设为表示针对YUV信号、4:2:0格式的编码块的亮度分量的编码模式而进行说 明。
[0197]在编码模式m(Bn)中，有一个或者多个帧内编码模式(总称为“INTRA”)、和一个或者多个帧间编码模式(总称为“INTER”)，分块编码控制部21从该图片中可利用的所有编码模式或者其子集中，选择针对编码对象块Bn的编码效率最高的编码模式。
[0198]进而，如图13所示，编码对象块Bn由块分割部22分割为一个或者多个预测处理单位(分区)。
[0199]以后，将属于编码对象块Bn的分区记载为PinQ是第η层中的分区编号)。
[0200]关于在编码模式m(Bn)中作为信息包括如何进行编码对象块Bn的分区分割。
[0201]关于分区ΡΛ依照所有编码模式m (Bn)进行预测处理，但针对每个编码对象块Bn或者分区ΡΛ选择预测参数。
[0202]分块编码控制部21针对最大编码块，例如，生成图13所示那样的块分割状态，确定编码对象块。
[0203]图13(a)的斜线部分表示分割后的分区的分布，在图13(b)中，用四叉树图表示出通过分层地分割分配编码模式m(Bn)的状况。
[0204]图13(b)的□所包围的节点是分配了编码模式m(Bn)的节点(编码对象块)。
[0205]切换开关23在由分块编码控制部21决定的编码模式m(Bn)是帧内编码模式的情况(m(Bn) e INTRA的情况)下，将从块分割部22输出的编码对象块Bn输出到帧内预测部24。
[0206]另一方面，在由分块编码控制部21决定的编码模式m(Bn)是帧间编码模式的情况(m(Bn) e INTER的情况)下，将从块分割部22输出的编码对象块Bn输出到运动补偿预测部25。
[0207]在帧内预测部24中，如果由分块编码控制部21决定的编码模式m(Bn)是帧内编码模式(m(Bn) e INTRA的情况)，且从切换开关23接收到编码对象块Bn (步骤ST22)，则参照分块局部解码图像存储器30中保存的局部解码图像，同时使用由分块编码控制部21决定的帧内预测参数，实施针对该编码对象块Bn内的各分区Pi11的帧内预测处理，生成帧内预测图像PINTKAin(步骤ST23)。
[0208]另外，分块局部解码图像存储器30中保存的局部解码图像仅为属于当前分块的块的局部解码图像，所以关于分块端部的帧内预测处理，进行与不需要邻接像素的参照的画面端部的帧内预测同样的处理。
[0209]另外，图6的运动图像解码装置需要生成与帧内预测图像？1_广完全相同的帧内预测图像，所以从分块编码控制部21将在帧内预测图像PINTKAin的生成中使用的帧内预测参数输出到可变长编码部31，并复用到比特流上。
[0210]在运动补偿预测部25中，如果由分块编码控制部21决定的编码模式m(Bn)是帧间编码模式(m(Bn) e INTER的情况)，且从切换开关23接收到编码对象块Bn (步骤ST22)，则比较该编码对象块Bn内的各分区Pi11和运动补偿预测帧存储器4中保存的滤波处理后的局部解码图像而搜索运动矢量，使用该运动矢量和由分块编码控制部21决定的帧间预测参数，实施针对该编码对象块Bn内的各分区Pi11的帧间预测处理，生成帧间预测图像PINTEKin(步骤 ST24)。
[0211]另外，图6的运动图像解码装置需要生成与帧间预测图像P—^完全相同的帧间预测图像，所以从分块编码控制部21将在帧间预测图像PINTEKin的生成中使用的帧间预测参数输出到可变长编码部31，并复用到比特流上，从运动补偿预测部25将该运动矢量输出到可变长编码部31，并复用到比特流上。
[0212]如果从块分割部22接收到编码对象块Bn，则减法部26从该编码对象块Bn内的分区PA减去由帧内预测部24生成的帧内预测图像PINTKAin、或者减去由运动补偿预测部25生成的帧间预测图像pINTEKin，将作为其减法运算结果的预测差分信号ein输出到变换/量化部27 (步骤 ST25)。
[0213]如果从减法部26接收到预测差分信号θΛ则变换/量化部27参照由分块编码控制部21决定的预测差分编码参数，实施针对该预测差分信号ein的正交变换处理(例如DCT(离散余弦变换)、预先对特定的学习序列进行了基底设计的KL变换等正交变换处理)，计算该变换系数。
[0214]另外，变换/量化部27参照该预测差分编码参数，对该变换系数进行量化，将作为量化后的变换系数的压缩数据输出到逆量化/逆变换部28以及可变长编码部31 (步骤ST26)。
[0215]如果从变换/量化部27接收到压缩数据，则逆量化/逆变换部28参照由分块编码控制部21决定的预测差分编码参数而对该压缩数据进行逆量化。
[0216]另外，逆量化/逆变换部28参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理(例如逆DCT、逆KL变换等)，计算与从减法部26输出的预测差分信号ein相当的 局部解码预测差分信号(步骤ST29)。
[0217]如果从逆量化/逆变换部28接收到局部解码预测差分信号，则加法部29对该局部解码预测差分信号、和由帧内预测部24生成的帧内预测图像PINTKAin、或者由运动补偿预测部25生成的帧间预测图像PINTEKin进行加法运算，作为局部解码分区图像或者该局部解码分区图像的集合，计算与从块分割部22输出的编码对象块Bn相当的局部解码图像(步骤ST30)。
[0218]另外，加法部29将该局部解码图像保存到分块局部解码图像存储器30中。该局部解码图像为当前分块中的以后的帧内预测用的图像信号。
[0219]在可变长编码部31中，如果针对所有编码对象块Bn的步骤ST22?ST30的处理完成(步骤ST27、ST28)，则对从变换/量化部27输出的压缩数据、从分块编码控制部21输出的编码模式m(Bn)、从分块编码控制部21输出的帧内预测参数(编码模式是帧内编码模式时)或者帧间预测参数(编码模式是帧间编码模式时)、以及从运动补偿预测部25输出的运动矢量(编码模式是帧间编码模式时)进行可变长编码，生成表示这些编码结果的比特序列数据(步骤ST31)。
[0220]另外，在作为可变长编码的手法例如使用了上下文自适应型算术编码等的情况下，与编码的行进配合而更新可变长编码部31的内部的状态，但关于其内部状态的初始值，设为使用规定的固定值或者从图1的并行处理开始部3输出的值，不继承分块间的状态。
[0221]另外，在分块编码部5-η的动作中，在包括上述帧内预测、可变长码的任意处理中，都不进行属于与当前分块不同的分块的块的编码参数、局部解码图像的参照。分块端部的参照处理被置换为不需要任何参照的处理。
[0222]关于置换为什么样的处理，需要在运动图像编码装置和运动图像解码装置中一致，但既可以在编码侧和解码侧固定地进行相同的处理，也可以发送表示处理内容的信号。
[0223]以上，分块编码部5-1?5-Ν的处理在各分块中独立，可并行执行。
[0224]另外，在针对分块编码部5-1?5-Ν的一个模块从并行处理开始部3输出了多个分块的情况下，该模块针对各个分块逐次地实施编码处理。另外，即使是通过相同的模块编码了的分块彼此，也维持分块间的独立性，以使所输出的比特序列与并行地处理了的情况相等的方式动作。
[0225]另外，在分块编码部5-η中，也可以将当前分块分割为被称为切片的I个以上的构造体来进行处理。切片是进一步分割分块的构造体，包括连续地处理的I个以上的LCU、或者比LCU更小的编码块。在相同的切片的内部中，能够使用针对每个切片独立地决定的参数、模式。另外，能够与分块同样地，进行禁止属于与当前切片不同的切片的块的信息的参照、或者在切片的开头的块中对熵编码的内部状态进行初始化等处理。切片与分块同样地具有易于进行并行处理的效果。另外，对通过I切片的处理输出的比特序列进行分组化等，能够将数据用于分组。另外，在误差容限方面也有优点。
[0226]在将分块内分割为切片的情况下，切片的分割信息、各切片独立的参数、模式信息以及表示是否进行跨越切片间的信息参照的标志等信息被复用到比特流上而传送到解码侧。
[0227]在作为可变长编码的手法使用所述上下文自适应型算术编码的情况下，上下文自适应算术编码处理的运算复杂，所以有时成为处理速度的瓶颈。为了提高分块编码处理的并行处理性，期望所有分块的编码同时结束，所以构成为按照切片单位限制上下文自适应算术编码的处理的一部分。
[0228]具体而言，在切片头部中复用可变长编码处理控制信息，在所述可变长编码处理控制信息表示限制为不进行上下文切换的情况下，在该切片中，不进行上下文切换而进行自适应算术编码。同样地，在所述可变长编码处理控制信息表示限制为不进行上下文切换以及自适应处理的情况下，在该切片中，不进行上下文切换以及自适应处理而进行算术编码。通过构成为这样，能够适当地省略上下文切换、自适应处理而进行可变长编码处理，所以关于判断为编码所需的时间比其他分块更长的分块，在接下来处理的切片中如上述那样对编码处理施加限制，从而能够高速地进行分块的编码处理，能够缩短与其他分块的编码处理时间的差，所以能够提高分块的并行处理性。
[0229]此处，以上下文自适应算术编码为例子进行了说明，但即使是其他任意的可变长编码手法，如果即使去掉其一部分的处理仍然能够进行可变长编码，则能够通过同样的单元得到同样的效果。
[0230]接下来，详细说明分块环路滤波器装置7中的分块环路滤波器部7-1?7-N的处理内容。
[0231]在分块环路滤波器部7-n中，进行校正局部解码图像中包含的编码失真的滤波器的设计、滤波处理。
[0232]此处，环路滤波处理是对所输入了的局部解码图像串序地实施不同的一种以上的环路滤波器(缓和块边界的不连续的解块滤波器、自校正量化误差所致的直流分量的变动和边缘的不连续的SAO(Sample Adaptive Offset:采样点自适应偏移)、每次设计使与输入图像的误差为最小的滤波器的自适应型环路滤波器)的滤波处理。此时，在哪个滤波处理中都实施不进行跨越分块的像素、其他信息的参照的滤波处理。
[0233]在从图1的编码控制部I输出的滤波器参数共享标志是ON的情况下，使用从环路滤波器控制部6输出的滤波器参数表示的帧单位的滤波器。
[0234]另一方面，在滤波器参数共享标志是OFF的情况下，分块环路滤波器控制部41决定适合于从分块编码部5-η输出的分块局部解码图像的分块单位的滤波器，并使用该滤波器。
[0235]以下，说明分块编码部5-η使用的滤波器是自适应型环路滤波器(ALF =AdaptiveLoop Filter)的例子。
[0236]ALF是将画面分割为一定数的滤波器定义区域，并且针对每个滤波器定义区域定义局部解码图像和输入图像的误差为最小的滤波器的手法。
[0237]ALF中的滤波器参数为表示分割区域的形状、对各区域定义的滤波器的形状以及滤波系数的信息。
[0238]此处，为便于说明，考虑使用了将滤波器定义区域数设为16、将处理单位的矩形(帧或者分块)分割为4X4的矩形区域的区域分割手法的情况。
[0239]图1的环路滤波器控制部6在从编码控制部I输出的滤波器参数共享标志是ON的情况下，将I帧局部解码图像分割为4X4的16个滤波器定义区域(参照图14(a))，针对各个滤波器定义区域的每一个决定滤波形状以及滤波系数。
[0240]另外，求出各滤波器定义区域的各分块内的相对位置信息，将该相对位置信息以及滤波形状/滤波系数信息作为滤波器参数而输出到各分块。
[0241]如果分块环路滤波器部7-N的环路滤波器从环路滤波器控制部6接收到滤波器定义区域的相对位置以及滤波形状/滤波系数信息，则实施部42根据该相对位置以及滤波形状/滤波系数信息来实施滤波处理。[0242]在图14的例子中，在滤波器参数共享标志是OFF的情况下，能够针对各分块设计16种滤波器，所以作为整个帧而设计144种滤波器。
[0243]因此，考虑例如针对图像的特性局部地大幅变化那样的图像来说，对画质的改善效果更大的优点。
[0244]另一方面，还考虑针对各个分块设计16种滤波器这件事，在画质改善方面不稳，反倒是滤波器参数的码量的增加成为问题。
[0245]在这样的情况下，通过将滤波器参数共享标志设为0N，能够削减滤波器参数的码量，高效地进行环路滤波处理。
[0246]分块环路滤波器控制部41在滤波器参数共享标志是OFF的情况下，针对每个分块独立地进行滤波器定义区域的分割，针对各滤波器定义区域决定滤波形状/滤波系数(参照图14(b))，将滤波器定义区域信息以及滤波形状/滤波系数信息作为滤波器参数而输出到环路滤波器实施部42。
[0247]环路滤波器实施部42如果从分块环路滤波器控制部41接收到滤波器定义区域信息以及滤波形状/滤波系数信息，则根据该滤波器定义区域信息以及滤波形状/滤波系数信息来实施滤波处理。
[0248]可变长编码部43在滤波器参数共享标志是OFF的情况下，对从分块环路滤波器控制部41输出的滤波器定义区域信息以及滤波形状/滤波系数信息进行可变长编码，将其编码结果复用到从分块编码部5-η输出的比特序列数据上而输出到并行处理结束部8。
[0249]另一方面，在滤波器参数共享标志是ON的情况下，将从分块编码部5-η输出的比特序列数据原样地输出到并行处理结束部8。
[0250]以上，在滤波器参数共享标志是ON的情况下，在帧中滤波器参数被定义为最多I组，但在滤波器参数共享标志是OFF的情况下，针对每个分块将滤波器参数定义为最多I组。
[0251]在滤波器参数共享标志是ON的情况下，例如如图15 (a)所示，滤波器参数在比特流上被复用为图片的头部。
[0252]在滤波器参数共享标志是OFF的情况下，例如如图15 (b)所示，针对每个分块定义的滤波器参数组在比特流上，作为分块的头部而被复用到各分块数据的开头位置。
[0253]如上所述，环路滤波器实施部42使用从环路滤波器控制部6或者分块环路滤波器控制部41输出的滤波器参数表示的滤波器，实施针对分块局部解码图像的滤波处理。
[0254]此时，在分块边界处，实施不参照与当前分块不同的分块的像素的滤波。
[0255]例如，在使用图16 (a)所示的滤波形状的线性滤波器的情况下，在滤波器边界，如图16(b)所示，以不参照滤波器边界的外部的方式，变更滤波形状。
[0256]或者，通过如图16(c)所示，拷贝滤波器边界附近的像素那样的处理，实施不参照与当前分块不同的分块的像素的滤波处理。
[0257]关于不需要不同的分块间的像素参照的滤波手法，需要在运动图像编码装置和运动图像解码装置中一致，但既可以在编码侧和解码侧固定地进行相同的手法，也可以发送表不处理内容的信号。
[0258]即使在滤波器参数共享标志是0N，且在与当前分块邻接的分块中使用相同的滤波器参数的情况下，也不进行跨越分块的像素参照。[0259]通过不进行跨越分块的像素参照，能够实现分块编码部7-N的环路滤波处理的并行化，并且能够在由该分块编码部7-n制作的比特流的解码中，实现环路滤波处理的并行化。
[0260]接下来，具体地说明图6的运动图像解码装置的处理内容。
[0261]如果输入了由图1的运动图像编码装置生成的比特流，则可变长码分离部51分离在该比特流上复用的滤波器参数共享标志，将该滤波器参数共享标志输出到滤波器参数解码部55以及分块环路滤波器部56-η。
[0262]另外，可变长码分尚部51分尚在比特流上复用的分块分割控制信息,将该分块分割控制信息输出到分块分割控制部57，如果该滤波器参数共享标志是0Ν，则分离在比特流上复用的表示帧单位的滤波器的滤波器参数的编码数据，将该滤波器参数的编码数据输出到滤波器参数解码部55。
[0263]另外，可变长码分离部51将复用在比特流上的比特序列数据分离出分块的个数，将该比特序列数据输出到并行处理开始部52(图7的步骤ST41)。
[0264]分块分割控制部57如果从可变长码分离部51接收到分块分割控制信息，则根据该分块分割控制信息而掌握分块的分割状态(步骤ST42)，控制后述并行处理结束部58中的各分块解码图像的配置，以得到与原来的输入图像相当的解码图像。
[0265]并行处理开始部52如果从可变长码分离部51接收到分块的个数的比特序列数据(帧单位的比特序列数据)，则分割为分块单位的比特序列数据，将分块单位的比特序列数据分配给分块解码部54-1?54-Ν。
[0266]滤波器参数解码部55在从可变长码分离部51输出的滤波器参数共享标志是ON的情况下(步骤ST43)，从由可变长码分离部51输出的编码数据解码出表示帧单位的滤波器的滤波器参数，将该滤波器参数输出到分块环路滤波器部56-η (步骤ST44)。
[0267]分块解码部54-η的处理和分块环路滤波器部56_η的处理是连续地进行的(步骤ST45、ST46)，针对所有分块反复执行这2个处理(步骤ST47、ST48)。
[0268]关于步骤ST45?ST48的环路内的处理，如后述那样，在各分块中独立，所以能够并行地执行。
[0269]与图1的运动图像编码装置不同，不管滤波器参数共享标志的0N/0FF如何，都能够将步骤ST45?ST48的处理集中并行化。
[0270]在并行处理结束部58中，如果所有分块的解码处理和环路滤波处理完成(步骤47)，则在分块分割控制部57的控制下，组合由分块环路滤波器部56-1?56-Ν实施滤波处理后的分块解码图像而生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器53中，并且将该解码图像作为再生图像而输出到外部。
[0271]接下来，详细说明分块解码装置54中的分块解码部54-1?54_Ν的处理内容。
[0272]分块解码装置54安装有N个分块解码部54-1?54_Ν，N个分块解码部54_1?54-Ν独立地实施预测差分解码处理(不进行分块间的任何信息参照的预测差分解码处理)。
[0273]分块解码部54-η的可变长解码部61如果输入了由并行处理开始部52分配的分块单位的比特序列数据，则通过与图3的分块编码控制部21同样的方法，决定最大编码块(LCU)的尺寸和分割层数的上限。[0274]在可变长解码部61中，如果决定了最大编码块的尺寸和分割层数的上限，则从分块单位的比特序列数据解码出分配给最大编码块的编码模式Hl(Bn)，并解码出该编码模式Hi(Bn)中包含的表示最大编码块的分割状态的信息(图9的步骤ST51)。
[0275]在可变长解码部61中，如果对表示最大编码块的分割状态的信息进行了解码，则根据该分割状态，确定分层地分割了的解码对象块(与图1的运动图像编码装置的“编码对象块”相当的块)(步骤ST52)。
[0276]可变长解码部61在对解码对象块(编码对象块)分配的编码模式m(Bn)是帧内编码模式的情况下，从分块单位的比特序列数据，针对该解码对象块中包含的I个以上的每个分区，解码出帧内预测参数。
[0277]另一方面，在分配给解码对象块(编码对象块)的编码模式m(Bn)是帧间编码模式的情况下，从分块单位的比特序列数据，针对每个解码对象块、或者针对该解码对象块中包含的I个以上的每个分区解码出帧间预测参数以及运动矢量(步骤ST53)。
[0278]可变长解码部61进一步根据预测差分编码参数中包含的变换块尺寸的信息，将成为预测处理单位的分区分割为成为变换处理单位的一个或者多个分区，从分块单位的比特序列数据，针对每个作为变换处理单位的分区解码压缩数据(变换/量化后的变换系数)(步骤 ST53)。
[0279]在可变长解码部61中，滤波器参数共享标志是0FF，所以在表示分块单位的滤波器的滤波器参数的编码数据被复用到了分块单位的比特序列数据上的情况下，分离该编码数据而输出到分块环路滤波器部56-η。
[0280]另外，可变长解码部61将编码参数输出到分块环路滤波器部56-η。
[0281]在切换开关62中，如果由可变长解码部61可变长解码了的编码模式m(Bn)是帧内编码模式(m(Bn) e INTRA的情况)，则将由可变长解码部61可变长解码了的帧内预测参数输出到帧内预测部63。
[0282]另一方面，如果由可变长解码部61可变长解码了的编码模式m(Bn)是帧间编码模式(m(Bn) e INTER的情况)，则将由可变长解码部61可变长解码了的帧间预测参数以及运动矢量输出到运动补偿部64。
[0283]另外，在输入了的比特序列数据使用了上下文自适应型算术码等根据过去的块的编码结果而内部状态变化的编码方式的情况下，关于可变长解码部61的内部状态的初始值，使用与图3的可变长编码部31同样的值，不进行分块间的继承。
[0284]在帧内预测部63中，如果由可变长解码部61可变长解码了的编码模式m (Bn)是帧内编码模式(m(Bn) e INTRA的情况)，且从切换开关62接收到帧内预测参数(步骤ST54)，则按照与图3的帧内预测部24同样的步骤，参照分块解码图像存储器67中保存的解码图像，同时使用从切换开关62输出的帧内预测参数，实施针对解码对象块&内的各分区Pi11的帧内预测处理，生成帧内预测图像PINTKAin(步骤ST55)。
[0285]在运动补偿部64中，如果由可变长解码部61可变长解码了的编码模式m (Bn)是帧间编码模式(m(Bn) e INTER的情况)，且从切换开关62接收到帧间预测参数以及运动矢量(步骤ST54)，则参照运动补偿预测帧存储器53中保存的滤波处理后的解码图像，同时使用从切换开关62输出的运动矢量和帧间预测参数，实施针对解码对象块Bn或者分区Pi11的帧间预测处理，生成帧间预测图像PINTEKin(步骤ST56)。[0286]但是，在针对解码对象块Bn内的所有分区ΡΛ决定了共用的帧间预测模式和共用的参照图像指示索引的情况下，运动补偿部64使用该参照图像指示索引表示的所有分区Pi11中共用的参照图像、和每个分区Pi11的运动矢量，实施针对该分区Pi11的帧间预测处理而生成帧间预测图像PINTEKin。
[0287]逆量化/逆变换部65如果从可变长解码部61接收到压缩数据以及预测差分编码参数，则按照与图3的逆量化/逆变换部28同样的步骤，参照该预测差分编码参数，对该压缩数据进行逆量化，并且参照该预测差分编码参数，实施针对作为逆量化后的压缩数据的变换系数的逆正交变换处理，计算与从图3的减法部26输出的预测差分信号相当的解码预测差分信号(步骤ST57)。
[0288]加法部66对由逆量化/逆变换部65计算出的解码预测差分信号、和由帧内预测部63生成的帧内预测图像PINTEAin或者由运动补偿部64生成的帧间预测图像PINTEKin进行加法运算，作为解码对象块内包含的一个或者多个解码分区图像的集合，将解码图像保存到分块解码图像存储器67中(步骤ST58)。
[0289]该解码图像成为以后的帧内预测用的图像信号。
[0290]在分块解码部54-η中，在包括上述帧内预测、可变长解码在内的任意的处理中都不进行与当前分块不同的块的解码参数以及解码图像的参照。分块端部的参照处理被置换为与编码侧同样的不需要参照的处理。因此，分块解码部54-η的处理在各分块中独立，能够并行执行。
[0291]另外，在分块解码部54-η中，如上述那样在编码侧分块内被分割为切片的情况下，根据复用在比特流上的切片分割信息将当前分块分割为切片，依照针对每个切片独立地定义了的参数以及模式信息来进行解码处理。
[0292]另外，在作为可变长解码单元使用上下文自适应算术解码的情况下，对复用在切片头部的可变长编码处理控制信息进行解码，在所述可变长编码处理控制信息表示限制为不进行上下文切换的情况下，在该切片中不进行上下文切换而进行自适应算术解码。同样地，在所述可变长编码处理控制信息表示限制为不进行上下文切换以及自适应处理的情况下，在该切片中，不进行上下文切换以及自适应处理而进行算术解码。通过这样构成，能够对由本发明的编码单元生成的比特流适当地进行解码。此处，以上下文自适应算术解码为例子进行了说明，但即使是其他任意的可变长解码手法，如果即使去掉其一部分的处理仍能够进行可变长解码，则通过同样的单元能够得到同样的效果。
[0293]接下来，详细说明分块环路滤波器装置56中的分块环路滤波器部56-1?56-Ν的处理内容。
[0294]分块环路滤波器部56-η的分块滤波器参数解码部71在由可变长码分离部51分离出的滤波器参数共享标志是OFF的情况下，从由分块解码部54-η输出的滤波器参数的编码数据解码出表示分块单位的滤波器的滤波器参数，将作为其解码结果的滤波器参数输出到环路滤波器实施部72。
[0295]因为由可变长码分离部51分离出的滤波器参数共享标志是0FF，所以环路滤波器实施部72如果从分块滤波器参数解码部71接收到滤波器参数，则使用该滤波器参数表示的分块单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。[0296]另一方面，因为由可变长码分离部51分离出的滤波器参数共享标志是0N，所以如果从滤波器参数解码部55接收到滤波器参数，则使用该滤波器参数表示的帧单位的滤波器和由分块解码部54-η的可变长解码部61可变长解码了的编码参数，实施针对从分块解码部54-η输出的分块解码图像的滤波处理。
[0297]环路滤波器实施部72进行与图5的环路滤波器实施部42相同的处理。即，进行不进行跨越不同的分块的像素参照的滤波处理，所以分块环路滤波器部45-η的处理在各分块中独立，能够并行执行。
[0298]如以上说明，根据该实施方式1，构成为设置:编码控制部1，输出指示输入图像的分割状态的分割控制信息；并行处理开始部3，依照从编码控制部I输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块；以及N个分块编码部5-1~5-Ν，参照运动补偿预测帧存储器4中存储的局部解码图像，实施针对由并行处理开始部3分配的分块的预测差分编码处理，从而输出作为作为其编码结果的编码比特数据，并且根据该编码比特数据而生成局部解码图像，N个分块环路滤波器部7-1~7-Ν决定适合于由分块编码部5-1~5-Ν生成的局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器，实施针对该局部解码图像的滤波处理，所以起到能够在分块等级下并行地进行环路滤波器的处理的效果。
[0299]实施方式2.[0300]在该实施方式2中，说明针对上述实施方式I中的运动图像编码装置追加了分块等级下的并行处理的实施/不实施的切换功能的运动图像编码装置。
[0301]另外，说明能够从由该运动图像编码装置制作出的比特流解码出运动图像的运动图像解码装置。
[0302]图17是示出本发明的实施方式2的运动图像编码装置的结构图。
[0303]在图17中，编码控制部81与图1的编码控制部I同样地，实施输出分块分割控制信息(分割控制信息)的处理，该分块分割控制信息指示将影像信号表示的输入图像分割为规定尺寸的分块时的分割状态。
[0304]另外，编码控制部81实施如下处理:输出表示是否分割输入图像而并行化的编码并行标志(分割标志)，并且按照滤波处理的每个种类，输出表示是否在各分块中共用该滤波处理中使用的滤波器的滤波器参数共享标志(滤波器共享标志)#1~Μ。
[0305]进而，编码控制部81实施输出表示前级的处理部与后级的处理部的连接关系的环路滤波器并行标志#1~M的处理。
[0306]另外，编码控制部81构成了分割控制单元。
[0307]分块分割控制部82实施如下处理:以与从编码控制部81输出的分块分割控制信息指示了的分割状态一致的方式，控制并行处理开始部83中的输入图像的分割。
[0308]并行处理开始部83实施如下处理:在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，在分块分割控制部2的指示下，将影像信号表示的输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部85-1~85-Ν。
[0309]另一方面，实施如下处理:在编码并行标志表示不将输入图像分割而并行化的意思的情况下，不分割影像信号表示的输入图像，将作为帧单位的图像的输入图像输出到帧编码部86。[0310]另外，由分块分割控制部82以及并行处理开始部83构成了分块分配单元。
[0311]运动补偿预测帧存储器84是存储滤波处理后的局部解码图像的记录介质。另外，运动补偿预测帧存储器84构成了图像存储器。
[0312]分块编码装置85安装有N个分块编码部85-1~85_N，N个分块编码部85_1~85-N独立地实施预测差分编码处理。N是I以上的整数。
[0313]分块编码部85-1~85-N与图1的分块编码部5_1~5_N同样地，实施如下处理:参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对由并行处理开始部83分配的分块的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成分块局部解码图像(局部解码图像)。另外，分块编码部85-1~85-N构成了分块编码单兀。
[0314]帧编码部86实施如下处理:参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对输入图像(未由并行处理开始部83分割的帧单位的图像)的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成帧局部解码图像(局部解码图像)。另外，帧编码部86构成了帧编码单元。
[0315]环路滤波器控制部87-1~87-M实施如下处理:在从编码控制部81输出的滤波器参数共享标志#1~M表示在各分块中共用滤波器的意思的情况下，根据从并行处理切换部
90-1~90-M输出的分块局部解码图像而得到帧单位的局部解码图像，决定适合于帧单位的局部解码图像的帧单位的滤波器，将表示该滤波器的滤波器参数输出到分块环路滤波器装置88-1~88-M。
[0316]另外，环路滤波器控制部87-1~87-M实施如下处理:对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据输出到并行处理结束部91。
[0317]分块环路滤波器装置88-1~87-M是实施相互不同的种类的滤波处理的滤波器装置，安装有N个分块环路滤波器部88-m-l~88-m-N(m = 1,2,…，Μ)，N个分块环路滤波器部88-m-l~88-m-N独立地实施滤波处理。M是I以上的整数。
[0318]分块环路滤波器部88-m_n(n = 1,2,…，N)实施如下处理:在从编码控制部81输出的滤波器参数共享标志#m表示在各分块中不共用滤波器的意思的情况下，决定适合于从并行处理切换部90-m输出的分块局部解码图像的滤波处理的分块单位的滤波器，并使用该滤波器来实施针对分块局部解码图像的滤波处理，并且对表示分块单位的滤波器的滤波器参数进行可变长编码，将其编码结果复用到从并行处理切换部90-1~90-M输出的比特序列数据上。
[0319]另一方面，实施如下处理:在滤波器参数共享标志#m表示在各分块中共用滤波器的意思的情况下，使用从环路滤波器控制部87-m输出的滤波器参数表示的帧单位的滤波器来实施从并行处理切换部90-m输出的分块局部解码图像的滤波处理，并且原样地输出从并行处理切换部90-m输出的比特序列数据。
[0320]另外，分块环路滤波器部88-1-1 ~88-1-Ν、88-2-1 ~88-2-N、...、88-Μ_1 ~
88-M-N构成了分块滤波器单元。
[0321]帧环路滤波器部89-m实施如下处理:在从并行处理切换部90_m输出了分块局部解码图像的情况下，决定适合于根据该分块局部解码图像得到的帧局部解码图像(帧单位的局部解码图像)的滤波处理的帧单位的滤波器，在从并行处理切换部90-m输出了帧局部解码图像的情况下，决定适合于该帧局部解码图像的帧单位的滤波器，使用帧单位的滤波器来实施针对帧局部解码图像的滤波处理，并且对表示帧单位的滤波器的滤波器参数进行可变长编码，将其编码结果复用到从并行处理切换部90-1?90-M输出的比特序列数据上。另外，帧环路滤波器部89-1?89-M构成了帧滤波器单元。
[0322]并行处理切换部90-m实施依照从编码控制部81输出的环路滤波器并行标志#m来控制前级的处理部与后级的处理部的连接关系的处理。
[0323]由此，即使在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，在从编码控制部81输出的滤波器参数共享标志#1?M中的例如滤波器参数共享标志表示在各分块中共用滤波器的意思的情况下，也将从前级的处理部输出的局部解码图像、编码参数以及比特序列数据输出到帧环路滤波器部89-x，而并不输出到分块环路滤波器部88-x-n。
[0324]并行处理结束部91实施如下处理:在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#M表示在各分块中不共用滤波器的意思，则依照从编码控制部81输出的分块分割控制信息而组合由分块环路滤波器部88-M-1?88-M-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像保存到运动补偿预测帧存储器84中，并且将从分块环路滤波器部88-M-1?88-M-N输出的比特序列数据输出到可变长码复用部92。
[0325]另外，实施如下处理:在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#1表示在各分块中共用滤波器的意思，则将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部88-M输出的比特序列数据输出到可变长码复用部92。
[0326]另一方面，实施如下处理:在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部88-M输出的比特序列数据输出到可变长码复用部92。
[0327]另外，并行处理结束部91构成了局部解码图像保存单元。
[0328]可变长码复用部92实施如下处理:对从并行处理结束部91输出的比特序列数据、从编码控制部81输出的分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M以及滤波器参数共享标志#1?M、以及表示由分块环路滤波器部88-m-n或者帧环路滤波器部
89-m决定的滤波器的滤波器参数的编码数据进行复用而生成比特流。
[0329]另外，可变长码复用部92构成了复用单元。
[0330]在图17的例子中，设想了作为运动图像编码装置的构成要素的编码控制部81、分块分割控制部82、并行处理开始部83、运动补偿预测帧存储器84、分块编码装置85、帧编码部86、环路滤波器控制部87-1?87-M、分块环路滤波器装置88_1?88-M、帧环路滤波器部89-1?89-M、并行处理切换部90-1?90-M、并行处理结束部91以及可变长码复用部92各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成了的例子，但在运动图像编码装置由计算机构成的情况下，也可以将记述了编码控制部81、分块分割控制部82、并行处理开始部83、分块编码装置85、帧编码部86、环路滤波器控制部
87-1?87-M、分块环路滤波器装置88-1?88-M、帧环路滤波器部89_1?89-M、并行处理切换部90-1?90-M、并行处理结束部91以及可变长码复用部92的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
[0331]图18是示出本发明的实施方式2的运动图像解码装置的结构图。
[0332]在图18中，可变长码分离部101实施如下处理:如果输入了由图17的运动图像编码装置生成的比特流，则分离复用在该比特流上的比特序列数据、分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M、滤波器参数共享标志#1?M以及滤波器参数的编码数据。另外，可变长码分离部101构成了分离单元。
[0333]并行处理开始部102实施如下处理:在由可变长码分离部101分离出的编码并行标志表示将输入图像分割而并行化的意思的情况下，将从可变长码分离部101输出的帧单位的比特序列数据分割为分块单位的比特序列数据，将分块单位的比特序列数据分配给分块解码部104-1?104-N。
[0334]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，实施将从可变长码分离部101输出的帧单位的比特序列数据输出到帧解码部105的处理。另夕卜，并行处理开始部102构成了编码比特数据分配单元。
[0335]运动补偿预测帧存储器103是存储滤波处理后的解码图像的记录介质。另外，运动补偿预测帧存储器103构成了图像存储器。
[0336]分块解码装置104安装有N个分块解码部104-1?104-N，N个分块解码部104-1?104-N独立地实施预测差分解码处理。N是I以上的整数。
[0337]分块解码部104-1?104-N与图6的分块解码部54_1?54_N同样地，实施如下处理:参照运动补偿预测帧存储器103中存储的滤波处理后的解码图像，实施针对由并行处理开始部102分配的分块单位的比特序列数据的预测差分解码处理，从而生成分块解码图像(分块单位的解码图像)，并且将该分块解码图像和在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处切换部110-1。
[0338]另外，实施将复用在比特序列数据上的表示分块单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0339]另外，分块解码部104-1?104-N构成了分块解码单元。
[0340]帧解码部105实施如下处理:参照运动补偿预测帧存储器103中存储的滤波处理后的局部解码图像，实施针对从并行处理开始部102输出的帧单位的比特序列数据的预测差分解码处理，从而生成帧解码图像(帧单位的解码图像)，并且将该帧解码图像和在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处切换部110-1。
[0341]另外，实施将复用在比特序列数据上的表示帧单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0342]另外，帧解码部105构成了帧解码单元。
[0343]滤波器参数解码部106-1?106-M实施如下处理:在由可变长码分离部101分离出的滤波器参数共享标志#1?M表示在各分块中共用滤波器的意思的情况下，从由可变长码分离部101分离出的滤波器参数的编码数据#1?M解码出表示帧单位的滤波器的滤波器参数，将该滤波器参数输出到分块环路滤波器装置107-1~107-M。
[0344]分块环路滤波器装置107-1~107-M是实施相互不同的种类的滤波处理的滤波器装置，安装有N个分块环路滤波器部107-m-l~107-m-N(m= 1,2,…，Μ)，N个分块环路滤波器部107-m-l~107-m-N独立地实施滤波处理。M是I以上的整数。
[0345]分块环路滤波器部107-m-n(n = 1,2,…，N)如果从并行处理切换部110_m输出了分块解码图像，则在由可变长码分离部101分离出的滤波器参数共享标志#m表示在各分块中不共用滤波器的意思的情况下，从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示分块单位的滤波器的滤波器参数，使用分块单位的滤波器来实施针对分块解码图像的滤波处理。
[0346]另一方面，在滤波器参数共享标志#m表示在各分块中共用滤波器的意思的情况下，从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示帧单位的滤波器的滤波器参数，使用帧单位的滤波器来实施针对分块解码图像的滤波处理。
[0347]另外，分块环路滤波器部107-1-1 ~107-1-N、107-2-1 ~107-2_N、...、107-M-1 ~
107-M-N构成了分块滤波器单元。
[0348]帧环路滤波器部108-m如果从并行处理切换部110_m输出了帧解码图像，则从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示帧单位的滤波器的滤波器参数，使用帧单位的滤波器来实施针对帧解码图像的滤波处理。另外，帧环路滤波器部
108-1~108-M构成了帧滤 波器单元。
[0349]分块分割控制部109实施如下处理:根据由可变长码分离部101分离出的分块分割控制信息而掌握分块的分割状态，控制并行处理结束部111中的各分块解码图像的配置，以得到与原来的输入图像相当的解码图像。
[0350]并行处理切换部110-m实施依照由可变长码分离部101分离出的环路滤波器并行标志#m控制前级的处理部与后级的处理部的连接关系的处理。
[0351]由此，即使由可变长码分尚部101分尚出的编码并行标志表不将输入图像分割而并行化的意思的情况下，在由可变长码分离部101分离出的滤波器参数共享标志#1~M中的例如滤波器参数共享标志#x表示在各分块中共用滤波器的意思的情况下，将从前级的处理部输出的解码图像、编码参数以及滤波器参数的编码数据输出到帧环路滤波器部108-x，而不输出到分块环路滤波器部107-x-n。
[0352]并行处理结束部111实施如下处理:在分块分割控制部109的控制下，组合由分块环路滤波器部107-M-1~107-M-N实施滤波处理后的分块解码图像，生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器103中。
[0353]另外，由分块分割控制部109以及并行处理结束部111构成了解码图像保存单元。
[0354]在图18的例子中，设想了作为运动图像解码装置的构成要素的可变长码分离部101、并行处理开始部102、运动补偿预测帧存储器103、分块解码装置104、帧解码部105、滤波器参数解码部106-1~106-M、分块环路滤波器装置107-1~107-M、帧环路滤波器部108-1~108-M、分块分割控制部109、并行处理切换部110-1~110-M以及并行处理结束部111各自由专用的硬件(例如安装有CPU的半导体集成电路、单片式微型计算机等)构成了的例子，但在运动图像解码装置由计算机构成的情况下，也可以将记述了可变长码分离部101、并行处理开始部102、分块解码装置104、帧解码部105、滤波器参数解码部106-1~106-M、分块环路滤波器装置107-1~107-M、帧环路滤波器部108-1~108-M、分块分割控制部109、并行处理切换部110-1~110-M以及并行处理结束部111的处理内容的程序保存到计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
[0355]实施方式3.[0356]在上述实施方式I中，示出了分块环路滤波器装置7是I级结构的例子，但在该实施方式3中，在多级地连接了实现相互不同的种类的环路滤波器的分块环路滤波器装置88-1~88-M的点上不同。
[0357]例如，在作为对图像实施的环路滤波器，定义了解块滤波器、SA0、ALF的情况下，如果图像被分割为分块，则必须通过在分块间不进行参照的手法来实施编码处理以及所有滤波处理。
[0358]但是，根据环路滤波器的种类，相比于按照分块单位进行滤波处理，在按照帧单位进行滤波处理时有时状况更佳。
[0359]例如，考虑在ALF的情况下，即使在I帧图像中也能够通过H/W高速地进行处理，所以不需要并行处理，但在解块滤波器的情况下，H/W下的高速处理困难，所以并行处理不可欠缺这样的状况。[0360]在这样的状况下，根据画质的观点，不需要并行化的环路滤波器期望实施进行跨越分块间的像素参照的滤波处理。
[0361]另外，存在虽然预测差分编码处理、解码处理有并行化的必要性，但环路滤波处理无并行化的必要性的情况、或者相反地虽然预测差分编码处理、解码处理无并行化的必要性，但环路滤波处理有并行化的必要性的情况。
[0362]为了对应于这样的状况，关于预测差分编码处理/解码处理和各种环路滤波处理，各自独立地切换是否进行并行化的跨越分块间的参照那样的手法是有效的。
[0363]在该实施方式3中，分割输入图像，切换进行分块单位的并行化处理、或者不并行化而按照帧单位进行处理。
[0364]另外，针对每个环路滤波器，切换进行分块单位的滤波处理、或者进行帧单位的滤波处理。
[0365]最初，说明运动图像编码装置的处理内容。
[0366]编码控制部81与图1的编码控制部I同样地，对分块分割控制部82、并行处理结束部91以及可变长码复用部92输出指示将影像信号表示的输入图像分割为规定尺寸的分块时的分割状态的分块分割控制信息。
[0367]另外，编码控制部81将表示是否将输入图像分割而并行化的编码并行标志输出到并行处理开始部83，并且按照滤波处理的每个种类，将表示是否在各分块中共用在该滤波处理中使用的滤波器的滤波器参数共享标志#1~M(在各分块中共用时:0N的标志、在各分块中不共用时=OFF的标志)输出到环路滤波器控制部87-1~87-M、分块环路滤波器装置88-1~88-M以及可变长码复用部91。
[0368]进而，编码控制部81将表示前级的处理部与后级的处理部的连接关系的环路滤波器并行标志#1~M输出到并行处理切换部90-1~90-M。
[0369]分块分割控制部82如果从编码控制部81接收到分块分割控制信息，则以与该分块分割控制信息指示了的分割状态一致的方式，控制并行处理开始部83中的输入图像的分割。
[0370]并行处理开始部83在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，在分块分割控制部82的指示下，将影像信号表示的输入图像分割为规定尺寸的分块，将分割后的分块分配给分块编码部85-1?85-N。
[0371]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，不分割影像信号表示的输入图像，将作为帧单位的图像的输入图像输出到帧编码部86。
[0372]分块编码部85-1?85-N如果从并行处理开始部83接收到分块，则按照与图1的分块编码部5-1?5-N同样的步骤生成分块局部解码图像。
[0373]即，分块编码部85-1?85-N参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对由并行处理开始部83分配的分块的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成分块局部解码图像。
[0374]帧编码部86如果从并行处理开始部83接收到作为帧单位的图像的输入图像，则参照运动补偿预测帧存储器84中存储的滤波处理后的局部解码图像，实施针对该输入图像的预测差分编码处理，从而输出作为其编码结果的比特序列数据以及编码参数，并且生成帧局部解码图像。
[0375]在编码处理的处理单位是帧单位的点与分块编码部85-1?85-N不同，但编码处理自身与分块编码部85-1?85-N相同，所以省略详细的说明。
[0376]并行处理切换部90-m依照从编码控制部81输出的环路滤波器并行标志#m，控制前级的处理部与后级的处理部的连接关系，但例如在编码并行标志表示不将输入图像分割而并行化的意思的情况下，并行处理开始部83不分割输入图像，帧编码部86进行帧单位的编码处理，所以将帧编码部86(或者、前级的帧环路滤波器部)的输出信号(帧局部解码图像、比特序列数据、编码参数)传送到后级的帧环路滤波器部。
[0377]另一方面，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0FF，则进行分块单位的滤波处理，所以将分块编码部85-1?85-N(或者、前级的分块环路滤波器部)的输出信号(分块局部解码图像、比特序列数据、编码参数)传送到后级的分块环路滤波器部。
[0378]但是，在第m-Ι级的环路滤波器中进行帧单位的滤波处理的情况下，将从前级的帧环路滤波器部输出的帧局部解码图像分割为分块局部解码图像，将该分块局部解码图像、比特序列数据以及编码参数传送到后级的分块环路滤波器部。
[0379]即使在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0N，则在第m级的环路滤波器中进行帧单位的滤波处理，所以将分块编码部85-1?85-N(或者前级的分块环路滤波器部)的输出信号(分块局部解码图像、比特序列数据、编码参数)、或者前级的帧环路滤波器部的输出信号(帧局部解码图像、比特序列数据、编码参数)传送到后级的帧环路滤波器部。
[0380]环路滤波器控制部87-m在从编码控制部81输出的滤波器参数共享标志#m是ON的情况下，从由并行处理切换部90-m输出的分块局部解码图像得到帧局部解码图像，决定适合于该帧局部解码图像的帧单位的滤波器。在从并行处理切换部90-m输出了帧局部解码图像的情况下，决定适合于该帧局部解码图像的帧单位的滤波器。
[0381]在环路滤波器控制部87-m中，如果决定了帧单位的滤波器，则将表示该滤波器的滤波器参数输出到分块环路滤波器装置88-m。
[0382]另外，环路滤波器控制部87-m对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据输出到并行处理结束部91。
[0383]分块环路滤波器部88-m-n如果从并行处理切换部90_m接收到分块局部解码图像，则与图1的分块环路滤波器部7-n同样地，如果从编码控制部81输出的滤波器参数共享标志#m是0FF，则根据从并行处理切换部90-m输出的编码参数决定适合于该分块局部解码图像的滤波处理的分块单位的滤波器，使用该滤波器来实施针对分块局部解码图像的滤波处理，将滤波处理后的分块局部解码图像输出到后级的并行处理切换部或者并行处理结束部91。
[0384]另外，分块环路滤波器部88-m-n对表示分块单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从并行处理切换部90-m输出的比特序列数据上，并输出到后级的并行处理切换部或者并行处理结束部91。
[0385]另外，如果从编码控制部81输出的滤波器参数共享标志#m是0N，则使用从环路滤波器控制部87-m输出的滤波器参数表示的帧单位的滤波器，实施从并行处理切换部90-m输出的分块局部解码图像的滤波处理，但在该实施方式2中，即使在编码并行标志表示将输入图像分割而并行化的意思的情况下，在滤波器参数共享标志#m是ON的情况下，并行处理切换部90-m也将帧局部解码图像提供给帧环路滤波器部89-m，而不将分块局部解码图像提供给分块环路滤波器部88-m-n，所以在该状况下，不使用帧单位的滤波器来实施分块局部解码图像的滤波处理。
[0386]作为分块环路滤波器部88-m-n使用帧单位的滤波器来实施分块局部解码图像的滤波处理的状况，例如，考虑编码控制部81不使用输出编码并行标志的功能，而停止帧环路滤波器部89-m的功能的状况等(与实施方式I类似的结构)。
[0387]帧环路滤波器部89-m如果从并行处理切换部90_m接收到分块局部解码图像，则从该分块局部解码图像得到帧局部解码图像，根据从并行处理切换部90-m输出的编码参数，决定适合于该帧局部解码图像的滤波处理的帧单位的滤波器。在从并行处理切换部
90-m输出了帧局部解码图像的情况下，根据该编码参数，决定适合于该帧局部解码图像的帧单位的滤波器。
[0388]在帧环路滤波器部89-m中，如果决定了帧单位的滤波器，则使用帧单位的滤波器来实施针对该帧局部解码图像的滤波处理，将滤波处理后的帧局部解码图像输出到后级的并行处理切换部或者并行处理结束部91。
[0389]另外，帧环路滤波器部89-m对表示帧单位的滤波器的滤波器参数进行可变长编码，将该滤波器参数的编码数据复用到从并行处理切换部90-m输出的比特序列数据上，并输出到后级的并行处理切换部或者并行处理结束部91。
[0390]并行处理结束部91在从编码控制部81输出的编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#11是0FF，则依照从编码控制部81输出的分块分割控制信息，组合由分块环路滤波器部88-M-1?88-M-N实施滤波处理后的分块局部解码图像，生成帧单位的局部解码图像，将该局部解码图像保存到运动补偿预测帧存储器84中，并且将从分块环路滤波器部88-M-1?88-M-N输出的比特序列数据输出到可变长码复用部92。[0391]另外，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果从编码控制部81输出的滤波器参数共享标志#M是0N，则将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部
88-M输出的比特序列数据输出到可变长码复用部92。
[0392]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将由帧环路滤波器部88-M实施滤波处理后的帧局部解码图像保存到运动补偿预测帧存储器84中，并且将从帧环路滤波器部88-M输出的比特序列数据输出到可变长码复用部92。
[0393]可变长码复用部92对从并行处理结束部91输出的比特序列数据、和从编码控制部81输出的分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M以及滤波器参数共享标志#1?M进行复用而生成比特流。
[0394]接下来，说明运动图像解码装置的处理内容。
[0395]可变长码分离部101如果输入了由图17的运动图像编码装置生成的比特流，则分离复用在该比特流上的比特序列数据、分块分割控制信息、编码并行标志、环路滤波器并行标志#1?M、滤波器参数共享标志#1?M以及滤波器参数的编码数据而输出。
[0396]并行处理开始部102在由可变长码分离部101分离出的编码并行标志表示将输入图像分割而并行化的意思的情况下，将从可变长码分离部101输出的帧单位的比特序列数据分割为分块单位的比特序列数据，将分块单位的比特序列数据分配给分块解码部104-1 ?104-No
[0397]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将从可变长码分离部101输出的帧单位的比特序列数据输出到帧解码部105。
[0398]分块解码部104-1?104-N如果从并行处理开始部102接收到分块单位的比特序列数据，则按照与图6的分块解码部54-1?54-N同样的步骤生成分块解码图像。
[0399]S卩，分块解码部104-1?104-N参照运动补偿预测帧存储器103中存储的滤波处理后的解码图像，实施针对由并行处理开始部102分配的分块单位的比特序列数据的预测差分解码处理，从而生成分块解码图像，并且将该分块解码图像以及在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处理结束部111。
[0400]另外，实施将复用在比特序列数据上的表示分块单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0401]帧解码部105如果从并行处理开始部102接收到帧单位的比特序列数据，则参照运动补偿预测帧存储器103中存储的滤波处理后的局部解码图像，实施针对该帧单位的比特序列数据的预测差分解码处理而生成帧解码图像，将该帧解码图像以及在实施预测差分解码处理时使用的编码参数(复用在比特序列数据上的编码参数)输出到并行处理结束部111。
[0402]另外，实施将复用在比特序列数据上的表示帧单位的滤波器的滤波器参数的编码数据输出到并行处理切换部110-1的处理。
[0403]并行处理切换部100-m依照由可变长码分离部101分离出的环路滤波器并行标志#m，控制前级的处理部与后级的处理部的连接关系，但例如在编码并行标志表示不将输入图像分割而并行化的意思的情况下，并行处理开始部102不将帧单位的比特序列数据分割为分块单位的比特序列数据，帧解码部105进行帧单位的解码处理，所以将帧解码部105(或者前级的帧环路滤波器部)的输出信号(帧解码图像、编码参数、表示帧单位的滤波器的滤波器参数的编码数据)传送到后级的帧环路滤波器部。
[0404]另一方面，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0FF，则进行分块单位的滤波处理，所以将分块解码部104-1?104-N(或者、前级的分块环路滤波器部)的输出信号(分块局部解码图像、编码参数、表示分块单位的滤波器的滤波器参数的编码数据)传送到后级的分块环路滤波器部。
[0405]但是，在第m-Ι级的环路滤波器中进行帧单位的滤波处理的情况下，将从前级的帧环路滤波器部输出的帧解码图像分割为分块解码图像，将该分块解码图像、编码参数以及表示分块单位的滤波器的滤波器参数的编码数据传送到后级的分块环路滤波器部。
[0406]即使编码并行标志表示将输入图像分割而并行化的意思的情况下，如果滤波器参数共享标志#m是0N，则在第m级的环路滤波器中进行帧单位的滤波处理，所以将分块解码部104-1?104-N(或者、前级的分块环路滤波器部)的输出信号(分块局部解码图像、编码参数、表示分块单位的滤波器的滤波器参数的编码数据)、或者前级的帧环路滤波器部的输出信号(帧解码图像、编码参数、表示帧单位的滤波器的滤波器参数的编码数据)传送到后级的帧环路滤波器部。
[0407]滤波器参数解码部106-m在由可变长码分离部101分离出的滤波器参数共享标志#n是ON的情况下，从由可变长码分离部101分离出的滤波器参数的编码数据#m解码出表示帧单位的滤波器的滤波器参数，将该滤波器参数输出到分块环路滤波器装置107-m。
[0408]分块环路滤波器部107-m-n在从并行处理切换部110_m接收到分块解码图像时，如果由可变长码分离部101分离出的滤波器参数共享标志#m是0FF，则从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示分块单位的滤波器的滤波器参数，使用分块单位的滤波器来实施针对该分块解码图像的滤波处理。
[0409]另外，如果滤波器参数共享标志#m是0N，则使用从滤波器参数解码部106_m输出的滤波器参数表示的帧单位的滤波器来实施针对分块解码图像的滤波处理，但在该实施方式2中，即使在编码并行标志表示将输入图像分割而并行化的意思的情况下，在滤波器参数共享标志#m是ON的情况下，并行处理切换部110-m将帧解码图像提供给帧环路滤波器部108-m，而不将分块解码图像提供给分块环路滤波器部107-m-n，所以在该状况下，使用帧单位的滤波器，而不实施分块解码图像的滤波处理。
[0410]作为分块环路滤波器部107-m-n使用帧单位的滤波器实施分块解码图像的滤波处理的状况，例如，考虑编码侧不使用输出编码并行标志的功能，而停止帧环路滤波器部
108-m的功能的状况等(与实施方式I类似的结构)。
[0411]帧环路滤波器部108-m如果从并行处理切换部110_m接收到帧解码图像，则从由并行处理切换部110-m输出的滤波器参数的编码数据解码出表示帧单位的滤波器的滤波器参数，使用帧单位的滤波器来实施针对该帧解码图像的滤波处理。
[0412]分块分割控制部109实施如下处理:根据由可变长码分离部101分离出的分块分割控制信息而掌握分块的分割状态，控制并行处理结束部111中的各分块解码图像的配置，以得到与原来的输入图像相当的解码图像。
[0413]并行处理结束部111在由可变长码分离部101分离出的编码并行标志表示将输入图像分割而并行化的意思的情况下，如果由可变长码分离部101分离出的滤波器参数共享标志#M是OFF，则在分块分割控制部109的控制下，组合由分块环路滤波器部107-M-1?
107-M-N实施滤波处理后的分块解码图像而生成帧单位的解码图像，将该解码图像保存到运动补偿预测帧存储器103中。
[0414]另外，在编码并行标志表示将输入图像分割而并行化的意思的情况下，如果该滤波器参数共享标志#M是0N，则将由帧环路滤波器部108-M实施滤波处理后的帧解码图像保存到运动补偿预测帧存储器103中。
[0415]另一方面，在编码并行标志表示不将输入图像分割而并行化的意思的情况下，将由帧环路滤波器部108-M实施滤波处理后的帧解码图像保存到运动补偿预测帧存储器103中。
[0416]如以上说明，根据该实施方式3，构成为切换分割输入图像而进行分块单位的并行化处理或者不并行化而按照帧单位进行处理，并且针对每个环路滤波器切换进行分块单位的滤波处理或者进行帧单位的滤波处理，所以起到即使在多级地连接不同的种类的环路滤波器来提高整个的滤波器性能的情况下，也能够实现处理的高速化的效果。
[0417]另外，本申请发明能够在该发明的范围内，实施各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者各实施方式的任意的构成要素的省略。
[0418]产业上的可利用性
[0419]本发明的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法，设为能够生成分块单位的局部解码图像，决定适合于该局部解码图像的分块单位的滤波器，使用该分块来实施局部解码图像的滤波处理，在分块等级下并行地进行环路滤波器的处理，所以能够应用于对图像进行压缩编码而传送的运动图像编码装置以及运动图像编码方法、和从由运动图像编码装置传送的编码数据解码出图像的运动图像解码装置以及运动图像解码方法。
【权利要求】
1.一种运动图像编码装置，其特征在于，具备: 分割控制单元，输出指示输入图像的分割状态的分割控制信息； 分块分配单元，依照从所述分割控制单元输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块； 图像存储器，存储滤波处理后的局部解码图像； 一个以上的分块编码单元，参照所述图像存储器中存储的局部解码图像，实施针对由所述分块分配单元分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 一个以上的分块滤波器单元，决定与由所述分块编码单元生成的局部解码图像的滤波处理对应的分块单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 局部解码图像保存单元，依照从所述分割控制单元输出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的局部解码图像而生成帧单位的局部解码图像，将所述局部解码图像保存到所述图像存储器中；以及 复用单元，对从所述分块编码单元输出的编码比特数据、表示由所述分块滤波器单元决定的分块单位的滤波器的滤波器参数以及从所述分割控制单元输出的分割控制信息进行复用而生成比特流。
2.根据权利要 求1所述的运动图像编码装置，其特征在于， 设置有帧单位滤波器决定单元，该帧单位滤波器决定单元在从分割控制单元输出表示是否在各分块中共用由一个以上的分块编码单元生成的局部解码图像的滤波处理中使用的滤波器的滤波器共享标志的情况下，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则决定在各分块中共用的帧单位的滤波器， 在一个以上的分块滤波器单元中，如果所述滤波器共享标志表示在各分块中不共用滤波器的意思，则使用分块单位的滤波器来实施针对由所述分块编码单元生成的局部解码图像的滤波处理，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则使用由所述帧单位滤波器决定单元决定的帧单位的滤波器来实施针对由所述分块编码单元生成的局部解码图像的滤波处理， 复用单元将从所述分割控制单元输出的滤波器共享标志复用到比特流上，并且如果所述滤波器共享标志表示在各分块中不共用滤波器的意思，则对表示由所述分块滤波器单元决定的分块单位的滤波器的滤波器参数进行复用，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则对表示由所述帧单位滤波器决定单元决定的帧单位的滤波器的滤波器参数进行复用。
3.—种运动图像编码装置，其特征在于，具备: 分割控制单元，输出指示输入图像的分割状态的分割控制信息，并且输出表示是否分割所述输入图像的分割标志； 分块分配单元，在从所述分割控制单元输出的分割标志表示分割的意思的情况下，依照从所述分割控制单元输出的分割控制信息将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块，在所述分割标志表示不分割的意思的情况下，将所述输入图像不分割而输出；图像存储器，存储滤波处理后的局部解码图像； 一个以上的分块编码单元，参照所述图像存储器中存储的局部解码图像，实施针对由所述分块分配单元分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 帧编码单元，参照所述图像存储器中存储的局部解码图像，实施针对从所述分块分配单元输出的输入图像的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 一个以上的分块滤波器单元，决定适合于由所述分块编码单元生成的局部解码图像的滤波处理的分块单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 帧滤波器单元，决定适合于由所述帧编码单元生成的局部解码图像的滤波处理的帧单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 局部解码图像保存单元，在从所述分割控制单元输出的分割标志表示分割的意思的情况下，依照从所述分割控制单元输出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的局部解码图像而生成帧单位的局部解码图像，将所述局部解码图像保存到所述图像存储器中，在所述分割标志表示不分割的意思的情况下，将由所述帧滤波器单元实施滤波处理后的局部解码图像保存到所述图像存储器中；以及 复用单元，对从所述分块编码单元或者所述帧滤波器单元输出的编码比特数据、表示由所述分块滤波器单元或者所述帧滤波器单元决定的滤波器的滤波器参数、从所述分割控制单元输出的分割控 制信息以及分割标志进行复用而生成比特流。
4.根据权利要求3所述的运动图像编码装置，其特征在于， 分割控制单元在分块滤波器单元以及帧滤波器单元具备实施多个种类的滤波处理的功能的情况下，按照滤波处理的每个种类，输出表示是否在各分块中共用在该滤波处理中使用的滤波器的滤波器共享标志， 即使从所述分割控制单元输出的分割标志表示分割的意思的时，在从所述分割控制单元输出的滤波器共享标志关于某个种类的滤波处理而表示在各分块中共用滤波器的意思的情况下，关于该滤波处理，代替分块滤波器单元，帧滤波器单元使用帧单位的滤波器来实施针对局部解码图像的滤波处理， 复用单元将从所述分割控制单元输出的滤波处理的按种类的滤波器共享标志复用到比特流上。
5.一种运动图像解码装置，其特征在于，具备: 分离单元，分离复用在比特流上的编码比特数据、表示作为规定尺寸的矩形区域的分块单位的滤波器的滤波器参数、以及指示输入图像的分割状态的分割控制信息； 编码比特数据分配单元，依照由所述分离单元分离出的分割控制信息，将所述编码比特数据分割为分块单位的编码比特数据，并分配分割后的编码比特数据； 图像存储器，存储滤波处理后的解码图像； 一个以上的分块解码单元，参照所述图像存储器中存储的解码图像，实施针对由所述编码比特数据分配单元分配的编码比特数据的预测差分解码处理，生成分块单位的解码图像；一个以上的分块滤波器单元，使用由所述分离单元分离出的滤波器参数表示的分块单位的滤波器，实施针对由所述分块解码单元生成的解码图像的滤波处理；以及 解码图像保存单元，依照由所述分离单元分离出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的解码图像而生成帧单位的解码图像，将所述解码图像保存到所述图像存储器中。
6.根据权利要求5所述的运动图像解码装置，其特征在于， 分离单元在表示是否在各分块中共用滤波器的滤波器共享标志被复用到比特流上的情况下，分离所述滤波器共享标志，并且分离表示分块单位的滤波器的滤波器参数或者表示帧单位的滤波器的滤波器参数， 在一个以上的分块滤波器单元中，如果由所述分离单元分离出的滤波器共享标志表示在各分块中不共用滤波器的意思，则使用由所述分离单元分离出的滤波器参数表示的分块单位的滤波器来实施针对由所述分块解码单元生成的分块单位的解码图像的滤波处理，如果所述滤波器共享标志表示在各分块中共用滤波器的意思，则使用由所述分离单元分离出的滤波器参数表示的帧单位的滤波器来实施针对由所述分块解码单元生成的分块单位的解码图像的滤波处理。
7.—种运动图像解码装置，其特征在于，具备: 分离单元，分离复用在比特流上的编码比特数据、表示分块单位的滤波器的滤波器参数或者表示帧单位的滤波器的滤波器参数、指示输入图像的分割状态的分割控制信息以及表示是否分割输入图 编码比特数据分配单元，在由所述分离单元分离出的分割标志表示分割的意思的情况下，依照由所述分离单元分离出的分割控制信息，将所述编码比特数据分割为分块单位的编码比特数据，并分配分割后的编码比特数据，在所述分割标志表示不分割的意思的情况下，不分割由所述分离单元分离出的编码比特数据而输出帧单位的编码比特数据； 图像存储器，存储滤波处理后的解码图像； 一个以上的分块解码单元，参照所述图像存储器中存储的解码图像，实施针对由所述编码比特数据分配单元分配的分块单位的编码比特数据的预测差分解码处理，生成分块单位的解码图像； 帧解码单元，参照所述图像存储器中存储的解码图像，实施针对从所述分离单元输出的帧单位的编码比特数据的预测差分解码处理，生成帧单位的解码图像； 一个以上的分块滤波器单元，使用由所述分离单元分离出的滤波器参数表示的分块单位的滤波器来实施针对由所述分块解码单元生成的解码图像的滤波处理； 帧滤波器单元，使用由所述分离单元分离出的滤波器参数表示的帧单位的滤波器来实施针对由所述帧解码单元生成的解码图像的滤波处理；以及 解码图像保存单元，在由所述分离单元分离出的分割标志表示分割的意思的情况下，依照由所述分离单元分离出的分割控制信息，组合由一个以上的分块滤波器单元实施滤波处理后的解码图像而生成帧单位的解码图像，将所述解码图像保存到所述图像存储器中，在所述分割标志表示不分割的意思的情况下，将由所述帧滤波器单元实施滤波处理后的解码图像保存到所述图像存储器中。
8.根据权利要求7所述的运动图像解码装置，其特征在于，分离单元在分块滤波器单元以及帧滤波器单元具备实施多个种类的滤波处理的功能的情况下，从比特流中分离表示是否在各分块中共用滤波器的按滤波处理的种类的滤波器共享标志， 即使在由所述分离单元分离出的分割标志表示分割的意思时，在由所述分离单元分离出的滤波器共享标志关于某个种类的滤波处理而表示在各分块中共用滤波器的意思的情况下，针对该滤波处理，代替分块滤波器单元，帧滤波器单元使用帧单位的滤波器来实施针对由帧解码单元生成的解码图像的滤波处理。
9.一种运动图像编码方法，其特征在于，具备: 分割控制处理步骤，分割控制单元输出指示输入图像的分割状态的分割控制信息；分块分配处理步骤，分块分配单元依照在所述分割控制处理步骤中输出的分割控制信息，将输入图像分割为作为规定尺寸的矩形区域的分块，并分配分割后的分块； 分块编码处理步骤，一个以上的分块编码单元参照图像存储器中存储的滤波处理后的局部解码图像，实施针对在所述分块分配处理步骤中分配的分块的预测差分编码处理，输出作为其编码结果的编码比特数据，并且根据所述编码比特数据生成局部解码图像； 分块滤波处理步骤，一个以上的分块滤波器单元决定与在所述分块编码处理步骤中生成的局部解码图像的滤波处理对应的分块单位的滤波器，使用所述滤波器来实施针对所述局部解码图像的滤波处理； 局部解码图像保存处理步骤，局部解码图像保存单元依照在所述分割控制处理步骤中输出的分割控制信息，组合所述分块滤波处理步骤中的滤波处理后的局部解码图像而生成帧单位的局部解码图像 ，将所述局部解码图像保存到所述图像存储器中；以及 复用处理步骤，复用单元对在所述分块编码处理步骤中输出的编码比特数据、表示在所述分块滤波处理步骤中决定的分块单位的滤波器的滤波器参数、以及在所述分割控制处理步骤中输出的分割控制信息进行复用而生成比特流。
10.一种运动图像解码方法，其特征在于，具备: 分离处理步骤，分离单元分离复用在比特流上的编码比特数据、表示作为规定尺寸的矩形区域的分块单位的滤波器的滤波器参数、以及指示输入图像的分割状态的分割控制信息； 编码比特数据分配处理步骤，编码比特数据分配单元依照在所述分离处理步骤中分离出的分割控制信息，将所述编码比特数据分割为分块单位的编码比特数据，并分配分割后的编码比特数据； 分块解码处理步骤，一个以上的分块解码单元参照图像存储器中存储的滤波处理后的解码图像，实施针对在所述编码比特数据分配处理步骤中分配的编码比特数据的预测差分解码处理，生成分块单位的解码图像； 分块滤波处理步骤，一个以上的分块滤波器单元使用在所述分离处理步骤中分离出的滤波器参数表示的分块单位的滤波器来实施针对在所述分块解码处理步骤中生成的解码图像的滤波处理；以及 解码图像保存处理步骤，解码图像保存单元依照在所述分离处理步骤中分离出的分割控制信息，组合所述分块滤波处理步骤中的滤波处理后的解码图像而生成帧单位的解码图像，将所述解码图像保存到所述图像存储器中。
【文档编号】H04N19/117GK103907348SQ201280053518
【公开日】2014年7月2日 申请日期:2012年10月30日 优先权日:2011年10月31日
【发明者】服部亮史, 峯泽彰, 伊谷裕介, 杉本和夫, 关口俊一, 守屋芳美, 日和佐宪道 申请人:三菱电机株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1
- 一种颜色滤波阵列图像的编解码方法、装置和系统的制作方法
- 支持多个层的图像编码和解码方法以及使用该方法的装置的制造方法
- 图像编码设备、图像编码方法和程序、以及图像解码设备、图像解码方法和程序的制作方法
- 使用运动场的图像序列编码/解码的制作方法
- 图像编码方法、图像解码方法、图像编码装置及图像解码装置的制造方法
- 图像编码装置、图像编码方法、图像解码装置和图像解码方法
- 图像预测编码方法及装置、图像预测解码方法及装置的制造方法
- 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序的制作方法
- 运动图像编码装置、运动图像解码装置、运动图像编码方法、运动图像解码方法、及程序的制作方法
- 图像编码方法和装置以及图像解码方法和装置的制造方法
- 图像编码、解码方法及装置的制造方法
- 图像块的编码和解码方法、对应的设备和数据流的制作方法
- 编码和解码图像的方法、编码和解码设备、计算机程序的制作方法
- 图像编码装置、图像编码方法和程序、图像解码装置以及图像解码方法和程序的精度信息 ...的制作方法
- 编码/解码图像的方法和使用其的设备的制造方法
- 支持多个层的用于编码/解码图像的方法和设备的制造方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码、解码方法及装置的制造方法
- 图像编码、解码方法及装置的制造方法
- 图像块的编码和解码方法、对应的设备和数据流的制作方法
- 编码和解码图像的方法、编码和解码设备、计算机程序的制作方法
- 图像编码装置、图像编码方法和程序、图像解码装置以及图像解码方法和程序的精度信息 ...的制作方法
- 编码/解码图像的方法和使用其的设备的制造方法
- 支持多个层的用于编码/解码图像的方法和设备的制造方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码、解码方法及装置的制造方法
- 图像块的编码和解码方法、对应的设备和数据流的制作方法
- 编码和解码图像的方法、编码和解码设备、计算机程序的制作方法
- 图像编码装置、图像编码方法和程序、图像解码装置以及图像解码方法和程序的精度信息 ...的制作方法
- 编码/解码图像的方法和使用其的设备的制造方法
- 支持多个层的用于编码/解码图像的方法和设备的制造方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程 ...的制作方法
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置的制造方法
- 图像编码方法和装置以及图像解码方法和装置的制作方法
- 图像解码设备和方法、图像编码设备和方法及程序的制作方法