专利名称：运动图像编码装置以及运动图像解码装置的制作方法
技术领域：
本发明涉及对数字视频信号即运动图像数据进行压缩编码而输出运动图像压缩编码数据的运动图像编码装置、和对从运动图像编码装置输出的运动图像压缩编码数据进行解码处理而还原数字视频信号的运动图像解码装置。
背景技术：
在MPEG、ITU-T H. 26x等国际标准视频编码方式中，在对视频信号的各帧进行编码时，采用如下方法通过以将亮度信号16 X 16像素和与该亮度信号对应的色差信号8 X 8像素量集中而得到的块数据(以下，记载为“宏块”)为一个单位，并根据运动搜索/补偿技术以及正交变换/变换系数量化技术进行压缩来进行编码(例如，参照专利文献1)。即使在对比特流进行解码的情况下，也以宏块为一个单位来实施处理，最终解码出1个图像全部的宏块之后，作为解码图像输出。一般，针对编码对象的宏块的附近实施运动图像编码装置中的运动搜索。因此，对于位于画面的端的宏块，有效的探索区域必然变窄，在关于这样的位置处的宏块的编码中，无法避免与其他位置的宏块相比运动补偿预测的精度降低。因此，已知在编码对象的画面端的宏块中，产生画质劣化的问题。因此，在以下的专利文献1公开的运动图像编码装置中，为了抑制画面端的宏块中的画质的劣化，调整画面端的宏块的量化参数。专利文献1 日本特开2000-059779号公报(图1)
发明内容
以往的运动图像编码装置如上所述构成，所以可以防止画面端的宏块中的画质的劣化，但如果调整画面端的宏块的量化参数，则画面端的宏块的代码量与其他部分的宏块的代码量相比变多，所以存在导致压缩率的降低等课题。本发明是为了解决上述那样的课题而完成的，其目的在于提供一种运动图像编码装置，不会导致压缩率的降低，可以防止画面端的宏块中的画质的劣化。另外，本发明的目的在于提供一种运动图像解码装置，对从所述那样的运动图像编码装置输出的运动图像压缩编码数据进行解码处理，还原数字视频信号。本发明提供一种运动图像编码装置，设置有运动矢量预测单元，根据编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与所述图片处于前后的已编码的图片中的与所述单位区域相同位置的单位区域的运动矢量， 预测1个以上的所述编码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该运动矢量；以及运动补偿预测图像生成单元， 通过取以没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像，编码单元求出由所述运动补偿预测图像生成单元生成的运动补偿预测图像与所述运动图像的差分图像，对所述差分图像进行编码。根据本发明，由于设置有运动矢量预测单元，根据编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与所述图片处于前后的已编码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述编码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该运动矢量；以及运动补偿预测图像生成单元，通过取以没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像，并构成为编码单元求出由所述运动补偿预测图像生成单元生成的运动补偿预测图像与所述运动图像的差分图像，对所述差分图像进行编码，所以具有如下效果不会导致压缩率的降低，可以防止画面端的宏块中的画质的劣化。
图1是示出本发明的实施方式1的运动图像编码装置和运动图像解码装置之间的连接关系的结构图。图2是示出本发明的实施方式1的运动图像编码装置1的结构图。图3是示出图2的运动图像编码装置1中的运动补偿部26的内部的结构图。图4是示出H. 264/AVC中公开的直接矢量计算部33的处理内容的说明图。图5是示出H. 264/AVC中公开的直接矢量计算部33的处理内容的说明图。图6是示出H. 264/AVC中公开的直接矢量计算部33的处理内容的说明图。图7是示出H. 264/AVC中公开的直接矢量计算部33的处理内容的说明图。图8是示出单方的直接矢量的前端指示画面外的区域的情况的说明图。图9是示出将画面端像素向画面外延长的被称为“画面端扩展”的技术的说明图。图10是示出通过将指示包括画面外部的区域的单位区域的直接矢量从加法平均对象的矢量中去除，由此由运动补偿预测图像生成部35生成的运动补偿预测图像的说明图。图11是示出本发明的实施方式1的运动图像解码装置2的结构图。图12是示出图11的运动图像解码装置2中的运动补偿部50的内部的结构图。图13是示出本发明的实施方式2的运动图像编码装置1的结构图。图14是示出图13的运动图像编码装置1中的运动补偿部71的内部的结构图。图15是示出本发明的实施方式2的运动图像解码装置2的结构图。图16是示出图15的运动图像解码装置2中的运动补偿部80的内部的结构图。图17是示出直接矢量判定部34的处理内容的说明图。图18是示出直接矢量判定部34的处理内容的说明图。
具体实施例方式以下，为了进一步详细说明本发明，根据
具体实施方式
。
实施方式1.图1是示出本发明的实施方式1的运动图像编码装置与运动图像解码装置之间的连接关系的结构图。在图1中，运动图像编码装置1是使用例如H. 264/AVC的编码方式的编码装置，如果输入了运动图像的运动图像数据(视频信号)，则将构成该运动图像数据的多个图片分割成规定的单位区域，确定各单位区域的运动矢量，使用各单位区域的运动矢量，进行该运动图像数据的压缩编码，从而将该运动图像数据的压缩编码数据即比特流发送到运动图像解码装置2。运动图像解码装置2如果接收到从运动图像编码装置1发送的比特流，则使用各单位区域的运动矢量，实施针对该比特流的解码处理，从而还原运动图像的运动图像数据 (视频信号)。<运动图像编码装置1的结构>图2是示出本发明的实施方式1的运动图像编码装置1的结构图，图3是示出图 2的运动图像编码装置1中的运动补偿部26的内部的结构图。图2的运动图像编码装置1中的基本的结构与在H. 264/AVC中一般使用的运动图像编码装置的结构相同。但是，在H. 264/AVC中，图3的直接矢量判定部34没有安装于运动补偿部26中， 但在图2的运动图像编码装置1的运动补偿部26中，安装有直接矢量判定部34，仅该点不同。在图2中，减法器11实施如下处理求出运动图像数据与由帧内(Intra)预测补偿部23生成的帧内预测图像的图像数据的差分，并将该差分的数据即帧内差分数据输出到编码模式判定部13。减法器12实施如下处理求出运动图像数据与由运动补偿部26生成的运动补偿预测图像的图像数据的差分，并将该差分的数据即帧间(inter)差分数据输出到编码模式判定部13。编码模式判定部13实施如下处理对从减法器11输出的帧内差分数据和从减法器12输出的帧间差分数据进行比较，确定采用根据帧内预测来实施压缩的编码模式、还是采用根据运动预测来实施压缩的编码模式，将该确定的编码模式通知到开关19、28、运动补偿部26以及可变长编码部16。另外，编码模式判定部13实施如下处理在采用根据帧内预测来实施压缩的编码模式的情况下，将从减法器11输出的帧内差分数据输出到变换部 14，在采用根据运动预测来实施压缩的编码模式的情况下，将从减法器12输出的帧间差分数据输出到变换部14。变换部14实施如下处理对从编码模式判定部13输出的帧内差分数据或者帧间差分数据进行整数变换，将该整数变换数据输出到量化部15。量化部15实施如下处理对从变换部14输出的整数变换数据进行量化，将该量化数据输出到可变长编码部16以及逆量化部17。可变长编码部16实施如下处理对从量化部15输出的量化数据、由编码模式判定部13确定的编码模式、以及从开关28输出的帧内预测模式或者矢量信息(与由运动预测部27确定的最佳的运动矢量相关的矢量信息)进行可变长编码，将该可变长编码数据(压缩编码数据)即比特流发送到运动图像解码装置2。另外，由减法器11、12、编码模式判定部13、变换部14、量化部15以及可变长编码部16构成编码单元。逆量化部17实施如下处理对从量化部15输出的量化数据进行逆量化，将该逆量化数据输出到逆变换部18。逆变换部18实施如下处理对从逆量化部17输出的逆量化数据进行逆整数变换， 将该逆整数变换数据即像素域的差分数据输出到加法器20。开关19实施如下处理如果由编码模式判定部13确定的编码模式是根据帧内预测来实施压缩的编码模式，则将由帧内预测补偿部23生成的帧内预测图像的图像数据输出到加法器20，如果是根据运动预测来实施压缩的编码模式，则将由运动补偿部26生成的运动补偿预测图像的图像数据输出到加法器20。加法器20实施如下处理对从开关19输出的帧内预测图像或者运动补偿预测图像的图像数据和从逆变换部18输出的像素域的差分数据进行相加。帧内预测用存储器21是将从加法器20输出的相加数据作为帧内预测用图像的图像数据而储存的存储器。帧内预测部22实施如下处理对运动图像数据和帧内预测用存储器21中储存的周边像素的图像数据(帧内预测用图像的图像数据)进行比较，来确定最佳的帧内预测模式。帧内预测补偿部23实施如下处理根据帧内预测用存储器21中储存的周边像素的图像数据(帧内预测用图像的图像数据)，生成由帧内预测部22确定的最佳的帧内预测模式的帧内预测图像。环路滤波器24实施除去从加法器20输出的相加数据中包含的预测环内的噪声分量等的滤波处理。帧存储器25是将由环路滤波器24进行了滤波处理后的相加数据作为参照图像的图像数据而储存的存储器。运动补偿部26实施如下处理将构成运动图像数据的多个图片分割成规定的单位区域，预测1个以上的各单位区域的预测矢量、直接矢量，并且根据由运动预测部27确定的1个以上的最佳的运动矢量和帧存储器25中储存的参照图像的图像数据来生成运动补偿预测图像。运动预测部27实施如下处理根据运动图像数据、帧存储器25中储存的参照图像的图像数据、由运动补偿部26的预测矢量计算部32预测出的预测矢量、以及没有通过运动补偿部26的直接矢量判定部34从加法平均对象的矢量去除而残留的1个以上的直接矢量，确定1个以上的最佳的运动矢量。例如，如果是P图片的运动矢量，则作为最佳的运动矢量，确定1个运动矢量，如果是B图片的运动矢量，则作为最佳的运动矢量，确定2个运动矢量。S卩，运动预测部27实施如下处理通过一般被称为R-D最佳化的技术(不仅是使运动图像数据和帧存储器25中储存的参照图像的图像数据的差分成为最小，而且还加入了运动矢量的代码量的形式的运动矢量的确定技术)，来确定1个以上的最佳的运动矢量。开关28实施如下处理如果由编码模式判定部13确定的编码模式是根据帧内预测来实施压缩的编码模式，则将由帧内预测部22确定的最佳的帧内预测模式输出到可变长编码部16，如果是根据运动预测来实施压缩的编码模式，则将与由运动预测部27确定的最佳的运动矢量相关的矢量信息(在根据由运动补偿部26的预测矢量计算部32预测出的预测矢量来确定了最佳的运动矢量的情况下，是表示该运动矢量和预测矢量的差分的差分矢量；在根据由运动补偿部26的直接矢量计算部33预测出的直接矢量来确定了最佳的运动矢量的情况下，是表示根据该直接矢量来确定了最佳的运动矢量的意思的信息)输出到可变长编码部16。在图3中，运动补偿部26的矢量图保存用存储器31是保存由运动预测部27确定的最佳的运动矢量，即各图片中的已编码的单位区域的运动矢量的存储器。其中，如果由编码模式判定部13确定的编码模式是根据运动预测来实施压缩的编码模式，则继续该运动矢量的保存，但如果由编码模式判定部13确定的编码模式是根据帧内预测来实施压缩的编码模式，则从加法平均对象的矢量中去除该运动矢量。预测矢量计算部32实施如下处理参照矢量图保存用存储器31中保存的运动矢量，根据规定的规则，预测1个以上的预测矢量。直接矢量计算部33实施如下处理根据矢量图保存用存储器31中保存的运动矢量，即编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与上述图片处于前后的已编码的图片中的与上述单位区域相同位置的单位区域的运动矢量，将上述编码对象的单位区域的运动矢量作为直接矢量而预测1个以上。 另外，直接矢量计算部33构成运动矢量预测单元。直接矢量判定部34实施如下处理如果以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则将该直接矢量输出到运动预测部27，但在包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量。 另外，直接矢量判定部34构成运动矢量筛选单元。运动补偿预测图像生成部35实施如下处理通过取以由运动预测部27确定的1 个以上的最佳的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像。另外，运动补偿预测图像生成部35构成运动补偿预测图像生成单元。接下来说明动作。但是，在图2的运动图像编码装置1中，对于运动补偿部26的直接矢量判定部34 以外的处理部，由于与在H. 264/AVC中一般使用的处理相同，所以简单说明直接矢量判定部34以外的处理部的动作。减法器11如果输入了运动图像的运动图像数据，则求出该运动图像数据和由后述帧内预测补偿部23生成的帧内预测图像的图像数据的差分，将该差分的数据即帧内差分数据输出到编码模式判定部13。另外，减法器12如果输入了运动图像的运动图像数据，则求出该运动图像数据和由后述运动补偿部26生成的运动补偿预测图像的图像数据的差分，将该差分的数据即帧间差分数据输出到编码模式判定部13。编码模式判定部13如果从减法器11接收到帧内差分数据，从减法器12接收到帧间差分数据，则对该帧内差分数据和帧间差分数据进行比较，来确定采用根据帧内预测来实施压缩的编码模式、还是采用根据运动预测来实施压缩的编码模式。其中，通过对帧内差分数据和帧间差分数据进行比较而实现的编码模式的确定方法，一般使用被称为R-D最佳化的技术(并非仅仅选择差分小的一方而还加入了代码量的形式的编码模式的确定技术)。编码模式判定部13如果确定了编码模式，则将该编码模式通知到开关19、28、运动补偿部26以及可变长编码部16。另外，编码模式判定部13在采用根据帧内预测来实施压缩的编码模式的情况下， 将从减法器11输出的帧内差分数据输出到变换部14，在采用根据运动预测来实施压缩的编码模式的情况下，将从减法器12输出的帧间差分数据输出到变换部14。变换部14如果从编码模式判定部13接收到帧内差分数据或者帧间差分数据，则对该帧内差分数据或者帧间差分数据进行整数变换，将该整数变换数据输出到量化部15。量化部15如果从变换部14接收到整数变换数据，则对该整数变换数据进行量化， 将该量化数据输出到可变长编码部16以及逆量化部17。可变长编码部16对从量化部15输出的量化数据、由编码模式判定部13确定的编码模式、以及从后述开关28输出的帧内预测模式或者矢量信息(与由运动预测部27确定的最佳的运动矢量相关的矢量信息)进行可变长编码，将该可变长编码数据即比特流发送到运动图像解码装置2。逆量化部17如果从量化部15接收到量化数据，则对该量化数据进行逆量化，将该逆量化数据输出到逆变换部18。逆变换部18如果从逆量化部17接收到逆量化数据，则对该逆量化数据进行逆整数变换，将该逆整数变换数据即像素域的差分数据输出到加法器20。开关19如果由编码模式判定部13确定的编码模式是根据帧内预测来实施压缩的编码模式，则将由后述帧内预测补偿部23生成的帧内预测图像的图像数据输出到加法器 20，如果是根据运动预测来实施压缩的编码模式，则将由后述运动补偿部26生成的运动补偿预测图像的图像数据输出到加法器20。加法器20对从开关19输出的帧内预测图像或者运动补偿预测图像的图像数据和从逆变换部18输出的像素域的差分数据进行相加，将该相加数据输出到帧内预测用存储器21以及环路滤波器24。帧内预测部22对输入的运动图像的运动图像数据与帧内预测用存储器21中储存的周边像素的图像数据(帧内预测用图像的图像数据)进行比较，确定最佳的帧内预测模式。最佳的帧内预测模式的确定方法由于一般使用被称为R-D最佳化的技术，所以省略详细的说明。如果帧内预测部22确定了最佳的帧内预测模式，则帧内预测补偿部23根据帧内预测用存储器21中储存的周边像素的图像数据(帧内预测用图像的图像数据)，生成该帧内预测模式的帧内预测图像，将该帧内预测图像的图像数据输出到减法器11以及开关19。 其中，帧内预测图像的生成方法在H. 264/AVC中被公开，所以省略详细的说明。环路滤波器24如果从加法器20接收到相加数据(运动补偿预测图像的图像数据 +像素域的差分数据)，则实施去除该相加数据中包含的预测环内的噪声分量等的滤波处理，将滤波处理后的相加数据作为参照图像的图像数据而存储到帧存储器25中。运动补偿部26实施如下处理将构成运动图像数据的多个图片分割成规定的单位区域，预测1个以上的各单位区域的预测矢量、直接矢量，并且根据由运动预测部27确定的1个以上的最佳的运动矢量和帧存储器25中储存的参照图像生成运动补偿预测图像。以下，具体说明运动补偿部26的处理内容。在运动补偿部26的矢量图保存用存储器31中，保存有以前由运动预测部27确定的最佳的运动矢量，即各图片中的已编码的单位区域的运动矢量。其中，如果由编码模式判定部13确定的编码模式是根据运动预测来实施压缩的编码模式，则继续该运动矢量的保存，但如果由编码模式判定部13确定的编码模式是根据帧内预测来实施压缩的编码模式， 则该运动矢量从加法平均对象的矢量中被去除。运动补偿部26的预测矢量计算部32参照矢量图保存用存储器31中保存的各图片中的已编码的单位区域的运动矢量，根据规定的规则，计算1个以上的预测矢量。其中， 预测矢量的计算规则在H. 264/AVC中已被公开，所以省略详细的说明。运动补偿部26的直接矢量计算部33根据矢量图保存用存储器31中保存的运动矢量，即编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与上述图片处于前后的已编码的图片中的与上述单位区域相同位置的单位区域的运动矢量，将上述编码对象的单位区域的运动矢量作为直接矢量预测1个以上。此处，图4至图7是示出H. 264/AVC中公开的直接矢量计算部33的处理内容的说明图。H. 264/AVC中的直接矢量是在B图片中使用的矢量，在图4至图7中，示出时间直接方式的例子。在该例子中，由直接矢量计算部33计算图7所示那样的2个直接矢量(参照B图片的矢量)。因此，在后述运动补偿预测图像生成部35生成运动补偿预测图像时，参照图8所示那样的图像位置，进行单方的直接矢量包括画面外的区域的参照(参照P图片的虚线部)。但是，即使直接矢量的前端指示了画面内，但在以直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，视为该直接矢量指示画面外。在H. 264/AVC中，在标准中制定了一般被称为“画面端扩展”的技术。S卩，如图9所示，标准化了按照将画面端像素向画面外延长那样的形式来确定画面外像素。由此，图9所示的灰色的部分从运动补偿预测图像生成部35作为运动补偿预测图像的一部分而输出直接模式预测图像，所以导致预测效率降低。顺便说一下，在使用H. 264/AVC的一般的方法对该例子所示的图像进行了编码的情况下，在相应块的编码中需要约30bit(需要以(CAVLC、B_16xl6_L0、运动矢量(8. 0、 8. 0)、无系数)进行编码)。在该实施方式1中，为了避免上述那样的直接模式预测图像的输出，按照图10所示的算法来进行直接矢量的确定。图10所示的算法是不采用指示包括画面外的区域的直接矢量的算法，后述直接矢量判定部34执行该算法。如果不采用指示包括画面外的区域的直接矢量，则成为单方向的参照，直接模式预测图像与编码对象图像一致，所以预测效率显著提高。
在该实施方式1的例子中，如果对B_Skip进行编码则充分(已知B_Skip是可变长代码，但一般是平均Ibit以下左右)。运动补偿部26的直接矢量判定部34在直接矢量计算部33预测了 1个以上的直接矢量时，如果以该直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域， 则将该直接矢量输出到运动预测部27，但在以该直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量。但是，在由直接矢量计算部33预测出的所有直接矢量相应于指示包括画面外部的区域的单位区域的直接矢量的情况下，例外地，在直接矢量判定部34中不从加法平均对象的矢量中去除，而将这些直接矢量输出到运动预测部27。运动预测部27根据运动图像的运动图像数据、帧存储器25中储存的参照图像的图像数据、由运动补偿部26的预测矢量计算部32预测出的预测矢量、以及没有通过运动补偿部26的直接矢量判定部34从加法平均对象的矢量中去除而残留的1个以上的直接矢量，确定1个以上的最佳的运动矢量。例如，如果是P图片的运动矢量，则作为最佳的运动矢量，确定1个运动矢量，如果是B图片的运动矢量，则作为最佳的运动矢量，确定2个运动矢量。其中，在1个以上的最佳的运动矢量的确定方法中，一般按照被称为R-D最佳化的技术(不仅使运动图像数据和帧存储器25中储存的参照图像的图像数据的差分成为最小而且还加入了运动矢量的代码量的形式的运动矢量的确定技术)实施确定1个以上的最佳的运动矢量的处理。运动预测部27如果确定了最佳的运动矢量，则将与该最佳的运动矢量相关的矢量信息输出到开关28。即，运动预测部27在确定最佳的运动矢量时，如果使用由运动补偿部26的预测矢量计算部32预测出的预测矢量来确定，则将表示该运动矢量和预测矢量的差分的差分矢量作为矢量信息而输出到开关28。运动预测部27在确定最佳的运动矢量时，如果使用由运动补偿部26的直接矢量计算部33预测出的直接矢量来确定，则将表示根据直接矢量来确定了最佳的运动矢量的意思的信息作为矢量信息输出到开关28。如果运动预测部27仅确定了 1个最佳的运动矢量，则运动补偿部26的运动补偿预测图像生成部35生成以该运动矢量指示的像素位置为基点的单位区域的像素值而作为运动补偿预测图像。另外，如果运动预测部27确定了 2个以上的最佳的运动矢量，则运动补偿预测图像生成部35通过取以2个以上的最佳的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均而生成运动补偿预测图像。如上所述，运动补偿部26的直接矢量判定部34将指示包括画面外部的区域的单位区域的直接矢量从加法平均对象的矢量中去除，从而由运动补偿预测图像生成部35生成的运动补偿预测图像如图10所示。因此，在H. 264/AVC中，在无法设成8_51^ ，而需要约30bit的代码的部分中，在该实施方式1中，可以设成B_Skip，所以只用Ibit左右的代码即可，得到预测效率提高的优点。如果由编码模式判定部13确定的编码模式是根据帧内预测来实施压缩的编码模式，则开关观将由帧内预测部22确定的最佳的帧内预测模式输出到可变长编码部16，如果是根据运动预测来实施压缩的编码模式，则将与由运动预测部27确定的最佳的运动矢量相关的矢量信息输出到可变长编码部16。<运动图像解码装置2的结构>图11是示出本发明的实施方式1的运动图像解码装置2的结构图，图12是示出图11的运动图像解码装置2中的运动补偿部50的内部的结构图。图11的运动图像解码装置2中的基本的结构与在H. 264/AVC中一般使用的运动图像解码装置的结构相同。但是，在H. ^4/AVC中，图12的直接矢量判定部66没有安装于运动补偿部50中， 但在图11的运动图像解码装置2的运动补偿部50中，安装有直接矢量判定部66，仅该点不同。在图11中，可变长解码部41如果接收到从运动图像编码装置1发送的比特流，则实施该比特流的语法解析，将与从运动图像编码装置1的量化部15输出的量化数据相当的预测残差信号编码数据输出到逆量化部42，将由运动图像编码装置1的编码模式判定部13 确定的编码模式输出到开关46、51。并且实施如下处理将从运动图像编码装置1的帧内预测部22输出的帧内预测模式或者从运动预测部27输出的矢量信息输出到开关46，将从运动预测部27输出的矢量信息输出到运动补偿部50。逆量化部42实施如下处理对从可变长解码部41输出的预测残差信号编码数据进行逆量化，将该逆量化数据输出到逆变换部43。逆变换部43实施如下处理对从逆量化部42输出的逆量化数据进行逆整数变换， 将该逆整数变换数据即预测残差信号解码值输出到加法器44。加法器44实施如下处理对从开关51输出的帧内预测图像或者运动补偿预测图像的图像数据和从逆变换部43输出的预测残差信号解码值进行相加。环路滤波器45实施如下处理实施除去从加法器44输出的相加数据中包含的预测环内的噪声分量等的滤波处理，将滤波处理后的相加数据作为解码图像(运动图像)的运动图像数据而输出。另外，由可变长解码部41、逆量化部42、逆变换部43、加法器44以及环路滤波器 45构成解码单元。开关46实施如下处理如果从可变长解码部41输出的编码模式是根据帧内预测来实施压缩的编码模式，则将从可变长解码部41输出的帧内预测模式输出到帧内预测补偿部48，如果是根据运动预测来实施压缩的编码模式，则将从可变长解码部41输出的矢量信息输出到运动补偿部50。帧内预测用存储器47是将从加法器44输出的相加数据作为帧内预测用图像的图像数据而储存的存储器。帧内预测补偿部48实施如下处理根据帧内预测用存储器47中储存的周边像素的图像数据(帧内预测用图像的图像数据)，生成从开关46输出的帧内预测模式的帧内预测图像。帧存储器49是将从环路滤波器45输出的运动图像数据作为参照图像的图像数据而储存的存储器。
运动补偿部50实施如下处理将构成运动图像数据的多个图片分割成规定的单位区域，预测1个以上的各单位区域的预测矢量、直接矢量，并且根据帧存储器49中储存的参照图像的图像数据生成运动补偿预测图像。开关51实施如下处理如果从可变长解码部41输出的编码模式是根据帧内预测来实施压缩的编码模式，则将由帧内预测补偿部48生成的帧内预测图像的图像数据输出到加法器44，如果是根据运动预测来实施压缩的编码模式，则将由运动补偿部50生成的运动补偿预测图像的图像数据输出到加法器44。在图12中，运动补偿部50的矢量图保存用存储器61是保存从开关67输出的运动矢量、即各图片中的已解码的单位区域的运动矢量的存储器。开关62实施如下处理如果从可变长解码部41输出的矢量信息相当于差分矢量， 则使预测矢量计算部63启动，如果该矢量信息表示根据直接矢量确定了最佳的运动矢量的意思，则使直接矢量计算部65启动。预测矢量计算部63实施如下处理参照矢量图保存用存储器61中保存的运动矢量，根据规定的规则预测1个以上的预测矢量。加法器64实施如下处理对由预测矢量计算部63预测出的预测矢量和从可变长解码部41输出的差分矢量(在预测矢量计算部63启动的状况下，从可变长解码部41输出的矢量信息相当于差分矢量)进行相加，将该相加结果即运动矢量输出到开关67。直接矢量计算部65实施如下处理根据矢量图保存用存储器61中保存的运动矢量，即解码对象的图片中的解码对象的单位区域的附近中存在的已解码的单位区域的运动矢量、在时间上与上述图片处于前后的已解码的图片中的与上述单位区域相同位置的单位区域的运动矢量，预测1个以上的上述解码对象的单位区域的运动矢量。另外，直接矢量计算部65构成运动矢量预测单元。直接矢量判定部66实施如下处理如果以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则将该直接矢量输出到开关 67，但在包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量。另外， 直接矢量判定部66构成运动矢量筛选单元。开关67实施如下处理如果从可变长解码部41输出的矢量信息相当于差分矢量， 则将从加法器64输出的运动矢量输出到运动补偿预测图像生成部68以及矢量图保存用存储器61，如果该矢量信息表示根据直接矢量确定了最佳的运动矢量的意思，则将从直接矢量判定部66输出的运动矢量即直接矢量输出到运动补偿预测图像生成部68以及矢量图保存用存储器61。运动补偿预测图像生成部68实施如下处理通过取以从开关67输出的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均来生成运动补偿预测图像。另外，运动补偿预测图像生成部68构成运动补偿预测图像生成单元。接下来说明动作。可变长解码部41如果接收到从运动图像编码装置1发送的比特流，则实施该比特流的语法解析。由此，将与从运动图像编码装置1的量化部15输出的量化数据相当的预测残差信号编码数据输出到逆量化部42，将由运动图像编码装置1的编码模式判定部13确定的编码模式输出到开关46、51。另外，将从运动图像编码装置1的帧内预测部22输出的帧内预测模式或者从运动预测部27输出的差分矢量(矢量信息)输出到开关46，将从运动预测部27输出的矢量信息输出到运动补偿部50。逆量化部42如果从可变长解码部41接收到预测残差信号编码数据，则对该预测残差信号编码数据进行逆量化，将该逆量化数据输出到逆变换部43。逆变换部43如果从逆量化部42接收到逆量化数据，则对该逆量化数据进行逆整数变换，将该逆整数变换数据即预测残差信号解码值输出到加法器44。开关46如果从可变长解码部41输出的编码模式是根据帧内预测来实施压缩的编码模式，则将从可变长解码部41输出的帧内预测模式输出到帧内预测补偿部48，如果是根据运动预测来实施压缩的编码模式，则将从可变长解码部41输出的矢量信息输出到运动补偿部50。帧内预测补偿部48如果从开关46接收到帧内预测模式，则根据帧内预测用存储器47中储存的周边像素的图像数据(帧内预测用图像的图像数据)，生成该帧内预测模式的帧内预测图像，将该帧内预测图像的图像数据输出到开关51。但是，帧内预测图像的生成方法由于在H. ^4/AVC中已被公开，所以省略详细的说明。运动补偿部50如果从开关46接收到矢量信息，则将构成运动图像数据的多个图片分割成规定的单位区域，预测1个以上的各单位区域的预测矢量、直接矢量，并且根据帧存储器49中储存的参照图像的图像数据生成运动补偿预测图像。以下，具体说明运动补偿部50的处理内容。在运动补偿部50的矢量图保存用存储器61中，保存有以前计算出的运动矢量，即各图片中的已解码的单位区域的运动矢量。运动补偿部50的开关62如果从可变长解码部41接收到矢量信息，则判别该矢量信息是与差分矢量相当的信息、还是该矢量信息是表示根据直接矢量确定了最佳的运动矢量的意思的信息。开关62如果该矢量信息相当于差分矢量，则使预测矢量计算部63启动，如果该矢量信息是表示根据直接矢量确定了最佳的运动矢量的意思的信息，则使直接矢量计算部65 启动。运动补偿部50的预测矢量计算部63如果从开关62接收到启动指令，则参照矢量图保存用存储器61中保存的各图片中的已解码的单位区域的运动矢量，根据规定的规则， 计算出1个以上的预测矢量。但是，预测矢量的计算方法由于在H. ^4/AVC中已被公开，所以省略详细的说明。运动补偿部50的加法器64如果从预测矢量计算部63接收到1个以上的预测矢量，则对各预测矢量和从可变长解码部41输出的差分矢量(在预测矢量计算部63启动的状况下，从可变长解码部41输出的矢量信息相当于差分矢量)进行相加，将该相加结果即运动矢量输出到开关67。运动补偿部50的直接矢量计算部65如果从开关62接收到启动指令，则根据矢量图保存用存储器61中保存的运动矢量，即解码对象的图片中的解码对象的单位区域的附近中存在的已解码的单位区域的运动矢量、在时间上与上述图片处于前后的已解码的图片中的与上述单位区域相同位置的单位区域的运动矢量，将上述解码对象的单位区域的运动矢量作为直接矢量而预测1个以上。另外，直接矢量计算部65的处理内容与图3的直接矢量计算部33的处理内容相同，所以省略详细的说明(参照图4至图7)。运动补偿部50的直接矢量判定部66在直接矢量计算部65预测1个以上的直接矢量时，如果以该直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则将该直接矢量输出到开关67，但在以该直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量。但是，在由直接矢量计算部65预测出的所有直接矢量相应于指示包括画面外部的区域的单位区域的直接矢量的情况下，例外地，在直接矢量判定部66中不从加法平均对象的矢量中去除，而将这些直接矢量输出到开关67。另外，直接矢量判定部66的处理内容与图3的直接矢量判定部34的处理内容相同。运动补偿部50的开关67判别从可变长解码部41输出的矢量信息是与差分矢量相当的信息、还是该矢量信息是表示根据直接矢量确定了最佳的运动矢量的意思的信息。如果该矢量信息相当于差分矢量，则开关67将从加法器64输出的运动矢量输出到运动补偿预测图像生成部68以及矢量图保存用存储器61，如果该矢量信息是表示根据直接矢量确定了最佳的运动矢量的意思的信息，则将从直接矢量判定部66输出的运动矢量即直接矢量输出到运动补偿预测图像生成部68以及矢量图保存用存储器61。运动补偿部50的运动补偿预测图像生成部68如果从开关67仅接收到1个运动矢量，则生成以该运动矢量指示的像素位置为基点的单位区域的像素值而作为运动补偿预测图像。另外，运动补偿预测图像生成部68如果从开关67接收到2个以上的运动矢量，则通过取以2个以上的最佳的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均来生成运动补偿预测图像。另外，运动补偿预测图像生成部68的处理内容与图3的运动补偿预测图像生成部 35的处理内容相同。如上所述，运动补偿部50的直接矢量判定部66将指示包括画面外部的区域的单位区域的直接矢量从加法平均对象的矢量中去除，从而由运动补偿预测图像生成部68生成的运动补偿预测图像成为如图10所示。因此，在H. ^4/AVC中，在无法设成8_51^ ，而需要约30bit的代码的部分中，在该实施方式1中，可以设成B_Skip，所以只用Ibit左右的代码即可，得到预测效率提高的优
点ο开关51如果从可变长解码部41输出的编码模式是根据帧内预测来实施压缩的编码模式，则将由帧内预测补偿部48生成的帧内预测图像的图像数据输出到加法器44，如果是根据运动预测来实施压缩的编码模式，则将由运动补偿部50生成的运动补偿预测图像的图像数据输出到加法器44。加法器44如果从逆变换部43接收到预测残差信号解码值，并从开关51接收到帧内预测图像或者运动补偿预测图像的图像数据，则对该预测残差信号解码值和帧内预测图像或者运动补偿预测图像的图像数据进行相加，将该相加数据输出到环路滤波器45。另外，加法器44将该相加数据作为帧内预测用图像的图像数据而储存到帧内预测用存储器47中。环路滤波器45如果从加法器44接收到相加数据，则实施去除该相加数据中包含的预测环内的噪声分量等的滤波处理，将滤波处理后的相加数据作为解码图像(运动图像)的运动图像数据而输出。另外，环路滤波器45将解码图像的运动图像数据作为参照图像的图像数据而储存到帧存储器49中。如以上说明可知，根据该实施方式1，在运动图像编码装置1中，设置直接矢量计算部33，根据编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与上述图片处于前后的已编码的图片中的与上述单位区域相同位置的单位区域的运动矢量，将上述编码对象的单位区域的运动矢量作为直接矢量而预测1个以上；直接矢量判定部34，在以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量；以及运动补偿预测图像生成部35，通过取以没有通过直接矢量判定部34从加法平均对象的矢量中去除而残留的1个以上的直接矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像，并构成为求出由运动补偿预测图像生成部35生成的运动补偿预测图像与运动图像的差分图像，对该差分图像进行编码，所以起到不会导致压缩率的降低，可以防止画面端的宏块中的画质的劣化的效果。另外，在运动图像解码装置2中，设置有直接矢量计算部65，根据解码对象的图片中的解码对象的单位区域的附近中存在的已解码的单位区域的运动矢量、在时间上与上述图片处于前后的已解码的图片中的与上述单位区域相同位置的单位区域的运动矢量，将上述解码对象的单位区域的运动矢量作为直接矢量而预测1个以上；直接矢量判定部66， 在以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量；以及运动补偿预测图像生成部68，通过取以没有通过直接矢量判定部66从加法平均对象的矢量中去除而残留的1 个以上的直接矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像，并构成为从运动图像的压缩编码数据解码出预测残差信号，对该预测残差信号解码值和由运动补偿预测图像生成部68生成的运动补偿预测图像进行相加，所以起到如下效果可以对从图2的运动图像编码装置1输出的比特流进行解码处理，来还原运动图像的运动图像数据。另外，在该实施方式1中，作为视频编码方式，示出了使用H. ^4/AVC的例子，但对于与H. 264/AVC类似的编码方式(例如，MPEG-2、MPEG_4Visual、SMPTE VC-I等)，同样也
可以应用。实施方式2.<运动图像编码装置1的结构>图13是示出本发明的实施方式2的运动图像编码装置1的结构图，在图中，与图 2相同的符号表示相同或者相当部分所以省略说明。另外，图14是示出图13的运动图像编码装置1中的运动补偿部71的内部的结构图，在图中，与图3相同的符号表示相同或者相当部分所以省略说明。在图13以及图14中，运动补偿部71实施如下处理将构成运动图像数据的多个图片分割成规定的单位区域，预测1个以上的各单位区域的预测矢量、直接矢量，并且根据由运动预测部72确定的1个以上的最佳的运动矢量和帧存储器25中储存的参照图像的图像数据来生成运动补偿预测图像。但是，运动补偿部71与图2的运动补偿部沈不同，不仅将没有通过内部的直接矢量判定部34从加法平均对象的矢量中去除而残留的1个以上的直接矢量输出到运动预测部72，而且还将由内部的直接矢量计算部33预测出的所有直接矢量输出到运动预测部72。运动预测部72与图2的运动预测部27同样地，使用直接矢量或者预测矢量，确定最佳的运动矢量，但从运动补偿部71不仅接收没有通过直接矢量判定部34从加法平均对象的矢量中去除而残留的1个以上的直接矢量，而且还接收由直接矢量计算部33预测出的所有直接矢量，所以使得选择画面端附近处的预测效率变高的一方的直接矢量。另外，运动预测部72将表示选择了哪个直接矢量的信息包含在矢量信息中而输出到开关28。接下来说明动作。运动补偿部71将由内部的预测矢量计算部32预测出的1个以上的预测矢量输出到运动预测部72，并且将没有通过内部的直接矢量判定部34从加法平均对象的矢量中去除而残留的1个以上的直接矢量(以下，称为“直接矢量A”)输出到运动预测部72。另外，运动补偿部71将由内部的直接矢量计算部33预测出的所有直接矢量(以下，称为“直接矢量B”)输出到运动预测部72。运动预测部72如果从运动补偿部71接收到直接矢量和预测矢量，则与图2的运动预测部27同样地，确定最佳的运动矢量，但从运动补偿部71不仅接收直接矢量A，而且还接收直接矢量B，所以判定在使用哪个直接矢量时画面端附近处的预测效率变高，由此选择直接矢量A或者直接矢量B。在以直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下， 如上述实施方式1中也进行说明那样，预测效率降低，所以与使用直接矢量B相比在使用了直接矢量A时，画面端附近处的预测效率变高，但例如在单位区域包括的画面外部的区域的面积微小的情况下，有时在使用了直接矢量B时，画面端附近处的预测效率变高。另外，在预测效率最高的直接矢量的选择方法中，一般使用被称为R-D最佳化的技术，实施确定最佳的直接矢量的处理。运动预测部72如果确定了最佳的运动矢量，则将与该最佳的运动矢量相关的矢量信息输出到开关观。即，运动预测部72在确定最佳的运动矢量时，如果使用由运动补偿部71的预测矢量计算部32预测出的预测矢量来确定，则将表示该运动矢量和预测矢量的差分的差分矢量作为矢量信息而输出到开关观。运动预测部72在确定最佳的运动矢量时，如果使用从运动补偿部71的直接矢量判定部34输出的直接矢量A来确定，则将表示根据直接矢量确定了最佳的运动矢量的意思的信息和表示选择了从直接矢量判定部34输出的直接矢量A的意思的信息作为矢量信息而输出到开关28。
运动预测部72在确定最佳的运动矢量时，如果使用从运动补偿部71的直接矢量计算部33输出的直接矢量B来确定，则将表示根据直接矢量确定了最佳的运动矢量的意思的信息和表示选择了从直接矢量计算部33输出的直接矢量B的意思的信息作为矢量信息而输出到开关28。<运动图像解码装置2的结构>图15是示出本发明的实施方式2的运动图像解码装置2的结构图，在图中，与图 11相同的符号表示相同或者相当部分所以省略说明。另外，图16是示出图15的运动图像解码装置2中的运动补偿部80的内部的结构图，在图中，与图12相同的符号表示相同或者相当部分所以省略说明。在图15以及图16中，运动补偿部80实施如下处理将构成运动图像数据的多个图片分割成规定的单位区域，预测1个以上的各单位区域的预测矢量、直接矢量，并且根据帧存储器49中储存的参照图像的图像数据生成运动补偿预测图像。但是，运动补偿部80与图11的运动补偿部50不同，按照从可变长解码部41输出的矢量信息中包含的直接矢量A或者直接矢量B的选择信息，选择从内部的直接矢量判定部66或者直接矢量计算部65输出的直接矢量。运动补偿部80的开关81实施如下处理如果从可变长解码部41输出的矢量信息中包含的直接矢量的选择信息表示选择了直接矢量A的意思，则选择从直接矢量判定部66 输出的直接矢量而输出到开关67，如果表示选择了直接矢量B的意思，则选择从直接矢量计算部65输出的直接矢量而输出到开关67。接下来说明动作。运动补偿部80与图11的运动补偿部50同样地，将构成运动图像数据的多个图片分割成规定的单位区域，预测1个以上的各单位区域的预测矢量、直接矢量，并且根据帧存储器49中储存的参照图像的图像数据生成运动补偿预测图像。但是，运动补偿部80与图11的运动补偿部50不同，按照从可变长解码部41输出的矢量信息中包含的直接矢量A或者直接矢量B的选择信息，选择从内部的直接矢量判定部66或者直接矢量计算部65输出的直接矢量。S卩，运动补偿部80的开关81在从可变长解码部41接收到矢量信息时，如果该矢量信息中包含的直接矢量的选择信息表示选择了直接矢量A的意思，则选择从直接矢量判定部66输出的直接矢量而输出到开关67，如果表示选择了直接矢量B的意思，则选择从直接矢量计算部65输出的直接矢量而输出到开关67。如以上说明可知，根据该实施方式2，选择直接矢量A或者直接矢量B，来生成运动补偿预测图像，所以起到可以提高画面端附近处的预测效率提高的可能性的效果。另外，对于对所述矢量信息进行编码的单位，当然可以考虑各种编码单位(每个编码对象块、切片(编码对象块的集合)单位、图片单位、序列(图片的集合)单位)。通过将矢量信息作为上述各种编码单位的1个参数而进行编码并编码到比特流上，可以对运动图像解码装置2传送运动图像编码装置1计划的直接矢量的选择结果。实施方式3.在上述实施方式1、2的运动图像编码装置1中的直接矢量判定部34中，示出了在以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量的例子，但也可以是在以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，直接矢量判定部34判定以该直接矢量指示的像素位置为基点的单位区域是否包括与该画面邻接的容许范围区域的外部区域，如果以该直接矢量指示的像素位置为基点的单位区域不包括该容许范围区域的外部区域，则不从加法平均对象的矢量中去除该直接矢量，如果以该直接矢量指示的像素位置为基点的单位区域包括该容许范围区域的外部区域，则从加法平均对象的矢量中去除该直接矢量。图17是示出直接矢量判定部34的处理内容的说明图。以下，具体说明直接矢量判定部34的处理内容。对直接矢量判定部34，预先设定了图17所示那样的容许范围区域(与画面邻接的区域)。直接矢量判定部34在以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，判定以该直接矢量指示的像素位置为基点的单位区域是否包括容许范围区域的外部区域。如图17(b)所示，如果以该直接矢量指示的像素位置为基点的单位区域不包括容许范围区域的外部区域(如果直接矢量指示的像素位置是容许范围区域内)，则直接矢量判定部34不从加法平均对象的矢量中去除该直接矢量，而将该直接矢量输出到运动预测部27 (或者72)。如图17(c)所示，如果以该直接矢量指示的像素位置为基点的单位区域包括容许范围区域的外部区域(如果直接矢量指示的像素位置是容许范围区域外)，则直接矢量判定部34从加法平均对象的矢量中去除该直接矢量。在上述实施方式1、2的运动图像解码装置2中的直接矢量判定部66中，示出了在以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量的例子，但也可以是在以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，直接矢量判定部66判定以该直接矢量指示的像素位置为基点的单位区域是否包括与该画面邻接的容许范围区域的外部区域，如果以该直接矢量指示的像素位置为基点的单位区域不包括该容许范围区域的外部区域，则将该直接矢量不从加法平均对象的矢量中去除，如果以该直接矢量指示的像素位置为基点的单位区域包括该容许范围区域的外部区域，则从加法平均对象的矢量中去除该直接矢量。以下，具体说明直接矢量判定部66的处理内容。 对直接矢量判定部66，预先设定了与运动图像编码装置1的直接矢量判定部34相同的容许范围区域。直接矢量判定部66在以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，判定以该直接矢量指示的像素位置为基点的单位区域是否包括容许范围区域的外部区域。如图17(b)所示，如果以该直接矢量指示的像素位置为基点的单位区域不包括容许范围区域的外部区域(如果直接矢量指示的像素位置是容许范围区域内)，则直接矢量判定部66不从加法平均对象的矢量中去除该直接矢量，而将该直接矢量输出到开关67 (或者 81)。如图17(c)所示，如果以该直接矢量指示的像素位置为基点的单位区域包括容许范围区域的外部区域(如果直接矢量指示的像素位置是容许范围区域外)，则直接矢量判定部66从加法平均对象的矢量中去除该直接矢量。如以上说明可知，根据该实施方式3，如果以直接矢量指示的像素位置为基点的单位区域不包括容许范围区域的外部区域，则不从加法平均对象的矢量中去除该直接矢量， 如果以该直接矢量指示的像素位置为基点的单位区域包括容许范围区域的外部区域，则从加法平均对象的矢量中去除该直接矢量，所以起到可以提高画面端附近处的预测效率提高的可能性的效果。在该实施方式3中，示出了运动图像编码装置1的直接矢量判定部34和运动图像解码装置2的直接矢量判定部66预先设定了相同的容许范围区域的例子，但也可以是对表示由运动图像编码装置1的直接矢量判定部34设定的容许范围区域的信息进行编码，将该编码数据包含在比特流中而发送到运动图像解码装置2。由此，在运动图像解码装置2的直接矢量判定部66中，可以使用与设定在运动图像编码装置1的直接矢量判定部34中的容许范围区域相同的容许范围区域。另外，对于对表示容许范围区域的信息进行编码的单位，当然可以考虑各种编码单位(每个编码对象块、切片(编码对象块的集合)单位、图片单位、序列(图片的集合) 单位)。通过将表示容许范围区域的信息作为所述各种编码单位的参数而进行编码并编码到比特流上，可以对运动图像解码装置2传送运动图像编码装置1计划的容许范围区域。实施方式4.在上述实施方式1、2的运动图像编码装置1中的直接矢量判定部34中，示出了在以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量的例子，但也可以是直接矢量判定部34构成运动矢量修正单元，如果以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则将该直接矢量输出到运动预测部 27(或者72)，如果以该直接矢量指示的像素位置为基点的单位区域包括画面外部的区域， 则将以该直接矢量指示的像素位置为基点的单位区域修正为画面内的区域，将修正后的直接矢量输出到运动预测部27(或者72)。图18是示出直接矢量判定部34的处理内容的说明图。以下，具体说明直接矢量判定部34的处理内容。直接矢量判定部34判定以由直接矢量计算部33预测出的直接矢量指示的像素位置为基点的单位区域是否包括画面外部的区域。如果以直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则直接矢量判定部34与上述实施方式1、2同样地，将该直接矢量输出到运动预测部27(或者 72)。如图18(a)所示，如果以直接矢量指示的像素位置为基点的单位区域包括画面外部的区域(在直接矢量指示了画面外部的情况下)，则直接矢量判定部34如图18(b) (c)所示，将以该直接矢量指示的像素位置为基点的单位区域修正为画面内的区域，将修正后的直接矢量输出到运动预测部27(或者72)。
另外，图18(b)示出将水平以及垂直的各分量独立地修正到画面内的例子，图 18(c)示出将水平以及垂直的各分量保持朝向的同时修正到画面内的例子。在上述实施方式1、2的运动图像解码装置2中的直接矢量判定部66中，示出了以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量的例子，但也可以是直接矢量判定部66构成运动矢量修正单元，如果以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则将该直接矢量输出到开关67(或者 81)，如果以该直接矢量指示的像素位置为基点的单位区域包括画面外部的区域，则将以该直接矢量指示的像素位置为基点的单位区域修正为画面内的区域，将修正后的直接矢量输出到开关67 (或者81)。以下，具体说明直接矢量判定部66的处理内容。直接矢量判定部66判定以由直接矢量计算部65预测出的直接矢量指示的像素位置为基点的单位区域是否包括画面外部的区域。如果以直接矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则直接矢量判定部66与上述实施方式1、2同样地，将该直接矢量输出到开关67 (或者81)。如图18(a)所示，如果以直接矢量指示的像素位置为基点的单位区域包括画面外部的区域(在直接矢量指示了画面外部的情况下)，则直接矢量判定部66如图18(b) (c)所示，按照与运动图像编码装置1中的直接矢量判定部34的修正方式相同的修正方式，将以该直接矢量指示的像素位置为基点的单位区域修正为画面内的区域，将修正后的直接矢量输出到开关67 (或者81)。如以上说明可知，根据该实施方式4，如果以直接矢量指示的像素位置为基点的单位区域包括画面外部的区域，则将以该直接矢量指示的像素位置为基点的单位区域修正为画面内的区域，所以起到可以提高画面端附近处的预测效率提高的可能性的效果。在该实施方式4中，示出了运动图像编码装置1的直接矢量判定部34和运动图像解码装置2的直接矢量判定部66按照相同的修正方式来修正直接矢量的例子，但也可以是对表示运动图像编码装置1的直接矢量判定部34使用的修正方式的信息进行编码，将该编码数据包含在比特流中而发送到运动图像解码装置2。由此，在运动图像解码装置2的直接矢量判定部66中，可以使用与运动图像编码装置1的直接矢量判定部34使用的修正方式相同的修正方式。另外，对于对表示上述矢量的修正方式的信息进行编码的单位，当然可以考虑各种编码单位(每个编码对象块、切片(编码对象块的集合)单位、图片单位、序列(图片的集合)单位)。通过将表示矢量的修正方式的信息作为上述各种编码单位的1个参数而进行编码并编码到比特流上，可以对运动图像解码装置2传送运动图像编码装置1计划的矢量的修正方式。产业上的可利用性本发明的运动图像编码装置以及运动图像解码装置不会导致压缩率的降低，而可以防止画面端的宏块中的画质的劣化，所以适用于对数字视频信号即运动图像数据进行压缩编码而输出运动图像压缩编码数据的运动图像编码装置、和对从运动图像编码装置输出的运动图像压缩编码数据进行解码处理而还原数字视频信号的运动图像解码装置等。
权利要求
1.一种运动图像编码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，确定各单位区域的运动矢量，使用所述运动矢量，进行所述视频信号的压缩编码，其特征在于，具备运动矢量预测单元，根据编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与所述图片处于前后的已编码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述编码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该运动矢量；运动补偿预测图像生成单元，通过取以没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像；以及编码单元，求出由所述运动补偿预测图像生成单元生成的运动补偿预测图像与所述运动图像的差分图像，对所述差分图像进行编码。
2.一种运动图像编码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，确定各单位区域的运动矢量，使用所述运动矢量，进行所述视频信号的压缩编码，其特征在于，具备运动矢量预测单元，根据编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与所述图片处于前后的已编码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述编码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该运动矢量；运动补偿预测图像生成单元，选择没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量或者由所述运动矢量预测单元预测出的1个以上的运动矢量，取以该选择出的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，从而生成运动补偿预测图像；以及编码单元，求出由所述运动补偿预测图像生成单元生成的运动补偿预测图像与所述运动图像的差分图像，对所述差分图像进行编码，并且对表示所述运动补偿预测图像生成单元的运动矢量的选择结果的信息进行编码，将所述信息的编码数据与所述差分图像的编码数据进行复用。
3.—种运动图像编码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，确定各单位区域的运动矢量，使用所述运动矢量，进行所述视频信号的压缩编码，其特征在于，具备运动矢量预测单元，根据编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与所述图片处于前后的已编码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述编码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，判定以所述运动矢量指示的像素位置为基点的单位区域是否包括与该画面邻接的容许范围区域的外部区域，如果以所述运动矢量指示的像素位置为基点的单位区域不包括该容许范围区域的外部区域，则不从加法平均对象的矢量中去除该运动矢量，如果以所述运动矢量指示的像素位置为基点的单位区域包括该容许范围区域的外部区域，则从加法平均对象的矢量中去除该运动矢量；运动补偿预测图像生成单元，通过取以没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像；以及编码单元，求出由所述运动补偿预测图像生成单元生成的运动补偿预测图像与所述运动图像的差分图像，对所述差分图像进行编码。
4.根据权利要求3所述的运动图像编码装置，其特征在于，编码单元对表示运动矢量筛选单元的判定中使用的容许范围区域的信息进行编码，将所述信息的编码数据与差分图像的编码数据进行复用。
5.一种运动图像编码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，确定各单位区域的运动矢量，使用所述运动矢量，进行所述视频信号的压缩编码，其特征在于，具备运动矢量预测单元，根据编码对象的图片中的编码对象的单位区域的附近中存在的已编码的单位区域的运动矢量、在时间上与所述图片处于前后的已编码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述编码对象的单位区域的运动矢量；运动矢量修正单元，如果以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则输出所述运动矢量，如果以所述运动矢量指示的像素位置为基点的单位区域包括画面外部的区域，则将以所述运动矢量指示的像素位置为基点的单位区域修正为画面内的区域，输出修正后的运动矢量；运动补偿预测图像生成单元，通过取以从所述运动矢量修正单元输出的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像； 以及编码单元，求出由所述运动补偿预测图像生成单元生成的运动补偿预测图像与所述运动图像的差分图像，对所述差分图像进行编码。
6.根据权利要求5所述的运动图像编码装置，其特征在于，编码单元对表示运动矢量修正单元的运动矢量的修正方式的信息进行编码，将所述信息的编码数据与差分图像的编码数据进行复用。
7.—种运动图像解码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，使用各单位区域的运动矢量，还原被压缩编码的视频信号，其特征在于，具备运动矢量预测单元，根据解码对象的图片中的解码对象的单位区域的附近中存在的已解码的单位区域的运动矢量、在时间上与所述图片处于前后的已解码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述解码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该运动矢量；运动补偿预测图像生成单元，通过取以没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像；以及解码单元，从所述视频信号的压缩编码数据解码出预测残差信号，对所述预测残差信号和由所述运动补偿预测图像生成单元生成的运动补偿预测图像进行相加。
8.—种运动图像解码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，使用各单位区域的运动矢量，还原被压缩编码的视频信号，其特征在于，具备运动矢量预测单元，根据解码对象的图片中的解码对象的单位区域的附近中存在的已解码的单位区域的运动矢量、在时间上与所述图片处于前后的已解码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述解码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该运动矢量；运动补偿预测图像生成单元，根据与所述视频信号的压缩编码数据复用的表示运动矢量的选择结果的信息的编码数据，识别运动矢量的选择结果，按照该选择结果选择没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量或者由所述运动矢量预测单元预测出的1个以上的运动矢量，通过取以该选择出的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像；以及解码单元，从所述视频信号的压缩编码数据解码出预测残差信号，对所述预测残差信号和由所述运动补偿预测图像生成单元生成的运动补偿预测图像进行相加。
9.一种运动图像解码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，使用各单位区域的运动矢量，还原被压缩编码的视频信号，其特征在于，具备运动矢量预测单元，根据解码对象的图片中的解码对象的单位区域的附近中存在的已解码的单位区域的运动矢量、在时间上与所述图片处于前后的已解码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述解码对象的单位区域的运动矢量；运动矢量筛选单元，在以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，判定以所述运动矢量指示的像素位置为基点的单位区域是否包括与该画面邻接的容许范围区域的外部区域，如果以所述运动矢量指示的像素位置为基点的单位区域不包括该容许范围区域的外部区域，则不从加法平均对象的矢量中去除该运动矢量，如果以所述运动矢量指示的像素位置为基点的单位区域包括该容许范围区域的外部区域，则从加法平均对象的矢量中去除该运动矢量；运动补偿预测图像生成单元，通过取以没有通过所述运动矢量筛选单元从加法平均对象的矢量中去除而残留的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像；以及解码单元，从所述视频信号的压缩编码数据解码出预测残差信号，对所述预测残差信号和从所述运动补偿预测图像生成单元输出的运动补偿预测图像进行相加。
10.根据权利要求9所述的运动图像解码装置，其特征在于，运动矢量筛选单元根据与视频信号的压缩编码数据复用的表示容许范围区域的信息的编码数据，识别所述容许范围区域，将所述容许范围区域用于判定中。
11.一种运动图像解码装置，将构成运动图像的视频信号的多个图片分割成规定的单位区域，使用各单位区域的运动矢量，还原被压缩编码的视频信号，其特征在于，具备运动矢量预测单元，根据解码对象的图片中的解码对象的单位区域的附近中存在的已解码的单位区域的运动矢量、在时间上与所述图片处于前后的已解码的图片中的与所述单位区域相同位置的单位区域的运动矢量，预测1个以上的所述解码对象的单位区域的运动矢量；运动矢量修正单元，如果以由所述运动矢量预测单元预测出的运动矢量指示的像素位置为基点的单位区域不包括画面外部的区域，则输出所述运动矢量，如果以所述运动矢量指示的像素位置为基点的单位区域包括画面外部的区域，则将以所述运动矢量指示的像素位置为基点的单位区域修正为画面内的区域，输出修正后的运动矢量；运动补偿预测图像生成单元，通过取以从所述运动矢量修正单元输出的1个以上的运动矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像； 以及解码单元，从所述视频信号的压缩编码数据解码出预测残差信号，对所述预测残差信号和从所述运动补偿预测图像生成单元输出的运动补偿预测图像进行相加。
12.根据权利要求11所述的运动图像解码装置，其特征在于，运动矢量修正单元根据与视频信号的压缩编码数据复用的表示运动矢量的修正方式的信息的编码数据，识别所述修正方式，并按照所述修正方式，将以运动矢量指示的像素位置为基点的单位区域修正为画面内的区域。
全文摘要
设置直接矢量判定部(34)，在以由直接矢量计算部(33)预测出的直接矢量指示的像素位置为基点的单位区域包括画面外部的区域的情况下，从加法平均对象的矢量中去除该直接矢量；以及运动补偿预测图像生成部(35)，通过取以没有通过直接矢量判定部(34)从加法平均对象的矢量中去除而残留的1个以上的直接矢量指示的像素位置为基点的单位区域的像素值的加法平均，生成运动补偿预测图像。
文档编号H04N7/32GK102210150SQ20098014421
公开日2011年10月5日 申请日期2009年10月20日 优先权日2008年11月7日
发明者关口俊一, 出原优一 申请人:三菱电机株式会社