，作为标志flagl而包含在辅助信息中。掩模生成部1264在对象的帧内，生成将针对各像素的标志flagl的值展开后的掩模(图)，向处理选择部1266进行输出，并向控制部1230进行输出。基于来自掩模生成部1264的标志flagl的值，在编码以及译码中决定适用于各像素的过程。
[0171]在数据格式变换部1206中，处理选择部1266基于标志flagl的值来选择针对构成对象的宏块的各像素的处理。具体而言，处理选择部1266针对被判断为要以残差(在图9中标记为“残差”(“Residual”)。)定义的像素，将其像素值直接输出至合成部1280，另一方面，针对被判断为要以余数(在图9中标记为“余数”(“Remainder”)。)定义的像素，将其像素值输出至取模运算部1278。
[0172]此外，可以对被判断为要以残差定义的像素应用别的判断基准，针对要以残差定义的区域的一部分或全部的像素，将其像素值变换为零。针对该变换为零的像素，依然作为“要以残差定义的区域”对待。
[0173]取模运算部1278对于针对要以余数定义的区域的像素值，执行取模运算。更具体而言，取模运算部1278进行以由系数选择部1272设定的系数D (整数)为分母的取模运算，来计算余数。该计算出的余数被输出至合成部1280。合成部1280按每个像素将所输入的余数或残差进行结合，来输出数据格式变换后的宏块(在图9中标记为“变换后MB” ( “Converted MB”)。)。
[0174]在数据格式变换部1206中，可以基于运动补偿宏块来使取模运算部1278中的取模运算所使用的系数(分母)D动态地变化。运动补偿宏块当中其像素值大的区域意味着帧间的冗余性相对低的区域，针对这样的区域，优选在数据格式变换后也维持其中所含的信息。故而，根据帧间的冗余性的大小来选择适当的系数D。
[0175]作为使这样的系数D动态变化的方法，能采用任意的方法。在图9中，示出获取运动补偿宏块(运动图像)的梯度信息并基于获取到的梯度信息来决定成为取模运算的除数的值的处理例。更具体而言，生成针对运动补偿宏块的疑似梯度宏块(gradient-likemacro-block)，根据该疑似梯度宏块的各像素中的像素值的大小来决定成为除数的系数D。
[0176]具体而言，梯度图像生成部1270生成针对运动补偿宏块的疑似梯度宏块。然后，可以参照梯度强度与成为取模运算的除数的值之间的预先规定的对应关系，来决定成为取模运算的除数的值。更具体而言，系数选择部1272基于所生成的疑似梯度宏块的各像素的像素值(梯度强度)，参照查询表1274，来决定针对各像素的系数D。通过使用查询表1274，能对疑似梯度宏块来非线性地决定系数D。如此，通过非线性地决定系数D，能使译码后的图像质量得以提高。
[0177]图10是表示用于决定在本发明的实施方式所涉及的余数的计算中使用的系数D的查询表1274的一例的图。如图10所示，根据梯度强度而离散化为多个梯度级(GradientRange)，并定义针对各梯度级的系数D。梯度图像生成部1270参照查询表1274，为对象的宏块的各像素选择对应的系数D。在此，针对对象的宏块中所含的各色彩分量的各像素来决定系数D。
[0178]在图10所示的查询表1274中，成为取模运算的除数的值(系数D)被设计成2的幂次方。如此，通过进行系数D的分配，能使取模运算高速化。查询表1274能任意设计，因此可以采用梯度级数更少的或者梯度级数更多的查询表。
[0179]或者，无需一定使用查询表，可以使用预先规定的函数等来决定系数D。例如，可以将疑似梯度宏块的各像素中的像素值直接作为系数D。
[0180]取模运算部1278对从处理选择部1266顺次输出的像素，以对应的系数D为除数来进行针对其像素值的取模运算。更具体而言，决定使各像素的像素值Value = qXD+m(其中，q彡O，D > O)成立的最小的m。在此，q是商，m是余数。
[0181]在后述的宏块的重构处理(译码)中，计算“像素值P = kXD+m”，因此输出针对各像素所计算的按色彩分量的余数m。
[0182]在此，针对梯度图像生成部1270中的疑似梯度宏块的生成方法进行说明。更具体而言，梯度图像生成部1270根据作为辅助信息的运动补偿宏块(帧内宏块或帧间宏块)来生成表示图像空间上的变化的程度的疑似梯度宏块。疑似梯度宏块是指，在运动补偿宏块内其纹理变化更大的区域具有更大的亮度的图像。作为疑似梯度宏块的生成处理，能使用任意的滤波处理。另外，构成疑似梯度宏块的各像素值被归一化以取给定范围内(例如，O?255)的任一整数值。典型地，通过以下那样的处理过程来生成疑似梯度宏块。
[0183](i)为了去噪，对疑似梯度宏块应用高斯滤波(高斯平滑处理)。
[0184](ii)将滤波后的辅助信息按色彩分量进行分离(即，按色彩分量来生成灰度图像)。
[0185](iii)针对各色彩分量的灰度图像，执行(Cl)?(c4)的处理。
[0186](ii1-1)边缘检测处理
[0187](ii1- 2) (I次以上的)高斯平滑处理(或者，中值滤波处理)
[0188](ii1- 3) 一系列的形态学处理(例如，(I次以上的)膨胀处理、(I次以上的)收缩处理、(I次以上的)膨胀处理)
[0189](ii1- 4) (I次以上的)高斯平滑处理
[0190]通过以上那样的处理，按构成运动补偿宏块的色彩分量来生成疑似梯度宏块。
[0191]在此所示的处理过程只是一例，能酌情设计高斯平滑处理、形态学处理的处理内容或处理过程等。
[0192]进而，只要能生成在运动补偿宏块内对于发生了更大的亮度变化的区域分配更大的像素值(亮度)那样的宏块，则采用何种方法均可。作为一例，可以针对X方向以及y方向分别应用sobel滤波器，并将其应用结果的平均值作为宏块。
[0193](h4:数据格式变换部1206(第2数据格式用))
[0194]图11是本发明的实施方式所涉及的数据格式变换部1206的另一功能框图。参照图11，数据格式变换部1206较之于图9所示的数据格式变换部1206，取代掩模生成部1264、处理选择部1266以及合成部1280，而设置有累计部1265、评价部1267以及切换部1269。其他部的细节在上所述，因此省略其内容。
[0195]比较部1262、累计部1265以及评价部1267针对对象的宏块，决定要以残差以及余数的哪一者来定义。即，比较部1262、累计部1265以及评价部1267针对将残差图像(残差宏块)分割为给定尺寸的各块，基于结合了针对构成该块的各像素的像素值的评价的结果，以块为单位来决定要以余数定义的区域。评价部1267将用于从残差图像中所含的块当中确定要以余数定义的块的信息作为附加信息进行输出。
[0196]更具体而言，比较部1262将构成残差宏块的各像素的像素值与辅助信息的一部分即阈值THl进行比较。然后，比较部1262针对该像素值超过阈值THl的像素，将该像素值与阈值THl的差分输出至累计部1265。也就是，累计部1265针对各残差宏块，计算针对其像素值超过阈值THl的像素的“像素值一阈值THl ”的总和(Σ (像素值一阈值THl))。
[0197]评价部1267将计算出的总和与阈值TH2进行比较，针对对象的残差宏块来决定要以残差以及余数的哪一者进行定义。具体而言，若计算出的总和为阈值TH2以上，评价部1267决定为将该对象的残差宏块直接输出。另一方面，若计算出的总和小于阈值TH2，则评价部1267决定为将该对象的残差宏块变换为余数宏块后进行输出。也就是，在判断为残差宏块由像素值相对小的像素构成的情况下，该宏块的信息有可能丢失较大，因此变换成不是以残差而是以余数来定义的数据格式。
[0198]进而，评价部1267基于该决定来向切换部1269发出指令。更具体而言，在决定为直接输出对象的残差宏块的情况下，切换部1269使绕过取模运算部1278的路径有效化。与之相对，在决定为将对象的残差宏块变换成余数宏块后进行输出的情况下，切换部1269使将残差宏块送往取模运算部1278的路径有效化。
[0199]针对该宏块究竟是以余数以及残差的哪一者进行定义这样的附加信息作为标志flag2而包含在辅助信息中。基于来自掩模生成部1264的标志flag2的值，在编码以及译码中决定应用于各宏块的过程。
[0200]此外，在使用余数宏块作为数据格式变换后的宏块的情况下，成为不可逆压缩的形式，因此在局部解码器1210中复原该宏块之际，可以绕过去块滤波器1216(图4)中的处理。由此，能减少噪声的发生。
[0201][1.正交变换和量化部1208以及1408中的处理]
[0202]接下来，详述本发明的实施方式所涉及的正交变换和量化部1208以及1408中的处理。
[0203]正交变换和量化部1208及1408对来自数据格式变换部1206及1406的数据格式变换后的宏块，分别执行正交变换、量化以及缩放。关于该正交变换以及量化的类型，可以根据从数据格式变换部1206以及1406输出的宏块的数据格式类型来动态地变更。例如，可以针对以残差定义的区域，应用与在关联技术中使用的手法同样的手法，另一方面，针对以余数定义的区域，可以进一步调整正交变换、量化以及缩放所涉及的参数。
[0204][J.数据格式逆变换部1214以及1414中的处理]
[0205]接下来，详述本发明的实施方式所涉及的数据格式逆变换部1214及1414中的处理。此外，数据格式逆变换部1214及1414中的处理实质上相同，因此为了方便说明，以下说明数据格式逆变换部1214。
[0206](jl:数据格式逆变换部1214中的处理概要)
[0207]如上所述，从数据格式变换部1206输出的数据格式变换后的宏块有多个类型，因此基于辅助信息中所含的数据格式类型来选择数据格式逆变换的过程。
[0208]数据格式逆变换部1214针对以残差定义的区域，通过将同一帧中的运动补偿宏块(由帧内预测部1218生成的帧内宏块或由运动补偿部1220生成的帧间宏块)进行相加，来复原原始宏块。
[0209]另一方面，针对以余数定义的区域，还将运动补偿宏块用作辅助信息。更具体而言，为了决定在用于根据余数来估计本来的像素值的取模逆运算中使用的系数(分母)，生成针对运动补偿宏块的疑似梯度宏块或具有与之类似的信息的宏块。
[0210]如上所述，作为数据格式变换后的宏块，能存在以像素为单位将余数与残差进行了组合的第I数据格式、以及以宏块为单位将余数与残差进行了组合的第2数据格式，但无论对于哪一种宏块，基本上均适用同样的数据格式逆变换(复原处理)。此外，在以下的说明中，通过将残差的计算所涉及的处理排除在外，能实现仅以余数定义的数据格式变换后的宏块所对应的数据格式逆变换(复原处理)，这是不言自明的。
[0211](J2:数据格式逆变换部1214的功能构成)
[0212]图12是本发明的实施方式所涉及的数据格式逆变换部1214的功能框图。参照图12，数据格式逆变换部1214包含:处理选择部1290、加法部1292、梯度图像生成部1270、系数选择部1272、查询表1274、取模逆运算部1298以及合成部1294。此外，针对执行与构成图9所示的数据格式变换部1206的部件同样的处理的部件，赋予了相同的附图标记。
[0213]处理选择部1290基于作为辅助信息的一部分的标志flagl和/或标志flag2，判断针对(由逆正交变换和缩放部1212复原出的)数据格式变换后的宏块的数据格式类型，并确定通过余数以及残差各自而定义的区域(像素/宏块)。然后，处理选择部1290将通过残差而定义的区域中所含的像素值输出至加法部1292，并将通过余数而定义的区域中所含的像素值输出至取模逆运算部1298。
[0214]加法部1292将与处理选择部1290输出像素值的像素的像素位置对应的运动补偿宏块中的像素值与所输出的像素值进行相加。通过该加法处理来复原原始宏块的对应的像素值。加法部1292将该计算结果输出至合成部1294。
[0215]另一方面，取模逆运算部1298根据从处理选择部1290输出的像素值(余数)以及在计算该余数之际用到的系数D，通过取模逆运算来估计原始宏块的对应的像素值。该取模逆运算所需的系数D是依照与数据格式变换部1206中的余数的计算处理同样的处理来决定的。即，梯度图像生成部1270生成针对运动补偿宏块的疑似梯度宏块，系数选择部1272基于所生成的疑似梯度宏块的各像素的像素值(梯度强度)，参照查询表1274，来决定针对各像素的系数D。该梯度图像生成部1270、系数选择部1272以及查询表1274所涉及的处理参照图9已说明，因此省略详细的说明。
[0216]取模逆运算部1298使用针对各像素而选择出的系数D及余数、以及运动补偿宏块的对应的像素值SI，来进行取模逆运算。更具体而言，取模逆运算部1298依照C(q’)=q’ XD+Remainder(其中，q’彡O, C(q’ ) < 256)来计算针对原始宏块的对应的像素值的候补值C(q’)的列表，并将该计算出的候补值C(q’)当中使运动补偿宏块的对应的像素值SI相应的差最小的值决定为原始宏块的对应的像素值。
[0217]例如，若考虑系数D= 8，余数m = 3，运动补偿宏块的对应的像素值SI = 8的情况，则作为候补值C(q’)，给出以下。
[0218]候补值C(O) = O X 8+3 = 3 (与 SI 之差=5)
[0219]候补值C(I) = 1X8+3 = 11(与 SI 之差=3)
[0220]候补值C (2) = 2 X 8+3 = 19 (与 SI 之差=11)
[0221]…
[0222]从这些候补值C(q’)当中，选择使与运动补偿宏块的对应的像素值SI之差最小的候补值C(l)，原始宏块的对应的像素值被决定为“11”。如此，按色彩分量来分别决定原始宏块的各像素的像素值。该计算出的像素值被输出至合成部1294。合成部1294按每个像素对所输入的余数或残差进行结合，来输出原始宏块(Original MB)。
[0223][K.解码器群的功能构成]
[0224]接下来，说明构成本发明的实施方式所涉及的编码/译码系统的解码器群的功能构成。图13是本发明的实施方式所涉及的解码器群的功能框图。参照图13，在本发明的实施方式所涉及的译码中，处理对多视点影像以及对应的多视点深度信息进行编码而得到的比特流，因此解码器210对多视点影像进行译码，解码器230对多视点深度信息进行译码。解码器210以及230彼此共享信息的同时进行译码。基本的构成在解码器210与解码器230之间是公共的。
[0225]是用于译码多视点影像的解码器210的功能框图。参照图13，解码器210包含:输入缓冲器2102、熵解码部2104、逆正交变换和缩放部2112、数据格式逆变换部2114、去块滤波器2116、帧内预测部2118、运动补偿部2120、切换部2122、控制部2130以及输出缓冲器 2142。
[0226]另一方面，用于译码多视点深度信息的解码器230包含:输入缓冲器2302、熵解码部2304、逆正交变换和缩放部2312、数据格式逆变换部2314、去块滤波器2316、帧内预测部2318、运动补偿部2320、切换部2322、控制部2330以及输出缓冲器2342。
[0227]概述之，解码器210较之于图5所示的解码器910，主要在以下方面不同:取代对残差图像与先计算出的预测图像(内插信息)进行相加的加法部9114而设置有数据格式逆变换部2114。同样，解码器230较之于图5所示的解码器930，主要在以下方面不同:取代对残差图像与先计算出的预测图像(内插信息)进行相加的加法部9314而设置有数据格式逆变换部2314。而伴随该构造的变更，控制部2130的动作也与控制部9130不