下采样方法对应的解码 图像刷新方法的例子如上述。
[0243] 如果不需要环路滤波则也可以不特别地进行，但是，在通常的视频编码中，使用去 块滤波或其它的滤波来除去编码噪声。或者，也可以使用用于除去由RRU造成的劣化的滤 波。此外，也可以与解码图像刷新同样地或同时地适合地生成该环路滤波。
[0244] 最后，如果对全部块结束处理(步骤S27)，则作为解码帧输出。
[0245] 再有，关于图6、图8所示的处理工作，其顺序前后颠倒也可。
[0246] 〈第三实施方式〉 接着，对本发明的第三实施方式的视频编码装置和视频解码装置进行说明。图9是示 出本发明的第三实施方式的视频编码装置IOOb的结构的框图。在该图中，对与图5所示的 装置相同的部分标注同一附图标记，并省略其说明。
[0247] 该图所示的装置与图5所示的装置不同之处在于，如图9所示那样新具备辅助视 频预测图像、残差生成部115。
[0248] 辅助视频预测图像、残差生成部115生成用于解码图像刷新的参照用的辅助视频 的预测图像和残差。在以下，将该参照用的辅助视频的预测图像和残差分别称为辅助预测 图像、辅助预测残差。
[0249] 接着，参照图10对图9所示的视频编码装置IOOb的工作进行说明。图10是示出 图9所示的视频编码装置IOOb的工作的流程图。
[0250] 图10示出在从外部输入与编码对象视频具有相关性的辅助视频而生成其预测图 像和残差而利用于解码视频刷新的情况下的处理。在图10中，对与图6所示的处理相同的 部分标注同一附图标记，并省略其说明。
[0251] 首先，与第二实施方式同样地执行步骤Sla和S2。
[0252] 再有，关于在步骤Sla中输入的辅助视频，只要是与编码对象视频具有相关性的 视频且是能够通过用于编码对象视频的预测的预测信息或能够从那里推测出的预测信息 来生成预测图像的视频，则是怎样的视频都可以。
[0253] 例如，在编码对象视频为多视点视频中的一个视点视频的情况下，能够使用另外 的视点的视频作为辅助视频。在该情况下，考虑视点移动等的变换，也可以进行以下等任意 的变换：进行在编码对象视频中使用的预测矢量的变换等而作为辅助信息的预测矢量。
[0254] 或者，在存在与编码对象视频对应的深度图的情况下，也可以将深度图作为辅助 视频，在编码对象视频为深度图（形式的信息）的情况下，也可以将对应的纹理作为辅助视 频。
[0255] 在该情况下，也可以使用与编码对象视频的预测信息相同的预测信息来生成辅助 信息的预测图像。
[0256] 重复执行到以下的步骤S3~S10为止的处理，直到帧内的全部块被依次处理。
[0257] 进而，与第二实施方式同样地执行步骤S3和S4。
[0258] 如果生成针对编码对象视频的预测图像和预测残差，则接着，辅助视频预测图像、 残差生成部115生成针对辅助视频的预测图像和预测残差即辅助预测图像和辅助预测残 差(步骤4b)。
[0259] 关于在辅助预测图像生成中使用的预测信息，也可以使用与编码对象视频相同的 预测信息，也可以是如上述那样实施变换后的预测信息。
[0260] 接着，残差下采样部105执行高分辨率预测残差的下采样来生成低分辨率预测残 差(步骤S5b)。
[0261] 在此时的下采样时，也可以参照辅助预测图像和辅助预测残差。例如，能够应用从 辅助预测残差的强度强的像素起依次进行采样等的方法等。或者，也能够应用从预先确定 的二次采样位置的图案之中选择尽可能多地对辅助预测残差的强度强的像素进行采样那 样的图案等的方法。
[0262] 接着，变换、量化部106对低分辨率预测残差进行变换、量化而生成量化数据(步 骤S6)。关于该变换、量化，只要能够在解码侧正确地逆量化、逆变换，则使用怎样的方法都 可以。
[0263] 如果变换、量化结束，则逆量化、逆变换部107对量化数据进行逆量化、逆变换来 生成解码低分辨率预测残差(步骤S7)。
[0264] 接着，临时解码部108将解码低分辨率预测残差的对应的像素与高分辨率预测图 像相加来生成临时解码图像(步骤S8b)。
[0265] 在如上述那样利用辅助预测图像、辅助预测残差来实施二次采样位置的决定的情 况下，在此也可以通过同样的方法来决定低分辨率残差的高分辨率中的对应位置。
[0266] 接着，如果临时解码结束，则刷新部109使用临时解码图像和辅助预测图像、辅助 预测残差来进行临时解码图像的刷新，生成高分辨率解码图像。
[0267] 然后，在环路滤波部110中进行环路滤波，作为参照帧的块存储在参照帧存储器 111中（步骤S9b)。
[0268] 在此，说明在下采样中对预测残差值进行二次采样并进行编码的情况下的在临时 解码中针对一部分像素得到正确的解码值的情况下的刷新方法。此外，将在该临时解码中 得到正确的解码值的像素称为已解码像素，针对该像素不进行更新。此外，此时，将已解码 像素以外的像素称为临时解码像素。
[0269] 作为刷新的方法，例如使用辅助预测图像、辅助预测残差来实施在第一、第二实施 方式中示出的那样的方法也可，以任何形式进行组合都可以。
[0270] 例如，能够应用在辅助视频和辅助预测图像双方实施轮廓提取、区域提取来估计 残差集中的区域等的方法。
[0271] 或者作为另外的方法，也能够应用以下的方法等：假定为解码对象图像的预测残 差局部地具有与辅助预测残差的强度对应的强度分布，根据已知的残差值估计解码图像的 残差值的强度分布，根据该分布决定临时解码像素中的预测残差，将其与高分辨率预测图 像相加，由此，决定解码值。
[0272] 此外，作为另外的方法，也能够应用如下等的方法：以与视频同样的方法对辅助预 测残差进行下采样来生成低分辨率辅助预测残差，同样地进行临时解码来生成辅助临时解 码图像，决定对其最好地进行解码那样的解码图像刷新的方法和其参数，通过所决定的方 法进行视频的解码图像刷新。
[0273] 关于解码图像刷新的方法，从上述的任何方法中进行选择都可以，此外，是另外的 方法也可。
[0274] 此外，或者，也能够通过与参照先前叙述的辅助预测图像、辅助预测残差的下采样 方法组合来进一步提高恢复性能。
[0275] 接着，对视频解码装置进行说明。图11是示出本发明的第三实施方式的视频解码 装置200b的结构的框图。在该图中，对与图7所示的装置相同的部分标注同一附图标记， 并省略其说明。
[0276] 该图所示的装置与图7所示的装置不同之处在于如图11所示那样新具备辅助视 频预测图像、残差生成部212。
[0277] 辅助视频预测图像、残差生成部212生成用于解码图像刷新的参照用的辅助视频 的预测图像和残差。在以下，将该参照用的辅助视频的预测图像和残差分别称为辅助预测 图像、辅助预测残差。
[0278] 接着，参照图12对图11所示的视频解码装置200b的工作进行说明。图12是示 出图11所示的视频解码装置200b的工作的流程图。
[0279] 图12示出在从外部输入与编码对象视频具有相关性的辅助视频而生成其预测图 像和残差而利用于解码视频刷新的情况下的处理。在图12中，对与图8所示的处理相同的 部分标注同一附图标记，并省略其说明。
[0280] 首先，码数据输入部201输入码数据，并存储在码数据存储器202中。与此并行地， 辅助视频输入部210输入辅助视频帧，并存储在辅助帧存储器211中（步骤S21a)。
[0281] 再有，解码对象视频中的若干个帧已经被解码，并被存储在参照帧存储器209中。
[0282] 以下，与图8所示的处理工作同样地执行从步骤S22到S24。
[0283] 如果生成针对解码对象视频的预测图像，则接着，辅助视频预测图像、残差生成 部212生成针对辅助视频的预测图像和预测残差即辅助预测图像和辅助预测残差(步骤 24b)〇
[0284] 关于在辅助预测图像生成中使用的预测信息，也可以使用与解码对象视频相同的 预测信息，也可以是如上述那样实施变换后的预测信息。
[0285] 接着，临时解码部108将解码低分辨率预测残差的对应的像素与高分辨率预测图 像相加来生成临时解码图像(步骤S25b)。
[0286] 在如上述那样利用辅助预测图像、辅助预测残差来实施二次采样位置的决定的情 况下，在此也可以通过同样的方法来决定低分辨率残差的高分辨率中的对应位置。
[0287] 接着，如果临时解码结束，则刷新部207使用临时解码图像和辅助预测图像、辅助 预测残差、其它的信息来进行临时解码图像的刷新，生成高分辨率解码图像。然后，环路滤 波部208对生成的高分辨率解码图像进行环路滤波，并将其输出作为参照块存储在参照帧 存储器209中（步骤S26b)。
[0288] 关于刷新方法，使用怎样的方法都可以。但是，通过使该方法与在视频编码装置中 使用的下采样的方法彼此对应，从而能够得到更高的解码性能。与下采样方法对应的解码 图像刷新方法的例子如上述。
[0289] 如果不需要环路滤波则也可以不特别地进行，但是，在通常的视频编码中，使用去 块滤波或其它的滤波来除去编码噪声。或者，也可以使用用于除去由RRU造成的劣化的滤 波。此外，也可以与解码图像刷新同样地或同时地适合地生成该环路滤波。
[0290] 最后，如果对全部块结束处理(步骤S27)，则作为解码帧输出。
[0291] 再有，关于图10、图12所示的处理工作，其顺序前后颠倒也可。
[0292] 在上述的第一到第三实施方式中，说明了对编码对象帧的全部块应用RRU的例 子，但是，也可以仅对一部分块应用。此外，也可以按照块使下采样率可变。
[0293]在这样的情况下，也可以对表示可否应用RRU、下采样率的信息进行编码并包含到 附加信息中，也可以在解码侧附加判别可否应用、下采样率的功能。例如，也可以参照预测 图像来决定可否应用RRU、下采样率。
[0294] 或者，在另外存在参照的视频、图像、其它的附加信息的情况下，也可以参照它们 来决定。在对它们进行编码或传输的情况下，优选附加用于对由于编码噪声、传输错误而变 得不能进行解码的情况进行防止的避免功能、修订功能。
[0295] 此外，在上述的第一到第三实施方式中，在全部块中适合地更新解码像素(更新临 时解码图像的临时解码值)，但是，为了降低运算量，也可以针对不实施更新就得到充分的 性能的块不实施更新。
[0296] 此外，对通过用既定的插值滤波进行插值等而得到充分的性能的块使用这样的滤 波来代替更新处理也可。在该情况下，参照视频、辅助信息来切换使用既定的滤波或者进行 解码图像刷新也可。
[0297] 此外，在上述的第一到第三实施方式中，编码装置、解码装置都在循环的内部按照 每个块执行解码图像刷新，但是，如果可能则也可以在外部执行。
[0298] 此外，即使在按照每个块进行的情况下，也可以在块的第一行或第一列中参照已 经解码完毕的左上、上、左块的像素来用于解码。
[0299] 此外，在上述的第一到第三实施方式中，在解码时参照对码数据进行逆量化、逆变 换后的解码信号来进行解码图像刷新，但是，也可以参照逆量化前的量化数据或逆变换前 的变换数据来进行解码图像刷新。此外，在对编码对象视频的预测残差实施变换、量化来做 成量化数据之后进行熵编码来生成码数据，但是，也可以在不进行变换、量化的情况下进行 编码。
[0300] 此外，在上述的第一到第三实施方式中，并未特别地区别编码对象视频信号中的 亮度信号、色差信号，但是，也可以进行区别。
[0301] 例如，仅对色差信号执行下采样、上采样并且在保持高分辨率的状态下对亮度信 号进行编码等也可，反过来也可。
[0302] 或者，也可以同时进行各个解码图像刷新，也可以分别进行。在该情况下，例如，参 照亮度信号的解码图像、通过解码图像刷新得到的其它的信息来进行色差信号的解码图像 刷新等也可，反过来也可。
[0303] 此外，作为其它