专利名称：影像编码方法和解码方法、其装置和程序和记录有程序的存储介质的制作方法
技术领域：
本发明涉及多视点活动图像的编码和解码技术。
本申请基于2006年12月28日申请的日本专利申请2006-353628号主张优先权，并在这里引用其内容。
背景技术：
多视点活动图像(多视点影像)指的是以多个摄影机对相同的被摄体和背景进行摄影的多个活动图像。在以下，将以一个摄影机摄影的活动图像称为“二维活动图像”，将摄影了相同的被摄体和背景的二维活动图像组称为多视点活动图像。
多视点活动图像中包含的各摄影机的二维活动图像在时间方向上具有强相关。另一方面，在各摄影机被同步了的情况下，对应于相同时刻的各摄影机的影像是从不同位置对完全相同状态的被摄体和背景进行摄影的影像，因此在摄影机之间有强相关。在活动图像的编码中，通过利用这些相关来提高编码效率。
首先，对与二维活动图像的编码技术相关的现有技术进行说明。
在以作为国际编码标准的H.264、MPEG-2、MPGE-4为首的现有的众多二维活动图像编码方式中，利用运动补偿、正交变换、量化、熵编码等技术，进行高效率的编码。例如，在H.264中，能够实现利用与过去或未来的多枚帧的时间相关的编码。
关于在H.264中使用的运动补偿记述的详细，记载在下述的非专利文献1中，以下对其概要进行说明。
在H.264的运动补偿中，将编码对象帧分割为各种大小的块，使各块能够具有不同的运动矢量，对于局部的影像变化实现了高编码效率。
此外，作为参照图像的候补，准备过去或未来的已经编码完成的多枚帧，使各块能够具有不同的参照帧。由此，即使对于由于时间变化而产生遮挡(occlusion)的影像也实现了高编码效率。
接着，对现有的多视点活动图像的编码方式进行说明。针对多视点活动图像的编码，在现有技术中存在以下方式，即通过对相同时刻的不同摄影机的图像应用了运动补偿的“视差补偿”，高效率地对多视点活动图像进行编码的方式。这里，视差指的是在配置在不同位置上的摄影机的图像平面上，被摄体上的相同位置被投影的位置的差。
图7表示该在摄影机间产生的视差的概念图。在该概念图中，从上方垂直地向下观察光轴是平行的摄影机A、B的图像平面。像这样，被摄体上的相同位置在不同的摄影机的图像平面上被投影的位置，一般被称为对应点。在利用视差补偿的编码中，基于该对应关系，根据参照帧预测编码对象帧的各像素值，对其预测残差、和表示对应关系的视差信息进行编码。
由于在多视点活动图像的各帧中，同时存在时间方向的冗余和摄影机之间的冗余，所以作为同时去除这两方的冗余的方法，有下面表示的非专利文献2和专利文献1(多视点图像编码装置)的方法。
在这些方法中，在时间方向上预测原图像和视差补偿图像的差分图像，对该差分图像的运动补偿残差进行编码。
根据该方法，由于在去除摄影机之间的冗余的视差补偿中不能去除的时间方向的冗余，能够通过运动补偿而被去除，所以进行编码的预测残差最终变小，能够实现高编码效率。
非专利文献1ITU-T Rec.H.264/ISO/IEC 11496-10，″Editor′sProposed Draft Text Modifications for Joint Video Specification(ITU-TRec.H.264/ISO/IEC14496-10AVC)，Draft7″，Final Committee Draft，Document JVT-E022，pp10-13，and 62-68，September 2002. 非专利文献2Shinya SHIMIZU，Masaki KITAHARA，KazutoKAMIKURA and Yoshiyuki YASHIMA，“Multi-view Video Coding basedon 3-D Warping with Depth Map″，In Proceedings of Picture CodingSymposium 2006，SS3-6，April，2006. 专利文献1日本专利申请公开平10-191393号公报 发明要解决的课题 根据运动补偿差分图像并进行编码的现有的多视点活动图像的编码方法，由于能够使同时具有时间方向和摄影机间的冗余的部分的预测残差变小，所以能够有效率地进行编码。
可是，在如图8所示那样在被摄体之间发生遮挡的情况下，即使是相同的被摄体，也有摄影机间的冗余是否存在是根据时刻而变化的情况。
再有，图8表示在时刻a和时刻b分别在摄影机A和摄影机B摄影的图像中的被摄体之间的遮挡的例子。
图9表示有遮挡的情况下的视差补偿残差图像的例子。
根据非专利文献2的方法，因为对视差补偿的参照帧的各像素赋予表示与其它的帧的对应点的视差信息，所以在图8的情况下根据摄影机A的影像对摄影机B的图像进行视差补偿后时的差分图像，成为图9所示那样。
在图9中，颜色的浓度表示差分信号的大小，越接近白色表示差分越少。
由于使用参照帧、即表示摄影机A的图像的各像素对应于摄影机B的图像的何处的视差信息，所以在摄影机B的图像中存在的、但在摄影机A的图像中不存在的部分中不进行视差补偿。因此，在能取得对应点的部分中图像变白，在图9中的以虚线包围的R的不能取得对应点的部分中，原图像直接作为差分信号而残留。
但是，通过摄影机灵敏度的不同或反射等的影响，即使在能够取得对应点的区域中差分信号也并不完全变为零。在图中的R那样的部分中，即使根据图中的时刻a等的其它时刻的差分图像进行运动补偿，很明显也不能够减少预测残差。
作为应对该问题的单纯的方法，能够举出利用按照块的每一个参照不同的帧的功能的方法。也就是说，作为参照帧不仅利用差分图像的解码图像，也能够利用将视差补偿图像加入该差分图像后的最终的摄影机图像的解码图像，按照块的每一个切换参照哪一方的方法。
通过这样，即使在原来的摄影机图像的图中的R区域中，通过根据摄影机图像的解码图像进行运动补偿，能够减少预测残差。
可是，在该方法中，由于需要按照块的每一个对用于表示参照帧的信息进行编码，所以导致码量的增大。
此外，也有不能够对应在一个块中有遮挡的部分和无遮挡的部分混合存在的情况的问题。
另一方面，在专利文献1的方法中，当对编码对象帧进行编码时，并不是对差分图像进行运动补偿并对帧整体进行编码，而是能够对块的每一个选择对差分图像进行运动补偿、还是仅进行视差补偿、还是仅进行运动补偿。
由此，即使在上述那样的在摄影机间发生遮挡的部分中，如果在时间方向上有冗余的话，就能够高效率地减少预测残差。
可是，在该情况下，由于需要对表示块的每一个中使用了哪种预测方法的信息进行编码，所以即使能够减少预测残差，但是产生对大量的附加信息进行编码的需要，因此不能够实现高编码效率。
此外，由于对块的每一个只能选择一种预测方法，所以在一个块中的每个部分的遮挡的有无是不同的情况下，不能够对应。
发明内容
本发明正是鉴于这种情况而完成的，其目的在于提供一种新的影像编码及解码技术，通过不增加用于预测的附加信息的码量而实现适合的预测，能够达成高编码效率。
用于解决课题的方法 为了解决上述课题，本发明提供一种影像编码方法，其使用已经编码完成的参照摄影机图像、与相对于该参照摄影机图像的编码对象摄影机图像的视差信息，通过进行摄影机间的影像预测来制作视差补偿图像，对编码对象摄影机图像与该视差补偿图像的差分图像进行编码，其中，该影像编码方法具有以下步骤对应于相同位置的视差补偿图像的有无的状态、即对应于与视差补偿图像对应的像素值是否是有效的值，对差分图像的规定区分单位(例如像素)的每一个，将下述两个图像组的任何一方作为参照对象进行设定，该图像组为， (i)对已经编码完成的摄影机图像与视差补偿图像的差分图像进行解码后的解码差分图像组(解码差分图像的集合，其包含已经编码的其它时刻的解码差分图像、该编码对象摄影机图像相关的差分图像的已经被编码的部分的解码差分图像)，以及 (ii)对已经编码完成的摄影机图像进行解码后的解码摄影机图像组(解码摄影机图像的集合，以与各解码差分图像(包含其它时刻的解码差分图像)对应的视差补偿图像的和来表示)。
根据上述方法，不用附加与模式或参照图像的切换相关的新的信息，就能够实现以所希望的区分单位使用了适合的参照图像的预测编码。也就是说，不会增加附加信息的码量，能够减少应该编码的残差成分，由此能够实现高编码效率。
在该方法中，即使视差信息以视差矢量的形式被赋予，或者使用从摄影机到被摄体为止的距离等的几何信息来表示，只要能够得到图像间的对应关系的话，以任何方式赋予均可。
在使用被设定了差分图像的参照图像进行编码时，在一个编码处理块中，使用一个预测方式进行编码也可。
在参照图像不同的情况下，可以认为在通常的预测编码中最优的预测方法不同。因此，在一个编码处理块内参照图像不同的像素或区域混合存在的情况下，对参照对象的每一个选择预测方式，表示多种预测方式的附加信息被编码。
可是，如上述那样，在一个编码处理块中，只使用一个预测方式进行编码的话，对编码处理块的每一个仅编码表示一个预测方式的信息即可，因此能够整体上削减所需要的码量。在该情况下，虽然有预测效率下降的担忧，但是当考虑前述图9的情况时，可以认为在该边界部分中即使以相同的方法(在该情况下，使用相同的运动矢量的运动补偿)进行影像预测，预测效率也不会下降低较大。
此外，也可以鉴于预测效率和附加信息的码量的平衡，决定对块的每一个使用一个预测方法，还是对按照参照对象的每一个使用不同的预测方法。像这样通过鉴于预测效率和附加信息的码量的平衡，能够更灵活地实现高编码效率的编码。
在该情况下，在解码侧根据编码数据得知是否切换了预测方法，能够适合地解码影像。
发明的效果 根据本发明，在对利用视差补偿的差分图像进行预测编码时，不使用新的附加信息，通过以像素单位切换适合的参照图像并使用，能够不使附加信息的码量增加，而实现编码对象的残差的削减，实现作为多视点活动图像整体的高效率的影像编码。
图1是表示本发明的影像编码装置的一个实施方式的图。
图2是实施例的影像编码流程图。
图3是与实施例中的预测模式决定相关的详细流程图。
图4是表示本发明的影像解码装置的一个实施方式的图。
图5是实施例的影像解码流程图。
图6是与实施例中的差分图像的编码数据解码相关的详细流程图。
图7是摄影机间产生的视差的概念图。
图8是表示在被摄体之间产生遮挡的例子的图。
图9是表示在遮挡发生的情况下的视差补偿残差图像的例子的图。
附图标记说明 100影像编码装置 101图像输入部 102参照图像输入部 103视差信息输入部 104视差补偿图像生成部 105差分影像预测编码部 106参照图像设定部 107解码摄影机图像存储器 108解码差分图像存储器 109参照切换开关 110差分影像解码部 200影像解码装置 201编码数据输入部 202参照图像输入部 203视差信息输入部 204视差补偿图像生成部 205参照图像设定部 206解码摄影机图像存储器 207解码差分图像存储器 208参照切换开关 209差分影像解码部
具体实施例方式 在说明本发明的实施方式之前，说明本发明的概要。
在现有技术中，在多视点编码中需要将选择了哪个图像的情况进行编码并传输，相对于此，本发明的特征在于，选择了哪个图像的情况能够从其它的信息中解码。由此，在本发明中，只要与现有技术的情况是相同的附加信息量的话，就能够提高预测图像的画质。
在对多视点影像进行编码时，在取得某个摄影机的影像与从其它的摄影机视差补偿合成后的影像的差分，考虑该差分影像的时间相关的同时进行编码的情况下，在现有技术中，存在不能够有效率地编码图9的R那样的遮挡部分的问题。
根据本发明，在图9的R那样的部分中，不使用与被视差补偿合成后的影像的差分影像，而是使用原来的影像的解码图像进行预测编码，由此能够有效率地进行编码。
此外，为了解决不能够有效率地编码遮挡部分的问题，作为容易想到的方法，可以考虑利用在H.264中采用的多帧(multi-frame)参照技术，对块的每一个使用不同的参照图像进行预测编码的方法。
可是，在这样的情况下，因为编码对块的每一个指定参照图像的信息，不仅招致码量的增大，而且只能以块单位切换参照图像，所以存在不能够应对在块内存在遮挡的有无的情况的问题。
可是，在本发明中，由于使用视差补偿合成时的信息，对参照图像进行切换，所以不需要对新的信息进行编码。此外，由于从该信息能够得到在像素单位下的遮挡的有无，所以能够以像素单位对参照图像进行切换。
为了实现以上的情况，在本发明中，从在其它的摄影机摄影的图像，生成表现是否能够生成编码对象的视差补偿图像Syn的Ref信息，利用该Ref信息来切换参照图像。
能够生成视差补偿图像Syn，表示相同的被摄体出现在其它的摄影机的图像中，因此表示没有发生遮挡。
此外，不能够生成视差补偿图像Syn，表示相同的被摄体没有出现在其它的摄影机中，因此表示发生遮挡。
也就是说，通过使用是否能够生成视差补偿图像Syn的信息来切换参照图像，能够解决在图9的R那样的遮挡部分不能进行适合的预测的问题。
作为从多个参照图像候补选择在编码中使用的参照图像的现有的方法，有在H.264中使用的多帧参照技术。在该现有方法中，需要对表示选择了哪个图像的信息进行编码并传输。
可是，在本发明中，从在使用现有方法的情况下也需要传输的视差补偿图像生成中使用的信息，生成对参照图像进行选择的信息，由此不需要另外传输用于切换参照图像的信息，能够削减码量。
再有，在后述的实施方式中，将从视差补偿图像生成所使用的信息生成的选择参照图像的信息表示为Ref信息，能够在编码侧/解码侧生成相同的信息(例如，在编码侧在图2的步骤A6中生成，在解码侧在图5的步骤C4中生成)。
进而，在使用H.264的多帧参照技术等的现有方法的情况下，当以像素单位选择参照图像时，能够使编码预测误差信号所需要的码量变小，但是产生编码用于对像素的每一个切换参照图像的信息的需要，作为结果招致码量增大。也就是说，为了抑制整体的码量，只能够以块单位切换参照图像。
可是，在本发明中，由于如上述那样，用于切换参照图像的信息不是另外传输来的，所以通过与像素对应地生成该信息，能够不增加码量而对像素的每一个切换参照图像。结果，能够削减预测误差信号所需要的码量。
下面，按照实施方式对本发明进行详细地说明。
这里，在以下说明的实施方式中，假设对以两台摄影机摄影的多视点图像进行编码的情况，针对将摄影机A的影像作为参照图像，编码摄影机B的影像的方法进行说明。
图1表示本发明的影像编码装置100的一个实施方式。
该影像编码装置100具备图像输入部101，对作为编码对象图像的摄影机B的摄影机摄影图像进行输入；参照图像输入部102，对作为参照影像的摄影机A的解码图像进行输入；视差信息输入部103，对表示参照图像上的各像素在编码对象图像上对应于哪个位置的视差信息进行输入；视差补偿图像生成部104，根据参照图像与视差信息生成摄影机B的位置的视差补偿图像；差分影像预测编码部105，对编码对象图像与视差补偿图像的差分图像进行预测编码；参照图像设定部106，通过视差补偿图像的状态对像素的每一个设定参照图像组；解码摄影机图像存储器107，对作为参照图像组的一个的通过摄影机B摄影的图像的解码图像进行存储；解码差分图像存储器108，对作为另一个的参照图像组的被编码的差分图像的解码图像进行存储；参照切换开关109，基于参照图像组的设定信息切换参照图像存储器；以及差分影像解码部110，对编码后的差分图像进行解码。
在图2、图3中表示以该方式构成的影像编码装置100执行的处理流程。对以该方式构成的本发明的影像编码装置100按照该处理流程执行的处理进行详细地说明。
在影像编码装置100中，如表示编码处理整体的概要的图2的处理流程所示，通过图像输入部101输入摄影机B的图像[步骤A1]。
再有，与在这里输入的摄影机B的图像的显示时刻(即，摄影时刻)相同的摄影机A的解码图像通过参照图像输入部102输入，该时刻的图像间的视差信息通过视差信息输入部103被输入。
下面，将该被输入的摄影机B的图像表示为编码对象摄影机图像，将摄影机A的解码图像表示为参照摄影机图像。
使用通过参照图像输入部102输入的参照摄影机图像、和通过视差信息输入部103输入的视差信息，在视差补偿图像生成部104生成视差补偿图像[步骤A2]。
该视差补偿图像生成，以将参照摄影机图像的各像素的像素值作为视差补偿图像上的对应像素的像素值的方式进行。
这时，在参照摄影机图像上的多个点与视差补偿图像上的同一点对应的情况下，根据摄影机的位置关系和视差判断被摄体的前后关系，使用距摄影机最近的被摄体的点。例如，如果摄影机的光轴是平行的话，能够判断为视差越大越是离摄影机近的点。
此外，由于视差信息表示参照摄影机图像的各像素在编码对象摄影机图像上的对应点，所以关于在参照摄影机图像上没有出现的部分，不存在视差补偿图像。
使用以该方式求取的视差补偿图像，对编码处理块的每一个进行编码对象摄影机图像的编码[步骤A3-A13]。
在该流程中，将块的索引(index)表示为blk，将对于一个图像的总块数表示为maxBlk。也就是说，在将索引blk初始化为0之后[步骤A3]，一边对索引blk加算1[步骤A12]，一边在索引blk变为总块数maxBlk之前[步骤A13]，反复执行以下的处理[步骤A4-A11]。
首先，将块blk的编码对象摄影机图像作为Org，将视差补偿图像作为Syn[步骤A4]。然后，对块blk包含的像素的每一个计算两者的差分Org-Syn，作为差分图像Sub[步骤A5]。
再有，在这里对于没有视差补偿图像的像素部分，将Syn的像素值作为0计算差分图像。
接着，在参照图像设定部106，对表示按照块blk的像素的每一个预测编码差分图像时的参照目的地的信息Ref，以如下方式进行设定[步骤A6]。
Ref[pix]＝0(在Syn[pix]中没有视差补偿图像的情况) Ref[pix]＝1(在Syn[pix]中有视差补偿图像的情况) 这里，pix表示块blk包含的像素的索引，maxPix表示块blk包含的总像素数。此外，通过对块的单位信息附加[pix]进行表示，表示该信息的像素索引pix的位置的像素的信息。
再有，在判定Syn中是否有视差补偿图像并生成Ref的方法中，使用任意的方法也可，例如使用下述方法来实现也可。
首先，在生成视差补偿图像Syn之前，作为各像素的像素值的初始值设定为绝对不可能取得的值(例如-1)，通过将“参照摄影机图像的各像素的像素值”作为“视差补偿图像上的对应像素的像素值”进行改写，生成视差补偿图像Syn。然后，如果与像素对应的Syn为“-1”则将Ref作为“0”，如果Syn是“-1”之外的话将Ref作为“1”而生成Ref。通过这样，能够从Syn单值地生成作为目的的Ref。
在该情况下，在上述步骤A5的差分图像Sub的计算中，关于Syn为“-1”的部分将像素值看作0，将Org的值作为Sub的值进行计算。
此外，也可以在计算差分图像Sub之前，通过上述方法等生成Ref，将Syn为“-1”的部分置换为“0”，然后计算Org-Syn而计算出差分图像Sub。
再有，在这里为了说明的方便，将包含由于没有视差补偿图像而将像素值看作0的部分的Syn的整体称为视差补偿图像。
在一边使用该Ref，一边预测编码差分图像Sub时，求取率失真成本成为最小的预测模式并作为PMODE[步骤A7]。
在这里，在将某个预测模式时的预测误差的绝对值和作为sad，将用于对表示该预测模式的信息进行编码的码量的预测量表示为bin的情况下，以下面的数式求取率失真成本cost。其中，λ表示拉格朗日未定乘子，假设使用预先设定的值。
cost＝sad+λ·bin 使用这样求取的PMODE，实际地对块blk的差分图像Sub进行预测编码[步骤A8]。
该模式的决定或实际的编码在差分影像预测编码部105中进行。在编码结果中，除了影像的编码数据之外，也包含PMODE等编码所需要的信息的编码数据。
编码结果成为影像编码装置100的输出，并且在差分影像解码部110中被解码[步骤A9]。
在这里将被解码后的块blk的差分图像Sub的解码图像作为Dec。为了对其它的块进行编码时的帧内预测，或对其它时刻的帧进行编码时的帧间预测，Dec被存储在解码差分图像存储器108中[步骤A10]。
此外，通过Dec和Syn的和生成块blk的解码摄影机图像，存储在解码摄影机图像存储器107中[步骤A11]。
以上是对块的每一个反复进行的处理。
图3表示在差分影像预测编码部105进行的预测模式决定处理[步骤A7]的详细的处理流程。
在该流程中，对预测模式的每一个计算以下面的数式表示的率失真成本cost，决定该值成为最小的模式. cost＝SAD+λ·code(pmode) 这里，SAD表示预测图像和原图像的像素的每一个的差分绝对值和，pmode表示预测模式索引，code(α)是表示相对于被赋予的预测模式α，赋予为了表示该信息所需要的码量的预测值的函数。
如通过处理流程表示的那样，在将预测模式索引pmode以0初始化之后[步骤B1]，一边对pmode加算1[步骤B17]，一边在pmode变为以maxPmode表示的预测模式数之前[步骤B18]，反复进行以下的处理[步骤B2-B16]，求取cost成为最小的预测模式。
在以下的处理中对各预测模式使用率失真成本进行评价，作为该评价值将绝对不能够取得的最大值表示为maxCost。进而为了反复进行评价，在下面表示的各条件中将最优的评价值表示为minCost、minCost1、minCost2，将这时的预测模式索引表示为best_mode、best_mode1、best_mode2。
这里，变量minCost和best_mode表示在预测块内的全部像素的情况下最优的评价值和预测模式索引，minCost1和best_mode1表示在只预测了对应的Ref的值为0的像素的情况下的最优评价值和预测模式索引，minCost2和best_mode2表示只预测对应的Ref的值为1的像素的情况下的最优评价值和预测模式索引。
在以maxCost初始化minCost、minCost1、minCost2的全部之后[步骤B1]，对像素的每一个生成相对于预测模式pmode的预测图像[步骤B2-B8]。
在预测图像的生成中，在以0对块内的像素的索引pix初始化之后[步骤B2]，一边对pix加算1[步骤B7]，一边在pix变为以maxPix表示的块内的像素数之前[步骤B8]，反复进行以下的处理[步骤B3-B6]。
首先，按照Ref[pix]，判定在对应像素中是否有视差补偿图像[步骤B3]。
在视差补偿图像不存在的情况下，操作参照切换开关109，以差分影像预测编码部105参照解码摄影机图像存储器107的方式进行设定[步骤B4]。另一方面，在视差补偿图像存在的情况下，以参照解码差分图像存储器108的方式进行设定[步骤B5]。
使用被设定的参照图像，以预测模式pmode计算相对于该像素的预测值pred[pix][步骤B6]。
对块内的全部像素，在预测图像的生成结束之后，按照下面的数式计算与三个种类的原画的差分绝对值和[步骤B9]。
SAD1＝ ∑|Sub[pix]-Pred[pix]|·(1-Ref[pix]) SAD2＝ ∑|Sub[pix]-Pred[pix]|·Ref[pix] SAD＝SAD1+SAD2 这里，SAD1表示没有视差补偿图像的像素的差分绝对值和，SAD2表示有视差补偿图像的像素的差分绝对值和，SAD表示块内的全部像素的差分绝对值和。∑表示pix从0到maxPix-1为止的总和。尽管在上式中使用乘积运算，但因为在SAD1和SAD2的计算中使用的像素是排他性的，所以也可以以单纯的条件转移来实现上述差分绝对值和的计算。
使用该SAD、SAD1、SAD2和pmode，按照上述算式计算率失真成本cost、cost1、cost2[步骤B10]。
然后，与到此为止计算的最优的率失真成本进行比较[步骤B11、B3、B15]，只要使用了预测模式pmode能够减少成本的话，就更新表示最优预测模式的变量和最优成本值[步骤B12、B14、B16]。
在对全部的预测模式完成评价之后，判定在有视差补偿的像素和没有视差补偿的像素使用不同的预测模式、还是使用相同的预测模式[步骤B19-B21]。
首先，调查best_mode、best_mode1、best_mode2是否全部相同[步骤B19]。
如果全部是相同的情况，由于这表示在块内使用一个模式即可，所以作为进行预测编码时的预测模式PMODE存储best_mode并结束[步骤B22]。
在表示至少一个不同模式的情况下，比较minCost1和minCost2和OHCost的和、与minCost[步骤B20]。
前者表示在块内使用不同模式的情况下的成本。这里，OHCost表示对两个预测模式进行编码导致的间接成本(overhead cost)。
如果在前者变为较好的成本的情况下，将best_mode1和best_mode2的集合存储在PMODE并结束[步骤B21]。
在后者为较好的成本的情况下，将best_mode存储在PMODE并结束[步骤B22]。
在本实施例中，选择在块内使用一个预测模式，还是使用两个预测模式。
也可以总是使用一个预测模式，在该情况下在步骤B10中能够仅计算cost，省略步骤B13-B16和步骤B19-B22的处理，代替best_mode使用PMODE。
此外，也可以总是使用两个预测模式，在该情况下不要步骤B9的SAD的计算、步骤B10的Cost的计算、步骤B11-B12、B19-B20、B22的处理，在步骤B18为“是”的情况下，通过进入步骤B21而实现。
在本实施例中的预测模式是指以什么方式预测像素值。
在预测方法中，有根据相同帧的已经编码/解码完成的周边块来预测像素值的帧内预测，以及根据已经编码/解码完成的其它的帧来预测像素值的帧间预测，上述预测模式包含这两个预测方法。在帧间预测中需要的运动矢量也包含在预测模式中。此外，只要是能够根据已经编码/解码完成的数据预测像素值的方法，任何方法均可包含在预测模式中。
图4表示本发明的影像解码装置200的一个实施方式。
该影像解码装置200具备编码数据输入部201，输入编码数据；参照图像输入部202，对摄影机A的解码图像进行输入；视差信息输入部203，对表示摄影机A的解码图像上的各像素在成为解码对象的图像上对应于哪个位置的视差信息进行输入；视差补偿图像生成部204，生成摄影机B的位置的视差补偿图像；参照图像设定部205，根据视差补偿图像的状态对像素的每一个设定参照图像组；解码摄影机图像存储器206，对作为参照图像组的一个的、解码后的通过摄影机B摄影的图像进行存储；解码差分图像存储器207，对作为另一个的参照图像组的、差分图像的解码图像进行存储；参照切换开关208，基于参照图像组的设定信息切换参照图像存储器；以及差分影像解码部209，对输入的编码数据进行解码。
图5、图6中表示以该方式构成的影像解码装置200执行的处理流程，其表示对摄影机B的编码数据进行一帧解码的流程。以下对该流程进行详细地说明。
再有，假设与进行解码的帧相同时刻的摄影机A的帧被预先解码，进而得到视差信息。
首先，将摄影机B的编码数据输入到编码数据输入部201[步骤C1]。此外，假设与在这里输入的摄影机B的图像是显示时刻相同的摄影机A的解码图像，通过参照图像输入部202而被输入。
接着，使用摄影机A的解码图像和视差信息，在视差补偿图像生成部204生成视差补偿图像[步骤C2]。在这里的处理与已经说明了的在图2的步骤A2进行的处理相同。
一边使用该视差补偿图像，一边按照块的每一个对输入的编码数据进行解码，得到摄影机B的解码图像[步骤C3-C9]。
在该处理中，当将块的索引表示为blk，将对于一个图像的总块数表示为maxBlk时，在将索引blk初始化为0之后[步骤C3]，一边对索引blk加算1[步骤C8]，一边在索引blk变为总块数maxBlk之前[步骤C9]，反复执行以下的处理[步骤C4-C7]。
首先，在参照图像设定部205，对块blk的像素的每一个，以与上述步骤A6相同的方法，生成对预测编码差分图像时使用的参照目的地进行表示的信息Ref[步骤C4]。
然后，一边使用该信息一边在差分影像解码部209对输入的编码数据进行解码，得到差分图像的解码值Dec[步骤C5]。
因为解码值Dec在对其它时刻的帧、其它的块进行解码时直接利用，所以存储在解码差分图像存储器207中[步骤C6]。
此外，通过对每个像素求取块blk中的视差补偿图像Syn和Dec的和，得到在摄影机B摄影的图像的解码图像。
该解码图像成为影像解码装置200的输出，并且存储在解码摄影机图像存储器206中[步骤C7]。
图6表示在差分影像解码部209进行的每个块的差分图像的解码处理[步骤C5]的详细的处理流程。
首先，根据编码数据对预测模式信息进行解码并作为pmode
[步骤D1]。这时，如果编码数据中包含其它的预测模式信息的话[步骤D2]，对其进行解码并作为pmode[1][步骤D3]。如果没有包含的话[步骤D2]，将pmode[1]设定为与pmode
相同的值[步骤D4]。
接着，对编码数据中包含的每个像素的预测残差进行解码并作为Dres[步骤D5]。
对块中包含的像素的每一个进行以下的处理。也就是说，在以0对像素索引pix进行初始化之后[步骤D6]，一边对pix加算1[步骤D12]，一边在pix变为块内的像素数maxPix之前[步骤D13]，反复执行以下的处理[步骤D7-D11]。
在对像素的每一个进行的处理中，首先，对应于Ref[pix]的值[步骤D7]，操作参照切换开关208，将解码摄影机图像存储器206设定为参照缓冲器[步骤D8]，或将解码差分图像存储器207设定为参照缓冲器[步骤D9]。
接着，以预测模式pmode[Ref[pix]]预测像素pix的值Pred[步骤D10]。
然后，根据Dres[pix]与Pred的和得到差分图像的解码值Dec[pix][步骤D11]。
在本实施例中，对参照摄影机图像上的各像素在相同时刻的摄影机B的图像上与哪个位置对应进行表示的视差信息，在影像编码装置100或影像解码装置200的外部求取，被编码/传输/解码。
可是，也可以在影像编码装置100的内部求取视差信息，进行编码，与差分图像的编码数据一起输出。同样地，也可以在影像解码装置200的内部接收视差信息的编码数据，进行解码并使用。
此外，也可以虽然不是直接对参照摄影机图像上的各像素在相同时刻的摄影机B的图像上与哪个位置对应进行表示的信息，但通过实施某种变换而能够得到上述对应关系，对该信息进行输入，在影像编码装置100和影像解码装置200的内部，将被输入的信息变换为表示上述对应关系的视差信息。
作为这样的信息的一个例子，有以被摄体的三维信息和摄影机参数构成的信息。三维信息可以是被摄体的各部分的三维坐标、或表示从被摄体到摄影机的距离的信息。
此外，在实施方式中使编码对象摄影机图像的各像素的每一个能够切换作为参照对象的图像组，但按照包含多个像素的规定的区分单位的每一个进行也可。例如在使规定大小的块的每一个能够切换的情况下，能够对块内的多个像素选择适合的参照对象，或在至少包含一个视差补偿图像的像素值是无效的像素的情况下选择解码摄影机图像组。通过以适合的区分单位进行选择，有能够缩短处理时间的效果。
以上的影像编码和影像解码的处理，能够通过硬件或固件实现，并且也能够通过计算机和软件程序来实现，也能够将该程序记录在计算机能够读取的记录介质上进行提供，或通过网络进行提供。
产业上的利用可能性 根据本发明，在对利用视差补偿的差分图像进行预测编码时，不使用新的附加信息，而通过以像素单位切换适合的参照图像并使用，从而能够实现不使附加信息的码量增加，而削减编码对象的残差，实现作为多视点活动图像整体的高效率的影像编码。
权利要求
1.一种影像编码方法，使用视差补偿对多视点活动图像进行编码，该影像编码方法的特征在于，具备
根据对已经编码完成的摄影机图像进行解码后的参照摄影机图像、与相对于该参照摄影机图像的编码对象摄影机图像的视差信息，生成对于上述编码对象摄影机图像的视差补偿图像的步骤；
根据上述视差补偿图像的状态，对上述编码对象摄影机图像的规定区分单位的每一个设定表示作为参照对象的参照图像组的参照对象信息的步骤；
基于上述被设定的参照对象信息，对上述编码对象摄影机图像的所述规定区分单位的每一个，选择对已经编码完成的摄影机图像与视差补偿图像的差分图像进行解码后的解码差分图像组、和对已经编码完成的摄影机图像进行解码后的解码摄影机图像组的任何一个作为参照对象的步骤；
参照作为上述参照对象而被选择的图像组中包含的参照图像，对上述编码对象摄影机图像和上述视差补偿图像的差分图像进行预测编码的步骤；
将对上述编码后的差分图像进行解码后的解码差分图像作为上述解码差分图像组的一个进行存储的步骤；以及
将根据上述解码差分图像对已经编码完成的摄影机图像进行解码后的解码摄影机图像，作为上述解码摄影机图像组的一个进行存储的步骤。
2.根据权利要求1所述的影像编码方法，其特征在于，
在上述对差分图像进行预测编码的步骤中，对于上述差分图像中的多个像素构成的各编码处理块，分别计算出使用预定的多个预测方式的每一个的情况下的编码的成本，在一个编码处理块内使用编码成本变为最小的一个预测方式进行影像预测。
3.根据权利要求1所述的影像编码方法，其特征在于，
在上述对差分图像进行预测编码的步骤中，对于上述差分图像中的多个像素构成的各编码处理块，分别计算出对参照图像不同的像素组的每一个使用预定的多个预测方式的每一个的情况下的编码的成本，对应于上述计算出的编码的成本，一边选择在一个编码处理块内使用一个预测方式进行影像预测，还是在一个编码处理块内使用多个预测方式进行影像预测，一边进行编码。
4.根据权利要求1所述的影像编码方法，其特征在于，所述规定区分单位是像素。
5.一种影像解码方法，使用视差补偿对多视点活动图像进行解码，该影像解码方法的特征在于，具备
根据已经解码完成的参照摄影机图像、与相对于该参照摄影机图像的解码对象摄影机图像的视差信息，生成对于上述解码对象摄影机图像的视差补偿图像的步骤；
根据上述视差补偿图像的状态，对上述解码对象摄影机图像的规定区分单位的每一个设定表示作为参照对象的参照图像组的参照对象信息的步骤；
基于上述被设定的参照对象信息，对上述解码对象摄影机图像的所述规定区分单位的每一个，选择对已经解码完成的摄影机图像与视差补偿图像的解码差分图像组、和已经解码完成的解码摄影机图像组的任何一个作为参照对象的步骤；
根据对输入的编码数据进行解码后的各像素的每一个的预测残差，参照作为上述参照对象而被选择的图像组中包含的参照图像，对上述解码对象摄影机图像和上述视差补偿图像的差分图像进行解码的步骤；
将上述解码后的差分图像作为上述解码差分图像组的一个进行存储的步骤；以及
将上述解码后的差分图像与上述视差补偿图像加在一起，作为多视点活动图像的解码摄影机图像进行输出，并且将该解码摄影机图像作为上述解码摄影机图像组的一个进行存储的步骤。
6.根据权利要求5所述的影像解码方法，其特征在于，
在上述对差分图像进行解码的步骤中，对于上述解码对象摄影机图像中的多个像素构成的各解码处理块，在一个解码处理块内使用指定的一个预测方式对影像进行解码。
7.根据权利要求5所述的影像解码方法，其特征在于，
在上述对差分图像进行解码的步骤中，对于上述解码对象摄影机图像中的多个像素构成的各解码处理块，一边切换在一个解码处理块内使用指定的一个预测方式，还是使用指定的多个预测方式，一边对影像进行解码。
8.根据权利要求5所述的影像解码方法，其特征在于，所述规定区分单位是像素。
9.一种影像编码装置，使用视差补偿对多视点活动图像进行编码，该影像编码装置的特征在于，具备
根据对已经编码完成的摄影机图像进行解码后的参照摄影机图像、与相对于该参照摄影机图像的编码对象摄影机图像的视差信息，生成对于上述编码对象摄影机图像的视差补偿图像的单元；
根据上述视差补偿图像的状态，对上述编码对象摄影机图像的规定区分单位的每一个设定表示作为参照对象的参照图像组的参照对象信息的单元；
基于上述被设定的参照对象信息，对上述编码对象摄影机图像的所述规定区分单位的每一个，选择对已经编码完成的摄影机图像与视差补偿图像的差分图像进行解码后的解码差分图像组、和对已经编码完成的摄影机图像进行解码后的解码摄影机图像组的任何一个作为参照对象的单元；
参照作为上述参照对象而被选择的图像组中包含的参照图像，对上述编码对象摄影机图像和上述视差补偿图像的差分图像进行预测编码的单元；
将对上述编码后的差分图像进行解码后的解码差分图像作为上述解码差分图像组的一个进行存储的单元；以及
将根据上述解码差分图像对已经编码完成的摄影机图像进行解码后的解码摄影机图像，作为上述解码摄影机图像组的一个进行存储的单元。
10.根据权利要求9所述的影像编码装置，其特征在于，所述规定区分单位是像素。
11.一种影像解码装置，使用视差补偿对多视点活动图像进行解码，该影像解码装置的特征在于，具备
根据已经解码完成的参照摄影机图像、与相对于该参照摄影机图像的解码对象摄影机图像的视差信息，生成对于上述解码对象摄影机图像的视差补偿图像的单元；
根据上述视差补偿图像的状态，对上述解码对象摄影机图像的规定区分单位的每一个设定表示作为参照对象的参照图像组的参照对象信息的单元；
基于上述被设定的参照对象信息，对上述解码对象摄影机图像的所述规定区分单位的每一个，选择对已经解码完成的摄影机图像与视差补偿图像的解码差分图像组、和已经解码完成的解码摄影机图像组的任何一个作为参照对象的单元；
根据对输入的编码数据进行解码后的各像素的每一个的预测残差，参照作为上述参照对象而被选择的图像组中包含的参照图像，对上述解码对象摄影机图像和上述视差补偿图像的差分图像进行解码的单元；
将上述解码后的差分图像作为上述解码差分图像组的一个进行存储的单元；以及
将上述解码后的差分图像与上述视差补偿图像加在一起，作为多视点活动图像的解码摄影机图像进行输出，并且将该解码摄影机图像作为上述解码摄影机图像组的一个进行存储的单元。
12.根据权利要求11所述的影像解码装置，其特征在于，所述规定区分单位是像素。
13.一种影像编码程序，用于使计算机执行权利要求1所述的影像编码方法。
14.一种影像解码程序，用于使计算机执行权利要求5所述的影像解码方法。
15.一种计算机能够读取的记录介质，其特征在于，记录有影像编码程序，该影像编码程序用于使计算机执行权利要求1所述的影像编码方法。
16.一种计算机能够读取的记录介质，其特征在于，记录有影像解码程序，该影像解码程序用于使计算机执行权利要求5所述的影像解码方法。
全文摘要
本发明涉及影像编码方法，其使用已经编码完成的参照摄影机图像、和相对于该参照摄影机图像的编码对象摄影机图像的视差信息，进行摄影机间的影像预测，由此制作视差补偿图像，对编码对象摄影机图像与该视差补偿图像的差分图像进行编码，其中，对差分图像的规定区分单位的每一个，对应于相同位置的视差补偿图像的有无的状态、即对应于视差补偿图像的像素值是否是有效的值，将对已经编码完成的摄影机图像与视差补偿图像的差分图像进行解码后的解码差分图像组、和对已经编码完成的摄影机图像进行解码后的解码摄影机图像组的任何一方作为参照对象进行设定。
文档编号H04N7/32GK101563930SQ20078004671
公开日2009年10月21日 申请日期2007年12月26日 优先权日2006年12月28日
发明者志水信哉, 北原正树, 上仓一人, 八岛由幸 申请人:日本电信电话株式会社