动图像解码装置以及动图像解码方法

动图像解码装置以及动图像解码方法
【专利摘要】本发明涉及动图像解码装置以及动图像解码方法。第1预测矢量候选列表生成部(130)基于相邻于编码对象块的已编码块的运动矢量，来生成第1预测运动矢量候选列表。第2预测矢量候选列表生成部(132)基于已编码图像中的、与编码对象块同一位置的块及相邻于同一位置块的块的运动矢量，来生成第2预测运动矢量候选列表。结合判定部(131)通过编码对象块的块尺寸与阈值尺寸的比较来判定是否生成结合了第1及第2预测矢量候选列表的第3预测矢量候选列表。当编码对象块的块尺寸小于阈值尺寸时，预测矢量候选列表决定部(133)不结合第2预测矢量候选列表地、基于第1预测矢量候选列表来生成第3预测矢量候选列表。
【专利说明】动图像解码装置以及动图像解码方法
[0001 ] 本申请是基于申请号为201280012382.9、申请日为2012年03月05日、
【申请人】为JVC
建伍株式会社、发明名称为“动图像编码装置、动图像编码方法及动图像编码程序、及动图像解码装置、动图像解码方法及动图像解码程序”的发明提出的分案申请。
技术领域
[0002]本发明涉及使用了运动补偿预测的动图像编码和解码技术，尤其涉及运动补偿预测中所利用的运动矢量的编码和解码技术。
【背景技术】
[0003]在一般的动图像压缩编码中，使用运动补偿预测。运动补偿预测是如下技术:将对象图像分割成较小的块，以已解码的图像为参照图像，将从与对象图像的对象块相同的位置起向运动矢量所表示的运动方向移动了运动量后的位置的参照图像，生成为预测信号。关于运动补偿预测，有利用I个运动矢量单向地进行运动补偿预测的方式，和利用2个运动矢量双向地进行运动补偿预测的方式。
[0004]此外，关于运动矢量，将相邻于处理对象块的、已编码的块的运动矢量作为预测运动矢量(也简单称作“预测矢量”)，通过求出处理对象块的运动矢量与预测矢量的差分，并将差分矢量作为编码矢量进行传输，而提高了压缩效率。
[0005]在MPEG-4AVC中，通过将使运动补偿预测的块尺寸处理得比MPEG-2更小、且更多样，提高了运动补偿预测的效率。但另一方面，因减小了块尺寸，运动矢量的数量会增加，故编码矢量的码量成为了问题。
[0006]为此，虽然MPEG-2中简单地将处理对象块左侧相邻的块的运动矢量作为了预测矢量(非专利文献I)，但在MPEG-4AVC中，通过将多个相邻块的运动矢量的中值作为预测矢量，提高了预测矢量的精度，并抑制了编码矢量的码量增加(非专利文献2)。此外，在MPEG-4AVC中，已知有利用已编码的其它图像的运动矢量来提高编码矢量的编码效率的技术。
[0007]〔在先技术文献〕
[0008]〔非专利文献〕
[0009]〔非专利文献I〕IS0/IEC13818-2Informat1n technology—Generic coding ofmoving pictures and associated aud1 informat1n:Video；
[0010]〔非专利文献2〕IS0/IEC14496-10Informat1n technology—Coding of aud1-visual objects—Part 10:Advanced Video Coding0

【发明内容】

[0011]〔发明所要解决的课题〕
[0012]在非专利文献I及2所记载的方法中，都仅能得到一个预测矢量，故存在预测精度较差、编码效率不佳这样的问题。本发明人们考虑了采取使用多个预测矢量候选的方法，但认识到此时需要对用于识别预测矢量候选的索引进行编码，索引的码量会增加这一课题。
[0013]本发明是鉴于这样的状况而研发的，其目的在于提供一种能提高运动矢量的预测精度和编码效率的动图像编码及解码技术。
[0014]〔用于解决课题的手段〕
[0015]为解决上述课题，本发明一个方案的动图像编码装置是按块单位进行运动补偿预测的动图像编码装置，其包括:预测运动矢量候选生成部(133)，当编码对象块的块尺寸大于规定的阈值尺寸时，基于已编码图像中的块来导出预测运动矢量候选，当上述编码对象块的块尺寸在上述规定阈值尺寸以下时，不导出上述预测运动矢量候选。
[0016]本发明的另一方案也是动图像编码装置。该装置是按块单位进行运动补偿预测的动图像编码装置，包括:预测运动矢量候选列表生成部(133)，当编码对象块的块尺寸大于规定的阈值尺寸时，将基于已编码图像中的块获得的预测运动矢量候选加入到预测运动矢量候选列表中，当上述编码对象块的块尺寸在上述规定的阈值尺寸以下时，不将上述预测运动矢量候选加入到上述预测运动矢量候选列表中；预测运动矢量选择部(121)，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量；以及编码部(104)，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0017]本发明的另一方案也是动图像编码装置。该按块单位进行运动补偿预测的动图像编码装置包括:空间预测运动矢量候选生成部(130)，基于与编码对象块相邻的块导出空间预测运动矢量的候选;时间预测运动矢量候选生成部(132)，基于已编码图像中的块导出时间预测运动矢量的候选;预测运动矢量候选列表生成部(133)，当表示是否利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选生成预测运动矢量候选列表，当上述利用允许信息表示不允许时，基于上述空间预测运动矢量候选生成预测运动矢量候选列表;预测运动矢量选择部(121 )，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量；以及编码部(104)，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0018]本发明的另一方案也是动图像编码装置。该以多种块尺寸进行运动补偿预测的动图像编码装置包括:第I预测矢量候选列表生成部(130)，基于与编码对象块相邻的、已编码的I个以上的块的运动矢量，生成包含第I预测运动矢量的候选的第I预测矢量候选列表;第2预测矢量候选列表生成部(132)，基于已编码图像中的、与上述编码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量的候选的第2预测矢量候选列表;结合判定部(131)，根据上述编码对象块的块尺寸与规定阈值尺寸的比较结果，判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表;第3预测矢量候选列表生成部(133)，当上述编码对象块的块尺寸小于上述规定阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表;预测矢量选择部(121)，从上述第3预测矢量候选列表中选出上述编码对象块的预测运动矢量；以及编码部(104)，对表示上述所选出的预测运动矢量在上述第3预测矢量候选列表中的位置的信息进行编码。
[0019]本发明的另一方案也是动图像编码装置。该以多种块尺寸进行运动补偿预测的动图像编码装置包括:第I运动矢量存储部(111)，将已编码的块的运动矢量保存在按最小块尺寸单位划分出的存储器区域中进行管理;第I预测矢量候选列表生成部(130)，参照上述第I运动矢量存储部(111)，并基于相邻于编码对象块的、已编码的I个以上的块的运动矢量，生成包含第I预测运动矢量的候选的第I预测矢量候选列表;第2运动矢量存储部(302)，以规定的压缩尺寸汇总已编码图像的、最小块尺寸单位的运动矢量，将之置换为一个代表运动矢量，并保存在按压缩尺寸单位划分出的存储器区域中，来进行管理;第2预测矢量候选列表生成部(132)，参照上述第2运动矢量存储部(302)，并基于己编码的图像中的、与上述编码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量的候选的第2预测矢量候选列表;结合判定部(131)，根据上述编码对象块的块尺寸与规定阈值尺寸的比较结果，判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表；第3预测矢量候选列表生成部
(133)，当上述编码对象块的块尺寸小于上述规定的阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表;预测矢量选择部(121)，从上述第3预测矢量候选列表中选出上述编码对象块的预测运动矢量；以及编码部(104)，对表示上述所选出的预测运动矢量在上述第3预测矢量候选列表中的位置的信息进行编码。
[0020]本发明的另一方案是动图像编码方法。该按块单位进行运动补偿预测的动图像编码方法包括:预测运动矢量候选生成步骤，当编码对象块的块尺寸大于规定阈值尺寸时，基于已编码图像中的块来导出预测运动矢量候选，当上述编码对象块的块尺寸在上述规定阈值尺寸以下时，不导出上述预测运动矢量候选。
[0021]本发明的另一方案也是动图像编码方法。该按块单位进行运动补偿预测的动图像编码方法包括:预测运动矢量候选列表生成步骤，当编码对象块的块尺寸大于规定阈值尺寸时，将基于已编码图像中的块获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述编码对象块的块尺寸在上述规定阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中；预测运动矢量选择步骤，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量；以及编码步骤，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0022]本发明的另一方案也是动图像编码方法。该按块单位进行运动补偿预测的动图像编码方法包括:空间预测运动矢量候选生成步骤，基于与编码对象块相邻的块导出空间预测运动矢量候选;时间预测运动矢量候选生成步骤，基于已编码图像中的块导出时间预测运动矢量候选;预测运动矢量候选列表生成步骤，当表示是否利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选生成预测运动矢量候选列表，当上述利用允许信息表示不允许时，基于上述空间预测运动矢量候选生成预测运动矢量候选列表;预测运动矢量选择步骤，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量；以及编码步骤，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0023]本发明一个方案的按块单位进行运动补偿预测的动图像解码装置包括:预测运动矢量候选生成部(133)，当解码对象块的块尺寸大于规定阈值尺寸时，基于已解码图像中的块来导出预测运动矢量候选，当上述解码对象块的块尺寸在上述规定阈值尺寸以下时，不导出上述预测运动矢量候选。
[0024]本发明的另一方案也是动图像解码装置。该按块单位进行运动补偿预测动图像解码装置包括:预测运动矢量候选列表生成部(133)，当解码对象块的块尺寸大于规定阈值尺寸时，将基于已解码图像中的块获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中；解码部(201)，解码出表示应参照的预测运动矢量在上述预测运动矢量候选列表中的位置的信息；以及预测运动矢量选择部(221)，基于上述表示应参照的预测运动矢量在上述预测运动矢量候选列表中的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0025]本发明的另一方案也是动图像解码装置。该按块单位进行运动补偿预测动图像解码装置装置包括:解码部(201)，解码出表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息;空间预测运动矢量候选生成部(130)，基于与解码对象块相邻的块导出空间预测运动矢量候选;时间预测运动矢量候选生成部(132)，基于已解码图像中的块导出时间预测运动矢量的候选;预测运动矢量候选列表生成部(133)，当表示是否利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选生成预测运动矢量候选列表，当上述利用允许信息表示不允许时，基于上述空间预测运动矢量候选生成预测运动矢量候选列表；以及预测运动矢量选择部(221)，基于上述表示预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0026]本发明的另一方案也是动图像解码装置。该按多种块尺寸进行运动补偿预测的动图像解码装置包括:解码部(201)，解码出表示应参照的预测运动矢量在预测矢量候选列表中的位置的信息;第I预测矢量候选列表生成部(130)，基于与解码对象块相邻的、已解码的I个以上的块的运动矢量，生成包含第I预测运动矢量的候选的第I预测矢量候选列表;第2预测矢量候选列表生成部(132)，基于已解码的图像中的、与上述解码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量的候选的第2预测矢量候选列表;结合判定部(131)，根据上述解码对象块的块尺寸与规定阈值尺寸的比较结果，判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表;第3预测矢量候选列表生成部(133)，当上述解码对象块的块尺寸小于上述规定阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表；以及预测矢量选择部(221)，基于表示应参照的上述预测运动矢量的位置的信息，从上述第3预测矢量候选列表中选出上述解码对象块的预测运动矢量。
[0027]本发明的另一方案也是动图像解码装置。该按多种块尺寸进行运动补偿预测的动图像解码装置包括:解码部(201)，解码出表示应参照的预测运动矢量在预测矢量候选列表中的位置的信息；第I运动矢量存储部(207)，将已解码块的运动矢量保存在按最小块尺寸单位划分出的存储器区域中，来进行管理;第I预测矢量候选列表生成部(130)，参照上述第I运动矢量存储部(207)，基于与解码对象块相邻的、已解码的I个以上的块的运动矢量，生成包含第I预测运动矢量的候选的第I预测矢量候选列表;第2运动矢量存储部(402)，以规定的压缩尺寸汇总已解码图像的最小块尺寸单位的运动矢量，将之置换为一个代表运动矢量，并保存在按压缩尺寸单位划分出的存储器区域中，来进行管理;第2预测矢量候选列表生成部(132)，参照上述第2运动矢量存储部(402)，基于已解码的图像中的、与上述解码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量的候选的第2预测矢量候选列表;结合判定部(131)，根据上述解码对象块的块尺寸与规定阈值尺寸的比较结果，判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表;第3预测矢量候选列表生成部(133)，当上述解码对象块的块尺寸小于上述规定阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表；以及预测矢量选择部(221)，基于表示应参照的上述预测运动矢量的位置的信息，从上述第3预测矢量候选列表中选出上述解码对象块的预测运动矢量。
[0028]本发明的另一方案也是动图像解码装置，该动图像解码装置按块单位进行运动补偿预测，其特征在于，包括:预测运动矢量候选生成部，当解码对象块的块尺寸大于规定的阈值尺寸时，将从已解码图像中的块导出的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述预测运动矢量候选列表;运动信息候选生成部，当上述解码对象块的块尺寸大于上述规定的阈值尺寸时，将从己解码图像中的块导出的运动信息候选包含到运动信息候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述运动信息候选列表;解码部，解码继承方向标志，上述继承方向标志示出对合并索引或预测运动矢量索引的哪一个进行解码，当上述继承方向标志表示对上述合并索引进行解码时，对表示上述运动信息候选列表中的位置的上述合并索引进行解码，当上述继承方向标志表示对上述预测运动矢量索引进行解码时，对表示上述预测运动矢量候选列表中的位置的上述预测运动矢量索引进行解码;运动信息选择部，当上述继承方向标志表示对上述合并索引进行解码时，基于由上述合并索引表示的位置从上述运动信息候选列表中选出上述解码对象块的运动信息;预测运动矢量选择部，当上述继承方向标志表示对上述预测运动矢量索引进行解码时，基于由上述预测运动矢量索引表示的位置从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量，针对各规定区域，分别将上述已解码图像中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。
[0029]本发明的另一方案是动图像解码方法。该按块单位进行运动补偿预测的动图像解码方法包括:预测运动矢量候选生成步骤，当解码对象块的块尺寸大于规定阈值尺寸时，基于已解码图像中的块来导出预测运动矢量候选，当上述解码对象块的块尺寸在上述规定阈值尺寸以下时，不导出上述预测运动矢量候选。
[0030]本发明的另一方案也是动图像解码方法。该按块单位进行运动补偿预测动图像解码方法包括:预测运动矢量候选列表生成步骤，当解码对象块的块尺寸大于规定阈值尺寸时，将基于己解码图像中的块获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中；解码步骤，解码出表示应参照的预测运动矢量在上述预测运动矢量候选列表中的位置的信息；以及预测运动矢量选择步骤，基于上述表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0031]本发明的另一方案也是动图像解码方法。该按块单位进行运动补偿预测动图像解码方法包括:解码步骤，解码出表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息；空间预测运动矢量候选生成步骤，基于与解码对象块相邻的块导出空间预测运动矢量候选;时间预测运动矢量候选生成步骤，基于已解码图像中的块导出时间预测运动矢量候选;预测运动矢量候选列表生成步骤，当表示是否利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选生成预测运动矢量候选列表，当上述利用允许信息表示不允许时，基于上述空间预测运动矢量候选生成预测运动矢量候选列表；以及预测运动矢量选择步骤，基于上述表示预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0032]本发明的另一方案也是动图像解码方法，该动图像解码方法按块单位进行运动补偿预测，其特征在于，包括:预测运动矢量候选生成步骤，当解码对象块的块尺寸大于规定的阈值尺寸时，将从已解码图像中的块导出的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述预测运动矢量候选列表;运动信息候选生成步骤，当上述解码对象块的块尺寸大于上述规定的阈值尺寸时，将从已解码图像中的块导出的运动信息候选包含到运动信息候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述运动信息候选列表;解码步骤，解码继承方向标志，上述继承方向标志示出对合并索引或预测运动矢量索引的哪一个进行解码，当上述继承方向标志表示对上述合并索引进行解码时，对表示上述运动信息候选列表中的位置的上述合并索引进行解码，当上述继承方向标志表示对上述预测运动矢量索引进行解码时，对表示上述预测运动矢量候选列表中的位置的上述预测运动矢量索引进行解码;运动信息选择步骤，当上述继承方向标志表示对上述合并索引进行解码时，基于由上述合并索引表示的位置从上述运动信息候选列表中选出上述解码对象块的运动信息；预测运动矢量选择步骤，当上述继承方向标志表示对上述预测运动矢量索引进行解码时，基于由上述预测运动矢量索引表示的位置从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量，针对各规定区域，分别将上述已解码图像中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。
[0033]此外，将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等间变换后的实施方式，作为本发明的方案也是有效的。
[0034]〔发明效果〕
[0035]通过本发明，能提高运动矢量的预测精度和编码效率。
【附图说明】
[0036]图1是说明第I实施方式的动图像编码装置的结构的图。
[0037]图2是说明图1的第I运动信息存储器和第2运动信息存储器中的运动矢量和参照图像索引的管理方法的图。
[0038]图3是说明图1的运动信息生成部的构成的图。
[0039]图4是说明第I候选块群的图。
[0040]图5是说明第2候选块群的图。
[0041]图6是说明图3的预测矢量候选列表生成部的结构的图。
[0042]图7是说明第I实施方式的动图像编码装置的编码的动作的流程图。
[0043]图8是说明图1的运动信息生成部的动作的流程图。
[0044]图9是说明图6的预测矢量候选列表生成部的动作的流程图。
[0045]图10是说明图6的第I预测矢量候选列表生成部和第2预测矢量候选列表生成部的动作的流程图。
[0046]图11是说明针对第I候选块群的各方向的检查的图。
[0047]图12是说明针对第2候选块群的各方向的检查的图。
[0048]图13是说明第I实施方式的动图像解码装置的图。
[0049]图14是说明图13的运动信息再现部的结构的图。
[0050]图15是说明第I实施方式的动图像解码装置的解码动作的流程图。
[0051 ]图16是说明图14的运动信息再现部的动作的流程图。
[0052]图17是说明第I实施方式的扩展例的预测矢量候选列表生成部的结构的图。
[0053]图18是说明第I实施方式的扩展例的预测矢量候选列表生成部的动作的流程图。
[0054]图19是说明第I实施方式的扩展例的POC差的规定阈值尺寸的图。
[0055]图20是说明第I实施方式的扩展例的预测矢量候选列表生成部的动作的流程图。
[0056]图21是说明第2实施方式的动图像编码装置的结构的图。
[0057]图22是说明图21的运动信息压缩部和运动信息解压缩部所进行的运动信息压缩和解压缩的图。
[0058]图23是说明第2实施方式的SPS的句法的一部分的图。
[0059]图24是说明第2实施方式的动图像编码装置的编码动作的流程图。
[0060]图25是说明第2实施方式的预测矢量候选列表生成部的动作的流程图。
[0061]图26是说明第2实施方式的动图像解码装置的图。
[0062]图27是说明第2实施方式的动图像解码装置的解码动作的流程图。
[0063]图28是说明预测编码模式的图。
[0064]图29是说明将图像分割成最大编码块的例子的图。
[0065]图30是说明编码块的图。
[0066]图31是说明预测块的图。
[0067]图32是说明预测块尺寸的图。
[0068]图33是说明预测块的句法的一个例子的图。
[0069]图34是说明Truncated Unary码序列的图。
【具体实施方式】
[0070]首先，说明作为本发明实施方式的前提的技术。
[0071 ] 当今，遵循MPEG(Moving Picture Experts Group:运动图像专家组)等编码方式的装置及系统正在普及。在这样的编码方式中，将时间轴上连续的多个图像作为数字信号的信息来处理。此时，以高效率的信息播放、传输或存储等为目的，而使用如下方法来进行压缩编码:利用了时间方向的冗余性的运动补偿预测、和利用了空间方向的冗余性的离散余弦变换等正交变换。
[0072]在1995年，制定了 MPEG-2视频(IS0/IEC 13818-2)编码方式作为通用的视频压缩编码方式，其作为DVD(Digital Versatile Disk:数字通用光盘)及D-VHS(注册商标)标准的数字VTR的磁带等存储媒质、以及数字广播等的应用程序而被广泛利用。
[0073]此外，在2003年，通过国际标准化组织(ISO)和国际电工委员会(IEC)的JOINT技术委員会(ISO/IEC)、与国际电信联盟电信标准化部门(ITU-T)的共同作业，制定了被称作10^6-4厶￥(:/!1.264的编码方式(在150/^(:中被附加了14496-10、在11'1]-1'中被附加了!1.264的标准编号。以下将它称作“MPEG-4AVC"。)作为国际标准。
[0074]当前，正通过国际标准化组织(ISO)和国际电工委员会(IEC)的JOINT技术委具会(IS0/IEC)、与国际电信联盟电信标准化部门(ITU-T)的共同作业来研讨被称作HEVC的编码方式的标准化。
[0075](预测编码模式)
[0076]在本发明的实施方式中，可以以多种块尺寸来切换运动补偿预测的方向或编码矢量数量。
[0077]在此，用图28简单说明将运动补偿预测的方向与编码矢量数量建立了关联的预测编码模式的一个例子。
[0078]有运动补偿预测的方向是单向且编码矢量数量为I的单向模式(UniPred)、运动补偿预测的方向为双向且编码矢量数量为2的双向模式(BiPred)、运动补偿预测的方向为双向且编码矢量数量为O的时间直接模式(Temporal Direct)和空间直接模式(SpatialDierct)。还有不实施运动补偿预测的预测编码模式，即帧内编码预测模式(Intra)。
[0079](参照图像索引)
[0080]本发明的实施方式中，为提高运动补偿预测的精度，使得能在运动补偿预测中从多个参照图像中选择最合适的参照图像。因此，使运动补偿预测中所使用的参照图像成为参照图像索引，与编码矢量一起编码进编码流中。运动补偿预测中所使用的参照图像索引为O以上的数值。
[0081](编码块)
[0082]在本发明的实施方式中，将所被输入的图像信号如图29那样按最大编码块单位进行分割，将分割出的编码块按光栅扫描顺序来处理。
[0083]编码块具有阶层构造，能考虑编码效率等地通过依次均匀地进行4分割，使之成为更小的编码块。此外，按Z形扫描(zigzag scan)顺序将4分割后的编码块进行编码。将无法进一步缩小的编码块称作最小编码块。编码块是编码的单位，即使是最大编码块，若分割数为O，则也成为编码块。
[0084]在本实施方式中，使得最大编码块为64像素X64像素、最小编码块为8像素X 8像素。
[0085]图30表不最大编码块的分割的一个例子。在图30的例子中，编码块被分割成了10个。CU0、CU1、CU9是32像素\32像素的编码块，0]2、0]3、0]8是16像素\16像素的编码块，CU4、CU5、CU6是8像素X 8像素的编码块。
[0086](预测块)
[0087]在本发明的实施方式中，编码块被进一步分割成预测块。将预测块的分割方式表示在图31中。有未分割编码块的2N X 2N、沿水平方向进行分割的2N X N、沿垂直方向进行分害_“21水平和垂直都进行分割的NXN。即，预测块尺寸如图32所示那样，有CU分割数为0、作为最大预测块尺寸的64像素X64像素、至CU分割数为3、作为最小预测块尺寸的4像素X 4像素的13种预测块尺寸。
[0088]在本发明的实施方式中，将最大编码块定为了64像素X64像素、最小编码块定为了8像素X垂直8，但不限定于该组合。此外，虽然将预测块的分割方式定为图31那样，但只要进行I以上的分割即可，不限定于此。
[0089](预测矢量索引)
[0090]在HEVC中，正在研讨为进一步提高预测矢量的精度，而从多个预测矢量候选中选出最合适的预测矢量，并将用于表示所选出的预测矢量的预测矢量索引进行编码。此外，还正在研讨利用其它图像的运动矢量作为预测矢量候选。在以往的动图像压缩编码中，虽然其它图像的运动矢量曾在运动补偿预测中被使用，但未曾被作为预测矢量来使用。
[0091]在本发明的实施方式中，会导入上述的预测矢量索引，还使用其它图像的运动矢量作为预测矢量候选。
[0092](继承方向索引)
[0093]在HEVC中，正在研讨为进一步提高编码效率，而从多个相邻块候选中选出最合适的相邻块，并对用于表示所选出的相邻块的继承方向索引(合并索引)进行编码和解码。这是处理对象块直接使用所选出的合并索引所表示的块的运动信息(运动矢量、参照图像索引及运动补偿预测的方向)的方法。在该方法中，也正在研讨与预测矢量索引一样利用其它图像的已处理的块。
[0094](句法)
[0095]用图33说明本实施方式的预测块句法的一个例子。预测块是帧内还是帧间，是由上位的编码块来指定的，图33表示预测块是帧间时的句法。设置有继承方向标志(merge_flag)、继承方向索引(merge_idx)、运动补偿预测的方向(bipred_flag)、参照索引(ref_idx_10和ref_idx_ll)、差分运动矢量(mvd_10[0]、mvd_10[ I ]、mvd_l I [O]、mvd_ll [ I ])、预测矢量索引(mvp_idx_10及mvp_idx_l I)。
[0096]在图33中，在预测矢量索引的解码(编码)的前级，设置有用于算出预测矢量的候选数的函数NumMvpCandsO。这是因为预测矢量的候选数会根据周边块的状况而针对每个预测块有所变化。
[0097]此外，当预测矢量候选数为I时，不解码(编码)预测矢量索引。这是因为当预测矢量候选数为I时，即使不进行指定，也能唯一地确定。NumMvpCands()的详细情况会在后文叙述。
[0098]此外，用图34说明预测矢量索引的码序列。在本实施方式中，作为预测矢量索引的码序列，使用Truncated Unary码序列。图34的(a)表示预测矢量候选数量为2个时的Truncated Unary码序列的预测矢量索引的码序列，图34的(b)表示预测矢量候选数量为3个时的Truncated Unary码序列的预测矢量索引的码序列，图34的(c)表示预测矢量候选数量为4个时的Truncated Unary码序列的预测矢量索引的码序列。
[0099]基于图34可知，即使是对同一预测矢量索引的值进行编码，预测矢量候选数越少、分配给预测矢量索引的码比特也越小。例如，在预测矢量索引为I时，若预测矢量候选数为2个，则是‘I’的I比特，若预测矢量候选数为3个，则是‘10’的2比特。
[0100]如上述的那样，预测矢量候选数越少，预测矢量索引的编码效率越提高。另一方面，预测矢量候选数会针对各预测块分别变化，故为解码预测矢量索引，需要预先算出预测矢量的候选数。
[0101]在以往的动图像编码中，仅在进行运动补偿预测时进行对其它图像的运动矢量的存储器访问，但在本发明的实施方式中，如上述的那样，在算出预测矢量索引时，也需要预先算出预测矢量的候选数，故向运动矢量存储器的访问量会较大地增加。
[0102](POC)
[0?03]在本发明的实施方式中，使用P0C(Picture Order Count:图像顺序计数)作为图像的时间信息(距离信息)JOC是表示在MPEG-4AVC中所定义的图像的显示顺序的计数器。在图像的显示顺序增加I时，POC也增加I。因此，能基于图像间的POC差取得图像间的时间差(距离)。
[0104](相邻块的运动矢量的特性)
[0105]一般地，处理对象块的运动矢量与相邻于处理对象块的块的运动矢量的相关度较高的情形，是在处理对象块与相邻于处理对象块的块做相同运动时、例如是处理对象块与包含相邻于处理对象块的块的区域平行移动时。
[0106](其它图像的运动矢量的特性)
[0107]另一方面，一般来说，在时间直接模式或空间直接模式中所使用的已解码的其它图像上与处理对象块处于同一位置的块(同一位置块)、同处理对象块的相关度较高的情形，是在同一位置块和处理对象块处于静止状态、或同一位置块与处理对象块平行移动时。
[0108](小块的运动矢量的特性)
[0109]此外，一般来说，块的大小变小的情形，是处理对象块的运动(运动矢量)与相邻块的运动(运动矢量)的相关度较低时，即认为运动较复杂，此时，处理对象块和其它图像的运动矢量的同一位置块处于静止状态、或处理对象块与同一位置块平行移动着的可能性较低。
[0110]下面，详细说明附图和本发明的动图像编码装置、动图像编码方法、动图像编码程序的优选实施方式。此外，在附图的说明中，针对相同要素赋予相同标号，并省略重复的说明。
[0111][第I实施方式]
[0112](动图像编码装置100的结构)
[0113]图1表示本发明的第I实施方式的动图像编码装置100的结构。动图像编码装置100是按实施运动补偿预测的预测块单位将动图像信号进行编码的装置。编码块的分割、预测块尺寸、预测编码模式由上位的编码控制部来决定。动图像编码装置100由具有CPU(Central Processing Unit:中央处理单元)、帧存储器、硬盘等的信息处理装置等硬件来实现。动图像编码装置100通过上述的构成要素的工作，来实现以下所说明的功能结构要素。
[0114]此外，处理对象的预测块的位置信息、预测块尺寸、参照图像索引、运动补偿预测的方向在动图像编码装置100内是共享的，未对其进行图示。
[0115]本实施方式的动图像编码装置100包括:预测块图像取得部101、减法部102、预测误差编码部103、码序列生成部104、预测误差解码部105、运动补偿部106、加法部107、运动矢量检测部108、运动信息生成部109、帧存储器110、第I运动信息存储器111、及第2运动信息存储器112。
[0116](动图像编码装置100的功能)
[0117]下面，说明各部的功能。
[0118]预测块图像取得部101基于预测块的位置信息和预测块尺寸，从由端子10提供的图像信号中取得处理对象的预测块的图像信号，并将预测块的图像信号提供给减法部102和运动矢量检测部108。
[0119]减法部102将从预测块图像取得部101提供的图像信号和从运动补偿部106提供的预测信号进行减法运算，算出预测误差信号，并将预测误差信号提供给预测误差编码部103。
[0120]预测误差编码部103对从减法部102提供来的预测误差信号进行量化和正交变换等处理，来生成预测误差编码数据，并将预测误差编码数据提供给码序列生成部104及预测误差解码部105。
[0121]码序列生成部104将从预测误差编码部103提供来的预测误差编码数据、及从运动信息生成部109提供来的差分矢量和预测矢量索引，与运动补偿预测的方向、参照索引一起按照句法进行熵编码，生成码序列，并将码序列提供给端子11。
[0122]此外，在本实施方式中，如上述的那样，对于预测矢量索引的编码，使用了Truncated Unary码序列，但预测矢量索引只要是预测矢量候选数越小、越能以较少的比特来编码的码序列即可，不限定于此。
[0123]预测误差解码部105对从预测误差编码部103提供来的预测误差编码数据进行反量化和逆正交变换等处理，来生成预测误差信号，并将预测误差信号提供给加法部107。
[0124]运动补偿部106将帧存储器110内的参照图像按从运动矢量检测部108提供来的运动矢量进行运动补偿，来生成预测信号。若运动补偿预测的方向是双向的，则将对各方向的预测信号进行平均后的信号作为预测信号，将预测信号提供给加法部107。
[0125]加法部107将从预测误差解码部105提供来的预测误差信号和从运动补偿部106提供来的预测信号相加，来生成解码图像信号，并将解码图像信号提供给帧存储器110。
[0126]运动矢量检测部108基于与预测块图像取得部101所提供的图像信号时间上不同的图像信号而检测出运动矢量，并将运动矢量提供给运动补偿部106。此外，若运动补偿预测的方向是双向的，则检测出各方向的运动矢量，并将运动矢量提供给运动补偿部106。
[0127]在一般的运动矢量的检测方法中，针对从与图像信号同一位置移动了规定的移动量后的位置的不同图像信号算出误差评价值，将误差评价值最小的移动量作为运动矢量。作为误差评价值，可以采用表示绝对误差和的SAD(Sum of Absolute Difference)或表示均方误差的MSE(Mean Square Error)等。
[0128]运动信息生成部109基于从运动矢量检测部108提供的运动矢量、从第I运动信息存储器111提供的第I候选块群、及从第2运动信息存储器112提供的第2候选块群来生成差分矢量和预测矢量索引，并将差分矢量和预测矢量索引提供给码序列生成部104。
[0129]运动信息生成部109的详细构成会在后文叙述。
[0130]帧存储器110保存从加法部107提供来的解码图像信号。此外，针对图像整体的解码结束后的解码图像，作为参照图像而保存I以上的规定图像数，并将参照图像信号提供给运动补偿部106。保存参照图像的保存区域以FIF0(First In First Out:先进先出)方式来控制。
[0131]第I运动信息存储器111将从运动矢量检测部108提供来的运动矢量和参照图像索引按最小的预测块尺寸单位保存I图像量，将处理对象的预测块的相邻块的信息作为第I候选块群而提供给运动信息生成部109。此外，在图像整体的处理结束后，第I运动信息存储器111使所保存的运动矢量和参照图像索引移动到第2运动信息存储器112中。
[0132]第2运动信息存储器112将从第I运动信息存储器111提供来的运动矢量和参照图像索引保存规定图像数，并将与处理对象的预测块同一位置的ColPic上的块和其周边块作为第2候选块群而提供给运动信息生成部109。保存运动矢量和参照图像索引的保存区域与帧存储器110同步，被以FIF0(First In First Out)方式来控制。所谓ColPic，是指与处理对象的预测块不同的己解码的图像，其被作为参照图像而保存在帧存储器110中。在本实施方式中，将ColPic定为之前刚解码了的参照图像。此外，在本实施方式中，将ColPic定为之前刚解码了的参照图像，但也可以定为显示顺序上的上一参照图像或显示顺序上的下一参照图像，或在编码流中指定任意的参照图像。
[0133]在此，用图2说明第I运动信息存储器111和第2运动信息存储器112中的运动矢量和参照图像索引的管理方法。运动矢量和参照图像索引被按最小的预测块单位保存在各存储器区域中。图2表示处理对象的预测块尺寸为16像素X 16像素时的情况。在该情况下，该预测块的运动矢量和参照图像索引被保存于图2的斜线部分的16个存储器区域中。
[0134]此外，当预测编码模式为帧内模式时，保存(0，0)作为运动矢量，并保存-1作为参照图像索引。此外，关于参照图像索引-1，只要能判定为不执行运动补偿预测的模式，可以是任何值。
[0135]此后，在简单表述为块时，只要未特别说明，就表示最小的预测块单位。
[0136]接下来，用图3说明作为本实施方式的特征的运动信息生成部109的详细结构。图3表示运动信息生成部109的结构。
[0137]运动信息生成部109包括预测矢量候选列表生成部120和预测矢量选择部121及减法部122。端子12连接于第I运动信息存储器111，端子13连接于第2运动信息存储器112，端子14连接于运动矢量检测部108，端子15连接于码序列生成部104。
[0138]预测矢量候选列表生成部120还同样被设置于对由本实施方式的动图像编码装置生成的码序列进行解码的动图像解码装置，生成在动图像编码装置和动图像解码装置中不矛盾的预测矢量候选列表。
[0139]此外，在句法中说明的NumMvpCandsO返回由预测矢量候选列表生成部120生成的预测矢量候选列表中所包含的预测矢量候选数。
[0140]下面，说明各部的功能。
[0141]预测矢量候选列表生成部120基于从端子12提供的第I候选块群和从端子13提供的第2候选块群而生成预测矢量候选列表，并将预测矢量候选列表提供给预测矢量选择部121。
[0142](候选块群)
[0143]在此，使用图4说明第I候选块群。图4表示处理对象的预测块尺寸为16像素X16像素时的情况。如图4所示那样将处理对象的预测块的相邻块定为处于左侧的块Al、块A2、A3、A4、处于上方的块B1、块B2、块B3、块B4、处于右上方的块C、处于左上方的块D、处于左下方的块E，并将它们定为第I候选块群。
[0144]在本实施方式中，假定第I候选块群是图4中的情况，但在本发明的实施方式中，第I候选块群只要是相邻于处理对象的预测块的至少I个以上的己处理的块即可，不限定于图4。例如，也可以从各方向上各选I个，定为块Al、块C、块D及块B1、块E等。
[0145]接下来，用图5说明第2候选块群。图5表示处理对象的预测块尺寸为16像素X16像素时的情况。如图5所示那样，将与处理对象的预测块同一位置的、ColPic上的预测块内的块和其周边块，定为第2候选块群。具体来说，将以下块定为第2候选块群:处于与处理对象的预测块同一位置的、ColPic上的预测块内的块Il至块116、处于左侧的块Al至块A4、处于上方的块BI至块B4、处于右上方的块C、处于左上方的块D、处于左下方的块E、处于右侧的块Fl至块F4、处于下方的Gl至G4、处于右下方的H。
[0146]在本实施方式中，将第2候选块群定为了ColPic上的块11至块116、块Al至块A4、块BI至块B4、块C、块D、块E、块FI至块F4、块GI至块G4、块H，但在本发明的实施方式中，关于第2候选块群，只要是处理对象的预测块之外的、已解码图像上的至少I个以上的块即可，不限定于上述。也可以将第2候选块群定为I块，例如，也可以定为仅I个块I1、或仅I个块H等。
[0147]预测矢量选择部121从由预测矢量候选列表生成部120提供来的预测矢量候选列表中选出与从端子14提供的运动矢量对应的预测矢量，并将该预测矢量提供给减法部122、将表示所选出的预测矢量的信息一一预测矢量索引输出给端子15。
[0148]减法部122将从端子14提供的运动矢量减掉从预测矢量选择部121提供的预测矢量，来算出差分矢量，并将差分矢量提供给端子15。
[0149]图6表示预测矢量候选列表生成部120的结构。
[0150]预测矢量候选列表生成部120包括第I预测矢量候选列表生成部130、结合判定部131、第2预测矢量候选列表生成部132、预测矢量候选列表决定部133。端子16连接于预测矢量选择部121。
[0151]下面，说明各部的功能。
[0152]第I预测矢量候选列表生成部130基于从端子12提供的第I候选块群，生成包含I个以上运动矢量的第I预测矢量候选列表，并将第I预测矢量候选列表提供给预测矢量候选列表决定部133。
[0153]结合判定部131基于处理对象的预测块的预测块尺寸导出结合判定结果，并将结合判定结果提供给预测矢量候选列表决定部133。
[0154]第2预测矢量候选列表生成部132基于从端子13提供的第2候选块群生成包含O个以上运动矢量的第2预测矢量候选列表，并将第2预测矢量候选列表提供给预测矢量候选列表决定部133。
[0155]预测矢量候选列表决定部133基于从结合判定部131提供来的结合判定结果，根据从第I预测矢量候选列表生成部130提供的第I预测矢量候选列表和从第2预测矢量候选列表生成部132提供的第2预测矢量候选列表来决定出第3预测矢量候选列表，并将第3预测矢量候选列表提供给端子16。
[0156](动图像编码装置100的动作)
[0157]接下来，用图7的流程图说明本实施方式的动图像编码装置100中的编码的动作。
[0158]预测块图像取得部101基于预测块的位置信息和预测块尺寸，从端子10提供的图像信号中取得处理对象的预测块的图像信号(步骤S100)。
[0159]运动矢量检测部108从预测块图像取得部101所提供的图像信号和帧存储器110所提供的参照图像信号检测出运动矢量(步骤S101)。
[0160]运动信息生成部109基于从运动矢量检测部108提供的运动矢量、从第I运动信息存储器111提供的第I候选块群、从第2运动信息存储器112提供的第2候选块群，生成差分矢量和预测矢量索引(步骤S102)。
[0161]运动补偿部106基于从运动矢量检测部108提供的运动矢量，对帧存储器110内的参照图像进行运动补偿，生成预测信号(步骤S103)。
[0162]减法部102对从预测块图像取得部101提供的图像信号和从运动补偿部106提供的预测信号进行减法运算，算出预测误差信号(步骤S104)。
[0163]预测误差编码部103将从减法部102提供的预测误差信号进行量化和正交变换等处理，来生成预测误差编码数据(步骤S105)。
[0164]码序列生成部104将从预测误差编码部103提供来的预测误差编码数据、及从运动信息生成部109提供的差分矢量和预测矢量索引，与运动补偿预测的方向、参照索引一起，按照句法进行熵编码，来生成码序列(步骤S106)。
[0165]加法部107使从预测误差解码部105提供来的预测误差信号和从运动补偿部106提供来的预测信号相加，生成解码图像信号(步骤S107)。
[0166]帧存储器110保存从加法部107提供来的解码图像信号(步骤S108)。
[0167]第I运动信息存储器111将从运动矢量检测部108提供的运动矢量按最小的预测块尺寸单位保存I图像的量(步骤S109)。
[0168]在图像整体的处理结束后(步骤SllO的YES)，第I运动信息存储器207使第2运动信息存储器208所存有的I画面量的运动矢量移动，第2运动信息存储器112将从第I运动信息存储器111提供的运动矢量保存规定图像数(步骤S111)。此外，在本实施方式中，将步骤Slll定为了图像整体的处理结束时，但也能针对处理对象的各预测块分别进行。
[0169]接下来，用图8的流程图说明运动信息生成部109的动作。
[0170]预测矢量候选列表生成部120基于从端子12提供的第I候选块群和从端子13提供的第2候选块群，生成预测矢量候选列表(步骤S120)。
[0171]预测矢量选择部121从预测矢量候选列表生成部120所提供来的预测矢量候选列表中决定出与从端子14提供的运动矢量对应的预测矢量(步骤S121)。在此，说明预测矢量的决定方法。求出运动矢量与预测矢量候选列表中所包含的各预测矢量候选的水平分量和垂直分量的均方误差和，将均方误差和最小的预测矢量候选决定为预测矢量。这是因为能期待编码矢量的码量变得最小。此外，只要是能使得编码矢量的码量变得最小的方法即可，不限定于该方法。
[0172]减法部122将从端子14提供的运动矢量减掉从预测矢量选择部121提供来的预测矢量，算出差分矢量(步骤S122)。
[0173]接下来，用图9的流程图说明预测矢量候选列表生成部120的动作。
[0174]第I预测矢量候选列表生成部130基于从端子12提供的第I候选块群生成包含I个以上运动矢量的第I预测矢量候选列表(步骤S130)。
[0175]第2预测矢量候选列表生成部132基于从端子13提供的第2候选块群，生成包含O个以上运动矢量的第2预测矢量候选列表(步骤S131)。
[0176]结合判定部131基于处理对象的预测块的预测块尺寸和规定阈值尺寸，导出结合判定结果(步骤S132)。
[0177]通过将处理对象块的预测块尺寸与预先规定的规定阈值尺寸进行比较来导出结合判定结果。若处理对象块的预测块尺寸在规定阈值尺寸以上，则将结合判定结果判定为I，除此之外判定为O。此外，由于本实施方式的结合判定是通过比较处理对象块的预测块尺寸与预先规定的规定阈值尺寸来进行的，故也可以若处理对象块的预测块尺寸大于规定阈值尺寸，则将结合判定结果判定为I，除此之外判定为O。
[0178]在本实施方式中，将预先规定的规定阈值尺寸设定为作为最大预测块尺寸1/4的16像素X 16像素。预先规定的规定阈值尺寸不限定于此，也可以根据硬件的限制等来设定。
[0179]若从结合判定部131提供来的结合判定结果为I(步骤S132的YES)，则预测矢量候选列表决定部133将从第I预测矢量候选列表生成部130提供来的第I预测矢量候选列表、和从第2预测矢量候选列表生成部132提供来的第2预测矢量候选列表结合，作为预测矢量候选列表(步骤S133)。
[0180]若从结合判定部131提供来的结合判定结果为0(步骤S132的NO)，则预测矢量候选列表决定部133将从第I预测矢量候选列表生成部130提供来的第I预测矢量候选列表定为预测矢量候选列表(步骤S134)。即，若从结合判定部131提供来的结合判定结果为0，则从第2预测矢量候选列表生成部132提供来的第2预测矢量候选列表中所包含的预测矢量候选不被包含在预测矢量候选列表中。
[0181]预测矢量候选列表决定部133依次检查预测矢量候选列表中所包含的预测矢量候选，来检测出相同的运动矢量，并将被检测为相同的一个预测矢量候选从预测矢量候选列表中删除掉，以使得预测矢量候选不重复，由此更新预测矢量候选列表，删除掉冗余的预测矢量候选(步骤S135)。
[0182]在本实施方式中，为提高预测矢量索引的编码效率而实施了步骤S135，但也可以省略步骤SI 35。
[0183]此外，在本实施方式中，为容易进行说明，是在步骤S132之前先实施步骤S131的，但也可以先进行步骤S132，在结合判定结果为O时，也可以省略步骤S131。
[0184]接下来，用图10的流程图说明第I预测矢量候选列表生成部130的动作。图10内的第N是第I。
[0185]首先，使第I预测矢量候选列表的登记数为0，初始化第I预测矢量候选列表(步骤S140)o
[0186]然后，针对第I候选块群，定义水平方向(方向I)和垂直方向(方向2)这两个方向作为检查方向，并进行以下处理(步骤S141)。用图11说明针对第I候选块群的各方向的检查。
[0187]水平方向的检查按从块C到块B1、块B2、块B3、块B4、块D依次进行。垂直方向的检查按从块E到块Al、±^A2、±^A3、±夬八4依次进行。
[0188]然后，决定出用于检查是否追加于第I预测矢量候选列表中的检查个数(步骤S142)0
[0189]在本实施方式中，将沿水平方向进行检查的最大数量定为对作为最大预测块尺寸的一半的8个加上块C和块D后的10个，将沿垂直方向进行检查的最大数量定为对作为最大预测块尺寸的一半的8个加上块E后的9个。但是，块C、块D、及块E可能会根据处理对象的预测块的位置而不存在。当不存在块C、块D及块E时，从进行检查的最大数量中减掉不存在的块数。并且，当第I候选块群中所包含的各方向候选块数量超过进行检查的最大数量时，将检查个数限制在最大数量。
[0190]然后，对第I候选块群的各方向所包含的各候选块反复实施检查个数次的以下处理(步骤S143)。
[0191]判定候选块的参照索引是否非-1、即是否为帧内模式(步骤S144)。
[0192]若候选块不是帧内模式(步骤S114的YES)，则判定候选块的参照索引与处理对象的预测块的参照图像索引是否相同(步骤S145)。
[0193]若候选块的参照索引与处理对象的预测块的参照图像索引相同(步骤S145的YES)，则将候选块的运动矢量追加到第I预测矢量候选列表中(步骤S146)。
[0194]若候选块的参照索引是_1(步骤S114的NO)、或候选块的参照索引与处理对象预测块的参照图像索引不同(步骤S145的NO)，则检查下一候选块(步骤S147)。
[0195]反复进行上述的处理，直到候选块的参照索引与处理对象预测块的参照图像索引相同、或处理了各方向的检查个数(步骤S148)。
[0196]然后，检查第I预测矢量候选列表中的登记数是否为0(步骤S149)。
[0197]若第I预测矢量候选列表中的登记数为0(步骤S149的YES)，则在第I预测矢量候选列表中追加运动矢量(O，O)(步骤SI 50)后，结束处理。
[0198]若第I预测矢量候选列表中的登记数不为0(步骤S149的NO)，则结束处理。如以上那样，被追加到第I预测矢量候选列表中的运动矢量被导出。
[0199]接下来，用图10的流程图来说明第2预测矢量候选列表生成部132的动作。图10内的第N为第2。
[0200]将对第2候选块群的、各方向的检查顺序表示于图12。
[0201]与第I预测矢量候选列表生成部130的动作的第I差异点在于，具有同一位置方向(方向O)作为检查方向，并且按同一位置方向、水平方向、垂直方向的顺序来实施检查方向。同一位置方向的候选块相当于图12的Il至116，同一位置方向的检查按光栅扫描顺序来实施。
[0202]与第I预测矢量候选列表生成部130的动作的第2差异点在于，不实施步骤S149和步骤S150。会为将I个以上的预测矢量候选追加到第I预测矢量候选列表和第2预测矢量候选列表中的一者、或预测矢量候选列表中而进行该动作，故可以在第I预测矢量候选列表生成部130或第2预测矢量候选列表生成部132的任一者中进行，也可以在预测矢量列表决定部133中进行。
[0203]在本实施例中，为减少存储器访问量，将要检查的最大数限制在了9个，但也可以不特别设限。
[0204]在本实施方式中，使处理速度优先，在步骤S146中，假定只要候选块的参照索引与处理对象的预测块的参照图像索引相同，就进行下一方向的检查，但也可以是反复进行直到处理了各方向的检查个数。
[0205]在本实施例中，将对第I候选块群的、各方向的检查方法表达为图11，但所有方向的合计检查数只要在I以上即可，不限定于该检查方法。例如，也可以将方向I定为块C、块B1、块D，将方向2定为仅是块E、±夬A1。
[0206]在本实施例中，将对第2候选块群的、各方向的检查方法表达为图12，但所有方向的合计检查数只要在I以上即可，不限定于该检查方法。例如，也可以定为仅是方向2的块H，还可以定为是块H和块I这2块。
[0207](动图像解码装置200的结构)
[0208]接下来，说明本实施方式的动图像解码装置。图13表示本实施方式的动图像解码装置200。动图像解码装置200是对由动图像编码装置100编码的码序列进行解码，来生成再现图像的装置。
[0209]动图像解码装置200由具备CPU(Central Processing Unit:中央处理单元)、帧存储器、硬盘等的信息处理装置等硬件来实现。动图像解码装置200通过上述的构成要素的动作，来实现以下所说明的功能结构要素。
[0210]此外，关于解码对象预测块的位置信息、预测块尺寸、参照图像索引、运动补偿预测的方向，假定在动图像解码装置200内是共享的，未进行图示。
[0211]本实施方式的动图像解码装置200由如下结构构成:码序列解析部201、预测误差解码部202、加法部203、运动信息再现部204、运动补偿部205、帧存储器206、第I运动信息存储器207、第2运动信息存储器208。
[0212](动图像解码装置200的功能)
[0213]下面，说明各部的功能。
[0214]码序列解析部201对从端子20提供的码序列进行解码，按照句法解码出预测误差编码数据、运动补偿预测的方向、参照图像索引、差分矢量、及预测矢量索引，并将预测误差编码数据提供给预测误差解码部202、将差分矢量及预测矢量索引提供给运动信息再现部204。
[0215]预测误差解码部202对从码序列解析部201提供来的预测误差编码数据进行反量化和逆正交变换等处理，生成预测误差信号，并将预测误差信号提供给加法部203。
[0216]加法部203将从预测误差解码部202提供来的预测误差信号和从运动补偿部205提供来的预测信号相加，生成解码图像信号，并将解码图像信号提供给帧存储器206。
[0217]运动信息再现部204基于从码序列解析部201提供来的差分矢量和预测矢量索引、从第I运动信息存储器207提供的第I候选块群、以及从第2运动信息存储器208提供的第2候选块群，再现运动矢量，并将运动矢量提供给运动补偿部205。
[0218]运动信息再现部204的详细构成会在后文叙述。
[0219]运动补偿部205对帧存储器206内的参照图像按从运动信息再现部204提供来的运动矢量进行运动补偿，来生成预测信号。若运动补偿预测的方向为双向，则将使各方向的预测信号平均后的信号作为预测信号而提供给加法部203。
[0220]帧存储器206、第I运动信息存储器207、第2运动信息存储器208分别具备与帧存储器110、第I运动信息存储器111、第2运动信息存储器112—样的功能。
[0221]接下来，用图14说明作为本实施方式的特征的运动信息再现部204的详细结构。图14表示运动信息再现部204的结构。
[0222]运动信息再现部204包括预测矢量候选列表生成部220和预测矢量决定部221、及加法部222。端子22连接于第I运动信息存储器207，端子23连接于第2运动信息存储器208，端子24连接于码序列解析部201，端子25连接于运动补偿部205。
[0223]下面，说明各部的功能。
[0224]预测矢量候选列表生成部220具备与预测矢量候选列表生成部120—样的功能。
[0225]预测矢量决定部221基于从预测矢量候选列表生成部220提供来的预测矢量候选列表和从端子24提供的预测矢量索引，决定预测矢量，并提供给加法部222。
[0226]加法部222将从端子24提供来的差分矢量和从预测矢量决定部221提供来的预测矢量相加，算出运动矢量，并将运动矢量提供给端子25。
[0227](解码装置的动作)
[0228]接下来，用图15的流程图说明本实施方式的动图像解码装置200中的解码动作。
[0229]码序列解析部201对从端子20提供的码序列进行解码，按照句法解码出预测误差编码数据、运动补偿预测的方向、参照图像索引、差分矢量、及预测矢量索引(步骤S200)。
[0230]运动信息再现部204基于从码序列解析部201提供来的差分矢量和预测矢量索引、从第I运动信息存储器207提供的第I候选块群、从第2运动信息存储器208提供的第2候选块群，来再现运动矢量(步骤S201)。
[0231]运动补偿部205基于从运动信息再现部204提供来的运动矢量，对帧存储器206内的参照图像进行运动补偿，来生成预测信号(步骤S202)。
[0232]预测误差解码部202对从码序列解析部201提供来的预测误差编码数据进行反量化和逆正交变换等处理，来生成预测误差信号(步骤S203)。
[0233]加法部203将从预测误差解码部202提供来的预测误差信号和从运动补偿部205提供来的预测信号相加，来生成解码图像信号(步骤S204)。
[0234]帧存储器206保存从加法部203提供来的解码图像信号(步骤S206)。
[0235]第I运动信息存储器207将从运动信息再现部204提供的运动矢量按最小的预测块尺寸单位保存I图像的量(步骤S207)。
[0236]在图像整体的处理结束后(步骤S208的YES)，第I运动信息存储器207使第2运动信息存储器208中所存有的I画面量的运动矢量移动，第2运动信息存储器208将从第I运动信息存储器207提供来的运动矢量保存规定图像数(步骤S209)。
[0237]接下来，用图16的流程图说明运动信息再现部204的动作。
[0238]预测矢量候选列表生成部220基于从端子22提供的第I候选块群和从端子23提供的第2候选块群生成预测矢量候选列表(步骤S220)。
[0239]预测矢量决定部221判定从预测矢量候选列表生成部220提供的预测矢量候选列表中的预测矢量候选数是否大于I (步骤S221)。
[0240]若预测矢量候选数大于1(步骤S221的YES)，则预测矢量决定部221取得从码序列解析部201提供的预测矢量索引(步骤S222)。然后，从预测矢量候选列表中选择预测矢量索引所表示的预测矢量候选作为预测矢量(步骤S223)。
[0241]若预测矢量候选数为1(步骤S221的NO)，则预测矢量决定部221选择预测矢量候选列表中所包含的唯一的预测矢量候选作为预测矢量(步骤S224)。
[0242]加法部222将从端子24提供的差分矢量和从预测矢量决定部221提供的预测矢量相加，来算出运动矢量(步骤S225)。
[0243](第I实施方式的扩展例)
[0244]此外，本实施方式能如以下那样扩展。
[0245](规定阈值尺寸)
[0246]在本实施方式中，将预先规定的规定阈值尺寸设定为了作为最大预测块尺寸的I/4的16像素X 16像素，但规定阈值尺寸只要在最小预测块尺寸以上、且在最大预测块尺寸以下即可，例如也可以是32X16或4X8等非对称块。此外，当规定阈值尺寸是最大预测块尺寸时，可以使在所有预测块尺寸下结合判定结果为O。在该情况下，所有预测块尺寸下结合判定结果为O，故结果上第2预测矢量候选列表中所包含的ColPic上的运动矢量不会被作为预测矢量来利用。
[0247]此外，在本实施方式中，预先定义了规定阈值尺寸，但也能通过将规定阈值尺寸编码在码序列中，然后进行解码，来在编码装置中根据动图像的特性等适应性地进行设定。例如，能适应性地进行设定，使得画面尺寸越大，阈值尺寸就越大，或运动越大，阈值尺寸越大。
[0248]在此，虽然使得将规定阈值尺寸编码在码序列中，然后进行解码，但只要编码侧和解码侧中能共享规定阈值尺寸即可，不限定于此。例如，能通过如下方式来实现，即，将表示固定的规定阈值尺寸(4X4、8X8等)的标志编码在码序列中，然后进行解码，在编码侧和解码侧中，若表示规定阈值尺寸的标志为0，则设定固定的规定阈值尺寸，若表示规定阈值尺寸的标志为I，则不设定规定阈值尺寸。此外，在不设定规定阈值尺寸时，可以结合第I预测矢量候选列表和第2预测矢量候选列表，来生成预测矢量候选列表。
[0249]此外，将规定阈值尺寸设定成最大的预测块尺寸，根据动图像的特性等适应性地进行设定这一事情还能通过如下方式来实现，即，按每序列或每图片来将表示规定阈值尺寸是最大预测块尺寸的信息(以下称作时间候选利用标志)编码在码序列中，若时间候选利用标志为O，则使得在编码侧和解码侧不将第2预测矢量候选列表中所包含的ColPic上的运动矢量作为预测矢量来利用，若时间候选利用标志为I，则在编码侧和解码侧，将第2预测矢量候选列表中所包含的ColPic上的运动矢量作为预测矢量来利用。
[0250]此外，在如无线传输等那样容易产生传输错误(error)等时，通过将规定阈值尺寸设定为最大的预测块尺寸、并总是使得不将第2预测矢量候选列表中所包含的ColPic上的运动矢量作为预测矢量来利用，使得即使ColPic损失，也能取得预测运动矢量，能避免无法解码编码流这样的严重的错误。
[0251](距离依赖)
[0252]在本实施方式中，预先定义了规定阈值尺寸，但也可以根据处理对象预测块所存在的处理对象图像与第2候选块群所存在的其它已解码图像的距离(时间差)，进行控制使得图像间的距离越大，上述规定阈值尺寸越大。这是基于图像间的距离越大、图像间的运动信息的相关性越减小而进行的。
[0253]将此时的预测矢量候选列表生成部120的结构和动作分别表示为了图17和图18。在本实施方式的扩展例的预测矢量候选列表生成部120中，结合判定部131上连接有端子17及端子18。端子17提供处理对象图像的时间信息，端子18提供其它已解码图像的时间信息。结合判定部131根据从端子17提供的处理对象图像的时间信息和从端子18提供的其它已解码图像的时间信息来设定规定阈值尺寸，以使得图像间的距离越大，上述规定阈值尺寸越大(步骤S136)。在本实施例中，采用POC作为时间信息。在图19中表示了控制使得POC差越大、规定阈值尺寸越大的一个例子。此外，还能使得若POC差在规定值以上，则使规定阈值尺寸总是为最大的预测块尺寸来进行作用。
[0254](预测矢量的优先级)
[0255]在本实施方式中，定为若结合判定结果为I，则结合第I预测矢量候选列表和第2预测矢量候选列表，来生成预测矢量候选列表。一般来说，当包含处理对象的预测块尺寸在内的周边区域平行移动或静止时、即处理对象的预测块尺寸较大时，不同于处理对象预测块的其它图像的运动矢量会成为有效，故能使第2预测矢量候选列表优先，之后再追加第I预测矢量候选列表。在结合了第I预测矢量候选列表和第2预测矢量候选列表的预测矢量候选列表中，越处于优先的位置，越对索引分配较短码长的码来进行编码，故能提高索引的编码效率。
[0256]此外，在本实施方式中，定为了若结合判定结果为I，则结合第I预测矢量候选列表和第2预测矢量候选列表来生成预测矢量候选列表，若结合判定结果为O，则基于第I预测矢量候选列表来生成预测矢量候选列表。根据本实施方式，只要在处理对象块在规定阈值尺寸以上时使其它已解码的图像的运动矢量优先即可，而若结合判定结果为I，则能依次结合第2预测矢量候选列表和第I预测矢量候选列表来生成预测矢量候选列表，若结合判定结果为O，则能依次结合第I预测矢量候选列表和第2预测矢量候选列表来生成预测矢量候选列表。
[0257]图20表示说明本实施方式扩展例的预测矢量候选列表生成部120的动作的流程图。与第I实施方式的差异在于，取代步骤S133，而是依次结合第2预测矢量候选列表和第I预测矢量候选列表，使之成为预测矢量候选列表(步骤S136)，并取代步骤S134，而是依次结合第I预测矢量候选列表和第2预测矢量候选列表，使之成为预测矢量候选列表(步骤S136)。
[0258](编码控制)
[0259]在本实施方式中，定为若结合判定结果为I，则结合第I预测矢量候选列表和第2预测矢量候选列表，来生成预测矢量候选列表，若结合判定结果为O，则仅基于第I预测矢量候选列表生成预测矢量候选列表。这是为了通过在编码和解码中定义共同动作，来减少预测矢量索引的码量而进行的处理。
[0260]若仅以减少运算量为目的，则还可以进行控制，使得无论结合判定结果如何，都结合第I预测矢量候选列表和第2预测矢量候选列表，来生成预测矢量候选列表，在编码装置中选择预测矢量索引时，若结合判定结果为0，则不将第2预测矢量候选列表中所包含的运动矢量选为预测矢量。此时的动图像编码装置具有以下那样的特征。
[0261]提供一种以多种块尺寸进行运动补偿预测的动图像编码装置，其包括:
[0262]第I预测矢量候选列表生成部，基于相邻于编码对象块的、已编码的I个以上的块的运动矢量，来生成包含第I预测运动矢量的候选的第I预测矢量候选列表，
[0263]第2预测矢量候选列表生成部，基于已编码图像中的、与上述编码对象块处于同一位置的块及相邻于上述同一位置的块的I个以上块的运动矢量，来生成包含第2预测运动矢量的候选的第2预测矢量候选列表，
[0264]第3预测矢量候选列表生成部，生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表，
[0265]结合判定部，根据上述编码对象块的块尺寸与规定的阈值尺寸的比较结果，判定是否使用上述第2预测矢量候选列表，
[0266]预测矢量选择部，当上述编码对象块的块尺寸小于上述规定的阈值尺寸时，不以上述第3预测矢量候选列表中的上述第2预测矢量候选列表为选择对象，而是从上述第3预测矢量候选列表中的上述第I预测矢量候选列表中选出预测运动矢量，以及
[0267]编码部，对表示上述所选出的预测运动矢量在上述第3预测矢量候选列表中的位置的信息进行编码。
[0268](候选列表的生成的扩展)
[0269]在本实施方式中，以候选列表的生成对象为运动矢量，说明了预测矢量索引的编码及解码。根据本实施方式，候选列表的生成对象不限定于运动矢量，只要是如下方法即可:基于相邻于处理对象块的已处理块的信息生成第I候选列表，并基于相邻于与已处理图像的处理对象块处于同一位置的块的信息生成第2候选列表，生成基于第I候选列表和第2候选列表而生成的第3候选列表，从第3候选列表中决定出要编码及解码的索引。例如，本实施方式能适用于表示继承运动信息的方向的继承方向索引(合并索引:merge index)。
[0270]在该情况下，在第I候选列表、第2候选列表、第3候选列表中，除运动矢量外参照图像索引和运动补偿预测的方向也被同样地管理，采用运动矢量作为由继承方向索引表示的块的运动信息，采用参照图像索引及运动补偿预测的方向作为处理对象块的运动信息。即，本实施方式所说明的预测矢量直接被作为运动矢量来使用。此外，句法中所说明的NumMergeCandsO与NumMvpCands()—样，返回候选列表中所包含的候选数。此外，关于继承方向索引的码序列，与预测矢量索引的码序列一样采用Truncated Unary码序列。
[0271](第I实施方式的效果)
[0272]如以上那样，当包含处理对象的预测块尺寸在内的周边区域正平行移动或静止的可能性较低时、即处理对象的预测块尺寸较小时，进行控制使得不将处理对象预测块之外的图像的运动矢量加入到预测运动矢量候选中，由此减少预测矢量候选数，能减少预测矢量索引的码量，能实现抑制运动补偿预测效率的下降的动图像编码装置。另一方面，当处理对象的预测块尺寸较大时，通过将处理对象预测块之外的图像的运动矢量加入到预测运动矢量候选中，能提高预测矢量的精度。
[0273]通过预测矢量候选数的减少，还具有抑制对运动矢量存储器的访问量，减少处理量的效果。例如，在其它图像的运动矢量存在于外部存储器等时，抑制对运动矢量存储器的访问量的效果较好。
[0274]此外，在处理对象预测块所存在的处理对象图像与第2候选块群所存在的对象处理图像之外的已解码的图像的距离(时间差)变大、即运动信息的相关度变得较小时，进行控制使得不将其它图像的运动矢量加入到预测运动矢量候选中，由此能实现与上述一样的效果。
[0275]画面尺寸越大，以上那样的效果越明显。
[0276][第2实施方式]
[0277]图21表示本发明的第2实施方式的动图像编码装置300的结构。除端子30的设定、运动信息压缩部301、第2运动信息存储器302、运动信息解压缩部303、及运动信息生成部109外，本发明的第2实施方式的动图像编码装置300的结构与第I实施方式的动图像编码装置100的结构一样。
[0278]下面，说明本实施方式中的端子30的设定和运动信息压缩部301、第2运动信息存储器302、运动信息解压缩部303、运动信息生成部109的功能与第I实施方式的差异。
[0279]从端子30提供运动信息存储器压缩率α和时间矢量利用限制级别β，运动信息存储器压缩率α被提供给运动信息生成部109、运动信息压缩部301、及运动信息解压缩部303，时间矢量利用限制级别β被提供给运动信息生成部109。
[0280]运动信息压缩部301基于运动信息存储器压缩率α，将从第I运动信息存储器111提供的运动矢量和参照图像索引压缩到1/2°的存储器区域中，并提供给第2运动信息存储器302。
[0281]第2运动信息存储器302具备第I实施方式的第2运动信息存储器112的l/2a的存储器容量，将从运动信息压缩部301提供来的运动矢量和参照图像索引保存规定图像数。
[0282]运动信息解压缩部303基于运动信息存储器压缩率α来解压缩从第2运动信息存储器302提供的运动矢量和参照图像索引，提供给运动信息生成部109。
[0283]说明运动信息存储器压缩率α。运动信息存储器压缩率α是为减小第2运动信息存储器302的存储器容量而设定的，将在水平、垂直方向上分别为2°尺寸(称作“压缩尺寸”)的运动信息的存储器区域压缩为一个存储器区域。此时，将2°尺寸的存储器区域中所存有的运动信息进行汇总，将之置换为一个代表值，将代表值存储在被压缩成1/2°的、被按块尺寸单位分配的存储器区域中。例如，2°尺寸的存储器区域中所存有的运动矢量通过求取平均值等而被置换成一个代表运动矢量、并被存储在被压缩成1/2°的存储器区域中。在本实施方式中，将α定为5。
[0284]用图22说明运动信息的压缩和解压缩。图22的(a)表示压缩前的第I运动信息存储器111中的存储器区域O至存储器区域63的64个存储器区域。在本实施例中，将64个存储器区域的代表值定为存储器区域O中所存的值。图22的(b)表示压缩后的第2运动信息存储器302的I个存储器区域中保存有第I运动信息存储器111中的存储器区域O的值的情况。图22的(c)表示将第2运动信息存储器302的I个存储器区域的值复制并保存在被提供给解压缩后的运动信息生成部109的64个存储器区域中的情况。
[0285]在本实施方式中，将运动信息存储器压缩率α定为了5，但运动信息存储器压缩率α也可以在O以上。此外，将存储器区域的代表值定为了存储器区域0，但也可以定为处于中央处的存储器区域27或其相邻块区域，也可以是存储器区域O至存储器区域63的平均值或中值。
[0286]运动信息生成部109被提供运动信息存储器压缩率α和时间矢量利用限制级别β，仅预测矢量候选列表生成部120内的结合判定部131的功能与第I实施方式不同。
[0287]下面，说明结合判定部131。本实施例中的结合判定结果的导出与第I实施方式的结合判定结果的导出相比，等于是将作为基准值的规定阈值尺寸置换为以下允许结合尺寸。
[0288]本实施例中的结合判定结果的导出，是通过将处理对象块的预测块尺寸与基于运动信息存储器压缩率α和时间矢量利用限制级别β而导出的允许结合尺寸相比较而进行的。若处理对象块的预测块尺寸在由运动信息存储器压缩率α和时间矢量利用限制级别β所决定的允许结合尺寸以上，则使结合判定结果为I，除此之外使之为O。
[0289]设允许结合尺寸在水平方向、垂直方向上都为2α—β(β彡α)。若设为β= 0，则允许结合尺寸等同于由运动信息存储器压缩率所决定的存储器区域尺寸(即上述的压缩尺寸)，若设为β = α，则允许结合尺寸为I，故允许所有预测块尺寸结合。在本实施方式中，定为β = 0。即，允许结合尺寸为32像素X 32像素。
[0290]在本实施方式的动图像编码装置100中，在上位的SPS中，按照图23的句法来编码运动信息存储器压缩率α和时间矢量利用限制级别β，使之成为码序列。在图23的句法中，将运动信息存储器压缩率(:1(11^_(3011^^688；[011_以1:;[0)和时间矢量利用限制级别P(temporal_mv_restrict_idc)设定于SPS(Sequence Parameter Set:序列参数集)的一部分，但也可以设置于比SPS更下位阶层的PPS(Picture Parameter Set:图像参数集)或条首部(Sliceheader)等。此外，关于运动信息存储器压缩率α和时间矢量利用限制级别β，只要能导出存储器区域尺寸和允许结合尺寸即可，不限定于图23的形式。例如，能用图32所表示的CU分割数来表示运动信息存储器压缩率α和时间矢量利用限制级别β。也能针对水平方向和垂直方向分别设定运动信息存储器压缩率α和时间矢量利用限制级别β。
[0291](编码装置的动作)
[0292]接下来，用图24的流程图说明本实施方式的动图像编码装置300中的编码动作。针对与第I实施方式的差异进行说明。
[0293]首先，在上位的SPS中，运动信息存储器压缩率α和时间矢量利用限制级别β被编码。
[0294]然后，在所有预测块的处理结束后(步骤SllO的YES)，运动信息压缩部301基于运动信息存储器压缩率α，将从第I运动信息存储器111提供的运动矢量和参照图像索引压缩在I/2α的存储器区域中(步骤S300)。
[0295]此外，在步骤SlOl后，运动信息解压缩部303基于运动信息存储器压缩率α解压缩从第2运动信息存储器302提供的运动矢量和参照图像索引，并提供给运动信息生成部109(步骤 S301)。
[0296]接下来，针对本实施方式的预测矢量候选列表生成部120内的结合判定部131的动作，用图25的流程图说明其与第I实施方式的差异点。图25表示预测矢量候选列表生成部120的动作。
[0297]首先，结合判定部131根据运动信息存储器压缩率α和时间矢量利用限制级别β导出允许结合尺寸(步骤S330)。
[0298]结合判定部131基于处理对象预测块的预测块尺寸和允许结合尺寸，导出结合判定结果(步骤SI 32)。
[0299](解码装置的结构和功能)
[0300]接下来，说明本实施方式的动图像解码装置。图26表示本实施方式的动图像解码装置400。动图像解码装置400是将由动图像编码装置300编码了的码序列解码而生成再现图像的装置。
[0301]除运动信息压缩部401、第2运动信息存储器402、运动信息解压缩部403、运动信息再现部204外，本发明的第2实施方式的动图像解码装置400的结构与第I实施方式的动图像解码装置200的结构一样。
[0302]下面，说明本实施方式中的运动信息压缩部401、第2运动信息存储器402、运动信息解压缩部403、运动信息再现部204的功能与第I实施方式的差异。
[0303]在本实施方式的动图像解码装置400中，在上位的SPS中，按照图23的句法将运动信息存储器压缩率α和时间矢量利用限制级别β从码序列中解码出来，并从端子40提供。由端子40将运动信息存储器压缩率α提供给运动信息压缩部401、运动信息解压缩部403、运动信息再现部204，将时间矢量利用限制级别β提供给运动信息再现部204。
[0304]运动信息压缩部401、第2运动信息存储器402、运动信息解压缩部403的功能与本实施例的动图像编码装置300的运动信息压缩部301、第2运动信息存储器302、运动信息解压缩部303—样。
[0305]运动信息再现部204被提供运动信息存储器压缩率α和时间矢量利用限制级别β，仅预测矢量候选列表生成部120内的结合判定部131的功能不同。预测矢量候选列表生成部120内的结合判定部131的功能与本实施例的动图像编码装置300—样。
[0306](解码装置的动作)
[0307]接下来，用图27的流程图说明本实施方式的动图像解码装置400中的解码动作。针对与第I实施方式的差异进行说明。
[0308]首先，在上位的SPS中，运动信息存储器压缩率α和时间矢量利用限制级别β被解码。
[0309]然后，在所有预测块的处理结束后(步骤S205的YES)，运动信息压缩部401基于运动信息存储器压缩率α，将从第I运动信息存储器207提供的运动矢量和参照图像索引压缩在I/2α的存储器区域中(步骤S400)。
[0310]此外，在步骤S201前，运动信息解压缩部403基于运动信息存储器压缩率α将从第2运动信息存储器402提供的运动矢量和参照图像索引解压缩，并提供给运动信息再现部204(步骤 S401)。
[0311](第2实施方式的变形例)
[0312]此外，本实施方式能适用以下变形例。
[0313]在本实施方式中，是在运动信息解压缩部中对第2运动信息存储器所保存的、被压缩了的运动矢量和参照索引进行解压缩，并将解压缩后的运动矢量和参照索引提供给运动信息生成部和运动信息再现部的，但不对被压缩了的运动矢量和参照索引进行压缩或解压缩也一样能实施本实施方式。
[0314]例如，取代运动信息解压缩部而设置存储器地址变换部，通过将在被解压缩了的存储器区域中参照的存储器地址变换为被压缩了的存储器区域的存储器地址，能不进行解压缩地访问运动信息。
[0315]例如，在如图22那样将水平8块、垂直8块的64个存储器区域的代表值定为存储器区域O所保存的值时，将在被解压缩了的存储器区域中所参照的存储器地址的水平位置和垂直位置分别记为blkX、blkY、将被压缩了的存储器区域的存储器地址的水平位置和垂直位置分别记为rblkX、rblkY时，能通过式I和式2来算出。在此，设Floor函数为对输入值进行舍小数取整数的函数。
[0316]rblkX=Floor(blkX*8);(式I)
[0317]rblkY=Floor(blkY*8);(式2)
[0318]此外，通过省略掉运动信息压缩部301，并取代运动信息解压缩部而设置存储器地址变换部，将所要参照的存储器地址变换成存储有运动信息的代表值的存储器地址，也能实现。例如，在如图22那样将水平8块、垂直8块的64个存储器区域的代表值定为了存储器区域O中所存储的值时，在将所要参照的存储器地址的水平位置和垂直位置分别记为blkX、blkY，将存储有代表值的存储器地址的水平位置垂直位置分别记为rblkX、rblkY，则能通过式3和式4来算出。
[0319]rblkX=Floor(blkX/8)*8;(式3)
[0320]rblkY=Floor(blkY/8)*8;(式4)
[0321]通过进行存储器地址变换，无法减少存储器容量，但能减少进行压缩和解压缩的处理。
[0322](第2实施方式的效果)
[0323]如以上那样，当处理对象的预测块尺寸较小时，进行控制使得不将被压缩了的其它图像的运动矢量加入到预测运动矢量候选中，由此能实现如下这样的动图像编码装置:限制与本来的运动信息不同的运动信息的使用、抑制运动补偿预测的精度的下降的同时，减少运算量，减少预测矢量候选数，减少预测矢量索引的码量。
[0324]此外，例如还有在被压缩了的其它图像的运动矢量存在于外部存储器等中时，抑制对运动矢量存储器的访问量的效果。
[0325]此外，在对表示限制作为预测矢量而采用其它图像的运动矢量的条件的信息解码时，还一并解码运动信息存储器压缩率的定义，由此能在其它图像的运动矢量的利用被限制了时，促进运动信息存储器的压缩，实现高效的运动信息存储器的利用。此外，通过共用标志，在更低位阶层内、在其它图像的运动矢量的利用的限制和运动信息存储器压缩率的定义中，能抑制标志的码量的增加。
[0326]以上所述的实施方式的动图像编码装置所输出的动图像的编码流具有特定的数据格式，以使得能根据实施方式中所使用的编码方法来进行解码，与动图像编码装置对应的动图像解码装置能解码该特定的数据格式的编码流。
[0327]当为在动图像编码装置与动图像解码装置之间交换编码流而使用有线或无线网络时，可以将编码流变换为适合于通信路径的传输方式的数据形式来传输。此时，要设置如下装置:动图像发送装置，将动图像编码装置所输出的编码流变换为适合于通信路径的传输方式的数据形式的编码数据后发送到网络；以及动图像接收装置，从网络接收编码数据后还原成编码流，将之提供给动图像解码装置。
[0328]动图像发送装置包括:存储器，缓冲动图像编码装置所输出的编码流;包处理部，将编码流打包；以及发送部，将打包后的编码数据介由网络进行发送。动图像接收装置包括:接收部，介由网络接收被打包了的编码数据;存储器，缓冲所接收到的编码数据；以及包处理部，将编码数据进行包处理来生成编码流，提供给动图像解码装置。
[0329]以上的关于编码及解码的处理当然能以使用了硬件的传输、存储、接收装置的方式来实现，也能由ROM (只读存储器)或闪存存储器等中所存储的固件、计算机等的软件来实现。可以将该固件程序、软件程序记录在计算机等可读取的记录介质中来提供，也可以通过有线或无线网络由服务器来提供，还可以作为地面波或卫星数字广播的数据广播来提供。
[0330]以上基于实施方式对本发明进行了说明。本领域技术人员当理解实施方式为例示，其各构成要素和各处理过程的组合可以有各种变形例，且该变形例同样包含在本发明的范围内。
[0331]本发明可以由以下方案构成。
[0332]〔项目I〕
[0333]—种动图像编码装置，该动图像编码装置按块单位进行运动补偿预测，其特征在于，包括:
[0334]预测运动矢量候选生成部，当编码对象块的块尺寸大于规定的阈值尺寸时，基于已编码图像中的块导出预测运动矢量候选，当上述编码对象块的块尺寸在上述规定的阈值尺寸以下时，不导出上述预测运动矢量候选。
[0335]〔项目2〕
[0336]—种动图像编码装置，该动图像编码装置按块单位进行运动补偿预测，其特征在于，包括:
[0337]预测运动矢量候选列表生成部，当编码对象块的块尺寸大于规定的阈值尺寸时，将基于已编码图像中的块而获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述编码对象块的块尺寸在上述规定的阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中，
[0338]预测运动矢量选择部，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量，以及
[0339]编码部，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0340]〔项目3〕
[0341]如项目I或2所述的动图像编码装置，其特征在于，
[0342]上述己编码图像中的块是与上述编码对象块同一位置的块或处于上述同一位置的块周边的块。
[0343]〔项目4〕
[0344]如项目I至3的任意一项所述的动图像编码装置，其特征在于，
[0345]上述编码部对表示上述规定的阈值尺寸的信息进行编码。
[0346]〔项目5〕
[0347]如项目I至4的任意一项所述的动图像编码装置，其特征在于，
[0348]针对各规定区域，分别将上述已编码图像的中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。
[0349]〔项目6〕
[0350]如项目5所述的动图像编码装置，其特征在于，
[0351]上述规定的阈值尺寸被设定得小于上述规定区域。
[0352]〔项目7〕
[0353]如项目I至6的任意一项所述的动图像编码装置，其特征在于，
[0354]进行控制使得包含上述编码对象块的图像与上述己编码图像的时间差变长时，上述规定的阈值尺寸变大。
[0355]〔项目8〕
[0356]—种动图像编码装置，该动图像编码装置按块单位进行运动补偿预测，其特征在于，包括:
[0357]空间预测运动矢量候选生成部，基于与编码对象块相邻的块导出空间预测运动矢量候选，
[0358]时间预测运动矢量候选生成部，基于己编码图像中的块导出时间预测运动矢量候选，
[0359]预测运动矢量候选列表生成部，当表示是否允许利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选生成预测运动矢量候选列表，当上述允许利用信息表示不允许时，基于上述空间预测运动矢量候选生成预测运动矢量候选列表，
[0360]预测运动矢量选择部，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量，以及
[0361]编码部，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0362]〔项目9〕
[0363]如项目8所述的动图像编码装置，其特征在于，
[0364]上述已编码图像中的块是与上述编码对象块同一位置的块或处于上述同一位置的块周边的块。
[0365]〔项目10〕
[0366]如项目8或9所述的动图像编码装置，其特征在于，
[0367]上述编码部对上述允许利用信息进行编码。
[0368]〔项目11〕
[0369]如项目8至10的任意一项所述的动图像编码装置，其特征在于，
[0370]针对各规定区域，分别将上述已编码图像的中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。
[0371]〔项目12〕
[0372]—种动图像编码装置，该动图像编码装置按多种块尺寸进行运动补偿预测，其特征在于，包括:
[0373]第I预测矢量候选列表生成部，基于与编码对象块相邻的已编码的I个以上块的运动矢量，生成包含第I预测运动矢量的候选的第I预测矢量候选列表，
[0374]第2预测矢量候选列表生成部，基于已编码的图像中的、与上述编码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量候选的第2预测矢量候选列表，
[0375]结合判定部，根据上述编码对象块的块尺寸与规定的阈值尺寸的比较结果，判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表，
[0376]第3预测矢量候选列表生成部，当上述编码对象块的块尺寸小于上述规定的阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表，
[0377]预测矢量选择部，从上述第3预测矢量候选列表中选出上述编码对象块的预测运动矢量，以及
[0378]编码部，对表示上述所选出的预测运动矢量在上述第3预测矢量候选列表中的位置的信息进行编码。
[0379]〔项目13〕
[0380]—种动图像编码装置，该动图像编码装置按多种块尺寸进行运动补偿预测，其特征在于，包括:
[0381]第I运动矢量存储部，将已编码的块的运动矢量保存在按最小块尺寸单位划分出的存储器区域中，来进行管理，
[0382]第I预测矢量候选列表生成部，参照上述第I运动矢量存储部，基于与编码对象块相邻的已编码的I个以上的块的运动矢量，生成包含第I预测运动矢量候选的第I预测矢量候选列表，
[0383]第2运动矢量存储部，以规定的压缩尺寸汇总已编码图像的最小块尺寸单位的运动矢量，将之置换为I个代表运动矢量，并保存在按压缩尺寸单位划分出的存储器区域中，来进行管理，
[0384]第2预测矢量候选列表生成部，参照上述第2运动矢量存储部，基于已编码的图像中的、与上述编码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量候选的第2预测矢量候选列表，
[0385]结合判定部，根据上述编码对象块的块尺寸与规定的阈值尺寸的比较结果，判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表，
[0386]第3预测矢量候选列表生成部，当上述编码对象块的块尺寸小于上述规定的阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表，
[0387]预测矢量选择部，从上述第3预测矢量候选列表中选出上述编码对象块的预测运动矢量，
[0388]编码部，对表示上述所选出的预测运动矢量在上述第3预测矢量候选列表中的位置的信息进行编码。
[0389]〔项目14〕
[0390]—种动图像编码方法，该动图像编码方法按块单位进行运动补偿预测，其特征在于，包括:
[0391]预测运动矢量候选生成步骤，当编码对象块的块尺寸大于规定的阈值尺寸时，基于己编码图像中的块导出预测运动矢量候选，当上述编码对象块的块尺寸在上述规定的阈值尺寸以下时，不导出上述预测运动矢量候选。
[0392]〔项目15〕
[0393]—种动图像编码方法，该动图像编码方法按块单位进行运动补偿预测，其特征在于，包括:
[0394]预测运动矢量候选列表生成步骤，当编码对象块的块尺寸大于规定的阈值尺寸时，将基于已编码图像中的块而获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述编码对象块的块尺寸在上述规定的阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中，
[0395]预测运动矢量选择步骤，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量，以及
[0396]编码步骤，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0397]〔项目16〕
[0398]—种动图像编码方法，动图像编码方法按块单位进行运动补偿预测，其特征在于，包括:
[0399]空间预测运动矢量候选生成步骤，基于与编码对象块相邻的块来导出空间预测运动矢量候选，
[0400]时间预测运动矢量候选生成步骤，基于已编码图像中的块来导出时间预测运动矢量候选，
[0401]预测运动矢量候选列表生成步骤，当表示是否允许利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选来生成预测运动矢量候选列表，当上述允许利用信息表示不允许时，基于上述空间预测运动矢量候选来生成预测运动矢量候选列表，
[0402]预测运动矢量选择步骤，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量，以及
[0403]编码步骤，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0404]〔项目17〕
[0405]—种动图像编码程序，该动图像编码程序按块单位进行运动补偿预测，其特征在于，使计算机执行如下步骤:
[0406]预测运动矢量候选生成步骤，当编码对象块的块尺寸大于规定的阈值尺寸时，基于已编码图像中的块来导出预测运动矢量候选，当上述编码对象块的块尺寸在上述规定的阈值尺寸以下时，不导出上述预测运动矢量候选。
[0407]〔项目18〕
[0408]—种动图像编码程序，该动图像编码程序按块单位进行运动补偿预测，其特征在于，使计算机执行如下步骤:
[0409]预测运动矢量候选列表生成步骤，当编码对象块的块尺寸大于规定的阈值尺寸时，将基于已编码图像中的块而获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述编码对象块的块尺寸在上述规定的阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中，
[0410]预测运动矢量选择步骤，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量，以及
[0411]编码步骤，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0412]〔项目19〕
[0413]—种动图像编码程序，该动图像编码程序按块单位进行运动补偿预测，其特征在于，使计算机执行如下步骤:
[0414]空间预测运动矢量候选生成步骤，基于与编码对象块相邻的块导出空间预测运动矢量候选，
[0415]时间预测运动矢量候选生成步骤，基于已编码图像中的块导出时间预测运动矢量候选，
[0416]预测运动矢量候选列表生成步骤，当表示是否允许利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选，生成预测运动矢量候选列表，当上述允许利用信息表示不允许时，基于上述空间预测运动矢量候选生成预测运动矢量候选列表，
[0417]预测运动矢量选择步骤，从上述预测运动矢量候选列表中选出上述编码对象块的预测运动矢量，以及
[0418]编码步骤，对表示上述所选出的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行编码。
[0419]〔项目20〕
[0420]—种动图像解码装置，该动图像解码装置按块单位进行运动补偿预测，其特征在于，包括:
[0421 ]预测运动矢量候选生成部，当解码对象块的块尺寸大于规定的阈值尺寸时，基于已解码图像中的块导出预测运动矢量候选，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不导出上述预测运动矢量候选。
[0422]〔项目21〕
[0423]—种动图像解码装置，该动图像解码装置按块单位进行运动补偿预测，其特征在于，包括:
[0424]预测运动矢量候选列表生成部，当解码对象块的块尺寸大于规定的阈值尺寸时，将基于己解码图像中的块而获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中，
[0425]解码部，对表示应参照的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行解码，以及
[0426]预测运动矢量选择部，基于上述表示应参照的预测运动矢量在上述预测运动矢量候选列表中的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0427]〔项目22〕
[0428]如项目20或21所述的动图像解码装置，其特征在于，
[0429]上述已解码图像中的块是与上述解码对象块同一位置的块或处于上述同一位置的块周边的块。
[0430]〔项目23〕
[0431]如项目20至22的任意一项所述的动图像解码装置，其特征在于，
[0432]上述解码部将表示上述规定的阈值尺寸的信息解码，来获得上述规定的阈值尺寸。
[0433]〔项目24〕
[0434]如项目20至23的任意一项所述的动图像解码装置，其特征在于，
[0435]针对各规定区域，分别将上述已解码图像中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。
[0436]〔项目25〕
[0437]如项目24所述的动图像解码装置，其特征在于，
[0438]上述规定的阈值尺寸被设定得小于上述规定区域。
[0439]〔项目26〕
[0440]如项目20至25的任意一项所述的动图像解码装置，其特征在于，
[0441]进行控制使得在包含上述解码对象块的图像与上述已解码图像的时间差变长时，上述规定的阈值尺寸变大。
[0442]〔项目27〕
[0443]—种动图像解码装置，该动图像解码装置按块单位进行运动补偿预测，其特征在于，包括:
[0444 ]解码部，对表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息进行解码，
[0445]空间预测运动矢量候选生成部，基于与解码对象块相邻的块导出空间预测运动矢量候选，
[0446]时间预测运动矢量候选生成部，基于已解码图像中的块导出时间预测运动矢量候选，
[0447]预测运动矢量候选列表生成部，当表示是否允许利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选来生成预测运动矢量候选列表，当上述允许利用信息表示不允许时，基于上述空间预测运动矢量候选来生成预测运动矢量候选列表，
[0448]预测运动矢量选择部，基于上述表示预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0449]〔项目28〕
[0450]如项目27所述的动图像解码装置，其特征在于，
[0451]上述己解码图像中的块是与上述解码对象块同一位置的块或处于上述同一位置的块周边的块。
[0452]〔项目29〕
[0453]如项目27或28所述的动图像解码装置，其特征在于，
[0454]上述解码部对上述允许利用信息进行解码。
[0455]〔项目30〕
[0456]如项目27至29的任意一项所述的动图像解码装置，其特征在于，
[0457]针对各规定区域，分别将上述已解码图像中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。
[0458]〔项目31〕
[0459]—种动图像解码装置，该动图像解码装置按多种块尺寸进行运动补偿预测，其特征在于，包括:
[0460]解码部，对表示应参照的预测运动矢量在预测矢量候选列表中的位置的信息进行解码，
[0461]第I预测矢量候选列表生成部，基于与解码对象块相邻的已解码的I个以上块的运动矢量，生成包含第I预测运动矢量的候选的第I预测矢量候选列表，
[0462]第2预测矢量候选列表生成部，基于已解码图像中的、与上述解码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量的候选的第2预测矢量候选列表，
[0463]结合判定部，根据上述解码对象块的块尺寸与规定的阈值尺寸的比较结果，来判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表，
[0464]第3预测矢量候选列表生成部，当上述解码对象块的块尺寸小于上述规定的阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表，以及
[0465]预测矢量选择部，基于上述表示应参照的预测运动矢量的位置的信息，从上述第3预测矢量候选列表中选出上述解码对象块的预测运动矢量。
[0466]〔项目32〕
[0467]—种动图像解码装置，该动图像解码装置按多种块尺寸进行运动补偿预测，其特征在于，包括:
[0468]解码部，对表示应参照的预测运动矢量在预测矢量候选列表中的位置的信息进行解码，
[0469]第I运动矢量存储部，将已解码的块的运动矢量保存在按最小块尺寸单位划分出的存储器区域中，来进行管理，
[0470]第I预测矢量候选列表生成部，参照上述第I运动矢量存储部，基于与解码对象块相邻的、已解码的I个以上的块的运动矢量，生成包含第I预测运动矢量的候选的第I预测矢量候选列表，
[0471]第2运动矢量存储部，以规定的压缩尺寸汇总已解码图像的最小块尺寸单位的运动矢量，将之置换为I个代表运动矢量，并保存在按压缩尺寸单位划分出的存储器区域中，来进行管理，
[0472]第2预测矢量候选列表生成部，参照上述第2运动矢量存储部，基于已解码图像中的、与上述解码对象块同一位置的块及相邻于上述同一位置的块的I个以上的块的运动矢量，生成包含第2预测运动矢量的候选的第2预测矢量候选列表，
[0473]结合判定部，根据上述解码对象块的块尺寸与规定的阈值尺寸的比较结果，来判定是否生成结合了上述第I预测矢量候选列表和上述第2预测矢量候选列表的第3预测矢量候选列表，
[0474]第3预测矢量候选列表生成部，当上述解码对象块的块尺寸小于上述规定的阈值尺寸时，不结合上述第2预测矢量候选列表地、基于上述第I预测矢量候选列表生成上述第3预测矢量候选列表，以及
[0475]预测矢量选择部，基于上述表示应参照的预测运动矢量的位置的信息，从上述第3预测矢量候选列表中选出上述解码对象块的预测运动矢量。
[0476]〔项目33〕
[0477]—种动图像解码方法，该动图像解码方法按块单位进行运动补偿预测，其特征在于，包括:
[0478]预测运动矢量候选生成步骤，当解码对象块的块尺寸大于规定的阈值尺寸时，基于己解码图像中的块导出预测运动矢量候选，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不导出上述预测运动矢量候选。
[0479]〔项目34〕
[0480]—种动图像解码方法，该动图像解码方法按块单位进行运动补偿预测，其特征在于，包括:
[0481]预测运动矢量候选列表生成步骤，当解码对象块的块尺寸大于规定的阈值尺寸时，将基于已解码图像中的块而获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中，
[0482]解码步骤，对表示应参照的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行解码，以及
[0483]预测运动矢量选择步骤，基于上述表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0484]〔项目35〕
[0485]—种动图像解码方法，该动图像解码方法按块单位进行运动补偿预测，其特征在于，包括:
[0486]解码步骤，对表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息进行解码，
[0487]空间预测运动矢量候选生成步骤，基于与解码对象块相邻的块导出空间预测运动矢量候选，
[0488]时间预测运动矢量候选生成步骤，基于已解码图像中的块导出时间预测运动矢量候选，
[0489]预测运动矢量候选列表生成步骤，当表示是否允许利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选来生成预测运动矢量候选列表，当上述允许利用信息表示不允许时，基于上述空间预测运动矢量候选来生成预测运动矢量候选列表，以及
[0490]预测运动矢量选择步骤，基于上述表示预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块。
[0491]〔项目36〕
[0492]—种动图像解码程序，该动图像解码程序按块单位进行运动补偿预测，其特征在于，使计算机执行如下步骤:
[0493]预测运动矢量候选生成步骤，当解码对象块的块尺寸大于规定的阈值尺寸时，基于已解码图像中的块导出预测运动矢量候选，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不导出上述预测运动矢量候选。
[0494]〔项目37〕
[0495]—种动图像解码程序，该动图像解码程序按块单位进行运动补偿预测，其特征在于，使计算机执行如下步骤:
[0496]预测运动矢量候选列表生成步骤，当解码对象块的块尺寸大于规定的阈值尺寸时，将基于已解码图像中的块而获得的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不将上述预测运动矢量候选包含到上述预测运动矢量候选列表中，
[0497]解码步骤，对表示应参照的预测运动矢量在上述预测运动矢量候选列表中的位置的信息进行解码，以及
[0498]预测运动矢量选择步骤，基于上述表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0499]〔项目38〕
[0500]一种动图像解码程序，该动图像解码程序按块单位进行运动补偿预测，其特征在于，使计算机执行如下步骤:
[0501 ] 解码步骤，对表示应参照的预测运动矢量在预测运动矢量候选列表中的位置的信息进行解码，
[0502]空间预测运动矢量候选生成步骤，基于与解码对象块相邻的块导出空间预测运动矢量候选，
[0503]时间预测运动矢量候选生成步骤，基于已解码图像中的块导出时间预测运动矢量候选，
[0504]预测运动矢量候选列表生成步骤，当表示是否允许利用时间预测运动矢量的允许利用信息表示允许时，基于上述空间预测运动矢量候选和上述时间预测运动矢量候选来生成预测运动矢量候选列表，当上述允许利用信息表示不允许时，基于上述空间预测运动矢量候选来生成预测运动矢量候选列表，以及
[0505]预测运动矢量选择步骤，基于上述表示预测运动矢量的位置的信息，从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量。
[0506]〔标号说明〕
[0507]100动图像编码装置、101预测块图像取得部、102减法部、103预测误差编码部、104码序列生成部、105预测误差解码部、106运动补偿部、107加法部、108运动矢量检测部、109运动信息生成部、110帧存储器、111第I运动信息存储器、112第2运动信息存储器、120预测矢量候选列表生成部、121预测矢量选择部、122减法部、130第I预测矢量候选列表生成部、131结合判定部、132第2预测矢量候选列表生成部、133预测矢量候选列表决定部、200动图像解码装置、201码序列解析部、202预测误差解码部、203加法部、204运动信息再现部、205运动补偿部、206帧存储器、207第I运动信息存储器、208第2运动信息存储器、220预测矢量候选列表生成部、221预测矢量决定部、222加法部、300动图像编码装置、301运动信息压缩部、302第2运动信息存储器、303运动信息解压缩部、400动图像解码装置、401运动信息压缩部、402第2运动信息存储器、403运动信息解压缩部。
[0508]〔工业可利用性〕
[0509]本发明能适用于使用了运动补偿预测的动图像编码技术。
【主权项】
1.一种动图像解码装置，该动图像解码装置按块单位进行运动补偿预测，其特征在于，包括: 预测运动矢量候选生成部，当解码对象块的块尺寸大于规定的阈值尺寸时，将从已解码图像中的块导出的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述预测运动矢量候选列表； 运动信息候选生成部，当上述解码对象块的块尺寸大于上述规定的阈值尺寸时，将从已解码图像中的块导出的运动信息候选包含到运动信息候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述运动信息候选列表； 解码部，解码合并标志，上述合并标志示出对合并索引(Merge Index)或预测运动矢量索引的哪一个进行解码，当上述合并标志是对上述合并索引进行解码时，对表示上述运动信息候选列表中的位置的上述合并索引进行解码，当上述合并标志是对上述预测运动矢量索引进行解码时，对表示上述预测运动矢量候选列表中的位置的上述预测运动矢量索引进行解码； 运动信息选择部，当上述合并标志是对上述合并索引进行解码时，基于由上述合并索引表示的位置从上述运动信息候选列表中选出上述解码对象块的运动信息； 预测运动矢量选择部，当上述合并标志是对上述预测运动矢量索引进行解码时，基于由上述预测运动矢量索引表示的位置从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量， 针对各规定区域，分别将上述已解码图像中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。2.一种动图像解码方法，该动图像解码方法按块单位进行运动补偿预测，其特征在于，包括: 预测运动矢量候选生成步骤，当解码对象块的块尺寸大于规定的阈值尺寸时，将从已解码图像中的块导出的预测运动矢量候选包含到预测运动矢量候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述预测运动矢量候选列表； 运动信息候选生成步骤，当上述解码对象块的块尺寸大于上述规定的阈值尺寸时，将从已解码图像中的块导出的运动信息候选包含到运动信息候选列表中，当上述解码对象块的块尺寸在上述规定的阈值尺寸以下时，不改变上述运动信息候选列表； 解码步骤，解码合并标志，上述合并标志示出对合并索引(Merge Index)或预测运动矢量索引的哪一个进行解码，当上述合并标志是对上述合并索引进行解码时，对表示上述运动信息候选列表中的位置的上述合并索引进行解码，当上述合并标志是对上述预测运动矢量索引进行解码时，对表示上述预测运动矢量候选列表中的位置的上述预测运动矢量索引进行解码； 运动信息选择步骤，当上述合并标志是对上述合并索引进行解码时，基于由上述合并索引表示的位置从上述运动信息候选列表中选出上述解码对象块的运动信息； 预测运动矢量选择步骤，当上述合并标志是对上述预测运动矢量索引进行解码时，基于由上述预测运动矢量索引表示的位置从上述预测运动矢量候选列表中选出上述解码对象块的预测运动矢量， 针对各规定区域，分别将上述已解码图像中的块的运动矢量设定为规定区域内的任意I个块的运动矢量。
【文档编号】H04N19/61GK105915901SQ201610524480
【公开日】2016年8月31日
【申请日】2012年3月5日
【发明人】竹原英树, 上田基晴, 西谷胜义, 中村博哉, 坂爪智, 荒荫和美, 福岛茂, 熊仓徹
【申请人】Jvc建伍株式会社