动图像解码装置以及动图像解码方法与流程

文档序号:11204110阅读:603来源:国知局
动图像解码装置以及动图像解码方法与流程
动图像解码装置以及动图像解码方法本申请是基于申请号为201380005006.1、申请日为2013年01月18日、申请人为JVC建伍株式会社、发明名称为“动图像编码装置、动图像编码方法及动图像编码程序,以及动图像解码装置、动图像解码方法及动图像解码程序”的发明提出的分案申请。技术领域本发明涉及采用了运动补偿预测的动图像编码技术,特别涉及对在运动补偿预测中使用的运动信息进行编码的动图像编码装置、动图像编码方法及动图像编码程序,以及动图像解码装置、动图像解码方法及动图像解码程序。

背景技术:
在一般的动图像压缩编码中,使用运动补偿预测。运动补偿预测是将对象图像分割成较小的块,并将已解码的图像作为参照图像,基于运动矢量所表示的运动量,生成从对象图像的处理对象块移动到参照图像的参照块的位置的信号作为预测信号的技术。运动补偿预测有利用1条运动矢量进行单向预测的方式,和利用2条运动矢量进行双向预测的方式。关于运动矢量,通过将与处理对象块相邻的已编码的块的运动矢量作为预测运动矢量(也简称作“预测矢量”),求取处理对象块的运动矢量与预测矢量的差分,并将差分矢量作为编码矢量进行传送,来提高压缩效率。在MPEG-4AVC/H.264(以下称作AVC)那样的动图像压缩编码中,通过使进行运动补偿预测的块尺寸更小且多样,能进行精度高的运动补偿预测。另一方面,存在因使块尺寸变小,编码矢量的码量增大的问题。因此,在AVC中,着眼于时间方向的运动的连续性,采用了如下的时间直接运动补偿预测:将与处理对象块相同位置的、参照图像上的块所具有的运动矢量缩放,来作为处理对象块的运动矢量使用,由此,不传送编码矢量就实现了运动补偿预测。此外,在专利文献1中,着眼于空间方向的运动的连续性,公开了将与处理对象块相邻的已处理的块所具有的运动矢量作为处理对象块的运动矢量来使用,不传送编码矢量就实现运动补偿预测的方法。在先技术文献专利文献专利文献1:日本特开平10-276439号公报。

技术实现要素:
然而,在AVC及专利文献1所记载的方法中,若预测矢量为1个,则仅能得到1个直接模式(directmode),故有时因图像而出现预测运动矢量的预测精度降低、编码效率变差的问题。在这样的状况下,本发明人认识到在使用运动补偿预测的动图像编码方式中,需要进一步压缩编码信息、削减整体的码量。本发明是鉴于这样的状况而研发的,其目的在于提供一种通过在不传送运动信息时设置多个运动信息的候选,来谋求削减运动信息的码量、提高编码效率的动图像编码及动图像解码技术。为解决上述课题,本发明一个方案的动图像编码装置是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像编码装置,包括:空间结合运动信息候选导出部(160),从位于编码对象的上述预测块的近邻的已编码的多个上述预测块的运动信息导出空间结合运动信息候选;时间结合运动信息候选导出部(161),从位于与上述编码对象的上述预测块所在的图片不同的已编码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成部(162),利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为结合运动信息候选的列表的结合运动信息候选列表;结合运动信息候选补充部(165),在上述参照索引表示可利用的参照图片时,生成包含该参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中,在上述参照索引没表示可利用的参照图片时,生成包含预定的参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中;结合运动信息选择部(141),从被追加了上述新的结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述编码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选;编码部(104),对用于确定上述所选择的1个结合运动信息候选的确定索引进行编码。本发明的另一方案也是一种动图像编码装置。该装置是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像编码装置,包括:空间结合运动信息候选导出部(160),从位于编码对象的上述预测块的近邻的已编码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出部(161),从位于与上述编码对象的上述预测块所在的图片不同的已编码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成部(162),利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为运动信息候选的列表的结合运动信息候选列表;第1结合运动信息候选补充部(164),从上述结合运动信息候选列表中,将用于第1预测的结合运动信息候选的上述运动矢量及上述参照索引、与用于第2预测的结合运动信息候选的上述运动矢量及上述参照索引组合,导出上述第1预测的预测信号与上述第2预测的预测信号不会变得相同的第1补充结合运动信息候选,追加到上述结合运动信息候选列表中;第2结合运动信息候选补充部(165),导出具有上述第1预测的预测信号与上述第2预测的预测信号可能变得相同的上述运动矢量及上述参照索引的第2补充结合运动信息候选,追加到上述结合运动信息候选列表中;结合运动信息选择部(141),从被追加了上述第1补充结合运动信息候选及上述第2补充结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述编码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选;编码部(104),对用于确定上述所选择的1个结合运动信息候选的确定索引进行编码。本发明的再一种方案也是一种动图像编码装置。该装置是一种将图片分割成多个预测块进行运动补偿预测的动图像编码装置,包括:空间结合运动信息候选导出部(160),从与编码对象的预测块相邻的已编码的多个相邻块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出部(161),从与上述编码对象的预测块所在的编码对象图片不同的已编码图片上的块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成部(162),利用上述空间结合运动信息候选和上述时间结合运动信息候选生成结合运动信息候选列表;结合运动信息候选补充部(165),生成使运动矢量值在第1预测和第2预测中相同、并使第1预测或第2预测的参照索引为固定值的双向预测的结合运动信息候选,追加到上述结合运动信息候选列表中;结合运动信息选择部(141),从上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述编码对象的预测块的运动信息;编码部(104),对用于在上述结合运动信息候选列表中确定上述所选择的结合运动信息候选的信息进行编码。本发明的另一个方案是一种动图像编码方法。该方法是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像编码方法,包括:空间结合运动信息候选导出步骤,从位于编码对象的上述预测块的近邻的已编码的多个上述预测块的运动信息导出空间结合运动信息候选;时间结合运动信息候选导出步骤,从位于与上述编码对象的上述预测块所在的图片不同的已编码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成步骤,利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为结合运动信息候选的列表的结合运动信息候选列表;结合运动信息候选补充步骤,在上述参照索引表示可利用的参照图片时,生成包含该参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中,在上述参照索引没表示可利用的参照图片时,生成包含预定的参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中;结合运动信息选择步骤,从被追加了上述新的结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述编码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选;以及编码步骤,对用于确定上述所选择的1个结合运动信息候选的确定索引进行编码。本发明的另一个方案也是一种动图像编码方法。该方法是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像编码方法,包括:空间结合运动信息候选导出步骤,从位于编码对象的上述预测块的近邻的已编码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出步骤,从位于与上述编码对象的上述预测块所在的图片不同的已编码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成步骤,利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为运动信息候选的列表的结合运动信息候选列表;第1结合运动信息候选补充步骤,从上述结合运动信息候选列表中,将用于第1预测的结合运动信息候选的上述运动矢量及上述参照索引、与用于第2预测的结合运动信息候选的上述运动矢量及上述参照索引组合,导出上述第1预测的预测信号与上述第2预测的预测信号不会变得相同的第1补充结合运动信息候选,追加到上述结合运动信息候选列表中;第2结合运动信息候选补充步骤,导出具有上述第1预测的预测信号与上述第2预测的预测信号可能变得相同的上述运动矢量及上述参照索引的第2补充结合运动信息候选,追加到上述结合运动信息候选列表中;结合运动信息选择步骤,从被追加了上述第1补充结合运动信息候选及上述第2补充结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述编码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选;以及编码步骤,对用于确定上述所选择的1个结合运动信息候选的确定索引进行编码。本发明一个方案的动图像解码装置是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像解码装置,包括:解码部(201),从码串中解码出用于确定要对解码对象的上述预测块使用的结合运动信息候选的确定索引;空间结合运动信息候选导出部(160),从位于上述解码对象的上述预测块的近邻的已解码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出部(161),从位于与上述解码对象的上述预测块所在的图片不同的已解码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成部(162),利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为结合运动信息候选的列表的结合运动信息候选列表;结合运动信息候选补充部(165),在上述参照索引表示可利用的参照图片时,生成包含该参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中,在上述参照索引没表示可利用的参照图片时,生成包含预定的参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中;结合运动信息选择部(231),基于解码出的上述确定索引,从被追加了上述新的结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述解码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选。本发明的另一方案也是一种动图像解码装置。该装置是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像解码装置,包括:解码部(201),从码串中解码出用于确定要对解码对象的上述预测块使用的结合运动信息候选的确定索引;空间结合运动信息候选导出部(160),从位于上述解码对象的上述预测块的近邻的已解码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出部(161),从位于与上述解码对象的上述预测块所在的图片不同的已解码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成部(162),利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为运动信息候选的列表的结合运动信息候选列表;第1结合运动信息候选补充部(164),从上述结合运动信息候选列表中,将用于第1预测的结合运动信息候选的上述运动矢量及上述参照索引、与用于第2预测的结合运动信息候选的上述运动矢量及上述参照索引组合,导出上述第1预测的预测信号与上述第2预测的预测信号不会变得相同的第1补充结合运动信息候选,追加到上述结合运动信息候选列表中;第2结合运动信息候选补充部(165),导出具有上述第1预测的预测信号与上述第2预测的预测信号可能变得相同的上述运动矢量及上述参照索引的第2补充结合运动信息候选,追加到上述结合运动信息候选列表中;结合运动信息选择部(231),基于解码出的上述确定索引,从被追加了上述第1补充结合运动信息候选及上述第2补充结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述解码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选。本发明的再一方案是一种动图像解码装置。该装置是一种将图片分割成多个预测块进行运动补偿预测的动图像解码装置,包括:解码部(201),从被编码有用于确定要在解码对象预测块中使用的结合运动信息候选的索引的码串中,解码出上述索引;空间结合运动信息候选导出部(160),从与上述解码对象预测块相邻的已解码的多个相邻块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出部(161),从与上述解码对象预测块所在的解码对象图片不同的已解码图片上的块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成部(162),利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成结合运动信息候选列表;结合运动信息候选补充部(165),生成使运动矢量值在第1预测和第2预测中相同、并使第1预测或第2预测的参照索引为固定值的双向预测的结合运动信息候选,追加到上述结合运动信息候选列表中;结合运动信息选择部(231),基于解码出的上述索引,从上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述解码对象预测块的运动信息。本发明的再一方案也是一种动图像解码装置。该装置是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像解码装置,包括:解码部,从码串中解码确定索引,上述确定索引用于确定要对解码对象的上述预测块使用的结合运动信息候选;空间结合运动信息候选导出部,从位于上述解码对象的上述预测块的近邻的已解码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出部,从位于与上述解码对象的上述预测块所在的图片不同的已解码的图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成部,利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为结合运动信息候选的列表的结合运动信息候选列表;结合运动信息候选补充部,在上述参照索引表示可利用的参照图片时,生成包含该参照索引以及具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,并追加到上述结合运动信息候选列表中,在上述参照索引没表示可利用的参照图片时,生成包含预定的参照索引以及具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,并追加到上述结合运动信息候选列表中;以及结合运动信息选择部,基于被解码的上述确定索引,从被追加了上述新的结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述解码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选,上述预定的参照索引是0。本发明的再一个方案是一种动图像解码方法。该方法是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像解码方法,包括:解码步骤,从码串中解码出用于确定要对解码对象的上述预测块使用的结合运动信息候选的确定索引;空间结合运动信息候选导出步骤,从位于上述解码对象的上述预测块的近邻的已解码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出步骤,从位于与上述解码对象的上述预测块所在的图片不同的已解码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成步骤,利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为结合运动信息候选的列表的结合运动信息候选列表;结合运动信息候选补充步骤,在上述参照索引表示可利用的参照图片时,生成包含该参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中,在上述参照索引没表示可利用的参照图片时,生成包含预定的参照索引和具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,追加到结合运动信息候选列表中;结合运动信息选择步骤,基于解码出的上述确定索引,从被追加了上述新的结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述解码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选。本发明的再一个方案也是一种动图像解码方法。该方法是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像解码方法,包括:解码步骤,从码串中解码出用于确定要对解码对象的上述预测块使用的结合运动信息候选的确定索引;空间结合运动信息候选导出步骤,从位于上述解码对象的上述预测块的近邻的已解码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出步骤,从位于与上述解码对象的上述预测块所在的图片不同的已解码图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成步骤,利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为运动信息候选的列表的结合运动信息候选列表;第1结合运动信息候选补充步骤,从上述结合运动信息候选列表中,将用于第1预测的结合运动信息候选的上述运动矢量及上述参照索引、与用于第2预测的结合运动信息候选的上述运动矢量及上述参照索引组合,导出上述第1预测的预测信号与上述第2预测的预测信号不会变得相同的第1补充结合运动信息候选,追加到上述结合运动信息候选列表中;第2结合运动信息候选补充步骤,导出具有上述第1预测的预测信号与上述第2预测的预测信号可能变得相同的上述运动矢量及上述参照索引的第2补充结合运动信息候选,追加到上述结合运动信息候选列表中;结合运动信息选择步骤,基于解码出的上述确定索引,从被追加了上述第1补充结合运动信息候选及上述第2补充结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述解码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选。本发明的再一个方案也是一种动图像解码方法。该方法是一种导出按预测块单位包含参照索引和运动矢量的运动信息的动图像解码方法,包括:解码步骤,从码串中解码确定索引,上述确定索引用于确定要对解码对象的上述预测块使用的结合运动信息候选;空间结合运动信息候选导出步骤,从位于上述解码对象的上述预测块的近邻的已解码的多个上述预测块的运动信息,导出空间结合运动信息候选;时间结合运动信息候选导出步骤,从位于与上述解码对象的上述预测块所在的图片不同的已解码的图片内的上述预测块的运动信息,导出时间结合运动信息候选;结合运动信息候选列表生成步骤,利用上述空间结合运动信息候选和上述时间结合运动信息候选,生成作为结合运动信息候选的列表的结合运动信息候选列表;结合运动信息候选补充步骤,在上述参照索引表示可利用的参照图片时,生成包含该参照索引以及具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,并追加到上述结合运动信息候选列表中,在上述参照索引没表示可利用的参照图片时,生成包含预定的参照索引以及具有预先设定的大小和方向的运动矢量的新的结合运动信息候选,并追加到上述结合运动信息候选列表中;以及结合运动信息选择步骤,基于被解码的上述确定索引,从被追加了上述新的结合运动信息候选的上述结合运动信息候选列表中选择1个结合运动信息候选,作为上述解码对象的上述预测块的上述运动信息,导出上述所选择的1个结合运动信息候选,上述预定的参照索引是0。此外,将以上构成要素的任意组合、本发明的表现形式在方法、装置、系统、记录介质、计算机程序等之间变换后的实施方式,作为本发明的方案也是有效的。根据本发明,通过在不传送运动信息时设置多个运动信息的候选,来实现运动信息的码量的削减。附图说明图1的(a)、(b)是说明编码块的图。图2的(a)~(d)是说明预测块尺寸类型的图。图3是说明预测块尺寸类型的图。图4是说明预测编码模式的图。图5是说明混合索引与码串的关系的图。图6是说明预测块的句法的一例的图。图7是表示实施方式1的动图像编码装置的构成的图。图8是表示参照图片列表L0的生成的动作的流程图。图9是表示参照图片列表L1的生成的动作的流程图。图10是表示图7的运动信息生成部的构成的图。图11是说明图10的混合模式决定部的构成的图。图12是说明混合模式决定部的动作的图。图13是说明图11的结合运动信息候选列表生成部的构成的图。图14是说明图11的结合运动信息候选列表生成部的动作的流程图。图15是说明预测块的空间候选块集的图。图16是说明图13的空间结合运动信息候选导出部的动作的流程图。图17是说明图13的时间结合运动信息候选导出部的动作的流程图。图18是说明图13的第1结合运动信息候选补充部的动作的流程图。图19是说明组合检查次数与结合运动信息候选M、结合运动信息候选N的关系的图。图20是说明图13的第2结合运动信息候选补充部的动作的流程图。图21是说明处理对象图片与参照图片的关系的图。图22是说明参照图片列表的一例的图。图23是说明实施方式1的第2补充结合运动信息候选的参照索引与POC的关系的一例的图。图24是表示预测矢量模式决定部的构成的图。图25是表示预测矢量模式决定部的动作的流程图。图26是说明预测矢量候选列表生成部的构成的图。图27是说明预测矢量候选列表生成部的动作的流程图。图28是说明空间预测矢量候选导出部的动作的流程图。图29是说明空间缩放预测矢量候选导出部的动作的流程图。图30是说明时间预测矢量候选导出部的动作的流程图。图31是表示实施方式1的动图像解码装置的构成的图。图32是表示图31的运动信息再现部的构成的图。图33是表示图32的结合运动信息再现部的构成的图。图34是说明结合运动信息再现部的动作的图。图35是说明运动矢量再现部的构成的图。图36是说明运动矢量再现部的动作的图。图37是说明实施方式2的第2结合运动信息候选补充部的动作的流程图。图38是说明实施方式2的第2结合运动信息候选的参照索引与POC的关系的一例的图。图39是说明实施方式3的第2结合运动信息候选补充部的动作的流程图。图40是说明实施方式3的第2结合运动信息候选的参照索引与POC的关系的一例的图。具体实施方式首先,说明本发明实施方式的前提技术。目前,遵循MPEG(MovingPictureExpertsGroup:运动图像专家组)等编码方式的装置和系统正在普及。在这样的编码方式中,将时间轴上连续的多个图像作为数字信号的信息来处理。此时,以效率高的信息广播、传送或存储等为目的,将图像分割成多个块,通过利用了时间方向的冗余性的运动补偿预测,以及利用了空间方向的冗余性,利用离散余弦变换等正交变换进行压缩编码。2003年,通过国际标准化机构(ISO)和国际电工委员会(IEC)的联合技术信息委员会(ISO/IEC)、及国际电信联盟远程通信标准化组织(ITU-T)的共同合作,称作AVC的编码方式(ISO/IEC中被赋予14496-10标准编号,ITU-T中被赋予H.264的标准编号。)被制定为国际标准。在MPEG-4AVC中,基本上以处理对象块的多个相邻块的运动矢量的中央值作为预测矢量。在预测块尺寸并非正方形时,若处理对象块的特定相邻块的参照索引与处理对象块的参照索引一致,则将该特定相邻块的运动矢量作为预测矢量。目前,通过国际标准化机构(ISO)和国际电工委员会(IEC)的联合技术信息委员会(ISO/IEC)、及国际电信联盟远程通信标准化组织(ITU-T)的共同合作,正在研究被称作HEVC的编码方式的标准化。在HEVC的标准化中,正在研究将处理对象块的多个相邻块和已解码的其它图像的块作为候选块,从由这些候选块组构成的候选块集中选择1个候选块,将所选择的候选块的信息编码和解码,并将所选择的候选块的运动信息作为处理对象块的运动信息来使用的混合模式。此外,还在研究将处理对象块的多个相邻块和已解码的其它图像的块作为候选块,从由这些候选块组构成的候选块集中选择1个候选块,将所选择的候选块的信息编码和解码,并将所选择的候选块的运动矢量作为处理对象块的预测矢量来使用的预测矢量模式。[实施方式1](编码块)在本实施方式中,所输入的图像信号被分割成最大编码块单位,将分割后的最大编码块按光栅扫描顺序处理。编码块呈阶层构造,通过考虑编码效率等地依次进行4分割,能使之成为更小的编码块。被4分割后的编码块按Z字形扫描顺序编码。将不能进一步减小的编码块称作最小编码块。编码块为编码的单位,最大编码块也在分割次数为0时成为编码块。在本实施方式中,将最大编码块定为64像素×64像素,将最小编码块定为8像素×8像素。图1的(a)、(b)是用于说明编码块的图。在图1的(a)的例子中,编码块被分割成10个。CU0、CU1及CU9是32像素×32像素的编码块,CU2、CU3及CU8是16像素×16像素的编码块,CU4、CU5、CU6及CU7是8像素×8像素的编码块。在图1的(b)的例子中,编码块被分割成1个。(预测块)在本实施方式中,编码块被进一步分割成预测块(也称分区)。编码块根据预测块尺寸类型(也称“分割类型”或分区类型)而被分割成1个以上的预测块。图2的(a)~(d)是用于说明预测块尺寸类型的图。图2的(a)表示不分割编码块的2N×2N,图2的(b)表示水平2分割的2N×N,图2的(c)表示垂直2分割的N×2N,图2的(d)表示水平和垂直4分割的N×N。2N×2N由1个预测块0构成,2N×N和N×2N由预测块0、预测块1的2个块构成,N×N由预测块0、预测块1、预测块2、预测块3的4个块构成。按预测块0、预测块1、预测块2、预测块3的顺序进行编码。图3是用于说明基于编码块的分割次数和预测块尺寸类型的预测块尺寸的图。本实施方式中的预测块尺寸包括从CU分割次数为0、预测块尺寸类型为2N×2N的64像素×64像素,到CU分割次数为3、预测块尺寸类型为N×N的4像素×4像素的13种预测块尺寸。例如,也可以将编码块非对称地水平或垂直2分割。在本实施方式中,将最大编码块定为64像素×64像素,最小编码块定为8像素×8像素,但不限定于该组合。此外,虽然将预测块的分割图案假设为图2的(a)~(d)的情况,但只要是1以上分割的组合即可,并不限定于此。(图片和条带)图片(picture)和条带(slice)是AVC等中利用的一般的概念,故在此省略说明。此外,I图片、P图片、B图片、I条带、P条带、B条带也是一般的概念,故在此省略说明。以下,图像也可以换称作图片。(预测编码模式)在本实施方式中,能按每个预测块切换运动补偿预测和编码矢量数。在此,针对使运动补偿预测与编码矢量数建立了关联的预测编码模式的一例,利用图4简单进行说明。图4是用于说明预测编码模式的图。图4所示的预测编码模式中,有运动补偿预测的预测方向为单向预测(L0预测)、编码矢量数为1的PredL0,运动补偿预测的预测方向为单向预测(L1预测)、编码矢量数为1的PredL1,运动补偿预测的预测方向为双向预测(BI预测)、编码矢量数为2的PredBI,以及运动补偿预测的预测方向为单向预测(L0预测/L1预测)或双向预测(BI预测)、编码矢量数为0的混合模式(MERGE)。另外,还有不实施运动补偿预测的预测编码模式,即帧内模式(Intra)。在此,PredL0、PredL1、及PredBI成为预测矢量模式。在混合模式下,预测方向会成为L0预测/L1预测/BI预测的任一者,这是因为混合模式的预测方向是直接继承从候选块集中选择的候选块的预测方向、或从已解码的信息导出。此外,在混合模式下编码矢量不被编码。这是因为,混合模式的编码矢量是直接继承从候选块集中选择的候选块的运动矢量,或根据预先规定的规则被导出的。(参照索引)在本实施方式中,为提高运动补偿预测的精度,在运动补偿预测中能从多个参照图像中选择最佳的参照图像。因此,将在运动补偿预测中使用过的参照图像作为参照图像索引,同编码矢量一起编码。运动补偿预测利用的参照图像索引为0以上的数值。参照索引有参照索引L0(也称L0预测的参照索引)和参照索引L1(也称L1预测的参照索引)。若运动补偿预测为单向预测,则参照索引被使用参照索引L0或参照索引L1的任一者,若运动补偿预测为双向预测,则参照索引L0和参照索引L1这两个参照索引被使用(图4)。作为参照索引的码串,采用后述的TruncatedUnary码串。在混合模式下,参照索引不被编码。这是因为,混合模式的参照索引是直接继承从候选块集中选择的候选块的参照索引,或根据预先规定的规则被导出。(参照图片列表)在本实施方式中,预先将在运动补偿预测中可使用的1个以上参照图像登录到参照图片列表内,并通过用参照索引表示参照图片列表内所登录的参照图像来确定参照图像,在运动补偿预测中使用。参照图片列表中,有参照图片列表L0(也称L0预测的参照图片列表)和参照图片列表L1(也称L1预测的参照图片列表)。在运动补偿预测为单向预测时,使用利用了参照图片列表L0中的参照图像的L0预测、或利用了参照图片列表L1中的参照图像的L1预测的一者。在双向预测时,使用利用了参照图片列表L0和参照图片列表L1这两者的BI预测。参照索引L0表示参照图片列表L0的参照图像,参照索引L1表示参照图片列表L1的参照图像。(混合索引)在本实施方式中,在混合模式时,将处理对象图像内的多个相邻块、和已编码的其它图像内的与处理对象预测块处于相同位置的相同位置预测块内及相同位置预测块周边的块作为候选块集,从候选块集中选择具有最佳的预测编码模式、运动矢量、及参照索引的候选块,对用于表示所选择的候选块的混合索引进行编码和解码。仅在混合模式时,混合索引被使用1个(图4)。在此,混合索引的最大个数(也称混合候选最大数)由条带头指定。关于混合候选最大数,将在后文说明。混合候选最大数为5时的混合索引是0至4的整数。以后,将成为混合索引的对象的候选块的运动信息称作结合运动信息候选,将结合运动信息候选的集合体称作结合运动信息候选列表。以后,所谓运动信息,包括预测方向、运动矢量、及参照索引。接下来,说明混合索引与码串的关系。图5是用于说明混合候选最大数为5时的混合索引与码串的关系的图。作为混合索引的码串,采用TruncatedUnary码串。如混合索引为0时的码串为′0′、混合索引为1时的码串为′10′、混合索引为2时的码串为′110′、混合索引为3时的码串为′1110′、混合索引为4时的码串为′1111′这样进行设定,使得混合索引越小、码串就越短。因此,通过对选择率高的候选块分配较小的混合索引,能提高编码效率。在混合候选最大数为4的情况下,混合索引为0时的码串为′0′、混合索引为1时的码串为′10′、混合索引为2时的码串为′110′、混合索引为3时的码串为′111′。在混合候选最大数为3的情况下,混合索引为0时的码串为′0′、混合索引为1时的码串为′10′、混合索引为2时的码串为′11′。在混合候选最大数为2的情况下,混合索引为0时的码串为′0′、混合索引为1时的码串为′1′。混合候选最大数为1时,若混合索引为0,则不被编码到编码流中,在解码时,混合索引被默认地作为0来处理。接下来说明结合运动信息候选列表和混合索引的关系。混合索引0表示结合运动信息候选列表内的最初(第0个)的结合运动信息候选。以下,混合索引m表示结合运动信息候选列表内的第m个结合运动信息候选。在此,m为从0起(混合候选最大数-1)的整数。(预测矢量索引)在本实施方式中,为提高预测矢量的精度,将处理对象图像内的多个相邻块、和已编码的其它图像的与处理对象块相同位置的相同位置预测块内及相同位置预测块周边的块作为候选块集,从候选块集中选择作为预测矢量具有最佳的运动矢量的候选块,对用于表示所选择的候选块的预测矢量索引进行编码和解码。若运动补偿预测为单向预测,则预测矢量索引被使用1个,若运动补偿预测为双向预测,则2个预测矢量索引被使用(图4)。预测矢量索引的最大数(也称预测矢量候选最大数)为2个,预测矢量索引为0或1的整数。在此,将预测矢量候选最大数定为了2,但只要在2以上即可,并非限定于此。下面说明预测矢量索引与码串的关系。作为预测矢量索引的码串,采用TruncatedUnary码串。作为预测矢量索引的码串,预测矢量索引为0时的码串取′0′,预测矢量索引为1时的码串取′1′。以后,将成为预测矢量索引的对象的候选块的运动矢量称作预测矢量候选,将预测矢量候选的集合体称作预测矢量候选列表。预测矢量索引0表示预测矢量候选列表内的最初(第0个)的预测矢量候选。以下,预测矢量索引m表示预测矢量候选列表内的第m个预测矢量候选。在此,m是从0(预测矢量候选最大数-1)起的整数。(POC)在本发明的实施方式中,采用POC(PictureOrderCount:图像序列号)作为图像的时间信息(距离信息)。POC为表示图像的显示顺序的计数值,与在AVC中的定义相同。在此,图像的显示顺序每增加1,POC也增加1。因此,根据图像间的POC差,能得到图像间的时间差(距离)。(句法)说明本实施方式的预测块的句法的一例。图6是说明本实施方式的句法的图。图6表示PPS(PictureParameterSet:图像参数集)、条带头(SliceHeader)、编码树(CodingTree)、编码块(CodingUnit)、及预测块(PredictionUnit)的句法构成的一例。PPS是定义用于决定图片的特性的参数组的参数集。PPS中被设置有在该图片中所能利用的L0预测的参照索引的预定最大值(num_ref_idx_l0_default_active_minus1)、L1预测的参照索引的预定最大值(num_ref_idx_l1_default_active_minus1)、以及时间候选利用许可标志(enable_temporal_mvp_flag)。时间候选利用许可标志是取0或1的值的1比特的码,是用于限制ColPic上的运动矢量和参照索引的利用的标准。若时间候选利用许可标志为1,则可利用ColPic上的运动矢量和参照索引,若时间候选利用许可标志为0,则不可利用ColPic上的运动矢量和参照索引。在本实施方式中,假定时间候选利用许可标志为1,进行说明。条带头是定义用于决定条带的特性的参数集的头。条带头中被设置POC和用于在该条带为P条带或B条带时改变该条带所能使用的参照索引的最大值的标志(num_ref_idx_active_override_flag)、L0预测的参照索引的最大值(num_ref_idx_l0_active_minus1)、以及L1预测的参照索引的最大值(num_ref_idx_l1_active_minus1)。若用于改变参照索引的最大值的标志为1,则该条带所能使用的L0预测的参照索引的最大值(num_ref_idx_l0_active_minus1)被设置于条带头,在该条带为B条带时,条带头中还被设置该条带所能使用的L1预测的参照索引的最大值(num_ref_idx_l1_active_minus1),进行使用。若用于改变参照索引的最大值的标志为0,则利用PPS中所设置的L0预测的参照索引的预定的最大值作为该条带所能使用的L0预测的参照索引的最大值,并且作为该条带所能使用的L1预测的参照索引的最大值,适用在PPS中设置的L1预测的参照索引的预定的最大值。此外,若该条带为P条带或B条带,则设置用于决定混合候选最大数的参数5_minus_max_num_merge_cands。5_minus_max_num_merge_cands是用于决定混合候选最大数的参数,为0至4的整数。混合候选最大数(MaxNumMergeCand)通过用5减去5_minus_max_num_merge_cands来算出。假定5_minus_max_num_merge_cands的码串采用TruncatedUnary码串。在本实施方式中,假定5_minus_max_num_merge_cands为0、混合候选最大数为5来进行说明。在编码树中,管理编码块的分割信息。编码树被设置split_coding_unit_flag,若split_coding_unit_flag为1,则编码树被分割成4个编码树。若split_coding_unit_flag为0,则编码树成为编码块。编码块中被设置跳过模式标志(skip_flag)、预测模式(pred_mode)和预测块尺寸类型(part_mode),根据跳过模式标志和预测块尺寸类型,被分割成1个或2个或4个预测块。预测模式表示是进行帧内预测(画面内预测)的编码块、还是进行帧间预测(运动补偿预测)的编码块。若跳过模式标志为1,则成为跳过模式,跳过模式具有1个预测块。编码(编码树)的分割次数也称作编码块(编码树)的深度。预测块中设置有混合标志(merge_flag)、混合索引(merge_idx)、帧间预测类型(inter_pred_type)、L0预测的参照索引(ref_idx_l0)、L0预测的差分矢量(mvd_l0[0],mvd_l0[1])、L0预测的预测矢量索引(mvp_idx_l0)、L1预测的参照索引(ref_idx_l1)、L1预测的差分矢量(mvd_l1[0],mvd_l1[1])、及L1预测的预测矢量索引(mvp_idx_l1)。差分矢量的[0]表示水平分量,[1]表示垂直分量。在此,inter_pred_type表示运动补偿预测的预测方向(也称帧间预测类型),有Pred_L0(L0预测的单向预测)、Pred_L1(L1预测的单向预测)及Pred_BI(BI预测的双向预测)三种。在inter_pred_type为Pred_L0或Pred_BI时,被设置关于L0预测的信息,在inter_pred_type为Pred_L1或Pred_BI时,被设置关于L1预测的信息。在P条带(Pslice)中,inter_pred_type唯一地成为Pred_L0,故inter_pred_type被省略。此外,在跳过模式时,预测块是进行帧间预测的编码块,作为预测编码模式,成为混合模式。因此,跳过模式时被设置混合索引。此外,虽然如图6那样设定了本实施方式的句法,但只要编码块和预测块具有多种块尺寸、利用参照图像、能利用混合模式和预测矢量模式即可,并非限定于此。以下,参照附图说明本发明的优选实施方式的动图像编码装置、动图像编码方法及动图像编码程序,以及动图像解码装置、动图像解码方法及动图像解码程序的详细情况。此外,在附图的说明中,对相同要素标注相同标号,并省略重复的说明。(动图像编码装置100的构成)图7表示本实施方式1的动图像编码装置100的构成。动图像编码装置100是将动图像信号按实施运动补偿预测的预测块单位进行编码的装置。条带类型的决定、条带中所能使用的参照索引的最大值、编码块的分割、跳过模式的决定、预测块尺寸类型的决定、预测块尺寸和预测块的编码块内位置(也称预测块的位置信息或预测块编号)的决定、预测编码模式是否为帧内的决定,由动图像编码装置100外部的编码控制部112决定,并被提供给动图像编码装置100。参照图片列表由动图像编码装置100外部的参照图片列表生成部113生成,并被提供给动图像编码装置100。在实施方式1中,说明预测编码模式并非帧内时的情况。另外,在实施方式1中只要无特别说明,就是说明与双向预测对应的B图片(B条带)的,但对于并非与双向预测对应的P图片(P条带),只要省略L1预测即可。动图像编码装置100由具有CPU(CentralProcessingUnit:中央处理单元)、帧存储器、硬盘等的信息处理装置等硬件实现。动图像编码装置100通过上述构成要素进行动作来实现以下说明的功能性的构成要素。此外,关于条带类型、参照图片列表、条带中所能使用的参照索引的最大值、处理对象预测块的位置信息、预测块尺寸及运动补偿预测的预测方向,假定在动图像编码装置100内是共有的,并未进行图示。实施方式1的动图像编码装置100包括预测块图像取得部101、减法部102、预测误差编码部103、码串生成部104、预测误差解码部105、运动补偿部106、加法部107、运动矢量检测部108、运动信息生成部109、帧存储器110、以及运动信息存储器111。(动图像编码装置100的功能和动作)下面说明各部的功能和动作。预测块图像取得部101基于预测块的位置信息和预测块尺寸,从端子10所供给的图像信号中取得处理对象预测块的图像信号,将预测块的图像信号提供给减法部102、运动矢量检测部108及运动信息生成部109。运动矢量检测部108从预测块图像取得部101所供给的图像信号和内部存储的相当于多个参照图像的图像信号中,检测L0预测和L1预测各自的运动矢量和表示参照图像的参照索引。将该L0预测和L1预测的运动矢量、以及该L0预测和L1预测的参照索引提供给运动信息生成部109。在此,运动矢量检测部108是使用内部存储的相当于多个参照图像的图像信号作为参照图像的,但也可以使用帧存储器110内所存储的参照图像。一般的运动矢量的检测方法是针对对象图像的图像信号、和从相同位置移动了预定的移动量后的参照图像的预测信号算出误差评价值,将误差评价值最小的移动量作为运动矢量的。在参照图像有多个时,针对各参照图像检测运动矢量,并选择误差评价值最小的参照图像。作为误差评价值,可采用表示绝对差值和的SAD(SumofAbsoluteDifference)或表示均方差的MSE(MeanSquareError)等。此外,还可以将运动矢量码量加到误差评价值中进行评价。运动信息生成部109根据运动矢量检测部108所供给的L0预测和L1预测的运动矢量及L0预测和L1预测的参照索引、运动信息存储器111所供给的候选块集、参照索引所表示的帧存储器110内的参照图像、以及预测块图像取得部101所供给的图像信号,决定预测编码模式。基于所决定的预测编码模式,根据需要而将混合标志、混合索引、运动补偿预测的预测方向、L0预测和L1预测的参照索引、L0预测和L1预测的差分矢量、以及L0预测和L1预测的预测矢量索引提供给码串生成部104。将运动补偿预测的预测方向、L0预测和L1预测的参照索引、以及L0预测和L1预测的运动矢量提供给运动补偿部106和运动信息存储器111。关于运动信息生成部109的详细情况,将在后面说明。若运动信息生成部109所供给的运动补偿预测的预测方向为LN预测,则运动补偿部106对运动信息生成部109供给的LN预测的参照索引所示的帧存储器110内的参照图像,基于运动信息生成部109供给的LN预测的运动矢量进行运动补偿,生成LN预测的预测信号。N是0或1。在此,若运动补偿预测的预测方向为双向预测,则L0预测和L1预测的预测信号的平均值成为预测信号。此外,也可以对L0预测和L1预测的预测信号进行加权。运动补偿部106将该预测信号提供给减法部102。减法部102对预测块图像取得部101供给的图像信号和运动补偿部106供给的预测信号进行减法运算,算出预测误差信号,将该预测误差信号提供给预测误差编码部103。预测误差编码部103对减法部102供给的预测误差信号进行正交变换、量化等处理,生成预测误差编码数据,将该预测误差编码数据提供给码串生成部104和预测误差解码部105。码串生成部104将预测误差编码部103供给的预测误差编码数据、以及运动信息生成部109供给的混合标志、混合索引、运动补偿预测的预测方向(帧间预测类型)、L0预测和L1预测的参照索引、L0预测和L1预测的差分矢量及L0预测和L1预测的预测矢量索引,按图6所示的句法顺序进行熵编码,生成码串,并将该码串作为编码流提供到端子11。熵编码通过包括算术编码、霍夫曼编码等可变长度编码的方法来实施。此外,码串生成部104将动图像编码装置100中所使用的编码块的分割信息、预测块尺寸类型、预测块在编码块内的位置、以及预测编码模式,同定义了用于决定编码流的特性的参数集的SPS(SequenceParameterSet:序列参数集)、定义了用于决定图片的特性的参数集的PPS(PictureParameterSet:图像参数集)、及定义了用于决定条带的特性的参数集的条带头等一起,多路化到编码流中。预测误差解码部105对从预测误差编码部103供给的预测误差编码数据进行逆量化、逆正交变换等处理,生成预测误差信号,将该预测误差信号提供给加法部107。加法部107使从预测误差解码部105供给的预测误差信号与从运动补偿部106供给的预测信号相加而生成解码图像信号,将该解码图像信号提供给帧存储器110。帧存储器110保存从加法部107供给的解码图像信号。此外,对于图像整体的解码已完成的解码图像,作为参照图像,同该参照图像的POC一起存储1个以上的预定图像数。帧存储器110将所存储的参照图像信号提供给运动补偿部106和运动信息生成部109。保存参照图像的存储区域被按FIFO(FirstInFirstOut:先进先出)方式控制。在此,是假定将参照图像的POC保存到帧存储器110中的,但只要能唯一识别参照图像和POC即可,并非限定于此。另外,假定POC在动图像编码装置100、编码控制部112及参照图片列表生成部113中是共有的,未进行图示。运动信息存储器111将从运动信息生成部109供给的运动信息按最小的预测块尺寸单位保存预定图像数。将处理对象预测块的相邻块的运动信息作为空间候选块集。此外,运动信息存储器111将与处理对象预测块处于相同位置的ColPic上的相同位置预测块内和其周边块的运动信息作为时间候选块集。运动信息存储器111将空间候选块集和时间候选块集作为候选块集提供给运动信息生成部109。运动信息存储器111与帧存储器110同步,被按FIFO(FirstInFirstOut)方式控制。在此,所谓ColPic,是与处理对象预测块所在的图像不同的已解码图像,被作为参照图像存储在帧存储器110中。在实施方式1中,ColPic定为在处理对象图像前刚解码完的参照图像。此外,在实施方式1中,ColPic是定为处理对象图像前刚解码过的参照图像的,但只要是已解码的图像即可,例如既可以是显示顺序上前面一个参照图像或显示顺序上后面一个参照图像,也可以采用L0预测或L1预测的参照图片列表的第0个参照图像,还可以在编码流中指定。在此,说明运动信息存储器111中的运动信息的管理方法。运动信息被按最小的预测块单位存储在各存储器...
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1