图像编码装置、图像编码方法、图像解码装置和图像解码方法

图像编码装置、图像编码方法、图像解码装置和图像解码方法
【技术领域】
[0001] 本发明设及高效地对图像进行编码的图像编码装置、图像编码方法、图像解码装 置和图像解码方法。
【背景技术】
[0002] 例如，在下面的非专利文献1中记载的现有的图像编码装置中，将输入的彩色图 像分割为规定大小的最大编码块，并进一步将最大编码块分层分割为更细小的编码块。
[0003] 并且，通过将该编码块进一步分割为更细小的预测块，实施针对该预测块的画面 内预测和/或运动补偿预测，由此生成预测误差。
[0004] 并且，在编码块内将该预测误差分层地分割为变换块，对各自的变换系数进行赌 编码，由此达成较高的压缩率。
[0005] 在现有的图像编码装置中，为了实现利用时间相关性的高效编码，例如通过图37 等的编码构造，从已经编码的图片中捜索与编码对象块之间的相关性较高的块，实现利用 将作为其捜索对象的块作为预测值的运动补偿预测的编码。一般情况下，将作为此时的捜 索（参照）对象的图片称为参照图片。特别是如图37所示，公知参照在显示顺序中过去和 未来双方的图片的运动补偿即双向预测能够实现高精度的预测。但是，通过运样使图片间 具有参照关系，将在各图片的解码中产生依赖性，无法实现从编码比特流的中途进行解码 的序列的中途再现。
[0006] 因此，在应用图37等的利用双向运动补偿预测的编码构造的情况下，有时要准备 用于即使从编码比特流的中途进行解码也能够正确再现的随机接入点。例如考虑设定在图 37的显示顺序中编号8(在解码（编码）顺序中编号1)的灰色（网格）图片是非专利文献 1中记载的能够随机接入的图片（非专利文献1记载的Intra Random Access Point(IRAP) 图片）的情况。在非专利文献I中，将与IRAP图片相比解码顺序（在解码装置中为解码 序，与编码装置中的编码顺序意思相同）在后且显示顺序在前的图片（在图37的显示顺序 中编号1~7的图片）定义为"leading picture(首位图片）"，将与IRAP图片相比解码顺 序和显示顺序均在后的图片（在图37的显示顺序中编号9~16的图片）定义为"trailing picture(末位图片）"。当在图37的显示顺序中编号8 (在解码（编码）顺序中编号1)的 灰色（网格）图片是一种IRAP图片即CRA (Clean Random Access)图片的情况下，在从CRA 图片开始解码时，无法保证能够对首位图片进行正确解码，但是，始终能够对末位图片进行 正确解码。为了保证该动作，定义相关的各图片的限制事项。具体而言，在非专利文献1中， 禁止利用首位图片作为末位图片的参照图片，还禁止存在与IRAP图片相比显示顺序在后 且解码顺序在前的图片。进而，在非专利文献1中定义成首位图片必须在末位图片之前解 码（编码）。在运种定义下，通过使用CRA图片，在从编码比特流的中途开始解码时，只要从 CRA开始进行解码，则始终能够对与CRA图片相比显示顺序在后的图片进行正确解码，能够 实现编码序列的中途再现。并且，在CRA图片的情况下，仅保证能够对末位图片进行正确解 码，因此，首位图片能够进行包含CRA图片的双向预测，能够抑制由于插入能够随机接入的 图片而导致的编码效率的降低。
[0007] 现有技术文献
[0008] 非专利文献
[0009]非专利文献1 :B. Bross, W.-J. Han, J.-R. Ohm, G. J. Sullivan, Y.-K. Wang and T.Wiegand, "High Efficiency Video Coding (HEVC) text specification draft 10 (for FDIS&Consent)", doc. JCTVC-L1003, Joint Collaborative Team on Video Coding(JCT-VC)OfmJ-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting, 2013

【发明内容】

[0010] 发明要解决的课题
[0011] 由于现有的图像编码装置如上所述地构成，因此，对于1帖由1个图片构成的逐 行（progressive)视频，能够实现如下的随机接入：即使从编码比特流的中途起，也能够通 过从特定图片开始解码，对在显示顺序中从该图片起的图片进行正确解码。另一方面，在1 帖由顶场和底场运两个场构成的隔行（interlace)视频的情况下，有时将该场设定成作为 编码单位的图片，并且，利用考虑到由两个场构成的帖的场对构造对参照构造进行编码。图 33示出使用双向预测的场对构造的一例。在本例中，在想要设定图33的在显示顺序中编号 32(在解码（编码）顺序中编号18)的灰色所示的顶场作为能够随机接入的图片的情况下， 相当于首位图片的图片的一部分参照在显示顺序中编号32的顶场和在显示顺序中编号33 的底场，因此，需要是对在显示顺序中编号32的顶场进行解码后立即对末位图片即在显示 顺序中编号33的底场进行解码然后再对首位图片进行解码运样的解码顺序，但是，根据非 专利文献1的首位图片必须在末位图片之前解码（编码）运样的定义，无法将在显示顺序 中编号32的顶场设定成CRA图片。换言之，当基于非专利文献1的首位图片必须在末位 图片之前解码（编码）运样的定义时，在对被设定成CRA图片的在显示顺序中编号32的顶 场进行解码后，无法立即对末位图片即在显示顺序中编号33的底场进行解码，因此，无法 采取图33的参照构造。因此，在想要在非专利文献1的定义范围内实现使用CRA图片的随 机接入的情况下，例如，需要变更成首位图片不参照在显示顺序中编号33的底场的参照构 造，并且在首位图片解码后对在显示顺序中编号33的底场进行解码，或者，需要将在显示 顺序中编号33的底场定义成CRA图片。因此，在前者的情况下，与图33的参照构造相比， 首位图片的参照图片受到限制，因此存在预测效率降低运样的课题。在后者的情况下，在从 编码比特流的开头进行再现的情况下从顶场开始再现，在从编码比特流的中途进行再现的 情况下从底场进行再现。目P，与编码比特流的解码开始位置无关，无法始终从相同场进行解 码，在显示装置中，需要应对运种再现，存在显示处理变得复杂运样的课题。
[0012] 本发明正是为了解决上述课题而完成的，其目的在于，得到一种图像编码装置、图 像编码方法、图像解码装置和图像解码方法，在隔行视频的场对编码中，也能够生成与编码 比特流的解码开始位置无关而能够始终从相同场正确再现的编码比特流并进行编码。
[0013] 用于解决课题的手段
[0014] 在本发明的图像编码装置中，各帖由第一场和第二场运两个场构成，将各场作为 图片进行编码，其特征在于，所述图像编码装置具有：编码单元，其将特定帖的第一场作为 仅通过内部预测进行预测的内部图片进行编码，并且，按照所述特定帖的第一场、所述特定 帖的第二场、与所述特定帖的第一场相比编码顺序在后且显示顺序在前的图片、与所述特 定帖的第一场相比编码顺序和显示顺序均在后的图片的顺序进行编码；W及复用单元，其 将表示所述特定帖的第一场是能够从比特流的中途开始解码的图片的信息复用到所述比 特流。 阳〇1引发明效果
[0016] 根据本发明，在隔行视频的场对编码中，也生成与编码比特流的解码开始位置无 关而能够始终从相同场正确再现的编码比特流，因此，在隔行视频的场对编码中，显示解码 图像的显示装置也与编码比特流的解码开始位置无关而始终从相同场起进行显示即可，具 有能够简易地进行显示处理的效果。
【附图说明】
[0017] 图1是示出本发明的实施方式1的图像编码装置的结构图。
[0018] 图2是示出本发明的实施方式1的图像编码装置的处理内容（图像编码方法）的 流程图。
[0019] 图3是示出本发明的实施方式1的图像解码装置的结构图。
[0020] 图4是示出本发明的实施方式1的图像解码装置的处理内容（图像解码方法）的 流程图。
[0021] 图5是示出最大编码块被分层地分割为多个编码块的示例的说明图。 阳02引图6的（a)是示出分割后的编码块化及预测块的分布的说明图，化）是示出通过 分层分割来分配编码模式m度。）的情况的说明图。
[002引图7是示出编码块B"内的各预测块P1"可选择的内部预测模式的一例的说明图。 [0024] 图8是示出在Ii"=Hii"= 4的情况下生成预测图像生成块内的像素的预测值时使 用的像素的一例的说明图。
[00巧]图9是示出W预测图像生成块内的左上像素为原点的相对坐标的说明图。
[00%] 图10是示出量化矩阵的一例的说明图。
[0027] 图11是示出本发明的实施方式1的在图像编码装置的环路滤波部中使用多个环 路滤波处理的情况下的结构例的说明图。
[0028] 图12是示出本发明的实施方式1的在图像解码装置的环路滤波部中使用多个环 路滤波处理的情况下的结构例的说明图。
[0029] 图13是示出编码比特流的一例的说明图。
[0030] 图14是示出像素自适应偏移处理的类别分类方法的索引的说明图。
[0031] 图15是示出16X16像素尺寸的正交变换中的变换系数的编码顺序的说明图。
[0032] 图16是示出16X16像素尺寸的正交变换中的变换系数的分布的一例的说明图。
[0033] 图17是示出平均值预测时的滤波处理的滤波器切换区域的说明图。
[0034] 图18是示出平均值预测时的滤波处理的参照像素配置的说明图。
[0035] 图19是示出场编码时对内部预测图像的滤波处理的说明图。
[0036] 图20是示出实施YUV4:2:0格式的信号中的亮度信号W及色差信号的压缩处理时 的变换块尺寸的说明图。
[0037] 图21是示出实施YUV4:2:2格式的信号中的亮度信号W及色差信号的压缩处理时 的变换块尺寸的说明图。
[0038] 图22是示出实施YUV4:4:4格式的信号中的亮度信号W及色差信号的压缩处理时 的变换块尺寸的说明图。
[0039] 图23是示出色差信号的内部预测参数与色差内部预测模式的对应示例的说明 图。
[0040] 图24是示出不使用LM模式的情况下的色差信号的内部预测参数与色差内部预测 模式的对应示例的说明图。
[0041] 图25是示出在YUV4:2:0格式的信号中亮度信号和色差信号使用相同的方向性预 测的情况的说明图。
[0042] 图26是示出在YUV4:2:2格式的信号中亮度信号和色差信号使用相同的方向性预 测的情况的说明图。
[0043] 图27是示出YUV4:4:4格式与YUV4:2:2格式之间的关系的说明图。
[0044] 图28是示出与在YUV4:4:4格式的信号中亮度信号和色差信号使用相同的方向性 预测等效的、YUV4:2:2格式下的方向性预测的示例的说明图。
[0045] 图29是示出YUV4:2:2格式的信号的方向性预测的预测方向矢量的说明图。
[0046] 图30是示出方向性预测与角度之间的关系的说明图。
[0047]图31是示出在YUV4:2:2格式的信号中亮度信号的内部预测模式索引与色差信号 的内部预测模式索引之间的关系的说明图。
[0048] 图32是示出内部预测模式索引与tan 0之间的关系的说明图。
[0049] 图33是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明 图。
[0050] 图34是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明 图。
[0051] 图35是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明 图。
[0052] 图36是示出在隔行信号的场对编码中使用双向预测的编码构造的一例的说明 图。
[0053] 图37是示出使用双向预测的编码构造的一例的说明图。
[0054] 图38是示出RecoveiT Point SEI Message的语法的说明图。
【具体实施方式】 阳0对实施方式1
[0056] 图1是示出本发明的实施方式1的图像编码装置的结构图。
[0057] 被该实施方式1的图像编码装置作为处理对象的视频信号是视频帖由水平/垂直 的二维数字采样（像素）串构成的任意的视频信号，包含由亮度信号和2个色差信号构成 的YUV信号、从数字摄像元件输出的RGB信号等任意颜色空间的彩色视频信号、单色图像信 号、红外线图像信号等。
[0058] 各像素的灰度可W是8位，也可W是10位、12位等的灰度。
[0059] 并且，由于静态图像信号能够被解释为仅由I帖构成的视频信号，因此当然输入 信号也可W不是视频信号而是静态图像信号。
[0060] 在下面的说明中，为了方便起见，在没有特别指定的情况下，设输入的视频信号是 如下格式的信号：相对于亮度成分Y，2个色差成分U、V在纵横方向上均被子采样为1/2的 YUV4:2:0格式；相对于亮度成分Y，2个色差成分U、V在横向上被子采样为1/2的YUV4:2:2 格式；或者2个色差成分U、V与亮度成分Y采样数相同的YUV4:4:4格式。并且，关于由红 色（R)、绿色（G)、蓝色度）运S原色的信号构成的RGB4:4:4格式的信号，将各个信号视为 YUV4:4:4格式的信号而进行与YUV4:4:4格式相同的编码。但是，关于RGB4:4:4格式的各 信号（RGB)如何与YUV4:4:4格式的各信号（YUV)对应并不作限定（可W任意设定）。并 且，在YUV4 :4 :4格式信号或RGB4 :4 :4格式信号的情况下，也可W将各信号视为单色图像 信号而分别独立地进行单色（YUV4 :0:0)编码并生成比特流。运样，能够W各信号并列的方 式进行编码处理。
[0061] 另外，将与视频的各帖对应的处理数据单位称为"图片（picture)"，在该实施方式 1中，"图片"作为被依次扫描（图像顺序扫描（progressivescan))的视频帖的信号进行 说明。但是，在视频信号为隔行（interlace)信号的情况下，"图片"也可W是作为构成视频 帖的单位的场（field)图像信号。
[0062] 在图1中，片分割部14在输入视频信号作为输入图像时，实施依照由编码控制部 2决定的片分割信息将该输入图像分割为一个W上的被称为"片（slice)"的部分图像的处 理。片的分割单位能够细小至后文叙述的编码块单位。
[0063] 每当输入由片分割部14分割得到的片时，块分割部1实施如下处理：将该片分割 为由编码控制部2决定的最大尺寸的编码块即最大编码块，并且将该最大编码块分层分割 为各个编码块，直至达到由编码控制部2决定出的上限层数。
[0064] 目P，块分割部1实施根据由编码控制部2决定的分割将片分割为各个编码块并输 出该编码块的处理。并且，各个编码块被分割为作为预测处理单位的一个或多个预测块。 阳0化]编码控制部2实施如下处理：决定作为实施编码处理时的处理单位的编码块的最 大尺寸，并且决定分层分割最大尺寸的编码块时的上限分层数，由此决定各个编码块的尺 寸。
[0066] 另外，编码控制部2实施从可选择的一个W上的编码模式（表示预测处理单位的 预测块的尺寸等不同的一个W上的内部编码模式、预测块的尺寸等不同的一个W上的帖间 (Inter)编码模式）中选择适用于从块分割部1输出的编码块的编码模式的处理。作为选 择方法的例子，有从可选择的一个W上的编码模式中选择对从块分割部1输出的编码块的 编码效率最高的编码模式的方法。
[0067]另外，编码控制部2实施如下处理：在编码效率最高的编码模式是内部编码模式 的情况下，按照每个预测块决定W该内部编码模式对编码块实施内部预测处理时使用的内 部预测参数，其中，该预测块是上述内部编码模式所示的预测处理单位；在编码效率最高的 编码模式是帖间编码模式的情况下，按照每个预测块决定W该帖间编码模式对编码块实施 帖间预测处理时使用的帖间预测参数，其中，该预测块是上述帖间编码模式所示的预测处 理单位。 W側另外，编码控制部2实施决定提供给变换/量化部7W及逆量化/逆变换部8的 预测差分编码参数的处理。预测差分编码参数包含表示编码块中的成为正交变换处理单位 的变换块的分割信息的变换块分割信息、规定进行变换系数量化时的量化步阶大小的量化 参数等。
[0069] 在此，图20是示出实施YUV4:2:0格式的信号中的亮度信号W及色差信号的压缩 处理（变换处理、量化处理）时的变换块尺寸的说明图。
[0070] 如图20所示，变换块尺寸由W四叉树（如adtree)状对编码块进行分层分割的情 况来决定。
[0071]例如，根据在分割变换块的情况下和不分割变换块的情况下的编码量、考虑到编 码误差的评价尺度等，来决定是否分割变换块W使评价值最小，由此能够从编码量和编码 误差折衷的观点出发来决定最佳的变换块的分割形状。
[0072] 关于亮度信号，例如，如图20所示，构成为编码块被分层分割为一个或多个正方 形的变换块。
[0073] 关于色差信号，如图20所示，在输入信号格式为YUV4:2:0信号的情况下，与亮度 信号同样地，构成为编码块被分层分割为一个或多个正方形的变换块。
[0074] 在该情况下，色差信号的变换块尺寸在纵横方向上均为对应的亮度信号的变换块 的一半的尺寸。
[00巧]如图21所示，在输入信号格式为YUV4:2:2信号的情况下，进行与亮度信号同样的 四叉树状的分层分割。并且，分割后的块的形状成为垂直方向的像素数为水平方向的像素 数的2倍的长方形，因此通过进一步在上下方向上对分割后的块一分为二，成为由2个与 YUV4:2:0信号的色差信号相同块尺寸（纵横方向上均为亮度信号的变换块的一半的尺寸） 的变换块构成。
[0076] 另外，如图22所示，在输入信号格式为YUV4:4:4信号的情况下，色差信号的变换 块始终进行与亮度信号的变换块同样的分割，构成为相同尺寸的变换块。
[0077] 亮度信号的变换块的分割信息例如作为表示是否按照每层进行分割的变换块分 割标志输出给可变长度编码部13。
[0078] 切换开关3实施如下处理：如果由编码控制部2决定的编码模式为内部编码模式， 则将从块分割部1输出的编码块输出给内部预测部4,如果由编码控制部2决定的编码模式 为帖间编码模式，则将从块分割部1输出的编码块输出给运动补偿预测部5。
[0079] 内部预测部4实施如下处理：在编码控制部2选择内部编码模式作为与从切换开 关3输出的编码块对应的编码模式的情况下，参照存储在内部预测用存储器10中的局域解 码图像，实施利用由编码控制部2决定的内部预测参数的内部预测处理（帖内预测处理）， 生成内部预测图像。另外，内部预测部4构成内部预测单元。
[0080]旨P，内部预测部4对于亮度信号实施使用亮度信号的内部预测参数的内部预测处 理（帖内预测处理），生成亮度信号的预测图像。
[0081] 另一方面，对于色差信号，在色差信号的内部预测参数示出使用与针对亮度信号 的内部预测模式相同的预测模式的情况下（内部预测参数示出亮度色差公共内部预测模 式值M模式）的情况下），实施与亮度信号相同的帖内预测，生成色差信号的预测图像。
[0082]另外，在色差信号的内部预测参数示出垂直方向预测模式或水平方向预测模式的 情况下，实施针对色差信号的方向性预测，生成色差信号的预测图像。
[0083]另外，在色差信号的内部预测参数示出利用与亮度的相关性的色差信号预测模 式（LM模式）的情况下，使用与预测图像的生成对象块的上侧和左侧相邻的多个像素的亮 度信号和色差信号，计算示出亮度信号与色差信号之间的相关性的相关性参数，使用该相 关性参数和与作为预测处理对象的色差信号的块对应的亮度信号，生成色