运动图像解码装置、编码装置、以及预测图像生成装置的制作方法

运动图像解码装置、编码装置、以及预测图像生成装置
1.本技术是申请日为2016年12月22日，国家申请号为2016800808190的pct国家阶段申请的分案申请，该申请要求申请日为2016年2月3日，申请号为jp 2016-019354的日本专利申请的优先权。
技术领域
2.本发明的一实施方式涉及一种运动图像解码装置、运动图像编码装置、以及预测图像生成装置。


背景技术：

3.为了有效率地传输或记录运动图像，使用有通过对运动图像进行编码而生成编码数据的运动图像编码装置、以及通过对该编码数据进行解码而生成解码图像的运动图像解码装置。
4.作为具体的运动图像编码方式，例如可列举在h.264/mpeg-4.avc、hevc(high-efficiency video coding：高效视频编码)中提出的方式等。
5.在这种运动图像编码方式中，构成运动图像的图像(图片)通过由通过对图像进行分割而获得的切片(slice)、通过对切片进行分割而获得的编码单位(有时也称为编码单元(coding unit))、以及作为通过对编码单位进行分割而获得的块(block)的预测单元(pu)、变换单元(tu)形成的分级结构进行管理，并按块进行编码、解码。
6.此外，在这种运动图像编码方式中，通常，基于通过对输入图像进行编码/解码而获得的局部解码图像生成预测图像，并对从输入图像(原图像)减去该预测图像而获得的预测残差(有时也称为“差分图像”或“残差图像”)进行编码。作为预测图像的生成方法，可列举画面间预测(帧间预测)以及画面内预测(帧内预测)。
7.此外，作为近年来的运动图像编码以及解码的技术，可列举非专利文献1。
8.现有技术文献
9.非专利文献
10.非专利文献1：video/jvet，“algorithm description of joint exploration testmodel 1(jem 1)”，international organization for standardization organisation internationale de normalisation iso/iec jtc1/sc29/wg11 coding of moving pictures and audio，iso/iec jtc1/sc29/wg11/n15790，october 2015，geneva，ch.


技术实现要素：

11.发明要解决的问题
12.在近年来的运动图像编码以及解码技术中，应用有如下的技术：在生成预测图像时的运动补偿处理中，通过利用基于对象图像和两个参照图像的双预测进行的运动补偿，来推导预测图像。作为提高该通过运动补偿推导的预测图像的精度的技术，在非专利文献1
中已知利用梯度信息进行校正的bio，但该技术存在尚有进一步提高精度的余地的课题。
13.本发明的一实施方式提供一种能够提高通过运动补偿推导的预测图像的精度的图像解码装置。
14.技术方案
15.为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部根据作为预测对象的对象图像与上述第一参照图像的图片间隔、以及该对象图像与上述第二参照图像的图片间隔，推导与上述第一参照图像的各像素的像素值相乘的第一权重系数以及与上述第二参照图像的各像素的像素值相乘的第二权重系数。
16.此外，为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，与上述第一至第四梯度图像的各像素值相乘的各权重系数根据作为预测对象的对象图像与上述第一参照图像的图片间隔即第一图片间隔以及该对象图像与上述第二参照图像的图片间隔即第二图片间隔而确定。
17.此外，为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，在规定的标志为第一值的情况下，与上述第一至第四梯度图像的各像素值相乘的各权重系数根据作为预测对象的对象图像与上述第一参照图像的图片间隔即第一图片间隔以及该对象图像与上述第二参照图像的图片间隔即第二图片间隔而确定，在规定的标志为第二值的情况下，与上述第一至第四梯度图像的各像素值相乘的各权重系数为相互相等的值。
18.此外，为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，与上述第一至第四梯度图像的各像素值相乘的各权重系数按块进行确定。
19.此外，为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参
照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，上述预测图像生成部具备对在推导各梯度图像时使用的梯度滤波进行切换的第一切换部。
20.此外，为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，上述预测图像生成部具备对与上述第一至第四梯度图像的各像素值相乘的各权重系数进行剪辑处理的剪辑部。
21.此外，为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备预测图像生成部，所述预测图像生成部参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测图像生成部参照表示上述第一参照图像的沿着第一方向的梯度的第一梯度图像、表示上述第一参照图像的沿着第二方向的梯度的第二梯度图像、表示上述第二参照图像的沿着第一方向的梯度的第三梯度图像、以及表示上述第二参照图像的沿着第二方向的梯度的第四梯度图像的各像素值，推导上述梯度校正项，与上述第一至第四梯度图像的各像素值相乘的各权重系数是使用参照上述第一至第四梯度图像中的至少任一个而确定的中间参数、以及与该中间参数相加的正规化项而确定的，上述预测图像生成部具备对上述正规化项的值进行切换的第二切换部。
22.此外，为了解决上述的课题，本发明的一方案的预测图像生成装置通过对多个参照图像进行运动补偿来生成预测图像，所述预测图像生成装置具备：预测矢量计算部；以及预测图像生成部，参照第一参照图像、第二参照图像、以及梯度校正项，生成预测图像，上述预测矢量计算部使用选自包含匹配预测模式的一个以上的预测模式中的预测模式，推导运动矢量，预测图像生成部在对由在匹配预测模式下获得的上述运动矢量推导的运动补偿图像进行校正的情况下，根据是否应用bio预测，切换用于运动补偿图像的推导的运动矢量的精度。
23.有益效果
24.根据以上的构成，能够提高通过运动补偿推导的预测图像的精度。
附图说明
25.图1是表示本实施方式的编码流的数据的分级结构的图。
26.图2是表示pu分割模式的模式的图。图2(a)～(h)分别表示pu分割模式为2n
×
2n、2n
×
n、2n
×
nu、2n
×
nd、n
×
2n、nl
×
2n、nr
×
2n、以及n
×
n的情况的分区形状。
27.图3是表示参照图片列表的一个示例的概念图。
28.图4是表示参照图片的示例的概念图。
29.图5是表示本实施方式的图像解码装置的构成的概略图。
30.图6是表示本实施方式的帧间预测参数解码部的构成的概略图。
31.图7是表示本实施方式的合并预测参数推导部的构成的概略图。
32.图8是表示本实施方式的amvp预测参数推导部的构成的概略图。
33.图9是表示矢量候选的一个示例的概念图。
34.图10是表示本实施方式的帧间预测参数解码控制部的构成的概略图。
35.图11是表示本实施方式的帧间预测图像生成部的构成的概略图。
36.图12是表示本实施方式的图像编码装置的构成的框图。
37.图13是表示本实施方式的帧间预测参数编码部的构成的概略图。
38.图14是表示本发明的实施方式的图像传输系统的构成的概略图。
39.图15是表示具备使用了bio预测的运动补偿的图像解码装置中的预测模式切换例的流程图。
40.图16是对具备使用了bio预测的运动补偿功能的运动补偿部3091推导预测图像的处理的流程进行说明的流程图。
41.图17是表示推导梯度变化的概念的流程的一个示例的图。
42.图18是对依存于对象图像和参照图像来推导校正权重矢量的方法进行说明的图。
43.图19(a)是运动补偿滤波mcfilter的具体例，图19(b)是梯度补偿滤波的具体例。
44.图20是对使用最小平方法来推导校正权重矢量的方法进行说明的图。
45.图21是表示运动补偿部的构成例的框图。
46.图22是表示运动补偿部所进行的bio预测的处理的流程的一个示例的流程图。
47.图23是表示图22的s22a的工序的一个示例的流程图。
48.图24是表示运动补偿部的构成的另一个示例的框图。
49.图25是表示图22的s22a的工序的另一个示例的流程图。
50.图26是表示图22的s22a的工序的其它示例的流程图。
51.图27(a)是高分解能滤波组的一个示例，图27(b)是低分解能滤波组的一个示例。
52.图28是图27所示的高分解能滤波组以及低分解能滤波组的各yfrac的值的曲线图。
53.图29是表示依存分辨率时的切换滤波组的处理的流程的一个示例的流程图。
54.图30是表示运动矢量推导处理的流程的流程图。
55.图31(a)是表示依存滤波组时切换正规化项的示例的图，图31(b)是表示依存滤波组时切换剪辑处理的范围的示例的图。
56.图32是表示bio预测模式与匹配模式的预测精度相比较的图。
57.图33是表示搭载有上述图像编码装置的发送装置、以及搭载有上述图像解码装置的接收装置的构成的图。图33(a)表示搭载有图像编码装置的发送装置，图33(b)表示搭载有图像解码装置的接收装置。
58.图34是表示搭载有上述图像编码装置的记录装置、以及搭载有上述图像解码装置的再现装置的构成的图。图34(a)表示搭载有图像编码装置的记录装置，图34(b)表示搭载
有图像解码装置的再现装置。
具体实施方式
59.(第一实施方式)
60.以下，参照附图，对本发明的实施方式进行说明。
61.图14是表示本实施方式的图像传输系统1的构成的概略图。
62.图像传输系统1是传输对编码对象图像进行了编码而得的代码，并对通过解码所传输的代码而得的图像进行显示的系统。图像传输系统1包含图像编码装置11(运动图像编码装置)、网络21、图像解码装置31(运动图像解码装置)以及图像显示装置41而构成。
63.图像编码装置11中输入指示单层或者多层的图像的信号t。层是在构成某时间的图片(picture)存在一个以上的情况下用于区别多个图片的概念。例如，当将相同图片在图像质量、分辨率不同的多个层进行编码时则成为可分级编码(scalable coding)，当将不同视点的图片在多个层进行编码时则成为视点可分级编码(view scalable coding)。当在多个层的图片间进行预测(层间预测、视点间预测)的情况下，编码效率大幅度提高。此外，即使在不进行预测的情况(同时联播(simulcast))的情况下，也能够汇总编码数据。
64.需要说明的是，图像编码装置11以及图像解码装置31可以是单层图像，也可以将可分级编码(scalable coding)、视点可分级编码(view scalable coding)任意地组合而进行。
65.网络21将图像编码装置11所生成的编码流te传输至图像解码装置31。网络21是互联网(internet)、广域网(wan：wide area network)、小型网络(lan：local area network，局域网)或这些的组合。网络21不一定限定于双向的通信网，也可以是传输地面波数字广播、卫星广播等广播波的单向或双向的通信网。此外，网络21也可以用dvd(digital versatile disc：数字通用光盘)、bd(blue-ray disc：蓝光光盘)等记录有编码流te的存储介质来代替。
66.图像解码装置31对网络21所传输的编码流te分别进行解码，生成分别解码后的一个或多个解码层图像td(解码视点图像td)。
67.图像显示装置41对图像解码装置31所生成的一个或多个解码层图像td的全部或一部分进行显示。例如，在视点可分级编码中，在显示全部的情况时显示三维图像(立体图像)、自由视点图像，在显示一部分的情况时显示二维图像。图像显示装置41例如具备液晶显示器、有机el(electro-luminescence：电致发光)显示器等显示设备。此外，在空间可分级编码、信噪比(snr)可分级编码中，在图像解码装置31、图像显示装置41具有较高的处理能力的情况下，显示图像质量高的增强层图像，在仅具有较低的处理能力的情况下，显示不需要增强层程度的高处理能力、显示能力的基本层图像(base layer image)。
68.《编码流te的结构》
69.在对本实施方式的图像编码装置11以及图像解码装置31进行详细说明之前，对由图像编码装置11生成并被图像解码装置31解码的编码流te的数据结构进行说明。
70.图1是表示编码流te中的数据的分级结构的图。编码流te示例性地包含序列以及构成序列的多个图片。图1(a)～图1(f)是分别表示既定序列seq的序列层、规定图片pict的图片层、规定切片s的切片层、规定切片数据的切片数据层、规定包含于切片数据的编码树
block)。ctb是构成切片的固定尺寸(例如64
×
64)的块，有时也称为最大编码单元(lcu：largest cording unit)、编码树单元(ctu：coded tree unit)。
86.(编码树层)
87.编码树层如图1(e)所示，规定有图像解码装置31用于对处理对象的编码树块进行解码而参照的数据的集合。编码树块通过递归的四叉树分割而被分割。将通过递归的四叉树分割而获得的树形结构的节点称为编码树(coding tree)。四叉树的中间节点为编码四叉树(cqt：coded quad tree)，编码树块本身也被规定为最上层的cqt。cqt包含分割标志(split_flag)，在split_flag为1的情况下，分割为4个cqt。在split_flag为0的情况下，cqt不进行分割，而是具有一个编码单元(cu：coded unit)作为节点。编码单元cu为编码树层的末端节点，在该层中不进行进一步分割。编码单元cu成为编码处理的基本单元。
88.此外，在编码树块ctb的尺寸为64
×
64像素的情况下，编码单元的尺寸可获得64
×
64像素、32
×
32像素、16
×
16像素、以及8
×
8像素中的任一个。
89.(编码单元层)
90.编码单元层如图1(f)所示，规定有图像解码装置31用于对处理对象的编码单元进行解码而参照的数据的集合。具体而言，编码单元由编码树、预测树、变换树、以及cu标头cuf构成。在编码树中规定分割标志、分割模式、预测模式等。
91.预测树中，规定了将编码单元分割为一个或多个而得的各预测块的预测信息(参照图片索引、运动矢量等)。如果以其它表述来说，预测块是构成编码单元的一个或多个不重复的区域。此外，预测树包含通过上述的分割而获得的一个或多个预测块。需要说明的是，以下将进一步分割预测块而得的预测单元称为“子块”。子块(预测块)由一个或多个像素构成。在预测块与子块的尺寸相等的情况下，预测块中的子块为一个。在预测块的尺寸大于子块的尺寸的情况下，预测块被分割为子块。例如在预测块为8
×
8、子块为4
×
4的情况下，预测块被水平地分割为两部分，被垂直地分割为两部分，从而分割成四个子块。
92.预测处理按该预测块(子块)进行。以下，也将作为预测的单元的预测块称为预测单元(pu：prediction unit，预测单元)。
93.预测树中的分割的种类大体来说有帧内预测的情况和帧间预测的情况两种。帧内预测是相同图片内的预测，帧间预测是指在相互不同的图片间(例如，显示时刻间，层图像间)进行的预测处理。
94.在帧内预测的情况下，分割方法有2n
×
2n(与编码单元相同尺寸)和n
×
n。
95.此外，在帧间预测的情况下，分割方法根据编码数据的pu分割模式(part_mode)而进行编码，分割中有2n
×
2n(与编码单元相同尺寸)、2n
×
n、2n
×
nu、2n
×
nd、n
×
2n、nl
×
2n、nr
×
2n、以及n
×
n等。需要说明的是，2n
×
nu表示将2n
×
2n的编码单元从上到下依次分割为2n
×
0.5n和2n
×
1.5n两个区域。2n
×
nd表示将2n
×
2n的编码单元从上到下依次分割为2n
×
1.5n和2n
×
0.5n两个区域。nl
×
2n表示将2n
×
2n的编码单元从左到右依次分割为0.5n
×
2n和1.5n
×
2n两个区域。nr
×
2n表示将2n
×
2n的编码单元从左到右依次分割为1.5n
×
2n和0.5n
×
1.5n两个区域。分割数为一、二、四中的任一个，因此包含于cu的pu为一个至四个。将这些pu依次表示为pu0、pu1、pu2、pu3。
96.图2(a)～图2(h)中，针对各分割类型具体地图示出了cu中的pu分割的边界的位置。
97.需要说明的是，图2(a)表示不进行cu的分割的2n
×
2n的pu分割模式。
98.此外，图2(b)、图2(c)、以及图2(d)分别表示pu分割模式分别为2n
×
n、2n
×
nu、以及2n
×
nd的情况下的分区(partition)的形状。以下，将pu分割模式为2n
×
n、2n
×
nu、以及2n
×
nd的情况的分区统称为横长分区。
99.此外，图2(e)、图2(f)、以及图2(g)分别表示pu分割模式为n
×
2n、nl
×
2n、以及nr
×
2n的情况下的分区的形状。以下，将pu分割模式为n
×
2n、nl
×
2n、以及nr
×
2n的情况的分区统称为纵长分区。
100.此外，将横长分区以及纵长分区统称为长方形分区。
101.此外，图2(h)表示pu分割模式为n
×
n的情况的分区的形状。基于其分区的形状，也将图2(a)以及图2(h)的pu分割模式称为正方形分割。此外，也将图2(b)～图2(g)的pu分割模式称为非正方形分割。
102.此外，在图2(a)～图2(h)中，赋予各区域的编号表示区域的标识号，按照该标识号的顺序依次对区域进行处理。即，该标识号表示分区的扫描顺序。
103.此外，在图2(a)～图2(h)中，设为左上为cu的基准点(原点)。
104.此外，在变换树中，编码单元被分割为一个或多个变换块，且各变换块的位置和尺寸有所规定。如果以其它表述来说，变换块是构成编码单元的一个或多个不重复的区域。此外，变换树包含通过上述的分割而获得的一个或多个变换块。
105.变换树的分割中，具有将与编码单元相同的尺寸的区域分配为变换块的分割、和与上述的树块的分割同样地通过递归的四叉树分割而进行的分割。
106.变换处理按该变换块进行。以下，也将作为变换的单元的变换块称为变换单元(transform unit；tu)。
107.(预测参数)
108.预测单元的预测图像通过预测单元所随附的预测参数而推导出来。预测参数中具有帧内预测的预测参数或者帧间预测的预测参数。以下，对帧间预测的预测参数(帧间预测参数)进行说明。帧间预测参数由预测列表利用标志predflagl0、predflagl1、参照图片索引refidxl0、refidxl1以及矢量mvl0、mvl1构成。预测列表利用标志predflagl0、predflagl1是表示是否使用各个被称为l0列表、l1列表的参照图片列表的标志，当值为1的情况下，使用对应的参照图片列表。需要说明的是，当在本说明书中记为“表示是否为xx的标志”的情况下，将1设为是xx的情况，将0设为不是xx的情况，在逻辑非、逻辑乘等中将1处理为真，将0处理为假(以下同样)。但是，在实际的装置、方法中也可以使用其它值作为真值、假值。在使用两张参照图片列表的情况下，就是说，predflagl0＝1、predflagl1＝1的情况与双预测对应，在使用一个参照图片列表的情况下，即(predflagl0，predflagl1)＝(1，0)或者(predflagl0，predflagl1)＝(0，1)的情况与单预测对应。需要说明的是，预测列表利用标志的信息也可以用后述的帧间预测标志inter_pred_idc来表示。通常，在后述的预测图像生成部(预测图像生成装置)308、预测参数存储器307中使用预测列表利用标志，在根据编码数据对是否使用哪一个参照图片列表的信息进行解码的情况下，使用帧间预测标志inter_pred_idc。
109.用于推导包含于编码数据的帧间预测参数的语法元素中，例如具有分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参
照图片索引refidxlx、预测矢量索引mvp_lx_idx、以及差分矢量mvdlx。
110.(参照图片列表的一个示例)
111.接着，对参照图片列表的一个示例进行说明。参照图片列表是由存储于参照图片存储器306(图5)的参照图片(参照图像)形成的列。图3是表示参照图片列表的一个示例的概念图。在参照图片列表601中，左右排列成一列的5个长方形分别表示参照图片。从左端向右依次示出的代码p1、p2、q0、p3、p4是表示各参照图片的代码。p1等的p是表示视点p，然后q0的q是表示与视点p不同的视点q。p以及q的下标表示图片顺序编号poc。refidxlx的正下方的向下的箭头表示参照图片索引refidxlx是在参照图片存储器306中参照了参照图片q0的索引。
112.(参照图片的示例)
113.接着，对在推导矢量时使用的参照图片的示例进行说明。图4是表示参照图片的示例的概念图。在图4中，横轴表示显示时刻，纵轴表示视点。图4所示的纵两行、横三列(共计六个)的长方形分别表示图片。六个长方形中，下面一行的从左起第二列的长方形表示解码对象的图片(对象图片)，其余的五个长方形分别表示参照图片。以从对象图片起向上的箭头表示的参照图片q0是与对象图片为相同显示时刻但视点不同的图片。在以对象图片作为基准的位移预测中，使用参照图片q0。以从对象图片起向左的箭头表示的参照图片p1是与对象图片相同的视点的过去的图片。以从对象图片起向右的箭头表示的参照图片p2是与对象图片相同的视点的未来的图片。在以对象图片作为基准的运动预测中，使用参照图片p1或p2。
114.(帧间预测标志与预测列表利用标志)
115.帧间预测标志与预测列表利用标志predflagl0、predflagl1的关系如下所述，可相互变换。因此，作为帧间预测参数，可以使用预测列表利用标志，也可以使用帧间预测标志。此外，以下，使用了预测列表利用标志的判定可以替换为帧间预测标志。反之，使用了帧间预测标志的判定也可以替换为预测列表利用标志。
116.帧间预测标志＝(predflagl1《《1)+predflagl0
117.predflagl0＝帧间预测标志&1
118.predflagl1＝帧间预测标志》》1
119.在此，》》为右移位，《《为左移位。
120.(合并预测与amvp预测)
121.预测参数的解码(编码)方法中具有合并预测(merge)模式和amvp(adaptive motion vector prediction：自适应运动矢量预测)模式，合并标志merge_flag是用于标识这些的标志。无论是合并预测模式还是amvp模式，都使用已经处理完的块的预测参数，推导对象pu的预测参数。合并预测模式是不使预测列表利用标志predflaglx(或帧间预测标志inter_pred_idc)、参照图片索引refidxlx、运动矢量mvlx包含于编码数据地直接使用已推导出的附近pu的预测参数的模式，amvp模式是使帧间预测标志inter_pred_idc、参照图片索引refidxlx、运动矢量mvlx包含于编码数据的模式。需要说明的是，运动矢量mvlx被编码为标识预测矢量mvplx的预测矢量索引mvp_lx_idx和差分矢量mvdlx。
122.帧间预测标志inter_pred_idc是表示参照图片的种类以及数量的数据，取pred_l0、pred_l1、pred_bi中的任一值。pred_l0、pred_l1表示使用分别存储于被称为l0列表、l1
列表的参照图片列表的参照图片，并表示均使用一张参照图片(单预测)。将使用了l0列表、l1列表的预测分别称为l0预测、l1预测。pred_bi表示使用两张参照图片(双预测)，并表示使用存储于l0列表和l1列表的两个参照图片。预测矢量索引mvp_lx_idx是表示预测矢量的索引，参照图片索引refidxlx是表示存储于参照图片列表的参照图片的索引。需要说明的是，lx是在不对l0预测与l1预测进行区别的情况下使用的记述方法，通过将lx替换为l0、l1，对针对l0列表的参数与针对l1列表的参数进行区别。例如，refidxl0是用于l0预测的参照图片索引，refidxl1是用于l1预测的参照图片索引，refidx(refidxlx)是在不对refidxl0与refidxl1进行区别的情况下使用的标记。
123.合并索引merge_idx是表示是否使用从处理已完成的块推导的预测参数候选(合并候选)中的任一个预测参数作为解码对象块的预测参数的索引。
124.需要说明的是，“对象块”可以是比多个预测块高一个层级的预测块，也可以是包含上述多个预测块的编码单元。
125.(运动矢量与位移矢量)
126.运动矢量mvlx中，可以分为表示不同时间的两个图片上的块间的偏移量的狭义的运动矢量(狭义的运动矢量)、和表示相同时间的两个块间的偏移量的位移矢量(disparity vector：视差矢量)。在以下的说明中，不对运动矢量和位移矢量进行区别，而简称为运动矢量mvlx。将与运动矢量mvlx相关的预测矢量、差分矢量分别称为预测矢量mvplx、差分矢量mvdlx。对于运动矢量mvlx以及差分矢量mvdlx是运动矢量还是位移矢量，使用矢量所随附的参照图片索引refidxlx来进行标识。
127.(图像解码装置的构成)
128.接着，对本实施方式的图像解码装置31的构成进行说明。图5是表示本实施方式的图像解码装置31的构成的概略图。图像解码装置31包含熵解码部301、预测参数解码部302、参照图片存储器(参照图像存储部、帧存储器)306、预测参数存储器(预测参数存储部、帧存储器)307、预测图像生成部308、逆量化/逆dct部311、以及加法部312、残差储存部313(残差记录部)而构成。
129.此外，预测参数解码部302包含帧间预测参数解码部303以及帧内预测参数解码部304而构成。预测图像生成部308包含帧间预测图像生成部309以及帧内预测图像生成部310而构成。
130.熵解码部301对从外部输入的编码流te进行熵解码，并分离各个代码(语法元素)而进行解码。经分离的代码中，具有用于生成预测图像的预测信息以及用于生成差分图像的残差信息等。
131.熵解码部301将经分离的代码的一部分输出至预测参数解码部302。经分离的代码的一部分例如是预测模式predmode、分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、以及差分矢量mvdlx。对于是否解码哪一个代码的控制，是基于预测参数解码部302的指示而进行的。熵解码部301将量化系数输出至逆量化/逆dct部311。该量化系数是在编码处理中对残差信号进行dct(discrete cosine transform：离散余弦变换)并进行量化而获得的系数。
132.帧间预测参数解码部303基于从熵解码部301输入的代码，参照存储于预测参数存
储器307的预测参数，对帧间预测参数进行解码。
133.帧间预测参数解码部303将已解码的帧间预测参数输出至预测图像生成部308，此外，存储于预测参数存储器307。对帧间预测参数解码部303的详细内容将于下文叙述。
134.帧内预测参数解码部304基于从熵解码部301输入的代码，参照存储于预测参数存储器307的预测参数，对帧内预测参数进行解码。帧内预测参数是在一个图片内对图片块进行预测的处理中使用的参数，例如，帧内预测模式intrapredmode。帧内预测参数解码部304将已解码的帧内预测参数输出至预测图像生成部308，此外，存储于预测参数存储器307。
135.帧内预测参数解码部304也可以推导在亮度和色差上不同的帧内预测模式。该情况下，帧内预测参数解码部304将亮度预测模式intrapredmodey解码作为亮度的预测参数，将色差预测模式intrapredmodec解码作为色差的预测参数。亮度预测模式intrapredmodey为35模式，平面预测(0)、dc预测(1)、方向预测(2～34)与其对应。色差预测模式intrapredmodec使用平面预测(0)、dc预测(1)、方向预测(2～34)、lm模式(35)中的任一个。帧内预测参数解码部304对指示intrapredmodec是否是与亮度模式相同的模式的标志进行解码，如果标志指示是与亮度模式相同的模式，则将intrapredmodey分配至intrapredmodec，如果标志指示是与亮度模式不同的模式，则帧内预测参数解码部304也可以将平面预测(0)、dc预测(1)、方向预测(2～34)、lm模式(35)解码作为intrapredmodec。
136.参照图片存储器306将加法部312所生成的参照图片的块(参照图片块)按解码对象的图片以及块存储于预定的位置。
137.预测参数存储器307将预测参数按解码对象的图片以及块存储于预定的位置。具体而言，预测参数存储器307存储帧间预测参数解码部303所解码的帧间预测参数、帧内预测参数解码部304所解码的帧内预测参数、以及熵解码部301所分离的预测模式predmode。所存储的帧间预测参数中，例如具有预测列表利用标志predflaglx(帧间预测标志inter_pred_idc)、参照图片索引refidxlx、以及运动矢量mvlx。
138.预测图像生成部308中输入有从熵解码部301输入的预测模式predmode，此外，从预测参数解码部302输入有预测参数。此外，预测图像生成部308从参照图片存储器306中读出参照图片。预测图像生成部308在预测模式predmode所表示的预测模式下，使用输入的预测参数和读出的参照图片来生成预测图片块p(预测图像)。
139.在此，在预测模式predmode表示帧间预测模式的情况下，帧间预测图像生成部309使用从帧间预测参数解码部303输入的帧间预测参数和读出的参照图片，通过帧间预测来生成预测图片块p。预测图片块p与预测单元pu对应。pu相当于成为如上所述地进行预测处理的单元的由多个像素形成的图片的一部分，就是说，相当于进行一次预测处理的解码对象块。
140.帧间预测图像生成部309相对于预测列表利用标志predflaglx为1的参照图片列表(l0列表或者l1列表)，根据参照图片索引refidxlx所指示的参照图片，从参照图片存储器306中读出位于以解码对象块为基准的运动矢量mvlx所示的位置的参照图片块。帧间预测图像生成部309对读出的参照图片块进行预测，生成预测图片块p。帧间预测图像生成部309将生成的预测图片块p输出至加法部312。
141.在预测模式predmode表示帧内预测模式的情况下，帧内预测图像生成部310使用从帧内预测参数解码部304输入的帧内预测参数和读出的参照图片来进行帧内预测。具体
而言，帧内预测图像生成部310从参照图片存储器306中读出为解码对象的图片且在已经解码的块中位于从解码对象块起预定的范围的参照图片块。预定的范围是在解码对象块以所谓的光栅扫描的顺序依次移动的情况下，例如左、左上、上、右上的相邻块中的任一个，根据帧内预测模式而不同。光栅扫描的顺序是在各图片中针对从上端至下端各行依次从左端移动至右端的顺序。
142.帧内预测图像生成部310在帧内预测模式intrapredmode所示的预测模式下对读出的参照图片块进行预测，生成预测图片块。帧内预测图像生成部310将生成的预测图片块p输出至加法部312。
143.在帧内预测参数解码部304中，在推导在亮度和色差上不同的帧内预测模式的情况下，帧内预测图像生成部310根据亮度预测模式intrapredmodey，通过平面预测(0)、dc预测(1)、方向预测(2～34)中的任一个来生成亮度的预测图片块，并根据色差预测模式intrapredmodec，通过平面预测(0)、dc预测(1)、方向预测(2～344)、lm模式(35)中的任一个来生成色差的预测图片块。
144.逆量化/逆dct部311将从熵解码部301输入的量化系数逆量化来求出dct系数。逆量化/逆dct部311对求出的dct系数进行逆dct(inverse discrete cosine transform：逆离散余弦变换)，计算出解码残差信号。逆量化/逆dct部311将计算出的解码残差信号输出至加法部312以及残差储存部313。
145.加法部312将从帧间预测图像生成部309以及帧内预测图像生成部310输入的预测图片块p和从逆量化/逆dct部311输入的解码残差信号的信号值按像素相加，生成参照图片块。加法部312将生成的参照图片块存储于参照图片存储器306，并将按图片整合了生成的参照图片块而得的解码层图像td输出至外部。
146.(帧间预测参数解码部的构成)
147.接着，对帧间预测参数解码部303的构成进行说明。
148.图6是表示本实施方式的帧间预测参数解码部303的构成的概略图。帧间预测参数解码部303包含帧间预测参数解码控制部3031、amvp预测参数推导部3032、加法部3035、以及合并预测参数推导部3036而构成。
149.帧间预测参数解码控制部3031向熵解码部301指示与帧间预测相关联的代码(语法元素)的解码，而提取编码数据所包含的代码(语法元素)，例如分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、以及差分矢量mvdlx。
150.帧间预测参数解码控制部3031首先提取合并标志。帧间预测参数解码控制部3031表示为提取某语法元素的情况是指向熵解码部301指示某语法元素的解码，从编码数据中读出符合的语法元素。在此，在合并标志所指示的值为1、即指示合并预测模式的情况下，帧间预测参数解码控制部3031提取合并索引merge_idx作为合并预测的预测参数。帧间预测参数解码控制部3031将提取的合并索引merge_idx输出至合并预测参数推导部3036。
151.在合并标志merge_flag为0、即指示amvp预测模式的情况下，帧间预测参数解码控制部3031使用熵解码部301从编码数据中提取amvp预测参数。作为amvp预测参数，例如有帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、以及差分矢量mvdlx。帧间预测参数解码控制部3031将从提取出的帧间预测标志inter_pred_idc推
导的预测列表利用标志predflaglx和参照图片索引refidxlx输出至amvp预测参数推导部3032以及预测图像生成部308(图5)，此外，存储于预测参数存储器307(图5)。帧间预测参数解码控制部3031将提取出的预测矢量索引mvp_lx_idx输出至amvp预测参数推导部3032。帧间预测参数解码控制部3031将提取出的差分矢量mvdlx输出至加法部3035。
152.图7是表示本实施方式的合并预测参数推导部3036的构成的概略图。合并预测参数推导部3036具备合并候选推导部30361和合并候选选择部30362。合并候选储存部303611储存从合并候选推导部30361输入的合并候选。需要说明的是，合并候选包含预测列表利用标志predflaglx、运动矢量mvlx、以及参照图片索引refidxlx而构成。在合并候选储存部303611中，索引按照规定的规则被分配至所储存的合并候选。
153.合并候选推导部30361直接使用已经进行了解码处理的相邻块的运动矢量和参照图片索引refidxlx来推导合并候选。除此之外，也可以使用仿射预测来推导合并候选。以下，对该方法进行详细说明。合并候选推导部30361可以将仿射预测使用于后述的空间合并候选推导处理、时间合并(帧间合并)候选推导处理、组合合并候选推导处理、以及零合并候选推导处理。需要说明的是，仿射预测以子块单元进行，预测参数按子块储存于预测参数存储器307。或者，仿射预测也可以以像素单元进行。
154.(空间合并候选推导处理)
155.作为空间合并候选推导处理，合并候选推导部30361按照规定的规则，读出预测参数存储器307所存储的预测参数(预测列表利用标志predflaglx、运动矢量mvlx、参照图片索引refidxlx)，并将读出的预测参数推导为合并候选。读出的预测参数是位于从解码对象块起预定的范围内的各块(例如，分别与解码对象块的左下端、左上端、右上端相接的块的全部或一部分)的预测参数。由合并候选推导部30361推导的合并候选储存于合并候选储存部303611。
156.(时间合并候选推导处理)
157.作为时间合并推导处理，合并候选推导部30361从预测参数存储器307中读出包含解码对象块的右下的坐标的参照图像中的块的预测参数，作为合并候选。参照图像的指定方法例如可以使用在切片标头中指定的参照图片索引refidxlx，也可以使用与解码对象块相邻的块的参照图片索引refidxlx中最小的参照图片索引来指定。由合并候选推导部30361推导的合并候选储存于合并候选储存部303611。
158.(组合合并候选推导处理)
159.作为组合合并推导处理，合并候选推导部30361通过将已经推导且储存于合并候选储存部303611的两个不同的完成推导的合并候选的矢量和参照图片索引分别作为l0、l1的矢量进行组合，来推导组合合并候选。由合并候选推导部30361推导的合并候选储存于合并候选储存部303611。
160.(零合并候选推导处理)
161.作为零合并候选推导处理，合并候选推导部30361推导参照图片索引refidxlx为0且运动矢量mvlx的x成分、y成分均为0的合并候选。由合并候选推导部30361推导的合并候选储存于合并候选储存部303611。
162.合并候选选择部30362选择储存于合并候选储存部303611的合并候选中分配有与从帧间预测参数解码控制部3031输入的合并索引merge_idx对应的索引的合并候选作为对
象pu的帧间预测参数。合并候选选择部30362将所选择的合并候选存储于预测参数存储器307，并且输出至预测图像生成部308(图5)。
163.图8是表示本实施方式的amvp预测参数推导部3032的构成的概略图。amvp预测参数推导部3032具备矢量候选推导部3033(矢量计算部)和矢量候选选择部3034。矢量候选推导部3033读出预测参数存储器307基于参照图片索引refidx而存储的矢量(运动矢量或位移矢量)，作为预测矢量mvplx。读出的矢量是位于从解码对象块起预定的范围内的各块(例如，分别与解码对象块的左下端、左上端、右上端相接的块的全部或一部分)的矢量。
164.矢量候选选择部3034选择矢量候选推导部3033读出的矢量候选中从帧间预测参数解码控制部3031输入的预测矢量索引mvp_lx_idx所指示的矢量候选来做为预测矢量mvplx。矢量候选选择部3034将所选择的预测矢量mvplx输出至加法部3035。
165.amvp预测参数推导部3032具备矢量候选推导部3033和矢量候选选择部3034。矢量候选储存部30331储存从矢量候选推导部3033输入的矢量候选。需要说明的是，矢量候选包含预测矢量mvplx而构成。在矢量候选储存部30331中，索引按照规定的规则被分配至所储存的矢量候选。
166.矢量候选推导部3033使用仿射预测来推导矢量候选。矢量候选推导部3033也可以将仿射预测用于后述的空间矢量候选推导处理、时间矢量(帧间矢量)候选推导处理、组合矢量候选推导处理、以及零矢量候选推导处理。需要说明的是，仿射预测以子块单元进行，预测参数按子块储存于预测参数存储器307。或者，仿射预测也可以以像素单元进行。
167.图9是表示矢量候选的一个示例的概念图。图9所示的预测矢量列表602是由在矢量候选推导部3033中推导的多个矢量候选形成的列表。在预测矢量列表602中，左右排列成一列的5个长方形分别表示指示预测矢量的区域。从左端起的第二个mvp_lx_idx的正下方的向下的箭头和其下方的mvplx表示预测矢量索引mvp_lx_idx是在预测参数存储器307中参照矢量mvplx的索引。
168.矢量候选基于矢量候选选择部3034所参照的块的矢量而生成。矢量候选选择部3034所参照的块是完成了解码处理的块，也可是从解码对象块起预定的范围的块(例如，相邻块)。需要说明的是，相邻块除了包含与解码对象块空间上相邻的块、例如左块、上块以外，还包含与解码对象块时间上相邻的块，例如从与解码对象块相同位置且显示时刻不同的块中获得的块。
169.加法部3035将从amvp预测参数推导部3032输入的预测矢量mvplx和从帧间预测参数解码控制部3031输入的差分矢量mvdlx相加，推导出运动矢量mvlx。加法部3035将推导出的运动矢量mvlx输出至预测图像生成部308(图5)。
170.图10是表示本实施方式的帧间预测参数解码控制部3031的构成的概略图。帧间预测参数解码控制部3031包含附加预测标志解码部30311、合并索引解码部30312、矢量候选索引解码部30313、以及未图示的分割模式解码部、合并标志解码部、帧间预测标志解码部、参照图片索引解码部、矢量差分解码部等而构成。分割模式解码部、合并标志解码部、合并索引解码部、帧间预测标志解码部、参照图片索引解码部、矢量候选索引解码部30313、矢量差分解码部分别对分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx进行解码。
171.(帧间预测图像生成部309)
172.图11是表示本实施方式的帧间预测图像生成部309的构成的概略图。帧间预测图像生成部309包含运动补偿部3091(预测图像生成装置)和权重预测部3094而构成。
173.(运动补偿部)
174.运动补偿部3091基于从帧间预测参数解码部303输入的预测列表利用标志predflaglx、参照图片索引refidxlx、运动矢量mvlx，从参照图片存储器306中读出位于以由参照图片索引refidxlx指定的参照图片的解码对象块的位置作为起点而偏移运动矢量mvlx的位置的块，由此，生成运动补偿图像。在此，在运动矢量mvlx并非整数矢量的情况下，实施被称为运动补偿滤波的用于生成小数位置的像素的滤波，生成运动补偿图像。运动补偿滤波中具有垂直运动补偿滤波(mcfilterver)以及水平运动补偿滤波(mcfilterhor)。以下，将l0预测的运动补偿图像称为predsamplesl0、将l1预测的运动补偿图像称为predsamplesl1。在不对两者进行区别的情况下称为predsampleslx。需要说明的是，将在后文对运动补偿部3091的构成例进行说明。
175.(权重预测部)
176.权重预测部3094通过将输入的运动位移图像predsampleslx与权重系数相乘，生成预测图片块p(预测图像)。在参照列表利用标志的一方(predflagl0或predflagl1)为1的情况(单预测的情况)下，在不使用权重预测的情况下，进行使所输入的运动位移图像predsampleslx(lx为l0或l1)与像素位数相一致的下式的处理。
177.predsamples[x][y]＝clip3(0，(1《《bitdepth)-1，(predsampleslx[x][y]+offset1)》》shift1)
[0178]
在此，shift1＝14-bitdepth，offset1＝1《《(shift1-1)。
[0179]
此外，在参照列表利用标志的两者(predflagl0和predflagl1)为1的情况(双预测的情况)下，在不使用权重预测的情况下，进行将所输入的运动位移图像predsamplesl0、predsamplesl1平均，并使其与像素位数相一致的下式的处理。
[0180]
predsamples[x][y]＝clip3(0，(1《《bitdepth)-1，(predsamplesl0[x][y]+predsamplesl1[x][y]+offset2)》》shift2)
[0181]
在此，shift2＝15-bitdepth，offset2＝1《《(shift2-1)。
[0182]
而且，在单预测的情况下，在进行权重预测的情况下，权重预测部3094从编码数据推导权重预测系数w0和偏移值(offset)o0，并进行下式的处理。
[0183]
predsamples[x][y]＝clip3(0，(1《《bitdepth)-1，((predsampleslx[x][y]*w0+2log2wd-1)》》log2wd)+o0)
[0184]
在此，log2wd是表示规定的移位量的变量。
[0185]
而且，在双预测的情况下，在进行权重预测的情况下，权重预测部3094从编码数据推导权重预测系数w0、w1、o0、o1，并进行下式的处理。
[0186]
predsamples[x][y]＝clip3(0，(1《《bitdepth)-1，(predsamplesl0[x][y]*w0+predsamplesl1[x][y]*w1+((o0+o1+1)《《log2wd))》》(log2wd+1))
[0187]
(具备梯度变化预测的运动补偿部中的预测模式的切换)
[0188]
图16是对具备使用了梯度变化(bio)预测的运动补偿功能的运动补偿部3091推导预测图像的处理的流程进行说明的流程图。在图16中表示出帧间预测参数解码部303对在
后述的step3中运动补偿部3091是否应用bio预测来推导预测图像进行判定的处理的流程。
[0189]
在帧间预测参数解码部303判定为不是双预测模式的情况(在s301中为no，即单预测unipred)下，前进至s305，运动补偿部3091进行单方向运动补偿。另一方面，在帧间预测参数解码部303判定为是双预测模式的情况(在s301中为yes，bipred)下，帧间预测参数解码部303继续进行s302所示的判定。
[0190]
如果从图片存储器306获得的l0参照图像refimgl0以及l1参照图像refimgl1(在图16中记载为“两个预测块”)是不同的参照图像(在s302中为yes)，则前进至s303，运动补偿部3091进行使用了之后将说明的bio预测的运动补偿。另一方面，如果从图片存储器306获得的l0参照图像refimgl0以及l1参照图像refimgl1是相同的参照图像(在s302中为no)，则前进至s304，运动补偿部3091进行不应用bio预测的双向运动补偿。
[0191]
(梯度变化的基本概念)
[0192]
以下，使用图17对梯度变化(optical flow)进行说明。图17是表示推导梯度变化的概念的流程的一个示例的图。
[0193]
当假设像素值i(x，y，t)在时间间隔δt之间即使移动δx和δy也不产生变化、即像素值不产生变化而仅是其位置产生变化时，图17的算式1成立。
[0194]
某一点上的像素值的变化如图17的算式2所示，可以分解为梯度变化和时间变化。在此，梯度变化可以表示为像素值i的x方向的偏微分与y方向的偏微分的和，时间变化可以表示为像素值i的t方向的偏微分。
[0195]
通过上述的算式1以及算式2，推导出图17的算式3。而且，通过将该算式3的两边除以时间间隔δt，推导出图17的算式4。
[0196]
在此，如果分别将单位时间变化的x方向(例如水平方向)的位置的变化(δx/δt)以及单位时间变化的y方向(例如垂直方向)的位置的变化(δy/δt)设为vx以及vy，则图17的算式4可以表示为算式5的形式的算式。
[0197]
该算式5表示在假设为像素值不产生变化而仅是其位置产生变化的情况下，将像素值i的x方向的变化量乘以vx而得的值、像素值i的y方向的变化量乘以vy而得的值、以及像素值i的时间变化量相加而得值始终为0。即，在像素值不产生变化的假设中，梯度的变化与时间变化具有相互抵消(均衡)的关系。通过梯度变化的算式，表示出根据像素值i的x方向的变化量、位置的变化vx(＝δx/δt)、y方向的变化量、以及位置的变化vy(＝δx/δt)的积，可以预测出像素值i的时间变化。在以下的处理的说明中，将像素值i的x方向的变化量称为水平梯度值lx0、lx1，将像素值i的y方向的变化量称为垂直梯度值ly0、ly1，将位置的变化(vx，vy)称为校正矢量(u，v)。
[0198]
(关于bio预测)
[0199]
在此，使用图15至图20，对使用了bio预测的运动补偿进行说明。运动补偿部3091具备进行应用了bi-directional optical flow(双预测梯度变化：bio)预测的运动补偿的模式，所述bi-directional optical flow(双预测梯度变化：bio)预测对双预测(bipred)应用梯度校正项来进行运动校正。
[0200]
即，运动补偿部3091使用以下的预测式
[0201]
pred＝{(p0+p1)+shiftoffset}》》shiftpred
ꢀꢀ
(算式a1)，
[0202]
来推导预测图像(作为预测对象的对象图像)的各像素值pred。需要说明的是，p0
是运动补偿图像p0的像素值，p1是运动补偿图像p1的像素值。shiftoffset是移位时进行循环控制(round control)的常数，shiftpred是移位值。
[0203]
而且，运动补偿部3091使用以下的预测式
[0204]
pred＝{(p0+p1)+modbio+shiftoffset}》》shiftpred
ꢀꢀ
(算式a2)，
[0205]
来推导预测图像的像素值pred。需要说明的是，modbio是通过
[0206]
modbio＝{(lx0-lx1)*u+(ly0-ly1)*v》》1}《《shiftpred
ꢀꢀ
(算式a3)
[0207]
来推导的梯度校正项。在算式a3中，lx0(第一梯度图像)、ly0(第二梯度图像)、lx1(第三梯度图像)、以及ly1(第四梯度图像)分别为梯度图像。梯度图像lx0以及lx1表示沿着水平方向(x方向、第一方向)的梯度，梯度图像ly0以及ly1表示沿着垂直方向(y方向、第二方向)的梯度。此外，u以及v分别是与lx0以及lx1、ly0以及ly1的各像素值相乘的权重系数。
[0208]
(bio预测的处理的概要)
[0209]
首先，使用图15，对运动补偿部3091参照运动补偿图像p0(第一参照图像)、运动补偿图像p1(第二参照图像)、以及梯度校正项生成预测图像(帧间预测图像)的处理的流程进行说明。图15是表示使用了bio预测的运动补偿中的处理的流程的流程图。
[0210]
如图15所示，在使用了bio预测的运动补偿中，运动补偿部3091进行下述的step1～step3的三阶段的处理，推导预测图像。
[0211]
step1：推导插补/预测像素值
[0212]
对运动补偿图像p0和p1、梯度图像lx0、lx1、ly0、以及ly1进行推导。运动补偿部3091基于l0参照图像refimgl0(第一参照图像)生成运动补偿图像p0，基于l1参照图像refimgl1(第二参照图像)生成运动补偿图像p1。而且，运动补偿部3091基于l0参照图像refimgl0(第一参照图像)推导l0水平梯度图像lx0以及l0垂直梯度图像ly0，基于l1参照图像refimgl1推导l1垂直梯度图像lx1以及l1垂直梯度图像ly1。需要说明的是，refimgl0、refimgl1、p0、p1、lx0、lx1、ly0、ly1具有表示作为二维信息的参照图像refimgl01[x][y]、refimgl1[x][y]、运动补偿图像p0[x][y]、p1[x][y]、梯度图像lx0[x][y]、lx1[x][y]、ly0[x][y]、ly1[x][y](x、y是具有规定的范围的整数)的情况和表示参照图像值refimgl0、refimgl1、运动补偿图像值p0、p1、梯度值lx0、lx1、ly0、ly1的情况。
[0213]
step2：推导梯度校正权重
[0214]
其次，运动补偿部3091对校正权重矢量(vx，vy)(以下，有时也标记为表示vx＝u、vy＝v的(vx，vy))进行推导。运动补偿部3091可以使用图17的算式5推导校正权重矢量(vx，vy)，也可以如下文所述，使用最小平方法推导。
[0215]
在使用图17的算式5来推导校正权重矢量(vx，vy)的情况下，运动补偿部3091使用多个点上的梯度变化di/dx(即lx)、di/dy(即ly)、以及时间变化di/dt，推导出满足使图17的算式5的左边的平方达到最少的条件的vx以及vy即可。
[0216]
如图18所示，对象图像cur上的点i的像素值i、l0参照图像refimgl0上的点l0(lx0，ly0)的像素值i0、以及l1参照图像refimgl1上的点l1(lx1，ly1)的像素值i1相对应。需要说明的是，图18中仅示出了点l0的x成分以及点l1的x成分，但点l0的y成分以及点l1的y成分也是同样的。当在对象区域中梯度变化的假设(像素值不产生变化而仅是其位置产生变化)成立时，i＝i0＝i1成立。当关注作为空间上的像素值的变化量的梯度时，l0参照图像refimgl0上的某一点的像素值i0能够使用另一点的像素值p0与p0上的梯度和i0与p0的距
离，根据i0＝p0+梯度
×
距离而进行预测。在此，梯度为(lx0，ly0)，io与p0的距离为(vx，vy)。同样地，l0参照图像refimgl0上的某一点的像素值i1也可以使用另一点的像素值p1与p1处的梯度和i1与p1的距离，根据i1＝p0+梯度(lx1，ly1)*距离(-vx，-vy)而进行推导。而且，对于成为对象图像cur的目标的点i的像素值，其预测值可以从推导出的像素值i0与像素值i1的平均值或加权平均值中高精度地推导出。根据像素值i0与像素值i1相等的假设，能够通过推导出使i0与i1的差分最小化的参数(vx，vy)而推导出距离(vx，vy)＝校正权重矢量(u，v)。
[0217]
如果更具体地进行说明，l0参照图像refimgl0上的点l0(lx0，ly0)的像素值i0能够使用l0参照图像refimgl0上的某一运动补偿图像p0的像素值p0、梯度图像的像素值lx0、ly0、校正权重矢量(u，v)(图18的vx与u对应，未图示的vy与v对应)，通过
[0218]
l0＝p0+{lx0*u+ly0*v}
ꢀꢀ
(算式a4)
[0219]
而获得。
[0220]
同样地，l1参照图像refimgl1上的点l1(lx1，ly1)的像素值i1能够使用l1参照图像refimgl1上的某一运动补偿图像p1的像素值p1、梯度图像的像素值lx1、ly1、校正权重矢量(u，v)，通过
[0221]
l1＝p1-{lx1*u+ly1*v}
ꢀꢀ
(算式a5)
[0222]
而获得。
[0223]
运动补偿部3091将作为预测对象的图像的对象图像cur上的点i的像素值i预测为l0参照图像refimgl0上的点l0的像素值l0以及l1参照图像refimgl1上的点l1的像素值l1的平均，即
[0224]
i＝(l0+l1)》》1
[0225]
＝{p0+p1+(lx0-lx1)*u+(ly0-ly1)*v}》》1
ꢀꢀ
(算式a6)
[0226]
(与图17的算式1对应)。在此，作为未知数的校正权重矢量的x成分u以及y成分v能够根据像素值不产生变化的假设通过如下的方式推导出。
[0227]
运动补偿部3091为了推导出校正权重矢量(u，v)，对通过假设为l0参照图像refimgl0上的点l0的像素值l0以及l1参照图像refimgl1上的点l1的像素值l1不产生变化时的算式
[0228]
σ
│
l0-l1
│2＝σ
│
(p0-p1)+(lx0+lx1)*u+(ly0+ly1)*v
│2ꢀꢀ
(算式a7)
[0229]
而获得的值达到最小的u以及v进行推导。在此，σ相当于在作为对象的像素(x，y)以及其周围的点(x+dx，y+dy)(例如dx＝-2..2，dy＝-2..2)处计算出p0、p1、lx0、ly0、ly0、ly1，并将由它们形成的值相加的运算。需要说明的是，在算式a7中，在设为(p0-p1)＝t1、(lx0+lx1)＝t2、以及(ly0+ly1)＝t3时，通过算式a7而获得的值达到最小的u以及v赋予通过
[0230]
σ
│
l0-l1
│2＝σ
│
t1+t2*u+t3*v
│2ꢀꢀ
(算式a8)
[0231]
获得的值的最小值。
[0232]
step3：推导梯度校正双预测图像。
[0233]
接着，运动补偿部3091将在step2中推导出的校正权重矢量(u，v)代入算式a3，推导梯度校正项modbio，并利用
[0234]
pred＝p0+p1+{(lx0-lx1)*u+(ly0-ly1)*v}》》1
ꢀꢀ
(算式a9)
[0235]
来推导预测图像的像素值pred。需要说明的是，也可以将梯度校正项modbio减弱至1/2，而如
[0236]
pred＝(p0+p1+{(lx0-lx1)*u+(ly0-ly1)*v}》》1)》》1
ꢀꢀ
(算式a10)那样使用。
[0237]
接着，对上述的各step的处理进行详细的说明。需要说明的是，在此，列举运动补偿部3091推导(生成)运动补偿图像以及梯度图像的情况为示例进行说明，但运动补偿部3091也可以是不推导图像而推导图像所包含的像素值的构成。即，运动补偿部3091也可以推导运动补偿图像的像素值以及梯度图像的像素值。即，各step是按各像素进行的独立的运算，所以无论是在某块图像单元中依次进行各step，还是在某块像素单元中进行各step且只在某块图像上反复进行，都能够获得相同的结果。具体而言，各step的处理可以在推导出与某预测块对应的运动补偿图像p0[][]、p1[][]、梯度图像lx0[][]、ly0[][]、lx1[][]、ly1[][]之后，推导梯度校正项(图像)，并推导预测图像pred[][]，也可以在推导出与某一点对应的运动补偿像素值p0、p1和梯度图像值lx0、ly0、lx1、ly1之后，对某预测块的各个点进行推导梯度校正项并推导预测像素值pred的处理。
[0238]
以下，参照表示运动补偿部3091的构成的图21，对各step的详细内容进行说明。
[0239]
(step1的详细内容)
[0240]
运动补偿部3091(运动补偿推导部309111)基于l0参照图像refimgl0以及l1参照图像refimgl1，推导运动补偿图像p0以及p1(也称为基础运动补偿图像)。而且，运动补偿部3091(梯度推导部309112)对推导出的运动补偿图像p0以及p1推导水平梯度图像lx0以及lx1和垂直梯度图像ly0以及ly1。
[0241]
运动补偿推导部30911在对参照图像应用了垂直运动补偿滤波(mcfilterver)之后，接着应用水平运动补偿滤波(mcfilterhor)，由此，推导运动补偿图像p0以及p1。
[0242]
左上块坐标(xpb，ypb)的块内坐标(x，y)的参照图像的整数位置(xint，yint)以及相位(xfrac，yfrac)为
[0243]
xint＝xpb+(mvlx[0]》》2)+x
[0244]
xfrac＝mvlx[0]&3
[0245]
yint＝ypb+(mvlx[1]》》2)+y
[0246]
yfrac＝mvlx[1]&3
ꢀꢀ
(算式a11)。在此，虽然将运动矢量的精度假设为1/4像素精度，但运动矢量精度并不限定于此，也可以是1/8、1/16、
…
、1/64等。在运动矢量精度为1/mpel精度的情况下，在(算式a11)中，使用采用log2(m)作为用于推导整数位置xint、yint的移位值，采用m-1作为用于推导相位xfrac、yfrac的逻辑和(&)所使用的值的以下的算式即可。
[0247]
xint＝xpb+(mvlx[0]》》(log2(m)))+x
[0248]
xfrac＝mvlx[0]&(m-1)
[0249]
yint＝ypb+(mvlx[1]》》(log2(m)))+y
[0250]
yfrac＝mvlx[1]&(m-1)
[0251]
在滤波系数的位深例如为mc_accu的情况下，滤波后图像的位深成为将参照图像的位深bitdepthy与mc_accu相加而得的值，即bitdepthy+mc_accu。为了使滤波后图像的位深回到参照图像的位深，需要mc_accu的右移位作为用于调整动态范围的右移位。在此，在
对两个的滤波进行串行预处理的情况下，在第一次的滤波运算的输出中，使用高于bitdepth的中间位深internal_bit_depth，而在第二次的滤波运算的输出中，从internal_bit_depth回到bitdepth较为适当。此时，用于调整第一次和第二次的滤波的动态范围的移位值shift1、shift2分别设定为以下即可。
[0252]
shift1＝bitdepthy-(internal_bit_depth-mc_accu)
[0253]
shift2＝mc_accu(＝6)
ꢀꢀ
(算式a12)
[0254]
在此，分别为bitdepthy表示参照图像的位深，internal_bit_depth表示中间位深，mc_accu表示运动补偿滤波mcfilter的精度。需要说明的是，mc_accu并不限定于6，能够使用3～10等值。
[0255]
利用垂直运动补偿滤波mcfilterver，在x＝0..blkw-1、y＝0..blkw-1、k＝0..tap-1、offset1＝1《《(shift1-1)时，采用运动补偿滤波的系数mcfilter[][]与参照图像refimg[][]的积和作为通过移位值shift1调整值域(动态范围)而得的值，通过
[0256]
temp[x][y]＝(σmcfilterver[yfrac][k]*refimg[xint][yint+k-ntap/2+1]+offset1)》》shift1
[0257]
bitdepth(temp[][])＝bitdepthy+mc_accu-shift1＝internal_bit_depth(＝14)
ꢀꢀ
(算式a13)
[0258]
推导出用作中间数据的临时的图像temp[][]。在此，bitdepth(temp[][])表示临时的图像temp[][]的位深。临时的图像temp[][]的位深成为从参照图像的位深bitdepthy与运动补偿滤波的精度mc_accu的和中减去滤波处理时的右移位值shift1而得的值。在此，将该值称为中间位深internal_bitdepth。
[0259]
另一方面，利用水平运动补偿滤波mcfilterhor，在x＝0..blkw-1、y＝0..blkw-1、k＝0..tap-1、offset2＝1《《(shift2-1)时，采用由运动补偿滤波的系数mcfilter[][]与垂直运动补偿滤波mcfilterver推导出的临时的图像temp[][]的积和作为通过移位值shift2调整值域而得的值，通过
[0260]
px[x][y]＝(σmcfilterhor[xfrac][k]*temp[x+k-ntap/2+1][y]+offset2)》》shift2
[0261]
bitdepth(px[][])＝internal_bitdepth+mc_accu-shift2＝internal_bit_depth
ꢀꢀ
(算式a14)
[0262]
推导出运动补偿图像px[][](px为p0或p1)。作为在该处理中利用的8抽头的运动补偿滤波mcfilterver、mcfilterhor的具体例，在图19(a)中示出运动补偿滤波mcfilter[nfrac][pos](nfrac＝0..3，pos＝0..7)。nphases表示相位的个数，ntaps表示抽头数。图19(a)所示的运动补偿滤波mcfilter[][]所包含的{0，0，0，64，0，0，0，0}与nfrac＝0、{-1，4，-10，58，17，-5，1，0}与nfrac＝1、{-1，4，-11，40，40，-11，4，-1}与yfrac＝2、{0，1，-5，17，58，-10，4，-1}与nfrac＝3分别对应。在此，nfrac与xfrac或yfra对应。
[0263]
接着，对梯度推导部309112推导水平梯度图像lx0以及lx1的情况进行说明。
[0264]
左上块坐标(xpb，ypb)的块内坐标(x，y)的参照图像的整数位置(xint，yint)以及相位(xfrac，yfrac)能够通过上述的算式a11而获得。然后，运动补偿部3091利用上述的算式a12推导水平梯度图像lx0以及lx1。
[0265]
在此，利用垂直运动补偿滤波mcfilterver，在x＝0..blkw-1、y＝0..blkw-1、k＝
0..tap-1、offset1＝1《《(shift1-1)时，通过上述的算式a13推导出临时的图像temp[][]。
[0266]
另一方面，利用水平梯度补偿滤波gradfilterhor，在x＝0..blkw-1、y＝0..blkw-1、k＝0..tap-1、offset2＝1《《(shift2-1)时，采用由梯度滤波的系数gradfilter[][]与垂直运动补偿滤波mcfilterver推导出的临时的图像temp[][]的积和作为通过移位值shift2调整值域而得的值，通过
[0267]
lxx[x][y]＝(σgradfilter[xfrac][k]*temp[x+k-ntap/2+1][y]+offset2)》》shift2
[0268]
bitdepth(lxx[][])＝internal_bitdepth+grad_accu-shift2＝internal_bit_depth
ꢀꢀ
(算式a15)
[0269]
推导出水平梯度图像lxx[][](lxx为lx0或lx1)。在此，bitdepth(px[][])表示滤波处理图像temp[][]的位深。滤波处理图像temp[][]的位深成为从参照图像的位深bitdepthy与运动补偿滤波的精度mc_accu的和中减去滤波处理时的右移位值shift1而得的值。在此，将临时的滤波处理图像的位深称为internal_bit_depth。grad_accu表示梯度补偿滤波gradfilter的精度。作为如此设定的8抽头的梯度补偿滤波gradfilter的具体例，在图19(b)中示出梯度补偿滤波gradfilter[nphases][ntaps]。
[0270]
接着，对梯度推导部309112推导垂直梯度图像ly0以及ly1的情况进行说明。
[0271]
梯度推导部309112在参照l0参照图像refimgl0以及l1参照图像refimgl1而应用了垂直梯度补偿滤波(gradfilterver)之后，接着应用水平运动补偿滤波(mcfilterhor)，由此，推导垂直梯度图像ly0以及ly1。
[0272]
左上块坐标(xpb，ypb)的块内坐标(x，y)的参照图像的整数位置(xint，yint)以及相位(xfrac，yfrac)能够通过上述的算式a11而获得。然后，运动补偿部3091使用上述的算式a12推导垂直梯度图像ly0以及ly1。
[0273]
在此，利用垂直梯度补偿滤波gradfilterver，在x＝0..blkw-1、y＝0..blkw-1、i＝0..tap-1、offset1＝1《《(shift1-1)时，采用运动补偿滤波的系数mcfilter[][]与参照图像refimg[][]的积和作为通过移位值shift1调整值域而得的值，通过
[0274]
temp[x][y]＝(σgradfilter[yfrac][i]*refimg[xint][yint+i-ntap/2+1]+offset1)》》shift1
[0275]
bitdepth(temp[][])＝bitdepthy+grad_accu-shift1＝internal_bitdepth(＝14)
ꢀꢀ
(算式a16)
[0276]
推导出临时的图像temp[][]。
[0277]
另一方面，利用水平运动补偿滤波fracfilterhor，在x＝0..blkw-1、y＝0..blkw-1、i＝0..tap-1、offset2＝1《《(shift2-1)时，采用由运动补偿滤波的系数mcfilter[][]与垂直运动补偿滤波mcfilterver推导出的临时的图像temp[][]的积和作为通过移位值shift2调整值域而得的值，通过
[0278]
lxx[x][y]＝(σfracfilterhor[xfrac][i]*temp[x+i-ntap/2+1][y]+offset2)》》shift2
[0279]
bitdepth(px[][])＝internal_bit_depth+grad_accu-shift2＝internal_bit_depth
ꢀꢀ
(算式a17)
[0280]
推导出垂直梯度图像lyx[][](lyx为ly0或ly1)。
[0281]
(step2的详细内容)
[0282]
梯度校正系数部30912也可以利用最小平方法来推导通过上述的算式a7或算式a8获得的值达到最小的校正权重矢量(u，v)。对此，使用图20进行说明。图20是对使用最小平方法来推导校正权重矢量(u，v)的方法进行说明的图。
[0283]
梯度积推导部309121对中间参数s1～s6(梯度积)进行推导。当以行列式表示图20(a)的算式6(上述的算式a8)时，可以表示为算式7那样。接着，如果将中间参数s1～s6(以下，有时也称为“梯度积s1”等)设为
[0284]
s1＝σ(t2*t2)
[0285]
s2＝s4＝σ(t2*t3)
[0286]
s3＝σ(-t1*t2)
[0287]
s5＝σ(t3*t3)
[0288]
s6＝σ(-t1*t3)
ꢀꢀ
(算式a18)
[0289]
则算式7能够简略化为算式8那样。如果对于u以及v求解该算式8，则能够如算式9所示那样推导校正权重矢量(u，v)。在此，如果设为det＝s1s5-s2s4、det1＝s3s5-s2s6、det2＝s1s6-s3s4，则能够标记为校正权重矢量(u，v)＝(det1/det，det2/det)。
[0290]
需要说明的是，由于t1＝(p0-p1)＝t1、t2＝(lx0+lx1)＝t2、以及t3＝(ly0+ly1)，因此中间参数s1～s6分别为以用如图20(b)所示的算式表示的值。
[0291]
梯度校正系数推导部309122也可以采用使用s1至s6来推导校正权重矢量u，v的如以下所说明那样的简易解决方案，来推导校正权重矢量(u，v)。根据图20(a)所示的算式8的行列式以及s4＝s2，可以获得
[0292]
s1*u+s2*v＝s3
[0293]
s2*u+s5*v＝s6
ꢀꢀ
(算式a19)。
[0294]
在此，当假设s2*v＝0时，从上述的算式求出校正权重矢量(u，v)为
[0295]
u＝s3/s1
[0296]
v＝(s6-s2*u)/s5
ꢀꢀ
(算式a20)。
[0297]
此外，梯度校正系数推导部309122也可以例如使用使u左移位shiftbio位的整数值uh(即，uh＝u《《shiftbio)、使v左移位shiftbio位的整数值vh(即，vh＝v《《shiftbio)代替实际上需要小数点精度的运算的校正权重矢量(u，v)，来进行整数运算。在shiftbio＝5的情况下成为1/32的精度。需要说明的是，上述uh并非是在推导出小数精度精度的值u之后左移位规定数shiftbio来推导整数精度而得的值，而是直接以整数运算直接推导相当于u《《shiftbio的大小的uh。因此，求出uh以及vh分别为
[0298]
uh＝(s3《《5)/s1
[0299]
vh＝((s6《《5)-s2*uh)/s5
ꢀꢀ
(算式a21)。
[0300]
也可以通过算式
[0301]
v＝s6/s5
[0302]
u＝(s3-s2*v)/s1
ꢀꢀ
(算式a22)
[0303]
来推导。
[0304]
需要说明的是，在推导图20(b)所示的中间参数s1～s6的情况下，梯度校正系数推导部309122也可以进一步插入发挥使前述的梯度校正项modbio的值接近0的效果的正规化
项regcost(正规化成本)。即，梯度校正系数推导部309122也可以导入正规化项regcost，而将中间参数s1以及s5推导为
[0305]
s1＝s1+regcost
[0306]
s5＝s5+regcost(算式a23)。在此，正规化项regcost也可以例如推导为
[0307]
regcost＝(1《《2*internal_bit_depth)》》regshiftbio(＝5)。
[0308]
运动补偿部3091也可以推导使u以及v分别左移位整数运算用的shiftbio而得的值uh以及vh，即
[0309]
uh＝(s3《《shiftbio)/s1
[0310]
vh＝(s6《《shiftbio)-s2*u/s5
ꢀꢀ
(算式a24)
[0311]
代替校正权重矢量(u，v)，来进行整数运算。
[0312]
在step2的最后，梯度校正系数推导部309122在规定的值域(-rangebio～rangebio)中对uh以及vh进行剪辑(clip)处理。即，梯度校正系数推导部309122进行由算式
[0313]
rangebio＝(1《《shiftbio)*mvth
[0314]
uh＝clip3(-rangebio，rangebio，uh)
[0315]
vh＝clip3(-rangebio，rangebio，vh)
ꢀꢀ
(算式a25)
[0316]
表示的剪辑处理。需要说明的是，mvth例如为2/3pel。
[0317]
(step3的详细内容)
[0318]
梯度校正双预测推导部30913将在step2中推导出的校正权重矢量(u，v)代入算式a3，推导梯度校正项modbio，并利用上述的算式a9来推导预测图像的像素值pred。需要说明的是，也可以将梯度校正项modbio减弱至1/2，而如上述的算式a10那样使用。
[0319]
在梯度校正双预测推导部30913所进行的整数运算中，利用上述的算式a2所示的预测式来推导预测图像的像素值pred。梯度校正双预测推导部30913使用算式
[0320]
shiftpred＝internal_bit_depth-bitdepthy+1
[0321]
modbio＝{(lx0-lx1)*uh+(ly0-ly1)*vh}》》shiftbio2
ꢀꢀ
(算式a26)来推导梯度校正项modbio。需要说明的是，
[0322]
shiftbio2＝shiftbio+bitdepth(mcimg)-bitdepth(gradimg)+1
ꢀꢀ
(算式a27)。
[0323]
在此，bitdepth(mcimg)为运动补偿图像的位深，与上述的bitdepth(px[][])对应。bitdepth(gradimg)为梯度图像的位深，与上述的bitdepth(lxx[][])、bitdepth(lxx[][])对应。因此，如上所述，各位深中，
[0324]
bitdepth(mcimg)＝bitdepth+2*mc_accu-(shift1+shift2)
[0325]
bitdepth(gradimg)＝bitdepth+2*(mc_accu+grad_accu)-(shift1+shift2) (算式a28)
[0326]
成立。
[0327]
在运动补偿滤波的精度mv_accu与梯度补偿滤波的精度grad_accu相等的情况下，由于bitdepth(mcimg)＝bitdepth(gradimg)，因此算式(a27)被简化，而成为
[0328]
shiftbio2＝shiftbio+1
ꢀꢀ
(算式a29)。
[0329]
(运动补偿部3091的构成例)
[0330]
在此，参照图22和图23并使用图21，对进行上述的step1以及step2的处理的运动补偿部3091的构成进行说明。图21是表示运动补偿部3091的构成的一个示例的框图。图22
是表示运动补偿部3091所进行的bio预测的处理工序的一个示例的流程图。图23是表示图22的s22a的工序的一个示例的流程图。
[0331]
图21所示的运动补偿部3091(预测图像生成装置、预测图像生成部)具备运动补偿梯度部30911以及梯度校正系数部30912。运动补偿梯度部30911具备运动补偿推导部309111以及梯度推导部309112(第一切换部)，另一方面，梯度校正系数部30912具备梯度积推导部309121以及梯度校正系数推导部309122(第二切换部，剪辑部)。
[0332]
在step1中，运动补偿推导部309111从参照图片存储器306中读出用作参照图像的l0参照图像refimgl0[][]以及l1参照图像refimgl1[][]，来对运动补偿图像p0以及p1(图22的s11a)进行推导
[0333]
接着，梯度推导部309112对运动补偿推导部309111推导出的运动补偿图像p0(p0[][])以及p1(p1[][])推导出水平梯度图像lx0(lx0[][])以及lx1(lx1[][])、垂直梯度图像ly0(ly0[][])以及ly1(ly1[][])(图22的s12a)。
[0334]
作为梯度推导部309112推导梯度图像lx0、lx1、ly0、以及ly1时使用的滤波组(梯度校正滤波(filter)、梯度滤波(filter)、滤波(filter)系数)，也可以是对分解能不同的多个滤波组进行切换的构成。例如，运动补偿部3091可以是具备梯度推导部309112(第一切换部)的构成，所述梯度推导部309112(第一切换部)是从规定的滤波组的组(例如高分解能滤波和低分解能滤波)中选择某一滤波组而切换滤波组的构成。
[0335]
接着，在step2中，梯度积推导部309121对上述的中间参数s1～s6(梯度积)进行推导(图22的s21a)。
[0336]
接着，梯度校正系数推导部309122使用梯度积推导部309121推导出的中间参数s1(s1[][])～s6(s6[][])(梯度积)来推导校正权重矢量(u[][]，v[][])的元素u[][]以及v[][](梯度校正系数，在整数运算中为uh[]、vh[][])(图22的s22a)。在此，在图片构成为随机接入(random access)的情况下，梯度校正系数推导部309122假设对象图像cur与l0参照图像refimgl0的距离(t0)(图片间距离)等于对象图像cur与l1参照图像refimgl1的距离(t1)(图片间距离)。
[0337]
最后，在step3中，梯度校正双预测推导部30913使用在step2中推导出的校正权重矢量(u，v)作为与运动位移图像predsampleslx相乘的权重系数(算式a3，参照算式a26)，来推导梯度校正项modbio[][](图22的s31a)。然后，梯度校正双预测推导部30913对梯度校正双预测图像(预测图像，完成校正的预测图像)的像素值pred进行推导(图22的s32a)。
[0338]
此外，如果使用图23来说明图22的s22a的处理的改进例，则如下所述。梯度校正系数推导部309122将正规化项regcost与梯度积推导部309121推导出的中间参数s1～s6(梯度积)相加(s221a)。接着，梯度校正系数推导部309122推导出使u以及v分别左移位整数运算用的shiftbio而得的值uh以及vh(梯度校正系数)，来代替校正权重矢量(u，v)(s222a)。然后，梯度校正系数推导部309122(剪辑部)进行剪辑处理，用以将推导出的梯度校正系数uh以及vh(各权重系数)制约于规定的值域(s223a)。
[0339]
需要说明的是，图22的工序并不限定于此，如图25以及图26所示，s22a也可以是包括按块来推导中间参数s1～s6(梯度积)的工序s220a、或包括对梯度校正系数uh以及vh(各权重系数)应用滤波的工序s225a的处理。需要说明的是，通过图25以及图26所示的处理的流程来推导梯度校正系数uh以及vh(各权重系数)的示例将在后文进行说明。
[0340]
(运动补偿部3091的其它构成例)
[0341]
需要说明的是，在图21所示的运动补偿部3091的构成中，使用梯度积推导部309121推导出的中间参数s1(s1[][])～s6(s6[][])(梯度积)也推导校正权重矢量(u[][]，v[][])的元素u[][]以及v[][](梯度校正系数)(step3)，但并不限定于此。
[0342]
例如，如图24所示，运动补偿部3091所具备的梯度校正双预测推导部30913也可以是进一步具备帧间距离权重推导部309131的构成。帧间距离权重推导部309131也可以是如下的构成：从帧间预测参数解码部303中获得对象图像cur与参照图像p0的图片间隔t0(第一图片间隔)以及该对象图像cur与参照图像p1的图片间隔t1(第二图片间隔)，并使用这些来推导梯度校正项modbio[][](参照后述的算式a40、算式a44等)，从而推导梯度校正双预测图像(预测图像)的像素值pred。需要说明的是，帧间距离权重推导部309131设为梯度双预测推导部30913的一部分，但也可以是设为其它单元的一部分的构成。
[0343]
(step1：梯度图像的生成)
[0344]
梯度推导部309112对运动补偿图像p0以及p1推导水平梯度图像lx0以及lx1和垂直梯度图像ly0以及ly1。在推导梯度图像lx0、lx1、ly0、以及ly1时，作为梯度推导部309112所使用的梯度补偿滤波(gradfilter)，也可以是具备多个滤波组、例如高分解能滤波组以及低分解能滤波组的构成。需要说明的是，滤波组是指相位nfrac、位置pos的滤波系数gradfilter[nfrac][pos](在此，nfrac＝0..m-1，pos＝0..ntaps-1)。需要说明的是，也可以将滤波系数的集合(滤波组)简称为滤波系数。
[0345]
高分解能滤波是指用于推导相对陡峭的梯度的滤波，由于像素值的小变化的影响较大，因此对噪音较为敏感。大体来说，推导1像素单元的像素值的差分的滤波系数[1-1]/2与之相当。低分解能滤波是指推导出相对平缓的梯度变化的滤波，对噪音的耐受性相对较强。大体来说，推导2像素单元的差分的滤波系数[1，1，-1，-1]/4与之相当。
[0346]
梯度变化(optical flow)基于某一点的梯度在规定的范围内固定的假设。该假设在像素位置的校正矢量(u，v)小于1像素的情况下相对成立。就是说，在校正像素位置的距离小于1像素的距离时，梯度固定的假设成立。但是，在校正矢量例如变大为2～3像素等时，梯度固定的假设不成立。高分解能滤波例如能够推导像素单元的陡峭的梯度，因此梯度固定的假设成立，在像素位置的校正矢量(u，v)小于1像素的范围内有效。另外，仔细来看，在小于1像素的距离下，即使是梯度固定的假设不成立的情况，当对整体上平缓的变化(并非从具有锯齿状的变化的曲线，而是从施加了低通滤波后的曲线中推导梯度那样的假设)进行观察时，梯度固定的假设也成立。低分解滤波用于推导这种相对平缓的变化，可以认为比高分解滤波对像素位置的校正矢量(u，v)例如超过1像素那样的情况更有效。
[0347]
在此，低分解能滤波组可以是高分解能滤波与低通滤波的卷积，高分解能滤波组也可以是高通滤波。需要说明的是，也可以导入在对运动补偿图像p0以及p1应用高斯滤波之后继续应用规定的梯度滤波的方法，代替低分解能滤波。需要说明的是，对运动补偿图像p0以及p1应用拉普拉斯滤波之后应用的梯度补偿滤波理想为高分解能滤波。
[0348]
梯度推导部309112切换的多个滤波组在分解能的不同上，具有下述的关系。在某一滤波组a与滤波组b之间，滤波组a(例如高分解能滤波)的分割能比滤波组b高是指在参照滤波组所具备的滤波系数的曲线图的情况下，滤波组a的曲线图比滤波组b陡峭，滤波组b的曲线图比滤波组a平缓的情况。具体而言，是指滤波组a与滤波组b的滤波系数满足以下的关
系中的任一个的情况。
[0349]
·
对于滤波系数的绝对值
│
gradfilter[nfrac][pos]
│
的值，滤波组a(高分解能滤波组)大于滤波组b(低分解能滤波组)。即，滤波组a(高分解能滤波组)的滤波系数的最大值为滤波组b(低分解能滤波)组的滤波系数的最大值以上(关系r1)。
[0350]
或者，
[0351]
·
对于在gradfilter[nfrac][pos]中相邻的滤波系数差分的绝对值|gradfilter[nfrac][pos]-gradfilter[nfrac][pos+1]|的最大值，滤波组a(高分解能滤波组)小于滤波组b(低分解能滤波组)(关系r2)。
[0352]
·
在与中心的相位nfracc(在1/m像素精度滤波的情况下，nfracc＝m/2)对应的滤波系数gradfilter[nfracc][pos]中，在参照了中心位置posc(posc＝tap/2)的滤波系数gradfilter[n][posc]和与中心位置pos相邻的posc+1的滤波系数gradfilter[n][posc+1]的情况下，具有在滤波组a(高分解能滤波组)中两个滤波系数的代码相互不同，在滤波组b(低分解能滤波组)中两个滤波系数的代码相互相等的关系(关系r3)。
[0353]
·
在对gradfilter[nfrac][pos]进行了频率变换的情况下，滤波组a的高频率成分的量大于滤波组b的高频率成分的量(关系r4)。
[0354]
例如，参照图27，由于为1/4像素精度(m＝4)且8抽头滤波(tap＝8)，因此，中心的相位nfracc＝2，中心位置posc＝4。此时，如果提取中心相位nfracc中的滤波组a的示例filter1的滤波系数和滤波组b的示例filter2的滤波系数，则如下所述。
[0355]
{0，-1，4，-57，57，-4，1，0}》》4滤波组a(filter1)
[0356]
{-1，2，-50，-53，53，50，-2，1}》》5滤波组b(filter2)
[0357]
以下，简单地示出在上述例的滤波中关系r1～r3成立的情况。
[0358]
(关系r1测试)滤波系数的绝对值
│
gradfilter[nfrac][pos]
│
在滤波组a中为57》》4，在滤波组b中为53》》5，因此关系r1成立。
[0359]
(关系r2测试)滤波系数差分的最大值在滤波组a中为(57-(-57))》》4，在滤波组b中为(53-(-53))》》5，因此关系r2成立。
[0360]
(关系r3测试)当对中心位置nposc与相邻位置npoc+1的值进行观察时，在滤波组a中代码与57，-4不同，在滤波组b中代码与53，50相等。因此，关系r3成立。
[0361]
需要说明的是，作为滤波系数gradfilter[nfrac][pos]，在以整数运算进行滤波运算的情况下，就是说，在滤波系数为使实数的滤波系数的值左移位滤波精度grad_accu而得的值的情况下，实数值的滤波系数的大小为使整数值的滤波系数gradfilter[nfrac][pos]右移位滤波精度grad_accu而得的值。该情况下，在上述关系(关系r1、关系r2)的判定中，在通过用滤波系数的值除以1》》grad_accu而改为实数值之后再进行判定。
[0362]
例如，考虑到滤波系数的精度，使用将“滤波系数的绝对值
│
gradfilter[nfrac][pos]
│”
替换为
“│
gradfilter[nfrac][pos]
│
》》grad_accu”而得的值。此外，优选使用将“滤波系数差分的绝对值|gradfilter[nfrac][pos]-gradfilter[nfrac][pos+1]
│”
替换为“滤波系数差分的绝对值
│
gradfilter[nfrac][pos]-gradfilter[nfrac][pos+1]
│
》》grad_accu”而得的值。也可以用整体上左移位滤波组a和滤波组b的精度grad_accu_a+grad_accu_b而得的值来进行比较。
[0363]
在此，在高分解能滤波组与低分解能滤波组的滤波精度相等的情况下，无需特别
考虑滤波精度，直接使用上述的关系(关系r1、关系r2)即可。
[0364]
图27(a)是高分解能滤波组的一个示例，图27(b)是低分解能滤波组的一个示例。在此，示例出滤波精度为4(grad_accu＝4)的高分解能滤波组(filter1)以及滤波精度为5(grad_accu＝5)的低分解能滤波组(filter2)。需要说明的是，图27(b)的低分解能滤波组是通过高分解能滤波组与低通滤波([121]滤波)的卷积而推导出的。
[0365]
图28是用曲线图表示出位置pos相对于图27所示的高分解能滤波组(在图中为filter1)和低分解能滤波组(在图中为filter2)的各相位nfrac(nfrac为xfrac或yfrac)的滤波系数gardfitler[nfrac][pos]的值的图。图28(a)至图28(d)分别与相位nfrac＝0、nfrac＝1、nfrac＝2、nfrac＝3对应。曲线图的横轴与位置pos对应，用1
…
8的值表示pos＝0
…
7的8个pos。可知，与高分解能滤波组相比，在低分解能滤波组中有达到极大或极小的值的绝对值变得更小的趋势。
[0366]
需要说明的是，在此，将梯度推导部309112进行切换的滤波组称为“高分解能滤波组”和“低分解能滤波组”而进行了说明，但该名称并不特别限定。即，运动补偿部3091也可以如图27所示，是具备相互不同的至少两个滤波组(例如，图27filter1以及filter2)，且梯度推导部309112适当地对滤波组1(filter1)和滤波组2(filter2)进行切换的构成。以下，将梯度推导部309112进行切换的滤波组称为“滤波组1”和“滤波组2”来进行说明。此外，也可以不称为滤波组，而称为滤波系数，例如“滤波系数1”和“滤波系数2”。
[0367]
需要说明的是，也可以是对三个以上的滤波组、例如高分解能滤波组、中分解能滤波组、低分解能滤波组进行切换的构成。
[0368]
需要说明的是，以下，在基于参数x的大小来切换滤波组的情况下，通过比较对x和规定的阈值进行分类，但也可以通过除法、移位、表格参照等，从参数x中直接推导用于标识的索引idx。例如，如下所述那样，通过除法、移位运算进行推导的方法较为适当。
[0369]
idx＝x/th
[0370]
idx＝x》》shiftth
[0371]
需要说明的是，th、shiftth是用于推导索引idx的规定的常数。
[0372]
而且，为了实现非等间隔的分类，也可以使用从移位值等临时变量中推导索引的表格idxtranstbl[]，如下所述那样进行推导。
[0373]
idx＝idxtranstbl[x/th]
[0374]
idx＝idxtranstbl[x》》shiftth]
[0375]
作为idxtranstbl，例如，可以利用如下所述那样的表格。
[0376]
idxtranstbl＝[0，1，2，2，3，3，4，4，4，4]
[0377]
而且，也可以是基于推导出的索引idx并参照表格而求出滤波组的方法。
[0378]
例如x中使用有分辨率(尺寸)、块尺寸、帧速率、运动矢量、图片间隔、量化步长(量化参数)、或它们的组合等。分辨率(尺寸)、块尺寸可以从宽度与高度的积(width*height)或和(width+height)中推导。
[0379]
(step1：依存分辨率时的滤波组切换)
[0380]
在运动补偿图像p0以及p1的分辨率较高的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，优选应用能够捕捉相对较宽的范围内的梯度的滤波组2(例如，低分解能滤波组)。
[0381]
梯度推导部309112也可以是根据运动补偿图像p0以及p1的分辨率来切换梯度补偿滤波gradfilter的构成。具体而言，梯度推导部309112也可以是使用分辨率越大分解能变得越低那样的滤波组来推导梯度图像(lx0，lx1，ly0，ly1)的构成。图29是表示依存分辨率时的切换滤波组(滤波系数)的处理的流程的一个示例的流程图。
[0382]
如图29所示，例如，梯度推导部309112也可以在运动补偿图像p0以及p1的分辨率(尺寸)为规定的阈值th以上(例如，1920
×
1080以上)的情况下，应用滤波组2(滤波系数2)，在分辨率低于规定的阈值th(例如，小于1920
×
1080)的情况下，应用滤波组1(滤波系数1)。
[0383]
(step1：依存块尺寸时的滤波组切换)
[0384]
在分割包含对象像素的预测块或预测块而成的子块的块尺寸较大的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，优选应用能够捕捉相对较宽的范围内的梯度的滤波组2(例如，低分解能滤波组)。
[0385]
因此，梯度推导部309112也可以是根据包含成为推导梯度图像的对象的像素、即对象像素的块的尺寸来切换梯度补偿滤波gradfilter的构成。具体而言，梯度推导部309112也可以是使用块尺寸越大分解能变得越低那样的滤波组来推导梯度图像(lx0，lx1，ly0，ly1)的构成。
[0386]
例如，梯度推导部309112也可以在包含运动补偿图像p0以及p1所包含的对象像素的块的块尺寸为规定的阈值以上的情况(例如，16
×
16以上)下，应用滤波组2，在包含该对象像素的块的块尺寸小于规定的阈值的情况(例如，小于16
×
16)下，应用滤波组1。
[0387]
(step1：依存帧速率时的滤波组切换)
[0388]
在运动补偿图像p0以及p1的分辨率/帧速率较大的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，优选应用能够捕捉相对较宽的范围内的梯度的滤波组2(例如，低分解能滤波组)。
[0389]
因此，梯度推导部309112也可以是根据运动补偿图像p0以及p1的帧速率framerate来切换梯度补偿滤波gradfilter的构成。具体而言，梯度推导部309112也可以是使用帧速率越小分解能变得越低那样的滤波组来推导梯度图像(lx0，lx1，ly0，ly1)的构成。
[0390]
例如，梯度推导部309112也可以在帧速率为规定的阈值以下的情况(例如，framerate《＝th，th＝60)下，应用滤波组2，在帧速率大于规定的阈值的情况(例如，framerate》th)下，应用滤波组1。
[0391]
或者，梯度推导部309112也可以在运动补偿图像p0以及p1的分辨率/帧速率大于规定的阈值的情况(例如，width/framerate》th，th＝1920/60＝32)下，应用滤波组2，在分辨率/帧速率为规定的阈值以下的情况(例如，width/framerate《＝th)下，应用滤波组1。
[0392]
(step1：依存运动矢量时的滤波组切换)
[0393]
在与相邻块的运动矢量mv的差分(以及运动矢量mvlx)较大的情况下，对象块内的运动的变化也有相对较大的趋势。因此，在这种条件下，优选应用能够捕捉相对较宽的范围内的梯度的滤波组2(例如，低分解能滤波组)。
[0394]
因此，梯度推导部309112也可以是根据对象块的运动矢量mv(运动矢量，mvlx)与该对象块的预测矢量pmv(预测运动矢量，mvplx)的差来切换梯度补偿滤波gradfilter的构成。具体而言，梯度推导部309112也可以是使用差分矢量dmv、运动矢量mvlx、预测矢量
mvplx越大分解能变得越低那样的滤波组来推导梯度图像(lx0，lx1，ly0，ly1)的构成。
[0395]
例如，梯度推导部309112也可以在差分矢量dmv为规定的阈值以上的情况下，应用滤波组2，在差分矢量dmv小于规定的阈值的情况下，应用滤波组1。
[0396]
在此，“对象块的运动矢量mv与该对象块的预测矢量pmv(预测运动矢量)的差”可以是差分矢量dmv(mvdlx)，也可以是通过absdmv＝
│
mvx-pmvx
│
+
│
mvy-pmvy
│
[0397]
的算式获得的差分矢量绝对值absdmv。
[0398]
此外，作为预测矢量pmv，可以是共位(collocate)运动矢量(即，与前一图片相同位置的运动矢量)，也可以是左块的运动矢量或上块的运动矢量。
[0399]
需要说明的是，梯度推导部309112也可以是根据“对象块的运动矢量mvlx”代替“与相邻块的运动矢量mv的差分”来切换梯度补偿滤波gradfilter的构成。
[0400]
(step1：依存图片间距离时的滤波组切换)
[0401]
在图片间距离(在上述的示例中为deltapoc)较大的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，优选应用能够捕捉相对较宽的范围内的梯度的滤波组2(例如，低分解能滤波组)。
[0402]
因此，梯度推导部309112也可以是根据包含对象块的对象图像cur与运动补偿图像p0和p1(或者l0参照图像refimgl0和l1参照图像refimgl1)中的至少任意一个之间的图片间距离来切换滤波组的构成。具体而言，梯度推导部309112也可以是使用图片间距离越大分解能变得越低那样的滤波组来推导梯度图像(lx0，lx1，ly0，ly1)的构成。
[0403]
例如，梯度推导部309112也可以在图片间距离为规定的阈值以上的情况下，应用滤波组2，在图片间距离小于规定的阈值的情况下，应用滤波组1。
[0404]
在此，梯度推导部309112可以从包含对象块的对象图像cur的图片顺序号poc(poc_curr)、l0参照图像refimgl0的图片顺序号poc(poc_l0)、以及l1参照图像refimgl1的图片顺序号poc(poc_11)中推导出，该情况下，图片间距离根据算式
[0405]
deltapoc＝
│
poc_l0-poc_curr
│
+
│
poc_l1-poc_curr
│
//平均以及总计
[0406]
deltapoc＝max(
│
poc_l0-poc_curr
│
，
│
poc_l1-poc_curr
│
)//最大值
[0407]
被推导为deltapoc。
[0408]
(step1：依存量化步长时的滤波组切换)
[0409]
在作为对象图像cur的生成对象的对象块的量化步长较大的情况下，可认为微细区域中的变化的可靠性较低。在这种条件下，优选应用能够捕捉相对较宽的范围内的梯度的滤波组2(例如，低分解能滤波组)。需要说明的是，通常量化参数越大量化步长变得越大，因此，也可以将以下的量化步长替换为量化参数而应用。
[0410]
因此，梯度推导部309112根据运动补偿图像p0(或者l0参照图像refimgl0)的量化步长来切换作用于运动补偿图像p0的滤波组，并根据运动补偿图像p1(或者l1参照图像refimgl1)的量化步长来切换作用于运动补偿图像p1的滤波组。具体而言，梯度推导部309112也可以是使用量化步长越大分解能变得越低那样的滤波组来推导梯度图像(lx0，lx1，ly0，ly1)的构成。
[0411]
而且，也可以根据对象图像cur的对象块的量化系数来切换滤波组。
[0412]
即，梯度推导部309112也可以是根据量化系数或量化步长来切换滤波组的构成。
[0413]
例如，梯度推导部309112也可以在量化步长为规定的阈值以上的情况下，应用滤
波组2，在量化步长小于规定的阈值的情况下，应用滤波组1。
[0414]
(step1：参照了标志的滤波组切换)
[0415]
梯度推导部309112也可以是参照作为明确表示出的信令的标志来切换滤波组的构成。
[0416]
例如，熵编码部104在切片标头sh以及图片参数集pps中对所使用的滤波组的滤波组索引进行编码。梯度推导部309112也可以是基于从切片标头sh以及图片参数集pps解码的滤波组索引来切换滤波组的构成。
[0417]
(step2：依存于对象图像与参照图像的距离的梯度校正)
[0418]
在图片构成为随机接入的情况下，运动补偿部3091假设对象图像cur与参照图像p0(第一参照图像)的距离(t0)等于对象图像cur与参照图像p1(第二参照图像)的距离(t1)，但与图片构成为lowdelayb的情况同样地，运动补偿部3091也可以依存于图18所示的对象图像cur与参照图像p0的距离(t0)、对象图像cur与参照图像p1的距离(t1)来推导校正权重矢量(u，v)。然而，即使仅考虑对象图像cur与参照图像p0的距离(t0)和对象图像cur与参照图像p1的距离(t1)，运动补偿处理的性能也未必提高。
[0419]
因此，运动补偿部3091也可以使用依存于图片间隔(图片间距离)的权重系数来进行运动补偿处理。
[0420]
运动补偿部3091(帧间距离权重推导部309131)通过下述算式来推导t0、t1。
[0421]
to＝poc_l0-poc_curr
[0422]
t1＝poc_curr-poc_l1
[0423]
需要说明的是，t0、t1的推导也可以是以下的算式。
[0424]
t0＝poc_curr-poc_l0
[0425]
t1＝poc_l1-poc_curr
[0426]
具体而言，梯度积推导部309121对通过
[0427]
σ
│
l0-l1
│2＝σ
│
(p0-p1)+(to*lx0+t1*lx1)*u+(to*ly0+t1*ly1)*v
│2ꢀꢀ
(算式a30)
[0428]
获得的值达到最小的u以及v进行推导(与上述算式a7对应)。为了推导那样的u以及v，梯度积推导部309121对满足
[0429]
s1＝σ(t0*lx0+t1*lx1)2[0430]
s2＝s4＝σ(t0*lx0+t1*lx1)(t0*ly0+t1*ly1)
[0431]
s3＝-σ(p0+p1)*(t0*lx0+t1*lx1)
[0432]
s5＝σ(t0*ly0+t1*ly1)2[0433]
s6＝-σ(p0-p1)*(t0*ly0+t1*ly1)
ꢀꢀ
(算式a31)
[0434]
的中间参数s1(s1[][])～s6(s6[][])进行推导(与上述算式a18对应)。需要说明的是，算式a31相当于将考虑了图片间隔而推导的t1＝(p0-p1)、t2＝(t0*lx0+t1*lx1)、以及t3＝(t0*ly0+t1*ly1)应用于算式a18的情况。
[0435]
在此，作为预测对象的图像的对象图像cur上的点i的像素值i的预测式可以根据l0参照图像refimgl0上的点l0的像素值l0以及l1参照图像refimgl1上的点l1的像素值l1，表示为
[0436]
i＝(l0+l1)》》1
[0437]
＝{p0+p1+(t0*lx0+t1*lx1)*u+(t0*ly0+t1*ly1)*v}》》1
ꢀꢀ
(算式a32)
[0438]
(与上述算式a6对应)。
[0439]
此外，梯度双预测推导部30913导入对应于对象图像cur与参照图像p0的图片间隔t0(第一图片间隔)的第一权重系数、以及对应于该对象图像cur与参照图像p1的图片间隔t1(第二图片间隔)的第二权重系数来推导梯度校正项modbio[][]。即，梯度双预测推导部30913使用上述的算式a2的预测式来推导预测图像的像素值pred。需要说明的是，在算式a2中，
[0440]
shiftpred＝internal_bit_depth-bitdepthy+1，
[0441]
modbio是通过
[0442]
modbio＝{(t0*lx0-t1*lx1)*uh+(t0*ly0-t1*ly1)*vh}》》shiftbio2
ꢀꢀ
(算式a33)
[0443]
推导的梯度校正项(与上述算式a26对应)。
[0444]
即，梯度双预测推导部30913是参照水平梯度图像lx0以及lx1、垂直梯度图像ly0以及ly1的各像素值来推导梯度校正项modbio的，也可以根据对象图像cur与参照图像p0的图片间隔t0、以及该对象图像cur与参照图像p1的图片间隔t1来确定。在此，也可以将图片间隔t0以及t1称为与水平梯度图像lx0以及lx1、垂直梯度图像ly0以及ly1的各像素值相乘的各权重系数。
[0445]
(step2：依存于对象图像与参照图像的距离的梯度校正)
[0446]
梯度积推导部309121也可以导入对应于对象图像cur与参照图像p0的图片间隔t0的第一权重系数w0以及对应于该对象图像cur与参照图像p1的图片间隔t1的第二权重系数w1来推导预测图像的像素值pred。即，也可以将参照图像p0的各像素的像素值与第一权重系数w1相乘，将参照图像p1的各像素的像素值与第二权重系数相乘，而考虑时间权重shiftweight地推导预测图像的像素值pred。
[0447]
该情况下的预测式成为
[0448]
pred＝{(w0*p0+w1*p1)+modbio+shiftoffset}》》shiftweightpred
ꢀꢀ
(算式34)
[0449]
(与上述算式a2对应)。梯度积推导部309121使用该预测式来推导预测图像的像素值pred。需要说明的是，modbio是通过
[0450]
modbio＝{(lx0-lx1)*uh+(ly0-ly1)*vh}》》(shiftbio2+shiftweight)
ꢀꢀ
(算式a35)
[0451]
推导的梯度校正项(与上述算式a26对应)。在此，考虑了时间权重的预测图像的像素值shiftweightpred通过
[0452]
shiftweightpred＝shiftpred+shiftweight
[0453]
获得，时间权重shiftweight例如为8。
[0454]
梯度积推导部309121也可以将第一权重系数w0以及第二权重系数w1推导为
[0455]
w0＝(t1《《shiftweight)/
│
t0+t1
│
[0456]
w1＝(1《《shiftweight)-w0
ꢀꢀ
(算式a36)
[0457]
或
[0458]
w1＝(t0《《shiftweight)/
│
t0+t1
│
[0459]
w0＝(1《《shiftweight)-w1
ꢀꢀ
(算式a37)。
[0460]
或者，梯度积推导部309121也可以使用基于表示图片的输出顺序的信息poc的
[0461]
td＝poc(refimgl1)-poc(refimgl0)
[0462]
tb＝poc(currpic)-poc(refimgl0)
ꢀꢀ
(算式a38)，
[0463]
将第一权重系数w0以及第二权重系数w1推导为
[0464]
w0＝(1《《shiftweight)-w1
[0465]
w1＝(tb《《shiftweight)/td
ꢀꢀ
(算式a39)
[0466]
(与上述算式37对应)。
[0467]
而且，梯度积推导部309121除了导入对应于对象图像cur与参照图像p0的图片间隔t0的第一权重系数w0以及对应于该对象图像cur与参照图像p1的图片间隔t1的第二权重系数w1以外，也可以使用依存于图片间隔的权重系数来进行运动补偿处理。
[0468]
该情况下的预测式是与上述的算式34相同的算式，帧间距离权重推导部309131使用该预测式来推导预测图像的像素值pred。需要说明的是，modbio是通过
[0469]
modbio＝{(t0*lx0-t1*lx1)*uh+(t0*ly0-t1*ly1)*vh》》(shiftbio2+shiftweight)
ꢀꢀ
(算式a40)
[0470]
推导的梯度校正项(与上述算式a35对应)。在此，考虑了时间权重的预测图像的像素值shiftweightpred通过shiftpred+shiftweight获得，时间权重shiftweight例如为8。
[0471]
(step2：校正对象图像与参照图像的距离)
[0472]
或者，梯度积推导部309121在对象图像cur与参照图像p0的图片间隔t0和该对象图像cur与参照图像p1的图片间隔t1的比在规定的范围外的情况下，也可以对图片间隔t0和图片间隔t1进行规定的处理，以使图片间隔t0与图片间隔t1的比成为规定的范围，并根据进行过规定的处理的图片间隔t0以及图片间隔t1，确定与梯度图像lx0、lx1、ly0、以及ly1的各像素值相乘的各权重系数。
[0473]
梯度积推导部309121在使用依存于图片间隔的权重系数来进行梯度校正处理时，例如，在对象图像cur与参照图像p0的图片间隔t0和该对象图像cur与参照图像p1的图片间隔t1的比较大的情况(例如，t0:t1＝1:5等)下，该权重系数过重，反而恐怕会无法适当地进行运动补偿。
[0474]
因此，梯度积推导部309121在对象图像cur与参照图像p0的图片间隔t0和该对象图像cur与参照图像p1的图片间隔t1的比较大的情况下，也可以以不过分偏离t0:t1＝1:1的方式实施规定的处理。
[0475]
对于梯度积推导部309121所进行的校正(规定的处理)，列举针对t0:t1预定的范围(规定的范围)为2:1～1:2的情况为示例进行说明。这种情况下，如果t0:t1＝1:5(规定的范围外)，则梯度积推导部309121以成为t0:t1的规定的范围内的值(例如，t0:t1＝1:2)的方式将图片间隔t1剪辑处理为图片间隔t0的2倍，来确定与梯度图像lx0、lx1、ly0、以及ly1的各像素值相乘的各权重系数，而并非直接使用t0:t1的比的权重系数。
[0476]
具体而言，在针对t0:t1预定的范围(规定的范围)为2:1～1:2的情况下，在图片间隔t0的绝对值abs(t0)大于图片间隔t1的绝对值abs(t1)的2倍的情况下，梯度积推导部309121将图片间隔t0剪辑处理为2倍。相反地，在图片间隔t1的绝对值abs(t1)大于图片间隔t0的绝对值abs(t0)的2倍的情况下，梯度积推导部309121将图片间隔t1剪辑处理为2倍。即，
[0477]
·
if(abs(t0)》2*abs(t1))t0＝sgn(t0)*2*abs(t1)
[0478]
·
if(abs(t1)》2*abs(t0))t1＝sgn(t1)*2*abs(t0)
ꢀꢀ
(算式a41)。
[0479]
或者，在图片间隔t0的绝对值abs(t0)大于图片间隔t1的绝对值abs(t1)的mn/md
倍的情况下，梯度积推导部309121将图片间隔t0剪辑处理为mn/md倍。相反地，在图片间隔t1的绝对值abs(t1)大于图片间隔t0的绝对值abs(t0)的mn/md倍的情况下，梯度积推导部309121也可以将图片间隔t1剪辑处理为mn/md倍。即，
[0480]
·
if(md*abs(t0)》mn*abs(t1))t0＝sgn(t0)*mn*abs(t1)/md
[0481]
·
if(md*abs(t1)》mn*abs(t0))t1＝sgn(t1)*mn*abs(t0)/md
[0482]
(算式a42)。需要说明的是，sgn(x)是求解x的代码的函数，x在0以上的情况下为1，在小于0的情况下返回-1。
[0483]
需要说明的是，在md为2的乘幂的情况下，
[0484]
·
if(md*abs(t0)》mn*abs(t1))t0＝sgn(t0)*mn*abs(t1)》》log2(md)
[0485]
·
if(md*abs(t1)》mn*abs(t0))t1＝sgn(t1)*mn*abs(t0)》》log2(md)
[0486]
(算式a43)。在此，mn表示分数的分子，md表示分数的分母。作为mn以及md，并不限定于此，可列举mn＝2、md＝1(2倍)，以及mn＝3、md＝2(1.5倍)等。
[0487]
(step2：表示有无依存于对象图像与参照图像的距离的梯度校正的标志)
[0488]
梯度积推导部309121也可以根据编码数据所包含的图片间隔依存梯度标志bio_pic_dist(规定的标志)，确定是否进行依存于对象图像与参照图像的距离的梯度校正。
[0489]
即，梯度积推导部309121在图片间隔依存梯度标志bio_pic_dist为1(第一值)的情况下，根据对象图像cur与参照图像p0的图片间隔t0以及该对象图像cur与参照图像p1的图片间隔t1确定与梯度图像lx0、lx1、ly0、以及ly1的各像素值相乘的各权重系数。然后，在图片间隔依存梯度标志bio_pic_dist为0(第二值)的情况下，与梯度图像lx0、lx1、ly0、以及ly1的各像素值相乘的各权重系数也可以是相互相等的值。例如，可以设为t0＝t1＝1。
[0490]
具体而言，梯度积推导部309121在图片间隔依存梯度标志bio_pic_dist为1(第一值)的情况下，推导满足上述的算式a31的中间参数s1(s1[][])～s6(s6[][])(与上述算式a18对应)。该情况下，modbio是通过
[0491]
modbio＝{(t0*lx0-t1*lx1)*uh+(t0*ly0-t1*ly1)*vh}》》shiftbio2
ꢀꢀ
(算式a44)
[0492]
推导出的梯度校正项(与上述算式a33对应)。
[0493]
另一方面，在图片间隔依存梯度标志bio_pic_dist为0(第二值)的情况下，推导满足图20(b)所示的算式的中间参数s1(s1[][])～s6(s6[][])。该情况下，modbio是通过上述的算式a26推导出的梯度校正项。
[0494]
(step2：按块确定权重系数)
[0495]
梯度积推导部309121也可以构成为按块确定与梯度图像lx0、lx1、ly0、以及ly1的各像素值相乘的各权重系数。例如，梯度积推导部309121也可以按固定(例如，4
×
4等)的块来推导满足上述的算式a31的中间参数s1(s1[][])～s6(s6[][])。
[0496]
梯度校正系数推导部309122使用推导出的中间参数s1(s1[][])～s6(s6[][])来推导校正权重矢量(u，v)。
[0497]
这样，如果按块推导中间参数s1(s1[][])～s6(s6[][])，则可以期待中间参数s1(s1[][])～s6(s6[][])中的不均变小、噪音减少的效果。此外，由于能够通过每块(例如，含有16像素的块)一次的运算来进行step2的处理，因此也能够减少step2的处理所要求的运算量。
[0498]
梯度积推导部309121除了如上所述那样按块(例如，4
×
4的块)确定校正权重矢量
(u，v)以外，也可以对推导出的校正权重矢量(u，v)应用滤波(例如内插滤波)来推导某一像素的校正权重矢量(u，v)。
[0499]
例如，某一像素的校正权重矢量(u，v)也可以通过n
×
n的块单元的校正权重矢量(u，v)的加权平均
[0500]
u(x，y)＝(w00*u(x，y)+w10*u(x+n，y)*w01*u(x，y+n)*w11*u(x+n，y+n))》》n
[0501]
v(x，y)＝(w00*v(x，y)+w10*v(x+n，y)*w01*v(x，y+n)*w11*v(x+n，y+n))》》n
ꢀꢀ
算式a45)
[0502]
来推导。权重例如能够使用以下作为线形预测的权重系数。
[0503]
n＝log2(n)+1
[0504]
w1x＝x&(n-1)
[0505]
w0x＝n-w1
[0506]
w1y＝x&(n-1)
[0507]
w0y＝n-w1
[0508]
w00＝w0x*w0y，w10＝w1x*w0y，w01＝w0x*w1y，w11＝w1x*w1y
[0509]
此外，在n
×
n的块单元的校正权重矢量(u，v)按1/n被压缩而储存的情况下，在将其校正矢量设为(u0，v0)时，则也可以通过
[0510]
u(x，y)＝(w00*u0(x，y)+w10*u0(x+1，y)*w01*u0(x，y+1)*w11*u0(x+1，y+n))》》n
[0511]
v(x，y)＝(w00*v0(x，y)+w10*v0(x+1，y)*w01*v0(x，y+1)*w11*v0(x+n，y+1))》》n (算式a46)
[0512]
来推导。
[0513]
需要说明的是，上述的算式a45、算式a46使用单一的处理进行二维的加权平均，但也可以采用两阶段的处理。即，也可以通过垂直的加权平均生成临时的图像，并对生成的临时的图像进一步施加水平的加权平均，从而实现二维的加权平均。此外，也可以按照水平、垂直的顺序进行处理。
[0514]
而且，梯度积推导部309121也可以通过对按块(例如，4
×
4的块)确定的各校正权重矢量(u，v)(权重系数)应用规定的滤波，来推导每个像素的各校正权重矢量(u，v)。作为规定的滤波的示例，可列举低通滤波(例如平滑化滤波)。
[0515]
例如，某一像素的校正权重矢量(u，v)被推导为
[0516]
utemp(x，y)＝(u(x，y-1)+2*u(x，y)+u(x，y+1))
[0517]
u(x，y)＝(utemp(x-1，y)+2*utemp(x，y)+utemp(x+1，y))》》4
[0518]
vtemp(x，y)＝(v(x，y-1)+2*v(x，y)+v(x，y+1))
[0519]
v(x，y)＝(vtemp(x-1，y)+2*vtemp(x，y)+vtemp(x+1，y))》》4
ꢀꢀ
(算式a47)。
[0520]
这样，如果在减少按块推导出的中间参数s1(s1[][])～s6(s6[][])的噪音之后，对按块(例如，4
×
4的块)确定的各校正权重矢量(u，v)(权重系数)应用规定的滤波，则即使在细微的运动中，也能够进行对应的运动补偿。
[0521]
(step2：适应性的梯度校正系数的剪辑处理)
[0522]
如前述那样，梯度校正系数推导部309122对与梯度图像lx0、lx1、ly0、以及ly1的各像素值相乘的梯度校正系数uh以及vh(各权重系数)进行剪辑处理。梯度校正系数推导部309122在在step1中应用上述的滤波组1的情况和应用上述的滤波组2的情况下，也可以从多个值域的候选中切换对推导出的梯度校正系数uh以及vh进行的剪辑处理的值域(范围)
(-rangebio～rangebio)。此外，也可以是根据参数来推导值域那样的构成。
[0523]
光流(梯度变化)是基于能够使用一阶微分(即梯度)使局部区域的变化近似的假设的技术。因此，光流(梯度变化)可以说本来是仅能够应用于校正权重矢量(u，v)(以及梯度校正系数uh，vh)较小的情况的技术。因此，在相对较小的范围内，对校正权重矢量(u，v)进行剪辑的处理较为适当。
[0524]
然而，当在step1中应用滤波组2(例如低分解能滤波)时，能够检测相对宽范围中的梯度、即相对较大的校正权重矢量(u，v)，因此，在应用滤波组2的情况下，与应用假设检测相对较小的校正权重矢量(u，v)的滤波组1的情况相比，可以使对梯度校正系数uh以及vh进行的剪辑处理的值域处于较宽的范围。
[0525]
运动补偿部3091具备对推导梯度图像lx0、lx1、ly0、以及ly1时使用的梯度滤波进行切换的梯度推导部309112(第一切换部)，而且，梯度校正系数推导部309122(剪辑部)可以根据由梯度推导部309112选择的梯度滤波来对剪辑处理的范围进行切换。
[0526]
即，如图31(b)所示，在作为能够对多个滤波组进行切换的构成的梯度校正系数推导部309122中，也可以基于已选择的滤波组，变更对梯度校正系数uh以及vh进行的剪辑处理的值域。
[0527]
需要说明的是，在以下的示例中示出对两个剪辑处理的值域进行切换的示例，但也可以是将分类数设为三个以上而对三个以上的剪辑处理的值域、例如大值域、中值域，小值域进行切换的构成。
[0528]
需要说明的是，以下，在基于参数x的大小来切换剪辑处理的值域的情况下，通过比较对x和规定的阈值进行分类，但也可以通过除法、移位、表格参照等，从参数x中直接推导用于标识的索引idx。而且，也可以是基于推导出的索引idx并参照表格而求出剪辑处理的值域的方法。例如x中使用有分辨率、块尺寸、帧速率、运动矢量、图片间隔、量化步长(量化参数)、或它们的组合等。需要说明的是，具体处理的示例在对滤波组进行切换的构成中已进行了说明，因此，省略说明。
[0529]
(step2：依存分辨率时的剪辑处理的范围的切换)
[0530]
在运动补偿图像p0以及p1的分辨率较高的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，优选应用设定为相对较宽的范围的剪辑处理。另一方面，在运动补偿图像p0以及p1的分辨率较低的情况下，优选应用设定为相对较窄的范围的剪辑处理。
[0531]
因此，梯度校正系数推导部309122也可以是根据运动补偿图像p0以及p1的分辨率来推导剪辑处理的范围的构成。具体而言，梯度校正系数推导部309122也可以是使用具有分辨率越大剪辑处理的值域越变得更大那样的关系的剪辑的构成。需要说明的是，x越大y越变得更大是指，在作为满足x1》x0的x的x0、x1中，作为x0的情况下的y的y0和作为x1的情况下的y的y1满足y1≥y0即可。因此，即使是x变大的关系(x0》x1)的两个x(x0、x1)，也可是使用相同的y(y0＝y1)。但是，在x的值域中必须使用至少两个值的y。
[0532]
例如，梯度校正系数推导部309122也可以在运动补偿图像p0以及p1的分辨率为规定的阈值th以上(例如，1920
×
1080以上)的情况下，将剪辑处理的值域设定为-mvth0～mvth0(例如，mvth0＝2)，在分辨率低于规定的阈值th(例如，小于1920
×
1080)的情况下，将剪辑处理的值域设定为-mvth1～mvth1(例如，mvth1＝1/3)。
[0533]
(step2：依存块尺寸时的剪辑处理的范围的切换)
[0534]
在包含对象像素的块尺寸较大的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，优选应用设定为相对较宽的范围的剪辑处理。另一方面，在包含对象像素的块尺寸较小的情况下，优选应用设定为相对较窄的范围的剪辑处理。
[0535]
因此，梯度校正系数推导部309122也可以根据包含成为推导梯度图像的对象的对象像素的块的尺寸来切换剪辑处理的范围。具体而言，梯度校正系数推导部309122也可以是使用具有块尺寸越大剪辑处理的值域越变得更大那样的关系的剪辑的构成。
[0536]
例如，梯度校正系数推导部309122也可以在包含运动补偿图像p0以及p1所包含的对象像素的块的块尺寸为规定的阈值以上的情况(例如，16
×
16以上)下，将剪辑处理的值域设为-2～2等，在包含该对象像素的块的块尺寸小于规定的阈值的情况(例如，小于16
×
16)下，将剪辑处理的值域设为-2/3～2/3等。
[0537]
(step2：依存帧速率时的剪辑处理的范围的切换)
[0538]
在运动补偿图像p0以及p1的帧速率较小的情况下以及分辨率/帧速率较大的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，优选应用设定为相对较宽的范围的剪辑处理。
[0539]
因此，梯度校正系数推导部309122也可以是根据运动补偿图像p0以及p1的帧速率framerate来切换剪辑处理的范围的构成。具体而言，梯度校正系数推导部309122也可以是使用具有帧速率framerate越小(分辨率/帧速率越大)剪辑处理的值域越变得更大那样的关系的剪辑的构成。
[0540]
例如，梯度校正系数推导部309122也可以在帧速率为规定的阈值以下的情况(例如，framerate《＝th，th＝60)下，将剪辑处理的值域设为-2～2等，在帧速率大于规定的阈值的情况(例如，framerate》th)下，将剪辑处理的值域设为-2/3～2/3等。
[0541]
或者，在运动补偿图像p0以及p1的分辨率/在帧速率大于规定的阈值的情况(例如，width/framerate》th，th＝1920/60＝32)下，将剪辑处理的值域设为-2～2，在分辨率/在帧速率为规定的阈值以下的情况(例如，width/framerate《＝th)下，将剪辑处理的值域设为-2/3～2/3。
[0542]
(step2：依存运动矢量时的剪辑处理的范围的切换)
[0543]
在与相邻块的运动矢量mv的差分(以及运动矢量mvlx)较大的情况下，对象块内的运动矢量的变化也有相对较大的趋势。因此，在这种条件下，也可以将剪辑处理的值域设为较宽，以捕捉相对较宽的范围内的梯度。
[0544]
因此，梯度校正系数推导部309122也可以是根据对象块的运动矢量mv(mvlx)与该对象块的预测矢量pmv(预测运动矢量，mvplx)的差来切换剪辑处理的范围的构成。具体而言，梯度校正系数推导部309122也可以是使用具有差分矢量dmv越大剪辑处理的值域越变得更大那样的关系的剪辑的构成。
[0545]
例如，梯度校正系数推导部309122也可以在差分矢量dmv为规定的阈值以上的情况下，将剪辑处理的值域设为-2～2等，在差分矢量dmv小于规定的阈值的情况下，将剪辑处理的值域设为-2/3～2/3等。
[0546]
在此，“对象块的运动矢量mv与该对象块的预测矢量pmv(预测运动矢量)的差”可以是差分矢量dmv(mvdlx)，也可以是通过absdmv＝
│
mvx-pmvx
│
+
│
mvy-pmvy
│
[0547]
的算式获得的差分绝对值absdmv。
[0548]
此外，作为预测矢量pmv，可以是共位(collocate)运动矢量(即，与前一图片相同位置的运动矢量)，也可以是左块的运动矢量或上块的运动矢量。
[0549]
需要说明的是，梯度校正系数推导部309122可以是根据“对象块的运动矢量mvlx”代替“与相邻块的运动矢量mv的差分”来切换剪辑处理的值域的构成。具体而言，梯度校正系数推导部309122也可以是使用具有运动矢量mvlx越大剪辑处理的值域越变得更大那样的关系的剪辑的构成。
[0550]
(step2：依存图片间距离时的剪辑处理的范围的切换)
[0551]
在图片间距离deltapoc较大的情况下，运动矢量的长度有整体变长的趋势，因此，在这种条件下，也可以将剪辑处理的值域设为较宽，以捕捉相对较宽的范围内的梯度。
[0552]
因此，梯度校正系数推导部309122也可以是根据包含对象块的对象图像cur与运动补偿图像p0以及p1(或者，l0参照图像refimgl0以及l1参照图像refimgl1)中的至少任意一个之间的图片间距离来切换剪辑处理的范围的构成。具体而言，梯度校正系数推导部309122也可以是使用具有图片间距离越大剪辑处理的值域越变得更大那样的关系的剪辑的构成。
[0553]
例如，梯度校正系数推导部309122也可以在图片间距离为规定的阈值以上的情况下，将剪辑处理的值域设为-2～2等，在图片间距离小于规定的阈值的情况下，将剪辑处理的值域设为-2/3～2/3等。
[0554]
(step2：依存量化步长时的剪辑处理的范围的切换)
[0555]
在作为对象图像cur的生成对象的对象块的量化步长较大的情况下，可认为微细区域中的变化的可靠性较低。在这种条件下，也可以将剪辑处理的值域设为较宽，以捕捉相对较宽的范围内的梯度。
[0556]
因此，梯度校正系数推导部309122也可以根据运动补偿图像p0(或者l0参照图像refimgl0)的量化步长、以及运动补偿图像p1(或者l1参照图像refimgl1)的量化步长来切换剪辑处理的值域。
[0557]
进而，也可以根据对象图像cur的对象块的量化系数来切换剪辑处理的值域。
[0558]
即，梯度校正系数推导部309122也可以是根据量化系数或量化步长来切换剪辑处理的值域的构成。具体而言，梯度校正系数推导部309122也可以是使用具有量化步长越大剪辑处理的值域越变得更大那样的关系的剪辑的构成。
[0559]
例如，梯度校正系数推导部309122也可以在量化步长为规定的阈值以上的情况下，将剪辑处理的值域设为-2～2等，在量化步长小于规定的阈值的情况下，将剪辑处理的值域设为-2/3～2/3等。
[0560]
(step2：参照了标志的剪辑处理的范围的切换)
[0561]
梯度校正系数推导部309122也可以是参照作为明确表示出的信令的标志来切换剪辑处理的值域的构成。
[0562]
例如，熵编码部104在切片标头sh以及图片参数集pps中对所使用的滤波组的滤波组索引进行编码。梯度校正系数推导部309122也可以是基于从切片标头sh以及图片参数集pps解码的滤波组索引来切换剪辑处理的值域的构成。
[0563]
(step2：适应性的正规化项的切换)
[0564]
如前述那样，梯度校正系数推导部309122将正规化项regcost与梯度积推导部
309121推导出的中间参数s1～s6相加。梯度校正系数推导部309122在在step1中应用上述的滤波组1的情况和应用上述的滤波组2的情况下，也可以以如下的方式对与中间参数s1～s6相加的正规化项regcost的值进行切换。
[0565]
正规化项regcost为了抑制校正权重矢量(u，v)的大小(接近0)，而与中间参数s1～s6相加。当在step1中应用滤波组2(例如，低分解能滤波)时，能够检测相对较宽的范围内的梯度、即相对较大的校正权重矢量(u，v)，因此，在应用了滤波组2的情况下，也可以减小与中间参数s1～s6相加的正规化项regcost的值，而使推导出的校正权重矢量(u，v)处于较宽的范围。相反地，在应用滤波组1的情况下，也可以增大与中间参数s1～s6相加的正规化项regcost的值，而使推导出的校正权重矢量(u，v)处于小范围。需要说明的是，在增大正规化项regcost的值时的正规化被称为“较强的正规化”，在减小正规化项regcost的值时的正规化被称为“较弱的正规化”。
[0566]
即，在作为能够对多个滤波组进行切换的构成的梯度校正系数推导部309122中，如图31(a)所示，也可以基于已选择的滤波组对正规化项regcost的值进行变更。具体而言，梯度校正系数推导部309122使用具有滤波组的精度越低正规化项变得越小那样的关系的正规化。
[0567]
运动补偿部3091具备对推导梯度图像lx0、lx1、ly0、以及ly1时使用的梯度滤波进行切换的梯度推导部309112(第一切换部)，而且，梯度校正系数推导部309122(第二切换部)可以根据由梯度推导部309112选择的梯度滤波对正规化项regcost的值进行切换。
[0568]
即，与前述的梯度校正系数推导部309122切换剪辑处理的范围的构成同样地，梯度校正系数推导部309122也可以是切换正规化项regcost的值的构成。
[0569]
需要说明的是，在以下的示例中示出对两个正规化项进行切换的示例，但也可以是将分类数设为三个以上而对三个以上的正规化项、例如大正规化项、中正规化项、小正规化项进行切换的构成。
[0570]
需要说明的是，以下，在基于参数x的大小来切换正规化项的情况下，通过比较对x和规定的阈值进行分类，但也可以通过除法、移位、表格参照等，从参数x中直接推导用于标识的索引idx。而且，也可以是基于推导出的索引idx并参照表格而求出正规化项的方法。例如x中使用有分辨率、块尺寸、帧速率、运动矢量、图片间隔、量化步长(量化参数)、或它们的组合等。需要说明的是，具体处理的示例在对滤波组进行切换的构成中已进行了说明，因此，省略说明。
[0571]
(step2：依存分辨率时的正规化项的切换)
[0572]
梯度校正系数推导部309122也可以是根据运动补偿图像p0以及p1的分辨率来切换正规化项的构成。具体而言，梯度校正系数推导部309122也可以是使用具有分辨率越大正规化项越变得更小那样的关系的正规化的构成。
[0573]
例如，如图31(a)所示，梯度校正系数推导部309122也可以在运动补偿图像p0以及p1的分辨率较高、即为规定的阈值th以上(例如，1920
×
1080以上)的情况下，以能够推导相对较大的校正权重矢量(u，v)的方式将正规化项regcost设定为较小，而进行较弱的正规化，在分辨率较低、即低于规定的阈值th(例如，小于1920
×
1080)情况下，将正规化项regcost设定为大于高分辨率的情况，而进行较强的正规化。
[0574]
(step2：依存块尺寸时的正规化项的切换)
[0575]
梯度校正系数推导部309122也可以根据包含成为推导梯度图像的对象的对象像素的块的尺寸来切换正规化项。具体而言，梯度校正系数推导部309122也可以是使用具有块尺寸越大正规化项越变得更小那样的关系的正规化的构成。
[0576]
例如，梯度校正系数推导部309122也可以在包含运动补偿图像p0以及p1所包含的对象像素的块的块尺寸为规定的阈值以上的情况(例如，16
×
16以上)下，以能够推导相对较大的校正权重矢量(u，v)的方式将正规化项regcost设定为较小，而进行较弱的正规化，在包含该对象像素的块的块尺寸小于规定的阈值的情况(例如，小于16
×
16)下，将正规化项regcost设定为较大，而进行较强的正规化。
[0577]
(step2：依存帧速率时的正规化项的切换)
[0578]
梯度校正系数推导部309122也可以是根据运动补偿图像p0以及p1的帧速率framerate来切换正规化项的构成。具体而言，梯度校正系数推导部309122也可以是使用具有帧速率越小正规化项越变得更小那样的关系的正规化的构成。
[0579]
例如，梯度校正系数推导部309122也可以在帧速率为规定的阈值以下的情况(例如，framerate《＝th，th＝60)下，以能够推导相对较大的校正权重矢量(u，v)的方式将相对正规化项regcost设定为较小，而进行较弱的正规化，在帧速率大于规定的阈值的情况(例如，framerate》th)下，将正规化项regcost设定为较大，而进行较强的正规化。
[0580]
(step2：依存运动矢量时的正规化项的切换)
[0581]
梯度校正系数推导部309122也可以是根据对象块的运动矢量mv(mvlx)与该对象块的预测矢量pmv(预测运动矢量，mvplx)的差来切换正规化项的构成。具体而言，梯度校正系数推导部309122也可以是使用具有差分矢量越大正规化项越变得更小那样的关系的正规化的构成。
[0582]
例如，梯度校正系数推导部309122也可以在差分矢量dmv
が
规定的阈值以上的情况下，以能够推导相对较大的校正权重矢量(u，v)的方式将正规化项regcost设定为较小，而进行较弱的正规化，在差分矢量dmv小于规定的阈值的情况下，将正规化项regcost设定为较大，而进行较强的正规化。
[0583]
需要说明的是，梯度校正系数推导部309122也可以是根据对象块的运动矢量mvlx来切换正规化项的构成。
[0584]
(step2：依存图片间距离时的正规化项的切换)
[0585]
梯度校正系数推导部309122也可以是根据包含对象块的对象图像cur与运动补偿图像p0以及p1(或者，l0参照图像refimgl0以及l1参照图像refimgl1)中的至少任意一个之间的图片间距离来切换正规化项的构成。具体而言，梯度校正系数推导部309122也可以是使用具有图片间隔越大正规化项越变得更小那样的关系的正规化的构成。
[0586]
例如，梯度校正系数推导部309122也可以在图片间距离为规定的阈值以上的情况下，以能够推导相对较大的校正权重矢量(u，v)的方式将正规化项regcost设定为较小，而进行较弱的正规化，在图片间距离小于规定的阈值的情况下，将正规化项regcost设定为较大，而进行较强的正规化。
[0587]
(step2：依存量化步长时的正规化项的切换)
[0588]
梯度校正系数推导部309122也可以根据运动补偿图像p0(或者l0参照图像refimgl0)的量化步长、以及运动补偿图像p1(或者l1参照图像refimgl1)的量化步长来切
换正规化项。具体而言，梯度校正系数推导部309122也可以是使用具有量化步长越大正规化项越变得更小那样的关系的正规化的构成。
[0589]
例如，梯度校正系数推导部309122也可以在量化步长为规定的阈值以上的情况下，以能够推导相对较大的校正权重矢量(u，v)的方式将正规化项regcost设定为较小，而进行较弱的正规化，在量化步长小于规定的阈值的情况下，将正规化项regcost设定为较大，而进行较强的正规化。
[0590]
(step2：参照了标志的正规化项的切换)
[0591]
梯度校正系数推导部309122也可以是参照作为明确表示出的信令的标志来切换正规化项的构成。
[0592]
例如，梯度校正系数推导部309122也可以是基于从切片标头sh以及图片参数集pps解码的滤波组索引来切换正规化项的构成。
[0593]
(采用了匹配模式的运动矢量推导)
[0594]
帧间预测参数解码部303(预测矢量计算部)的帧间预测参数解码控制部3031等也可以是选择为合并模式、amvp模式、或匹配模式(fruc模式、匹配预测模式)中的任一个作为推导运动矢量mvlx时使用的预测模式的构成(参照图6)。或者也可以是除帧间预测参数解码控制部3031以外还具备对帧间预测参数解码控制部3031推导运动矢量mvlx时使用的模式进行选择的匹配预测参数推导部(未图示)的构成。
[0595]
参照图30，对帧间预测参数解码部303所进行的运动矢量推导处理进行说明。图30是表示运动矢量推导处理的流程的流程图。
[0596]
在以下的说明中，在没有特别明示的情况下，各处理由帧间预测参数解码部303进行。
[0597]
首先，在步骤s101中，将合并标志merge_flag解码，在步骤s102中，对merge_flag！＝0？进行判断。
[0598]
在merge_flag！＝0为真(在s102中为y)的情况下，表示是否使用匹配模式(匹配预测模式)的标志ptn_match_flag在步骤s103中被解码，从而在步骤s104中，判断出ptn_match_flag！＝0。
[0599]
在ptn_match_flag！＝0为真(在s104中为y)的情况下，在s105中，将表示匹配模式的种类的语法即ptn_match_mode解码。接着，在步骤s106中，执行由ptn_match_mode指定的匹配模式。在ptn_match_mode＝＝1时，选择双预测匹配，在ptn_match_mode＝＝2时，选择模板匹配。在匹配模式下，例如，假设物体进行等速运动，通过多个参照图像中的块的匹配来推导运动矢量。例如，假设物体是l0参照图像的块blk0、l1参照图像的块blk1通过对象块blkcur而得的物体。该情况下，基于连结l0参照图像的块blk0与l1参照图像的块blk1的轨跡正好通过对象块blkcur的假设，对l0参照图像的块blk0与l1参照图像的块blk1进行比较(匹配)，搜索并选择两社的差变小的块。该情况下，根据l0参照图像的块blk0与对象块的位置关系，推导出针对对象块的l0参照图像的运动矢量，并根据l1参照图像的块blk1与对象块的位置关系，推导出针对对象块的l1参照图像的运动矢量。将如上所述的匹配模式称为“双预测匹配”。此外，除了“双预测匹配”以外，也可以是使用“模板匹配”作为匹配模式的构成。模板匹配假设物体的运动在块边界处不会产生变化，在对象图像上的对象块的相邻区域(例如由对象块的上行和左列形成的倒l字型的模板区域)和参照图像上的模板区域(＝
倒l字型的区域)中取差分(匹配)，搜索差分达到最小的块所指示的运动矢量。使用从通过该搜索获得的对象块的相邻区域(模板区域)中的运动矢量与对象块的运动矢量相一致的假设中推导出的运动矢量作为对象块的运动矢量。
[0600]
另一方面，在步骤s102中，在merge_flag！＝0为假(在s102中为n)的情况下，选择amvp模式。更具体来说，帧间预测参数解码部303在s110中将差分矢量mvdlx解码，在s111中将预测矢量索引mvp_lx_idx解码。而且，在s112中对pmv候选列表mvplistlx进行推导。接着，在s113中，通过
[0601]
mvlx＝mvplistlx[mvp_lx_idx]+mvdlx
[0602]
来推导运动矢量mvlx。
[0603]
此外，在步骤s104中，在ptn_match_flag！＝0为假的情况下，帧间预测参数解码部303在s107中对合并索引merge_idx进行解码。接着，帧间预测参数解码部303在s108中对合并候选列表mergecandlist进行推导，在s109中，通过
[0604]
mvlx＝mergecand[merge_idx]
[0605]
来推导运动矢量mvlx。
[0606]
(step2：参照了标志的正规化项的切换)
[0607]
在匹配预测中，如果使用小单位(例如1/4像素、1/8像素、1/16像素)作为运动矢量的搜索精度，则预测图像的精度变高，但是处理量会增加。如果将运动矢量的搜索精度设为低精度(例如，1像素、1/2像素)，则能够抑制处理量，但预测图像的精度会降低。另外，可认为在并用匹配预测与bio预测的构成、即进行匹配预测之后再进行bio预测的构成中，由通过匹配获得的运动矢量推导出的运动补偿图像能够通过bio预测进行校正。可认为这种构成的情况下，在匹配预测中，即使设为相当低精度的运动矢量，也能够通过bio预测根据由像素单元推导出的梯度而被由像素单元推导出的高精度的校正用的运动矢量(＝校正权重矢量(u，v))校正。
[0608]
在进行采用(选择)了匹配模式的运动矢量mvlx的推导的图像解码装置31中，在导入通过bio预测进行的运动补偿的情况下，运动补偿部3091也可以将用于在匹配模式下推导运动矢量mv(运动矢量mvlx)的搜索精度设为在应用bio预测的情况下较低的精度(例如1像素、1/2像素)。即，也可以根据是否应用bio预测，来切换用于运动补偿图像的推导的运动矢量的精度。
[0609]
图32是表示bio预测模式以及匹配模式的预测精度相比较的图。如图32所示，可应用bio预测的运动矢量mv的范围、即校正权重矢量(u，v)小至例如最大2/3pel程度，但空间上的校正的单位(块尺寸)单位能够设为1
×
1像素(即，各像素单元)。此外，在bio预测中，针对运动矢量mv的校正的精度(运动补偿矢量(u，v)的精度等)较高，例如如果设为shiftbio＝6则能够达到1/64，如果设为shiftbio＝8则也能够达到1/256。
[0610]
另一方面，在匹配模式下，可适应的运动矢量mv的范围大至例如最大4pel程度，但判断匹配是否恰当需要用相对较大的块来进行，因此，空间上的校正的单位为8
×
8像素程度(即，块单元)。此外，在bio预测中，在处理量的关系上难以提高针对运动矢量mv的校正的精度，例如最高1/8程度。
[0611]
因此，在并用匹配模式与bio预测的情况下，在匹配模式下获得的矢量的精度也可以较低。即，也可以使匹配模式下的运动矢量mv的搜索精度比在amvp模式下推导的运动矢
量的精度(例如1/4pel)更降低。即，用于运动补偿图像的推导的运动矢量在由amvp模式推导出的情况下，例如在以1/4像素单元推导出的情况下，在与bio预测并用(在后段进行bio预测)的匹配预测中，也可以以1/2像素单元进行推导。通过使匹配模式下的运动矢量mv的搜索精度比在amvp模式下推导的运动矢量的精度(例如1/4pel)更降低，而发挥使匹配模式下的动矢量的搜索变容易的效果。需要说明的是，在匹配模式下未校正的部分在应用了之后执行的bio预测的运动补偿中被校正，因此，并不成为问题。
[0612]
此外，如果在匹配模式下预先粗略地(每1pel或1/2pel)进行了运动矢量mv的校正(匹配)，则即使是应用了只能校正微小的运动的bio预测的运动补偿，也能够在匹配模式与bio的整体上充分进行校正。
[0613]
需要说明的是，bio预测是在相对较小的范围、即校正权重矢量(u，v)较小的范围中基于梯度固定的假设而进行，因此，在校正权重矢量(u，v)变大的假设不成立的情况下优选不进行动作。然而，如果在匹配预测之后进行bio预测的构成中，通过匹配而以某种程度的搜索精度(例如1像素、1/2像素)预先进行运动矢量的推导(校正)，则可以期待校正权重矢量(u，v)达到该搜索精度以下。
[0614]
(对应于bio标志的匹配模式的动作切换)
[0615]
在进行采用了匹配模式的运动矢量mvlx的推导的图像解码装置31中，在导入通过bio预测进行的运动补偿的情况下，运动补偿部3091也可以根据是否应用bio预测来切换用于在匹配模式下推导运动矢量mv(运动矢量mvlx)的搜索精度。
[0616]
在由帧间预测参数解码部303解码的bio标志表示运动补偿部3091执行应用了bio预测的运动补偿(以后，标记为“bio开启”)的情况下，帧间预测参数解码部303将匹配模式下的运动矢量的搜索的搜索精度设为npel(例如，1pel、1/2pel)。另一方面，在bio标志表示不执行应用了bio预测的运动补偿(以后，标记为“bio关闭”)的情况下，帧间预测参数解码部303也可以将匹配模式下的运动矢量的搜索的搜索精度设为mpel(例如，1/4或1/8pel)。在此，n》m成立。
[0617]
或者，在进行采用了匹配模式的运动矢量mvlx的推导的图像解码装置31中，在导入通过bio预测进行的运动补偿的情况下，运动补偿部3091也可以根据是否应用bio预测来切换用于在匹配模式下推导运动矢量mv(运动矢量mvlx)的块的尺寸。
[0618]
例如，在bio开启的情况下，帧间预测参数解码部303也可以构成为匹配模式下的运动矢量的搜索的搜索精度按相对较大的块(预测单元pu)进行，而不进行每个作为构成预测块的较小的块的子块(例如4
×
4)的搜索。另一方面，在bio关闭的情况下，也可以按作为相对较小的块的子块来执行匹配模式下的运动矢量的搜索。
[0619]
需要说明的是，bio标志可以是按序列编码的标志，也可以是按序列参数集sps、按图片参数集pps、以及按块编码的标志。
[0620]
在进行采用了匹配模式的运动矢量mvlx的推导的图像解码装置31中，在导入通过bio预测进行的运动补偿的情况下，考虑具备多个模式作为上述匹配模式的构成，例如，具备双预测匹配模式和模板匹配模式的构成。无论是双预测匹配模式还是bio预测模式，都是基于物体在遍及多个参照图片间进行等速运动的假设(以bio预测来说，不仅是梯度变化，时间变化在某范围内也固定的假设)，因此，可认为在使用双预测匹配模式作为匹配模式的情况下，bio预测也有效。
[0621]
因此，运动补偿部3091也可以基于由帧间预测参数解码部303解码的预测模式是否是双预测匹配，来进行应用了bio预测的运动补偿。换句话说，运动补偿部3091也可以基于用于推导帧间预测参数解码部303运动矢量而选择的预测模式是否是双预测匹配模式，来进行应用了bio预测的运动补偿。
[0622]
即，也可是采用如下的构成：在匹配模式为模板匹配的情况下，运动补偿部3091不进行应用了bio预测的运动补偿(帧间预测参数解码部303不从编码数据中解码bio标志，而对bio标志设定表示bio关闭的值)，另一方面，在匹配模式为双预测匹配的情况下，运动补偿部3091进行应用了bio预测的运动补偿(帧间预测参数解码部303从编码数据中解码bio标志)。
[0623]
此外，也可以采用如下的构成：在匹配模式为模板匹配的情况下，运动补偿部3091不进行应用了bio预测的运动补偿(帧间预测参数解码部303对bio标志设定表示bio关闭的值)，另一方面，在匹配模式为双预测匹配的情况下，运动补偿部3091进行应用了bio预测的运动补偿(帧间预测参数解码部303推导表示bio开启的值作为bio标志)。
[0624]
由于有时运动在模板匹配的情况下对象图像cur以及l0参照图像refimgl0与对象图像cur以及l1参照图像refimgl1之间不连续，因此，即使运动补偿部3091执行应用了bio预测的运动补偿，运动补偿处理的性能也不一定提高。因此，也可以构成为在模板匹配的情况下运动补偿部3091不执行应用了bio预测的运动补偿。这样构成的话，能够减少运动补偿部3091执行bio预测的运动补偿需要的处理的量。
[0625]
此外，在进行采用了匹配模式的运动矢量mvlx的推导的图像解码装置31中，在导入通过bio预测进行的运动补偿的情况下，在具备多个模式作为上述匹配模式的构成、例如具备双预测匹配模式和模板匹配模式的构成中，也可以是据匹配模式来变更匹配预测的精度的构成。即，在匹配模式为双预测模式的情况下，即使运动矢量的搜索精度不高，在匹配模式之后通过bio预测也使运动补偿图像得以校正，从而生成精度较高的预测图像，因此，也可以在匹配模式为双预测模式的情况下，相对增大匹配模式下运动矢量的搜索单位(例如1像素、1/2像素)，在匹配模式为模板匹配的情况下，使运动矢量的搜索单位小于双预测匹配的情况(例如1/4像素、1/8像素)。
[0626]
此外，在进行采用了匹配模式的运动矢量mvlx的推导的图像解码装置31中，在导入通过bio预测进行的运动补偿的情况下，也可以是根据匹配模式来变更匹配预测的搜索的空间上的单位(块尺寸)的构成。具体而言，在匹配模式为双预测模式的情况下，匹配的单位即使运动矢量的搜索精度不高，在匹配模式之后通过bio预测，也使运动补偿图像得以校正，从而生成精度较高的预测图像。因此，即使运动矢量的空间上的单位相对较大，也通过bio预测按像素单元被校正。由此，也可以设为：在匹配模式为双预测模式的情况下，使匹配模式下的运动矢量的搜索单位(块尺寸)相对较大(例如8
×
8像素、16
×
16像素)，在匹配模式为模板匹配的情况下，是运动矢量的空间上的单位较小(例如倒l字型的模板的一边的长度为最小4至5)。
[0627]
(图像编码装置的构成)
[0628]
接着，对本实施方式的图像编码装置11的构成进行说明。图12是表示本实施方式的图像编码装置11的构成的框图。图像编码装置11包含预测图像生成部101、减法部102、dct/量化部103、熵编码部104、逆量化/逆dct部105、加法部106、预测参数存储器(预测参数
存储部、帧存储器)108、参照图片存储器(参照图像存储部，帧存储器)109、编码参数确定部110、预测参数编码部111而构成。预测参数编码部111包含帧间预测参数编码部112以及帧内预测参数编码部113而构成。
[0629]
预测图像生成部101对从外部输入的层图像t的每个视点的各图片，按块(分割该图片而成的区域)生成预测图片块p。在此，预测图像生成部101基于从预测参数编码部111输入的预测参数，从参照图片存储器109中读出参照图片块。从预测参数编码部111输入的预测参数例如是运动矢量或位移矢量。预测图像生成部101读出位于以编码对象块作为起点而预测的运动矢量或位移矢量所示的位置的块的参照图片块。预测图像生成部101针对读出的参照图片块，使用多个预测方式中的一个预测方式，生成预测图片块p。预测图像生成部101将生成的预测图片块p输出至减法部102。需要说明的是，预测图像生成部101是与已经说明的预测图像生成部308相同的动作，因此省略预测图片块p的生成的详细内容。
[0630]
预测图像生成部101为了选择预测方式，例如选择使误差值为最小的预测方式，所述误差值基于包含于图像的块的每个像素的信号值与预测图片块p所对应的每个像素的信号值的差分。选择预测方式的方法并不限定于此。
[0631]
多个预测方式是帧内预测、运动预测以及合并预测。运动预测是上述的帧间预测中显示时刻间的预测。合并预测是使用已经编码且与位于从编码对象块起预定的范围内的块相同的参照图片块以及预测参数的预测。
[0632]
预测图像生成部101在选择了帧内预测的情况下，将表示生成预测图片块p时使用的帧内预测模式的预测模式intrapredmode输出至预测参数编码部111。
[0633]
预测图像生成部101在选择了运动预测的情况下，将生成预测图片块p时使用的运动矢量mvlx存储于预测参数存储器108，并输出至帧间预测参数编码部112。运动矢量mvlx表示从编码对象块的位置至生成预测图片块p时的参照图片块的位置的矢量。表示运动矢量mvlx的信息中，包含表示参照图片的信息(例如，参照图片索引refidxlx、图片顺序编号poc)，也可以是表示预测参数的信息。此外，预测图像生成部101将表示帧间预测模式的预测模式predmode输出至预测参数编码部111。
[0634]
预测图像生成部101在选择了合并预测的情况下，将表示所选择的参照图片块的合并索引merge_idx输出至帧间预测参数编码部112。此外，预测图像生成部101将表示合并预测模式的预测模式predmode输出至预测参数编码部111。
[0635]
减法部102从自外部输入的层图像t所对应的块的信号值中按像素减去从预测图像生成部101输入的预测图片块p的信号值，生成残差信号。减法部102将生成的残差信号输出至dct/量化部103和编码参数确定部110。
[0636]
dct/量化部103对从减法部102输入的残差信号进行dct，计算出dct系数。dct/量化部103对计算出的dct系数进行量化，求出量化系数。dct/量化部103将求出的量化系数输出至熵编码部104以及逆量化/逆dct部105。
[0637]
熵编码部104中，从dct/量化部103输入有量化系数，从编码参数确定部110输入有编码参数。所输入的编码参数中，例如有参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx、预测模式predmode、以及合并索引merge_idx等代码。
[0638]
熵编码部104对输入的量化系数和编码参数进行熵编码从而生成编码流te，并将生成的编码流te输出至外部。
[0639]
逆量化/逆dct部105对从dct/量化部103输入的量化系数进行逆量化，求出dct系数。逆量化/逆dct部105对求出的dct系数进行逆dct，计算出解码残差信号。逆量化/逆dct部105将计算出的解码残差信号输出至加法部106。
[0640]
加法部106按像素将从预测图像生成部101输入的预测图片块p的信号值与从逆量化/逆dct部105输入的解码残差信号的信号值相加，生成参照图片块。加法部106将生成的参照图片块存储于参照图片存储器109。
[0641]
预测参数存储器108将预测参数编码部111所生成的预测参数按编码对象的图片以及块存储于预定的位置。
[0642]
参照图片存储器109将加法部106所生成的参照图片块按编码对象的图片以及块存储于预定的位置。
[0643]
编码参数确定部110选择编码参数的多个集合中的一个集合。编码参数是上述的预测参数、与该预测参数相关连而生成的成为编码的对象的参数。预测图像生成部101分别使用这些编码参数的集合来生成预测图片块p。
[0644]
编码参数确定部110对多个集合的每一个集合计算出信息量的大小和指示编码误差的成本值。成本值例如是代码量与平方误差乘以系数λ而得的值之和。代码量是对量化误差和编码参数进行熵编码而得的编码流te的信息量。平方误差是关于在减法部102中计算出的残差信号的残差值的平方值的像素间的总和。系数λ是大于预先设定的零的实数。编码参数确定部110选择计算出的成本值成为最小的编码参数的集合。由此，熵编码部104将所选择的编码参数的集合作为编码流te输出至外部，而不输出未被选择的编码参数的集合。
[0645]
预测参数编码部111推导基于从预测图像生成部101输入的参数生成预测图片时所用的预测参数，并对推导出的预测参数进行编码，生成编码参数的集合。预测参数编码部111将所生成的编码参数的集合输出至熵编码部104。
[0646]
预测参数编码部111将所生成的编码参数的集合中与编码参数确定部110所选择的参数对应的预测参数存储于预测参数存储器108。
[0647]
预测参数编码部111在从预测图像生成部101输入的预测模式predmode表示帧间预测模式的情况下，使帧间预测参数编码部112进行动作。预测参数编码部111在预测模式predmode表示帧内预测模式的情况下，使帧内预测参数编码部113进行动作。
[0648]
帧间预测参数编码部112基于从编码参数确定部110输入的预测参数而推导帧间预测参数。帧间预测参数编码部112中，作为推导帧间预测参数的构成，包含与帧间预测参数解码部303(参照图5等)推导帧间预测参数的构成相同的构成。帧间预测参数编码部112的构成将在下文叙述。
[0649]
帧内预测参数编码部113将从编码参数确定部110输入的预测模式predmode所示的帧内预测模式intrapredmode确定为帧间预测参数的集合。
[0650]
(帧间预测参数编码部的构成)
[0651]
接着，对帧间预测参数编码部112的构成进行说明。帧间预测参数编码部112是对应于帧间预测参数解码部303的部。
[0652]
图13是表示本实施方式的帧间预测参数编码部112的构成的概略图。
[0653]
帧间预测参数编码部112包含合并预测参数推导部1121、amvp预测参数推导部1122、减法部1123、以及预测参数整合部1126而构成。
[0654]
合并预测参数推导部1121具有与上述的合并预测参数推导部3036(参照图7)同样的构成，amvp预测参数推导部1122具有与上述的amvp预测参数推导部3032(参照图8)同样的构成。
[0655]
帧间预测参数编码控制部1031向熵编码部104指示与帧间预测相关联的代码(语法元素的解码，而对编码数据所包含的代码(语法元素)，例如分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、以及差分矢量mvdlx进行编码。
[0656]
帧间预测参数编码控制部1031如图10所示，包含合并索引编码部10312、矢量候选索引编码部10313、以及未图示的分割模式编码部、合并标志编码部、帧间预测标志编码部、参照图片索引编码部、矢量差分编码部而构成。分割模式编码部、合并标志编码部、合并索引编码部、帧间预测标志编码部、参照图片索引编码部、矢量候选索引编码部10313、矢量差分编码部分别对分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx进行编码。
[0657]
合并预测参数推导部1121中，在从预测图像生成部101输入的预测模式predmode表示合并预测模式的情况下，从编码参数确定部110输入合并索引merge_idx。合并索引merge_idx被输出至预测参数整合部1126。合并预测参数推导部1121从预测参数存储器108读出合并候选中合并索引merge_idx所指示的参照块的参照图片索引refidxlx、运动矢量mvlx。合并候选是位于从成为编码对象的编码对象块起预定的范围的参照块(例如，与编码对象块的左下端、左上端、右上端相接的参照块中)，是完成了编码处理的参照块。
[0658]
amvp预测参数推导部1122具有与上述的amvp预测参数推导部3032(参照图8)同样的构成。
[0659]
amvp预测参数推导部1122中，在从预测图像生成部101输入的预测模式predmode表示帧间预测模式的情况下，从编码参数确定部110输入运动矢量mvlx。amvp预测参数推导部1122基于所输入的运动矢量mvlx推导预测矢量mvplx。amvp预测参数推导部1122将推导出的预测矢量mvplx输出至减法部1123。需要说明的是，参照图片索引refidx以及预测矢量索引mvp_lx_idx被输出至预测参数整合部1126。
[0660]
减法部1123从自编码参数确定部110输入的运动矢量mvlx中减去从amvp预测参数推导部1122输入的预测矢量mvplx，生成差分矢量mvdlx。差分矢量mvdlx输出至预测参数整合部1126。
[0661]
在从预测图像生成部101输入的预测模式predmode表示合并预测模式的情况下，预测参数整合部1126将从编码参数确定部110输入的合并索引merge_idx输出至熵编码部104。
[0662]
在从预测图像生成部101输入的预测模式predmode表示帧间预测模式的情况下，预测参数整合部1126进行接下来的处理。
[0663]
预测参数整合部1126将从编码参数确定部110输入的参照图片索引refidxlx以及预测矢量索引mvp_lx_idx、从减法部1123输入的差分矢量mvdlx整合。预测参数整合部1126将所整合的代码输出至熵编码部104。
[0664]
需要说明的是，帧间预测参数编码部112也可以包含帧间预测参数编码控制部(未
图示)，所述帧间预测参数编码控制部对熵编码部104指示与帧间预测相关连的代码(语法元素的解码)，并对包含于编码数据的代码(语法元素)、例如分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx进行编码。
[0665]
该情况下，帧间预测参数编码控制部除了包含用于表示是否进行追加预测而对照度补偿标志ic_enable_flag进行编码的追加预测标志编码部(参照图10)以外，还包含合并索引编码部(参照图10)、矢量候选索引编码部(参照图10)、以及分割模式编码部、合并标志编码部、帧间预测标志编码部、参照图片索引编码部、矢量差分编码部等而构成。分割模式编码部、合并标志编码部、合并索引编码部、帧间预测标志编码部、参照图片索引编码部、矢量候选索引编码部、矢量差分编码部分别对分割模式part_mode、合并标志merge_flag、合并索引merge_idx、帧间预测标志inter_pred_idc、参照图片索引refidxlx、预测矢量索引mvp_lx_idx、差分矢量mvdlx进行编码。
[0666]
需要说明的是，可以通过计算机实现上述的实施方式中的图像编码装置11、图像解码装置31的一部分、例如熵解码部301、预测参数解码部302、预测图像生成部101、dct/量化部103、熵编码部104、逆量化/逆dct部105、编码参数确定部110、预测参数编码部111、熵解码部301、预测参数解码部302、预测图像生成部308、逆量化/逆dct部311。该情况下，可以通过将用于实现该控制功能的程序记录于计算机可读记录介质，并使计算机系统读入记录于该记录介质的程序并执行来实现。需要说明的是，在此提到的“计算机系统”是指内置于图像编码装置11-11h、图像解码装置31-31h的任一个中的计算机系统，采用包含os、外围设备等硬件的计算机系统。此外，“计算机可读记录介质”是指软盘、磁光盘、rom、cd-rom等可移动介质、内置于计算机系统的硬盘等存储装置。而且，“计算机可读取的记录介质”可以包含：像在经由因特网等网络或电话线路等通信线路来发送程序的情况下的通信线那样短时间内、动态地保存程序的介质；像作为该情况下的服务器、客户端的计算机系统内部的易失性存储器那样在固定时间内保存程序的介质。此外，上述程序可以是用于实现前述的功能的一部分的程序，也可以是能进一步将前述功能与已经记录于计算机系统中的程序组合来实现的程序。
[0667]
此外，也可以将上述的实施方式中的图像编码装置11、图像解码装置31的一部分或全部作为lsi(large scale integration：大规模集成电路)等集成电路而实现。图像编码装置11、图像解码装置31的各功能块可以单独地处理器化，也可以集成一部分或全部来处理器化。此外，集成电路化的方法并不限于lsi，也可以通过专用电路或通用处理器来实现。此外，在通过半导体技术的进步出现代替lsi的集成电路化的技术的情况下，也可以使用基于该技术的集成电路
[0668]
以上，参照附图对该发明的一实施方式详细地进行了说明，但具体构成并不限定于上述，在不脱离该发明的主旨的范围内，可以进行各种设计变更等。
[0669]
〔应用例〕
[0670]
上述的图像编码装置11以及图像解码装置31可以搭载于进行运动图像的发送、接收、记录、再现的各种装置而利用。需要说明的是，运动图像可以是通过摄像机等拍摄的自然运动图像，也可以是通过计算机等生成的人工运动图像(包含cg以及gui)。
[0671]
首先，参照图33，对能够将上述的图像编码装置11以及图像解码装置31利用于运
动图像的发送以及接收的情况进行说明。
[0672]
图33(a)是表示搭载有图像编码装置11的发送装置prod_a的构成的框图。如图33(a)所示，发送装置prod_a具备：通过对运动图像进行编码而获得编码数据的编码部prod_a1、通过根据编码部prod_a1获得的编码数据调制载波而获得调制信号的调制部prod_a2、以及发送调制部prod_a2获得的调制信号的发送部prod_a3。上述的图像编码装置11用作该编码部prod_a1。
[0673]
发送装置prod_a也可以进一步具备：拍摄运动图像的摄像机prod_a4、记录有运动图像的记录介质prod_a5、用于从外部输入运动图像的输入端子prod_a6，以及生成或加工图像的图像处理部a7，作为输入至编码部prod_a1的运动图像的供给源。在图33(a)中示例出发送装置prod_a具备这些全部的构成，但也可以省略一部分。
[0674]
需要说明的是，记录介质prod_a5可以是记录未被编码的运动图像的介质，也可以是记录以与传输用的编码方式不同的记录用的编码方式编码的运动图像的介质。在后者的情况下，使按照记录用的编码方式对从记录介质prod_a5读出的编码数据进行解码的解码部(未图示)介于记录介质prod_a5与编码部prod_a1之间为好。
[0675]
图33(b)是表示搭载有图像解码装置31的接收装置prod_b的构成的框图。如图33(b)所示，接收装置prod_b具备：接收调制信号的接收部prod_b1、通过对接收部prod_b1所接收的调制信号进行解调而获得编码数据的解调部prod_b2、以及通过对解调部prod_b2获得的编码数据进行解码而获得运动图像的解码部prod_b3。上述的图像解码装置31用作该解码部prod_b3。
[0676]
接收装置prod_b也可以进一步具备显示图像的显示器prod_b4、用于记录运动图像的记录介质prod_b5、以及用于将运动图像输出至外部的输出端子prod_b6，作为解码部prod_b3所输出的运动图像的供给目的地。图33(b)中示例出了接收装置prod_b具备这些全部的构成，但也可以省略一部分。
[0677]
需要说明的是，记录介质prod_b5可以是用于记录未被编码的运动图像的介质，也可以是以与传输用的编码方式不同的记录用的编码方式编码的介质。在后者的情况下，使按照记录用的编码方式对从解码部prod_b3取得的运动图像进行编码的编码部(未图示)介于解码部prod_b3与记录介质prod_b5之间为好。
[0678]
需要说明的是，传输调制信号的传输介质可以是无线，也可以是有线。此外，传输调制信号的传输方案可以是广播(在此，指发送目的地未预先特定的发送方案)，也可以是通信(在此，指发送目的地已预先特定的发送方案)。即，调制信号的传输可以通过无线广播、有线广播、无线通信、以及有线通信的任一个来实现。
[0679]
例如，地面数字广播的广播站(广播设备等)/接收站(电视接收机等)是通过无线广播收发调制信号的发送装置prod_a/接收装置prod_b的一个示例。此外，有线电视广播的广播站(广播设备等)/接收站(电视接收机等)是通过有线广播收发调制信号的发送装置prod_a/接收装置prod_b的一个示例。
[0680]
此外，使用互联网的vod(video on demand：视频点播)服务、运动图像共享服务等服务器(工作站等)/客户端(电视接收机、个人计算机、智能手机等)是通过通信收发调制信号的发送装置prod_a/接收装置prod_b的一个示例(通常，在lan中使用无线或有线的任一个作为传输介质，在wan中使用有线作为传输介质)。在此，个人计算机中包含台式pc、膝上
型pc、以及平板型pc。此外，智能手机中也包含多功能便携电话终端。
[0681]
需要说明的是，运动图像共享服务的客户端除了将从服务器下载的编码数据解码并显示于显示器的功能以外，还具有对通过摄像机拍摄的运动图像进行编码并上传至服务器的功能。即，运动图像共享服务的客户端发挥发送装置prod_a以及接收装置prod_b双方的功能。
[0682]
接着，参照图34，对能够将上述的图像编码装置11以及图像解码装置31利用于运动图像的记录以及再现的情况进行说明。
[0683]
图34(a)是表示搭载有上述的图像编码装置11的记录装置prod_c的构成的框图。如图34(a)所示，记录装置prod_c具备：通过对运动图像进行编码而获得编码数据的编码部prod_c1、以及将编码部prod_c1获得的编码数据写入记录介质prod_m的写入部prod_c2。上述的图像编码装置11用作该编码部prod_c1。
[0684]
需要说明的是，记录介质prod_m可以是(1)如hdd(hard disk drive：硬盘驱动器)、ssd(solid state drive：固体状态驱动机)等那样内置于记录装置prod_c的类型的记录介质，也可以是(2)如sd存储卡、usb(universal serial bus：通用串行总线)闪存等那样与记录装置prod_c连接的类型的记录介质，也可以是(3)如dvd(digital versatile disc：数字化通用磁盘)、bd(blu-ray disc：蓝光，注册商标)等那样装填至内置于记录装置prod_c的驱动装置(未图示)的类型的记录介质。
[0685]
此外，记录装置prod_c也可以进一步具备：拍摄运动图像的摄像机prod_c3、用于从外部输入运动图像的输入端子prod_c4、用于接收运动图像的接收部prod_c5、以及生成或加工图像的图像处理部c6，作为输入至编码部prod_c1的运动图像的供给源。图34(a)中例示出了记录装置prod_c具备这些全部的构成，但也可以省略一部分。
[0686]
需要说明的是，接收部prod_c5可以接收未被编码的运动图像，也可以接收以与记录用的编码方式不同的传输用的编码方式编码的编码数据。在后者的情况下，使对以传输用的编码方式编码的编码数据进行解码的传输用解码部(未图示)介于接收部prod_c5与编码部prod_c1之间为好。
[0687]
作为这种记录装置prod_c，例如可列举：dvd记录器，bd记录器，hdd(hard disk drive)记录器等(该情况下，输入端子prod_c4或接收部prod_c5成为运动图像的主要的供给源)。此外，便携式摄像机(该情况下，摄像机prod_c3成为运动图像的主要的供给源)、个人计算机(该情况下，接收部prod_c5或图像处理部c6成为运动图像的主要的供给源)、智能手机(该情况下，摄像机prod_c3或接收部prod_c5成为运动图像的主要的供给源)等也是这种记录装置prod_c的一个示例。
[0688]
图34(b)是表示搭载有上述的图像解码装置31的再现装置prod_d的构成的框。如图34(b)所示，再现装置prod_d具备：读出已写入记录介质prod_m的编码数据的读出部prod_d1、以及通过对读出部prod_d1所读出的编码数据进行解码而获得运动图像的解码部prod_d2。上述的图像解码装置31用作该解码部prod_d2。
[0689]
需要说明的是，记录介质prod_m可以是(1)如hdd、ssd等那样内置于再现装置prod_d的类型的记录介质，也可以是(2)如sd存储卡、usb闪存等那样与再现装置prod_d连接的类型的记录介质，也可以是(3)如dvd、bd等那样装填至内置于再现装置prod_d的驱动装置(未图示)的类型的记录介质。
services digital network：综合业务数字网)，van(value-added network：增值网络)、catv(community antenna television/cable television：社区天线电视/有线电视)通信网、虚拟专用网(virtual private network)、电话线路网、移动通信网、卫星通信网等。此外，构成该通信网络的传输介质也只要是可传输程序代码的介质即可，不限定于特定的构成或种类。例如，无论在ieee(institute of electrical and electronic engineers：电气和电子工程师协会)1394、usb、电力线输送、有线tv线路、电话线、adsl(asymmetric digital subscriber line：非对称数字用户线路)线路等有线中，还是在如irda(infrared data association：红外线数据协会)、遥控器那样的红外线、bluetooth(注册商标)、ieee802.11无线、hdr(high data rate：高数据速率)、nfc(near field communication：近场通讯)、dlna(digital living network alliance：数字生活网络联盟，注册商标)、便携电话网、卫星线路、地面波数字网等无线中都可利用。需要说明的是，本发明的一实施方式即使以通过电子传输将上述程序代码具体化的嵌入载波的计算机数据信号的形态也能够实现。
[0698]
本发明的一实施方式并不限定于上述的实施方式，在权利要求所示的范围内，可进行各种变更。即，将在权利要求所示的范围内经过适宜变更的技术方案组合而获得的实施方式也包含在本发明的技术范围内。
[0699]
(关联申请的相互参照)
[0700]
本技术针对2016年2月3日提出申请的日本特愿2016-019354主张优先权的利益，通过对该申请进行参照而将其全部内容包含在本说明书中。
[0701]
工业上的可利用性
[0702]
本发明的一实施方式能够优选地应用于对将图像数据编码而得的编码数据进行解码的图像解码装置、以及生成将图像数据编码而得的编码数据的图像编码装置。此外，能够优选地应用于由图像编码装置生成并被图像解码装置参照的编码数据的数据结构。
[0703]
符号说明
[0704]
1：图像传输系统
[0705]
11：图像编码装置(运动图像编码装置)
[0706]
101：预测图像生成部
[0707]
102：减法部
[0708]
103：dct/量化部
[0709]
104：熵编码部
[0710]
105：逆量化/逆dct部
[0711]
106：加法部
[0712]
108：预测参数存储器(帧存储器)
[0713]
109：参照图片存储器(帧存储器)
[0714]
110：编码参数决定部
[0715]
111：预测参数编码部
[0716]
112：帧间预测参数编码部
[0717]
1121：合并预测参数推导部
[0718]
1122：amvp预测参数推导部
[0719]
1123：减法部
[0720]
1126：预测参数统合部
[0721]
113：帧内预测参数编码部
[0722]
21：网络
[0723]
31：图像解码装置(运动图像解码装置)
[0724]
301：熵解码部
[0725]
302：预测参数解码部
[0726]
303：帧间预测参数解码部(预测矢量计算部)
[0727]
30312：合并索引解码部
[0728]
30313：矢量候选索引解码部
[0729]
3032：amvp预测参数推导部
[0730]
3033：矢量候选推导部
[0731]
3035：加法部
[0732]
3036：合并预测参数推导部
[0733]
30361：合并候选推导部
[0734]
303611：合并候选储存部
[0735]
30362：合并候选选择部
[0736]
304：帧内预测参数解码部
[0737]
306：参照图片存储器(帧存储器)
[0738]
307：预测参数存储器(帧存储器)
[0739]
308：预测图像生成部
[0740]
309：帧间预测图像生成部
[0741]
3091：运动补偿部(预测图像生成装置、预测图像生成部)
[0742]
30911：运动补偿梯度部
[0743]
309122：梯度校正系数推导部(第二切换部、剪辑部)
[0744]
309112：梯度推导部(第一切换部)
[0745]
3094：权重预测部
[0746]
310：帧内预测图像生成部
[0747]
311：逆量化/逆dct部
[0748]
312：加法部
[0749]
41：图像显示装置。