图像编码设备和图像解码设备的制作方法

1.本发明涉及图像编码设备、图像编码方法和程序、图像解码设备、图像解码方法和程序以及图像码数据，更具体地，涉及能够将图片分割成矩形并提取独立的码数据的图像编码方法/解码方法。


背景技术：

2.作为用于运动图像的压缩记录的编码方法，hevc(高效视频编码)编码方法(在下文中称为hevc)是已知的。在hevc中，为了提高编码效率，采用大小大于常规宏块(16
×
16个像素)的基本块。大小大的基本块被称为ctu(编码树单元)，并且其大小最大为64
×
64个像素。ctu被进一步分割成作为进行预测或转换的单位的子块。
3.此外，在hevc中，图片可以被分割成多个片(tile)或条带(slice)并被编码。片或条带具有小的数据依赖性，并且可以并行执行编码/解码处理。片或条带分割的一个很大的优点是可以由多核cpu等并行执行处理以缩短处理时间。专利文献1公开了一种与片和条带相关联的技术。
4.近年来，已经开始了作为hevc后继者的更高效编码方法的国际标准化活动。在iso/iec和itu-t之间已经建立了jvet(联合视频专家组)，并且已经标准化了vvc(通用视频编码)编码方法(在下文中称为vvc)。在vvc中，存在被配置为包括一个或多于一个条带且形成矩形的子图片。图片可以被分割成一个或多于一个子图片，并且各子图片可以作为独立的码数据被处理。
5.引文列表
6.专利文献
7.专利文献1：日本特开2014-11638


技术实现要素：

8.发明要解决的问题
9.关于vvc的子图片，表示子图片的最大数量的值、诸如定义各子图片的边界位置的网格的垂直/水平大小的基本像素数、各子图片的id、对应于各子图片的控制标志等被定义为句法。
10.关于子图片的句法中仍然保留许多冗余部分，导致码量的增加。
11.因此，本发明是为了解决上述问题而做出的，并且提供了一种用于通过消除关于子图片的句法的冗余来减少所生成的位流的码量的技术。
12.用于解决问题的方案
13.为了解决上述问题，根据本发明的图像编码设备具有以下配置。也就是说，图像编码设备是一种包括编码部件的图像编码设备，所述编码部件用于将图像分割成多个子图片并且对各子图片进行编码，使得各子图片能够被独立解码，其特征在于，包括：第一决定部件，用于决定形成所述图像的各子图片是否被定义为仅一个矩形；第二决定部件，用于决定
基本像素数，所述基本像素数是形成所述子图片的网格的垂直/水平大小；分配部件，用于将编号分配给以所述基本像素数划分的各网格；以及第三决定部件，用于决定所述子图片的最大数量，所述子图片的最大数量是由所述分配部件分配的编号的数量，其中，所述子图片是被分配相同编号的网格集合，并且对通过从所述第三决定部件所决定的最大数量中减去2而获得的值进行编码。
14.另外，根据本发明的图像解码设备具有以下配置。也就是说，图像解码设备是一种包括图像解码部件的图像解码设备，所述图像解码部件能够对包括通过对多个子图片中的各子图片进行编码而获得的码数据的位流进行解码，其特征在于，包括：第一获取部件，用于从所述位流中获取表示形成所述图像的各子图片是否包括仅一个矩形的信息；第二获取部件，用于从所述位流中获取所述子图片的最大数量；以及第三获取部件，用于从所述位流中获取基本像素数，所述基本像素数是形成所述子图片的网格的垂直/水平大小，其中，通过将从所述第二获取部件获取的数值加2而获得的值被设置为子图片的最大数量，根据从所述第三获取部件获取的网格的垂直/水平大小来获取形成所述图像的垂直/水平网格的数量，并且获取表示各网格属于哪个子图片的信息。
15.此外，根据本发明的图像编码设备具有以下配置。也就是说，图像编码设备是一种包括编码部件的图像编码设备，所述编码部件用于将图像分割成多个子图片并且对各子图片进行编码，使得各子图片能够被独立解码，其特征在于，包括：第一决定部件，用于决定形成所述图像的各子图片是否被定义为仅一个矩形；第二决定部件，用于决定基本像素数，所述基本像素数是形成所述子图片的网格的垂直/水平大小；分配部件，用于将编号分配给以所述基本像素数划分的各网格；以及第三决定部件，用于决定所述子图片的最大数量，所述子图片的最大数量是所述分配部件所分配的编号的数量，其中，所述子图片是被分配相同编号的网格集合，并且仅在所述第三决定部件所决定的最大数量不小于2的情况下，才对所述编号和所述基本像素数进行编码。
16.另外，根据本发明的图像解码设备具有以下配置。也就是说，图像解码设备是一种包括图像解码部件的图像解码设备，所述图像解码部件能够对包括通过对多个子图片中的各子图片进行编码而获得的码数据的位流进行解码，其特征在于，包括：第一获取部件，用于从所述位流中获取表示形成所述图像的各子图片是否包括仅一个矩形的信息；第二获取部件，用于从所述位流中获取所述子图片的最大数量；以及第三获取部件，用于从所述位流中获取基本像素数，所述基本像素数是形成所述子图片的网格的垂直/水平大小，其中，所述子图片是被分配相同编号的网格集合，并且仅在所述第二获取部件所决定的最大数量不小于2的情况下，才获取所述编号和所述基本像素数。
17.发明的效果
18.根据本发明，可以有效地对关于形成图像的子图片的句法进行编码并高效地改进编码。
19.从以下结合附图的描述中，本发明的其他特征和优点将变得明显。注意，在整个附图中，相同的附图标记表示相同或相似的构成要素。
附图说明
20.包含在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且与说
明书一起用于解释本发明的原理。
21.图1是示出图像编码设备的配置的框图；
22.图2是示出图像解码设备的配置的框图；
23.图3是示出图像编码设备中的图像编码处理的流程图；
24.图4是示出图像解码设备中的图像解码处理的流程图；
25.图5是示出硬件配置的示例的框图；
26.图6是示出位流配置的图；
27.图7是示出图像分割的示例的图；
28.图8是示出图像分割的示例的图；
29.图9是示出位流配置的图；
30.图10是示出图像分割的示例的图；以及
31.图11是示出位流配置的图。
具体实施方式
32.在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不对需要所有这些特征的发明进行限制，并且可以适当地组合多个这些特征。此外，在附图中，相同的附图标记被赋予相同或相似的配置，并且省略其冗余描述。
33.(第一实施例)
34.现在将参考附图描述本发明的实施例。图1是示出根据该实施例的图像编码设备的框图。参考图1，附图标记101表示被配置为输入图像数据的端子。
35.附图标记102表示图像分割单元，其将输入图像分割成一个或多个片行或者一个或多个片列。各片是连续的基本块(block)集合，其覆盖图像中的矩形区域。图像分割单元102还将片分割成一个或多个区块(brick)。各区块是由一个或多个基本块行形成的矩形，这些基本块行是片中的基本块的行。图像分割单元102将图像分割成条带，各条带由图像中的一个或多个片或者一个片中的一个或多个区块形成。条带是编码的基本单位，并且诸如表示条带类型的信息等的头部信息被添加到各条带。
36.在该实施例中，如图8所示，图片被分割成两个子图片。此外，为了进行简单描述，子图片、条带、片和区块具有相同的垂直/水平大小和相同的位置。然而，本发明不限于此。
37.附图标记103表示块分割单元，其将从图像分割单元102输出的基本块行图像分割成多个基本块，并将各基本块的图像输出到后续级。
38.附图标记104表示预测单元，其决定各基本块的图像数据的子块分割，并且针对各子块进行作为帧内部预测的帧内预测或作为帧之间预测的帧间预测，从而生成预测图像数据。不进行跨区块的帧内预测或运动矢量预测。此外，预测单元104根据输入图像数据和预测图像数据计算预测误差，并输出预测误差。另外，预测单元104输出预测所需的信息，例如，诸如子块分割、预测模式和运动矢量等的信息以及预测误差。预测所需的信息在下文中将被称为预测信息。
39.附图标记105表示变换/量化单元，其基于子块正交地变换预测误差以获得变换系数，并进一步量化变换系数以获得量化系数。附图标记106表示逆量化/逆变换单元，其对从
变换/量化单元105输出的量化系数进行逆量化以再现变换系数，并且还对变换系数进行逆正交变换以再现预测误差。附图标记108表示存储再现图像数据的帧存储器。
40.附图标记107表示图像再现单元。图像再现单元107通过基于从预测单元104输出的预测信息适当地参考帧存储器108来生成预测图像数据，根据预测图像数据和输入的预测误差来生成再现图像数据，并且输出再现图像数据。附图标记109表示环内滤波器单元。环内滤波器单元109对再现图像进行诸如去块滤波处理或样本自适应偏移等的环内滤波处理，并且输出已经经过滤波处理的图像。
41.附图标记110表示编码单元。编码单元110通过对从变换/量化单元105输出的量化系数和从预测单元104输出的预测信息进行编码来生成码数据，并输出码数据。附图标记111表示整合编码单元。整合编码单元111从图像分割单元102接收分割信息，并且生成头部码数据。整合编码单元111还通过将头部码数据与从编码单元110输出的码数据组合来形成位流，并输出位流。附图标记112表示将由整合编码单元111生成的位流输出到外部的端子。
42.下面将描述根据第一实施例的图像编码设备的图像编码操作。在该实施例中，基于帧输入运动图像数据。然而，也可以输入对应于一帧的静止图像数据。此外，在该实施例中，为了便于描述，将仅描述帧内预测编码处理。然而，本发明不限于此，并且还可以应用于帧间预测编码处理。此外，在该实施例中，为了描述起见，将假设块分割单元103将图像分割成各具有64
×
64个像素的大小的基本块来进行描述。然而，本发明不限于此。
43.在该实施例中，首先，由图像分割单元102将从端子101输入的一帧图像数据分割成子图片，如图8所示。在该实施例中，将描述一个图像数据被分割成两个子图片并且由18个网格形成的情况。一个网格的垂直/水平大小是256
×
256个像素，并且子图片的垂直/水平大小是768
×
768个像素。对于左侧的子图片的各网格，0被设置为索引值。对于右侧的子图片的各网格，1被设置为索引值。如上所述，在该实施例中，一个图像数据被分成多个网格，并且被分割成基于多个网格的多个子图片。此外，各网格被分配索引值作为编号，并且形成一个子图片的网格被分配相同的索引值。
44.在该实施例中，各子图片由一个条带和一个片/一个区块形成。关于子图片或条带的大小的信息作为分割信息被发送到整合编码单元111。此外，各区块被分割成基本块行图像，并且被发送到块分割单元103，其中各基本块行图像是各基本块行的图像数据。
45.块分割单元103将输入的基本块行图像分割成多个基本块，并将各基本块的图像输出到预测单元104。在该实施例中，输出大小为64
×
64个像素的各基本块的图像。
46.预测单元104对从块分割单元103输入的各基本块的图像数据执行预测处理。更具体地，决定用于将基本块分割成更精细的子块的子块分割，并且基于子块决定诸如水平预测或垂直预测等的帧内预测模式。
47.基于所决定的帧内预测模式和编码像素来生成预测图像数据。此外，根据输入图像数据和预测图像数据生成预测误差，并将其输出到变换/量化单元105。另外，子块分割或帧内预测模式的信息作为预测信息被输出到编码单元110和图像再现单元107。
48.变换/量化单元105对输入预测误差进行正交变换/量化，从而生成量化系数。首先，进行与子块的大小相对应的正交变换处理，以生成正交变换系数。接下来，对正交变换系数进行量化以生成量化系数。生成的量化系数被输出到编码单元110和逆量化/逆变换单元106。
49.逆量化/逆变换单元106逆量化输入的量化系数以再现变换系数，并进一步逆正交变换再现的变换系数以再现预测误差。再现的预测误差被输出到图像再现单元107。
50.图像再现单元107通过基于从预测单元104输入的预测信息适当地参考帧存储器108来再现预测图像。然后，根据从逆量化/逆变换单元106输入的再现的预测图像和再现的预测误差来再现图像数据。图像数据被输入并存储在帧存储器108中。
51.环内滤波器单元109从帧存储器108读出再现图像，并进行诸如去块滤波处理等的环内滤波处理。将已经经过滤波处理的图像再次输入到帧存储器108并再次存储。
52.编码单元110基于块对由变换/量化单元105生成的量化系数和从预测单元104输入的预测信息进行熵编码，从而生成码数据。熵编码的方法没有特别指定，并且可以使用哥伦布编码、算术编码、霍夫曼编码等。生成的码数据被输出到整合编码单元111。
53.整合编码单元111从图像分割单元102接收分割信息，生成头部的编码数据，并多路复用从编码单元110输入的码数据等，从而形成位流。最后，位流从端子112输出到外部。
54.由根据该实施例的图像编码设备编码的利用vvc的编码数据的格式如图6所示。在图6所示的编码数据中，首先，存在作为包括关于序列编码的信息的头部信息的序列参数集。随后是作为包括关于图片编码的信息的头部信息的图片参数集、作为包括关于各条带的编码的信息的头部信息的条带头部、以及各区块的编码数据。
55.在序列参数集中，pic_width_in_luma_samples和pic_height_in_luma_samples作为图像大小信息而存在。这些表示关于图像亮度的在水平方向上的像素数量和在垂直方向上的像素数量。在该实施例中，由于图8中所示的图像被编码，因此pic_width_in_luma_samples是1536，并且pic_height_in_luma_samples是768。另外，作为基本块数据分割信息，存在表示基本块的大小的log2_ctu_size_minus2。基本块的垂直和水平像素的数量由1《《(log2_ctu_size_minus2+2)表示。在该实施例中，由于基本块具有64
×
64个像素，因此log2_ctu_size_minus2的值为4。
56.此外，作为子图片信息，存在作为表示是否存在子图片分割的信息的subpics_present_flag。如果subpics_present_flag为1，则这表示图像被分割成一个或多于一个子图片。如果subpics_present_flag为0，则这指示图像未被分割。
57.如果subpics_present_flag为1，则也编码以下信息。也就是说，此时编码的信息包括例如表示子图片的最大数量的max_subpics_minus2。另外，此时编码的信息包括例如表示网格的基本像素数的诸如subpic_grid_col_width_minus1和subpic_grid_row_height_minus1等的信息。此外，此时编码的信息包括例如作为索引值的诸如subpic_grid_idx[i][j]的信息。此外，此时编码的信息包括例如关于滤波的诸如subpic_treated_as_pic_flag[i]和loop_filter_across_subpic_enabled_flag[i]等的信息。
[0058]
传统上，子图片的最大数量被表示为“最大数量-1”。在这种情况下，子图片的最大数量为1，即，存在一个子图片，并且进行设计使得在图像实际上未被分割的状态下码量被最小化。然而，在该实施例中，子图片的最大数量被表示为“最大数量-2”。如果图像被分割成两个子图片，则max_subpics_minus2的值为0，并且可以用最小码量进行表示。
[0059]
图片参数集包括片数据信息、区块数据信息、条带数据信息和基本块数据信息。条带头部包括条带数据信息等，并且随后是各区块的编码数据。
[0060]
图3是示出根据第一实施例的图像编码设备中的编码处理的流程图。首先，在步骤
s301中，图像分割单元102如上所述将图像分割成片、区块和条带，并将分割信息发送到整合编码单元111。在步骤s309中，由整合编码单元111将分割信息转换为头部信息并编码为位流。图像分割单元102还将图像分割成子图片，并将这些子图片发送到块分割单元103。
[0061]
在步骤s302，块分割单元103将基本块行图像分割成基本块。在步骤s303中，预测单元104对在步骤s302中生成的各基本块的图像数据执行预测处理，从而生成子块分割信息、诸如帧内预测模式等的预测信息和预测图像数据。预测单元104还根据输入图像数据和预测图像数据计算预测误差。
[0062]
在步骤s304中，变换/量化单元105正交地变换在步骤s303中计算的预测误差以生成变换系数，并且进行量化以生成量化系数。
[0063]
在步骤s305中，逆量化/逆变换单元106对在步骤s304中生成的量化系数进行逆量化，从而再现变换系数。逆量化/逆变换单元106还对变换系数进行逆正交变换，从而再现预测误差。
[0064]
在步骤s306中，图像再现单元107基于在步骤s303中生成的预测信息再现预测图像。图像再现单元107还根据再现的预测图像和在步骤s305中生成的预测误差再现图像数据。
[0065]
在步骤s307中，编码单元110对在步骤s303中生成的预测信息和在步骤s304中生成的量化系数进行编码，从而生成码数据。
[0066]
在步骤s308中，图像编码设备判断条带中所有基本块的编码是否结束。如果编码结束，则处理前进到步骤s309。否则，处理返回到步骤s302以处理下一个基本块。
[0067]
在步骤s309中，整合编码单元111基于从图像分割单元102发送的分割信息来生成头部信息，并进行编码。
[0068]
将基于图8所示的图像分割来描述该实施例中的详细示例。在该实施例中，由于图像被分割成两个子图片，因此subpics_present_flag为1。接下来，针对表示子图片的最大数量的max_subpics_minus2，设置“最大数量-2”的值，即该实施例中的“0”。如果通过哥伦布编码对该信息进行编码，则对表示“0”的1位数据“0”进行编码。与对表示值“1”的3位数据“010”进行编码的情况相比，这可以提高编码效率。
[0069]
subpic_grid_col_width_minus1是63，并且subpic_grid_row_height_minus1也是63。这两个值以四个像素为单位定义，并且更具体地，这些是通过将网格的基本像素数除以4获得的值减去1而获得的值。
[0070]
存在作为子图片的索引值的subpic_grid_idx[i][j]。这里，[i][j]表示网格的位置，其中i表示行方向，并且j表示列方向。在该实施例中，行方向的范围为0至2，列方向的范围为0至5，并且[0][0]、[0][1]、[0][2]、[1][0]、[1][1]、[1][2]、[2][0]、[2][1]和[2][2]为0。另外，[0][3]、[0][4]、[0][5]、[1][3]、[1][4]、[1][5]、[2][3]、[2][4]和[2][5]为1。形成子图片的条带的码数据基于这些子图片信息被结合，从而创建子图片的码数据。
[0071]
在步骤s310，图像编码设备判断帧中所有基本块的编码是否结束。如果编码结束，则处理前进到步骤s311。否则，处理返回到步骤s302以处理下一个基本块。
[0072]
在步骤s311中，环内滤波器单元109对步骤s306中再现的图像数据进行环内滤波处理，以生成已经经过滤波处理的图像，并且处理结束。
[0073]
利用上述配置和操作，特别是在步骤s309中，如果图像被分割成子图片，则表示子
图片的最大数量的信息由“最大数量-2”编码，从而有效地对关于子图片的句法进行编码。
[0074]
注意，在该实施例中，子图片由一个条带、一个片或一个区块形成。然而，本发明不限于此。图7示出一个条带被分割成多个片的示例。更具体地，索引0和索引3的条带各自由四个片形成，索引1和索引2的条带各自由两个片形成，并且索引4的条带由六个片形成。该实施例也可以应用于该子图片配置。注意，在这种情况下，片和区块具有相同的基本像素大小。
[0075]
注意，在该实施例中，对通过从子图片的最大数量减去2获得的值进行编码。然而，本发明不限于此。代替地，可以对通过从子图片的最大数量减去1获得的max_subpics_minus1进行编码，并且当值为1或更大时，即，仅当子图片的最大数量为2或更大时，可以对以下参数进行编码。也就是说，可以对诸如subpic_grid_col_width_minus1、subpic_grid_row_height_minus1和subpic_grid_idx[i][j]等的参数进行编码。也就是说，如果最大数量为1，则可以省略参数，使得不编码这些参数。
[0076]
此时编码数据的格式如图9所示。在这种情况下，当子图片的最大数量为1时，可减少subpic_grid_col_width_minus1、subpic_grid_row_height_minus1和subpic_grid_idx[0][0]的信息量。这使得可以有效地进行编码。
[0077]
注意，在上面的描述中，当max_subpics_minus1的值为1时，即，仅当子图片的最大数量为2或更大时，才对以下参数进行编码。也就是说，当子图片的最大数量为2或更大时，对参数subpic_grid_col_width_minus1、subpic_grid_row_height_minus1和subpic_grid_idx[i][j]进行编码。此外，仅当子图片的最大数量为2或更大时，才可以对以下两个值进行编码。也就是说，仅当max_subpics_minus1的值为1或更大时，才可以对subpic_treated_as_flag和loop_filter_across_subpic_enabled_flag进行编码。这使得可以进一步减少信息量并有效地进行编码。
[0078]
此外，在该实施例中，已经描述了将图像分割成两个子图片的示例。图10中示出将图像分割成例如三个子图片的示例。可以由ceil(log2(max_subpics_minus1+1))位最大表示的值可以被设置为subpic_grid_idx。当使用max_subpics_minus1或更小的值时，有效的编码是可能的。更具体地，由于图像被分割成三个部分，因此子图片的最大数量为3。因此，通过从3中减去1获得max_subpics_minus1为2。此时的位数是作为ceil(log2(2+1))的计算结果的2，并且可以设置能够由2位表示的值。更具体地，可以设置四种类型的值0、1、2和3。当可设置的最大值被限制为max_subpics_minus1时，如图10所示这些值被限制为0、1和2，并且可以正确地编码关于子图片的句法。
[0079]
另外，在该实施例中，基于四像素定义网格。然而，可以基于ctu行/列定义网格。如果ctu的基本像素数为64
×
64，则subpic_grid_col_width_minus1的值为3，并且subpic_grid_row_height_minus1的值也为3。编码对象的信息小，并且可以减少码量。
[0080]
注意，在该实施例中，作为表示子图片的矩形区域的位置的id的subpic_grid_idx被编码在序列参数集中。然而，本发明不限于此。图11示出了位流的配置，其中作为相应子图片的id的subpic_idx改为编码在作为各条带的头部的条带头部中。当采用这种配置时，表示子图片的矩形区域的位置的信息的数量可以从网格的数量减少到条带的数量。在图8所示的示例中，网格的数量为18，并且子图片的数量＝条带的数量。因此，由于条带的数量为2，因此编码对象的信息的数量可以从18减少到2。
[0081]
另外，subpic_idx被布置在条带头部中。然而，本发明不限于此，并且subpic_idx可以被布置在区块码数据中。这可以减少码量，如在subpic_idx被存储在条带头部中的情况下那样。
[0082]
(第二实施例)
[0083]
图2是示出根据本发明第二实施例的图像解码设备的配置的框图。根据该实施例的图像解码设备可以对包括通过对多个子图片各自进行编码而生成的码数据的位流进行解码。在该实施例中，下面将描述对第一实施例中生成的编码数据进行解码作为示例。
[0084]
附图标记201表示输入编码位流的端子。附图标记202表示分离解码单元，其从位流中分离与关于解码处理的信息和系数有关的码数据，并将这些发送到解码单元203。此外，分离解码单元202对存在于位流的头部部分中的码数据进行解码。在该实施例中，分割信息是通过对关于图像分割的头部信息(诸如片、区块、条带和基本块的大小等)进行解码而生成的，并被输出到图像再现单元205。分离解码单元202进行与图1所示的整合编码单元111的操作相反的操作。
[0085]
附图标记203表示解码单元，其对从分离解码单元202输出的码数据进行解码，从而再现量化系数和预测信息。附图标记204表示逆量化/逆变换单元，其对量化系数进行逆量化以获得变换系数，并且对变换系数进行逆正交变换以再现预测误差。附图标记206表示存储再现图片的图像数据的帧存储器206。附图标记205表示图像再现单元。图像再现单元205通过基于输入的预测信息适当地参考帧存储器206来生成预测图像数据。然后，图像再现单元205根据由逆量化/逆变换单元204再现的预测图像数据和预测误差来生成再现图像数据。基于从分离解码单元202输入的分割信息来指定帧中的片、区块和条带的位置，并且输出所生成的再现图像数据。
[0086]
附图标记207表示环内滤波器单元。与图1所示的上述环内滤波器单元109类似，环内滤波器单元207对再现图像执行诸如去块滤波处理等的环内滤波处理，并且输出已经经过环内滤波处理的图像。附图标记208表示将再现图像数据输出到外部的端子。
[0087]
下面将描述根据该实施例的图像解码设备的图像解码操作。在该实施例中，基于帧输入在第一实施例中生成的位流。然而，可以输入对应于一帧的静止图像位流。此外，在该实施例中，为了便于描述，将仅描述帧内预测解码处理。然而，本发明不限于此，并且还可以应用于帧间预测解码处理。
[0088]
在图2中，与从端子201输入的一帧相对应的位流被输入到分离解码单元202。分离解码单元202从位流中分离与关于解码处理的信息和系数有关的码数据，并解码存在于位流的头部部分中的码数据。更具体地，通过解码图6所示的基本块数据分割信息、片数据分割信息、区块数据分割信息、条带数据分割信息、基本块行数据同步信息和基本块行数据位置信息来生成分割信息，并将其发送到图像再现单元205。接下来，图片数据的各基本块的码数据被再现并输出到解码单元203。
[0089]
解码单元203对码数据进行解码，从而再现量化系数和预测信息。再现的量化系数被输出到逆量化/逆变换单元204，并且再现的预测信息被输出到图像再现单元205。
[0090]
逆量化/逆变换单元204逆量化输入的量化系数以生成正交变换系数，并进行逆正交变换以再现预测误差。再现的预测误差被输出到图像再现单元205。
[0091]
图像再现单元205通过基于从解码单元203输入的预测信息适当地参考帧存储器
206来再现预测图像。根据从逆量化/逆变换单元204输入的预测图像和预测误差来再现图像数据。例如，如图8所示，基于从分离解码单元202输入的分割信息来指定帧中的片、条带和区块的形状和位置，并且所生成的再现图像数据被输入并存储在帧存储器206中。所存储的图像数据用于预测中的参考。
[0092]
类似于图1所示的环内滤波器单元109，环内滤波器单元207从帧存储器206读出再现图像，并且进行诸如去块滤波处理等的环内滤波处理。将已经经过滤波处理的图像再次输入到帧存储器206。存储在帧存储器206中的再现图像最终从端子208输出到外部。
[0093]
图4是示出根据第二实施例的图像解码设备中的图像解码处理的流程图。首先，在步骤s401中，分离解码单元202从位流中分离与关于解码处理的信息和系数有关的码数据，并解码头部部分中的码数据。分离解码单元202对图6所示的片数据信息、区块数据信息、条带数据信息等进行解码，生成用于解码的信息，并将其发送到图像再现单元205。在该实施例中存储在位流中的图像的分割如图8所示。
[0094]
从图像大小信息的pic_width_in_luma_samples和pic_height_in_luma_samples的值，得出图像具有1536
×
768个像素。
[0095]
接下来，由于基本块数据分割信息的log2_ctu_size_minus2的值为4，因此从1《《log2_ctu_size_minus2+2得出基本块的大小是64
×
64个像素。
[0096]
接下来，获取子图片分割信息。首先，由于subpics_present_flag为1，因此可以判定图像被分割成子图片。接下来，获取由max_subpics_minus2表示的子图片的最大数量的信息。在该实施例中，当获取到值0并且将2加到该数值时，得出子图片的最大数量为2。之后，获取由subpic_grid_col_width_minus1和subpic_grid_row_height_minus1表示的形成子图片的网格的基本像素信息。然后，通过预定的计算方法导出由numsubpicgridrows和numsubpicgridcols表示的形成图像的垂直和水平网格的数量。在该实施例中，subpic_grid_col_width_minus1可以被获取为63，并且subpic_grid_row_height_minus1可以被获取为63。
[0097]
通过以下等式计算numsubpicgridrows和numsubpicgridcols。
[0098]
numsubpicgridcols＝
[0099]
(pic_width_in_luma_samples+
[0100]
subpic_grid_col_width_minus1*4+3)/
[0101]
(subpic_grid_col_width_minus1*4+4)
[0102]
numsubpicgridrows＝
[0103]
(pic_height_in_luma_samples+
[0104]
subpic_grid_row_height_minus1*4+3)/
[0105]
(subpic_grid_row_height_minus1*4+4)
[0106]
在该实施例中，numsubpicgridcols被导出为6，并且numsubpicgridrows被导出为3。
[0107]
此后，获取表示由subpic_grid_idx[i][j]表示的各网格属于哪个子图片的索引信息与由numsubpicgridrows和numsubpicgridcols表示的必要数量一样多。在该实施例中，该数量为18。至于值，对于[0][0]、[0][1]、[0][2]、[1][0]、[1][1]、[1][2]、[2][0]、[2][1]和[2][2]获取0。另外，对于[0][3]、[0][4]、[0][5]、[1][3]、[1][4]、[1][5]、[2][3]、
[2][4]和[2][5]获得1。根据这些信息，可以恢复图像被分割成两个子图片，并且如图8所示分割两个子图片。因此，可以对在第一实施例中生成的已有效编码了关于子图片的句法的位流进行解码。
[0108]
在获取信息之后，获取解码所需的诸如片数据分割信息和区块数据分割信息等的信息。从分离解码单元202导出的分割信息被发送到图像再现单元205，并用于指定图像中的将在步骤s404中被处理的数据的位置。
[0109]
在步骤s402中，解码单元203对在步骤s401中分离的码数据进行解码，并再现量化系数和预测信息。在步骤s403中，逆量化/逆变换单元204对量化系数进行逆量化以获得变换系数，并且还进行逆正交变换以再现预测误差。
[0110]
在步骤s404中，图像再现单元205再现在步骤s403中生成的预测信息和预测图像。图像再现单元205还根据步骤s404中生成的再现预测图像和预测误差再现图像数据。基于在步骤s401中生成的分割信息将再现图像数据合成到图像中的适当位置。
[0111]
在步骤s405，图像解码设备判断帧中所有基本块的解码是否结束。如果解码结束，则处理前进到步骤s406。否则，处理返回到步骤s402以处理下一个基本块。
[0112]
在步骤s406中，环内滤波器单元207对在步骤s404中再现的图像数据进行环内滤波处理，以生成已经经过滤波处理的图像，并且处理结束。
[0113]
利用上述配置和操作，可以对通过有效地对关于在第一实施例中生成的子图片的句法进行编码而生成的位流进行解码。
[0114]
注意，在该实施例中，获取通过从子图片的最大数量减去2而获得的值。然而，本发明不限于此。代替地，可获取通过从子图片的最大数量减去1获得的max_subpics_minus1，并且当该值为1或更大时，即，仅当子图片的最大数量为2或更大时，可以获取以下信息。也就是说，可以获取subpic_grid_col_width_minus1、subpic_grid_row_height_minus1和subpic_grid_idx[i][j]。也就是说，如果最大数量为1，则可以不获取这些信息。这使得可以对冗余子图片信息减少了的位流进行解码。
[0115]
注意，在上面的描述中，当max_subpics_minus1的值为1或更大时，即，仅当子图片的最大数量为2或更大时，获取后续信息。也就是说，当子图片的最大数量为2或更大时，获取subpic_grid_col_width_minus1、subpic_grid_row_height_minus1和subpic_grid_idx[i][j]的信息。当子图片的最大数量为2或更大时，也可以获取以下两个信息。也就是说，仅当max_subpics_minus1的值为1或更大时，也可以获取subpic_treated_as_flag和loop_filter_across_subpic_enabled_flag的两个值。这使得可以对冗余子图片信息进一步减少了的位流进行解码。
[0116]
此外，在该实施例中，已经描述了将图像分割成两个子图片的示例。然而，本发明不限于此。例如，在图10所示的图像被分割成三个子图片的情况下，也可以对通过用于将subpic_grid_idx的最大值设置为max_subpics_minus1或更小的编码方法所创建的位流进行解码。
[0117]
另外，在该实施例中，基于四像素定义网格。然而，可以基于ctu行/列定义网格。在这种情况下，当恢复subpic_grid_col_width_minus1和subpic_grid_row_height_minus1的值时，也可以通过基于ctu的基本像素数进行计算来对码量减少了的位流进行解码。
[0118]
注意，在该实施例中，从序列参数集中获取作为表示子图片的矩形区域的位置的
id的subpic_grid_idx。然而，本发明不限于此。图11示出位流的配置，其中作为相应子图片的id的subpic_idx改为编码在作为各条带的头部的条带头部中。图11示出位流的配置，其中作为相应子图片的id的subpic_idx改为编码在作为各条带的头部的条带头部中。当采用这种配置时，表示子图片的矩形区域的位置的信息的数量可以从网格的数量减少到条带的数量。在图8所示的示例中，网格的数量为18，并且子图片的数量＝条带的数量。因此，由于条带的数量为2，因此可以通过获取两个subpic_idx并计算与18个subpic_grid_idx相同的信息来进行解码。
[0119]
另外，已经描述了subpic_idx被布置在条带头部中的实施例。然而，本发明不限于此，并且即使subpic_idx被布置在区块码数据中，也可以解码与subpic_grid_idx相同的信息。
[0120]
(第三实施例)
[0121]
在上述实施例中，描述了假设图1或2中所示的处理单元由硬件形成。然而，由这些附图中所示的处理单元进行的处理可以由计算机程序配置。
[0122]
图5是示出可应用于根据各实施例的图像显示设备的计算机的硬件的配置的示例的框图。
[0123]
cpu 501使用存储在ram 502或rom 503中的计算机程序和数据来控制整个计算机，并且还执行上述各处理，作为将由根据上述实施例的图像处理设备进行的处理。也就是说，cpu 501用作图1或图2所示的处理单元。
[0124]
ram 502包括被配置为临时存储从外部存储装置506加载的计算机程序和数据以及经由i/f(接口)507从外部获取的数据的区域。此外，ram 502包括由cpu 501用来执行各种处理的工作区。也就是说，例如，ram 502可以被分配为帧存储器，或者可以适当地提供各种类型的其他区域。
[0125]
rom 503存储计算机的设置数据、引导程序等。操作单元504由键盘、鼠标等形成。当计算机的用户操作操作单元504时，可以将各种指令输入到cpu 501。显示单元505显示cpu 501的处理结果。另外，输出单元505由例如液晶显示器形成。
[0126]
外部存储装置506是由硬盘驱动器表示的海量信息存储装置。外部存储装置506存储os(操作系统)和被配置为使cpu 501实现图1或图2所示的单元的功能的计算机程序。外部存储装置506还可以存储作为处理对象的各图像数据。
[0127]
在cpu 501的控制下，将存储在外部存储装置506中的计算机程序和数据适当地加载到ram 502中，并由cpu 501处理。i/f 507可以连接诸如lan或因特网等的网络或者诸如投影装置或显示装置等的其他装置。计算机可以经由i/f 507获取或发送各种信息。附图标记508表示连接上述单元的总线。
[0128]
对于由上述配置形成的操作，cpu 501在控制参考上述流程图描述的操作方面起主要作用。
[0129]
其他实施例
[0130]
本发明可以通过以下处理来实现：将用于实现上述实施例的一个或多于一个功能的程序经由网络或存储介质供给至系统或设备，并使得该系统或设备的计算机中的一个或多个处理器读出并执行程序。本发明还可以通过用于实现一个或多于一个功能的电路(例如，asic)来实现。
[0131]
本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了告知公众本发明的范围，提出了所附权利要求。
[0132]
本技术要求于2019年9月11日提交的日本专利申请2019-165580的优先权，该申请在此引入作为参考。
[0133]
附图标记列表
[0134]
101、112、201、208：端子
[0135]
102：图像分割单元
[0136]
103：块分割单元
[0137]
104：预测单元
[0138]
105：变换/量化单元
[0139]
106、204：逆量化/逆变换单元
[0140]
107、205：图像再现单元
[0141]
108、206：帧存储器
[0142]
109、207：环内滤波器单元
[0143]
110：编码单元
[0144]
111：整合编码单元
[0145]
202：分离解码单元
[0146]
203：解码单元