图像解码装置制造方法

图像解码装置制造方法
【专利摘要】本发明各实施例提供了一种图像解码装置。对于具有未并行化的单核或者单线程硬件的基于H.265/HEVC的解码装置，该解码装置执行对多个分片的解码和在分片边界周围的过滤，公开的发明旨在于减少访问在帧存储器中存储的分片之间的边界周围的解码的数据以用于对这样的数据进行过滤的频率或者减少保持分片之间的边界周围的解码的数据的缓冲器的电路尺寸。这里公开的图像解码装置与分片的大小和位置关系相独立地跨屏幕按照光栅扫描顺序执行解码和过滤。在分片边界处，解码前进至同一行上的右相邻分片而不是对同一分片中的向下一行上的编码块解码，并且也使用按行相邻编码块的解码的数据来执行过滤。
【专利说明】图像解码装置
[0001]相关申请的交叉引用
[0002]提交于2013年6月28日的日本专利申请N0.2013-135755的公开内容，包括说明书、说明书附图和说明书摘要通过引用被整体结合于此。

【技术领域】
[0003]本发明涉及一种图像解码装置并且具体地，可以适当地用于接收根据H.265 (HEVC:高效率视频编码)使用分片(tile)编码的比特流的图像解码装置。

【背景技术】
[0004]作为遵循作为标准化图像编码方法的H.264(MPEG-4AVC:高级视频编码)的下一代标准，H.265/HEVC被国际电信联盟(ITU)批准，并且它的标准化工作在进行中。在H.265/HEVC中，利用分片的编码被采用作为一种编码工具的类型。在H.265/HEVC中，称为CTB(编码树块)的方形像素区域被定义，这些CTB是编码和解码单位。在基于分片的编码中，单个图像(一帧图像)被划分成多个矩形区域(这些区域被称为分片或者“块”)，这些矩形区域中的每个矩形区域由多个CTB组成，然后对于每个区域(分片)独立地执行编码，并且编码结果被组合成随后被输出的单个比特流。在比特流被输入到的解码侧，相反地，对于每个区域(分片)执行解码，并且组合解码的结果以恢复一帧图像。对分片之间的边界周围的数据执行过滤以便防止图像质量劣化，即可见边界线。
[0005]基于分片的编码和解码适合用于并行处理。这一点的原因是因为有可能对于每个分片独立地对图像数据编码并且对于每个分片独立地对编码的图像数据解码。在利用多个并行CPU(中央处理单元)的多核软件解码的情况下，可以通过在执行分片解码时向每个(PU指派每个分片、利用与核数目一样多的运行来执行并行解码。在该过程中，通过分片解码而获得的所有信息被存储到存储器中。在对所有分片解码之后，使用存储器中存储的信息对分片之间的边界周围的图像数据执行过滤；然后完成对单个图像(一帧图像)的解码。
[0006]已经通过基于分片的编码而被编码的并且被传输的比特流需要总是通过基于分片的解码来解码。然而，即使传输端具有适合用于基于分片的编码的并行硬件架构，执行解码的接收端也不一定具有相似并行硬件架构。此外，不能标识什么编码算法被编码装置应用的解码装置需要被配置使得它能够对通过任何编码算法编码的比特流解码。例如，解码装置需要被配置使得它能够对使用基于分片的编码而编码的比特流以及未使用基于分片的编码而编码的比特流解码。在解码装置运用多核的情况下，这样的问题将出现:进行控制以吸收相对于编码侧的并行程度差异变得复杂；并且在极端情况下，多个CPU之一仅能被指派为有效运行对利用一个分片编码的一帧的比特流解码。因此，在多数情况下，解码装置具有未并行化的单核或者单线程硬件并且被配置为在每分片基础上串行执行多个分片的解码。
[0007]专利文献I和2公开了一种基于H.265/HEVC标准的图像编码装置和方法以及一种图像解码装置和方法。在专利文献I中描述的技术在块(分片)内存在多阶扫描量化系数的情况下优化量化矩阵。在专利文献2中描述的技术即使在块(分片)具有非方形形状的情况下，仍然优化量化矩阵。在每种情况下，对于图像被块划分单元划分成的块(分片)中的每个块(分片)执行编码和解码。
[0008]同时，在将单个图像(一帧图像)划分成多个区域、诸如分片并且对分片编码和解码的情况下，存在其中使分片边界线作为非自然线可见并且被感知为图像质量劣化的问题。
[0009]专利文献3和4公开了一种用于减轻分片边界线出现的图像处理技术。在专利文献3中描述的图像压缩和扩展装置在处理具有多个分量的静止图像时，改变用于每个分量的分片边界的位置，由此使边界线在以叠加方式组合时不明显。在专利文献4中描述的移动图像处理装置改变用于每个帧的分片边界的位置，由此使边界线在以叠加方式组合时不明显。
[0010][现有技术文献]
[0011][专利文献]
[0012][专利文献I]日本公开待审专利申请N0.2013-012887
[0013][专利文献2]日本公开待审专利申请N0.2013-038758
[0014][专利文献3]日本公开待审专利申请N0.2002-354501
[0015][专利文献4]日本公开待审专利申请N0.2004-032799


【发明内容】

[0016]本发明人对专利文献1、2、3和4的进行考察。作为结果，发现如以下将描述的新问题存在。
[0017]为了解决在将一帧图像划分成多个分片并且对分片编码和解码的情况下使分片边界线作为非自然线可见并且被感知为图像质量劣化的问题，除了在先前提到的专利文献3和4中公开的技术之外还采用一种在解码之后对分片的边界周围的数据进行过滤的方法。过滤是也在H.265/HEVC标准中采用的并且不像在先前提到的专利文献3和4中公开的技术中那样需要复杂控制的一般方法。
[0018]过滤处理需要邻接图像数据作为输入。如果一帧图像被划分成多个分片，则对于分片之间的每个边界，在等待直至完成相邻分片的解码之后执行过滤处理。对于分片之间的每个边界，较早被解码的分片的图像输出数据必须通过任何方法来保持直至完成与该分片相邻的分片的解码。用于保持这种数据的两种方法是可能的。一种方法是对于包括分片边界的所有分片，将从每个分片的解码产生的解码的数据存储到帧存储器中，并且在过滤处理中，对分片之间的边界周围的所需解码的数据进行读取和过滤，而且向帧存储器写回经过滤的数据。另一方法是提供缓冲器用于保持在从每个分片的解码产生的解码的数据之中的、对于以后过滤处理而言所需的、分片之间的边界周围的解码的数据。
[0019]对于如下解码装置，该解码装置具有未并行化的并且被配置为在每分片基础上串行对多个分片解码的单核或者单线程硬件，存在减少访问在帧存储器中存储的分片之间的边界周围的解码的数据以用于对这样的数据进行过滤的频率或者减少保持分片之间的边界周围的解码的数据的缓冲器的电路尺寸这样的问题。
[0020]以下描述用于解决这样的问题的手段。其它问题和新特征将在本说明书中的以下描述以及附图中变得清楚。
[0021 ] 根据一个实施例，提供了一种图像解码装置如下。
[0022]图像解码装置与分片的大小和位置关系相独立地跨屏幕按照光栅扫描(rasterscan)顺序执行解码和过滤。
[0023]以下简要描述前述一个实施例将实现的有利效果。
[0024]有可能减少访问在帧存储器中存储的分片之间的边界周围的解码的数据以用于对这样的数据进行过滤的频率或者减少保持分片之间的边界周围的解码的数据的缓冲器的电路尺寸。

【专利附图】

【附图说明】
[0025]图1是描绘与第一实施例有关的图像解码装置的配置的框图。
[0026]图2是描绘一帧图像中的分片和CTB布置的说明图。
[0027]图3是描绘比特流中的分片和CTB布置的说明图。
[0028]图4是描绘比特流中的分片和CTB布置的更详细的说明图。
[0029]图5是描绘将在与第一实施例有关(也适用于其它实施例)的图像解码装置中处理分片和CTB的顺序的说明图。
[0030]图6是描绘将在与第一实施例有关(也适用于其它实施例)的图像解码装置中处理分片和CTB的顺序的更详细的说明图。
[0031]图7是描绘与第二实施例有关的图像解码装置的配置示例的框图。
[0032]图8是描绘具体为图7中的图像解码装置中的图像恢复单元的详细的配置示例的框图。
[0033]图9是描绘与第三实施例有关的图像解码装置的另一配置示例的框图。
[0034]图10是描绘具体为图9中的图像解码装置中的图像恢复单元的详细的配置示例的框图。
[0035]图11是描绘与第四实施例有关的图像解码装置的另一配置示例的框图。
[0036]图12是描绘具体为图11中的图像解码装置中的图像恢复单元的详细的配置示例的框图。
[0037]图13是描绘与第五实施例有关的图像解码装置的另一配置示例的框图。
[0038]图14是描绘具体为图13中的图像解码装置中的图像恢复单元的详细的配置示例的框图。

【具体实施方式】
[0039]1.实施例的一般概述
[0040]作为开始，概述这里公开的本发明的示例性实施例。在示例性实施例的以下一般描述中，在括号中出于引用目的而给出的在附图中的附图标记(数字)仅例示落入该附图标记标识的部件的概念内的元素。
[0041][I]〈与分片边界相独立地跨整个图像按照光栅扫描顺序解码和过滤>
[0042]配置一种图像解码装置(10)如下，该图像解码装置包括:比特流分析单元(11)，包括首部(header)信息和编码的图像数据的比特流被输入到该比特流分析单元；以及图像恢复单元(12)，该图像恢复单元对从比特流分析单元供应的编码的图像数据执行解码处理并且对从解码处理产生的解码的数据执行过滤处理。
[0043]编码的图像数据是通过将原有图像的一帧划分成多个分片——这些分片是矩形区域——并且对分片中的每个分片编码而获得的图像数据，分片中的每个分片包括以矩阵布置的一个或者多个编码块(CTB)，这些CTB是编码单位。
[0044]比特流包括按照从在一个帧内的左端、顶部行上的分片开始、依次经过右相邻分片、继而为在该帧中的向下一行上依次从左到右并且直至底部行上的分片这样的顺序而对每个分片进行编码以及按照从在每个分片内的左端、顶部行上的编码块开始、依次经过右相邻编码块、继而为在该分片中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序而对每个分片中的每个编码块进行编码而得到的编码的图像数据。
[0045]首部信息包括每个分片的大小信息。
[0046]图像恢复单元与在一个帧内是否存在分片边界相独立地按照从在一帧内的左端、顶部行上的编码块开始、依次经过右相邻编码块、继而为在该帧中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序来串行对编码块进行解码并且对水平邻接的分片之间的(如果存在的话)边界周围的解码的图像数据进行过滤。
[0047]该实现方式可以消除对于用于分片边界过滤的缓冲器的需要，该缓冲器在两个水平邻接分片之间的边界周围的过滤处理中用来保持左手分片的解码结果直至用于右手分片的过滤开始。
[0048][2] <比特流分析单元和用于分析的数据>
[0049]如在第[I]节中阐述的图像解码装置还包括可从比特流分析单元访问的用于分析的数据的数据缓冲器(2)。
[0050]比特流分析单元基于首部信息计算在现在将被处理用于由图像恢复单元恢复的行上的每个分片的开始处放置的编码块被存储在比特流内的位置并且向用于分析的数据的数据缓冲器中缓存该位置。
[0051]比特流分析单元从在用于分析的数据的数据缓冲器中保持的、在现在将被处理用于由图像恢复单元恢复的行上的比特流读取对应图像数据并且向图像恢复单元供应该图像数据。比特流分析单元基于在每个分片的开始处放置的编码块被存储在比特流内的位置来执行读取。
[0052]该实现方式可以消除对于用于分片边界过滤的以上提到的缓冲器的需要。所需用于分析的数据的数据缓冲器的大小替代地可以被减少至小于或者等于用于分片边界过滤的缓冲器的大小的一部分。
[0053][3]〈在第[2]节之下的图像恢复单元的配置>
[0054]在第[2]节之下的图像解码装置还包括用于存储从图像恢复单元输出的解码的图像的帧缓冲器(7)。
[0055]图像恢复单元包括预测图像生成单元(13)、差分图像生成单元(14)、加法器
(15)、过滤处理单元(16)、第一缓冲器(5)和第二缓冲器(6)。
[0056]第一缓冲器保持在从预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。
[0057]预测图像生成单元基于在从比特流分析单元供应的图像数据中包括的预测数据、在第一缓冲器中保持的被过滤之前的上相邻像素信息和在帧缓冲器中存储的解码的像素信息来生成预测图像。
[0058]差分图像生成单元基于在从比特流分析单元供应的图像数据中包括的残留数据来生成差分图像。
[0059]加法器将预测图像和差分图像相加并且生成在被过滤之前的解码的图像。
[0060]第二缓冲器保持在从过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信肩、O
[0061]过滤处理单元基于从加法器供应的被过滤之前的解码的图像和在第二缓冲器中保持的被过滤之后的上相邻像素信息来生成解码的图像并且从图像恢复单元输出解码的图像。
[0062]以该方式，可以有利地配置在第[2]节之下的图像恢复单元。
[0063][4]〈在图像恢复单元的输入侧提供的缓冲器和每个分片的数据大小>
[0064]如在第[I]节中阐述的图像解码装置还包括图像数据缓冲器(3)，该图像数据缓冲器暂时存储从比特流分析单元输出的编码的图像数据并且向图像恢复单元供应该数据。
[0065]比特流分析单元按照图像数据被存储于比特流内的顺序向图像数据缓冲器输出图像数据、基于首部信息计算每个分片的数据大小并且向图像恢复单元输出每个分片的数据大小。
[0066]图像恢复单元基于每个分片的数据大小计算现在将被处理用于解码的图像数据被存储的地址、从图像数据缓冲器读取图像数据并且对该图像数据解码。
[0067]该实现方式可以如在第[I]节中阐述的那样使读取和向图像恢复单元输入图像数据的顺序符合编码块将被处理的顺序而不是使用在第[2]和[3]节之下的用于分析的数据的数据缓冲器(2)。
[0068][5]〈在第[4]节之下的图像恢复单元的配置>
[0069]在第[4]节之下的图像解码装置还包括用于存储从图像恢复单元输出的解码的图像的帧缓冲器(7)。
[0070]图像恢复单元还包括数据读取单元(17)、缓冲器内位置信息存储单元(18)、预测图像生成单元(13)、差分图像生成单元(14)、加法器(15)、过滤处理单元(16)、第一缓冲器(5)和第二缓冲器(6)。
[0071]缓冲器内位置信息存储单元保持基于每个分片的数据大小而确定的现在将被处理用于解码的图像数据被存储的地址。
[0072]数据读取单元根据在缓冲器内位置信息存储单元中存储的地址从图像数据缓冲器读取图像数据、向预测图像生成单元供应在读取的图像数据中包括的预测数据并且向差分图像生成单元供应在读取的图像数据中包括的残留数据。
[0073]第一缓冲器保持在从预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。
[0074]预测图像生成单元基于从数据读取单元供应的预测数据、在第一缓冲器中保持的被过滤之前的上相邻像素信息和在帧缓冲器中存储的解码的像素信息来生成预测图像。
[0075]差分图像生成单元基于从数据读取单元供应的残留数据生成差分图像。
[0076]加法器将预测图像和差分图像相加并且生成在被过滤之前的解码的图像。
[0077]第二缓冲器保持在从过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信肩、O
[0078]过滤处理单元基于从加法器供应的在被过滤之前的解码的图像和在第二缓冲器中保持的在被过滤之后的上相邻像素信息来生成解码的图像并且从图像恢复单元输出解码的图像。
[0079]以该方式，可以有利地配置在第[4]节之下的图像恢复单元。
[0080][6]〈在图像恢复单元的输入侧提供的用于相应分片的缓冲器>
[0081]如在第[I]节中阐述的图像解码装置还包括暂时存储从比特流分析单元输出的编码的图像数据的多个图像数据缓冲器(4_1，4_2，4_3，…)。
[0082]图像数据缓冲器分别用于现在将被处理用于解码的多个分片。
[0083]比特流分析单元将用于分片的图像数据输出到图像数据缓冲器中的适合用于该分片的图像数据缓冲器。
[0084]图像恢复单元从图像数据缓冲器中的其中存储了现在将被处理用于解码的图像数据的图像数据缓冲器读取图像数据并且对该图像数据解码。
[0085]该实现方式可以如在第[I]节中阐述的那样使读取和向图像恢复单元输入图像数据的顺序符合编码块将被处理的顺序。
[0086][7]〈在第[6]节之下的图像恢复单元的配置>
[0087]在第[6]节之下的图像解码装置还包括用于存储从图像恢复单元输出的解码的图像的帧缓冲器[7]。
[0088]图像恢复单元包括数据读取单元(17)、缓冲器内位置信息存储单元(18)、预测图像生成单元(13)、差分图像生成单元(14)、加法器(15)、过滤处理单元(16)、第一缓冲器
(5)和第二缓冲器(6)。
[0089]缓冲器内位置信息存储单元保持基于已经读取了用于每个分片的多少图像数据而确定的现在将被处理用于解码的下一图像数据被存储的地址。
[0090]数据读取单元根据在缓冲器内位置信息存储单元中存储的地址从图像数据缓冲器中的用于现在将被处理用于解码的图像数据所属的分片的图像数据缓冲器读取图像数据、向预测图像生成单元供应在读取的图像数据中包括的预测数据并且向差分图像生成单元供应在读取的图像数据中包括的残留数据。
[0091]第一缓冲器保持在从预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。
[0092]预测图像生成单元基于从数据读取单元供应的预测数据、在第一缓冲器中保持的在被过滤之前的上相邻像素信息和在帧缓冲器中存储的解码的像素信息来生成预测图像。
[0093]差分图像生成单元基于从数据读取单元供应的残留数据来生成差分图像。
[0094]加法器将预测图像和差分图像相加并且生成在被过滤之前的解码的图像。
[0095]第二缓冲器保持在从过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信肩、O
[0096]过滤处理单元基于从加法器供应的在被过滤之前的解码的图像和在第二缓冲器中保持的在被过滤之后的上相邻像素信息来生成解码的图像并且从图像恢复单元输出解码的图像。
[0097]以该方式，可以有利地配置在第[6]节之下的图像恢复单元。
[0098][8]〈用于存储在图像恢复单元的输入侧提供的固定长度数据的缓冲器>
[0099]如在第[I]节中阐述的图像解码装置还包括图像数据缓冲器(3)，该图像数据缓冲器暂时存储从比特流分析单元输出的编码的图像数据并且向图像恢复单元供应该数据。
[0100]比特流分析单元按照图像数据被存储于比特流内的顺序将图像数据的每个分片的数据大小转换成给定的固定长度的数据大小并且向图像数据缓冲器输出固定长度的图像数据。
[0101]图像恢复单元基于给定的固定长度的数据大小计算现在将被处理用于解码的图像数据被存储的地址、根据该地址从图像数据缓冲器读取图像数据并且对该图像数据解码。
[0102]该实现方式可以如在第[I]节中阐述的那样使读取和向图像恢复单元输入图像数据的顺序符合编码块将被处理的顺序，而不是使用在第[2]和[3]节之下的用于分析的数据的数据缓冲器(2)。
[0103][9]〈在第[8]节之下的图像恢复单元的配置〉
[0104]在第[8]节之下的图像解码装置还包括用于存储从图像恢复单元输出的解码的图像的帧缓冲器(7)。
[0105]图像恢复单元包括数据读取单元(17)、缓冲器内位置计算单元(19)、预测图像生成单元(13)、差分图像生成单元(14)、加法器(15)、过滤处理单元(16)、第一缓冲器(5)和第二缓冲器(6)。
[0106]缓冲器内位置计算单元基于给定的固定大小的数据大小计算现在将被处理用于解码的图像数据被存储的地址。
[0107]数据读取单元根据缓冲器内位置计算单元计算的地址从图像数据缓冲器读取图像数据、向预测图像生成单元供应在读取的图像数据中包括的预测数据并且向差分图像生成单元供应在读取的图像数据中包括的残留数据。
[0108]第一缓冲器保持在从预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。
[0109]预测图像生成单元基于从数据读取单元供应的预测数据、在第一缓冲器中保持的在被过滤之前的上相邻像素信息和在帧缓冲器中存储的解码的像素信息来生成预测图像。
[0110]差分图像生成单元基于从数据读取单元供应的残留数据来生成差分图像。
[0111]加法器将预测图像和差分图像相加并且生成在被过滤之前的解码的图像。
[0112]第二缓冲器保持在从过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信肩、O
[0113]过滤处理单元基于从加法器供应的在被过滤之前的解码的图像和在第二缓冲器中保持的在被过滤之后的上相邻像素信息来输出解码的图像。
[0114]以该方式，可以有利地配置在第[8]节之下的图像恢复单元。
[0115][10]〈与分片边界独立地跨越整个图像按照光栅扫描顺序解码和过滤>
[0116]配置一种图像解码装置(10)如下，包括编码的图像数据的比特流被输入到该图像解码装置，并且该图像解码装置对编码的图像数据执行解码处理并且对从解码处理产生的解码的数据执行过滤处理。
[0117]编码的图像数据是通过将原图像的一帧划分成多个分片——这些分片是矩形区域——并且对分片中的每个分片编码而获得的图像数据，分片中的每个分片包括在矩阵中布置的一个或者多个编码块(CTB)，这些CTB是编码单位。
[0118]比特流包括按照从在一帧内的左端、顶部行上的分片依次经过右相邻分片、继而为在该帧中的向下一行上依次从左到右并且直至底部行上的分片这样的顺序对每个分片编码而且按照从在分片内的左端、顶部行上的编码块依次经过右相邻编码块、继而为在该分片中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序对于每个分片中的每个编码块编码的编码的图像数据。
[0119]图像恢复单元串行与在一帧内是否存在分片边界相独立地按照从在一帧内的左端、顶部行上的编码块依次经过右相邻编码块、继而为在该帧中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序串行地对编码块执行解码并且对在水平邻接分片之间的(如果存在的话)的边界周围的解码的图像数据进行过滤。
[0120]该实现方式可以消除对于用于分片边界过滤的缓冲器的需要，该缓冲器在两个水平邻接分片之间的边界周围的过滤处理中用来保持左手分片的解码结果直至用于右手分片的过滤开始。
[0121]2.关于实施例的细节
[0122]然后将更详细地描述本发明的实施例。
[0123]第一实施例〈与分片边界独立地跨整个图像按照光栅扫描顺序解码和过滤>
[0124]图1是描绘与第一实施例有关的图像解码装置的配置的框图。
[0125]图像解码装置10被配置包括比特流分析单元11和图像恢复单元12。比特流分析单元11和图像恢复单元12各自是具有未并行化的单线程硬件的信号处理电路，该信号处理电路被配置有例如但不限于与时钟同步地操作的以流水线配置布置的数字逻辑电路。虽然不是限制性的，但是这些单元使用普遍已知的制造技术、例如CMOS(互补金属氧化物半导体场效应晶体管)和LSI (大规模集成电路)来形成于单个半导体衬底、诸如硅衬底上。
[0126]比特流被输入到比特流分析单元11，该比特流包括首部信息和符合例如但不限于
H.265/HEVC标准的编码的图像数据。图像恢复单元12对从比特流分析单元11供应的编码的图像数据解码并且对从解码产生的解码的数据过滤。
[0127]图2是描绘一帧图像中的分片和CTB布置的说明图。图3是描绘比特流中的分片和CTB布置的说明图。另外，图4是描绘比特流中的分片和CTB布置的更详细的说明图。在该图的顶部，表示了比特流内的分片布置，在该分片布置以下表示了在每个分片中的CTB布置。
[0128]根据H.265/HEVC标准，编码的图像数据是通过将原图像的一帧划分成多个分片——这些分片是矩形区域——并且对分片中的每个分片编码而获得的图像数据，并且分片中的每个分片包括以矩阵布置的一个或者多个编码块(CTB)，这些CTB是编码单位。如在图2中描绘的那样，一帧图像被划分成m列和η行的分片，并且每个分片由多个CTB组成。Xl至Xm各自代表每个分片所包括的CTB的列的数目，并且Yl至Yn各自代表每个分片所包括的CTB的行的数目。例如，在左端、顶部行上的分片，即分片[1，1]由Xl列和Yl行的CTB组成。这里m、n、Xl至Xm和Yl至Yn各自是I或者更大的整数。一帧可以完全由一列分片构成而在水平方向上无分片边界。一巾贞可以完全由一行分片构成而在竖直方向上无分片边界。另外，一帧可以仅由单个分片构成。
[0129]比特流包括按照从在一帧内的左端、顶部行上的分片开始、依次经过右相邻分片、继而为在该帧中的向下一行上依次从左到右并且直至底部行上的分片这样的顺序对每个分片编码以及按照从在每个分片内的左端、顶部行上的编码块开始、依次经过右相邻编码块、继而为在该分片中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序对每个分片中的每个编码块编码而得到的图像数据。如在图3中描绘的那样，组成比特流的编码的图像数据由在帧内按照光栅扫描的顺序布置的多个分片组成。也就是说，光栅扫描在一个帧中始于在左端、顶部行上的分片[1，I]、向右经过分片[2，I]…至右端的分片[m，I]、然后在向下一行上从分片[1，2]到分片[m，2]。在每个分片内，按照光栅扫描的顺序进一步布置编码块。更具体而言，如在图4中描绘的那样，在左端、顶部行上的分片[1，1]中，光栅扫描始于在左端、顶部行上的CTBl，I [I，I]、向右直至分片[1，1]中的右端的CTBl，I [XI，I]、然后从在相同分片[1，1]中的下一行上的CTBl，I [I，2]向右直至在右端的CTBl，
I[XI，2]。在完成在分片[1,1]内的CTBl，I [I，Yl]到在底部行上的CTBl，I [XI，Yl]时，光栅扫描进行至右相邻分片[2，I]。在分片[2，I]内，光栅扫描按照从CTB2，1[1，1]到CTB2，1[X2，Y1]的顺序进行。随后，光栅扫描依次直至分片[m，I]、然后进行到在下一行上的分片[1,2]至分片[m，2]。在重复该过程之时，光栅扫描进行到在一帧中的底部行上的分片[1，η]至分片[m, η]。
[0130]对于每个CTB编码的图像数据具有可变长度。比特流包括如以上编码的图像数据并且还包括首部信息。首部信息包括每个分片的大小信息。
[0131]图5是描绘将在与第一实施例有关(也适用于其它实施例)的图像解码装置中处理分片和CTB的顺序的说明图。图6是描绘将在与第一实施例有关(也适用于其它实施例)的图像解码装置中处理分片和CTB的顺序的更详细的说明图。
[0132]图像恢复单元12与在一个帧内是否存在分片边界相独立地按照从在一个帧内的左端、顶部行上的编码块(CTB)开始、依次经过右相邻编码块(CTB)、继而为在该帧中的向下一行上依次从左到右并且直至底部行上的编码块(CTB)这样的顺序串行地对编码块(CTB)执行解码并且对水平邻接的分片之间的(如果存在的话)边界周围的解码的图像数据过滤。
[0133]如在图5中描绘的那样，比特流包括在每个分片的范围内按照光栅扫描顺序在分片内编码的图像数据，而解码处理通过跨一帧屏幕的光栅扫描对编码的图像数据解码，而忽略分片边界。图像恢复单元12执行对编码的图像数据的解码处理和对解码结果的过滤处理。解码结果直接经受过滤处理而不被传输到外部帧缓冲器等。图像恢复单元12对在一帧中的分片[1，1]中的第I行、分片[2，I]中的第I行并且直至在右端的分片[m，l]中的第I行上的CTB执行解码处理和过滤处理。然后，它对在一帧中的分片[1，1]中的向下一行、即第2行、分片[2，1]中的第2行并且直至在右端的分片[m，l]中的第2行上的CTB执行相同处理；它逐行串行执行相同处理直至在分片[1，1]、分片[2，1]并且直至分片[m，l]中的行Y1。随后，它分别对在分片[1，2]、分片[2，2]至分片[m，2]中的第I行至行Y2和在分片[1，3]、分片[2，3]至分片[m，3]中的第I行至行Y3逐行串行执行相同处理。随后，它分别对在分片[l，n]、分片[2，n]至分片[m，n]中的第I行至行Yn逐行串行执行相同处理，这些分片是在一帧屏幕中的底部行上的分片。更具体而言，如在图6中描绘的那样，该执行从在左端、顶部行上的分片[1，1]中的左端、顶部行上的CTB1，1[1，1]开始、向右进行直至在分片[1，1]中的右端的CTB1，1[X1，1];然后进入右相邻分片[2，I]并且从分片[2，
1]中的左端、顶部行上的CTB2，1[1，1]进行至在右端的CTB1，1[X2，1]。在分片[1，1]中的右端的CTBl，I [XI，I]和在右相邻分片[2，I]中的左端、顶部行上的CTB2，1[1，I]接续经受图像恢复单元12执行的对编码的图像数据的解码处理和对解码结果的过滤处理。随后，该执行对于在一帧屏幕中的第I行上的CTB进一步继续。在执行直至在右端、顶部行上的分片[m，l]中的右端的CTB1，I [Xm，I]之后，该执行前进至第2行。同样在第2行上，该执行从在分片[1,1]中的左端的CTB1，1[1，2]向右进行至在右端的CTB1，I [XI，2]开始、经过在分片[2,1]中的第2行上的CTB2，1[1，2]至CTB2，I [X2，2]并且直至在右端的CTBm，I [Xm，
2]。随后，在对于CTB逐行串行处理顶部行上的分片之后，该执行前进以对在第2行上的分片进行处理。相似地对于在第2行和后续行上的分片，与是否存在分片边界独立地逐行串行处理CTB。对于在第2行上的分片[1，2]、分片[2，2]至分片[m，2]这些分片，该执行针对第 I 行上的 CTB1，2[1，1]至 CTB1，2[X1，1]、CTB2，2[1，1]至 CTB2，2[X2，I]并且直至CTBm, 2 [I, I]至CTBm, 2 [Xm, I]这些CTB继续。该执行然后针对第2行上的CTBl，2 [I，2]至CTB1，2[X1，2]、CTB2，2[1，2]至 CTB2，2 [X2，2]并且直至 CTBm，2 [1，2]至 CTBm, 2 [Xm, 2]这些CTB继续。该执行进一步地针对在底部行Y2上的CTB1，2[1，Y2]至CTB1，2 [XI，Y2]、CTB2，
2[ I，Y2]至 CTB2，2 [X2，Y2]并且直至 CTBm，2 [ I，Y2]至 CTBm，2 [Xm，Y2]这些 CTB 逐行串行继续。随后，该执行进入底部行上的分片[1，η]、分片[2，η]至分片[m，η]这些分片并且针对第 I 行上的 CTBl，n[l，l] M CTBl, η[Χ1，I]、CTB2，η[1，1]至 CTB2，η[Χ2，1]和 CTBm,n[l，l]至CTBm，n[Xm，l]这些CTB继续。该执行进一步地针对第2行上的CTBl，η [I，2]至CTB1，n[Xl，2]、CTB2，η[1，2]至 CTB2，η [Χ2，2]和 CTBm, η [I, 2]至 CTBm, n [Xm, 2]这些 CTB继续并且逐行串行进行直至底部行上的CTBI, n[l，Yn] M CTBl, η[XI, Yn]、CTB2，n[l，Yn]至 CTB2, n[X2, Yn]和 CTBm, η [I, Yn]至 CTBm, η [Xm, Yn]这些 CTB。
[0134]按编码块执行解码处理，而过滤处理需要邻接像素数据。对在分片边界周围的数据的过滤处理需要相邻分片中的解码结果。在两个分片水平邻接时，在执行对于在右手分片的左边缘上的像素的过滤处理时使用更早处理的在左手分片的右边缘上的解码的图像数据。在两个分片竖直邻接时，在执行对于在下分片的顶部边缘上的像素的过滤处理时使用更早处理的在上分片的底部边缘上的解码的图像数据。用于关于水平或者竖直邻接分片的过滤处理的解码的图像数据不限于在分片边缘(右边缘或者底部边缘)上的一个像素的数据；它可以是用于根据滤波器抽头数目的多个像素的数据。
[0135]在其中解码按照与图像数据在比特流中的排序相同的顺序进展的现有技术方法中，解码处理先对在左端、顶部行上的分片[1，1]解码，从第I行并且串行直至行Y1、然后前进对右相邻分片[2，I]解码。过滤处理，在从分片[1，1]中的第I行并且串行直至行Yl执行之后，前进以对于右相邻分片[2，1]过滤。必须保持从分片[1，1]中的第I行并且串行直至行Yl的右端块的解码的数据直至对于右相邻分片[2，1]的过滤开始。因此，根据现有技术的图像恢复单元需要用于分片边界过滤的缓冲器，因为在水平邻接的两个分片之间的边界周围的过滤处理中，将保持左手分片的解码结果直至对于右手分片的过滤开始。为了避免这一点，有必要向例如外部帧缓冲器中一次性存储左手分片的解码结果并且在对于右手分片的过滤已经开始时再次读取它们。在任何情况下，有必要通过任何方法保持左手分片的解码结果直至对于右手分片的过滤开始。
[0136]在另一方面，根据本实施例，与是否存在分片边界相独立地依次执行对于一行的解码和过滤。因此，跨分片边界，左手分片的解码结果可以被直接传递到对于右手分片的过滤处理，因此无需用于分片边界过滤的以上提到的缓冲器。关于在竖直方向上的分片边界，在本实施例中与在现有技术中的情况一样也需要用于分片边界过滤的缓冲器。此外，根据本实施例，还可以减少边界处理所需要的将被传送的数据量。另外，由于过滤处理可以被组装到解码流水线中，所以可以实现增强的性能。
[0137]第二实施例〈比特流分析单元和用于分析的数据>
[0138]图7是描绘与第二实施例有关的图像解码装置10的配置示例的框图。
[0139]配置与第二实施例有关的图像解码装置10，该图像解码装置包括比特流分析单元11和图像恢复单元12并且还包括从比特流分析单元11可访问的用于分析的数据的数据缓冲器2和从图像恢复单元12可访问的帧缓冲器7。帧缓冲器7可以是外部存储器或者可以与在图像解码装置10中包括的比特流分析单元11和图像恢复单元12 —起被配置于相同芯片中。
[0140]比特流被输入到比特流分析单元11，该比特流包括首部信息和编码的图像数据。基于在比特流内的首部信息，比特流分析单元11计算现在将被处理用于由图像恢复单元12恢复的行在比特流内的位置并且向用于分析的数据的数据缓冲器2中缓存该位置。在比特流内的位置是在每个分片的开始处放置的编码块被存储的位置。比特流分析单元11基于在用于分析的数据的数据缓冲器2中保持的、现在将被处理用于恢复的编码块被存储的位置，从比特流读取对应图像数据并且向图像恢复单元12供应该图像数据。
[0141]该配置可以消除对于用于分片边界过滤的以上提到的缓冲器的需要。为了这样做，代之以需要用于分析的数据的数据缓冲器，但是它的大小小于或者等于用于分片边界过滤的缓冲器的大小的一部分。
[0142]从一帧屏幕的竖直宽度、换而言之在竖直方向上的线数计算用于分片边界过滤的缓冲器的大小。例如，如果每线需要16字节的像素信息和2字节的过滤信息，则18，000字节将存在于1000条线中。对照而言，用于分析的所需数据仅与在水平方向上的分片数目(一帧屏幕在水平方向上被划分成的分片数目)X4字节一样多。例如，当帧在水平方向上被划分成3个分片时，用于分析的所需数据是12字节。通过考虑在水平方向上的分片数目的假设的最大值来确定用于分析的数据的数据缓冲器的大小。即使假设一帧屏幕的水平宽度是2048个像素，CTB仍然由8个像素X 8个像素形成，并且I个CTB由I个分片形成，在水平方向上的分片数目是256，并且用于分析的所需数据是1024字节。它约为18，000字节的是十八分之一，18，OOO字节是以上举例的用于分片边界过滤的缓冲器的大小。同上，用于分析的数据的数据缓冲器的大小可以被减少至小于或者等于用于分片边界过滤的缓冲器的大小的一部分。
[0143]图8是描绘具体为图7中的图像解码装置10中的图像恢复单元12的详细配置示例的框图。
[0144]配置图像恢复单元12，该图像恢复单元包括预测图像生成单元13、差分图像生成单元14、加法器15、过滤处理单元16、缓冲器A(5)和缓冲器^6)。缓冲器A(5)保持在从预测图像生成单元13输出的预测图像信息中、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。
[0145]根据H.265/HEVC标准，从比特流分析单元11供应的图像数据由预测数据和残留数据组成。预测图像生成单元13基于在从比特流分析单元11供应的图像数据中包括的预测数据、在缓冲器A(5)中保持的在被过滤之前的上相邻像素信息和在帧缓冲器7中存储的解码的像素信息生成预测图像。差分图像生成单元14基于在从比特流分析单元11供应的图像数据中包括的残留数据生成差分图像。加法器15将预测图像和差分图像相加并且生成在被过滤之前的解码的图像。
[0146]缓冲器B(6)保持在从过滤处理单元16输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息。过滤处理单元16基于从加法器15供应的在被过滤之前的解码的图像和在缓冲器B(6)中保持的在被过滤之后的上相邻像素信息生成解码的图像并且从图像恢复单元12输出解码的图像至帧缓冲器7。
[0147]以该方式，可以有利地配置图像恢复单元12。用于存储被过滤之后的上相邻像素信息的缓冲器B(6)被耦合到过滤处理单元16，但是无需用于存储左相邻像素信息的缓冲器。这是因为图像恢复单元12被配置使得从加法器15供应的解码的图像被直接输入到过滤处理单元16并且与在一帧内是否存在分片边界相独立地、按照光栅扫描顺序进展它的处理；因此，左手分片的解码的图像被输入到用于依次被处理的右手分片的过滤处理16。此外，由于流水线配置使得能够组合解码和过滤处理用于最优执行，所以可以实现增强的性能。
[0148]第三实施例〈在图像恢复单元的输入侧提供的缓冲器和每个分片的数据大小>
[0149]图9是描绘与第三实施例有关的图像解码装置10的另一配置示例的框图。
[0150]配置与第三实施例有关的图像解码装置10，该图像解码装置包括比特流分析单元11和图像恢复单元12并且还包括暂时存储从比特流分析单元11输出的编码的图像数据的图像数据缓冲器3和可从图像恢复单元12访问的帧缓冲器7。比特流被输入到比特流分析单元11，该比特流包括首部信息和编码的图像数据。比特流分析单元11按照图像数据被存储于比特流内的顺序向图像数据缓冲器3输出图像数据、基于比特流内的首部信息计算每个分片的数据大小并且向图像恢复单元12输出每个分片的数据大小。图像数据被存储于比特流内的顺序是分片被编码的光栅扫描顺序以及在每个分片的范围内、分片内的数据被编码的光栅扫描顺序。图像恢复单元12基于从比特流分析单元11输入的每个分片的数据大小计算现在将被处理用于解码的图像数据被存储在图像数据缓冲器3中的地址、根据该地址从图像数据缓冲器3读取图像数据并且对该图像数据进行解码。
[0151]该配置可以如关于第一实施例描述的那样使读取和向图像恢复单元12输入图像数据的顺序符合分片和CTB将被处理的顺序并且可以消除对于在第二实施例中的用于分析的数据的数据缓冲器2的需要。此外，由于比特流分析单元11从一开始依次处理已经向它输入的比特流，所以有可能消除在数据被一次性保存到存储器并且在被处理时再次被读取的情况下对于将出现的数据传送的需要。
[0152]图10是描绘具体为图9中的图像解码装置10中的图像恢复单元12的详细配置示例的框图。
[0153]配置图像恢复单元12，该图像恢复单元包括数据读取单元17、缓冲器内位置信息存储单元18、预测图像生成单元13、差分图像生成单元14、加法器15、过滤处理单元16、缓冲器A (5)和缓冲器B (6)。
[0154]缓冲器内位置信息存储单元18保持现在将被处理用于解码的图像数据被存储在图像数据缓冲器3中的地址，该地址是基于从比特流分析单元11输入的每个分片的数据大小而被确定的。数据读取单元17根据在缓冲器内位置信息存储单元18中存储的地址从图像数据缓冲器3读取图像数据、向预测图像生成单元13供应在读取的图像数据中包括的预测数据并且向差分图像生成单元14供应在读取的图像数据中包括的残留数据。
[0155]缓冲器A(5)保持在从预测图像生成单元13输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。预测图像生成单元13基于从数据读取单元17供应的预测数据、在缓冲器A(5)中保持的被过滤之前的上相邻像素信息和在帧缓冲器7中存储的解码的像素信息生成预测图像。差分图像生成单元14基于从数据读取单元17供应的残留数据生成差分图像。加法器15将预测图像和差分图像相加并且生成被过滤之前的解码的图像。
[0156]缓冲器B(6)保持在从过滤处理单元16输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息。过滤处理单元16基于从加法器15供应的被过滤之前的解码的图像和在缓冲器B(6)中保持的被过滤之后的上相邻像素信息生成解码的图像并且从图像恢复单元12向帧缓冲器7输出解码的图像。
[0157]以该方式，可以与对于第二实施例的情况一样有利地配置图像恢复单元12。用于存储被过滤之后的上相邻像素信息的缓冲器B(6)被耦合到过滤处理单元16，但是无需用于存储左相邻像素信息的缓冲器。这是因为图像恢复单元12被配置使得从加法器15供应的解码的图像被直接输入到过滤处理单元16并且与在一帧内是否存在分片边界相独立地按照光栅扫描顺序来进展它的处理；因此，左手分片的解码的图像被输入到用于依次被处理的右手分片的过滤处理16。此外，由于流水线配置使得能够组合解码和过滤处理用于最优执行，所以可以实现增强的性能。
[0158]第四实施例〈在图像恢复单元的输入侧提供的用于相应分片的缓冲器>
[0159]图11是描绘与第四实施例有关的图像解码装置10的另一配置示例的框图。
[0160]配置与第四实施例有关的图像解码装置10，该图像解码装置包括比特流分析单元11和图像恢复单元12并且还包括多个图像数据缓冲器(4_1，4_2，4_3，…)和可从图像恢复单元12访问的帧缓冲器7，这些图像数据缓冲器暂时存储从比特流分析单元11输出的编码的图像数据并且向图像恢复单元12供应该数据。图像数据缓冲器(4_1，4_2，4_3，…)被分别用于现在将被处理用于解码的多个分片。比特流分析单元11将用于分片的图像数据输出到图像数据缓冲器(4_1，4_2，4_3，…)中的适合用于该分片的任何图像数据缓冲器。图像恢复单元12从图像数据缓冲器(4_1，4_2，4_3，…)中的其中存储了现在将被处理用于解码的图像数据的任何图像数据缓冲器读取图像数据并且对该图像数据进行解码。
[0161]该配置可以如关于第一实施例描述的那样使读取和向图像恢复单元输入图像数据的顺序符合分片和CTB将被处理的顺序并且可以消除对于第二实施例中的用于分析的数据2的数据缓冲器的需要。此外，由于比特流分析单元11从一开始依次处理已经向它输入的比特流，所以有可能消除对于在数据被一次性保存到存储器并且在被处理时再次被读取的情况下将出现的数据传送的需要。
[0162]图12是描绘具体为图11中的图像解码装置10中的图像恢复单元12的详细配置示例的框图。
[0163]配置图像恢复单元12，该图像恢复单元包括数据读取单元17、缓冲器内位置信息存储单元18、预测图像生成单元13、差分图像生成单元14、加法器15、过滤处理单元16、缓冲器A (5)和缓冲器B (6)。
[0164]缓冲器内位置信息存储单元18保持现在将被处理用于解码的下一图像数据被存储的地址，该地址是基于针对每个分片已经从图像数据缓冲器(4_1，4_2，4_3，…)之一读取了多少图像数据而确定的。
[0165]数据读取单元17根据在缓冲器内位置信息存储单元18中存储的地址从图像数据缓冲器(4_1，4_2，4_3，…)中的用于现在将被处理用于解码的图像数据所属的分片的任一图像数据缓冲器读取图像数据并且分别向预测图像生成单元13和差分图像生成单元14供应在读取的图像数据中包括的预测数据和残留数据。
[0166]缓冲器A(5)保持在从预测图像生成单元13输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。
[0167]预测图像生成单元13基于从数据读取单元17供应的预测数据、在缓冲器A(5)中保持的被过滤之前的上相邻像素信息和在帧缓冲器7中存储的解码的像素信息来生成预测图像。差分图像生成单元14基于从数据读取单元17供应的残留数据生成差分图像。加法器15将预测图像和差分图像相加并且生成在被过滤之前的解码的图像。
[0168]缓冲器B(6)保持在从过滤处理单元16输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息。过滤处理单元16基于从加法器15供应的被过滤之前的解码的图像和在缓冲器B(6)中保持的在被过滤之后的上相邻像素信息生成解码的图像并且从图像恢复单元12向帧缓冲器7输出解码的图像。
[0169]以该方式，可以与对于第二实施例的情况一样有利地配置图像恢复单元12。用于存储在被过滤之后的上相邻像素信息的缓冲器B(6)被耦合到过滤处理单元16，但是无需用于存储左相邻像素信息的缓冲器。这是因为图像恢复单元12被配置使得从加法器15供应的解码的图像被直接输入到过滤处理单元16并且与在一帧内是否存在分片边界独立地按照光栅扫描顺序进展它的处理；因此，左手分片的解码的图像被输入到用于依次被处理的右手分片的过滤处理16。此外，由于流水线配置使得能够组合解码和过滤处理用于最优执行，所以可以实现增强的性能。
[0170]第四实施例〈在图像恢复单元的输入侧提供的用于存储固定长度数据的缓冲器>
[0171]图13是描绘与第五实施例有关的图像解码装置10的另一配置示例的框图。
[0172]配置与第五实施例有关的图像解码装置10，该图像解码装置包括比特流分析单元11和图像恢复单元12并且还包括图像数据缓冲器3和可从图像恢复单元12访问的帧缓冲器7，该图像数据缓冲器3暂时存储从比特流分析单元11输出的编码的图像数据并且向图像恢复单元12供应该数据。
[0173]比特流分析单元11按照图像数据被存储于比特流内的顺序将图像数据的每个分片的数据大小转换成给定的固定长度的数据大小并且向图像数据缓冲器3输出固定长度的图像数据。基于给定的固定长度的以上数据大小，图像恢复单元12计算现在将被处理用于解码的图像数据被存储的地址、从图像数据缓冲器3读取图像数据并且对该图像数据进行解码。
[0174]在第三实施例中，比特流分析单元11向图像数据缓冲器3输出如在比特流内存储的、其中每个分片的数据大小为可变长度的图像数据。因此，需要知道每个分片的大小以计算在每行上的每个分片的开始处放置的图像数据被存储的地址。因此，比特流分析单元11从比特流中的首部信息获得每个分片的数据大小并且向图像恢复单元12供应它。
[0175]在另一方面，在第五实施例中，比特流分析单元11将图像数据的每个分片的数据大小转换成给定的固定长度的数据大小并且向图像数据缓冲器3输出固定长度的图像数据。因此，图像恢复单元12可以基于给定的固定长度的以上数据大小计算在每行上的每个分片的开始处放置的图像数据被存储的地址，而无需分别知道比特流中的每个分片的数据大小。
[0176]如以上描述的该配置可以如以上关于第一实施例描述的那样使读取和向图像恢复单元12输入图像数据的顺序符合分片和CTB将被处理的顺序，而不向图像恢复单元12供应来自比特流分析单元11的每个分片的数据大小并且可以消除对于第二实施例中的用于分析的数据2的数据缓冲器的需要。此外，由于比特流分析单元11从一开始依次处理已经向它输入的比特流，所以有可能消除对于在数据被一次性保存到存储器并且在被处理时再次被读的情况下将出现的数据传送的需要。
[0177]图14是描绘具体为图13中的图像解码装置10中的图像恢复单元12的详细配置示例的框图。
[0178]配置图像恢复单元12，该图像恢复单元12包括数据读取单元17、缓冲器内位置计算单元19、预测图像生成单元13、差分图像生成单元14、加法器15、过滤处理单元16、缓冲器A (5)和缓冲器B (6)。
[0179]缓冲器内位置计算单元19基于给定的固定长度的以上提到的数据大小计算现在将被处理用于解码的图像数据被存储的、在图像数据缓冲器3中的地址。数据读取单元17根据缓冲器内位置计算单元19计算的地址从图像数据缓冲器3读取图像数据、向预测图像生成单元13供应在读取的图像数据中包括的预测数据并且向差分图像生成单元14供应在读取的图像数据中包括的残留数据。
[0180]缓冲器A(5)保持在从预测图像生成单元13输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息。预测图像生成单元13基于从数据读取单元17供应的预测数据、在缓冲器A(5)中保持的在被过滤之前的上相邻像素信息和在帧缓冲器7中存储的解码的像素信息来生成预测图像。差分图像生成单元14基于从数据读取单元17供应的残留数据生成差分图像。加法器15将预测图像和差分图像相加并且生成在被过滤之前的解码的图像。
[0181]缓冲器B(6)保持在从过滤处理单元16输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息。过滤处理单元16基于从加法器15供应的在被过滤之前的解码的图像和在缓冲器B(6)中保持的在被过滤之后的上相邻像素信息来生成解码的图像并且从图像恢复单元12向帧缓冲器7输出解码的图像。
[0182]以该方式，可以与对于第二实施例的情况一样有利地配置图像恢复单元12。用于存储在被过滤之后的上相邻像素信息的缓冲器B(6)被耦合到过滤处理单元16，但是无需用于存储左相邻像素信息的缓冲器。这是因为图像恢复单元12被配置使得从加法器15供应的解码的图像被直接输入到过滤处理单元16并且与在一帧内是否存在分片边界独立地按照光栅扫描顺序进展它的处理；因此，左手分片的解码的图像被输入到用于依次被处理的右手分片的过滤处理16。此外，由于流水线配置使得能够组合解码和过滤处理用于最优执行，所以可以实现增强的性能。此外，有可能消除对于在第三实施例中需要的从比特流分析单元11向图像恢复单元12供应每个分片的数据大小的需要。
[0183]尽管本发明人实现的本发明已经基于其前述实施例被具体描述，但是显然，本发明不限于所描述的实施例并且可以在不脱离本发明范围的前提下对其进行各种修改。
【权利要求】
1.一种图像解码装置，包括: 比特流分析单元，包括首部信息和编码的图像数据的比特流被输入到所述比特流分析单元；以及 图像恢复单元，所述图像恢复单元对从所述比特流分析单元供应的所述编码的图像数据执行解码处理并且对从所述解码处理产生的解码的数据执行过滤处理， 其中所述编码的图像数据是通过将原有图像的一个帧划分成多个分片并且对所述分片中的每个分片编码而获得的图像数据，所述多个分片是矩形区域，所述分片中的每个分片包括以矩阵布置的一个或者多个编码块，所述一个或者多个编码块是编码单位， 其中所述比特流包括按照从在一个帧内的左端、顶部行上的分片开始、依次经过右相邻分片、继而为在所述帧中的向下一行上依次从左到右并且直至底部行上的分片这样的顺序对每个分片编码并且按照从在每个分片内的左端、顶部行上的编码块开始、依次经过右相邻编码块、继而为在所述分片中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序对所述每个分片中的每个编码块编码而得到的所述编码的图像数据， 其中所述首部信息包括所述每个分片的大小信息，并且 其中所述图像恢复单元与在所述一个帧内是否存在分片边界相独立地、按照从在所述一个帧内的左端、顶部行上的编码块开始、依次经过右相邻编码块、继而为在所述帧中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序串行对编码块解码并且如果在水平邻接的分片之间存在边界，则对所述边界周围的解码的图像数据过滤。
2.根据权利要求1所述的图像解码装置，还包括能够从所述比特流分析单元访问的用于分析的数据的数据缓冲器， 其中所述比特流分析单元基于所述首部信息计算在现在将被处理用于由所述图像恢复单元恢复的行上的每个分片的开始处放置的编码块在所述比特流内被存储的位置，并且向用于分析的数据的所述数据缓冲器中缓存该位置，并且 其中所述比特流分析单元基于在用于分析的数据的所述数据缓冲器中保持的、在现在将被处理用于由所述图像恢复单元恢复的行上的每个分片的开始处放置的编码块在所述比特流内被存储的所述位置而从所述比特流读取对应图像数据，并且向所述图像恢复单元供应该图像数据。
3.根据权利要求2所述的图像解码装置，还包括用于存储从所述图像恢复单元输出的解码的图像的帧缓冲器， 其中所述图像恢复单元包括预测图像生成单元、差分图像生成单元、加法器、过滤处理单元、第一缓冲器和第二缓冲器， 其中所述第一缓冲器保持在从所述预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息， 其中所述预测图像生成单元基于在从所述比特流分析单元供应的所述图像数据中包括的预测数据、在所述第一缓冲器中保持的在被过滤之前的所述上相邻像素信息和在所述帧缓冲器中存储的解码的像素信息来生成预测图像， 其中所述差分图像生成单元基于在从所述比特流分析单元供应的所述图像数据中包括的残留数据来生成差分图像， 其中所述加法器将所述预测图像和所述差分图像相加并且生成在被过滤之前的解码的图像， 其中所述第二缓冲器保持在从所述过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息，并且 其中所述过滤处理单元基于从所述加法器供应的、在被过滤之前的所述解码的图像和在所述第二缓冲器中保持的、在被过滤之后的所述上相邻像素信息来生成解码的图像，并且从所述图像恢复单元输出所述解码的图像。
4.根据权利要求1所述的图像解码装置，还包括图像数据缓冲器，所述图像数据缓冲器暂时存储从所述比特流分析单元输出的所述编码的图像数据并且向所述图像恢复单元供应该数据， 其中所述比特流分析单元按照图像数据被存储于所述比特流内的顺序向所述图像数据缓冲器输出所述图像数据、基于所述首部信息计算每个分片的数据大小并且向所述图像恢复单元输出每个分片的数据大小，并且 其中所述图像恢复单元基于每个分片的数据大小计算现在将被处理用于解码的图像数据被存储的地址，从所述图像数据缓冲器读取所述图像数据并且对该图像数据解码。
5.根据权利要求4所述的图像解码装置，还包括用于存储从所述图像恢复单元输出的解码的图像的帧缓冲器， 其中所述图像恢复单元包括数据读取单元、缓冲器内位置信息存储单元、预测图像生成单元、差分图像生成单元、加法器、过滤处理单元、第一缓冲器和第二缓冲器， 其中所述缓冲器内位置信息存储单元保持基于每个分片的数据大小而确定的、现在将被处理用于解码的图像数据被存储的所述地址， 其中所述数据读取单元根据在所述缓冲器内位置信息存储单元中存储的所述地址从所述图像数据缓冲器读取图像数据、向所述预测图像生成单元供应在读取的所述图像数据中包括的预测数据并且向所述差分图像生成单元供应在读取的所述图像数据中包括的残留数据， 其中所述第一缓冲器保持在从所述预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息， 其中所述预测图像生成单元基于从所述数据读取单元供应的所述预测数据、在所述第一缓冲器中保持的在被过滤之前的所述上相邻像素信息和在所述帧缓冲器中存储的解码的像素信息来生成预测图像， 其中所述差分图像生成单元基于从所述数据读取单元供应的所述残留数据来生成差分图像， 其中所述加法器将所述预测图像和所述差分图像相加并且生成在被过滤之前的解码的图像， 其中所述第二缓冲器保持在从所述过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息，并且 其中所述过滤处理单元基于从所述加法器供应的、在被过滤之前的所述解码的图像和在第二缓冲器中保持的在被过滤之后的所述上相邻像素信息来生成解码的图像并且从所述图像恢复单元输出所述解码的图像。
6.根据权利要求1所述的图像解码装置，还包括多个图像数据缓冲器，所述多个图像数据缓冲器暂时存储从所述比特流分析单元输出的编码的图像数据并且向所述图像恢复单元供应该数据， 其中所述图像数据缓冲器被分别用于现在将被处理以用于解码的所述分片， 其中所述比特流分析单元将用于分片的图像数据输出到所述图像数据缓冲器中适合用于该分片的图像数据缓冲器，并且 其中图像恢复单元从所述图像数据缓冲器中的、其中存储了现在将被处理用于解码的图像数据的图像数据缓冲器读取图像数据并且对该图像数据解码。
7.根据权利要求6所述的图像解码装置，还包括用于存储从所述图像恢复单元输出的解码的图像的帧缓冲器， 其中所述图像恢复单元包括数据读取单元、缓冲器内位置信息存储单元、预测图像生成单元、差分图像生成单元、加法器、过滤处理单元、第一缓冲器和第二缓冲器， 其中所述缓冲器内位置信息存储单元保持基于针对每个分片已经读取了多少图像数据而确定的现在将被处理用于解码的下一图像数据被存储的地址， 其中所述数据读取单元根据在所述缓冲器内位置信息存储单元中存储的所述地址，从所述图像数据缓冲器中的、用于现在将被处理用于解码的图像数据所属的分片的图像数据缓冲器读取图像数据、向所述预测图像生成单元供应在读取的所述图像数据中包括的预测数据，并且向所述差分图像生成单元供应在读取的所述图像数据中包括的残留数据， 其中所述第一缓冲器保持在从所述预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息， 其中所述预测图像生成单元基于从所述数据读取单元供应的所述预测数据、在所述第一缓冲器中保持的在被过滤之前的所述上相邻像素信息和在所述帧缓冲器中存储的解码的像素信息来生成预测图像， 其中所述差分图像生成单元基于从所述数据读取单元供应的所述残留数据生成差分图像， 其中所述加法器将所述预测图像和所述差分图像相加并且生成在被过滤之前的解码的图像， 其中所述第二缓冲器保持在从所述过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息，并且 其中所述过滤处理单元基于从所述加法器供应的、在被过滤之前的解码的图像和在所述第二缓冲器中保持的、在被过滤之后的所述上相邻像素信息来生成解码的图像，并且从所述图像恢复单元输出所述解码的图像。
8.根据权利要求1所述的图像解码装置，还包括图像数据缓冲器，所述图像数据缓冲器暂时存储从所述比特流分析单元输出的所述编码的图像数据并且向所述图像恢复单元供应该数据， 其中所述比特流分析单元按照图像数据被存储于所述比特流内的顺序将图像数据的每个分片的数据大小转换成给定的固定长度的数据大小并且向所述图像数据缓冲器输出固定长度的图像数据，并且 其中所述图像恢复单元基于给定的固定长度的所述数据大小计算现在将被处理用于解码的图像数据被存储的地址、根据所述地址从所述图像数据缓冲器读取所述图像数据并且对该图像数据解码。
9.根据权利要求8所述的图像解码装置，还包括用于存储从所述图像恢复单元输出的解码的图像的帧缓冲器， 其中所述图像恢复单元包括数据读取单元、缓冲器内位置计算单元、预测图像生成单元、差分图像生成单元、加法器、过滤处理单元、第一缓冲器和第二缓冲器， 其中所述缓冲器内位置计算单元基于给定的固定长度的所述数据大小计算现在将被处理用于解码的图像数据被存储的地址， 其中所述数据读取单元根据所述缓冲器内位置计算单元计算的所述地址从所述图像数据缓冲器读取图像数据、向所述预测图像生成单元供应在读取的所述图像数据中包括的预测数据并且向所述差分图像生成单元供应在读取的所述图像数据中包括的残留数据， 其中所述第一缓冲器保持在从所述预测图像生成单元输出的预测图像信息之中的、用于生成现在被处理的编码块的下相邻编码块的预测图像的处理所需要的、在被过滤之前的上相邻像素信息， 其中所述预测图像生成单元基于从所述数据读取单元供应的所述预测数据、在所述第一缓冲器中保持的在被过滤之前的所述上相邻像素信息和在所述帧缓冲器中存储的解码的像素信息来生成预测图像， 其中所述差分图像生成单元基于从所述数据读取单元供应的所述残留数据生成差分图像， 其中所述加法器将所述预测图像和所述差分图像相加并且生成在被过滤之前的解码的图像， 其中所述第二缓冲器保持在从所述过滤处理单元输出的解码的图像的像素信息之中的、用于现在被处理的编码块的下相邻编码块的过滤处理所需要的、在被过滤之后的上相邻像素信息，并且 其中所述过滤处理单元基于从所述加法器供应的在被过滤之前的所述解码的图像和在所述第二缓冲器中保持的在被过滤之后的所述上相邻像素信息来输出解码的图像。
10.一种图像解码装置，包括编码的图像数据的比特流被输入到所述图像解码装置，并且所述图像解码装置对所述编码的图像数据执行解码处理并且对从所述解码处理产生的解码的数据执行过滤处理， 其中所述编码的图像数据是通过将原有图像的一个帧划分成分片并且对所述分片中的每个分片编码而获得的图像数据，所述分片是矩形区域，所述分片中的每个分片包括以矩阵布置的一个或者多个编码块，所述一个或者多个编码块是编码单位， 其中所述比特流包括按照从在一个帧内的左端、顶部行上的分片开始、依次经过右相邻分片、继而为在所述帧中的向下一行上依次从左到右并且直至底部行上的分片这样的顺序对每个分片编码并且按照从在每个分片内的左端、顶部行上的编码块开始、依次经过右相邻编码块、继而为在所述分片中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序对所述每个分片中的每个编码块编码而得到的所述编码的图像数据，并且其中所述图像解码装置与在所述一个帧内是否存在分片边界相独立地、按照从在所述一个帧内的左端、顶部行上的编码块、依次经过右相邻编码块、继而为在所述帧中的向下一行上依次从左到右并且直至底部行上的编码块这样的顺序串行对编码块解码并且如果在水平邻接的分片之间存在边界，则对该边界周围的解码的图像数据过滤。
【文档编号】H04N19/174GK104253992SQ201410302932
【公开日】2014年12月31日 申请日期:2014年6月27日 优先权日:2013年6月28日
【发明者】桥本亮司, 加谷俊之 申请人:瑞萨电子株式会社