视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方法以及程序的制作方法
【技术领域】
[0001] 本发明设及视频编码装置、视频解码装置、视频系统、视频编码方法、视频解码方 法W及程序。
【背景技术】
[0002] 已提议将肥VCXHigh Efficien巧Video Coding,高效率视频编码)作为采用帖内 预测、帖间预测和残差变换(例如，参见非专利文献1)的视频编码方法。
[0003] [视频编码装置MM的配置和操作]
[0004] 图15是根据采用W上提及的视频编码方法来对视频图像进行编码的常规示例的 视频编码装置MM的框图。视频编码装置MM包括帖间预测单元10、帖内预测单元20、变换及量 化单元30、赌编码单元40、逆量化及逆变换单元50、环内滤波单元60、第一缓冲单元70和第 二缓冲单元80。
[0005] 将输入图像a和后续描述的由第一缓冲单元70提供的本地解码图像g输入给帖间 预测单元10。该帖间预测单元10利用输入图像a和本地解码图像g进行帖间预测（inter-打ame predict ion，帖间预测），W生成并输出帖间预测图像b。
[0006] 将输入图像a和后续描述的由第二缓冲单元80提供的本地解码图像f输入给帖内 预测单元20。该帖内预测单元20利用输入图像a和本地解码图像f进行帖内预测（intra-打ame prediction,帖内预测），W生成并输出帖内预测图像C。
[0007] 将输入图像a与帖间预测图像b或帖内预测图像C的误差(残差)信号输入到变换及 量化单元30。该变量及量化单元30对输入的残差信号进行变换和量化，W生成并输出量化 系数d。
[000引将量化系数d和边信息（未示出）输入到赌编码单元40。该赌编码单元40对输入的 信号进行赌编码，并将经赌编码的信号作为比特流Z输出。
[0009] 将量化系数d输入到逆量化及逆变换单元50。该逆量化及逆变换单元50对量化系 数d进行逆量化和逆变换，W生成并输出经逆变换的残差信号e。
[0010] 第二缓冲单元80累积本地解码图像f并将累积的本地解码图像f适当地提供给帖 内预测单元20和环内滤波单元60。本地解码图像f为通过使帖间预测图像b或帖内预测图像 C与经逆变换的残差信号e相加而得到的信号。
[0011] 将本地解码图像巧俞入给环内滤波单元60。该环内滤波单元60对本地解码图像f进 行滤波(例如去块滤波），W生成并输出本地解码图像g。
[0012] 第一缓冲单元70累积本地解码图像g并将累积的本地解码图像g适当地提供给帖 间预测单元10。
[OOU][视频解码装置NN的配置和操作]
[0014]图16是根据从由视频编码装置MM生成的比特流Z中解码出视频图像的常规示例的 视频解码装置NN的框图。视频解码装置NN包括赌解码单元110、逆变换及逆量化单元120、帖 间预测单元130、帖内预测单元140、环内滤波器150、第一缓冲单元160和第二缓冲单元170。
[0015] 将比特流Z输入给赌解码单元110。该赌解码单元110对比特流Z进行赌解码，生成 并输出量化系数B。
[0016] 逆变换及逆量化单元120、帖间预测单元130、帖内预测单元140、环内滤波单元 150、第一缓冲单元160和第二缓冲单元170分别与在图15中所示的逆量化及逆变换单元50、 帖间预测单元10、帖内预测单元20、环内滤波单元60、第一缓冲单元70和第二缓冲单元80执 行相似的动作。
[0017](帖内预测的细节）
[0018] 下面将详细描述W上提及的帖内预测。关于帖内预测，非专利文献1指出针对每个 色彩分量，利用作为已被编码的重构像素的参考像素的像素值来预测编码目标块中的像素 值。另外，亮度分量预测方法共有35种模式，即DC、平面W及针对在图17中所示的33个方向 的方向预测。对于色度分量预测方法，方法采用与亮度分量相同的预测分类、W及与所表示 的针对亮度分量的方法不同的DC、平面、水平和垂直方法。根据W上结构，可减少针对每个 色彩分量的空间冗余。
[0019] 非专利文献2描述了作为用于减少色彩分量之间的冗余的技术的LM模式。例如，现 在将利用图18来描述针对YUV420格式的图像使用LM模式的情况。
[0020] 图18A示出了色度分量像素，图18B示出了亮度分量像素。在LM模式中，采用已被在 图18B中的16个白色圆圈表示的像素中重构的亮度分量W及如下式（1)表示的预测式来线 性预测色度分量。
[0021] 试1]
[0022] predc[x，y]=aX((PL[2x，巧]+PL[2x，2y+l])>>0 ? ? ? (1)
[0023] 在式（1)中，Pl表示亮度分量的像素值，predc表示色度分量的预测像素值。a和0分 别表不可利用由在图18A中的8个黑色圆圈和在图18B中的8个黑色圆圈表不的参考像素而 获取的参数，其可通过下面的式(2)和式(3)来确定。
[0028] 式(2)中的R表示内积运算，式(3)中的M表示均值运算，并且式(2)和式(3)中的P'c 表示亮度分量的参考像素的像素值。P~L表示在考虑到亮度和色度的相位的情况下得到的 亮度分量的像素值，其可通过下式(4)来确定。
[0029] 试4] ..女
[0030] 户4义>、)&的良《革*如巧怎.、.如*嗦》!，**編
[0031] 要注意的是，上部的参考像素的相位有相移，W减少存储器访问。针对每个被称为 TU(变换单元)的最小处理块进行色度预测。
[0032] 在扩展针对W上提及的YUV420格式的图像的LM模式，并将经扩展的LM模式用于 YUV422格式的图像的情况下，会增加竖直方向上的参考像素的数量，如图19所示。
[0033] 图20是采用W上提及的LM模式进行帖内预测的帖内预测单元20,140的框图。每个 帖内预测单元20,140包括亮度参考像素获取单元21、色度参考像素获取单元22、预测系数 推导单元23和色度线性预测单元24。
[0034] 将本地解码图像f的亮度分量输入到亮度参考像素获取单元21。该亮度参考像素 获取单元21获取邻近与色度预测目标块相对应的亮度块的每个参考像素的像素值，调整所 获取的像素值的相位，并将经相位调整的像素值作为亮度参考像素值h进行输出。
[0035] 将本地解码图像f的色度分量输入到色度参考像素获取单元22。该色度参考像素 获取单元22获取邻近色度预测目标块的每个参考像素的像素值，并将所获取的像素值作为 色度参考像素值i进行输出。
[0036] 将亮度参考像素值h和色度参考像素值i输入到预测系数推导单元23。该预测系数 推导单元23利用运些输入的像素值由W上的式(2)至式(4)得到参数a和0，并将参数a和0作 为预测系数j进行输出。
[0037] 将本地解码图像f的亮度分量和预测系数j输入到色度线性预测单元24。该色度线 性预测单元24利用运些输入的信号由上式（1)得到色度分量的预测像素值，并将所得到的 预测像素值作为色度预测像素值k进行输出。
[0038] 顺便指出，随着半导体技术的发展，可用的存储器容量得W增加。然而，随着存储 器容量的增加，存储器访问的粒度也变大了。同时，与存储器容量的增加相比，存储器带宽 并没有明显变宽。由于在对视频图像进行编码和解码的过程中要用到存储器，因此存储器 访问的粒度和存储器带宽已成为瓶颈。
[0039] 此外，接近计算核屯、的存储器(例如SRAM)的制造成本和功率消耗要高于外部存储 器(例如DRAM)的制造成本和功率消耗。为此，有利的是可尽可能地减少接近计算核屯、的存 储器的存储容量。然而，由于即使在说明书提供的最坏值处也需要能够对视频图像进行解 码，因此接近计算核屯、的存储器需要能够满足在最坏值处的存储需求，而不是平均存储需 求(粒度、大小、数量等）。
[0040] 在LM模式中，由于要针对W上提及的每个TU都进行参数推导，因此参考像素的数 量增加了，并且计算次数和存储器访问次数也增加了。
[0041] 例如，下面将考虑在针对YUV420格式的图像采用LM模式的情况下用于推导参数的 计算次数和参考像素的数量。在非专利文献1的主文件中，作为最大处理块的LCU(最大编码 单元）的大小为64 X 64，作为最小处理块的最小CU的大小为4 X 4。另外，因为在YUV420格式 下的色度像素的数量为1/4,所W亮度分量的最小计算块为8X8。为此，用于进行参数推导 的计算次数为(64/8) 2 = 64次，参考像素的数量为28 X 64次。
[0042] 非专利文献2描述了用于针对每个CU(编码单元)进行参数推导，W减少用于针对 非YUV420格式的图像进行参数推导的计算次数的最坏值的技术。图21示出了在针对每个TU 进行参数推导的情况下W及在针对每个CU进行参数推导的情况下的计算次数和参考像素 的数量。
[0043] 如上所述，在LM模式中可减少色彩分量之间的冗余。然而，当考虑到CTU单元时，就 出现了在推导参数时所用的最坏值的参考像素的数量较多的问题。
[0044] 非专利文献3描述了用于在LM模式下减少针对非YUV420格式的图像的参考像素的 数量的技术。
[0045] 例如，现在将采用图22来描述将非专利文献3中的技术应用于YUV422格式的图像 的情况。在此种情况下，与在图19中所示的情况相比，邻近预测目标块的长边的参考像素的 数量减半。为此，如图24所示，亮度参考像素的数量和色度参考像素的数量均为8像素。
[0046] 另外，将采用图23来描述将非专利文献3中的技术应用于YUV444格式的图像的情 况。同样在此种情况下，邻近预测目标块的长边的参考像素的数量减半。为此，如图24所示， 亮度参考像素的数量和色度参考像素的数量均为8像素。
[0047] 现有技术文件 [004引非专利文献
[0049] 非专利文献 1:JCTVC-L1003,High Efficiency Video Coding(肥VORange Extensions text specific曰tion:Dr曰ft 2(for PDAM)。
[0050] 非专利文献2: JCTVC-M0097 ,RCEl performance of extended chroma mode for non-4:2=Oformstc
[0051] 非专利文献 3: JCTVC-M0412,AHG5: CU based chroma in1:ra prediction with reduced reference。
【发明内容】
[0052] 本发明待解决的问题
[0053] 在非专利文献3中描述的技术通过统一地对参考像素进行子采样来实现参考像素 数量的减少。为此，当对参考像素进行子采样时，不会考虑到图像特征，且有可能造成编码 性能的下降。
[0054] 本发明是针对上述问题而完成的，且本发明的目的在于在抑制编码性能下降的同 时，减少为了减少色彩分量之间的冗余而供参考的参考像素的数量。
[0055] 解决问题的方法
[0056] 为了解决上述问题，本发明提出了 W下各项。
[0057] (1)本发明提出了一种用于对配置成包括多个色彩分量的视频图像进行编码的视 频编码装置(