专利名称：用于图像上采样的方法和系统的制作方法
技术领域：
本发明的实施例包括用于图像上采样的方法和系统。本发明的一些实施例包括用 于空间可缩放视频编码的图像上采样的方法和系统。
背景技术：
H. 264/MPEG-4 AVC[Joint Video Team of ITU-T VCEG and IS0/IECMPEG, "Advanced Video Coding (AVC)-4th Edition, " ITU-T Rec. H. 264and IS0/IEC 14496-10 (MPEG4-Part 10)，January 2005]是使用宏块预测、之后为了压缩效率而进行残 余编码以减小图像序列的时间和空间冗余的视频编解码规范，将其在此引入作为参考。空 间可缩放性是指这样的功能比特流的部分可以被去除，同时维持任意支持的空间分辨率 上的比率失真性能。单层H. 264/MPEG-4AVC不支持空间可缩放性。H. 264/MPEG-4AVC的可 缩放视频编码(SVC)扩展支持空间可缩放性。在此引入作为参考的H. 264/MPEG-4AVC的SVC扩展[联合可缩放视频模型(JSVM) 的工作文件1. 0(WD-1. 0) (MPEG Doc. N6901)]是一种分层的视频编解码方案，其中通过层间 预测机制来探寻空间层之间的冗余。H. 264/MPEG-4 AVC的SVC扩展的设计中包含有三种层 间预测技术层间运动预测、层间残余预测以及层间内部纹理预测。之前，SVC仅提出了二元空间可缩放性。二元空间可缩放性是指这样的配置两个 连续空间层之间的图像尺度比是2的幂。已经提出了被称作具有剪切窗的非二元缩放的新 工具，这些新工具管理如下配置连续空间层之间的图像尺寸比不是2的幂，而且更高级的 图像包含相应的更低级图像中不存在的区域。所有的层间预测方法都包括图像上采样。图像上采样是从较低分辨率图像中产生 较高分辨率图像的过程。一些图像上采样过程包括采样内插。SVC设计中使用的先前的上 采样过程基于H. 264中针对内部预测而规定的四分之一 Iuma采样内插过程。当应用于空 间可缩放编码时，先前的方法具有如下两个缺点内插分辨率被限制为四分之一采样，因而不支持非二元缩放；以及需要 半采样内插以获得四分之一采样位置，这使得该方法在计算 上是麻烦的。期望一种克服这些限制的图像上采样过程。
发明内容
本发明的实施例包括通过直接内插而实现的图像上采样，所述直接内插使用根据 待内插的像素位置的相位而选择的滤波器系数。考虑下文结合附图对本发明的详细描述，本发明的上述和其他目的、特征和有点 将会更加易于理解。
图1是示出增强层与底层之间的几何关系的示意图；图2是示出增强层与底层中的采样的相对位置的示意图；图3是本发明实施例的包括两个方向上的内插滤波的流程图；图4是示出增强层与底层中的宏块之间的关系的示意图；以及图5是示出增强层与底层中的宏块之间的关系的示意图。
具体实施例方式通过参考附图，本发明的实施例可以得到最佳的理解，其中相似的部分由相似的 数字来表示。上文列出的图明确地被引入作为这个详细描述的一部分。容易理解的是，附图中大体描述并示出的本发明的组件可以按照各种不同的配置 来布置和设计。因此，下面对本发明的方法和系统的实施例的详细描述不意欲限制本发明 的范围，而仅仅代表本发明目前的优选实施例。本发明实施例中的组件可以以硬件、固件和/或软件来实现。虽然这里揭示的典 型实施例可能仅描述了这些形式之一，然而可以理解的是，本领域的技术人员能够以这些 形式中的任意形式来实现这些元件，同时仍落入本发明的范围。为了这个说明书和权利要求，术语“图像(picture) ”可以包括像素的阵列、数字图 像、数字图像的细分、数字图像的数据通道或图像数据的另一种表示。图1示出了与图画图 像(image picture)相对应的两个图像较低空间图像10，也被称作基础空间图像或底层 图像；以及较高空间图像100，也被称作增强空间图像或增强层图像。如图1所示，基础空 间图像10可能具有比增强空间图像100更低的空间分辨率。如图1所示，基础空间图像10 和增强空间图像100可能不包括相同的空间区域。图1中所示的是与从增强空间图像100 中剪切的空间区域110相对应的基础空间图像10。在本发明的一些实施例中，基础空间图像和增强空间图像可以和可缩放视频编码 器/解码器(编解码器)中的两个空间层相对应。增强空间图像100的宽度101和增强空间图像100的高度102可以分别表示为We 和he。基础空间图像10的宽度11和高度12可以分别表示为Wb和hb。基础空间图像10可 以是位于增强空间图像坐标(x。rig，y ig) 103处的增强空间图像100的子区域110的子采样 形式。位置103表示剪切窗110左上角的位置。子区域110的宽度111和高度112可以分 别表示为Wex和hex。参数(x ig，yorig, Wex, hex, Wb, hb)定义了较高空间图像100和较低空间图像10之间的关系。图像 上采样可以是指从较低空间分辨率图像中产生较高空间分辨率图像。在一些 实施例中，上采样可以是指在不限于空间尺度或时间尺度的任意尺度上增大分辨率。图2 示出了较高空间分辨率图像200中的像素位置220。在图2中，像素位置220具有在较低空 间分辨率图像20中的相应位置22。位置220可以和较低空间分辨率图像20中的像素位置 直接对齐，或不与较低空间分辨率图像20中的像素位置直接对齐。在图2中，所示的位置 22位于4个底层像素21、23、24和25之间。本发明的一些实施例包括方法和系统，用于对于给定基础空间图像20，对增强空 间图像200的像素进行直接内插，其中尺度比不限于2的幂。本发明的一些实施例包括对 基础空间图像20的整个图像进行上采样。本发明的其他实施例包括逐块地对基础空间图 像20进行上采样。本发明的一些实施例包括在一个方向上进行上采样，之后在另一个方向 上进行上采样。对于以整数采样为单位的增强空间图像中的采样位置(x，y)，以一-采样为单位的
KL
基础空间图像中的相应位置(P“(X)，Py,Jy))可由下式给出
权利要求
1.一种图像解码方法，使用由多个图像宏块构成的底层图像，对由多个图像宏块构成 的增强层图像的像素值进行预测，该图像解码方法的特征在于包括步骤(a)，决定上述增强层图像的预测对象宏块；步骤(b)，计算与上述增强层图像中的上述预测对象宏块的左上像素(xC，yC)及右下 像素相对应的、上述底层图像中的左上像素(xCB，yCB)及右下像素(xCBl，yCBl)；步骤(c)，根据上述底层图像的像素值阵列(baSe。[x，y])，计算与上述增强层图像的像 素值阵列(pred。[X，y])中的上述预测对象宏块的各像素相对应的条目，上述步骤(c)作为对上述增强层图像中的上述预测对象宏块的各像素，计算临时像素 值阵列(tempc[x,y])的条目的步骤(i)，而包括步骤(1)，按照分辨率的分数间隔，计算与上述预测对象宏块的各像素相对应的、上述 底层图像中的y位置(yfC)；步骤O)，根据上述y位置(yfC)，计算y位置内插中心(yhtC)以及y位置相位 (yFracC)；步骤(3)，根据上述y位置相位(yFracC)，决定第1组滤波器系数； 步骤G)，将上述底层图像的像素值阵列(baSe。[x，y])中的y坐标为上述y位置内插 中心(ylntC)时的条目作为中心，并运用基于上述第1组滤波器系数组的内插滤波处理，计 算上述临时像素值阵列(temp。[x，y])的条目， 且上述步骤(c)还作为对应上述增强层图像中的上述预测对象宏块的各像素，来计算上 述增强层图像的像素值阵列(pred。[x，y])的条目的步骤(ii)，而包括步骤(5)，按照分辨率的分数间隔，计算与上述预测对象宏块的各像素相对应的、上述 底层图像中的χ位置(xfC)；步骤(6)，根据上述χ位置(xfC)，计算χ位置内插中心OdntC)以及χ位置相位 (xFracC)；步骤(7)，根据上述χ位置相位(xFracC)，决定第2组滤波器系数； 步骤(8)，将上述临时像素值阵列(temp。[x，y])中的χ坐标为上述χ位置内插中心 (XlntC)时的条目作为中心，并运用基于上述第2组滤波器系数的内插滤波处理，计算上述 增强层图像的像素值阵列(pred。[x，y])的条目，上述像素值是像素的色度成分，上述步骤(b)中的计算处理包括相对相位的校正。
2.根据权利要求1所述的图像解码方法，其特征在于 在上述内插滤波处理中，计算上述预测对象宏块的边界像素值时，关于由上述底层图像中的左上像素(xCB， yCB)及右下像素(xCBl，yCBl)所构成的矩形，将该矩形以外的像素值作为输入。
3.根据权利要求1所述的图像解码方法，其特征在于 上述分数间隔为分辨率的1/16 ；根据与相位对应的16个索引，且参照已预先计算的滤波器系数表，来施行上述第1组 及第2组滤波器系数的决定步骤。
4.一种图像解码方法，基于与底层图像的预测值相对应的残余，来计算与增强层图像的预测值相对应的残余，其中，上述底层图像以及上述增强层图像分别由多个图像宏块构 成，该图像解码方法的特征在于包括步骤(a)，决定上述增强层图像的预测对象宏块；步骤(b)，计算与上述增强层图像中的上述预测对象宏块的左上像素(xC，yC)及右下像素相对应的、上述底层图像中的左上像素(xCB，yCB)及右下像素(xCBl，yCBl)；步骤(c)，根据上述底层图像的残余阵列(resBaseJx，y])，计算与上述增强层图像的 残余阵列(resPred。[X，y])中的上述预测对象宏块的各像素相对应的条目，上述步骤(c)作为对上述增强层图像中的上述预测对象宏块的各像素，计算临时残余 阵列(tempc[x,y])的条目的步骤(i)，而包括步骤(1)，按照分辨率的分数间隔，计算与上述预测对象宏块的各像素相对应的、上述 底层图像中的y位置(yfC)；步骤O)，根据上述y位置(yfC)，计算y位置内插中心(yhtC)以及y位置相位 (yFracC)；步骤(3)，将上述底层图像的残余阵列(resBase。[x，y])中的y坐标为上述y位置内插 中心(ylntC)时的条目作为中心，并运用基于上述y位置相位(yFracC)的内插滤波处理， 来计算上述临时残余阵列(temp。[X，y])的条目， 且上述步骤(c)还作为对应上述增强层图像中的上述预测对象宏块的各像素，来计算上 述增强层图像的残余阵列(reSft~ed。[X，y])的条目的步骤(ii)，而包括步骤G)，按照分辨率的分数间隔，计算与上述预测对象宏块的各像素相对应的、上述 底层图像中的χ位置(XfC)；步骤(5)，根据上述χ位置(XfC)，计算χ位置内插中心OdntC)以及χ位置相位 (xFracC)；步骤(6)，将上述临时残余阵列(temp。[x，y])中的χ坐标为上述χ位置内插中心 (XlntC)时的条目作为中心，并运用基于上述χ位置相位(xFracC)的内插滤波处理，来计算 上述增强层图像的残余阵列(reSft~ed。[X，y])的条目。
全文摘要
本发明的实施例包括使用直接内插进行图像上采样的系统和方法。本发明的一些实施例提供了一种被设计用于h.264/MPEG-4 AVC的可缩放视频编码扩展的上采样过程。
文档编号H04N7/50GK102075755SQ201110029449
公开日2011年5月25日 申请日期2006年2月28日 优先权日2005年3月18日
发明者孙式军 申请人:夏普株式会社