用于视频编码和解码的方法和技术设备的制造方法

用于视频编码和解码的方法和技术设备的制造方法
【技术领域】
[0001] 本申请总体上涉及对数字视频材料的编码和解码。具体地，本申请涉及可分级的 且高保真的编码。
【背景技术】
[0002] 本节旨在提供权利要求书中记载的本发明的背景或上下文。本文中的描述可以包 括能够寻求的概念，但是不一定是之前已经设想或寻求的概念。因此，除非本文中另行指 示，在本节中描述的内容不是本申请中的描述和权利要求的现有技术并且不会通过包含在 本节中而被承认为是现有技术。
[0003] 视频编码系统可以包括编码器和解码器，编码器将输入视频变换成适合于存储/ 传输的经压缩的表示，解码器能够将经压缩的视频表示解压回到可观看的形式。编码器可 以丢弃原始视频序列中的一些信息以便以更紧凑的形式来表示视频，例如以使得能够以比 可能需要的比特率更低的比特率来存储/传输视频信息。

【发明内容】

[0004] 根据第一示例，提供了一种方法，所述方法包括：以各种分辨率对图片进行编码； 确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程期间使用 确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
[0005] 根据实施例，所述样本来自以下组中的一项：亮度样本、色度样本、亮度样本和色 度样本两者。
[0006] 根据实施例，所述方法还包括通过添加指定所述样本在当前层中的相对于更低层 的相位偏移的位置信息来确定所述样本在参考层中的位置。
[0007] 根据实施例，所述方法还包括基于所述位置信息来确定用于对参考层中的所述样 本上采样到增强层的滤波器。
[0008] 根据实施例，所述位置信息是参考层样本和增强层样本之间的水平相位差。
[0009] 根据实施例，所述位置信息是参考层样本和增强层样本之间的垂直相位差。
[0010] 根据实施例，水平相位偏移和垂直相位偏移的值处在〇到7的范围内，包括0和7 在内。
[0011] 根据实施例，水平相位偏移和垂直相位偏移的存在由比特流中的比特指示。
[0012] 根据第二示例，提供了一种装置，所述装置包括：至少一个处理器；以及至少一个 存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程 序代码被配置为利用所述至少一个处理器使得所述装置至少执行：以各种分辨率对图片进 行编码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程 期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
[0013] 根据第三示例，提供了一种包括计算机可读介质的计算机程序产品，所述计算机 可读介质承载体现在其中的、用于与计算机一起使用的计算机程序代码，所述计算机程序 代码包括：用于以各种分辨率对图片进行编码的代码；用于确定每个分辨率的样本的位置 信息的代码；用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信 息的代码；以及用于对所述样本的确定的所述位置信息进行信号传送的代码。
[0014] 根据第四示例，提供了一种利用指令编码的计算机可读介质，所述指令当由计算 机执行时执行：以各种分辨率对图片进行编码；确定每个分辨率的样本的位置信息；在低 分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的 确定的所述位置信息进行信号传送。
[0015] 根据第五示例，提供了一种方法，所述方法包括：以各种分辨率对图片进行解码， 其中所述解码包括；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的 上采样过程期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信 号传送。
[0016] 根据实施例，所述样本来自以下组中的一项：亮度样本、色度样本、亮度样本和色 度样本两者。
[0017] 根据实施例，所述方法还包括通过添加指定所述样本在当前层中的相对于更低层 的相位偏移的位置信息来确定所述样本在参考层中的位置。
[0018] 根据实施例，所述方法还包括基于所述位置信息来确定用于对参考层中的所述样 本上采样到增强层的滤波器。
[0019] 根据实施例，所述位置信息是参考层样本和增强层样本之间的水平相位差。
[0020] 根据实施例，所述位置信息是参考层样本和增强层样本之间的垂直相位差。
[0021 ] 根据实施例，水平相位偏移和垂直相位偏移的值处在0到7的范围内，包括0和7 在内。
[0022] 根据实施例，水平相位偏移和垂直相位偏移的存在由比特流中的比特指示。
[0023] 根据第六示例，提供了一种装置，所述装置包括：至少一个处理器；以及至少一个 存储器，所述至少一个存储器包括计算机程序代码，所述至少一个存储器和所述计算机程 序代码被配置为利用所述至少一个处理器使得所述装置至少执行：以各种分辨率对图片进 行解码；确定每个分辨率的样本的位置信息；在低分辨率图片到更高分辨率的上采样过程 期间使用确定的所述位置信息；以及对所述样本的确定的所述位置信息进行信号传送。
[0024] 根据第七示例，提供了一种包括计算机可读介质的计算机程序产品，所述计算机 可读介质承载体现在其中的、用于与计算机一起使用的计算机程序代码，所述计算机程序 代码包括：用于以各种分辨率对图片进行解码的代码；用于确定每个分辨率的样本的位置 信息的代码；用于在低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信 息的代码；以及用于对所述样本的确定的所述位置信息进行信号传送的代码。
[0025] 根据第八示例，提供了一种利用指令编码的计算机可读介质，所述指令当由计算 机执行时执行：以各种分辨率对图片进行解码；确定每个分辨率的样本的位置信息；在低 分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息；以及对所述样本的 确定的所述位置信息进行信号传送。
[0026] 根据第九示例，提供了一种装置，所述装置至少包括：用于处理的装置；用于以各 种分辨率对图片进行编码的装置；用于确定每个分辨率的样本的位置信息的装置；用于在 低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的装置；以及用于 对所述样本的确定的所述位置信息进行信号传送的装置。
[0027] 根据第十示例，提供了一种装置，所述装置至少包括：用于处理的装置；用于以各 种分辨率对图片进行解码的装置；用于确定每个分辨率的样本的位置信息的装置；用于在 低分辨率图片到更高分辨率的上采样过程期间使用确定的所述位置信息的装置；以及用于 对所述样本的确定的所述位置信息进行信号传送的装置。
【附图说明】
[0028] 为了更完整地理解本发明的示例实施例，现在结合附图对下面的描述进行参考， 在附图中：
[0029] 图1图示了根据实施例的视频编码系统的方框图；
[0030] 图2图示了根据实施例的装置的布局；
[0031] 图3图示了根据示例实施例的包括多个装置、网络和网络元件的用于视频编码的 布置；
[0032] 图4图示了根据实施例的视频编码器的方框图；
[0033] 图5图示了根据实施例的视频解码器的方框图；
[0034] 图6图示了其中低分辨率样本与高分辨率样本重叠的示例；
[0035] 图7图示了方法的实施例；
[0036] 图8图示了用于2X可分级性的高分辨率亮度样本和低分辨率亮度样本；以及
[0037] 图9图示了系统的实施例。
【具体实施方式】
[0038] 图1示出了根据示例实施例的视频编码系统的方框图作为示范性装置或电子装 置50的示意性方框图，所述示范性装置或电子装置50可以包含根据本发明的实施例的编 解码器。图2示出了根据示例实施例的装置的布局。接下来将解释图1和图2的元件。
[0039] 电子装置50可以例如是移动终端或无线通信系统的用户设备。然而，将认识到， 本发明的实施例可以被实施在可以要求编码和解码或对视频图像进行编码和解码的任何 电子设备或装置内。
[0040] 装置50可以包括用于包含和保护设备的壳体30。装置50还可以包括形式为液 晶显示器的显示器32。在本发明的其他实施例中，显示器可以是适合于显示图像或视频的 任何适当的显示技术。装置50还可以包括小键盘34。在本发明的其他实施例中，可以采 用任何适当的数据或用户接口机构。例如，用户接口可以被实施为作为触敏显示器的一部 分的虚拟键盘或数据输入系统。装置可以包括麦克风36或可以为数字或模拟信号输入的 任何适当的音频输入。装置50还可以包括音频输出设备，所述音频输出设备在本发明的实 施例中可以为以下的任何一个：耳机38、扬声器或任何模拟音频或数字音频输出连接。装 置50还可以包括电池40 (或在本发明的其他实施例中，设备可以由诸如太阳能电池、燃料 电池或时钟机构发生器的任何适当的移动能量设备来供电）。装置还可以包括能够记录或 捕获图像和/或视频的相机42。在一些实施例中，装置50还可以包括用于到其他设备的短 程视影通信的红外端口。在其他实施例中，装置50还可以包括任何适当的短程通信解决方 案，诸如举例而言蓝牙无线连接或USB/火线有线连接。
[0041] 装置50可以包括控制器56或用于控制装置50的处理器。控制器56可以被连接 到存储器58,所述存储器58在本发明的实施例中可以存储以图像和音频数据的形式的两 种数据和/或还可以存储用于实施在控制器56上的指令。控制器56还可以被连接到适合 于执行对音频和/或视频数据的编码和解码或辅助由控制器56执行的编码和解码的编解 码器电路54。
[0042] 装置50还可以包括读卡器48和智能卡46,例如用于提供用户信息并且适合于提 供用于在网络处对用户的认证和授权的认证信息的UICC和UICC阅读器。
[0043] 装置50可以包括连接到控制器并且适合于生成无线通信信号例如以用于与蜂窝 通信网络、无线通信系统或无线局域网的通信的无线电接口电路52。装置50还可以包括连 接到射频接口电路52以用于向其他装置传输在无线电接口电路52处生成的射频信号并且 用于从其他装置接收射频信号的天线44。
[0044] 在本发明的一些实施例中，装置50包括能够记录或检测单个帧的相机，这些帧之 后被传递到编解码器54或控制器以用于处理。在本发明的一些实施例中，装置可以在传输 和/或存储视频图像数据之前从另一设备接收该视频图像数据以用于处理。在本发明的一 些实施例中，装置50可以无线地或通过有线连接接收图像以用于编码/解码。
[0045] 图3示出了根据示例实施例的包括多个装置、网络和网络元件的用于视频编码的 布置。参考图3,示出了其内能够利用本发明的实施例的系统的示例。系统10包括多个通 信设备，所述多个通信设备能够通过一个或多个网络通信。系统10可以包括有线网络或无 线网络的任何组合，包括但不限于无线蜂窝电话网络（诸如，GSM、UMTS、CDM网络等）、诸 如由IEEE 802. X标准中的任何标准限定的无线局域网（WLAN)、蓝牙个人局域网、以太网局 域网、令牌环局域网、广域网以及互联网。
[0046] 系统10可以包括适合于实施本发明的实施例的有线和无线通信设备或装置50两 者。例如，图3中不出的系统不出了移动电话网络11和互联网28的表不。到互联网28的 连接性可以包括但不限于远程无线连接、短程无线连接以及各种有线连接，包括但不限于 电话线、线缆线、电力线和类似的通信通路。
[0047] 系统10中示出的示例通信设备可以包括但不限于电子设备或装置50、个人数字 助理（PDA)和移动电话14的组合、PDA 16、集成消息设备（Hffi) 18、台式计算机20、笔记本 电脑22。装置50当由正在移动的个人携带时可以是固定的或移动的。装置50还可以位于 交通工具中，交通工具包括但不限于汽车、卡车、出租车、公交车、火车、轮船、飞机、自行车、 摩托车或任何类似的交通工具。
[0048] 一些或另外的装置可以通过到基站24的无线连接25发送和接收呼叫和消息并与 服务提供商通信。基站24可以被连接到网络服务器26,所述网络服务器26允许移动电话 网络11和互联网28之间的通信。系统可以包括附加的通信设备和各种类型的通信设备。
[0049] 通信设备可以使用各种传输技术来通信，包括但不限于码分多址（CDM)、全球移 动通信系统（GSM)、通用移动通信系统（UMTS)、时分多址（TDM)、频分多址（FDM)、传输控 制协议-互联网协议（TCP-IP)、短消息服务（SMS)、多媒体消息服务（MMS)、电子邮件、即时 消息服务（MS)、蓝牙、IEEE 802. 11以及任何类似的无线通信技术。在实施本发明的各种 实施例中涉及的通信设备可以使用各种介质来通信，包括但不限于无线电、红外、激光、线 缆连接以及任何适当的连接。
[0050] 视频编解码器包括编码器和解码器，编码器将输入视频变换成适合于存储/传输 的压缩表示，解码器能够将经压缩的视频表示解压回到可观看的形式。编码器可以丢弃原 始视频序列中的一些信息以便以更紧凑的形式（例如，以更低比特率）来表示视频。
[0051] 例如ITU-T H. 263和H. 264的混合视频编解码器在两个阶段中对视频信息进行编 码。首先，在某个图片中的像素值（或者"块"）例如通过运动补偿装置（找到并指示先前 编码的视频帧中的紧密对应于被编码的块的一帧中的区域）或通过空间装置（使用将以指 定方式被编码的块周围的像素值）来预测。第二，预测误差，即预测的像素块和原始像素块 之间的差被编码。这可以通过使用指定变换（例如，离散余弦变换（DCT)或其变型）来对 像素值的差进行变换、对系数进行量化并对所量化的系数进行熵编码来完成。通过改变量 化过程的保真度，编码器能够控制像素表示的准确性（图片质量）和得到的经编码的视频 表示的大小（文件大小或传输比特率）之间的平衡。编码过程被图示在图4中。图4图示 了视频编码器的示例，其中，1":要编码的图像；P' n:预测的图像块的表示；Dn:预测误差信 号；D' ":重建的预测误差信号；Γ n:初步的重建图像；R' n:最终的重建图像；T、T S变换和 反变换；Q、Q S量化和反量化；E :熵编码；RFM :参考帧存储器；P intCT:帧间预测；P intM:帧内 预测；MS :模式选择；F :滤波。
[0052] 在诸如HEVC的一些视频编解码器中，视频图片被划分到覆盖图片的区域的编码 单元（CU)中。CU包括一个或多个预测单元（PU)和一个或多个变换单元（TU)，所述一个或 多个预测单元定义针对CU内的样本的预测过程，所述一个或多个变换单元定义针对所述 CU中的样本的预测误差编码过程。CU可以包括具有可从可能CU大小的预定义集合选择的 大小的样本的方块。具有最大允许大小的CU可以被称为CTU(编码树单元）并且视频图 片被划分成非重叠 CTU。CTU还能够例如通过递归地将CTU划分成得到的CU而被拆分成更 小的CU的组合。每个得到的CU可以具有至少一个PU和与其相关联的至少一个TU。每个 PU和TU能够进一步被划分成更小的PU和TU以便分别增大预测和预测误差编码过程的粒 度。每个PU具有与其相关联的、定义哪种类型的预测要被应用于该PU内的像素的预测信 息（例如，针对帧间预测的PU的运动向量信息和针对帧内预测的PU的帧内预测方向性信 息）。类似地，每个TU与描述针对所述TU内的样本的预测误差解码过程的信息（包括例如 DCT系数信息）相关联。可以在CU水平上信号传送是否要针对每个CU应用预测误差编码。 在不存在与CU相关联的预测误差残差的情况下，可以认为不存在针对所述CU的TU。图像 到CU中的划分以及CU到PU和TU的划分可以在比特流中被信号传送，所述比特流允许解 码器重新产生这些单元的预期结构。
[0053] 解码器通过应用类似于编码器的预测装置以（使用由编码器创建的并且存储在 经压缩的表示中的运动或空间信息）形成对像素块的预测的表示和预测误差解码（在空间 像素域中恢复经量化的预测误差编码的反操作）来重建输出视频。在应用预测和预测误差 解码装置之后，解码器对预测和预测误差信号（像素值）进行合计以形成输出视频帧。解 码器（和编码器）还能够应用附加的滤波装置以在将传递输出视频以用于显示和/或将其 存储为视频序列中的即将到来的帧的预测参考之前改进该输出视频的质量。解码过程被图 示在图5中。图5图示了视频解码器的方框图，其中？'":预测的图像块的表示；D' n:重建的 预测误差信号；I'n:初步的重建图像；R' n:最终的重建图像；T S反变换；Q S反量化；E S 熵解码；RFM :参考帧存储器；P :(帧间或帧内）预测；F :滤波。
[0054] 运动信息可以被指示在视频编解码器中，连同与每个经运动补偿的图像块相关联 的运动向量。这些运动向量中的每个运动向量表示将（在编码器侧）被编码或（在解码器 侦D被解码的图片中的图像块和先前编码或解码的图片中的一个图片中的预测源块的位 移。为了有效地表示运动向量，那些向量可以以与块特定的预测的运动向量不同的方式被 编码。在视频编解码器中，预测的运动向量可以以预定义方式、例如通过计算经编码或解码 的运动向量或相邻块的中值来被创建。创建运动向量预测的另一方式是从时间参考图片中 的相邻块和/或共同定位的块来生成候选预测的列表并将选出的候选者作为运动向量预 测来进行信号传送。除了预测运动向量值