用于视频编码和解码的装置、方法和计算机程序的制作方法
【技术领域】
[0001]本发明涉及用于视频编码和解码的装置、方法和计算机程序。
【背景技术】
[0002]视频编解码器包括:编码器，其将输入视频变换到适合于存储和/或传输的压缩表示，以及解码器，其能够将压缩的视频表示解压缩回到能够观看的形式，或它们中的任何一个。典型地，编码器丢弃原始视频序列中的一些信息，以便以更加紧凑的形式来表示视频，例如以较低的比特率。
[0003]可伸缩视频编码指的是编码结构，在该编码结构中，一种比特流能够含有以不同比特率、分辨率或帧速率的内容的多种表示。可伸缩比特流典型地由“基础层”(其提供可以使用的最低质量视频)和一个或多个增强层(当其连同较低层一起被接收和解码时，其增强视频质量)组成。为了改进针对增强层的编码效率，该层的编码表示典型地依赖于较低层。
[0004]针对视频可伸缩(还被称为信噪比或SNR)和/或空间可伸缩的可伸缩视频编解码器可以如下来实现。对于基础层，使用传统的非可伸缩视频编码器和解码器。基础层的重建/解码图像被包含在针对增强层的参考图像缓冲器中。在使用针对帧间预测的参考图像列表(多个)的编解码器中，类似于增强层的解码参考图像，可以将基础层解码图像插入到针对编码/解码增强层图像的参考图像列表(多个)中。因此，编码器可以选择基础层参考图像作为帧间预测参考以及在编码比特流中典型地使用参考图像索引来指示它的使用。解码器从该比特流(例如从参考图像索引)解码:基础层图像用作针对增强层的帧间预测参考。
[0005]除了质量可伸缩外，能够通过空间可伸缩，其中以比增强层图像更高的分辨率来编码基础层图像，位深可伸缩，其中以比增强层图像(例如，10或12比特)更低的位深(例如8比特)来编码基础层图像，以及色度格式可伸缩，其中基础层图像在色度中提供比增强层图像(例如，4:2:0格式)更高的保真度(例如，4:4:4色度格式)，来获得可伸缩。
[0006]在某些情况下，将期望的是，增强仅图像内的区域而不是整个增强层图像。然而，如果在当前的可伸缩视频编码解决方案中实现，则此类可伸缩将具有太高的复杂度开销或遭受到编码效率之苦。例如，考虑位深可伸缩，其中仅视频图像内的区域是将以较高位深编码的目标，然而当前可伸缩编码解决方案要求以高位深将整个图像编码，因此大幅地增加了复杂度。对于色度格式可伸缩的情况，整个图像的参考存储器应当是以4:4:4格式，即使仅增强图像的某个区域，因此增加了存储器需求。类似地，如果仅针对选择的区域应用空间可伸缩，则传统方法要求以全分辨率来存储和维护整个增强层图像。
【发明内容】
[0007]本发明从以便使得能够使用增强的质量和/或空间分辨率以及使用高编码效率来编码增强层图像内的区域的考虑出发，引入了增强层子图像的新构思。
[0008]根据第一实施例的方法包括一种用于编码针对给定基础层图像的一个或多个增强层子图像的方法，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小，所述方法包括
[0009]编码和重建所述基础层图像；
[0010]编码和重建所述一个或多个增强层子图像；
[0011]从所述重建的一个或多个增强层子图像重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
[0012]根据一个实施例，所述方法还包括:相对于所述基础层图像预测性地编码所述一个或多个增强层子图像。
[0013]根据一个实施例，允许相对于较早编码的增强层图像预测性地编码所述增强层子图像。
[0014]根据一个实施例，允许相对于较早编码的增强层子图像预测性地编码所述增强层子图像。
[0015]根据一个实施例，所述增强层子图像含有针对对应的基础层图像的增强信息，所述增强信息包含以下中的至少一个:
[0016]-相对于所述对应的基础层图像的色度，增加所述一个或多个增强层子图像的色度的保真度；
[0017]-相对于所述对应的基础层图像的位深，增加所述一个或多个增强层子图像的位株;
[0018]-相对于所述对应的基础层图像的质量，增加所述一个或多个增强层子图像的质量;或
[0019]-相对于所述对应的基础层图像的空间分辨率，增加所述一个或多个增强层子图像的空间分辨率。
[0020]根据一个实施例，使用与编码针对增强层图像的增强层信息一样的语法来编码针对子图像的增强层信息。
[0021]根据一个实施例，所述增强层子图像的左上角可以与图像的最大编码单元(LCU)的左上角对齐。
[0022]根据一个实施例，所述增强层子图像的大小可以被限制为最大编码单元(LCU)的大小或预测单元(PU)的大小或编码单元(⑶)的大小的整数倍(1，2，3，4，…)。
[0023]根据一个实施例，如果相对于基础层预测性地编码所述增强层子图像，则预测过程可以被限制以便仅在基础层图像的共位区域内的像素是能够使用的。
[0024]根据一个实施例，增强层子图像的数量能够针对不同图像而改变或保持固定。
[0025]根据一个实施例，如果相对于基础层预测性地编码所述增强层子图像，则预测过程可以涉及不同的图像处理操作。
[0026]根据一个实施例，第一增强层子图像可以增强与第二增强层子图像不同的图像特征。
[0027]根据一个实施例，单个增强层子图像可以增强图像的多个特征。
[0028]根据一个实施例，所述增强层子图像的大小和位置可以针对不同图像而改变或保持固定。
[0029]根据一个实施例，所述增强层子图像的方位和大小可以与在所述基础层图像中使用的图块或片相同。
[0030]根据一个实施例，所述增强层子图像的大小和方位可以被限制使得它们在空间上不重叠。
[0031]根据一个实施例，可以允许所述增强层子图像的大小和方位在空间上重叠。
[0032]根据一个实施例，可以在补充增强信息(SEI)消息的形式中实现增强层子图像构思。
[0033]根据一个实施例，所述一个或多个增强层子图像被转换为在所述重建的一个或多个增强层子图像的区域之外的从所重建的基础层图像复制到所重建的增强层图像的样本中使用的相同的格式。
[0034]一种根据第二实施例的装置，所述装置包括:
[0035]视频编码器，其被配置为用于编码包括基础层和至少一个增强层的可伸缩比特流，其中所述视频编码器还被配置为用于
[0036]编码和重建基础层图像；
[0037]编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；
[0038]从所述重建的一个或多个增强层子图像重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
[0039]根据第三实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质在其上存储有供装置使用的代码，当由处理器运行所述代码时，所述代码使得所述装置执行:
[0040]编码包括基础层和至少一个增强层的可伸缩比特流；
[0041]编码和重建基础层图像；
[0042]编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；
[0043]从所述重建的一个或多个增强层子图像重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
[0044]根据第四实施例，提供了至少一个处理器和至少一个存储器，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码使得装置执行:
[0045]编码包括基础层和至少一个增强层的可伸缩比特流；
[0046]编码和重建基础层图像；
[0047]编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；
[0048]从所述重建的一个或多个增强层子图像重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
[0049]根据第五实施例，提供了一种用于解码包括基础层和至少一个增强层的可伸缩比特流的方法，所述方法包括
[0050]解码基础层图像；
[0051]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0052]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0053]根据一个实施例，将所解码的增强层图像子图像与所解码的增强层图像分开地放置在参考帧缓冲器中。
[0054]根据一个实施例，解码的增强层图像没有被放置在参考帧缓冲器中，而是解码的增强层子图像被放置在所述参考帧缓冲器中。
[0055]根据一个实施例，如果使用空间可伸缩，则从上采样的基础层图像复制在所述增强层子图像区域之外的样本。
[0056]根据一个实施例，解码所述一个或多个增强层子图像使用来自基础层的信息。
[0057]根据一个实施例，所述一个或多个增强层子图像被转换为在所述重建的一个或多个增强层子图像的区域之外的从所解码的基础层图像复制到所重建的增强层图像的样本中使用的相同的格式，以及所述转换的增强层图像被合并以在参考帧缓冲器中形成单个增强层图像。
[0058]一种根据第六实施例的装置，所述装置包括:
[0059]视频解码器，其被配置为用于解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于
[0060]解码基础层图像；
[0061]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0062]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0063]根据第七实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质在其上存储有供装置使用的代码，当由处理器运行所述代码时，所述代码使得所述装置执行:
[0064]解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于
[0065]解码基础层图像；
[0066]解码针对给定基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0067]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0068]根据第八实施例，提供了至少一个处理器和至少一个存储器，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器运行所述代码时，所述代码使得装置执行:
[0069]解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于
[0070]解码基础层图像；
[0071]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0072]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
[0073]根据第九实施例，提供了视频编码器，所述视频编码器用于编码包括基础层和至少一个增强层的可伸缩比特流，其中所述视频编码器还被配置为用于
[0074]编码和重建基础层图像；
[0075]编码和重建针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0076]从所述重建的一个或多个增强层子图像来重建增强层图像，其中将在所述重建的一个或多个增强层子图像的区域之外的样本从所重建的基础层图像复制到所重建的增强层图像。
[0077]根据第十实施例，提供了视频解码器，所述视频解码器被配置为用于解码包括基础层和至少一个增强层的可伸缩比特流，所述视频解码器被配置为用于
[0078]解码基础层图像；
[0079]解码针对所述基础层图像的一个或多个增强层子图像，所述一个或多个增强层子图像具有小于对应的增强层重建图像的大小；以及
[0080]从所述解码的一个或多个增强层子图像重建解码的增强层图像，其中将在所述解码的一个或多个增强层子图像的区域之外的样本从所解码的基础层图像复制到所重建的增强层图像。
【附图说明】
[0081]为了更好地理解本发明，现在参照作为示例的附图，在附图中:
[0082]图1示意性示出了使用本发明的一些实施例的电子设备；
[0083]图2示意性示出了适用于使用本发明的一些实施例的用户设备；
[0084]图3进一步示意性示出了使用无线和有线网络连接的使用本发明的实施例的电子设备；
[0085]图4示意性地示出了适用于实现本发明的一些实施例的编码器；
[0086]图5示出了根据本发明的一个实施例的增强层子图像的构思；
[0087]图6示出了根据本发明的另一个实施例的增强层子图像的构思；
[0088]图7示出了用于将参考从基础层图像限制到增强层子图像的实施例；
[0089]图8示出了根据本发明的一些实施例将增强层子图像应用于3d和多视角视频编码的示例；以及
[0090]图9示出了根据本发明的一些实施例的解码器的示意图。
【具体实施方式】
[0091]以下详细描述用于编码增强层子图像而不显著地牺牲编码效率的合适的装置和可能的机制。在这点上，首先参照图1，图1示出了示例性装置或电子设备50的示意性框图，该装置或电子设备50可以并入根据本发明的实施例的编解码器。
[0092]电子设备50例如可以是无线通信系统的移动终端或用户设备。然而，将理解的是，可以在可以要求编码和解码或编码或解码视频图像的任何电子设备或装置内实现本发明的实施例。
[0093]装置50可以包括:用于容纳和保护该设备的壳体30。装置50还可以包括以液晶显示器形式的显示器32。在本发明的其它实施例中，显示器可以是适合于显示图像或视频的任何合适的显示器技术。装置50还可以包括小键盘34。在本发明的其它实施例中，可以使用任何合适的数据或用户接口机构。例如，用户接口可以被实现成作为触摸敏感显示器的一部分的虚拟键盘或数据输入系统。装置可以包括麦克风36或任何合适的音频输入器，其可以是数字或模拟信号输入器。装置50还可以包括音频输出设备，在本发明的实施例中，所述音频输出设备可以是以下中的任何一个:耳机38、扬声器、或模拟音频或数字音频输出连接件。装置50还可包括电池40 (或者在本发明的其它实施例中，可以由任何合适的移动能量设备，诸如太阳能电池、燃料电池或发条发电机，向该设备提供电力)。装置还可以包括红外线端口 42以用于至其它设备的短距视线通信。在其它实施例中，装置50还可以包括任何合适的短距通信解决方案，诸如例如蓝牙无线连接或USB/火线有线连接。
[0094]装置50可以包括用于控制装置50的控制器56或处理器。控制器56可以连接到存储器58，在本发明的实施例中，存储器58可以存储以图像和音频数据形式的数据，并且/或还可以存储用于在控制器56上实现的指令。控制器56还可以连接到编解码电路54，该编解码电路54适用于执行对音频和/或视频数据的编码和解码或帮助由控制器56执行的编码和解码。
[0095]装置50还可以包括卡阅读器48和智能卡46，UICC和WCC阅读器以用于提供用户信息并且适用于提供用于在网络上对用户进行认证和授权的认证信息。
[0096]装置50可以包括:无线电接口电路52，其连接到控制器并且适用于生成例如用于与蜂窝通信网络、无线通信系统和/或无线局域网进行通信的无线通信信号。装置50还可以包括:天线44，其连接到无线电接口电路52以用于将在无线电接口电路52处生成的射频信号传送给其它装置(多个)以及用于接收来自其它装置(多个)的射频信号。
[0097]在本发明的一些实施例中，装置50包括:相机，其能够记录或检测个体帧，该个体帧然后被运送给用于处理的编解码器54或控制器。在本发明的其它实施例中，装置可以在传输和/或存储之前接收来自另一个设备的用于处理的视频图像数据。在本发明的其它实施例中，装置50可以无线地或通过有线连接接收用于编码/解码的图像。
[0098]参照图3，示出了系统的示例，在该系统内能够使用本发明的实施例。系统10包括:多个通信设备，它们能够通过一个或多个网络进行通信。系统10可以包括有线网络或无线网络的任何组合，有线网络或无线网络包括但不限于:无线蜂窝电话网络(诸如GSM、UMTS, CDMA网络等)，无线局域网(WLAN)，诸如由IEEE 802.x标准中的任何标准定义的WLAN，蓝牙个域网，以太网局域网，令牌环局域网，广域网以及互联网。
[0099]系统10可以包含:适用于实现本发明的实施例的有线和无线通信设备两者或装置50。
[0100]例如，在图3中示出的系统示出了移动电话网络11和互联网28的表示。至互联网28的连通性可以包含但不限于:长距无线连接，短距无线连接，以及各种有线连接，包括但不限于电话线，电缆线，电力线，和类似的通信路径。
[0101]在系统10中示出的示例性通信设备可以包含但不限于:装置或装置50，个人数字助理(PDA)和移动电话的组合14，PDA 16，集成消息发送设备(MD) 18，桌面计算机20，笔记本计算机22。装置50可以是固定的或当由移动中的个体携带时是移动的。装置50还可以位于任何模式的交通工具中，交通工具包含但不限于汽车、卡车、出租车、公交车、火车、船、飞机、自行车、摩托车或任何类似的合适模式的交通工具。
[0102]一些或其它装置可以发送和接收呼叫和消息，并且通过至基站24的无线连接25与服务提供者通信。基站24可以连接到网络服务器26，其允许移动电话网络11和互联网28之间的通信。系统可以包含附加的通信设备和各种类型的通信设备。
[0103]通信设备可以使用各种传输技术来通信，各种传输技术包括但不限于:码分多址接入(CDMA)，全球移动通信系统(GSM)，通用移动通信系统(UMTS)，时分多址接入(TDMA)，频分多址接入(FDMA)，传输控制协议-互联网协议(TCP-1P)，短消息服务(SMS)，多媒体消息服务(MMS)，电子邮件，即时消息服务(MS)，蓝牙，IEEE 802.11和任何类似的无线通信技术。在实现本发明的各种实施例中涉及的通信设备可以使用各种介质进行通信，各种介质包含但不限于:无线电，红外线，激光，电缆连接，和任何合适的连接。
[0104]视频编解码器由编码器，其将输入视频变换到适合于存储和/或传输的压缩表示，以及解码器，其能够将压缩的视频表示解压缩回到能够观看的形式，组成。典型地，编码器丢弃原始视频序列中的一些信息，以便以更加紧凑的形式来表示视频(即，以较低的比特率)。
[0105]典型的混合视频编解码器，例如ITU-T H.263和H.264，在两个阶段中编码视频信息。首先，例如通过运动补偿方法(发现并且指示在先前编码视频帧中的一个先