B切片中的预测单元限于单向帧间预测的制作方法
【专利说明】B切片中的预测单元限于单向帧间预测
[0001]本案是一件分案申请。本案的母案是国际申请号为PCT/US2013/025153、申请日为2013年2月7日、进入中国国家阶段后申请号为201380008193.9、发明名称为“B切片中的预测单元限于单向帧间预测”的发明专利申请案。
[0002]本申请案主张2012年2月8日申请的第61/596，597号美国临时专利申请案以及2012年4月11日申请的第61/622，968号美国临时专利申请案的权益，所述专利申请案的每一者的全部内容以引用的方式并入本文中。
技术领域
[0003]本发明涉及视频译码，且特定来说涉及视频译码中的帧间预测。
【背景技术】
[0004]数字视频能力可并入到广泛装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电信会议装置、视频串流装置等。数字视频装置实施视频压缩技术，例如 MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4 第 10 部分、先进视频译码(AVC)、当前开发中的高效视频译码(HEVC)标准所界定的标准以及此类标准的扩展中描述的技术。视频装置可通过实施此类视频压缩技术更有效地发射、接收、编码、解码和/或存储数字视频信息。
[0005]视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割为视频块，其也可称为树块、译码单元(CU)和/或译码节点。使用空间预测相对于同一图片中的相邻块中的参考样本编码图片的帧内译码(I)切片中的视频块。图片的帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其它参考图片中的参考样本的时间预测。图片可称为帧，且参考图片可称为参考帧。
[0006]空间或时间预测结果产生待译码的块的预测视频块。残余数据表示待译码的原始块与预测视频块之间的像素差。帧间译码块根据指向形成预测视频块的参考样本的块的运动向量以及指示经译码块与预测视频块之间的差的残余数据而编码。帧内译码块根据帧内译码模式和残余数据而编码。为了进一步压缩，残余数据可从像素域变换到变换域，从而产生残余变换系数，残余变换系数接着可量化。初始布置在二维阵列中的经量化变换系数可经扫描以便产生变换系数的一维向量，且可应用熵译码来实现更多压缩。
【发明内容】
[0007]大体来说，本发明描述用于视频译码过程中的帧间预测的技术。视频译码器确定B切片中的预测单元(PU)是否限于单向帧间预测。另外，视频译码器产生PU的合并候选者列表且确定合并候选者列表中的选定合并候选者。如果PU限于单向帧间预测，那么视频译码器基于与选定合并候选者指定的运动信息相关联的不超过一个参考块产生PU的预测视频块。如果PU不限于单向帧间预测，那么视频译码器基于与选定合并候选者指定的运动信息相关联的一或多个参考块产生PU的预测视频块。
[0008]在一个方面中，本发明描述一种用于对视频数据进行译码的方法。所述方法包括确定B切片中的是否限于单向帧间预测。所述方法还包括产生PU的合并候选者列表。另外，所述方法包括确定合并候选者列表中的选定合并候选者。另外，所述方法包括在PU限于单向帧间预测的情况下基于与选定合并候选者指定的运动信息相关联的不超过一个参考块产生PU的预测视频块。所述方法还包括在不限于单向帧间预测的情况下基于与选定合并候选者指定的运动信息相关联的一或多个参考块产生PU的预测视频块。
[0009]在另一方面中，本发明描述一种视频译码装置，其包括经配置以确定B切片中的PU是否限于单向帧间预测的一或多个处理器。所述一或多个处理器还经配置以产生的合并候选者列表且确定合并候选者列表中的选定合并候选者。所述一或多个处理器经配置使得如果PU限于单向帧间预测，那么所述一或多个处理器基于与选定合并候选者指定的运动信息相关联的不超过一个参考块产生PU的预测视频块。此外，所述一或多个处理器经配置使得如果PU不限于单向帧间预测，那么所述一或多个处理器基于与选定合并候选者指定的运动信息相关联的一或多个参考块产生PU的预测视频块。
[0010]在另一方面中，本发明描述一种视频译码装置，其包括用于确定B切片中的是否限于单向帧间预测的装置。所述视频译码装置还包括用于产生PU的合并候选者列表的装置。另外，所述视频译码装置包括用于确定合并候选者列表中的选定合并候选者的装置。所述视频译码装置还包括用于在PU限于单向帧间预测的情况下基于与选定合并候选者指定的运动信息相关联的不超过一个参考块产生PU的预测视频块的装置。所述视频译码装置还包括用于在PU不限于单向帧间预测的情况下基于与选定合并候选者指定的运动信息相关联的一或多个参考块产生PU的预测视频块的装置。
[0011]在另一方面中，本发明描述一种计算机程序产品，其包括存储指令的一或多个计算机可读存储媒体，所述指令当执行时配置一或多个处理器以确定B切片中的PU是否限于单向帧间预测。所述指令还配置所述一或多个处理器以产生PU的合并候选者列表，且确定合并候选者列表中的选定合并候选者。如果PU限于单向帧间预测，那么所述指令配置所述一或多个处理器以基于与选定合并候选者指定的运动信息相关联的不超过一个参考块产生PU的预测视频块。如果不限于单向帧间预测，那么所述指令配置所述一或多个处理器以基于与选定合并候选者指定的运动信息相关联的一或多个参考块产生PU的预测视频块。
[0012]一或多个实例的细节在附图和以下描述中陈述。从描述内容和图式并从权利要求书将明白其它特征、目的和优点。
【附图说明】
[0013]图1是说明可利用本发明中描述的技术的实例视频译码系统的框图。
[0014]图2是说明经配置以实施本发明中描述的技术的实例视频编码器的框图。
[0015]图3是说明经配置以实施本发明中描述的技术的实例视频解码器的框图。
[0016]图4是说明实例运动补偿操作的流程图。
[0017]图5是说明另一实例运动补偿操作的流程图。
[0018]图6是说明用于产生合并候选者列表的实例操作的流程图。
[0019]图7是说明用于产生人为合并候选者的实例过程的流程图。
[0020]图8是说明用于使用先进运动向量预测模式确定预测单元的运动信息的实例操作的流程图。
【具体实施方式】
[0021]如下文描述，图片可划分为一或多个切片。切片的每一者可包含整数数目的译码单元(CU)。每一 CU可具有一或多个预测单元(PU)。切片可为I切片、P切片或B切片。在I切片中，所有PU经帧内预测。视频编码器可对P切片中的执行帧内预测或单向帧间预测。当视频编码器对P切片中的PU执行单向帧间预测时，视频编码器可识别或合成参考图片的第一列表(“列表O”)中列举的参考图片中的参考样本。参考块可为参考图片内的参考样本的块。参考样本可对应于参考块中的实际像素，或例如通过使用实际像素进行内插而合成的像素。视频编码器可接着基于PU的参考块产生的预测视频块。
[0022]视频编码器可对B切片中的PU执行列表O单向帧间预测、列表I单向帧间预测或双向帧间预测。当视频编码器对PU执行列表O单向帧间预测时，视频编码器可识别列表O中列举的参考图片中的参考块或基于列表O中列举的参考图片中的参考样本合成参考块。视频编码器可接着基于参考块产生PU的预测视频块。当视频编码器对PU执行列表I单向帧间预测时，视频编码器可识别第二参考图片列表(“列表I”)中列举的参考图片中的参考块或可基于列表I中列举的参考图片中的参考样本合成参考块。视频编码器可接着基于参考块产生PU的预测视频块。当视频编码器对PU执行双向帧间预测时，视频编码器可识另Ij列表O中列举的参考图片中的参考块或基于列表O中列举的参考图片中的参考样本合成参考块。另外，当视频编码器对PU执行双向帧间预测时，视频编码器可识别列表I中列举的参考图片中的参考块或基于列表I中列举的参考图片中的参考样本合成参考块。视频编码器可接着基于两个参考块产生PU的预测视频块。
[0023]视频编码器可信令的运动信息以使视频解码器能够识别或合成视频编码器用于产生PU的预测视频块的参考块。的运动信息可包含一或多个运动向量、参考图片索弓丨，和指示帧间预测是否基于列表O和/或列表I的旗标。在一些例子中，视频编码器可使用合并模式信令PU的运动信息。当视频编码器使用合并模式信令PU的运动信息时，视频编码器可产生PU的合并候选者列表。合并候选者列表可包含多个合并候选者，其每一者指定运动信息的集合。
[0024]如果合并候选者指定识别列表O或列表I中列举的参考图片中的单一位置的运动信息，那么合并候选者可为单向合并候选者。如果参考块中的样本基于运动信息识别的参考图片中的运动信息所识别的位置处的样本来确定，那么参考块可与运动信息的集合相关联。举例来说，如果参考块中的样本与运动信息识别的参考图片中的运动信息所识别的位置处的视频块中的样本相同，那么参考块可与运动信息的集合相关联。如果参考块中的样本从运动信息识别的参考帧中的运动信息所识别的位置处的视频块中的样本合成(例如，内插)，那么参考块也可与运动信息的集合相关联。
[0025]如果合并候选者指定识别列表O中列举的参考图片中的位置和列表I中列举的参考图片中的位置的运动信息，那么合并候选者可为双向合并候选者。视频编码器可基于空间上与不同图片中的当前PU和/或协同定位相邻的PU的运动信息产生合并候选者指定的运动信息。在产生当前PU的合并列表之后，视频编码器可选择合并候选者列表中的合并候选者的一者，且信令选定合并候选者的合并候选者列表内的位置。视频解码器可基于选定合并候选者指定的运动信息确定当前PU的运动信息。
[0026]依据操作和所需存储器带宽，基于两个参考块产生的预测视频块可比基于单一参考块产生I3U的预测视频块要复杂。与基于两个参考块产生预测视频块相关联的复杂性可随B切片中的双向帧间预测PU的数目增加而增加。当小双向帧间预测PU的数目增加时，可能尤其如此。因此，可有利地将B切片中的一些限于单向帧间预测。
[0027]视频编码器可通过仅从的合并候选者列表选择单向合并候选者而将B切片中的PU限于单向帧间预测。然而，在一些例子中，合并候选者列表可不包含任何单向合并候选者。在此类例子中，视频编码器可不能使用合并模式信令PU的运动信息。这可减小译码性能。此外，即使合并候选者列表包含至少一个单向合并候选者，如果与单向合并候选者指定的运动信息相关联的参考块不充分类似于与PU相关联的视频块，那么译码效率也可减小。
[0028]根据本发明的技术，视频译码器(例如，视频编码器或视频解码器)可确定B切片中的PU是否限于单向帧间预测。举例来说，视频译码器可确定在PU的大小特性小于特定阈值的情况下I3U限于单向帧间预测。I3U的大小特性可为与I3U相关联的视频块的大小的特性，例如与PU相关联的视频块的高度、宽度、对角长度等。另外，视频译码器可产生的合并候选者列表且确定合并候选者列表中的选定合并候选者。如果PU限于单向帧间预测，那么视频译码器可基于与选定合并候选者指定的运动信息相关联的不超过一个参考块产生PU的预测视频块。如果PU不限于单向帧间预测，那么视频译码器可基于与选定合并候选者指定的运动信息相关联的一或多个参考块产生PU的预测视频块。通过以此方式将一些PU限于单向帧间预测，视频译码器可减小与基于多个参考块产生预测视频块相关联的复杂性。这可增加视频译码器能够对视频数据进行译码的速度且可减小数据带宽要求。
[0029]为便于阐释，本发明可将位置或视频块描述为具有与CU或PU的各种空间关系。此描述可解释为意味着位置或视频块具有与同CU或PU相关联的视频块的各种空间关系。此夕卜，本发明可提到视频译码器当前正作为当前PU译码的PU。本发明可提到视频译码器当前正作为当前CU译码的CU。本发明可提到视频译码器当前正作为当前图片译码的图片。
[0030]【附图说明】实例。附图中的参考数字指示的元件对应于以下描述中的相同参考数字指示的元件。本发明中，具有以序数词(例如，“第一”、“第二”、“第三”等)开始的名称的元件不一定暗示所述元件具有特定次序。而是，此类序数词仅用于指代相同或类似类型的不同元件。
[0031]图1是说明可利用本发明的技术的实例视频译码系统10的框图。如本文所描述而使用，术语“视频译码器”一般指代视频编码器和视频解码器两者。在本发明中，术语“视频译码”或“译码”可一般指代视频编码或视频解码。
[0032]如图1所示，视频译码系统10包含源装置12和目的地装置14。源装置12产生经编码视频数据。因此，源装置12可称为视频编码装置或视频编码设备。目的地装置14可解码源装置12产生的经编码视频数据。因此，目的地装置14可称为视频解码装置或视频解码设备。源装置12和目的地装置14可为视频译码装置或视频译码设备的实例。
[0033]源装置12和目的地装置14可包括广范围的装置，包含台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、例如所谓的“智能”电话等电话手持机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机等。在一些实例中，源装置12和目的地装置14可经装备用于无线通信。
[0034]目的地装置14可经由信道16从源装置12接收经编码视频数据。信道16可包括能够将经编码视频数据从源装置12移动到目的地装置14的类型的媒体或装置。在一个实例中，信道16可包括使源装置12能够实时将经编码视频数据直接发射到目的地装置14的通信媒体。在此实例中，源装置12可根据例如无线通信协议等通信标准调制经编码视频数据，且可将经调制视频数据发射到目的地装置14。通信媒体可包括无线或有线通信媒体，例如射频(RF)频谱或一或多个物理发射线路。通信媒体可形成基于包的网络的一部分，例如局域网、广域网或全球网络(例如，因特网)。通信媒体可包含路由器、开关、基站，或促进从源装置12到目的地装置14的通信的其它设备。
[0035]在另一实例中，信道16可对应于存储源装置12产生的经编码视频数据的存储媒体。在此实例中，目的地装置14可经由磁盘存取或卡存取而存取存储媒体。存储媒体可包含多种本地存取的数据存储媒体，例如蓝光光盘、DVD、CD-ROM、快闪存储器，或用于存储经编码视频数据的其它适宜的数字存储媒体。在另一实例中，信道16可包含文件服务器或存储源装置12产生的经编码视频的另一中间存储装置。在此实例中，目的地装置14可经由串流或下载存取存储在文件服务器或其它中间存储装置处的经编码视频数据。文件服务器可为能够存储经编码视频数据且将经编码视频数据发射到目的地装置14的类型的服务器。实例文件服务器包含网络服务器(例如，针对网站)、文件传送协议(FTP)服务器、网络附接存储(NAS)装置和本地磁盘驱动器。目的地装置14可经由标准数据连接(包含因特网连接)存取经编码视频数据。数据连接的实例类型可包含无线信道(例如，W1-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从文件服务器的发射可为串流发射、下载发射，或两者的组合。
[0036]本发明的技术不限于无线应用或设置。所述技术可应用于视频译码以支持多种多媒体应用的任一者，例如空中电视广播、电缆电视发射、卫星电视发射、串流视频发射(例如，经由因特网)、编码数字视频以供存储在数据存储媒体上、解码存储在数据存储媒体上的数字视频，或其它应用。在一些实例中，视频译码系统10可经配置以支持单向或双向视频发射以支持例如视频串流、视频重放、视频广播和/或视频电话等应用。
[0037]在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口 22。在一些情况下，输出接口 22可包含调制器/解调器(调制解调器)和/或发射器。在源装置12中，视频源18可包含例如视频俘获装置(例如，视频相机)、含有先前俘获的视频数据的视频档案、用以从视频内容提供者接收视频数据的视频馈送接口，和/或用于产生视频数据的计算机图形系统等源，或此类源的组合。
[0038]视频编码器20可编码所俘获、预先俘获或计算机产生的视频数据。经编码视频数据可经由源装置12的输出接口 22直接发射到目的地装置14。经编码视频数据还可存储到存储媒体或文件服务器上以供随后由目的地装置14存取用于解码和/或重放。
[0039]在图1的实例中，目的地装置14包含输入接口 28、视频解码器30和显示装置32。在一些情况下，输入接口 28可包含接收器和/或调制解调器。目的地装置14的输入接口28经由信道16接收经编码视频数据。经编码视频数据可包含视频编码器20产生的表示视频数据的多种语法元素。此类语法元素可与在通信媒体上发射、存储在存储媒体上或存储在文件服务器上的经编码视频数据一起包含。
[0040]显示装置32可与目的地装置14集成或可在目的地装置14外部。在一些实例中，目的地装置1