用于帧间预测的视频数据的变换编码的制作方法

用于帧间预测的视频数据的变换编码
1.相关申请的交叉引用
2.本技术要求于2019年12月30日提交的欧洲专利申请号19306778.2的权益，该专利申请的公开内容全文以引用方式并入本文。


背景技术：

3.视频编码系统和装置可用于压缩数字视频信号，例如以缩小此类信号需要的存储和/或传输带宽。视频编码可利用帧内和/或帧间预测技术、变换技术、量化技术等来压缩视频数据。对于某些类型的编码单元，这些技术中的一些可能增加编码时间和/或信令开销而不提供显著的编码增益。


技术实现要素：

4.本文描述了与通用视频编码相关联的系统、方法和工具。如本文所述的视频编码装置可以包括视频编码器，该视频编码器被配置成使用帧间预测技术确定编码块(例如，编码单元)的预测残差。视频编码器可以确定帧间预测技术在帧间预测技术集中，因而与变换编码相关联的至少一个操作将被禁用。基于该确定，视频编码器可以禁用与用于编码块的预测残差的变换编码相关联的至少一个操作，并且利用被禁用的与变换编码相关联的至少一个操作来编码预测残差。在示例中，待禁用的与变换编码相关联的至少一个操作可以包括多变换选择(mts)。在示例中，待禁用的与变换编码相关联的至少一个操作可以包括变换跳过(trskip)。在示例中，为编码块的预测残差禁用mts可以包括基于编码块的一个或多个候选变换跳过速率失真搜索的性能。在示例中，导致mts和/或trskip被禁用的帧间预测技术集可以包括仿射运动补偿、组合的帧间和帧内预测、三角形分区和几何合并。
5.如本文所述的视频编码装置可以包括视频解码器，该视频解码器被配置成获得包括编码块(例如，编码单元)的预测残差的视频数据。视频解码器可以基于视频数据确定包括在视频数据中的预测残差是使用帧间预测技术确定的，该帧间预测技术在帧间预测技术集中，因而与变换编码相关联的至少一个操作被禁用。基于该确定，视频解码器可以利用被禁用的与变换编码相关联的至少一个操作来对编码块的预测残差进行解码。在示例中，被禁用的与变换编码相关联的至少一个操作可以包括多变换选择(mts)。在示例中，被禁用的与变换编码相关联的至少一个操作可以包括变换跳过(trskip)。在示例中，利用被禁用的mts对编码块的预测残差进行解码可以包括跳过从视频数据中获得mts索引。在示例中，导致mts和/或trskip被禁用的帧间预测技术集可以包括仿射运动补偿、组合的帧间和帧内预测、三角形分区和几何合并。
附图说明
6.图1是示出示例性视频编码器的示意图。
7.图2是示出示例性视频解码器的示意图。
8.图3是示出在其中实现各种方面和示例的系统的示例的示意图。
9.图4是示出具有两个控制点的仿射运动补偿的示例的示意图。
10.图5是示出基于三角形分区的帧间预测的示例的示意图。
11.图6a是示出在其中一个或多个所公开的示例可得以实施的示例性通信系统的系统示意图。
12.图6b是示出根据一个示例可在图6a所示的通信系统内使用的示例性无线发射/接收单元(wtru)的系统示意图。
13.图6c是根据一个示例示出可在图6a所示的通信系统内使用的示例性无线电接入网(ran)和示例性核心网络(cn)的系统示意图。
14.图6d是示出根据一个示例示出可在图6a所示的通信系统内使用的另外一个示例性ran和另外一个示例性cn的系统示意图。
具体实施方式
15.现在将参考各种附图对例示性示例的具体实施方式进行详细描述。尽管本说明书提供了可能的具体实施的详细示例，但应当指出的是，细节旨在为示例性的，并且绝不限制本技术的范围。
16.本技术描述了多个方面，包括工具、特征、示例、模型、方法等。这些方面中的许多方面以特定的方式进行描述，并且至少为了示出个体特征，通常以听起来可能具有限制性的方式来描述。然而，这是为了描述清楚，并不限制这些方面的应用或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
17.本专利申请中描述和设想的方面可以许多不同的形式实现。本文描述的图1至图6d可以提供一些示例，但是考虑了其他示例，并且图1-图6d的讨论不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据该方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据该方法中任一种生成的比特流的计算机可读存储介质。
18.在本技术中，术语“重构”和“解码”可以互换使用，术语“像素”和“样本”可以互换使用，术语“图像”、“图片”和“帧”可以互换使用。通常，但不一定，术语“重构”在编码端使用，而“解码”在解码端使用。
19.本文描述了各种方法，并且每种方法包括用于实现方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。另外，在各种示例中，诸如“第一”、“第二”等术语可用于修饰元素、部件、步骤、操作等，诸如“第一解码”和“第二解码”。除非特定需要，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或重叠的时间段发生。
20.本技术中所述的各种方法和其他方面可用于修改视频编码器100和解码器200的模块(例如，解码模块)，如图1和图2所示。此外，本发明方面不限于vvc或hevc，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括vvc和hevc)。除非另外指明或技术上排除在外，否则本技术中所述的方面可单独
或组合使用。
21.在本技术中使用了各种数值，例如，子块的大小为4
×
4，索引值在0-82范围内，诸如此类。特定值是用于示例性目的，并且所描述的方面不限于这些特定值。
22.图1示出了编码器100。设想了这一编码器100的变型，但是为了清楚起见，下文描述了编码器100而不描述所有预期的变型。
23.在编码之前，视频序列可经过预编码处理(101)，例如，将颜色变换应用于输入彩色图片(例如，从rgb 4:4:4到ycbcr 4:2:0的转换)，或执行输入图片分量的重新映射，以便获得对压缩更具弹性的信号分布(例如，使用颜色分量中的一个颜色分量的直方图均衡化)。元数据可与预处理相关联并且附加到比特流。
24.在编码器100中，图片由编码器元件进行编码，如下所述。以例如cu为单位对要编码的图片进行分区(102)和处理。例如，使用帧内模式或帧间模式对每个单元进行编码。当单元以帧内模式进行编码时，其执行帧内预测(160)。在帧间模式中，执行运动估计(175)和补偿(170)。编码器决定(105)帧内模式或帧间模式中的哪一者用于对单元进行编码，并且通过例如预测模式标记来指示帧内/帧间决策。例如通过从原始图像块减去(110)预测块来计算预测残差。
25.然后，对预测残差进行变换(125)和量化(130)。对经量化的变换系数以及运动矢量和其他语法元素进行熵编码(145)，以输出比特流。编码器可跳过变换，并对未变换的残余信号直接应用量化。编码器可绕过变换和量化两者，即，在不应用变换或量化过程的情况下直接对残差进行编码。
26.编码器对编码块进行解码以提供用于进一步预测的参考。对经量化的变换系数进行解量化(140)和逆变换(150)以对预测残差进行解码。组合(155)经解码的预测残差和预测块，重构图像块。将环路滤波器(165)应用到重构的图像，以执行例如去块效应/sao(样本自适应偏移)滤波，从而减少编码伪影。经滤波的图像存储在参考图片缓冲器(180)中。
27.图2示出了视频解码器200的框图。在解码器200中，比特流由解码器元件进行解码，如下所述。视频解码器200一般执行与如图1所述的编码过程相反的解码过程。编码器100通常还执行视频解码作为对视频数据编码的一部分。
28.具体地，解码器的输入包括视频比特流，该视频比特流可由视频编码器100生成。首先对比特流进行熵解码(230)以获得变换系数、运动向量和其他经编码的信息。图片分区信息指示如何对图片进行分区。因此，解码器可以根据解码图片分区信息划分(235)图片。对变换系数进行解量化(240)和逆变换(250)以对预测残差进行解码。组合(255)经解码的预测残差和预测块，重构图像块。可从帧内预测(260)或运动补偿预测(即帧间预测)(275)获得(270)预测块。向重构图像应用环路滤波器(265)。经滤波的图像存储在参考图片缓冲器(280)中。
29.经解码的图片还可经过解码后处理(285)，例如，逆颜色变换(例如，从ycbcr 4:2:0到rgb 4:4:4的变换)或执行在预编码处理(101)中执行的重新映射过程的逆重新映射。解码后处理可使用在预编码处理中导出并且在比特流中发信号通知的元数据。
30.图3示出了在其中实现各种方面和示例的系统的示例的框图。系统300可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板
电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统300的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部件中。例如，在至少一个示例中，系统300的处理和编码器/解码器元件分布在多个ic和/或分立部件上。在各种示例中，系统300经由例如通信总线或通过专用输入端口和/或输出端口通信地耦合到一个或多个其他系统或其他电子设备。在各种示例中，系统300被配置为实现本文档中所述的方面中的一个或多个方面。
31.系统300包括至少一个处理器310，该至少一个处理器被配置为执行加载到其中的指令，以用于实现例如本文档中所述的各个方面。处理器310可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统300包括至少一个存储器320(例如，易失性存储器设备和/或非易失性存储器设备)。系统300包括存储设备340，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备340可包括内部存储设备、附接存储设备(包括可拆和不可拆的存储设备)和/或网络可访问的存储设备。
32.系统300包括编码器/解码器模块350，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块350可包括其自身的处理器和存储器。编码器/解码器模块350表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。此外，编码器/解码器模块350可实现为系统300的独立元件，或者可结合在处理器310内作为本领域技术人员已知的硬件和软件的组合。
33.要加载到处理器310或编码器/解码器350上以执行本文档中所述的各个方面的程序代码可存储在存储设备340中，并且随后被加载到存储器320上以供处理器310执行。根据各种示例，处理器310、存储器320、存储设备340和编码器/解码器模块350中的一者或多者可在本文档中所述的过程的执行期间存储各种项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
34.在一些示例中，处理器310和/或编码器/解码器模块350内部的存储器用于存储指令并提供用于在编码或解码期间需要的处理的工作存储器。然而，在其他示例中，处理设备外部的存储器(例如，处理设备可以是处理器310或编码器/解码器模块350)用于这些功能中的一个或多个功能。外部存储器可以是存储器320和/或存储设备340，例如动态易失性存储器和/或非易失性闪存存储器。在若干示例中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个示例中，快速外部动态易失性存储器诸如ram用作视频编码和解码操作的工作存储器，诸如mpeg-2(mpeg是指运动图片专家组，mpeg-2也称为iso/iec 13818，并且13818-1也称为h.222，13818-2也称为h.262)、hevc(hevc是指高效视频编码，也称为h.265和mpeg-h部分2)或vvc(通用视频编码)。
35.对系统300的元件的输入可通过如框360中所示的各种输入设备提供。此类输入设备包括但不限于：(i)射频(rf)部分，其接收例如由广播器通过空中发射的rf信号；(ii)分量(comp)输入端子(或一组comp输入端子)；(iii)通用串行总线(usb)输入端子；和/或(iv)
高清晰度多媒体接口(hdmi)输入端子。图3未示出的其他示例包括复合视频。
36.在各种示例中，框360的输入设备具有如本领域中已知的相关联的相应的输入处理元件。例如，rf部分可与适合于以下各项的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)将所选择的信号下变频，(iii)再次频带限制到更窄频带以选择(例如)在某些示例中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种示例的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒示例中，rf部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波到期望频带来执行频率选择。各种示例重新布置上述(和其他)元素的顺序，移除这些元素中的一些元素，和/或添加执行类似或不同功能的其他元素。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种示例中，rf部分包括天线。
37.此外，usb和/或hdmi端子可包括用于跨usb和/或hdmi连接将系统300连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如reed-solomon纠错)的各个方面可根据需要例如在单独的输入处理ic内或在处理器310内实现。类似地，usb或hdmi接口处理的方面可根据需要在单独的接口ic内或在处理器310内实现。将解调流、纠错流和解复用流提供给各种处理元件，包括例如处理器310以及编码器/解码器350，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上。
38.系统300的各种元件可设置在集成壳体内。在集成壳体内，各种元件可使用合适的连接布置370(例如，本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并且在这些元件之间发射数据。
39.系统300包括能够经由通信信道382与其他设备通信的通信接口380。通信接口380可包括但不限于被配置为通过通信信道382发射和接收数据的收发器。通信接口380可包括但不限于调制解调器或网卡，并且通信信道382可例如在有线和/或无线介质内实现。
40.在各种示例中，使用无线网络(诸如wi-fi网络)，例如，ieee 802.11(ieee是指电气和电子工程师协会)，将数据流式传输或以其他方式提供给系统300。这些示例的wi-fi信号通过适于wi-fi通信的通信信道382和通信接口350来接收。这些示例的通信信道382通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的接入，以允许流式应用和其他跨顶通信。其他示例使用机顶盒向系统300提供流式数据，该机顶盒通过输入框360的hdmi连接来递送数据。再一些示例使用输入框360的rf连接来向系统300提供流式数据。如上所述，各种示例以非流式方式提供数据。另外，各种示例使用wi-fi之外的无线网络，例如蜂窝网络或蓝牙网络。
41.系统300可将输出信号提供到各种输出设备，包括显示器392、扬声器394和其他外围设备396。各种示例的显示器392包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器392可用于电视机、平板电脑、笔记本电脑、手机(移动电话)或其他设备。显示器392还可与其他部件集成在一起(例如，如在智能手机中)，或者是单独的(例如，笔记本电脑的外部监视器)。在示例的各种示例中，其他外
围设备396包括独立数字视频光盘(或数字通用光盘)(dvr，对于这两个术语)、盘播放器、立体声系统和/或照明系统中的一者或多者。各种示例使用一个或多个外围设备396，该一个或多个外围设备提供基于系统300的输出的功能。例如，盘播放器执行播放系统300的输出的功能。
42.在各种示例中，使用诸如av.link、消费电子控制(cec)或其他能够在有或无用户干预的情况下进行设备到设备控制的通信协议等信令在系统300与显示器392、扬声器394或其他外围设备396之间传送控制信号。输出设备可通过相应接口330、332和334经由专用连接通信地耦合到系统300。另选地，输出设备可使用通信信道382经由通信接口380连接到系统300。显示器392和扬声器394可与电子设备(诸如电视机)中的系统300的其他部件集成在单个单元中。在各种示例中，显示接口330包括显示驱动器，诸如时序控制器(t con)芯片。
43.另选地，例如，如果输入370的rf部分是单独的机顶盒的一部分，则显示器392和扬声器394可与其他部件中的一个或多个部件分开。在显示器392和扬声器394为外部部件的各种示例中，可经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)提供输出信号。
44.这些示例可通过由处理器310或由硬件或由硬件和软件的组合实现的计算机软件执行。作为非限制性示例，这些示例可由一个或多个集成电路实现。作为非限制性示例，存储器320可以是适合于技术环境的任意类型，并且可使用任何适当的数据存储技术来实现，诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器310可以是适合于技术环境的任意类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
45.各种具体实施参与解码。如本技术中所用，“解码”可涵盖例如对所接收的编码序列执行的过程的全部或部分，以便产生适于显示的最终输出。在各种示例中，此类过程包括通常由解码器执行的过程中的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种示例中，此类过程还包括或另选地包括由本技术描述的各种具体实施的解码器执行的过程，例如接收多变换选择(mts)索引等。
46.作为另外的示例，在一个示例中，“解码”仅指熵解码，在另一示例中，“解码”仅指差分解码，并且在另一示例中，“解码”指熵解码和差分解码的组合。短语“解码过程”是具体地指代操作的子集还是广义地指代更广泛的解码过程基于具体描述的上下文将是清楚的，并且据信将被本领域的技术人员很好地理解。
47.各种具体实施参与编码。以与上面关于“解码”的讨论类似的方式，如在本技术中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码比特流的全部或部分过程。在各种示例中，此类过程包括通常由编码器执行的过程中的一个或多个过程，例如分区、差分编码、变换、量化和熵编码。在各种示例中，此类过程还包括或另选地包括由本技术中描述的各种具体实施的编码器执行的过程，例如，确定mts和/或变换跳过是否将对编码单元禁用。
48.作为另外的示例，在一个示例中，“解码”仅指熵解码，在另一示例中，“解码”仅指差分解码，并且在另一示例中，“解码”指差分解码和熵解码的组合。短语“编码过程”是具体地指代操作的子集还是广义地指代更广泛的编码过程基于具体描述的上下文将是清楚的，
并且据信将被本领域的技术人员很好地理解。
49.注意，本文所用的语法元素，例如，inter_affine_flag,ciip_flag,mergetriangleflag,wedge_merge_mode等，为描述性术语。因此，它们不排除使用其他语法元素名称。
50.当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
51.各种示例涉及率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过针对可能的编码选项中的仅一些编码选项使用近似失真，而针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
52.本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。装置可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“pda”)以及便于最终用户之间信息通信的其他设备。
53.对“一个示例”或“示例”或“一个具体实施”或“具体实施”以及它们的其他变型的引用意指结合该示例描述的特定特征、结构、特性等包括在至少一个示例中。因此，在整个本技术的各个地方出现的短语“在一个示例中”或“在示例中”或“在一个具体实施中”或“在具体实施中”以及任何其他变型不一定都指同一示例。
54.另外，本技术可涉及“确定”各种信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
55.此外，本技术可涉及“访问”各种信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
56.另外，本技术可涉及“接收”各种信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
57.此外，本技术可涉及“获取”信息的各种片段。与“访问”或“接收”一样，获取旨在为广义的术语。获得信息可包括例如接收信息、导出信息(例如，通过计算和/或提取)、取得信息、获取信息、捕获信息、访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信
息、预测信息或估计信息的操作期间，“获得”通常以一种方式或另一种方式参与。
58.应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。如对于本领域和相关领域的普通技术人员显而易见的是，这可扩展到所列出的尽可能多的项目。
59.而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些示例中，编码器发信号通知是否将特定预测技术应用于编码单元。这样，在一个示例中，在编码器侧和解码器侧均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免传输任何实际函数，在各种示例中实现了比特节省。应当理解，信令可以各种方式实现。例如，在各种示例中，使用一个或多个语法元素、标志等向对应的解码器发信号通知信息。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
60.对于本领域的普通技术人员将显而易见的是，具体实施可产生格式化为携带例如可存储或可发射的信息的各种信号。信息可包括例如用于执行方法的指令或由该具体实施中的一个具体实施产生的数据。例如，可格式化信号，以携带所述示例的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
61.如本文所描述的视频编码器等视频处理系统或装置可以被配置成使用一个或多个帧间预测技术或工具预测编码块(例如，编码单元)。这些帧间预测技术可以包括例如仿射运动补偿、组合的帧间和帧内编码(ciip)、三角形分区模式(tpm)和/或几何合并模式(geo)。视频编码装置可以使用这些预测技术来实现各种编码增益。例如，利用仿射运动补偿，视频编码装置可以实现超出平移运动的运动补偿。在仿射运动补偿的示例具体实施中，视频编码装置可以例如基于基于4
×
4的子块的仿射运动场将运动矢量分配给大小为4
×
4的子块(例如，分配到大小为4
×
4的每一子块)。视频编码装置可以基于一个或多个(例如，两个或三个)控制点运动矢量(cpmv)来计算运动场。图1示出了具有两个控制点a和b(例如，分别位于左上角和右上角)的仿射运动补偿的示例。如图所示，视频编码装置可以将16
×
16编码块划分为4
×
4子块，并且使用与子块相关联的相应运动向量将运动补偿应用于子块中的一个或多个子块(例如，应用到每个4
×
4子块)。可以例如基于图中所示的控制点a和b来确定(例如，导出、计算等)这些运动向量。视频编码装置可以基于光流(例如，利用具有光流(prof)技术的一个或多个预测细化)来细化仿射运动补偿的结果。
62.视频编码装置可以指示例如，通过在视频比特流中包括帧间仿射指示(例如，如inter_affine_flag)是否将仿射运动补偿应用于编码块(例如，编码单元或cu)。视频编码
装置可以指示用于编码块(例如，cu)的多个cpmv(例如，两个或三个cpmv)，例如，通过在视频比特流中包含仿射类型指示(例如，诸如cu_affine_type_flag)。用于编码块的两个cpmv的使用(例如，如果使用两个cpmv来计算基于子块的运动场)可以对应于用于编码块的4参数仿射运动场(例如，可以为编码块计算4参数仿射运动字段)。用于编码块的三个cpmv的使用(例如，如果使用三个cpmv来计算基于子块的运动场)可以对应于编码块的6参数仿射运动场(例如，可以为编码块计算6参数仿射运动字段)。与仿射运动补偿相关联的示例语法可以如下：
63.表1与仿射运动补偿相关联的实例编码语法
64.[0065][0066]
视频编码装置可以为编码块(例如，cu)执行组合的帧间预测和帧内预测(ciip)。在示例中，可以为在合并模式中编码编码块启用ciip，该编码块可以包括至少64个亮度样本。此类编码块的宽度和/或高度可以小于128个亮度样本。视频编码装置可以例如使用可以在合并模式中应用的相同的帧间预测技术来确定ciip模式中的帧间预测信号(例如，p
inter
)。视频编码装置可以例如在使用平面模式执行帧间预测之后，确定帧内预测信号(例如，p
intra
)。从帧间预测和帧内预测确定的预测信号可以例如通过加权平均组合，其中所应用权重的值可以取决于当前编码块(例如，当前cu)的一个或多个相邻块的编码模式，例如当前编码块的顶部和左相邻块。
[0067]
例如，通过在视频比特流中包括ciip指示(例如，诸如ciip_flag)(例如，具有值1
的指示可以指示应用了ciip)，视频编码装置可以指示ciip是否应用于编码块(例如，cu)。如果满足了用于编码块的以下条件中的一个或多个(例如，所有以下条件)，则可以提供ciip指示(例如，在视频比特流中发信号通知)。例如，如果用于编码块的预测模式是帧间预测，则可以发信号通知和/或接收ciip指示。如果用于编码块的帧间预测模式包括合并模式，则可以发信号通知和/或接收ciip指示。如果帧内块复制不应用于编码块，则可以发信号通知和/或接收ciip指示。如果子块的合并不应用于编码块，则可以发信号通知和/或接收ciip指示。如果与运动向量差(mmvd)的合并不应用于编码块，则可以发信号通知和/或接收ciip指示。如果合并标记等于零，则可以发信号通知和/或接收ciip指示。如果与编码块相关联的编码块宽度(例如，cbwidth)小于阈值(例如，128)，则可以发信号通知和/或接收ciip指示。如果与编码块相关联的编码块高度(例如，cbheight)小于128，则可以发信号通知和/或接收ciip指示。如果与编码块相关联的编码块宽度乘以与编码块相关联的编码阻断高度(例如，cbwidth*cbheight)大于或等于阈值(例如，64)，则可以发信号通知和/或接收ciip指示。如果三角形分区模式不应用于编码块，则可以发信号通知和/或接收ciip指示。
[0068]
如本文所述，mmvd可以是一种模式，其中视频编码装置可以发信号通知具有特定值的差分运动，并且合并模式可以是一种模式，其中视频编码装置可能不发信号通知运动矢量。mmvd可能导致更高的运动精度。如果未激活三角形分区模式，则可以推断ciip指示具有一个值，该值指示如果满足本文所述的条件中的一个或多个条件(例如，上述所有条件)则使用ciip。
[0069]
下表2说明例如在cu级别或编码块级别的信令ciip的示例语法。
[0070]
表2与ciip相关联的示例语法
[0071][0072][0073]
视频编码装置可以被配置成使用三角形分区模式(tpm)来编码编码块(例如，cu)。例如，视频编码装置可以将tpm用于特定大小(例如，8
×
8或更大)的编码块(例如，帧间预测的编码块)。当使用tpm时，视频编码装置可以将编码块(例如，均匀地)分成一个或多个(例如，两个)三角形分区。视频编码装置可以指示是否例如通过在视频比特流中包括三角形分割分区方向指示来执行对角线或抗对角线分割。图5示出了基于三角形分区的帧间预测的
示例。左侧的图示出了编码块的对角线分割，右侧的图示出了编码块的抗对角线分割。由对角或抗对角分割产生的分区中的每一个分区可以与运动矢量(例如，与一个运动矢量)和/或参考图片索引相关联。
[0074]
下表3示出了与tpm相关联的示例编码语法。
[0075]
表3与tpm相关联的示例语法
[0076][0077]
[0078]
视频编码装置可以被配置成使用几何合并模式(geo)来编码编码块(例如，cu)。geo可以与帧间预测相关联(例如，geo可以是帧间预测技术或工具)。geo可以是tpm的延伸，其中分割可以从处于对角线或抗对角线延伸到处于来自相对于编码块的中间的分区边界的一个或多个角度和/或一个或多个位移。
[0079]
下表4示出与geo相关联的示例编码语法，其也可以由其他名称，例如楔形合并模式，来指称。geo的启用/禁用可以由例如wedge_merge_mode,mergegpmflag等标记指示。
[0080]
表4与geo相关联的示例语法
[0081]
[0082][0083]
视频编码装置可以被配置成例如通过在视频比特流中包括分区索引，例如wedge_partition_idx，来发信号通知在编码块或cu级别处使用geo。这种索引的值可以在例如0至82的范围内。可以基于索引确定分割的角度和/或方向。
[0084]
如本文所描述的视频编码器之类的视频编码装置可以被配置成启用与用于第一组编码技术或工具(例如，帧内预测技术或工具)的变换编码相关联的一个或多个操作，并且禁用与用于第二组编码技术或编码模式(例如，帧间预测技术或工具)的变换编码相关联的一个或多个操作。这些禁用(或待禁用)变换编码相关操作可以包括例如多变换选择(mts)、变换跳过(trskip)等。mts可以包括测试不同的变换类型(例如，为编码块或cu)，并且选择提供最佳速率失真性能的那个(例如，水平变换、垂直变换等)。trskip可以包括跳过编码器和解码器中的一个或多个变换相关操作。例如，如果应用trskip，则在编码器处可能
不将像素域数据转换到变换域中，并且可以不将变换域数据变换回到解码器处的像素域。
[0085]
在示例中，例如本文描述的视频编码器之类的视频编码装置可以被配置成为帧内预测的编码块(例如，帧内预测的cu)应用mts，因为例如来自帧内预测的残差可以具有空间平滑分布，并且mts可以为此类帧内预测的编码块提供有意义的编码增益(例如，1％)。在示例中，如果视频编码装置决定编码块是使用一个或多个帧间预测技术编码(例如，预测)的，该一个或多个帧间预测技术在预定的帧间预测技术集中因而mts将被禁用，则例如本文描述的视频编码器之类的视频编码装置可以被配置成为编码块(例如，cu)禁用mts。此类预定帧间技术集可以包括例如仿射运动补偿、ciip、tpm和/或geo。在这些情况下，禁用mts的示例原因可以是，使用不连续帧间预测技术(如仿射运动补偿、tpm等)预测的残差可能不具有空间平滑分布，并且mts可能不为此类帧间预测的编码块提供显著编码增益(例如，增益可能仅为大约0.2％)。视频编码装置可以被配置成为仿射运动补偿、ciip、tpm、geo和/或其组合禁用mts。当mts被禁用时，视频编码装置可以跳过对一个或多个候选变换类型执行速率失真(rd)搜索，而且对编码增益的影响最小。
[0086]
在示例中，如果仿射运动补偿、ciip、tpm或geo中的一者或多者用于编码编码块(例如，cu)，则如本文所述的视频编码器之类的视频编码装置可以不编码(例如，发信号通知)视频比特流中的mts索引。视频编码装置可以使用可分离变换对，诸如用于编码块的(dct2、dct2)，其中dct2可以指2d分散余弦变换。
[0087]
例如本文所描述的视频解码器之类的视频编码装置可以确定为当前编码块(例如，当前cu)是否尝试处理(例如，接收和/或解码)mts索引(例如，来自视频比特流)，该确定至少部分地基于编码块是否是利用一个或多个帧间预测技术编码的(例如，预测的)，该一个或多个帧间预测技术在预定的帧间预测技术集中因而mts将被禁用。此类预定帧间技术集可以包括例如仿射运动补偿、ciip、tpm和/或geo。如果视频编码装置确定仿射运动补偿、ciip、tpm或geo中的一者或多者用于编码当前编码块，则视频编码装置可以跳过处理(例如，跳过尝试接收或提取)mts索引(例如，来自视频比特流)，并且可以利用被禁用的mts对编码块进行解码。
[0088]
下表5示出与用于仿射运动补偿、ciip、tpm和/或其组合的禁用mts相关联的示例语法。
[0089]
表5与禁用mts相关联的示例语法
[0090][0091]
下表6示出与为仿射运动补偿、ciip、geo和/或其组合禁用mts相关联的示例语法。各种预测技术或模式也可以由其他名称指代和/或经由一个或多个标记被启用/禁用。例如，geo也可以称为楔形合并模式，并且可以由例如wedge_merge_mode,mergegpmflag等标记启用/禁用。
[0092]
表6与禁用mts相关联的示例语法
[0093][0094]
在示例中，例如本文所描述的视频编码器之类的视频编码装置可以被配置成为仿射运动补偿、ciip、tpm或geo的子集禁用mts(例如，而不是为所有这些模式禁用mts)。可以使用标记来指示为仿射运动补偿、ciip、tpm或geo的一者或组合禁用mts。例如，可以使用一个标记(例如，而不是多个标记)指示仅为geo、仅为ciip、仅为tpm、仅为ciip和geo、仅为ciip和tpm、仅为tpm和geo等禁用mts。
[0095]
如果编码块是使用一个或多个帧间预测技术预测的，该一个或多个帧间预测技术
在预定的帧间预测技术集中因而trskip将被禁用，则例如本文描述的视频编码器之类的视频编码装置可以被配置成为编码块(例如，cu)禁用变换跳过(trskip)。此类预定帧间技术集可以包括例如仿射运动补偿、ciip、tpm和/或geo。视频编码装置可以被配置成为仿射运动补偿、ciip、tpm、geo和/或其组合禁用trskip。在这些情况下，禁用trskip的示例原因可以是，鉴于所涉及的编码时间，与前述帧间预测工具组合使用trskip可能不会提供足够的编码增益。
[0096]
如果仿射运动补偿、ciip、tpm和/或geo中的一者或多者用于编码编码块(例如，cu)，则如本文所描述的视频编码器之类的视频编码装置可以不编码(例如，发信号通知)视频比特流中的trskip指示。在接收侧，如本文所描述的视频解码器之类的视频编码装置可以确定是否为当前编码块来处理(例如，接收和/或解码)trskip指示，该确定至少部分地基于是否将仿射运动补偿、ciip、tpm和/或geo中的一者或多者用于编码该当前编码块。如果仿射运动补偿、ciip、tpm和/或geo中的一者或多者用于编码当前编码块，则视频编码装置可以跳过接收(例如，提取)trskip指示(例如，从视频比特流)，并且可以利用禁用的trskip对编码块进行解码。
[0097]
下表7示出与为仿射运动补偿、ciip、tpm和/或组合禁用trskip相关联的示例语法。
[0098]
表7与禁用trskip相关联的示例语法
[0099][0100]
下表8示出与为仿射运动补偿、ciip、geo和/或其组合禁用变换跳过相关联的示例语法。各种预测技术或模式也可以由其他名称指代和/或经由一个或多个标记被启用/禁用。例如，geo也可以称为楔形合并模式，并且可以由例如wedge_merge_mode,mergegpmflag等标记启用/禁用。
[0101]
表8与禁用trskip相关联的示例语法
[0102][0103]
在示例中，例如本文描述的视频编码器之类的视频编码装置可以被配置成为仿射运动补偿、ciip、tpm和/或geo的子集禁用trskip(例如，而不是所有这些模式禁用trskip)。可以使用标记来指示为仿射运动补偿、ciip、tpm或geo的一者或组合禁用trskip。例如，可以使用一个标记(例如，而不是多个标记)指示仅为geo、仅为ciip、仅为tpm、为ciip和geo、为ciip和tpm、为tpm和geo等禁用trskip。
[0104]
图6a是示出在其中一个或多个所公开的示例可得以实现的示例性通信系统1200的示意图。通信系统1200可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统1200可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统1200可采用一个或多个信道接入方法，诸如码分多址接入(cdma)、时分多址接入(tdma)、频分多址接入(fdma)、正交fdma(ofdma)、单载波fdma(sc-fdma)、零尾唯一字dft扩展ofdm(zt uw dts-s ofdm)、唯一字ofdm(uw-ofdm)、资源块滤波ofdm、滤波器组多载波(fbmc)等。
[0105]
如图6a所示，通信系统1200可包括无线发射/接收单元(wtru)1202a、1202b、1202c、1202d、ran 1204/1213、cn 1206/1215、公共交换电话网(pstn)1208、互联网1210和其他网络1212，但应当理解，所公开的示例设想了任何数量的wtru、基站、网络和/或网络元件。wtru 1202a、1202b、1202c、1202d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，wtru 1202a、1202b、1202c、1202d(其中任何一个均可被称为“站”和/或“sta”)可被配置为发射和/或接收无线信号，并且可包括用户设备(ue)、移动站、固定或移动用户单元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或mi-fi设备、物联网(iot)设备、手表或其他可穿戴设备、头戴式显示器(hmd)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。wtru 1202a、1202b、1202c和1202d中的任一者可互换地称为ue。
[0106]
通信系统1200还可包括基站1214a和/或基站1214b。基站1214a、1214b中的每一者可为任何类型的设备，其被配置为与wtru 1202a、1202b、1202c、1202d中的至少一者无线对接，以促进对一个或多个通信网络(诸如cn 1206/1215、互联网1210和/或其他网络1212)的访问。作为示例，基站1214a、1214b可为基站收发台(bts)、节点b、演进节点b、家庭节点b、家庭演进节点b、gnb、nr节点b、站点控制器、接入点(ap)、无线路由器等。虽然基站1214a、1214b各自被描绘为单个元件，但应当理解，基站1214a、1214b可包括任何数量的互连基站和/或网络元件。
[0107]
基站1214a可以是ran 1204/1213的一部分，该ran还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等。基站1214a和/或基站1214b可被配置为在一个或多个载波频率(其可被称为小区(未示出))上发射和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站1214a相关联的小区可被划分为三个扇区。因此，在一个示例中，基站1214a可包括三个收发器，即，小区的每个扇区一个收发器。在一个示例中，基站1214a可采用多输入多输出(mimo)技术并且可为小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上发射和/或接收信号。
[0108]
基站1214a、1214b可通过空中接口1216与wtru 1202a、1202b、1202c、1202d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(rf)、微波、厘米波、微米波、红外(ir)、紫外(uv)、可见光等)。可使用任何合适的无线电接入技术(rat)来建立空中接口1216。
[0109]
更具体地讲，如上所指出，通信系统1200可为多址接入系统，并且可采用一个或多个信道接入方案，诸如cdma、tdma、fdma、ofdma、sc-fdma等。例如，ran 1204/1213中的基站1214a和wtru 1202a、1202b、1202c可实现诸如通用移动电信系统(umts)陆地无线电接入(utra)之类的无线电技术，其可使用宽带cdma(wcdma)来建立空中接口1215/1216/1217。wcdma可包括诸如高速分组接入(hspa)和/或演进的hspa(hspa+)之类的通信协议。hspa可包括高速下行链路(dl)分组接入(hsdpa)和/或高速ul分组接入(hsupa)。
[0110]
在示例中，基站1214a和wtru 1202a、1202b、1202c可实现诸如演进的umts陆地无线电接入(e-utra)之类的无线电技术，其可使用长期演进(lte)和/高级lte(lte-a)和/或高级lte pro(lte-a pro)来建立空中接口1216。
[0111]
在示例中，基站1214a和wtru 1202a、1202b、1202c可实现诸如nr无线电接入之类的无线电技术，其可使用新无线电(nr)来建立空中接口1216。
[0112]
在示例中，基站1214a和wtru 1202a、1202b、1202c可实现多种无线电接入技术。例如，基站1214a和wtru 1202a、1202b、1202c可例如使用双连接(dc)原理一起实现lte无线电接入和nr无线电接入。因此，wtru 1202a、1202b、1202c所使用的空中接口可由多种类型的无线电接入技术和/或向/从多种类型的基站(例如，enb和gnb)发送的传输来表征。
[0113]
在其他示例中，基站1214a和wtru 1202a、1202b、1202c可实现诸如ieee 802.11(即，无线保真(wifi))、ieee 802.16(即，全球微波接入互操作性(wimax))、cdma2000、cdma2000 1x、cdma2000 ev-do、暂行标准2000(is-2000)、暂行标准95(is-95)、暂行标准856(is-856)、全球移动通信系统(gsm)、gsm增强数据率演进(edge)、gsm edge(geran)等无
线电技术。
[0114]
图6a中的基站1214b可为例如无线路由器、家庭节点b、家庭演进节点b或接入点，并且可利用任何合适的rat来促进诸如商业场所、家庭、载具、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在一个示例中，基站1214b和wtru 1202c、1202d可实现诸如ieee 802.11之类的无线电技术以建立无线局域网(wlan)。在示例中，基站1214b和wtru 1202c、1202d可实现诸如ieee 802.15之类的无线电技术以建立无线个域网(wpan)。在又一个示例中，基站1214b和wtru 1202c、1202d可利用基于蜂窝的rat(例如，wcdma、cdma2000、gsm、lte、lte-a、lte-a pro、nr等)来建立微微蜂窝基站或毫微微蜂窝基站。如图6a所示，基站1214b可具有与互联网1210的直接连接。因此，基站1214b可不需要经由cn 1206/1215访问互联网1210。
[0115]
ran 1204/1213可与cn 1206/1215通信，该cn可以是被配置为向wtru 1202a、1202b、1202c、1202d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(voip)服务的任何类型的网络。数据可具有不同的服务质量(qos)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。cn 1206/1215可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图6a中示出，但是应当理解，ran 1204/1213和/或cn 1206/1215可与采用与ran 1204/1213相同的rat或不同rat的其他ran进行直接或间接通信。例如，除了连接到可利用nr无线电技术的ran 1204/1213之外，cn 1206/1215还可与采用gsm、umts、cdma 2000、wimax、e-utra或wifi无线电技术的另一ran(未示出)通信。
[0116]
cn 1206/1215也可充当wtru 1202a、1202b、1202c、1202d的网关，以访问pstn 1208、互联网1210和/或其他网络1212。pstn 1208可包括提供普通老式电话服务(pots)的电路交换电话网络。互联网1210可包括使用常见通信协议(诸如传输控制协议(tcp)、用户数据报协议(udp)和/或tcp/ip互联网协议组中的互联网协议(ip))的互连计算机网络和设备的全球系统。网络1212可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络1212可包括连接到一个或多个ran的另一个cn，其可采用与ran 1204/1213相同的rat或不同的rat。
[0117]
通信系统100中的一些或所有wtru 1202a、1202b、1202c、1202d可包括多模式能力(例如，wtru 1202a、1202b、1202c、1202d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图6a所示的wtru 1202c可被配置为与可采用基于蜂窝的无线电技术的基站1214a通信，并且与可采用ieee 802无线电技术的基站1214b通信。
[0118]
图6b是示出示例性wtru 1202的系统示意图。如图6b所示，wtru 1202可包括处理器1218、收发器1220、发射/接收元件1222、扬声器/麦克风1224、小键盘1226、显示器/触摸板1228、不可移动存储器1230、可移动存储器1232、电源1234、全球定位系统(gps)芯片组1236和/或其他外围设备1238等。应当理解，在与示例保持一致的同时，wtru 1202可包括前述元件的任何子组合。
[0119]
处理器1218可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等。处理器
1218可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使wtru 1202能够在无线环境中工作。处理器1218可耦合到收发器1220，该收发器可耦合到发射/接收元件1222。虽然图6b将处理器1218和收发器1220描绘为单独的部件，但是应当理解，处理器1218和收发器1220可在电子封装或芯片中集成在一起。
[0120]
发射/接收元件1222可被配置为通过空中接口1216向基站(例如，基站1214a)发射信号或从基站接收信号。例如，在一个示例中，发射/接收元件1222可以是被配置为发射和/或接收rf信号的天线。在示例中，发射/接收元件1222可以是被配置为发射和/或接收例如ir、uv或可见光信号的发射体/检测器。在又一个示例中，发射/接收元件1222可被配置为发射和/或接收rf和光信号两者。应当理解，发射/接收元件1222可被配置为发射和/或接收无线信号的任何组合。
[0121]
尽管发射/接收元件1222在图9b中被描绘为单个元件，但是wtru 1202可包括任何数量的发射/接收元件1222。更具体地讲，wtru 1202可采用mimo技术。因此，在一个示例中，wtru 1202可包括用于通过空中接口1216发射和接收无线信号的两个或更多个发射/接收元件1222(例如，多个天线)。
[0122]
收发器1220可被配置为调制将由发射/接收元件1222发射的信号并且解调由发射/接收元件1222接收的信号。如上所指出，wtru 1202可具有多模式能力。因此，收发器1220可包括多个收发器，以便使wtru 1202能够经由多种rat(诸如nr和ieee 802.11)进行通信。
[0123]
wtru 1202的处理器1218可耦合到扬声器/麦克风1224、小键盘1226和/或显示器/触摸板1228(例如，液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)并且可从其接收用户输入数据。处理器1218还可将用户数据输出到扬声器/麦克风1224、小键盘1226和/或显示器/触摸板1228。此外，处理器1218可从任何类型的合适存储器(诸如不可移动存储器1230和/或可移动存储器1232)访问信息，并且将数据存储在该任何类型的合适存储器中。不可移动存储器1230可包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器存储设备。可移动存储器1232可包括用户身份模块(sim)卡、记忆棒、安全数字(sd)存储卡等。在其他示例中，处理器1218可从未物理上定位在wtru 1202上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
[0124]
处理器1218可从电源1234接收电力，并且可被配置为向wtru 1202中的其他部件分配和/或控制电力。电源1234可以是用于为wtru 1202供电的任何合适的设备。例如，电源1234可包括一个或多个干电池组(例如，镍镉(nicd)、镍锌(nizn)、镍金属氢化物(nimh)、锂离子(li-ion)等)、太阳能电池、燃料电池等。
[0125]
处理器1218还可耦合到gps芯片组1236，该gps芯片组可被配置成提供关于wtru 1202的当前位置的位置信息(例如，经度和纬度)。除了来自gps芯片组1236的信息之外或代替该信息，wtru 1202可通过空中接口1216从基站(例如，基站1214a、1214b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的时间来确定其位置。应当理解，在与示例保持一致的同时，该wtru 1202可通过任何合适的位置确定方法来获取位置信息。
[0126]
处理器1218还可耦合到其他外围设备1238，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备1238可包括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线
(usb)端口、振动设备、电视收发器、免提耳麦、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(vr/ar)设备、活动跟踪器等。外围设备1238可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、取向传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
[0127]
wtru 1202可包括全双工无线电，对于该全双工无线电，一些或所有信号(例如，与用于ul(例如，用于传输)和下行链路(例如，用于接收)两者的特定子帧相关联)的传输和接收可为并发的和/或同时的。全双工无线电可包括干扰管理单元，以经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器1218)进行的信号处理来减少和/或基本上消除自干扰。在一个示例中，wtru 1202可包括半双工无线电，对于该半双工无线电，一些或所有信号的传输和接收(例如，与用于ul(例如，用于传输)或下行链路(例如，用于接收)的特定子帧相关联)。
[0128]
图6c是示出根据示例的ran 1204和cn 1206的系统示意图。如上文所指出，ran 1204可采用e-utra无线电技术以经由空中接口1216与wtru 1202a、1202b、1202c通信。ran 1204还可与cn 1206通信。
[0129]
ran 1204可包括演进节点b 1260a、1260b、1260c，但是应当理解，ran 1204可包括任何数量的演进节点b，同时保持与示例一致。演进节点b 1260a、1260b、1260c各自可包括一个或多个收发器以便通过空中接口1216与wtru 1202a、1202b、1202c通信。在一个示例中，演进节点b 1260a、1260b、1260c可实现mimo技术。因此，演进节点b 1260a例如可使用多个天线来向wtru 1202a发射无线信号和/或从wtru 1202a接收无线信号。
[0130]
演进节点b 1260a、1260b、1260c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、ul和/或dl中的用户的调度等。如图6c所示，演进节点b 1260a、1260b、1260c可通过x2接口彼此通信。
[0131]
图6c所示的cn 1206可包括移动性管理实体(mme)1262、服务网关(sgw)1264和分组数据网络(pdn)网关(或pgw)1266。虽然前述元件中的每一者被描绘为cn 1206的一部分，但是应当理解，这些元件中的任一者可由除cn运营商之外的实体拥有和/或操作。
[0132]
mme 1262可经由s1接口连接到ran 1204中的演进节点b 1260a、1260b、1260c中的每一者，并且可用作控制节点。例如，mme 1262可负责认证wtru 1202a、1202b、1202c的用户、承载激活/去激活、在wtru 1202a、1202b、1202c的初始附加期间选择特定服务网关等。mme 1262可提供用于在ran 1204和采用其他无线电技术(诸如gsm和/或wcdma)的其他ran(未示出)之间进行切换的控制平面功能。
[0133]
sgw 1264可经由s1接口连接到ran 1204中的演进节点b 1260a、1260b、1260c中的每一者。sgw 1264通常可向/从wtru 1202a、1202b、1202c路由和转发用户数据分组。sgw 1264可执行其他功能，诸如在演进节点b间切换期间锚定用户平面、当dl数据可用于wtru 1202a、1202b、1202c时触发寻呼、管理和存储wtru 1202a、1202b、1202c的上下文等。
[0134]
sgw 1264可连接到pgw 1266，该pgw可向wtru 1202a、1202b、1202c提供对分组交换网络(诸如互联网1210)的访问，以促进wtru 1202a、1202b、1202c和启用ip的设备之间的通信。
[0135]
cn 1206可有利于与其他网络的通信。例如，cn 1206可为wtru 1202a、1202b、1202c提供对电路交换网络(诸如，pstn 1208)的访问，以有利于wtru 1202a、1202b、1202c与传统陆线通信设备之间的通信。例如，cn 1206可包括用作cn 1206与pstn 1208之间的接口的ip网关(例如，ip多媒体子系统(ims)服务器)或者可与该ip网关通信。另外，cn 1206可向wtru 1202a、1202b、1202c提供对其他网络1212的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。
[0136]
尽管wtru在图6a至图6d中被描述为无线终端，但是可以设想到，在某些代表性示例中，这种终端可使用(例如，临时或永久地)与通信网络的有线通信接口。
[0137]
在代表性示例中，其他网络1212可为wlan。
[0138]
处于基础结构基本服务集(bss)模式的wlan可具有用于bss的接入点(ap)以及与ap相关联的一个或多个站点(sta)。ap可具有至分配系统(ds)或将流量携带至和/或携带流量离开bss的另一种类型的有线/无线网络的接入或接口。源自bss外部并通向sta的流量可通过ap到达并且可被传递到sta。源自sta并通向bss外部的目的地的流量可被发送到ap以被传递到相应目的地。bss内的sta之间的流量可通过ap发送，例如，其中源sta可向ap发送流量，并且ap可将流量传递到目的地sta。bss内的sta之间的流量可被视为和/或称为点对点流量。可利用直接链路建立(dls)在源和目的地sta之间(例如，直接在它们之间)发送点对点流量。在某些代表示例中，dls可使用802.11e dls或802.11z隧道dls(tdls)。使用独立bss(ibss)模式的wlan可不具有ap，并且ibss内或使用ibss的sta(例如，所有sta)可彼此直接通信。ibss通信模式在本文中有时可称为“ad-hoc”通信模式。
[0139]
当使用802.11ac基础结构操作模式或相似操作模式时，ap可在固定信道(诸如主信道)上发射信标。主信道可为固定宽度(例如，20mhz宽带宽)或经由信令动态设置的宽度。主信道可为bss的操作信道，并且可由sta用来建立与ap的连接。在某些代表性示例中，可例如在802.11系统中实现载波侦听多路访问/冲突避免(csma/ca)。对于csma/ca，sta(例如，每个sta)(包括ap)可感测主信道。如果主信道被特定sta侦听/检测和/或确定为繁忙，则特定sta可退避。一个sta(例如，仅一个站)可在给定bss中在任何给定时间发射。
[0140]
高吞吐量(ht)sta可使用40mhz宽的信道进行通信，例如，经由主20mhz信道与相邻或不相邻的20mhz信道的组合，以形成40mhz宽的信道。
[0141]
极高吞吐量(vht)sta可支持20mhz、40mhz、80mhz和/或160mhz宽的信道。40mhz和/或80mhz信道可通过组合连续的20mhz信道来形成。可通过组合8个连续的20mhz信道，或通过组合两个非连续的80mhz信道(这可被称为80+80配置)来形成160mhz信道。对于80+80配置，在信道编码之后，数据可通过可将数据分成两个流的段解析器。可单独地对每个流进行快速傅里叶逆变换(ifft)处理和时间域处理。可将这些流映射到两个80mhz信道，并且可通过发射sta来发射数据。在接收sta的接收器处，可颠倒上述用于80+80配置的操作，并且可将组合的数据发送到介质访问控制(mac)。
[0142]
802.11af和802.11ah支持低于1ghz的操作模式。相对于802.11n和802.11ac中使用的那些，802.11af和802.11ah中减少了信道操作带宽和载波。802.11af支持电视白空间(tvws)频谱中的5mhz、10mhz和20mhz带宽，并且802.11ah支持使用非tvws频谱的1mhz、2mhz、4mhz、8mhz和16mhz带宽。根据代表性示例，802.11ah可支持仪表类型控制/机器类型通信，诸如宏覆盖区域中的mtc设备。mtc设备可具有某些能力，例如，有限的能力，包括支持
(例如，仅支持)某些带宽和/或有限的带宽。mtc设备可包括电池寿命高于阈值(例如，以保持非常长的电池寿命)的电池。
[0143]
可支持多个信道的wlan系统以及诸如802.11n、802.11ac、802.11af和802.11ah之类的信道带宽包括可被指定为主信道的信道。主信道可具有等于由bss中的所有sta支持的最大公共操作带宽的带宽。主信道的带宽可由来自在bss中操作的所有sta的sta(其支持最小带宽操作模式)设置和/或限制。在802.11ah的示例中，对于支持(例如，仅支持)1mhz模式的sta(例如，mtc型设备)，主信道可为1mhz宽，即使ap和bss中的其他sta支持2mhz、4mhz、8mhz、16mhz和/或其他信道带宽操作模式。载波侦听和/或网络分配向量(nav)设置可取决于主信道的状态。如果主信道繁忙，例如，由于sta(仅支持1mhz操作模式)正在向ap发射，即使大多数频段保持空闲并且可能可用，整个可用频段也可被视为繁忙。
[0144]
在美国，可供802.11ah使用的可用频段为902mhz至928mhz。在韩国，可用频段为917.5mhz至923.5mhz。在日本，可用频段为916.5mhz至927.5mhz。802.11ah可用的总带宽为6mhz至26mhz，取决于国家代码。
[0145]
图6d是示出根据示例的ran 1213和cn 1215的系统示意图。如上文所指出，ran 1213可采用nr无线电技术以经由空中接口1216与wtru 1202a、1202b、1202c通信。ran 1213还可与cn 1215通信。
[0146]
ran 1213可包括gnb 1280a、1280b、1280c，但是应当理解，在与示例保持一致的同时，ran 1213可包括任何数量的gnb。gnb 1280a、1280b、1280c各自可包括一个或多个收发器以便通过空中接口1216与wtru 1202a、1202b、1202c通信。在一个示例中，gnb 1280a、1280b、1280c可实现mimo技术。例如，gnb 1280a、1280b可利用波束成形来向gnb 1280a、1280b、1280c发射信号和/或从gnb 180a、180b、180c接收信号。因此，gnb 1280a例如可使用多个天线来向wtru 1202a发射无线信号和/或从wtru 102a接收无线信号。在示例中，gnb 1280a、1280b、1280c可实现载波聚合技术。例如，gnb 1280a可向wtru 1202a(未示出)发射多个分量载波。这些分量载波的子集可在免许可频谱上，而其余分量载波可在许可频谱上。在示例中，gnb 1280a、1280b、1280c可实现协作多点(comp)技术。例如，wtru 1202a可从gnb 1280a和gnb 1280b(和/或gnb 1280c)接收协作传输。
[0147]
wtru 1202a、1202b、1202c可使用与可扩展参数集相关联的传输来与gnb 1280a、1280b、1280c通信。例如，ofdm符号间隔和/或ofdm子载波间隔可因不同传输、不同小区和/或无线传输频谱的不同部分而变化。wtru 1202a、1202b、1202c可使用各种或可扩展长度的子帧或传输时间间隔(tti)(例如，包含不同数量的ofdm符号和/或持续变化的绝对时间长度)来与gnb 1280a、1280b、1280c通信。
[0148]
gnb 1280a、1280b、1280c可被配置为以独立配置和/或非独立配置与wtru 1202a、1202b、1202c通信。在独立配置中，wtru 1202a、1202b、1202c可与gnb 1280a、1280b、1280c通信，也不访问其他ran(例如，诸如演进节点b 1260a、1260b、1260c)。在独立配置中，wtru 1202a、1202b、1202c可将gnb1280a、1280b、1280c中的一者或多者用作移动性锚定点。在独立配置中，wtru 1202a、1202b、1202c可在未许可频带中使用信号与gnb 1280a、1280b、1280c通信。在非独立配置中，wtru 1202a、1202b、1202c可与gnb 1280a、1280b、1280c通信或连接，同时也与其他ran(诸如，演进节点b 1260a、1260b、1260c)通信或连接。例如，wtru 1202a、1202b、1202c可实现dc原理以基本上同时与一个或多个gnb 1280a、1280b、1280c和
一个或多个演进节点b 1260a、1260b、1260c通信。在非独立配置中，演进节点b 1260a、1260b、1260c可用作wtru 1202a、1202b、1202c的移动性锚点，并且gnb 1280a、1280b、1280c可提供用于服务wtru 1202a、1202b、1202c的附加覆盖和/或吞吐量。
[0149]
gnb 1280a、1280b、1280c中的每一者可与特定小区(未示出)相关联，并且可被配置为处理无线电资源管理决策、切换决策、ul和/或dl中的用户的调度、网络切片的支持、双连接、nr和e-utra之间的互通、用户平面数据朝向用户平面功能(upf)1284a、1284b的路由、控制平面信息朝向接入和移动性管理功能(amf)1282a、1282b的路由等。如图6d所示，gnb 1280a、1280b、1280c可通过xn接口彼此通信。
[0150]
图6d所示的cn 1215可包括至少一个amf 1282a、1282b、至少一个upf 1284a、1284b、至少一个会话管理功能(smf)1283a、1283b以及可能的数据网络(dn)1285a、1285b。虽然前述元件中的每一者被描绘为cn 1215的一部分，但是应当理解，这些元件中的任一者可由除cn运营商之外的实体拥有和/或操作。
[0151]
amf 1282a、1282b可在ran 1213中经由n2接口连接到gnb 1280a、1280b、1280c中的一者或多者，并且可用作控制节点。例如，amf 1282a、1282b可负责认证wtru 1202a、1202b、1202c的用户、支持网络切片(例如，处理具有不同要求的不同pdu会话)、选择特定smf 1283a、1283b、管理注册区域、终止nas信令、移动性管理等。amf 1282a、1282b可使用网络切片，以便基于wtru 1202a、1202b、1202c所使用的服务的类型来为wtru 1202a、1202b、1202c定制cn支持。例如，可针对不同的用例(诸如，依赖超高可靠低延迟(urllc)接入的服务、依赖增强型移动宽带(embb)接入的服务、用于机器类型通信(mtc)接入的服务等)建立不同的网络切片。amf 1282可提供用于在ran 1213和采用其他无线电技术(诸如lte、lte-a、lte-a pro和/或非3gpp接入技术，诸如wifi)的其他ran(未示出)之间进行切换的控制平面功能。
[0152]
smf 1283a、1283b可经由n11接口连接到cn 1215中的amf 1282a、1282b。smf 1283a、1283b还可经由n4接口连接到cn 1215中的upf 1284a、1284b。smf 1283a、1283b可选择并控制upf 1284a、1284b，并且配置通过upf 1284a、1284b进行的流量路由。smf 1283a、1283b可执行其他功能，诸如管理和分配ue ip地址、管理pdu会话、控制策略实施和qos、提供下行链路数据通知等。pdu会话类型可以是基于ip的、非基于ip的、基于以太网的等。
[0153]
upf 1284a、1284b可经由n3接口连接到ran 1213中的gnb 1280a、1280b、1280c中的一者或多者，这些gnb可向wtru 1202a、1202b、1202c提供对分组交换网络(诸如互联网1210)的访问，以促进wtru 1202a、1202b、1202c和启用ip的设备之间的通信。upf 1284、1284b可执行其他功能，诸如路由和转发分组、实施用户平面策略、支持多宿主pdu会话、处理用户平面qos、缓冲下行链路分组、提供移动性锚定等。
[0154]
cn 1215可有利于与其他网络的通信。例如，cn 1215可包括用作cn 1215与pstn 1208之间的接口的ip网关(例如，ip多媒体子系统(ims)服务器)或者可与该ip网关通信。另外，cn 1215可向wtru 1202a、1202b、1202c提供对其他网络1212的访问，该其他网络可包括由其他服务提供商拥有和/或运营的其他有线和/或无线网络。在一个示例中，wtru 1202a、1202b、1202c可通过upf 1284a、1284b经由至upf 1284a、1284b的n3接口以及upf 1284a、1284b与本地数据网络(dn)1285a、1285b之间的n6接口连接到dn 1285a、1285b。
[0155]
鉴于图6a至图6d以及图6a至图6d的对应描述，本文参照以下中的一者或多者描述
的功能中的一个或多个功能或全部功能可由一个或多个仿真设备(未示出)执行：wtru 1202a-d、基站1214a-b、演进节点b 1260a-c、mme 1262、sgw 1264、pgw 1266、gnb 1280a-c、amf 1282a-b、upf 1284a-b、smf 1283a-b、dn 1285a-b和/或本文所述的任何其他设备。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或wtru功能。
[0156]
仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
[0157]
该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由rf电路(例如，其可包括一个或多个天线)进行的直接rf耦合和/或无线通信可由仿真设备用于发射和/或接收数据。
[0158]
尽管上文以特定组合描述了特征和元件，但是本领域的普通技术人员将理解，每个特征或元件可单独使用或以与其他特征和元件的任何组合来使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读介质的示例包括电子信号(通过有线或无线连接发射)和计算机可读存储介质。计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如cd-rom磁盘和数字通用光盘(dvd))。与软件相关联的处理器可用于实现用于wtru、ue、终端、基站、rnc或任何主计算机的射频收发器。