用于后重构滤波的方法和系统与流程

用于后重构滤波的方法和系统
1.相关申请的交叉引用
2.本技术为2019年3月11日提交的名称为“用于后重构滤波的方法和系统(methods and systems for post
‑
reconstruction filtering)”的美国临时专利申请序列号62/816695的非临时提交，并且根据35 u.s.c.
§
119(e)要求该专利申请的权益，该专利申请以全文引用的方式并入本文。


背景技术：

3.视频编码系统广泛用于压缩数字视频信号，以减少此类信号的存储需求和/或发射带宽。在各种类型的视频编码系统中，诸如基于块的系统、基于小波的系统和基于对象的系统，最广泛地使用和部署基于块的混合视频编码系统。基于块的视频编码系统的示例包括由itu
‑
t/sg16/q.6/vceg和iso/iec/mpeg的jct
‑
vc(视频编码的联合协作组)开发的国际视频编码标准，诸如mpeg1/2/4部分2、h.264/mpeg
‑
4部分10avc、vc
‑
1和高效视频编码(hevc)。
4.hevc标准的第一版本在2013年10月完成，并且与先前一代的视频编码标准h.264/mpeg avc相比，为等效感知质量提供了大约50％的比特率节省。尽管hevc标准比其前身提供了显著的编码改进，但是有证据表明，用额外的编码工具可实现比hevc优异的编码效率。基于此，vceg和mpeg两者都开始了用于未来视频编码标准化的新编码技术的探索工作。在2015年10月，itu
‑
t vceg和iso/iec mpeg形成了联合视频探索小组(jvet)以开始对可实现编码效率比hevc显著提高的先进技术的大量研究。同月，建立了软件代码库，称为联合探索模型(jem)，用于未来的视频编码探索工作。jem参考软件基于由jct
‑
vc开发用于hevc的hevc测试模型(hm)。额外提出的编码工具可集成到jem软件中，并且使用jvet通用测试条件(ctc)测试。
5.在2017年10月，itu
‑
t和iso/iec联合发布了关于具有超出hevc的能力的视频压缩的技术征求书(cfp)。在2018年4月，在第10次jvet会议上接收和评估了标准动态范围类别的22个cfp响应，并且演示了编码效率比hevc增益约40％。基于此类评估结果，联合视频专家
6.小组(jvet)启动了新项目以开发名为通用视频编码(vvc)的新一代视频编码标准。同月，建立了参考软件代码库，称为vvc测试模型(vtm)，用于演示vvc标准的参考实现。对于初始vtm
‑
1.0，大多数编码模块，包括帧内预测、帧间预测、变换/逆变换和量化/去量化以及环路滤波器遵循现有的hevc设计，不同的是在vtm中使用基于多类型树的块分区结构。


技术实现要素：

7.本文所述的实施方案包括用于视频编码和解码(统称为“编码(coding)”)的方法。
8.在一些实施方案中，重构当前样本块中的多个样本。将变换应用于第一组样本，以生成一组原始频谱分量，该第一组样本包括当前块中的重构样本的至少子集和当前块外部的至少一个重构样本。将滤波器应用于原始频谱分量中的至少一个原始频谱分量，以生成
一组滤波的频谱分量。将逆变换应用于滤波的频谱分量，以生成对应于第一组样本的多个滤波的样本。
9.在一些实施方案中，变换是hadamard变换，并且频谱分量是hadamard频谱分量。
10.在一些实施方案中，第一组样本还包括当前编码单元外部的至少一个外推样本。此类实施方案可包括基于当前编码单元中的重构样本生成外推样本的外推样本值。
11.在一些实施方案中，第一组样本还包括当前编码单元外部的至少一个外推样本。此类实施方案可包括基于当前编码单元中的重构样本生成外推样本的外推样本值，其中生成外推样本值使用选自线性外推、三次外推、双线性外推和双三次外推的至少一种外推方法来执行。
12.在一些实施方案中，当前编码单元为帧内编码，并且第一组样本还包括当前编码单元外部的至少一个预测样本。在此类实施方案中，可使用当前编码单元的帧内编码模式为预测样本生成预测样本值。
13.在一些实施方案中，当前编码单元为帧间编码，并且第一组样本还包括当前编码单元外部的至少一个预测样本。在此类实施方案中，可使用当前编码单元的运动矢量为预测样本生成预测样本值。
14.在一些实施方案中，当前编码单元为帧间编码，并且第一组样本还包括当前编码单元外部的至少一个预测样本。在此类实施方案中，可使用当前编码单元的运动向量的舍入版本为预测样本生成预测样本值。
15.在一些实施方案中，第一组样本还包括当前编码单元外部的至少一个填充样本。在此类实施方案中，与填充样本相邻的重构样本的值可用作填充样本的填充样本值。
16.在一些实施方案中，第一组样本包括至少十六个样本。
17.在一些实施方案中，将滤波器应用于原始的hadamard频谱分量中的至少一个原始的hadamard频谱分量包括确定
[0018][0019]
其中r(i)为原始的hadamard频谱分量，并且f(i，σ)为对应滤波的hadamard频谱分量。
[0020]
在一些实施方案中，滤波的样本存储在解码的画面缓冲器中。
[0021]
在附加的实施方案中，提供了执行本文所述的方法的编码器和解码器系统。
[0022]
一些实施方案包括被配置为执行本文所述方法中任一种的至少一个处理器。在一些此类实施方案中，提供了存储用于执行本文所述的任一种方法的指令的计算机可读介质(例如，非暂态介质)。
[0023]
一些实施方案包括存储使用本文所公开的一种或多种方法编码的视频的计算机可读介质(例如，非暂态介质)。
[0024]
编码器或解码器系统可包括处理器和存储用于执行本文所述的方法的指令的非暂态计算机可读介质。
[0025]
一个或多个本实施方案还提供了计算机可读存储介质，该计算机可读存储介质具有存储在其上的用于根据上述任一种方法对视频数据执行滤波、编码或解码的指令。本实
施方案还提供了一种计算机可读存储介质，该计算机可读存储介质具有存储在其上的根据上述方法生成的比特流。本实施方案还提供了一种用于发射根据上述方法生成的比特流的方法和装置。本实施方案还提供了一种计算机程序产品，该计算机程序产品包括用于执行所述方法中任一种的指令。
附图说明
[0026]
图1a是示出可在其中实现一个或多个所公开的实施方案的示例性通信系统的系统图。
[0027]
图1b是示出根据实施方案可在图1a所示的通信系统内使用的示例性无线发射/接收单元(wtru)的系统图。
[0028]
图1c是在本文所述的一些实施方案中使用的系统的功能框图。
[0029]
图2a是基于块的视频编码器(诸如用于vvc的编码器)的功能框图。
[0030]
图2b是基于块的视频解码器(诸如用于vvc的解码器)的功能框图。
[0031]
图3a至图3e示出了多类型树结构的块分区：四元分区(图3a)；垂直二元分区(图3b)；水平二元分区(图3c)；垂直三元分区(图3d)；水平三元分区(图3e)。
[0032]
图4示出了hadamard变换域滤波。样本a为当前样本；样本b、样本c、样本d为邻近样本。
[0033]
图5示出了根据一些实施方案使用行缓冲器中可用的样本扩展cu。
[0034]
图6示出了16点hadamard变换域滤波。样本a为当前样本；样本b至样本p为邻近样本。
[0035]
图7a至图7b示出了根据一些实施方案的16点hadamard变换中的频率分组。图7a示出了对角分组；图7b示出了l形分组。
[0036]
图8是示出编码的比特流结构的示例的图示。
[0037]
图9是示出示例性通信系统的图示。
[0038]
图10是示出在一些实施方案中执行的方法的流程图。
[0039]
用于实现实施方案的示例性网络和系统
[0040]
图1a是示出在其中一个或多个所公开的实施方案可得以实现的示例性通信系统100的示意图。通信系统100可为向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统100可使多个无线用户能够通过系统资源(包括无线带宽)的共享来访问此类内容。例如，通信系统100可采用一个或多个信道接入方法，诸如码分多址接入(cdma)、时分多址接入(tdma)、频分多址接入(fdma)、正交fdma(ofdma)、单载波fdma(sc
‑
fdma)、零尾唯一字dft扩展ofdm(ztuw dts
‑
s ofdm)、唯一字ofdm(uw
‑
ofdm)、资源块滤波ofdm、滤波器组多载波(fbmc)等。
[0041]
如图1a所示，通信系统100可包括无线发射/接收单元(wtru)102a、102b、102c、102d、ran 104、cn 106、公共交换电话网(pstn)108、互联网110和其他网络112，但是应当理解，所公开的实施方案设想了任意数量的wtru、基站、网络和/或网络元件。wtru 102a、102b、102c、102d中的每一者可以是被配置为在无线环境中操作和/或通信的任何类型的设备。作为示例，wtru 102a、102b、102c、102d(其中任何一个均可被称为“站”和/或“sta”)可被配置为传输和/或接收无线信号，并且可包括用户装备(ue)、移动站、固定或移动用户单
元、基于订阅的单元、寻呼机、蜂窝电话、个人数字助理(pda)、智能电话、膝上型电脑、上网本、个人计算机、无线传感器、热点或mi
‑
fi设备、物联网(iot)设备、手表或其他可穿戴设备、头戴式显示器(hmd)、车辆、无人机、医疗设备和应用(例如，远程手术)、工业设备和应用(例如，在工业和/或自动处理链环境中操作的机器人和/或其他无线设备)、消费电子设备、在商业和/或工业无线网络上操作的设备等。wtru 102a、102b、102c和102d中的任一者可互换地称为ue。
[0042]
通信系统100还可包括基站114a和/或基站114b。基站114a、114b中的每一者可为任何类型的设备，其被配置为与wtru 102a、102b、102c、102d中的至少一者无线对接以促进对一个或多个通信网络(诸如cn 106、互联网110和/或其他网络112)的访问。作为示例，基站114a、114b可为基站收发台(bts)、节点b、演进节点b、家庭节点b、家庭演进节点b、gnb、nr节点b、站点控制器、接入点(ap)、无线路由器等。虽然基站114a、114b各自被描绘为单个元件，但应当理解，基站114a、114b可包括任何数量的互连基站和/或网络元件。
[0043]
基站114a可以是ran 104的一部分，该ran还可包括其他基站和/或网络元件(未示出)，诸如基站控制器(bsc)、无线电网络控制器(rnc)、中继节点等。基站114a和/或基站114b可被配置为在一个或多个载波频率(其可称为小区(未示出))上发射和/或接收无线信号。这些频率可在许可频谱、未许可频谱或许可和未许可频谱的组合中。小区可向特定地理区域提供无线服务的覆盖，该特定地理区域可为相对固定的或可随时间改变。小区可进一步被划分为小区扇区。例如，与基站114a相关联的小区可被划分为三个扇区。因此，在一个实施方案中，基站114a可包括三个收发器，即，小区的每个扇区一个收发器。在一个实施方案中，基站114a可采用多输入多输出(mimo)技术并且可针对小区的每个扇区利用多个收发器。例如，可使用波束成形在所需的空间方向上传输和/或接收信号。
[0044]
基站114a、114b可通过空中接口116与wtru 102a、102b、102c、102d中的一者或多者通信，该空中接口可为任何合适的无线通信链路(例如，射频(rf)、微波、厘米波、微米波、红外(ir)、紫外(uv)、可见光等)。可使用任何合适的无线电接入技术(rat)来建立空中接口116。
[0045]
更具体地讲，如上所指出，通信系统100可为多址接入系统，并且可采用一个或多个信道接入方案，诸如cdma、tdma、fdma、ofdma、sc
‑
fdma等。例如，ran 104中的基站114a和wtru 102a、102b、102c可实现无线电技术诸如通用移动电信系统(umts)陆地无线电接入(utra)，其可使用宽带cdma(wcdma)来建立空中接口116。wcdma可包括诸如高速分组接入(hspa)和/或演进的hspa(hspa+)之类的通信协议。hspa可包括高速下行链路(dl)分组接入(hsdpa)和/或高速ul分组接入(hsupa)。
[0046]
在一个实施方案中，基站114a和wtru 102a、102b、102c可实现诸如演进的umts陆地无线电接入(e
‑
utra)之类的无线电技术，其可使用长期演进(lte)和/高级lte(lte
‑
a)和/或高级lte pro(lte
‑
a pro)来建立空中接口116。
[0047]
在一个实施方案中，基站114a和wtru 102a、102b、102c可实现无线电技术诸如nr无线电接入，其可使用新无线电(nr)来建立空中接口116。
[0048]
在一个实施方案中，基站114a和wtru 102a、102b、102c可实现多种无线电接入技术。例如，基站114a和wtru 102a、102b、102c可例如使用双连接(dc)原理一起实现lte无线电接入和nr无线电接入。因此，wtru 102a、102b、102c所使用的空中接口可由多种类型的无
线电接入技术和/或向/从多种类型的基站(例如，enb和gnb)发送的传输来表征。
[0049]
在其他实施方案中，基站114a和wtru 102a、102b、102c可实现诸如ieee 802.11(即，无线保真(wifi))、ieee 802.16(即，全球微波接入互操作性(wimax))、cdma2000、cdma2000 1x、cdma2000 ev
‑
do、暂行标准2000(is
‑
2000)、暂行标准95(is
‑
95)、暂行标准856(is
‑
856)、全球移动通信系统(gsm)、gsm增强数据率演进(edge)、gsm edge (geran)等无线电技术。
[0050]
图1a中的基站114b可为例如无线路由器、家庭节点b、家庭演进节点b或接入点，并且可利用任何合适的rat来促进诸如商业场所、家庭、车辆、校园、工业设施、空中走廊(例如，供无人机使用)、道路等局部区域中的无线连接。在一个实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.11之类的无线电技术以建立无线局域网(wlan)。在一个实施方案中，基站114b和wtru 102c、102d可实现诸如ieee 802.15之类的无线电技术以建立无线个域网(wpan)。在又一个实施方案中，基站114b和wtru 102c、102d可利用基于蜂窝的rat(例如，wcdma、cdma2000、gsm、lte、lte
‑
a、lte
‑
a pro、nr等)来建立微微小区或毫微微小区。如图1a所示，基站114b可具有与互联网110的直接连接。因此，基站114b可不需要经由cn 106访问互联网110。
[0051]
ran 104可与cn 106通信，该cn可以是被配置为向wtru 102a、102b、102c、102d中的一者或多者提供语音、数据、应用和/或互联网协议语音技术(voip)服务的任何类型的网络。数据可具有不同的服务质量(qos)要求，诸如不同的吞吐量要求、延迟要求、误差容限要求、可靠性要求、数据吞吐量要求、移动性要求等。cn 106可提供呼叫控制、账单服务、基于移动位置的服务、预付费呼叫、互联网连接、视频分发等，和/或执行高级安全功能，诸如用户认证。尽管未在图1a中示出，但是应当理解，ran 104和/或cn 106可与采用与ran 104相同的rat或不同rat的其他ran进行直接或间接通信。例如，除了连接到可利用nr无线电技术的ran 104之外，cn 106还可与采用gsm、umts、cdma 2000、wimax、e
‑
utra或wifi无线电技术的另一ran(未示出)通信。
[0052]
cn 106也可充当wtru 102a、102b、102c、102d的网关，以访问pstn 108、互联网110和/或其他网络112。pstn 108可包括提供普通老式电话服务(pots)的电路交换电话网络。互联网110可包括使用常见通信协议(诸如传输控制协议(tcp)、用户数据报协议(udp)和/或tcp/ip互联网协议组中的互联网协议(ip))的互连计算机网络和设备的全球系统。网络112可包括由其他服务提供商拥有和/或操作的有线和/或无线通信网络。例如，网络112可包括连接到一个或多个ran的另一个cn，其可采用与ran 104相同的rat或不同的rat。
[0053]
通信系统100中的一些或所有wtru 102a、102b、102c、102d可包括多模式能力(例如，wtru 102a、102b、102c、102d可包括用于通过不同无线链路与不同无线网络通信的多个收发器)。例如，图1a所示的wtru102c可被配置为与可采用基于蜂窝的无线电技术的基站114a通信，并且与可采用ieee 802无线电技术的基站114b通信。
[0054]
图1b是示出示例性wtru 102的系统图。如图1b所示，wtru 1 02可包括处理器118、收发器120、发射/接收元件122、扬声器/麦克风124、小键盘126、显示器/触摸板128、不可移动存储器130、可移动存储器132、电源1 34、全球定位系统(gps)芯片组136和/或其他外围设备138等。应当理解，wtru 102可包括前述元件的任何子组合，同时保持与实施方案一致。
[0055]
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(dsp)、
多个微处理器、与dsp核心相关联的一个或多个微处理器、控制器、微控制器、专用集成电路(asic)、现场可编程门阵列(fpga)电路、任何其他类型的集成电路(ic)、状态机等。处理器118可执行信号编码、数据处理、功率控制、输入/输出处理和/或任何其他功能，这些其他功能使wtru 102能够在无线环境中工作。处理器118可耦合到收发器120，该收发器可耦合到发射/接收元件122。虽然图1b将处理器118和收发器120描绘为单独的部件，但是应当理解，处理器118和收发器120可在电子封装或芯片中集成在一起。
[0056]
发射/接收元件122可被配置为通过空中接口116向基站(例如，基站114a)传输信号或从基站接收信号。例如，在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收rf信号的天线。在一个实施方案中，发射/接收元件122可以是被配置为传输和/或接收例如ir、uv或可见光信号的发射器/检测器。在又一个实施方案中，发射/接收元件122可被配置为传输和/或接收rf和光信号。应当理解，发射/接收元件122可被配置为传输和/或接收无线信号的任何组合。
[0057]
尽管发射/接收元件122在图1b中被描绘为单个元件，但是wtru 102可包括任何数量的发射/接收元件122。更具体地讲，wtru 102可采用mimo技术。因此，在一个实施方案中，wtru 102可包括用于通过空中接口116传输和接收无线信号的两个或更多个发射/接收元件122(例如，多个天线)。
[0058]
收发器120可被配置为调制将由发射/接收元件122传输的信号并且解调由发射/接收元件122接收的信号。如上所指出，wtru 102可具有多模式能力。因此，收发器120可包括多个收发器，以便使wtru 102能够经由多种rat(诸如nr和ieee 802.11)进行通信。
[0059]
wtru 102的处理器118可耦合到扬声器/麦克风124、小键盘126和/或显示器/触摸板128(例如，液晶显示器(lcd)显示单元或有机发光二极管(oled)显示单元)并且可从其接收用户输入数据。处理器118还可将用户数据输出到扬声器/麦克风124、小键盘126和/或显示器/触摸板128。此外，处理器118可从任何类型的合适存储器(诸如不可移动存储器130和/或可移动存储器132)访问信息，并且将数据存储在任何类型的合适存储器中。不可移动存储器130可包括随机存取存储器(ram)、只读存储器(rom)、硬盘或任何其他类型的存储器存储设备。可移动存储器132可包括用户身份模块(sim)卡、记忆棒、安全数字(sd)存储卡等。在其他实施方案中，处理器118可从未物理上定位在wtru102上(诸如，服务器或家用计算机(未示出)上)的存储器访问信息，并且将数据存储在该存储器中。
[0060]
处理器118可从电源134接收电力，并且可被配置为向wtru 102中的其他部件分配和/或控制电力。电源134可以是用于为wtru 102供电的任何合适的设备。例如，电源134可包括一个或多个干电池组(例如，镍镉(nicd)、镍锌(nizn)、镍金属氢化物(nimh)、锂离子(li
‑
ion)等)、太阳能电池、燃料电池等。
[0061]
处理器118还可耦合到gps芯片组136，该gps芯片组可被配置为提供关于wtru 102的当前位置的位置信息(例如，经度和纬度)。除了来自gps芯片组136的信息之外或代替该信息，wtru 102可通过空中接口116从基站(例如，基站114a、114b)接收位置信息和/或基于从两个或更多个附近基站接收到信号的定时来确定其位置。应当理解，在与实施方案保持一致的同时，该wtru 102可通过任何合适的位置确定方法来获取位置信息。
[0062]
处理器118还可耦合到其他外围设备138，该其他外围设备可包括提供附加特征、功能和/或有线或无线连接的一个或多个软件模块和/或硬件模块。例如，外围设备138可包
括加速度计、电子指南针、卫星收发器、数字相机(用于照片和/或视频)、通用串行总线(usb)端口、振动设备、电视收发器、免提耳麦、模块、调频(fm)无线电单元、数字音乐播放器、媒体播放器、视频游戏播放器模块、互联网浏览器、虚拟现实和/或增强现实(vr/ar)设备、活动跟踪器等。外围设备138可包括一个或多个传感器，该传感器可为以下一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁力计、方位传感器、接近传感器、温度传感器、时间传感器；地理位置传感器；测高计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物识别传感器和/或湿度传感器。
[0063]
wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的传输和接收(例如，与用于ul(例如，用于传输)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。全双工无线电台可包括干扰管理单元，该干扰管理单元用于经由硬件(例如，扼流圈)或经由处理器(例如，单独的处理器(未示出)或经由处理器118)进行的信号处理来减少和/或基本上消除自干扰。在一个实施方案中，wtru 102可包括全双工无线电台，对于该全双工无线电台，一些或所有信号的发射和接收(例如，与用于ul(例如，用于发射)和下行链路(例如，用于接收)的特定子帧相关联)可为并发的和/或同时的。
[0064]
尽管wtru在图1a至图1b中被描述为无线终端，但是可以设想，在某些代表性实施方案中，此类终端可(例如，临时或永久)使用与通信网络的有线通信接口。
[0065]
在代表性实施方案中，其他网络112可为wlan。
[0066]
鉴于图1a至图1b以及对应的描述，本文所述的一个或多个或者全部功能可由一个或多个仿真设备(未示出)执行。仿真设备可以是被配置为模仿本文所述的一个或多个或所有功能的一个或多个设备。例如，仿真设备可用于测试其他设备和/或模拟网络和/或wtru功能。
[0067]
仿真设备可被设计为在实验室环境和/或运营商网络环境中实现其他设备的一个或多个测试。例如，该一个或多个仿真设备可执行一个或多个或所有功能，同时被完全或部分地实现和/或部署为有线和/或无线通信网络的一部分，以便测试通信网络内的其他设备。该一个或多个仿真设备可执行一个或多个功能或所有功能，同时临时被实现/部署为有线和/或无线通信网络的一部分。仿真设备可直接耦合到另一个设备以用于测试目的和/或可使用空中无线通信来执行测试。
[0068]
该一个或多个仿真设备可执行一个或多个(包括所有)功能，同时不被实现/部署为有线和/或无线通信网络的一部分。例如，仿真设备可在测试实验室和/或非部署(例如，测试)有线和/或无线通信网络中的测试场景中使用，以便实现一个或多个部件的测试。该一个或多个仿真设备可为测试设备。经由rf电路(例如，其可包括一个或多个天线)进行的直接rf耦合和/或无线通信可由仿真设备用于传输和/或接收数据。
[0069]
示例系统。
[0070]
本文所述的实施方案不限于在wtru上实现。此类实施方案可使用其他系统诸如图1c的系统来实现。图1c是实现各个方面和实施方案的系统的示例的框图。系统1000可体现为包括下文所述的各个部件的设备，并且被配置为执行本文档中所述的一个或多个方面。此类设备的示例包括但不限于各种电子设备，诸如个人计算机、膝上型计算机、智能电话、平板电脑、数字多媒体机顶盒、数字电视机接收器、个人视频录制系统、连接的家用电器和服务器。系统1000的元件可单独地或组合地体现在单个集成电路(ic)、多个ic和/或分立部
件中。例如，在至少一个实施方案中，系统1000的处理元件和编码器/解码器元件分布在多个ic和/或分立部件上。在各种实施方案中，系统1000经由例如通信总线或通过专用输入和/或输出端口通信地耦接到一个或多个其他系统或其他电子设备。在各种实施方案中，系统1000被配置为实现本文档中描述的一个或多个方面。
[0071]
系统1000包括至少一个处理器1010，该处理器被配置为执行加载到其中的指令，以用于实现例如本文档中所述的各个方面。处理器1010可包括嵌入式存储器、输入输出接口和本领域已知的各种其他电路。系统1000包括至少一个存储器1020(例如，易失性存储器设备和/或非易失性存储器设备)。系统1000包括存储设备1040，该存储设备可包括非易失性存储器和/或易失性存储器，包括但不限于电可擦除可编程只读存储器(eeprom)、只读存储器(rom)、可编程只读存储器(prom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、磁盘驱动器和/或光盘驱动器。作为非限制性示例，存储设备1040可包括内部存储设备、附接存储设备(包括可拆和不可拆的存储设备)和/或网络可访问的存储设备。
[0072]
系统1000包括编码器/解码器模块1030，该编码器/解码器模块被配置为例如处理数据以提供编码视频或解码视频，并且编码器/解码器模块1030可包括其自身的处理器和存储器。编码器/解码器模块1030表示可被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可包括编码模块和解码模块中的一者或两者。此外，编码器/解码器模块1030可实现为系统1000的独立元件，或者可结合在处理器1010内作为本领域技术人员已知的硬件和软件的组合。
[0073]
要加载到处理器1010或编码器/解码器1030上以执行本文档中所述的各个方面的程序代码可存储在存储设备1040中，并且随后被加载到存储器1020上以供处理器1010执行。根据各种实施方案，处理器1010、存储器1020、存储设备1040和编码器/解码器模块1030中的一者或多者可在本文档中所述过程的执行期间存储各个项目中的一个或多个项目。此类存储项目可包括但不限于输入视频、解码的视频或部分解码的视频、比特流、矩阵、变量以及处理等式、公式、运算和运算逻辑的中间或最终结果。
[0074]
在一些实施方案中，处理器1010和/或编码器/解码器模块1030内部的存储器用于存储指令和提供工作存储器以用于在编码或解码期间需要的处理。然而，在其他实施方案中，处理设备外部的存储器(例如，处理设备可以是处理器1010或编码器/解码器模块1030)用于这些功能中的一个或多个功能。外部存储器可以是存储器1020和/或存储设备1040，例如动态易失性存储器和/或非易失性闪存存储器。在若干实施方案中，外部非易失性闪存存储器用于存储例如电视机的操作系统。在至少一个实施方案中，快速外部动态易失性存储器诸如ram用作视频编码和解码操作的工作存储器，诸如用于mpeg
‑
2(mpeg是指运动图像专家组，mpeg
‑
2也称为iso/iec13818，并且13818
‑
1也称为h.222，13818
‑
2也称为h.262)、hevc(hevc是指高效视频编码，也称为h.265和mpeg
‑
h部分2)或vvc(通用视频编码，由联合视频专家小组jvet开发的新标准)。
[0075]
对系统1000的元件的输入可通过如框1130中所示的各种输入设备提供。此类输入设备包括但不限于：(i)接收例如由广播器通过空中发射的rf信号的射频(rf)部分，(ii)部件(comp)输入端子(或一组comp输入端子)，(iii)通用串行总线(usb)输入端子，和/或(iv)高清多媒体接口(hdmi)输入端子。图1c中未示出的其他示例包括复合视频。
[0076]
在各种实施方案中，框1130的输入设备具有如本领域已知的相关联的相应输入处理元件。例如，rf部分可与适用于以下的元件相关联：(i)选择所需的频率(也称为选择信号，或将信号频带限制到一个频带)，(ii)下变频选择的信号，(iii)再次频带限制到更窄频带以选择(例如)在某些实施方案中可称为信道的信号频带，(iv)解调下变频和频带限制的信号，(v)执行纠错，以及(vi)解复用以选择所需的数据包流。各种实施方案的rf部分包括用于执行这些功能的一个或多个元件，例如频率选择器、信号选择器、频带限制器、信道选择器、滤波器、下变频器、解调器、纠错器和解复用器。rf部分可包括执行这些功能中的各种功能的调谐器，这些功能包括例如下变频接收信号至更低频率(例如，中频或近基带频率)或至基带。在一个机顶盒实施方案中，rf部分及其相关联的输入处理元件接收通过有线(例如，电缆)介质发射的rf信号，并且通过滤波、下变频和再次滤波至所需的频带来执行频率选择。各种实施方案重新布置上述(和其他)元件的顺序，移除这些元件中的一些元件，和/或添加执行类似或不同功能的其他元件。添加元件可包括在现有元件之间插入元件，例如，插入放大器和模数变换器。在各种实施方案中，rf部分包括天线。
[0077]
此外，usb和/或hdmi端子可包括用于跨usb和/或hdmi连接将系统1000连接到其他电子设备的相应接口处理器。应当理解，输入处理(例如reed
‑
solomon纠错)的各个方面可根据需要例如在单独的输入处理ic内或在处理器1010内实现。类似地，usb或hdmi接口处理的方面可根据需要在单独的接口ic内或在处理器1010内实现。将解调流、纠错流和解复用流提供给各种处理元件，包括例如处理器1010以及编码器/解码器1030，该处理元件与存储器和存储元件结合操作以根据需要处理数据流以呈现在输出设备上。
[0078]
系统1000的各种元件可设置在集成外壳内。在集成外壳内，各种元件可使用合适的连接布置1140(例如，如本领域已知的内部总线，包括ic间(i2c)总线、布线和印刷电路板)互连并且在其间发射数据。
[0079]
系统1000包括能够经由通信信道1060与其他设备通信的通信接口1050。通信接口1050可包括但不限于被配置为通过通信信道1060发射和接收数据的收发器。通信接口1050可包括但不限于调制解调器或网卡，并且通信信道1060可例如在有线和/或无线介质内实现。
[0080]
在各种实施方案中，使用无线网络诸如wi
‑
fi网络例如ieee 802.11(ieee是指电气和电子工程师协会)将数据流式发射或以其他方式提供给系统1000。这些实施方案的wi
‑
fi信号通过适用于wi
‑
fi通信的通信信道1060和通信接口1050接收。这些实施方案的通信信道1060通常连接到接入点或路由器，该接入点或路由器提供对包括互联网的外部网络的访问，以用于允许流式应用和其他云上通信。其他实施方案使用机顶盒向系统1000提供流式数据，该机顶盒通过输入块1130的hdmi连接递送数据。还有其他实施方案使用输入块1130的rf连接向系统1000提供流式数据。如上所述，各种实施方案以非流式的方式提供数据。此外，各种实施方案使用除了wi
‑
fi以外的无线网络，例如蜂窝网络或蓝牙网络。
[0081]
系统1000可向各种输出设备(包括显示器1100、扬声器1110和其他外围设备1120)提供输出信号。各种实施方案的显示器1100包括例如触摸屏显示器、有机发光二极管(oled)显示器、曲面显示器和/或可折叠显示器中的一者或多者。显示器1100可用于电视机、平板、笔记本、蜂窝电话(移动电话)或其他设备。显示器1100还可与其他部件集成在一起(例如，如在智能电话中)，或者是单独的(例如，笔记本的外部监视器)。在实施方案的各
种示例中，其他外围设备1120包括独立数字视频光盘(或数字多功能光盘，两个术语都是dvr)、光盘播放器、立体声系统和/或照明系统中的一者或多者。各种实施方案使用提供基于系统1000的输出的功能的一个或多个外围设备1120。例如，盘播放器执行播放系统1000的输出的功能。
[0082]
在各种实施方案中，控制信号使用诸如av.link、消费电子产品控制(cec)或其他通信协议的信令在系统1000与显示器1100、扬声器1110或其他外围设备1120之间传送，该其他通信协议使得能够在有或没有用户干预的情况下进行设备到设备控制。输出设备可通过相应接口1070、1080和1090经由专用连接通信地耦接到系统1000。另选地，输出设备可使用通信信道1060经由通信接口1050连接到系统1000。显示器1100和扬声器1110可与电子设备(诸如例如，电视机)中的系统1000的其他部件集成在单个单元中。在各种实施方案中，显示接口1070包括显示驱动器，诸如例如，定时控制器(t con)芯片。
[0083]
另选地，如果输入1130的rf部分是单独机顶盒的一部分，则显示器1100和扬声器1110可选地与其他部件中的一个或多个部件分开。在显示器1100和扬声器1110为外部部件的各种实施方案中，输出信号可经由专用输出连接(包括例如hdmi端口、usb端口或comp输出)提供。
[0084]
这些实施方案可由处理器1010或由硬件或由硬件和软件的组合实现的计算机软件执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，存储器1020可以是适合于技术环境的任意类型，并且可使用任何适当的数据存储技术实现，
[0085]
诸如光学存储器设备、磁存储器设备、基于半导体的存储器设备、固定存储器和可移动存储器。作为非限制性示例，处理器1010可以是适合于技术环境的任意类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
具体实施方式
[0086]
基于块的视频编码。
[0087]
与hevc相似，vvc建立在基于块的混合视频编码框架上。图2a给出了基于块的混合视频编码系统200的框图。设想了这一编码器200的变型，但是为了清楚起见下文描述了编码器200，而不描述所有预期的变型。
[0088]
在被编码之前，视频序列可经历预编码处理(204)，例如，将色彩变换应用于输入彩色画面(例如，从rgb 4∶4∶4到ycbcr 4∶2∶0的变换)，或执行输入图像分量的重映射，以便使信号分布对压缩更具弹性(例如，使用一个色彩分量的直方图均衡)。元数据可与预处理相关联并且附接到比特流。
[0089]
将包括要编码的画面的输入视频信号202分区(206)和以例如cu为单位逐块处理。不同的cu可具有不同的尺寸。在vtm
‑
1.0中，cu可多达128
×
128的像素。然而，与仅基于四叉树将块分区的hevc不同，在vtm
‑
1.0中，编码树单元(ctu)被分割成cu以适应基于四叉/二叉/三叉树的变化的局部特性。此外，移除hevc中多个分区单元类型的概念，使得cu、预测单元(pu)和变换单元(tu)的分离不再存在于vvc
‑
1.0中；相反，每个cu总是用作预测和变换两者的基本单元，而没有进一步分区。在多类型树结构中，ctu首先由四叉树结构分区。然后，每个四叉树叶节点可进一步由二叉树结构和三叉树结构分区。如图3a至图3e所示，存在五
种分割类型：四元分区(图3a)、垂直二叉分区(图3b)、水平二叉分区(图3c)、垂直三叉分区(图3d)和水平三叉分区(图3e)。
[0090]
在图2a的编码器中，可执行空间预测(208)和/或时间预测(210)。空间预测(或“帧内预测”)使用来自相同视频画面/片段中已编码的邻近块的样本(其称为参考样本)的像素预测当前视频块。空间预测减少了视频信号中固有的空间冗余。时间预测(也称为“帧间预测”或“运动补偿预测”)使用来自已编码的视频画面的重构像素预测当前视频块。时间预测减少了视频信号中固有的时间冗余。给定cu的时间预测信号可由一个或多个运动矢量(mv)发信号通知，该mv指示在当前cu与其时间参考之间运动的量和方向。而且，如果支持多个参考画面，则还可发送参考画面索引，其用于识别时间预测信号从参考画面存储库(212)中的哪个参考画面传来。
[0091]
编码器中的模式决策块(214)例如基于速率失真优化方法选择最佳预测模式。这个选择可在执行空间和/或时间预测之后进行。帧内/帧间决策可由例如预测模式标志指示。从当前视频块(216)中减去预测块以生成预测残差。预测残差使用变换(21 8)和量化(220)去相关。(对于一些块，编码器可绕过变换和量化两者，在这种情况下，残差可在不应用变换或量化过程的情况下直接编码。)逆量化(222)和逆变换(224)量的残差系数以形成重构残差，然后该重构残差可添加回预测块(226)以形成cu的重构信号。进一步的环路滤波，诸如解块/sao(样本自适应偏移)滤波，可应用(228)于重构的cu上，以在将编码伪影放入参考画面存储库(212)中并且用于对未来视频块编码之前减少编码伪影。为了形成输出视频比特流230，编码模式(帧间或帧内)、预测模式信息、运动信息和量化的残差系数都被发送到熵编码单元(108)以进一步压缩和打包以形成比特流。
[0092]
图2b给出了基于块的视频解码器250的框图。在解码器250中，比特流由解码器元件解码，如下所述。视频解码器250通常执行与编码通道相反的解码通道，如图2a所述。编码器200通常还执行视频解码作为对视频数据编码的一部分。
[0093]
具体地，解码器的输入包括视频比特流252，该视频比特流可由视频编码器200生成。视频比特流252首先在熵解码单元254处解包和熵解码，以获得变换系数、运动向量和其他编码信息。画面分区信息指示画面如何被分区。因此，解码器可根据解码画面划分信息分区(256)画面。编码模式和预测信息被发送到空间预测单元258(如果是帧内编码)或时间预测单元260(如果是帧间编码)以形成预测块。残差变换系数被发送到逆量化单元262和逆变换单元264以重构残差块。然后，预测块和残差块在266处加在一起以生成重构块。在重构块存储在参考画面存储库270中以用于预测未来视频块之前，该重构块可进一步经历环路滤波268。
[0094]
解码的画面272还可经历解码后处理(274)，例如，逆色彩变换(例如，从ycbcr 4∶2∶0到rgb 4∶4∶4的变换)或执行在预编码处理(204)中执行的重映射过程的反转的逆重映射。解码后处理可使用在预编码处理中导出并且在比特流中发信号通知的元数据。解码的处理的视频可被发送到显示设备276。显示设备276可以是与解码器250分开的设备，或者解码器250和显示设备276可以是同一设备的部件。
[0095]
本公开中描述的各种方法和其他方面可用于修改视频编码器200或解码器250的模块。此外，本文所公开的系统和方法不限于vvc或hevc，并且可应用于例如其他标准和推荐(无论是预先存在的还是未来开发的)以及任何此类标准和推荐的扩展(包括vvc和
hevc)。除非另外指明或在技术上排除，否则本公开中描述的方面可单独或组合使用。
[0096]
hadamard滤波。
[0097]
已提出hadamard变换域滤波以改善“ce2相关：hadamard变换域滤波器”(v.stepin，s.ikonin，r.chernyak，j.chen，“ce2 related：hadamard transform domain filter”，jvet
‑
k0068，2018年7月)；和“ce14：hadamard变换域滤波器(测试3)”(s.ikonin，v.stepin，d.kuryshev，j.chen，“ce14：hadamard transform domain filter(test 3)”，jvet
‑
l326，2018年10月)。将滤波器应用于一组2
×
2重构样本上，如图4所示。hadamard滤波过程的示例如下：
[0098]
1)将4点(2
×
2)hadamard变换应用于四个样本；
[0099]
2)如下应用基于频谱的滤波：
[0100][0101]
其中r(i)为hadamard频谱分量(i＝0.3)，m为归一化常数，σ为从量化参数(qp)导出的滤波参数，th为hadamard系数的幅度的阈值以确定是否应用滤波。在jvet
‑
k0068、jvet
‑
l326中，m设定为4，并且σ如下推导：
[0102]
σ＝2.64*2
(0.1296*(qp
‑
11))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0103]
注意，四个样本的平均值保持恒定，因为dc分量(即，r(0))未滤波。
[0104]
3)应用逆4点hadamard变换
[0105]
将hadamard变换域滤波器应用于重叠组的2
×
2样本上，以避免2
×
2块边界处的不连续性，从而得到等效3
×
3滤波。
[0106]
在一些实施方案中解决的问题。
[0107]
hadamard变换域滤波旨在通过减少重构信号中的量化噪声来改善编码效率。然而，其存在少数缺点。首先，为了避免在对cu滤波时对邻近cu的依赖性，特别是对于帧间预测的cu，在cu边界左侧和/或上方使用重复填充，这可降低滤波效率。其次，尽管在滤波中使用重叠组的2
×
2样本，但是所得的内核尺寸相对较小，并且对非常少的样本联合滤波，这可降低滤波效率。第三，使用相同的滤波强度对cu内的所有样本应用滤波，而不考虑样本的位置。第四，使用相同的滤波强度对所有cu应用滤波，而不考虑编码模式和/或预测模式。
[0108]
示例性实施方案的概述。
[0109]
本文所述的示例性实施方案可解决一个或多个上述问题。本发明描述了用于使用重构编码单元的自适应hadamard滤波进行视频编码的系统和方法。虽然关于编码单元(cu)的滤波给出了示例，但是实施方案不限于cu的滤波；相反，其他样本块可使用如本文所述的技术来滤波。此外，虽然关于hadamard变换的变换域中的分量的滤波给出了具体示例，但是应当注意，还设想了对其他变换(诸如离散余弦变换或离散傅里叶变换)的变换域中的分量执行滤波的实施方案。变换可以是正交变换。
[0110]
在hadamard滤波可以其他方式涵盖当前编码单元外部的样本的一些实施方案中，生成外推样本以用于滤波。在一些实施方案中，将不同的滤波强度应用于变换域中的不同频谱分量。在一些实施方案中，滤波强度基于滤波的样本在编码单元内的位置。在一些实施方案中，滤波强度基于用于对当前编码单元编码的预测模式。
[0111]
一些实施方案可改善滤波效率。在一些实施方案中，代替在块边界(例如，cu边界)左侧和/或上方使用重复填充，可执行外推以将样本扩展到块外部(例如，cu外部)。在一些实施方案中，预测样本可用于填充扩展的块边界。此外，如果邻近块的重构样本可用，则那些重构样本可用于滤波。例如，如果块是位于顶部ctu行处的cu，则位于cu上方的重构样本在行缓冲器中可用并且可用于滤波。在一些实施方案中，为了增加滤波器内核尺寸并且对更多样本联合滤波，可使用更大尺寸的hadamard变换，例如，16点(即，4
×
4)hadamard变换。在一些实施方案中，对于帧内预测模式，滤波强度可基于要滤波的样本与帧内预测过程中使用的样本之间的距离来调整。在一些实施方案中，滤波强度可基于cu编码模式和/或预测模式来调整。
[0112]
帧间依赖性移除。
[0113]
在将hadamard变换域滤波应用于尺寸为w
×
h的cu之前，cu可首先围绕cu边界扩展一个样本，得到(w+2)
×
(h+2)样本。可使用重复填充，即通过复制最近的可用样本来扩展cu。然后，可将hadamard滤波器应用于重叠块的2
×
2样本上。
[0114]
在一些实施方案中，代替或除了在cu边界处使用重复填充，还执行外推以在应用hadamard变换域滤波之前扩展cu。可使用不同的外推方法，例如线性外推、三次外推、双线性外推、双三次外推等。这样，与使用重复填充相比，可改善滤波效率。
[0115]
在另一个实施方案中，帧间预测或帧内预测可用于填充那些扩展的边界样本。例如，如果cu为帧内编码，则cu参考样本可直接用于cu边界顶部和/或左侧。对于cu边界底部和/或右侧，可使用cu帧内预测模式从cu参考样本或cu重构样本导出填充样本。如果cu为帧间编码，则可使用当前cu运动矢量及其参考画面导出填充样本。
[0116]
运动补偿预测可用于填充那些扩展的边界样本，但是其可参与内插，该内插通常要求访问参考画面中的更多邻近整数样本以执行内插。计算和存储器访问带宽可为高。在一些实施方案中，为了简化运动补偿，将分数位置舍入到其最近的整数位置，并且直接获取整数样本。在一些实施方案中，在边界顶部、底部、左侧和右侧处的填充样本
[0117]
pad(x，y)可如下导出：
[0118]
pad(x，y0
‑
1)＝refpic(round(x+mvx)，round(y0
‑
1+mvy))，其中x∈[x0
‑
1，x0+w]；
[0119]
pad(x，y0+h)＝refpic(round(x+mvx)，round(y0+h+mvy))，其中x∈[x0
‑
1，x0+w]；
[0120]
pad(x0
‑
1，y)＝refpic(round(x0
‑
1+mvx)，round(y+mvy))，其中x∈[y0，y0+h
‑
1]；
[0121]
pad(x0+w，y)＝refpic(round(x+w+mvx)，round(y0
‑
1+mvy))，其中x∈[y0，y0+h
‑
1]；
[0122]
其中(x0，y0)是左上cu位置，(mvx，mvy)是cu运动矢量，refpic(x，y)是指参考画面refpic内的位置(x，y)处的参考样本，并且round(x)是将变量x舍入到其最近整数值的函数。
[0123]
如果cu为双预测编码，则可首先从每个参考导出填充样本，并且可将加权平均应用于两个填充样本以获得最终填充样本。
[0124]
如果cu位于顶部ctu行，则位于cu上方的重构样本在行缓冲器中可用。在这种情况下，代替使用对cu边界顶部的重复填充或外推，行缓冲器中可用的上述重构样本可直接用于扩展cu，如图5所示。这样，与使用重复填充和/或外推相比，可改善滤波效率。
[0125]
更大尺寸的基于hadamard变换的滤波。
[0126]
在一些实施方案中，代替4点hadamard变换，使用更大尺寸的hadamard变换，例如，16点或64点hadamard变换。16点hadamard变换的滤波过程在图6中示出。可例如使用基于行或基于列的扫描以不同顺序扫描16个样本。基于行的扫描对于存储器访问可为优选，因为可在一次存储器访问中获取整行。可使用递归更小尺寸的hadamard变换实现具有更大尺寸的hadamard变换。例如，可使用递归4点hadamard变换实现16点hadamard变换。
[0127]
在一些实施方案中，对于更大尺寸的hadamard变换，可对不同频带调谐基于频谱的滤波。例如，与更低频带相比，更强的滤波可应用于更高频带。这可通过改变等式(1)中的归一化常数m和/或修改等式(2)中的滤波参数σ来实现。例如，更高频带的归一化常数m可比更低频带设定为更大的值。可通过将hadamard变换域中的系数分组来确定频带，例如，使用对角分组(图7a中所示)或l形分组(图7b中所示)。
[0128]
位置依赖性hadamard滤波。
[0129]
对于帧内预测模式，预测在cu边界左侧和/或顶部附近可更准确，因为那些区域可离用于预测的参考样本更近，因为帧内参考样本总是来自边界顶部和左侧。然而，预测在cu的右下部分附近可能不太准确，因为这个区域离参考样本更远。由于hadamard滤波器可基于样本应用，因此在一些实施方案中，建议对预测准确度可较低的这些区域应用较强的滤波(例如，较高的σ值)，并且对预测准确度可较高的这些区域应用较弱的滤波(例如，较低的σ值)。例如，可将较强的滤波应用于cu的右下部分，并且可将较弱的滤波应用于cu的左侧和/或顶部部分。
[0130]
对于使用角内模式预测的cu，可基于角度方向确定滤波强度。可基于沿预测方向在要滤波的样本与角度预测过程中使用的样本之间测量的距离来调整滤波强度。例如，如果角模式接近垂直，则可在cu边界底部附近的区域中应用比在cu边界顶部附近的区域中应用的更强的滤波。如果角模式接近水平，则可在cu边界右侧附近的区域中应用比在cu边界左侧附近的区域中应用的更强的滤波。可通过调整等式(1)中的归一化常数m和/或修改等式(2)中基于cu内的样本位置的滤波参数σ来修改滤波强度。
[0131]
模式依赖性hadamard滤波。
[0132]
在一些实施方案中，可基于cu编码模式修改cu的滤波强度。例如，帧间预测的cu可使用与帧内预测的cu不同的强度来滤波。对于帧间预测的cu，滤波强度可基于cu编码模式，例如合并模式和/或预测模式，例如单预测、双预测、仿射模式等。例如，双预测的cu的滤波强度可比单预测的cu的滤波强度弱，因为双预测模式可比单预测模式更准确。如果cu使用子块模式(例如，子块时间运动矢量预测模式或仿射模式)编码，则预测可比基于cu的预测模式更准确。在这种情况下，滤波强度可比基于cu的预测模式弱。可通过调整等式(1)中的归一化常数m和/或修改等式(2)中基于cu编码模式和/或预测模式的滤波参数σ来修改滤波强度。
[0133]
示例性方法和系统。
[0134]
如图10所示，在一些实施方案中执行的方法包括重构当前样本块中的多个样本(1102)。将变换(诸如hadamard变换)应用(1104)于第一组样本。第一组样本包括当前块中的重构样本的至少子集和当前块外部的至少一个重构样本。应用变换生成了一组原始频谱分量。将滤波器应用(1106)于原始频谱分量中的至少一个原始频谱分量，以生成一组滤波的频谱分量，这组滤波的频谱分量可以是hadamard频谱分量。将逆变换应用(1108)于滤波
的频谱分量，以生成对应于第一组样本的多个滤波的样本。在一些实施方案中，提供了一种具有被配置为执行图10的方法的一个或多个处理器的装置。
[0135]
在一些实施方案中，提供了一种具有用于重构当前样本块中的多个样本的模块的装置。可使用例如求和模块226(图2a)或266(图2b)实现此类模块。可使用hadamard变换的变换模块对第一组样本进行操作。第一组样本包括当前块中的重构样本的至少子集和当前块外部的至少一个重构样本。应用变换生成了一组原始频谱分量。滤波器模块对原始频谱分量中的至少一个原始频谱分量进行操作，以生成一组滤波的频谱分量，这组滤波的频谱分量可以是hadamard频谱分量。逆变换模块对滤波的频谱分量进行操作，以生成对应于第一样本集的多个滤波的样本。可使用环路滤波器模块228(图2a)或268(图2b)实现变换模块、滤波器模块和逆变换模块。
[0136]
在一些实施方案中，设备包括根据本文所述的实施方案中任一项所述的装置，以及以下至少一个：(i)被配置为接收信号的天线，信号包括表示图像的数据，(ii)频带限制器，该频带限制器被配置为将接收信号限制到包括表示图像的数据的频带，或(iii)显示器，该显示器被配置为显示图像。在一些此类实施方案中，设备可以是tv、蜂窝电话、平板或stb。
[0137]
在一些实施方案中，提供了一种包括指令的计算机可读介质，该指令用于致使一个或多个处理器执行图10的方法或本文所述的任何其他方法。计算机可读介质可以是非暂态介质。
[0138]
一种包括指令的计算机程序产品，当程序由一个或多个处理器执行时，该指令致使一个或多个处理器执行图10的方法或本文所述的任何其他方法。计算机程序产品可存储在介质诸如非暂态介质上。
[0139]
编码的比特流结构。
[0140]
图8是示出编码的比特流结构的示例的图示。编码的比特流1300由多个nal(网络抽象层)单元1301组成。nal单元可包含编码的样本数据诸如编码的片段1306，或者高级语法元数据诸如参数集数据、片段标头数据1305或补充增强信息数据1307(其可称为sei消息)。参数集是包含基本语法元素的高层级语法结构，该参数集可应用于多个比特流层(例如，视频参数集1302(vps))，或者可应用于一层内的编码视频序列(例如，序列参数集1303(sps))，或者可应用于一个编码视频序列内的多个编码画面(例如，画面参数集1304(pps))。参数集可与视频比特流的编码画面一起发送，或者通过其他方式(包括使用可靠信道的带外发射、硬编码等)发送。片段标头1305也是高级语法结构，其可包含相对较小或仅对某些片段或画面类型相关的一些与画面相关的信息。sei消息1307携带解码过程可能不需要的信息，但是该信息可用于各种其他目的，诸如画面输出定时或显示以及丢失检测和隐藏。
[0141]
通信设备和系统。
[0142]
图9是示出通信系统的示例的图示。通信系统1400可包括编码器1402、通信网络1404和解码器1406。编码器1402可经由连接1408与网络1404通信，该连接可以是有线连接或无线连接。编码器1402可类似于图2a的基于块的视频编码器。编码器1402可包括单层编解码器(例如，图2a)或多层编解码器。解码器1406可经由连接1410与网络1404通信，该连接可以是有线连接或无线连接。解码器1406可类似于图2b的基于块的视频解码器。解码器
1406可包括单层编解码器(例如，图2b)或多层编解码器。
[0143]
编码器1402和/或解码器1406可结合到多种有线通信设备和/或无线发射/接收单元(cmpu)中，诸如但不限于数字电视机、无线广播系统、网络元件/终端、诸如内容或web服务器(例如，诸如超文本传输协议(http)服务器)的服务器、个人数字助理(pda)、膝上型计算机或台式计算机、平板电脑、数字相机、数字录制设备、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、数字媒体播放器等。
[0144]
通信网络1404可以是合适类型的通信网络。例如，通信系统1404可以是向多个无线用户提供诸如语音、数据、视频、消息、广播等内容的多址接入系统。通信系统1404可使得多个无线用户能够通过共享系统资源(包括无线带宽)访问此类内容。例如，通信网络1404可采用一种或多种信道接入方法，诸如码分多址(cdma)、时分多址(tdma)、频分多址(fdma)、正交fdma(ofdma)、单载波fdma(sc
‑
fdma)等。通信网络1404可包括多个连接的通信网络。通信网络1404可包括互联网和/或一个或多个私有商业网络，诸如蜂窝网络、wifi热点、互联网服务提供商(isp)网络等。
[0145]
进一步的实施方案。
[0146]
在一些实施方案中，视频编码方法包括：重构编码单元中的多个样本或其他样本块；生成编码单元外部的至少一个外推样本的外推值；将hadamard变换应用于一组样本，以生成多个hadamard频谱分量，该组样本包括重构样本的至少子集和至少一个外推样本；将基于频谱的滤波应用于hadamard频谱分量；将逆hadamard变换应用于滤波的hadamard频谱分量，以生成滤波的样本；以及用对应的滤波样本替换编码单元中的重构样本的子集，以生成滤波的编码单元。
[0147]
在一些实施方案中，生成外推值使用以下外推方法中的至少一种来执行：线性、三次、双线性和双三次。
[0148]
在一些实施方案中，编码单元为帧内编码，并且生成外推值使用编码单元的帧内编码模式以帧内预测来执行。
[0149]
在一些实施方案中，编码单元为帧间编码，并且生成外推值使用编码单元的运动矢量以帧间预测来执行。
[0150]
在一些实施方案中，编码单元为帧间编码，并且执行帧间预测包括从参考画面复制整数位置样本。
[0151]
在一些实施方案中，编码单元为帧间编码，并且执行帧间预测包括将运动向量舍入到整数值。
[0152]
在一些实施方案中，编码单元以双预测编码，并且生成外推值使用编码单元的运动信息以双预测来执行。
[0153]
在一些实施方案中，视频编码方法包括：重构编码单元中的多个样本；将hadamard变换应用于一组样本，以生成多个hadamard频谱分量，该组样本包括重构样本的至少子集和与编码单元相邻的行缓冲器中的至少一个样本；将基于频谱的滤波应用于hadamard频谱分量；将逆hadamard变换应用于滤波的hadamard频谱分量，以生成滤波的样本；以及用对应的滤波样本替换编码单元中的重构样本的子集，以生成滤波的编码单元。
[0154]
在一些实施方案中，视频编码方法包括：重构编码单元中的多个样本；将具有至少十六点的hadamard变换应用于一组样本，以生成多个hadamard频谱分量，该组样本包括重
构样本的至少子集；将基于频谱的滤波应用于hadamard频谱分量；将逆hadamard变换应用于滤波的hadamard频谱分量，以生成滤波的样本；以及用对应的滤波样本替换编码单元中的重构样本的子集，以生成滤波的编码单元。
[0155]
在一些实施方案中，至少两种不同的滤波强度用于对除了dc(r(0))分量以外的频谱分量滤波。
[0156]
在一些实施方案中，将频谱分量分组成至少三个频率组，并且将不同的滤波强度应用于不同频率组中的频谱分量。
[0157]
在一些实施方案中，应用于每个频谱分量的滤波强度是与相应频谱分量相关联的频率的函数。滤波强度可以是频率的非递减函数。
[0158]
在一些实施方案中，根据以下公式执行滤波：
[0159][0160]
其中至少两个不同值的m*σ用于不同的频谱分量r(i)。
[0161]
在一些实施方案中，视频编码方法包括重构编码单元中的多个样本；对于每个相应的重构样本，执行滤波方法包括：将hadamard变换应用于一组样本，以生成多个hadamard频谱分量，该组样本包括相应的重构样本；将基于频谱的滤波应用于hadamard频谱分量；将逆hadamard变换应用于滤波的hadamard频谱分量，以生成滤波的样本；以及用对应的滤波样本替换编码单元中的重构样本的子集，以生成滤波的编码单元；其中至少部分地基于编码单元内的相应重构样本的位置确定滤波强度。
[0162]
在一些实施方案中，滤波强度对于朝向编码单元右下的相应重构样本较高，并且对于朝向编码单元左上的相应重构样本较低。
[0163]
在一些实施方案中，编码单元用角内模式编码，并且还至少部分地基于角模式确定滤波强度。
[0164]
在一些实施方案中，视频编码方法包括：重构编码单元中的多个样本，其中编码单元使用编码模式编码；将hadamard变换应用于一组样本，以生成多个hadamard频谱分量，该组样本包括重构样本的至少子集；将基于频谱的滤波应用于hadamard频谱分量，其中至少部分地基于编码模式确定滤波的强度；将逆hadamard变换应用于滤波的hadamard频谱分量，以生成滤波的样本；以及用对应的滤波样本替换编码单元中的重构样本的子集，以生成滤波的编码单元。
[0165]
在一些实施方案中，双预测编码模式的滤波强度低于单预测编码模式。
[0166]
在一些实施方案中，滤波的编码单元存储在解码的画面缓冲器中。
[0167]
在一些实施方案中，一种或多种前述方法由编码器执行。
[0168]
在一些实施方案中，一种或多种前述方法由解码器执行。
[0169]
一些实施方案包括被配置为执行本文所述的任何方法的处理器。在一些此类实施方案中，提供了存储用于执行本文所述的任一种方法的指令的计算机可读介质(例如，非暂态介质)。
[0170]
一些实施方案包括存储使用本文所公开的一种或多种方法编码的视频的计算机
可读介质(例如，非暂态介质)。
[0171]
本公开描述了各个方面，包括工具、特征、实施方案、模型、方法等。具体描述了这些方面中的许多方面，
[0172]
并且至少示出个体特性，通常以可能听起来有限的方式描述。然而，这是为了在描述中清楚，并且不限制那些方面的公开内容或范围。实际上，所有不同的方面可组合和互换以提供进一步的方面。此外，这些方面也可与先前提交中描述的方面组合和互换。
[0173]
本公开中描述和设想的方面可以许多不同的形式实现。虽然具体示出了一些实施方案，但是设想了其他实施方案，并且特定实施方案的讨论并不限制具体实施的广度。这些方面中的至少一个方面通常涉及视频编码和解码，并且至少一个其他方面通常涉及发射生成或编码的比特流。这些和其他方面可实现为方法、装置、其上存储有用于根据所述方法中任一种对视频数据编码或解码的指令的计算机可读存储介质，和/或其上存储有根据所述方法中任一种生成的比特流的计算机可读存储介质。
[0174]
在本公开中，术语“重构的”和“解码的”可互换使用，术语“像素”和“样本”可互换使用，术语“图像”、“画面”和“帧”可互换使用。
[0175]
本文描述了各种方法，并且每种方法包括用于实现所述方法的一个或多个步骤或动作。除非正确操作方法需要特定顺序的步骤或动作，否则可修改或组合特定步骤和/或动作的顺序和/或用途。此外，术语诸如“第一”、“第二”等可用于各种实施方案以修改元件、部件、步骤、操作等，诸如“第一解码”和“第二解码”。除非特定需要，否则使用此类术语并不暗示对修改操作的排序。因此，在这个示例中，第一解码不需要在第二解码之前执行，并且可例如在第二解码之前、期间或重叠的时间段发生。
[0176]
例如，本公开中可使用各种数值。具体值是为了示例性目的，并且所述方面不限于这些具体值。
[0177]
本文所述的实施方案可由处理器或其他硬件或由硬件和软件的组合实现的计算机软件来执行。作为非限制性示例，这些实施方案可由一个或多个集成电路实现。作为非限制性示例，处理器可以是适合于技术环境的任何类型，并且可涵盖微处理器、通用计算机、专用计算机和基于多核架构的处理器中的一者或多者。
[0178]
各种具体实施参与解码。如本公开中所用，“解码”可涵盖例如对接收的编码序列执行的全部或部分过程，以便产生适用于显示的最终输出。在各种实施方案中，此类过程包括通常由解码器执行的一个或多个过程，例如熵解码、逆量化、逆变换和差分解码。在各种实施方案中，此类过程还包括或另选地包括由本公开中所述的各种具体实施的解码器执行的过程，例如，从平铺(打包)画面中提取画面，确定要使用的上采样滤波器，然后对画面上采样，以及将画面翻转回其预期取向。
[0179]
作为进一步的示例，在一个实施方案中，“解码”仅是指熵解码，在另一个实施方案中，“解码”仅是指差分解码，并且在又一个实施方案中，“解码”是指熵解码和差分解码的组合。短语“解码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的解码过程将基于具体描述的上下文而分辨。
[0180]
各种具体实施参与编码。以与上文关于“解码”的讨论类似的方式，如在本公开中使用的“编码”可涵盖例如对输入视频序列执行以便产生编码的比特流的全部或部分过程。在各种实施方案中，此类过程包括通常由编码器执行的一个或多个过程，例如，分区、差分
编码、变换、量化和熵编码。在各种实施方案中，此类过程还包括或另选地包括由本公开中所述的各种具体实施的编码器执行的过程。
[0181]
作为进一步的示例，在一个实施方案中，“编码”仅是指熵编码，在另一个实施方案中，“编码”仅是指差分编码，并且在又一个实施方案中，“编码”是指差分编码和熵编码的组合。短语“编码过程”是否旨在具体地指代操作的子集或一般地指代更广泛的编码过程将基于具体描述的上下文而分辨。
[0182]
当附图呈现为流程图时，应当理解，其还提供了对应装置的框图。类似地，当附图呈现为框图时，应当理解，其还提供了对应的方法/过程的流程图。
[0183]
各种实施方案是指速率失真优化。具体地，在编码过程期间，通常考虑速率和失真之间的平衡或权衡，这常常考虑到计算复杂性的约束。速率失真优化通常表述为最小化速率失真函数，该速率失真函数是速率和失真的加权和。存在不同的方法解决速率失真优化问题。例如，这些方法可基于对所有编码选项(包括所有考虑的模式或编码参数值)的广泛测试，并且完整评估其编码成本以及重构信号在编码和解码之后的相关失真。更快的方法还可用于降低编码复杂性，特别是对基于预测或预测残差信号而不是重构的残差信号的近似失真的计算。也可使用这两种方法的混合，诸如通过仅针对一些可能的编码选项使用近似失真，并且针对其他编码选项使用完全失真。其他方法仅评估可能的编码选项的子集。更一般地，许多方法采用各种技术中任一种来执行优化，但是优化不一定是对编码成本和相关失真两者的完整评估。
[0184]
本文所述的具体实施和方面可在例如方法或过程、装置、软件程序、数据流或信号中实现。即使仅在单个形式的具体实施的上下文中讨论(例如，仅作为方法讨论)，讨论的特征的具体实施也可以其他形式(例如，装置或程序)实现。设备可在例如适当的硬件、软件和固件中实现。方法可在例如一般是指处理设备的处理器中实现，
[0185]
该处理设备包括例如计算机、微处理器、集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如，计算机、蜂窝电话、便携式/个人数字助理(“pda”)以及有利于最终用户之间信息的通信的其他设备。
[0186]
提及“一个实施方案”或“实施方案”或“一个具体实施”或“具体实施”以及它们的其他变型，意味着结合实施方案描述的特定的特征、结构、特性等包括在至少一个实施方案中。因此，短语“在一个实施方案中”或“在实施方案中”或“在一个具体实施中”或“在具体实施中”的出现以及出现在本公开通篇的各个地方的任何其他变型不一定都是指相同的实施方案。
[0187]
此外，本公开可指“确定”各条信息。确定信息可包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一者或多者。
[0188]
此外，本公开可指“访问”各条信息。访问信息可包括例如接收信息、检索信息(例如，从存储器)、存储信息、移动信息、复制信息、计算信息、确定信息、预测信息或估计信息中的一者或多者。
[0189]
此外，本公开可指“接收”各条信息。与“访问”一样，接收旨在为广义的术语。接收信息可包括例如访问信息或检索信息(例如，从存储器)中的一者或多者。此外，在诸如例如存储信息、处理信息、发射信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息的操作期间，“接收”通常以一种方式或另一种方式参与。
[0190]
应当理解，例如，在“a/b”、“a和/或b”以及“a和b中的至少一者”的情况下，使用以下“/”、“和/或”和“至少一种”中的任一种旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或选择两个选项(a和b)。作为进一步的示例，在“a、b和/或c”和“a、b和c中的至少一者”的情况下，此类短语旨在涵盖仅选择第一列出的选项(a)，或仅选择第二列出的选项(b)，或仅选择第三列出的选项(c)，或仅选择第一列出的选项和第二列出的选项(a和b)，或仅选择第一列出的选项和第三列出的选项(a和c)，或仅选择第二列出的选项和第三列出的选项(b和c)，或选择所有三个选项(a和b和c)。这可扩展到列出的尽可能多的项目。
[0191]
而且，如本文所用，词语“发信号通知”是指(除了别的以外)向对应解码器指示某物。例如，在某些实施方案中，编码器发信号通知
[0192]
基于区域的滤波器参数选择以用于去伪影滤波的多个参数中的一个特定参数。这样，在一个实施方案中，在编码器侧和解码器侧两者均使用相同的参数。因此，例如，编码器可将特定参数发射(显式信令)到解码器，使得解码器可使用相同的特定参数。相反，如果解码器已具有特定参数以及其他，则可在不发射(隐式信令)的情况下使用信令，以简单允许解码器知道和选择特定参数。通过避免发射任何实际功能，在各种实施方案中实现了位节省。应当理解，信令可以各种方式实现。例如，在各种实施方案中，使用一个或多个语法元素、标志等将信息发信号通知至对应解码器。虽然前面涉及词语“signal(发信号通知)”的动词形式，但是词语“signal(信号)”在本文也可用作名词。
[0193]
具体实施可产生各种信号，格式化这些信号以携带可例如存储或发射的信息。信息可包括例如用于执行方法的指令或由所述具体实施中的一个具体实施产生的数据。例如，可格式化信号以携带所述实施方案的比特流。可格式化此类信号例如为电磁波(例如，使用频谱的射频部分)或基带信号。格式化可包括例如对数据流编码并且用编码的数据流调制载体。信号携带的信息可以是例如模拟或数字信息。已知的是，信号可通过各种不同的有线或无线链路发射。信号可存储在处理器可读介质上。
[0194]
我们描述了多个实施方案。这些实施方案的特征可在各种权利要求类别和类型中单独地或以任何组合提供。此外，实施方案可包括以下特征、设备或方面中的一个或多个，单独地或以任何组合，跨各种权利要求类别和类型：
[0195]
·
一种比特流或信号，该比特流或信号包括传递根据所述实施方案中任一项生成的信息的语法。
[0196]
·
根据所述实施方案中任一项所述的创建和/或发射和/或接收和/或解码。
[0197]
·
根据所述实施方案中任一项所述的方法、过程、装置、存储指令的介质、存储数据的介质或信号。
[0198]
·
执行根据所述实施方案中任一项所述的滤波方法的电视机、机顶盒、蜂窝电话、平板或其他电子设备。
[0199]
·
执行根据所述实施方案中任一项所述的滤波方法并且显示(例如，使用监视器、屏幕或其他类型的显示器)所得图像的电视机、机顶盒、蜂窝电话、平板或其他电子设备。
[0200]
·
选择(例如，使用调谐器)信道以接收包括编码图像的信号并且执行根据所述实施方案中任一项的滤波的电视机、机顶盒、蜂窝电话、平板或其他电子设备。
[0201]
·
通过空中接收(例如，使用天线)包括编码图像的信号并且执行根据所述实施方
案中任一项的滤波的电视机、机顶盒、蜂窝电话、平板或其他电子设备。
[0202]
需注意，所描述的实施方案中的一个或多个实施方案的各种硬件元件被称为进行(即，执行、实行等)本文结合相应模块所描述的各种功能的“模块”。如本文所用，模块包括被认为适用于给定具体实施的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(asic)、一个或多个现场可编程门阵列(fpga)、一个或多个存储器设备)。每个所述的模块还可包括用于执行被描述为由相应模块执行的一个或多个功能的可执行指令，并且需注意，这些指令可采取以下指令的形式或包括以下指令：硬件(即，硬连线)指令、固件指令、软件指令等，并且可被存储在任何合适的一个或多个非暂态计算机可读介质(诸如通常称为ram、rom等)中。
[0203]
尽管上文以特定组合描述了特征和元件，但是每个特征或元件可单独使用或以与其他特征和元件的任何组合使用。另外，本文所述的方法可在结合于计算机可读介质中以供计算机或处理器执行的计算机程序、软件或固件中实现。计算机可读存储介质的示例包括但不限于只读存储器(rom)、随机存取存储器(ram)、寄存器、高速缓存存储器、半导体存储器设备、磁介质(诸如内置硬盘和可移动磁盘)、磁光介质和光介质(诸如cd
‑
rom磁盘和数字通用光盘(dvd))。与软件相关联的处理器可用于实现用于wtru、ue、终端、基站、rnc或任何主计算机的射频收发器。