专利名称：根据视频编码进行自适应环路滤波的制作方法
技术领域：
本发明总体涉及数字视频处理；更具体地说，涉及根据这种数字视频处理的信号发送(信令)。
背景技术：
已经连续多年研究了用于传送数字媒体(例如，图像、视频、数据等)的通信系统。相对于使用某种形式的视频数据的这种通信系统，以某个帧速率(例如，每秒帧)输出或显示大量的数字图像，以实现适合于输出和消耗的视频信号。在使用视频数据进行操作的多个这种通信系统内，在吞吐量(例如，可从第一位置发送到第二位置的图像帧的数量)和最终要输出或显示的信号的视频和/或图像质量之间可进行平衡(折衷)。本领域未充分地或可接受地提供一种装置，该装置可根据提供充分的或可接受的视频和/或图像质量，将视频数据从第一位置发送到第二位置，确保与通信相关的费用较低、在通信链路的各个端部的通信装置的复杂性较低等。
发明内容
本发明提供了一种设备，包括视频编码器，将输入视频信号进行编码，从而生成输出比特流；并且其中视频编码器 包括至少一个反馈环路，该反馈环路具有通过仅缩放处理进行操作的样本自适应偏置滤波器和自适应环路滤波器，从而使得自适应环路滤波器被实现为从样本自适应偏置滤波器接收样本自适应偏置滤波的输出信号；在视频编码器内逐块或逐条带(slice)地选择性使用自适应环路滤波器；该设备向被实现为接收输出比特流的至少一个附加设备发送信号，多个块或多个条带的附加设备与自适应环路滤波器选择性地滤波的输入视频信号相关联；以及自适应环路滤波器用于根据多个增益值中的每一个进行仅缩放处理。优选地，自适应环路滤波器根据仅缩放处理、仅偏置处理以及缩放和偏置处理而选择性地进行操作。优选地，在第一时间处或在第一时间的期间中，自适应环路滤波器用于根据多个增益值中的第一值进行仅缩放处理；以及在第二时间处或在第二时间的期间中，自适应环路滤波器用于根据多个增益值中的第二值进行仅缩放处理。优选地，设备为第一通信装置；至少一个附加设备为第二通信装置，其通过至少一个通信信道与第一通信装置进行通信，包括输入端，接收输出比特流；以及视频解码器，将输出比特流进行解码，以生成与输入视频信号相对应的输出视频信号，其中，视频解码器包括至少一个附加反馈环路，该附加反馈环路具有根据仅缩放处理进行操作的至少一个附加自适应环路滤波器；并且其中第二通信装置为计算机、膝上型电脑、高清晰度电视、标准清晰度电视、手持式媒体设备、机顶盒以及数字视频光盘播放器中的至少一个。优选地，设备为通信装置，该通信装置在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个内进行操作。本发明还提供了一种设备，包括视频编码器，将输入视频信号进行编码，从而生成输出比特流；并且其中视频编码器包括至少一个反馈环路，该反馈环路具有根据仅缩放处理进行操作的自适应环路滤波器。优选地，在视频编码器内逐块或逐条带地选择性使用自适应环路滤波器；设备向被实现为接收输出比特流的至少一个附加设备发送信号，多个块或多个条带的附加设备与自适应环路滤波器选择性地滤波的输入视频信号相关联。优选地，该设备还包括样本自适应偏置滤波器，包括在具有自适应环路滤波器的至少一个反馈环路，从而使得自适`应环路滤波器被实现为从样本自适应偏置滤波器接收样本自适应偏置滤波的输出信号；并且其中自适应环路滤波器可通过仅缩放处理、仅偏置处理以及缩放和偏置处理而选择性地操作。优选地，该设备还包括样本自适应偏置滤波器，包括在具有自适应环路滤波器的至少一个反馈环路，从而使得自适应环路滤波器被实现为从样本自适应偏置滤波器接收样本自适应偏置滤波的输出信号；并且其中自适应环路滤波器用于根据多个增益值中的每一个进行仅缩放处理。优选地，该设备还包括样本自适应偏置滤波器，包括在具有自适应环路滤波器的至少一个反馈环路，从而使得自适应环路滤波器被实现为从样本自适应偏置滤波器接收样本自适应偏置滤波的输出信号；并且其中在第一时间处或在第一时间的期间中，自适应环路滤波器用于根据第一增益值进行仅缩放处理；以及在第二时间处或在第二时间的期间中，自适应环路滤波器用于根据第二增益值进行仅缩放处理。优选地，设备为第一通信装置；并且还包括第二通信装置，其通过至少一个通信信道与第一通信装置进行通信，包括输入端，接收输出比特流；以及视频解码器，将输出比特流进行解码，以生成与输入视频信号相对应的输出视频信号，其中，视频解码器包括至少一个附加反馈环路，该附加反馈环路具有根据仅缩放处理进行操作的至少一个附加自适应环路滤波器。优选地，第二通信装置为计算机、膝上型电脑、高清晰度电视、标准清晰度电视、手持式媒体设备、机顶盒以及数字视频光盘播放器中的至少一个。优选地，设备为通信装置，该通信装置在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个内进行操作。本发明还提供了一种用于操作通信装置的视频编码器的方法，方法包括操作视频编码器，以将输入视频信号进行编码，从而生成输出比特流；并且其中视频编码器包括至少一个反馈环路，反馈环路具有根据仅缩放处理进行操作的自适应环路滤波器。优选地，该方法还包括操作在视频编码器内逐块或逐条带地选择性使用的自适应环路滤波器；从通信装置向被实现为接收输出比特流的至少一个附加通信装置发送信号，多个块或多个条带的附加通信装置与自适应环路滤波器选择性地滤波的输入视频信号相关联。优选地，该方法还包括操作样本自适应·偏置滤波器，该样本自适应偏置滤波器包括在具有自适应环路滤波器的至少一个反馈环路，以生成样本自适应偏置滤波的输出信号并且将输出信号提供给自适应环路滤波器；并且操作根据仅缩放处理、仅偏置处理以及缩放和偏置处理选择性地进行操作的自适应环路滤波器。优选地，该方法还包括操作样本自适应偏置滤波器，该样本自适应偏置滤波器包括在具有自适应环路滤波器的至少一个反馈环路，以生成样本自适应偏置滤波的输出信号并且将输出信号提供给自适应环路滤波器；并且其中自适应环路滤波器用于根据多个增益值中的每一个进行仅缩放处理。优选地，该方法还包括操作样本自适应偏置滤波器，该样本自适应偏置滤波器包括在具有自适应环路滤波器的至少一个反馈环路，以生成样本自适应偏置滤波的输出信号并且将输出信号提供给自适应环路滤波器；在第一时间处或在第一时间的期间中，操作自适应环路滤波器，自适应环路滤波器用于根据第一增益值进行仅缩放处理；以及在第二时间处或在第二时间的期间中，操作自适应环路滤波器，自适应环路滤波器用于根据第二增益值进行仅缩放处理。优选地，该方法还包括通过以下方式操作附加通信装置，附加通信装置通过至少一个通信信道与第一通信装置进行通信接收输出比特流；以及操作视频解码器，以将输出比特流进行解码，以生成与输入视频信号相对应的输出视频信号，其中，视频解码器包括至少一个附加反馈环路，该附加反馈环路具有根据仅缩放处理进行操作的至少一个附加自适应环路滤波器，其中，附加通信装置为计算机、膝上型电脑、高清晰度电视、标准清晰度电视、手持式媒体设备、机顶盒以及数字视频光盘播放器中的至少一个。优选地，通信装置在卫星通信系统、无线通信系统、有线通信系统、光纤通信系统以及移动通信系统中的至少一个内进行操作。
图1和图2示出了通信系统的各种实施方式；图3A示出了计算机的一个实施方式；图3B示出了膝上型电脑的一个实施方式；
图3C示出了高清晰度(HD)电视的一个实施方式；图3D示出了标准清晰度(SD)电视的一个实施方式；图3E示出了手持式媒体设备的一个实施方式；图3F示出了机顶盒(STB)的一个实施方式；图3G示出了数字视频光盘(DVD)播放器的一个实施方式；图3H示出了通用数字图像和/或视频处理装置的一个实施方式；图4、图5和图6是示出了视频编码结构的各种实施方式的示图；图7是示出了帧内预测处理的一个实施方式的示图；图8是示出了帧间预测处理的一个实施方式的示图；图9和图10是示出了视频解码结构的各种实施方式的示图；图11、图12、图13、图14和图15是示出了视频编码结构的各种实施方式的示图，各个视频编码结构分别包括自适应环路滤波；图16A和图16B示出了根据视频编码(例如，在一个或多个通信装置内)执行的方法的各种实施方式。
具体实施例方式在使用数字媒体 (诸如数字视频)的许多装置内，使用像素表示这些装置各自的图像，这些图像本质上为数字的。在某些通信系统内，可将数字媒体从第一位置发送到可输出或显示这种媒体的第二位置。数字通信系统(包括用于传送数字视频的那些通信系统)的目的在于将数字数据从一个位置或子系统中没有误差或以较低的可接受的误差率地发送到另一个位置或子系统中。如图1中所示，在各种通信系统内，可通过各种通信信道传送数据磁性媒体、有线、无线、纤维、铜和/或其他类型的媒体。图1和图2是分别示出了通信系统100和200的各种实施方式的示图。参看图1，通信系统100的这个实施方式为通信信道199，该通信信道将位于通信信道199 一端的通信装置110 (包括具有编码器114的发送器112和具有解码器118的接收器116)连通地耦合至位于通信信道199另一端的另一个通信装置120 (包括具有编码器128的发送器126和具有解码器124的接收器122)。在某些实施方式中，通信装置110和120中的任一个可仅包括发送器或接收器。存在几种不同类型的媒体，通过这些媒体，可实现通信信道199 (例如，使用碟形卫星天线132和134的卫星通信信道130、使用塔142和144和/或本地天线152和154的无线通信信道140、有线通信信道150、和/或使用电光(E/0)接口 162和光电(0/E)接口 164的光纤通信信道160)。此外，可实现多于一种的媒体，并将它们结合在一起，从而形成通信信道199。应注意，在不背离本发明的范围和精神的情况下，这种通信装置110和/或120可为固定或移动式。例如，通信装置Iio和/或120可在固定的位置上实现，或者可为移动通信装置，能够与多于一个的网络接入点相关联和/或通信(例如，包括一个或多个无线局域网(WLAN)的移动通信系统环境中的各个不同的接入点(AP)、包括一个或多个卫星的移动通信系统环境中的各个不同的卫星、或者通常为包括一个或多个网络接入点的移动通信系统环境中的各个不同的网络接入点，通过这些接入点，通信装置110和/或120可实现通信)。
为了减少通信系统内不期望产生的传送错误，通常使用纠错和信道编码方案。通常，这些纠错和信道编码方案包括在通信信道199的发送器端使用编码器以及在通信信道199的接收器端使用解码器。在任何这种所需要的通信系统(例如,包括图1中所述的那些变形)、任何信息储存装置(例如，硬盘驱动器(HDD)、网络信息储存装置和/或服务器等)、或需要进行信息编码和/或解码的任何应用程序中，可使用上述各种ECC代码中的任何一种。一般而言，当考虑将视频数据从一个位置或子系统传送到另一个位置或子系统的通信系统时，通常可将视频数据编码视为在通信信道199的发送端进行，并且通常可将视频数据解码视为在通信信道199的接收端进行。同样，尽管该示图的实施方式示出了能够在通信装置110和120之间进行的双向通信，当然应注意，在某些实施方式中，通信装置110可仅包括视频数据编码能力，通信装置120可仅包括视频数据解码能力，反之亦然(例如，在诸如根据视频广播实施方式的单向通信实施方式中)。参看图2的通信系统200，在通信信道199的发送端，将信息比特201 (例如，特别与一个实施方式中的视频数据对应)提供给发送器297，该发送器可用于使用编码器和符号映射器220 (分别可视为不同的功能块222和224)将这些信息比特201进行编码，从而生成一系列离散值调制符号203，将这些符号提供给发送驱动器230，该驱动器使用DAC(数模转换器)232以生成连续时间发送信号204并且使用发送滤波器234生成滤波的连续时间发送信号205，该发送信号基本适合于通信信道299。在通信信道299的接收端，将连续时间接收信号206提供给AFE (模拟前端)260，该模拟前端包括接收滤波器262 (生成滤波的连续时间接收信号207)以及ADC (模数转换器)264 (生成离散时间接收信号208)。度量发生器270计算度量209 (例如，根据符号和/或比特)，解码器280使用该度量，最佳地估计在其中进行编码的离散值调制 符号和信息比特210。在发送器297和接收器298的每个内，可以实现其内各种元件、模块、功能块、电路等的任何所需要的结合。例如，该示图示出了处理模块280a，包括编码器和符号映射器220以及其中所有相关联的相应元件，并且示出了处理模块280b，包括度量发生器270和解码器280以及其中所有相关的相应元件。这种处理模块280a和280b可为各自的集成电路。当然，在不背离本发明的范围和精神的情况下，可替代地执行其他划界和分组。例如，发送器297内的所有元件可包括在第一处理模块或集成电路内，并且接收器298内的所有元件可包括在第二处理模块或集成电路内。或者，在其他实施方式中，可对发送器297和接收器298的每个内的元件进行任何其他组合。与上述实施方式一样，这种通信系统200可用于通信视频数据，将视频数据从一个位置或子系统中传送到另一个位置或子系统中(例如，通过通信信道299从发送器297传送到接收器298)。以下图3A至图3H中所示的任何不同装置可进行数字图像和/或媒体的数字图像和/或视频处理，从而允许用户观看这种数字图像和/或视频。这些不同的装置不包括穷举的装置清单，在这些装置中，可实行本文中所述的图像和/或视频处理，并且应注意在不背离本发明的范围和精神的情况下，任何通用数字图像和/或视频处理装置都可实现为进行本文中所述的处理。
图3A示出了计算机301的一个实施方式。计算机301可为台式计算机、或连接到储存阵列(如独立磁盘冗余阵列(RAID))的主机的企业储存装置(诸如服务器)、储存路由器、边界路由器、储存开关和/或储存导向器。用户能够使用计算机301观看静止数字图像和/或视频(例如，一系列数字图像)。通常，计算机301上包括各种图像和/或视频查看程序和/或媒体播放器程序，从而允许用户观看这种图像(包括视频)。图3B示出了膝上型计算机302的一个实施方式。这种膝上型计算机302可位于并且用于任何多种环境中。近年来，随着膝上型计算机内处理能力和功能的日益增长，在本应使用先前高端的并且更强大的台式计算机的多种情况下，使用了膝上型计算机。与计算机301 —样，膝上型计算机302可包括各种图像查看程序和/或媒体播放器程序，从而允许用户观看这种图像(包括视频)。图3C示出了高清晰度(HD)电视303的一个实施方式。很多HD电视303包括集成调谐器，从而允许接收、处理并解码其上的媒体内容(例如，电视广播信号)。或者，有时，HD电视303从诸如数字视频光盘(DVD)播放器、机顶盒(STB)的另一个源接收媒体内容，该机顶盒接收、处理并解码有 线和/或卫星电视广播信号。无论是否具体实现，HD电视303都可如本文中所述实现为进行图像和/或视频处理。一般而言，HD电视303能够显示HD媒体内容，并且通常实现为具有16:9的宽屏纵横比。图3D示出了标准清晰度(SD)电视304的一个实施方式。当然，SD电视304与HD电视303略微相似，至少一个差别在于，SD电视304不能显示HD媒体内容，并且SD电视304通常实现为具有4:3的全屏纵横比。尽管如此，甚至SD电视304可实现为进行本文中所述的图像和/或视频处理。图3E不出了手持式媒体设备305的一个实施方式。手持式媒体设备305可用于提供通用储存或图像和/或视频内容信息储存，诸如联合图像专家组(JPEG)文件、标记图像文件格式(TIFF)、位图、运动图像专家组(MPEG)文件、视窗系统媒体(Windows Media)(WMA/WMV)文件、为用户回放的MPEG4文件等其他类型的视频内容、和/或可以数字格式储存的任何其他类型的信息。过去，这种手持式媒体设备主要用于储存和回放音频媒体；然而，这种手持式媒体设备305可用于储存和回放任何虚拟的媒体(例如，音频媒体、视频媒体、摄影媒体等)。而且，这种手持式媒体设备305也可包括其他功能，例如用于进行有线和无线通信的集成通信电路。这种手持式媒体设备305可实现为进行本文中所述的图像和/或视频处理。图3F示出了机顶盒(STB)306的一个实施方式。如上所述，有时，STB 306可实现为接收、处理并解码提供给任何合适的显示功能装置(诸如SD电视304和/或HD电视303)的有线和/或卫星电视广播信号。这种STB 306可单独操作或与这种显示功能装置共同操作，从而进行本文中所述的图像和/或视频处理。图3G示出了数字视频光盘(DVD)播放器307的一个实施方式。在不背离本发明的范围和精神的情况下，这种DVD播放器可为蓝光DVD播放器、HD功能DVD播放器、SD功能DVD播放器、上采样功能DVD播放器(例如，从SD到HD等)。DVD播放器可将信号提供给任何合适的显示功能装置，诸如SD电视304和HD电视303。DVD播放器305可实现为进行本文中所述的图像和/或视频处理。图3H示出了通用数字图像和/或视频处理装置308的一个实施方式。再次，如上所述，上述这些不同的装置不包括穷举的装置清单，在这些装置中，可实行本文中所述的图像和/或视频处理，并且应注意在不背离本发明的范围和精神的情况下，任何通用数字图像和/或视频处理装置308都可以被实现为进行本文中所述的图像和/或视频处理。图4、图5和图6是分别示出了视频编码结构的各种实施方式400、500和600的示图。参看图4的实施方式400，该图中可见，输入视频信号由视频编码器接收。在某些实施方式中，输入视频信号由编码单元(CU)或宏块(MB)构成。这种编码单元或宏块的尺寸可变化，并且可包括通常设置为方形的多个像素。在一个实施方式中，这种编码单元或宏块的尺寸为16X16像素。然而，通常应注意，宏块的可具有任何所需要的尺寸，例如，NXN像素，其中N为整数。当然，虽然在优选的实施方式中使用方形编码单元或宏块，但是某些实施方式可包括非方形编码单元或宏块。输入视频信号通常可与原始帧(或图片)图像数据对应。例如，原始帧(或图片)图像数据可进行处理，从而生成亮度和色度样本。在某些实施方式中，宏块内的这组亮度样本具有一个特定配置(例如，16X16)，并且这组色度样本具有一个不同的特定配置(例如，8X8)。根据本文中所示的实施方式，视频编码器逐块处理这些样本。然后，输入视频信号进行模式选择，通过该模式选择，输入视频信号选择性地进行帧内和/或帧间预测处理。一般而言，输入视频信号沿着压缩路径进行压缩。当未使用反馈(例如，未根据帧间预测或帧内预测)进行操作时，通过压缩路径提供输入视频信号，从而进行转换操作(例如，根据离散余弦转换(DCT))。当然，在可选的实施方式中也可使用其他转换。在该操作模式中，压缩输入视频信号本身。在进行压缩时，压缩路径可利用人眼缺乏高频率灵敏度这一事实。然而，通过选择性使用帧间或帧内预测视频编码，可沿着压缩路径使用反馈。根据反馈或预测的操作模式，该压缩路径对(较低能量)余量(例如，差值)进行操作，该余量是从当前宏块中减去当前宏块 的预测值而得到的。根据在指定的情况下使用哪种形式的预测，基于该帧(或图片)的至少一部分或基于至少一个其他帧(或图片)的至少一部分，生成当前宏块和该宏块的预测值之间的余量或差值。然后，所生成的修改后视频信号沿着压缩路径进行转换操作。在一个实施方式中，离散余弦转换(DCT)对一组视频样本(例如，亮度、色度、余量等)进行操作，从而计算预定数量的基础模式中每个各自的系数值。例如，一个实施方式包括64个基函数(例如，用于8 X 8样本)。一般而言，不同的实施方式可使用不同数量的基函数(例如，不同的转换)。各个基函数(包括其合适的和选择性的加权)的任意组合可用于表示指定的一组视频样本。在与视频编码相关的技术文献(包括如上所述通过引用并入的那些标准/草案标准)中，描述了与进行转换操作的各种方法相关的附加细节。转换处理的输出包括这样的各自的系数值。将该输出提供给量化器(数字转换器)。一般而言，大部分图像块通常会产生系数(例如，在根据离散余弦转换(DCT)进行操作的一个实施方式中的DCT系数)，从而最相关的DCT系数具有更低的频率。正因如此，并且由于人眼对高频视觉效果具有较差的灵敏度，所以数字转换器可用于将大部分不太相关的系数转换成零值。即，根据量化处理，可消除相对贡献低于某个预定值(例如，某个阈值)的那些系数。数字转换器也可用于将重要的系数转换成与来自转换处理的结果相比能更有效地编码的值。例如，通过用整数值除每个系数并且丢弃任何余数，从而可操作该量化处理。在对普通的编码单元或宏块进行操作时，这种处理通常产生数量较少的非零系数，然后，根据反馈路径，可将这些非零系数传送给熵编码器，以进行无损编码和使用，并且该反馈路径根据视频编码可选择帧内预测和/或帧间预测处理。熵编码器根据无损压缩编码处理进行操作。相比之下，量化操作通常有损。熵编码处理对量化处理所提供的系数进行操作。那些系数可表示各种特性(例如，亮度、色度、余量等)。熵编码器可使用各种编码。例如，熵编码器可进行环境自适应的二进制算术编码(CABAC)和/或环境自适应可变长度代码(CAVLC)。例如，根据至少一部分熵编码方案，将数据转换成(列，行)配对((run, level) pairing)(例如,数据14、3、0、4、0、0、-3会转换成各个(列，行)对(0，14)，(0,3),(1,4), (2，-3))。可提前准备表格，为值对分配可变的长度代码，从而将较短的长度代码分配给比较常见的值对，并且将较长的长度代码分配给不太常见的值对。应理解的是，反量化和反转换的操作分别对应于量化和转换操作。例如，在转换操作内使用DCT的实施方式中，在反转换操作内使用反DCT (IDCT)0图像缓冲器，或者称为数字图像缓冲器或DPB，从IDCT模块接收信号；图像缓冲器用于储存当前帧(或图像)和/或一个或多个其他帧(或图像)，这些帧可根据帧内预测和/或帧间预测操作使用，这些预测操作可根据视频编码来进行。应注意根据帧内预测，较小的储存量足矣，这是因为，无需在帧(或图像)序列内储存当前帧(或图像)或任何其他的帧(或图像)。根据视频编码进行帧间预测的情况下，可使用这些储存的信息，用于进行运动补偿和/或运动估计。 在一个可能的实施方式中，为了进行运动估计，在帧(或图像)序列内(例如，根据帧间预测)，将当前帧(或图像)的各组亮度样本(例如，16 X 16 )与其他帧(或图像)内各个缓冲的对应物进行比较。在一个可能的实施方式中，定位最接近匹配区域(例如，预测基准)，并且产生向量偏移(例如，运动向量)。在单个帧(或图像)内，可发现有多个运动向量，并且并非所有的运动向量需要指向相同的方向。根据运动估计所进行的一个或多个操作用于生成一个或多个运动向量。运动补偿用于使用一个或多个运动向量，这些运动向量可根据运动估计而生成。识别并传输预测基准组的样本以希望试图从原始输入视频信号中减去，从而生成比较(例如，理想地，非常地)低的能量余量。如果这种操作不会产生更低的能量余量，那么不需要进行运动补偿，并且转换操作可仅对原始输入视频信号进行操作，而不对余量进行操作(例如，根据以下操作模式将输入视频信号直接提供给转换操作，从而不进行帧内预测或帧间预测)，或者可使用帧内预测，并且在帧间预测产生的余量上进行转换操作。而且，如果运动估计和/或运动补偿操作成功，那么可将运动向量与相应的余量的系数一起发送给熵编码器，用于进行无损熵编码。整个视频编码操作的输出为输出比特流。应注意，根据生成可通过通信信道发送的连续时间信号，这种输出比特流当然可进行某种操作。例如，某些实施方式在无线通信系统内进行操作。在这种情况下，输出比特流可进行适当的数模转换、频率转换、缩放、滤波、调制、符号映射和/或无线通信装置内的任何其他的操作，其用于生成能够通过通信信道发送的连续时间信号等。
参看图5的实施方式500，在该图中可见，输入视频信号由视频编码器接收。在某些实施方式中，输入视频信号由编码单元或宏块构成(和/或可分成编码单元(CU))。这种编码单元或宏块的尺寸可变化，并且可包括通常设置为方形的多个像素。在一个实施方式中，这种编码单元或宏块的尺寸为16X16像素。然而，通常应注意宏块的可具有任何所需要的尺寸，诸如，NXN像素，其中N为整数。当然，虽然在优选的实施方式中使用方形编码单元或宏块，但是某些实施方式可包括非方形编码单元或宏块。输入视频信号通常可与原始帧(或图片)图像数据对应。例如，原始帧(或图片)图像数据可进行处理，从而生成亮度和色度样本。在某些实施方式中，宏块内的这组亮度样本具有一个特定配置(例如，16X16)，并且这组色度样本具有一个不同的特定配置(例如，8X8)。根据本文中所述的实施方式，视频编码器逐块处理这些样本。然后，输入视频信号进行模式选择，通过该模式选择，输入视频信号选择性地进行帧内和/或帧间预测处理。一般而言，输入视频信号沿着压缩路径进行压缩。在未使用反馈(例如，未根据帧间预测或帧内预测)进行操作时，通过压缩路径提供输入视频信号，从而进行转换操作(例如，根据离散余弦转换(DCT))。当然，在可选的实施方式中也可使用其他的转换，在该操作模式中，压缩输入视频信号本身。在进行压缩时，压缩路径可利用人眼缺乏高频率灵敏度这一事实。然而，通过选择性使用帧间或帧内预测视频编码，可沿着压缩路径使用反馈。根据反馈或预测的操作模式，该压缩路径对(较低能量)余量(例如，差值)进行操作，该余量是从当前宏块中减去当前宏块的预测值而得到的。根据在指定的情况下使用哪种预测形式，基于该帧(或图片)的至少一部分或基于至少一个其他帧(或图片)的至少一部分，生成当前宏块和该宏块的预测值之间的余量或差值。
然后，所生成的修改后的视频信号沿着压缩路径进行转换操作。在一个实施方式中，离散余弦转换(DCT)对一组视频样本(例如，亮度、色度、余量等)进行操作，从而计算预定数量的基础模式中每一个各自的系数值。例如，一个实施方式包括64个基函数(例如，用于8X8样本)。一般而言，不同的实施方式可使用不同数量的基函数(例如，不同的转换)。各个基函数(包括其合适的和选择性的加权)的任意组合可用于表示指定的一组视频样本。在与视频编码相关的技术文献(包括如上所述通过引用并入的那些标准/草案标准)中，描述了与进行转换操作的各种方法相关的附加细节。转换处理的输出包括这种各自的系数值。将该输出提供给量化器。一般而言，大部分图像块通常会产生系数(例如，在根据离散余弦转换(DCT)进行操作的一个实施方式中的DCT系数)，从而最相关的DCT系数具有更低的频率。正因如此，并且由于人眼对高频视觉效果具有较差的灵敏度，所以数字转换器可用于将大部分不太相关的系数转换成零值。即，根据量化处理，可消除相对贡献低于某个预定值(例如，某个阈值)的那些系数。量化器也可用于将重要的系数转换成与来自转换处理的结果的那些相比可更有效地进行编码的值。例如，可通过用整数值除各个系数并且丢弃任何余数，操作该量化处理。在对普通的编码单元或宏块进行操作时，这种处理通常产生数量较少的非零系数，然后，根据反馈路径，可将这些非零系数传送给熵编码器，以进行无损编码和使用，并且该反馈路径可根据视频编码选择帧内预测和/或帧间预测处理。熵编码器根据无损压缩编码处理进行操作。相比之下，量化操作通常有损。熵编码处理对量化处理所提供的系数进行操作。那些系数可表示各种特征(例如，亮度、色度、余量等)。熵编码器可使用各种类型的编码。例如，熵编码器可进行环境自适应二进制算术编码(CABAC)和/或环境自适应可变长度编码(CAVLC)。例如，根据至少一部分熵编码方案，将数据转换成(列，行)配对(例如，数据14、3、0、4、0、0、-3会转换成各个(列，行)对(O，14)，(0,3),(1,4), (2，-3))。可提前准备表格，为值对分配可变的长度代码，从而将较短的长度代码分配给比较常见的值对，并且将较长的长度代码分配给不太常见的值对。应理解的是，反量化和反转换操作分别对应于量化和转换操作。例如，在转换操作内使用DCT的实施方式中，在反转换操作内使用反DCT (IDCT)0在某些可选的实施方式中，将去块滤波器的输出提供给一个或多个其他的环路滤波器(例如，根据样本自适应偏置(SAO)滤波器、自适应环路滤波器(ALF)、和/或任何其他类型的滤波器实现)，这些环路滤波器实现为处理反转换块的输出。例如，这种自适应环路滤波器(ALF)可实现为处理去块滤波器的输出，或者这种ALF可实现为处理首先从去块滤波器接收输出的样本自适应偏置(SAO)滤波器的输出。在储存在图片缓冲器(往往称为DPB、数字图片缓冲器)内之前，将这种自适应环路滤波器(ALF)应用于解码的图片中。自适应环路滤波器(ALF)可实现为减少解码图片的编码噪声，并且无论是否逐条带或逐块应用自适应环路滤波器(ALF)，都可为亮度和色度逐条带地选择性地应用其滤波。在应用自适应环路滤波器(ALF)时，可使用二维2-D有限脉冲响应(FIR)滤波。在编码器处可逐条带设计滤波器的系数，然后，将这种信息用信号发送给解码器(例如，从包括视频编码器(或者称为编码器)的发送器通信装置用信号发送到包括视频解码器(或者称为解码器)的接收器通信装置中)。一个实施 方式通过根据维纳(Wiener)滤波设计生成系数进行操作。此外，无论是否进行滤波，都在编码器处逐块进行应用，然后，基于四叉树结构，将这种决定用信号发送给解码器(例如，从包括视频编码器(或者称为编码器)的发送器通信装置用信号发送到包括视频解码器(或者称为解码器)的接收器通信装置中)，其中，根据率失真优化，决定该块的尺寸。应注意，使用这种2-D滤波的实现方式根据编码和解码，会产生一定程度的复杂性。例如，根据和实现自适应环路滤波器(ALF)，使用2-D滤波，在发送器通信装置内以及在接收器通信装置内实现的解码器内，会一定程度上增加复杂性。对于一种环路滤波器，使用自适应环路滤波器(ALF)，可根据这种视频处理提供大量的改进，其包括通过来自执行随机量化去噪的峰值信噪比(PSNR)所实现的客观质量测量的改善。此外，通过照明补偿，可实现随后编码的视频信号的主观质量，这种照明补偿可通过根据自适应环路滤波器(ALF)进行偏置处理和缩放处理(例如，根据应用增益的有限脉冲响应(FIR)滤波)产生。图像缓冲器或者称为数字图像缓冲器或DPB，从ALF接收信号输出；图像缓冲器用于储存当前帧(或图像)和/或一个或多个其他的帧(或图像)，这些帧可根据帧内预测和/或帧间预测操作而使用，这些预测操作可根据视频编码而进行。应注意，根据帧内预测，较小的储存量足矣，这是因为，无需在帧(或图像)序列内储存当前帧(或图像)或任何其他的帧(或图像)。在根据视频编码进行帧间预测的情况下，可使用这种储存的信息，用于进行运动补偿和/或运动估计。在一个可能的实施方式中，为了进行运动估计，在帧(或图像)序列内(例如，根据帧间预测)，将当前帧(或图像)的各组亮度样本(例如，16 X 16 )与其他帧(或图像)内各个缓冲的对应物进行比较。在一个可能的实施方式中，定位最接近匹配区域(例如，预测基准)，并且产生向量偏移(例如，运动向量)。在单个帧(或图像)内，可发现有多个运动向量，并且并非所有的运动向量需要指向相同的方向。根据运动估计所进行的一个或多个操作用于生成一个或多个运动向量。运动补偿用于使用一个或多个运动向量，这些运动向量可根据运动估计而生成。识别并传输预测基准组的样本以希望试图从原始输入视频信号中减去，从而生成比较(例如，理想地，非常地)低的能量余量。如果这种操作不会产生更低的能量余量，那么不需要进行运动补偿，并且转换操作可仅对原始输入视频信号进行操作，而不对余量进行操作(例如，根据以下操作模式将输入视频信号直接提供给转换操作，从而不进行帧内预测或帧间预测)，或者可使用帧内预测，并且在帧间预测产生的余量上进行转换操作。而且，如果运动估计和/或运动补偿操作成功，那么可将运动向量与相应的余量的系数一起发送给熵编码器，用于进行无损熵编码。整个视频编码操作的输出为输出比特流。应注意，根据生成可通过通信信道发送的连续时间信号，这种输出比特流当然可进行某种操作。例如，某些实施方式在无线通信系统内进行操作。在这种情况下，输出比特流可进行适当的数模转换、频率转换、缩放、滤波、调制、符号映射和/或无线通信装置内的任何其他的操作，其用于生成能够通过通信信道发送的连续时间信号等。参看图6的实施方式600，该图描述了视频编码器的可选实施方式，这种视频编码器进行预测、转换以及编码处理，从而产生压缩的输出比特流。这种视频编码器可根据且遵照一个或多个视频编码协议、标准和/或推荐实践进行操作，例如，IS0/IEC14496-10-MPEG-4部分10，AVC(高级视频编码)，或者称为H. 264/MPEG-4部分10或AVC(高级视频编码)、ITU H. 264/MPEG4-AVC。应注意，例如位于装置内在通信信道的另一端的相应的视频解码器，用于进行解码、反转换和重构的互补处理，从而`产生各个解码的视频序列，其(理想地)表示输入视频信号。该图中可见，可使用可选的装置和结构，用于进行视频编码。一般而言，编码器处理输入视频信号(例如，通常以编码单元或宏块为单位构成，通常为方形并且其中包括NXN个像素)。视频编码根据先前编码的数据确定当前宏块的预测。这个先前编码的数据可来自当前帧(或图像)本身(例如，根据帧内预测)或来自已经编码的一个或多个其他帧(或图像)(例如，根据帧间预测)。视频编码器减去当前宏块的预测从而形成余量。一般而言，帧内预测用于使用一个或多个特定尺寸(例如，16X16、8X8或4X4)的块尺寸，在同一帧(或图像)内从周围先前编码的像素预测当前宏块。一般而言，帧间预测用于使用一定范围的块尺寸(例如，16X16向下到4X4)，从选自一个或多个先前编码的帧(或图片)内的区域，预测当前帧(或图像)内的像素。对于转换和量化操作，剩余样本的块可使用特定的转换(例如，4X4或8X8)进行转换。这种转换的一个可能的实施方式根据离散余弦转换(DCT)进行操作。转换操作输出一组系数，使得各个系数对应于与转换相关的一个或多个基函数的各个权重值。在进行转换之后，将转换系数的块量化(例如，各个系数可用整数值来除并且可丢弃任何相关的余数，或者可乘以整数值)。量化处理通常本质上有损，并且可根据量化参数(QP)降低转换系数的精度。通常，与指定宏块相关的许多系数为零，并且仅剩下一些非零系数。通常，较高的QP设置用于产生更大比例的零值系数以及更小量的非零值系数，从而以解码的图像质量较差为代价，具有较高的压缩(例如，较低的编码比特率);较低的QP设置用于允许量化后维持更多的非零系数以及更大量的非零系数，结果在具有较好的解码图像质量时，具有较低的压缩(例如，较高的编码比特率)。视频编码处理产生大量被编码从而形成压缩的比特率的值。这种值的实例包括量化的转换系数、解码器用于重新产生适当的预测的信息、编码过程中使用的压缩数据和压缩工具的结构相关的信息、有关完整视频序列的信息等。这种值和/或参数(例如，语法元素)可在根据CABAC、CAVLC或某个其他的熵编码方案进行操作的熵编码器内进行编码，以产生可储存、发送(例如，进行适当的处理以生成适合通信信道的连续时间信号之后)的输出比特流等。在使用反馈路径进行操作的一个实施方式中，转换和量化输出进行反量化和反转换。根据视频编码，可进行帧内预测和/或帧间预测。而且，根据这种视频编码，可进行运动补偿和/或运动估计。将从反量化和反转换(例如IDCT)块中输出的信号路径提供给帧内预测块，同样也提供给去块滤波器。将去块滤波器的输出提供给一个或多个其他环路滤波器(例如，根据自适应环路滤波器(ALF)、样本自适应偏置(SAO)滤波器和/或任何其他的滤波器类型而实现)，这些环路滤波器被实现为处理反转换块的输出。例如，在一个可能的实施方式中，在储存在图片缓冲器(再次，有时或可称为DPB、数字图片缓冲器)内之前，ALF可应用至解码的图片。该ALF可实现为减少解码图片的编码噪声，并且无论是否逐条带或逐块应用ALF，都可为亮度和色度逐条带地选择性应用其滤波。在应用ALF时，可使用二维2-D有限脉冲响应(FIR)滤波。滤波器的系数可在编码器处逐条带设计，并且然后，将这种信息用信号发送给解码器(从包括视频编码器(或者称为编码器)的发送器通信装置用信号发送到包括视频解码器(或者称为解码器)的接收器通信装置)。一个实施方式根据维纳滤波设计生成系数。此外，无论是否进行滤波，其都在编码器处逐块应用，并且然后，基于四叉树结构，将这种决定用信号发送给解码器(例如，从包括视频编码器(或者称为编码器)的发送器通信装置用信号发送到包括视频解码器(或者称为解码器)的接收器通信装置)，其中，根据率失真优化，决定该块的尺寸。应注意，使用这种2-D滤波的实现方式可根据编码和解码，会引起一定程度的复杂性。例如，根据和实现ALF，使用2-D滤波，在发送器通信装置内实现的编码器以及在接收器通信装置内使用的解码器内，会一定程度地增大复杂性。 如其他实施方式中所述，使用ALF，可根据这种视频处理，提供大量的改进，包括通过进行随机量化噪声去除，由峰值信噪比(PSNR)提高客观质量测量。此外，通过照明补偿，可实现随后编码的视频信号的主观质量，通过根据ALF进行偏置处理和缩放处理(例如，根据应用增益的FIR滤波)，可产生这种照明补偿。对于实现为生成输出比特流的任何视频编码器结构而言，应注意，在多个通信装置内的任何装置内，可实现这种结构。输出比特流可进行附加处理，包括纠错码(ECC)、向前纠错(FEC)等，从而生成其中具 有附加冗余协议的修改后的输出比特流。同样，对于这种数字信号应理解的是，根据生成适合于或适用于通过通信信道进行传送的连续时间信号，可进行任何适当的处理。即，在通信装置内可实现这种视频编码器结构，该通信装置用于通过一个或多个通信信道传送一个或多个信号。可对这种视频编码器结构所生成的输出比特流进行附加处理，从而生成可发送到通信信道中的连续时间信号。图7是示出了帧内预测处理的一个实施方式700的示图。从该图中可看出，视频数据的当前块(例如，通常为方形并且通常包括NXN像素)进行处理，从而估计其中的各个像素。根据这种帧内预测，使用位于当前块的上面以及左边的先前编码的像素。从某些角度来看，可将帧内预测视为与从当前像素延伸到位于当前块的上面以及左边的基准像素的向量对应。用于根据H. 264/AVC进行编码的帧内预测的细节在相应的标准内规定(例如，国际电信联盟，ITU-T, TELECOMMUNICATION STANDARDIZATION SECTOR OFITU, H. 264 (03/2010), SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS，视听业务的基础设施-移动视频编码，为通用视听业务进行高级视频编码，Recommendation ITU-T H. 264，也或者称为 International Telecomm IS0/IEC 14496-10-MPEG-4 第 10 部分，AVC (高级视频编码)，H. 264/MPEG-4第10部分或AVC (高级视频编码)，ITU H. 264/MPEG4-AVC，或其等同物)。该余量为当前像素和基准或预测像素之间的差值，并且被进行编码。从该图中可见，在共同帧(或图像)内，帧内预测使用像素进行操作。当然应注意，指定的像素可具有与其相关联的不同的部件，并且对于各个部件可具有不同的几组样本。图8是示出了帧间预测处理的一个实施方式800的示图。与帧内预测相比，帧间预测用于基于在当前帧(或图片)内的当前的一组像素以及在帧(或图片)序列内的一个或多个其他帧(或图片)内的一组或多组基准或预测像素，识别运动向量(例如，帧间预测方向)。可见，运动向量在帧(或图片)序列内从当前帧(或图片)延伸到另一帧(或图片)。帧间预测可使用子像素插值，从而使得预测像素值对应于基准帧或图像内多个像素的函数。虽然这种余量与根据帧内预测处理计算的余量不同，但是该余量可根据帧间预测处理计算。根据帧内预测 处理，各个像素处的余量再次对应于当前像素和预测的像素值之间的差值。然而，根据帧间预测处理，当前像素和基准或预测像素不位于相同的帧(或图像)内。虽然该图示出了对于一个或多个先前帧或图片使用的帧间预测，但是还应注意，可选的实施方式可使用与当前帧之前和/或之后的帧对应的基准来进行操作。例如，根据适当的缓冲和/或存储器管理，可储存大量的帧。在对指定帧进行操作时，可通过该指定帧之前和/或之后的其他帧生成基准。与CU耦合，基本单元可用于预测分割模式，即，预测单元或PU。还应注意，仅对于最后一个深度CU而限定，并且其尺寸限于该CU的尺寸。图9和图10为分别示出了视频解码结构的各种实施方式900和1000的示图。一般而言，这种视频解码结构对输入比特流进行操作。当然，应注意，这种输入比特流可由通过通信装置从通信信道接收的信号生成。可对从通信信道接收的连续时间信号进行各种操作，包括数字采样、解调制、缩放、滤波等，这些操作根据生成输入比特流而是适合的。而且，在某些实施方式中，可实现纠错码(ECC)、向前纠错(FEC)等中的一种或多种，这些实施方式可根据这种ECC、FEC等进行适当的解码，从而生成输入比特流。S卩，在某些实施方式中，根据生成相应的输出比特流(例如，可从发送器通信装置或从收发器通信装置的发送器部分发送的输出比特流)可产生附加冗余，根据生成输入比特流，可进行适当的处理。总之，这种视频解码结构被实现为处理输入比特流，从而生成输出视频信号，该输出视频信号尽可能接近地并且在理想的情况下完全地与原始输入视频信号对应，用于输出到一个或多个视频显示功能装置中。参看图9的实施方式900，一般而言，根据执行在视频编码器结构内执行的编码的互补处理，诸如熵解码器的解码器(根据CABAC、CAVLC等实现的解码器)处理输入比特流。输入比特流尽可能接近地并且在理想的情况下完全地可视为视频编码器结构所生成的压缩的输出比特流。当然，在实际应用中，在通过一个或多个通信链路发送的信号中可能产生某些错误。熵解码器处理输入比特流并且提取合适的系数，如DCT系数(例如，表示色度、亮度等信息)，并且将这种系数提供给反量化和反转换块。在使用DCT转换时，反量化和反转换块可实现为进行反DCT (·IDCT)操作。然后，A/D闭塞滤波器被实现为生成与输出视频信号相对应的各个帧和/或图片。这些帧和/或图片可提供给图片缓冲器或数字图片缓冲器(DPB)，用于执行包括运动补偿的其他操作。一般而言，这种运动补偿操作可视为对应于与视频编码相关的帧间预测。而且，也可对从反量化和反转换块输出的信号进行帧内预测。与视频编码相似，这种视频解码器结构可被实现为根据将输入比特流解码从而生成输出视频信号，在未对其进行帧内预测或帧间预测、对其进行帧内预测或进行帧间预测之间执行模式选择。参看图10的实施方式100，在某些可选的实施方式中，根据用于生成输出比特流的视频编码，可实现一个或多个环路滤波器(例如，根据样本自适应偏置(SA0)滤波器、自适应环路滤波器(ALF)和/或任何其他的滤波器类型来实现)，并且可在视频解码器结构内使用相应的一个或多个环路滤波器。在一个实施方式中，在去块滤波器之后，适当地实现一个或多个这种环路滤波器。图11、图12、图13、图14和图15是分别示出了视频编码结构的各种实施方式1100、1200、1300、1400和1500的示图，各个视频编码结构分别包括自适应环路滤波。图11的实施方式1100与图4的实施方式400具有某些相似之处，至少一个差别在于，自适应环路滤波器(ALF)被实现为处理反转换块的输出。例如，在解码的图片储存到图片缓冲器(往往称为DPB、数字图片缓冲器)之前，将这种自适应环路滤波器(ALF)用于解码的图片。本文中应理解的是，使用自适应环路滤波器(ALF)，可根据这种视频处理，提供大量的改进，包括由通过进行随机量化噪声去除的峰值信噪比(PSNR)提高客观质量测量。此夕卜，通过照明补偿，可实现随后编码的视频信号的主观质量，这种照明补偿可通过根据自适应环路滤波器(ALF)处理进行偏置处理和缩放处理(例如，根据应用增益的FIR滤波)而引入。应注意，与通过随机量化噪声去除获得的PSNR提高客观质量测量相比，通过照明补偿获得的主观质量提高在视觉上通常更为明显。对于根据自适应环路滤波(诸如由ALF)进行的偏置处理和缩放处理而言，照明补偿在所得的视频编码信号内更明显地提高主观质量，在某些实施方式中仅使用偏置处理就可进行这种照明补偿。即，在根据自适应环路滤波(诸如由ALF)进行的各种操作中，在某些实施方式中使用仅偏置处理，以实现由照明补偿获得的最显著起作用的主观质量提高。在不同的实施方式中，以各种不同的方式实现ALF时，包括在一个实施方式中进行偏置处理和缩放处理这两者，在另一个实施方式中进行仅偏置处理，以及在又一个实施方式中进行仅缩放处理，通过这种ALF的操作使用仅偏置处理可明显提高视频编码信号的感知质量。在某些实施方式中，这种ALF可实现为根据多个不同的操作模式进行选择性的操作，这些操作模式为进行仅偏置处理的第一模式、进行偏置处理和缩放处理两者的第二模式、进行仅缩放处理的第三模式。根据生成指定的视频编码信号时使用这些操作模式中的哪一个模式，可将该信息中继和通信给解码器，从而该解码器适当地了解生成视频编码信号的方式。应注意，与实现进行偏置处理和缩放处理两者的ALF的那些实施方式相比，实现进行仅偏置处理的ALF的那些实施方式的复杂程度相对降低。也应理解的是，与不包括这种选择性操作的其他实施方式相比，实现根据多个操作模式可选择性地操作的ALF的复杂程度有一定程度的提高。相对于需要较低复杂程度的结构或设计而言，其中可实现这种进行仅偏置处理的ALF。根据这种ALF的操作,上述率失真优化用于确定ALF滤波图(filtering map)和滤波系数，也可使用和操作这种率失真优化，以确定各个ALF偏置图和偏置值。这种ALF的偏置图表示每个偏置值所应用的区域。在包括被实现为进行仅偏置处理的ALF的实施方式中，仅偏置的ALF的这种操作可单独或者作为序列参数组、图片参数组和/或限幅电平参数组等内ALF的特殊情况而被信号发送。图像缓冲器或者称为数字图像缓冲器或DPB，从ALF接收信号输出；图像缓冲器用于储存当前帧(或图像)和/或一个或多个其他的帧(或图像)，这些帧可根据帧内预测和/或帧间预测操作而使用，这种 预测操作可根据视频编码而进行。应注意，根据帧内预测，较小的储存量足矣，这是因为，无需在帧(或图像)序列内储存当前帧(或图像)或任何其他的帧(或图像)。在根据视频编码进行帧间预测的情况下，可使用这种储存的信息，进行运动补偿和/或运动估计。图12的实施方式1200与图5的实施方式500具有某些相似之处，至少一个差别在于，自适应环路滤波器(ALF)被实现为处理去块滤波器的输出。例如，参看图6的实施方式600，与其他环路滤波器对应的块可视为实现为图12的实施方式1200中的自适应环路滤波器(ALF)。图13的实施方式1300与图5的实施方式500具有某些相似之处(例如，至少一些差别在于，样本自适应偏置(SA0)滤波器和自适应环路滤波器(ALF)被实现为处理去块滤波器的输出)。例如，参看图6的实施方式600，与其他环路滤波器对应的块可视为实现为图13的实施方式1300中的样本自适应偏置(SAO)滤波器和自适应环路滤波器(ALF)。从这个实施方式1300中可看出，样本自适应偏置(SAO)滤波器被实现为处理去块滤波器的输出，并且自适应环路滤波器(ALF)被实现为处理样本自适应偏置(SAO)滤波器的输出。图14的实施方式1400与图5的实施方式500具有某些相似之处(例如，至少一些差别在于，去块滤波器/样本自适应偏置(SAO)滤波器和自适应环路滤波器(ALF)被实现为处理也提供给帧内预测块的信号)。例如，在该图中，去块滤波器/样本自适应偏置(SAO)滤波器被实现为给其他环路滤波器提供输出(例如，参看图6的实施方式600)。例如，与其他环路滤波器对应的这种块可视为实现为包括图14的实施方式1400中的自适应环路滤波器(ALF)。从这个实施方式1400中可看出，自适应环路滤波器(ALF)被实现为处理去块滤波器/样本自适应偏置(SAO)滤波器的输出(例如，去块滤波器/样本自适应偏置(SAO)滤波器的输出)。参看图15的实施方式1500，该图描述了视频编码器的可选实施方式，实施方式1500与图12的实施方式1200具有很多相似之处，至少一个差别在于，其种的ALF在去块滤波器块之前实现。关于实施方式1500，通过采用仅偏置的ALF，而不进行缩放处理，可在去块滤波器块之前实现ALF的这种实施方式。在本文中所述的不同示图和/或实施方式中应理解的是，根据视频编码处理可使用ALF不同的限制。在某些实施方式中，ALF被实现为仅偏置的ALF。在其他实施方式中，ALF被实现为进行偏置处理和缩放处理这两者。在某些实施方式中，ALF被实现为进行缩放处理(例如，有限脉冲响应(FIR)滤波)。甚至在其他实施方式中，ALF根据不同的操作模式，可实现为选择性地操作，这些操作模式包括进行仅偏置处理的第一模式、进行偏置处理和缩放处理两者的第二模式、以及进行仅缩放处理的第三模式。例如，可根据大量考虑因素中的任一个，选择这种ALF的这种操作，这些考虑因素包括装置所需要的复杂程度、通信信道(输出比特流或与此相对应的信号要发送到该通信信道内)的时延、这种装置内可使用的处理资源、和/或任何其他的考虑因素。必要时，某些实施方式可实现具有选择功能的ALF，从而使得每次只能启动一个功能。例如，共同的视频编码结构和/或电路可实现于多种不同的装置内，并且可用于多个不同的应用中。在第一应用程序内操作的第一装置中，在其中可启动ALF的第一操作模式。在第二应用程序内操作的第二装置中，在其中可启动ALF的第二操作模式。应理解的是，这种制造商可设计单个视频编码结构和/或电路，以用于各种应用内操作的各种装置中。图16A和图16B示出了根据视频编码(例如，在一个或多个通信装置中)执行的方法的各种实施方式。参看图16A的方法1600，该方法1600开始，操作视频编码器，以将输入视频信号编码，从而生成输出比特流， 如方框1610内所示。方法1600继续，根据仅缩放处理，操作视频编码器的自适应环路滤波器(ALF)以生成输出比特流，如方框1620内所示。在某些可选的实施方式中，方法1600可用于进行操作，接收输出比特流，如方框1630内所示。在这种实施方式中，方法1600可继续，操作视频解码器，以将输出比特流解码，从而生成与输入视频信号相对应的输出视频信号，如方框1640内所不。参看图16B的方法1601，该方法1601开始，操作视频编码器，以将输入视频信号编码，从而生成输出比特流，如方框1611内所示。方法1601继续，在视频编码器内逐块或逐条带选择性地操作视频编码器的ALF，如方框1621内所示。方法1601继续，从第一通信装置中发送信号到第二通信装置(或更多的通信装置)中，该第二通信装置被实现为接收输出比特流，多个块或多个条带的第二通信装置与ALF选择性地滤波的输入视频信号相关联，如方框1631内所示。在某些可选的实施方式中，方法1600可用于进行操作。然后，方法1601进行操作，接收输出比特流，如方框1641内所示。在这种实施方式中，方法1601可继续，操作视频解码器(例如，在第二通信装置内)，以将输出比特流解码，从而生成与输入视频信号相对应的输出视频信号，如方框1651内所不。还应注意，诸如可使用基带处理模块和/或其中实现的处理模块和/或其中的其他部件，在通信装置内执行关于本文中的各种方法所述的各种操作和功能。本文中可使用的术语“大致”和“大约”为其相应的术语提供工业上可接受的容差和/或物品之间的相关性。这种工业上可接受的容差的范围从不到1%到50%，并且对应于但不限于部件值、集成电路处理变化、温度变化、升降时间和/或热噪声。物品之间的这种相关性的范围从几个百分比的差别到大幅的差别。本文中也可使用的术语“可操作地耦合至”、“耦合至”、和/或“耦合”包括物品之间的直接耦合和/或物品之间通过中间物品(例如，物品包括但不限于部件、元件、电路和/或模块)进行间接耦合，其中，对于间接耦合而言，中间物品未修改信号信息，但是可调整其电流电平、电压电平和/或功率电平。本文中可进一步使用的推断耦合(例如，一个元件与另一个元件通过推断耦合)包括在两个物品之间进行直接和间接耦合，其方式与“耦合至”相同。本文中甚至可进一步使用的术语“可操作到”或“可操作地耦合至”表示物品包括一个或多个功率连接、输入、输出等，以在激活时，执行一个或多个其相应的功能，并且可还包括推断耦合至一个或多个其他的物品。本文中还可进一步使用的术语“相关联”包括单独的物品和/或置入另一个物品内的一个物品进行直接和/或间接耦合。本文中可使用的术语“有利地比较”表示两个或多个物品、信号等之间的比较提供所需要的关系。例如，当所需要的关系为信号I的幅度比信号2的幅度更大时，在信号I的幅度比信号2的幅度更大或信号2的幅度比信号I的幅度更小时，可实现有利的比较。本文中也可使用的术语“处理模块”、“模块”、“处理电路”和/或“处理单元”(例如，包括可操作、实现和/或用于编码、解码、用于进行基带处理等的各种模块和/或电路)可以是一个处理装置或多个处理装置。这种处理装置可以是微处理器、微控制器、数字信号处理器、微计算机、中央处理单元、现场可编程门阵列、可编程逻辑装置、状态机、逻辑电路、模拟电路、数字电路和/或根据电路的硬编码和/或操作指令操纵(模拟或数字)信号的任何装置。处理模块、模块、处理电路和/或处理单元可具有相关的存储器和/或集成存储器元件，可以是单个存储器装 置、多个存储器装置、和/或处理模块、模块、处理电路和/或处理单元的嵌入式电路。这种存储器装置可为只读存储器(ROM)、随机存取存储器(RAM)、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪速存储器、高速存储器和/或储存数字信息的任何装置 。应注意，如果处理模块、模块、处理电路和/或处理单元包括一个以上的处理装置，那么可集中定位(例如，通过有线和/或无线总线结构直接耦合在一起)或分布定位(例如，通过局域网和/或广域网进行间接耦合，从而进行云计算)这些处理装置。而且，应注意，如果处理模块、模块、处理电路和/或处理单元通过状态机、模拟电路、数字电路、和/或逻辑电路执行一个或多个功能，那么储存相应的操作指令的存储器和/或存储器元件可嵌入包括状态机、模拟电路、数字电路、和/或逻辑电路的电路内或位于该电路的外部。还应注意，存储器元件可储存并且处理模块、模块、处理电路和/或处理单元执行硬编码的和/或操作的指令，这些指令与一个或多个图中所述的至少一些步骤和/或功能相应。这种存储器装置或存储器元件可包括在制造产品内。上面已经借助于示出特定功能和其关系的性能的方法步骤，描述了本发明。为了便于描述，在本文中已经任意地限定了这些功能性构造块和方法步骤的界限和顺序。只要适当地执行所规定的功能和关系，就可限定替代的界限和顺序。任何这种替代的界限和顺序因此在所要求的本发明的范围和精神内。而且，为了便于描述，已经任意地限定了这些功能性构造块的界限。只要适当地执行某些重要的功能，就可限定其他的界限。同样，在本文中也已经任意地限定了流程图框，以示出某些重要的功能。在某种使用的程度上，可另外限定流程图框的界限和顺序，并且依然执行某个重要的功能。因此功能性构造块和流程图框的这种可选的定义在所要求的本发明的范围和精神内。本领域的技术人员也会认识到，如图所示，或通过离散元件、专用集成电路、执行适当的软件等的处理器、或其任意组合，可实现其中的功能性构造块以及其他实例性块、模块和部件。已经以一个或多个实施方式至少部分地描述了本发明。本发明的一个实施方式在本文中用于示出本发明、本发明的一个方面、其特征、其概念和/或其实例。设备、制品、机器和/或体现本发明的处理的物理实施方式可包括参考在本文中所讨论的一个或多个实施方式中所描述的一个或多个方面、功能、概念和/或实例。而且，在所有图中，这些实施方式可包含具有相同或相似名称的功能、步骤、模块等，可使用相同或不同的参考标号，此外，这些功能、步骤、模块等可为相同或相似的、或不同的功能、步骤、模块等。除非明确相反规定，否则在本文中所示的任何一幅图中，发送给元件的信号、从元件中发送的信号、和/或元件之间的信号可为模拟或数字、连续时间或离散时间、以及单端或差分信号。例如，如果将信号路径显示为单端路径，那么该信号路径也表示差分信号路径。同样，如果将信号路径显示为差分路径，那么该信号路径也表示单端信号路径。本领域的技术人员应了解，在本文中描述一个或多个特定的结构的同时，也可使用其他结构，这些结构被实现为使用未明确显示的一个或多个数据总线、元件之间的直接连接、和/或其他元件之间的间接耦合。在描述本发明的各种实施方式时，使用术语“模块”。模块包括功能块，该功能块通过硬件实现，从而执行一个或多个模块功能，如处理一个或多个输入信号，以产生一个或多个输出信号。实现模块的硬件本身可结合软件和/或固件进行操作。本文中所使用的模块可包含一个或多个子模块，这些子模块本身为模块。
尽管在本文中已经明确描述本发明的各种功能和特征的特定组合，但这些特征和功能也能具有其他组合。本发明不受到本文中所公开的特定实例的限制，并且明确包含这些其他组合。
权利要求
1.一种设备，包括 视频编码器，将输入视频信号进行编码，从而生成输出比特流；并且其中 所述视频编码器包括至少一个反馈环路，所述反馈环路具有通过仅缩放处理进行操作的样本自适应偏置滤波器和自适应环路滤波器，从而使得所述自适应环路滤波器被实现为从所述样本自适应偏置滤波器接收样本自适应偏置滤波的输出信号； 在所述视频编码器内逐块或逐条带地选择性使用所述自适应环路滤波器； 所述设备向被实现为接收所述输出比特流的至少一个附加设备发送信号，多个块或多个条带的所述附加设备与所述自适应环路滤波器选择性地滤波的所述输入视频信号相关联；以及 所述自适应环路滤波器用于根据多个增益值中的每一个进行仅缩放处理。
2.根据权利要求1所述的设备，其中 所述自适应环路滤波器根据仅缩放处理、仅偏置处理以及缩放和偏置处理而选择性地进行操作。
3.根据权利要求1所述的设备，其中 在第一时间处或在第一时间的期间中，所述自适应环路滤波器用于根据所述多个增益值中的第一值进行仅缩放处理；以及 在第二时间处或在第二时间的期间中，所述自适应环路滤波器用于根据所述多个增益值中的第二值进行仅缩放处理。
4.根据权利要求1所述的设备，其中 所述设备为第一通信装置； 所述至少一个附加设备为第二通信装置，其通过至少一个通信信道与所述第一通信装置进行通信，包括 输入端，接收所述输出比特流；以及 视频解码器，将所述输出比特流进行解码，以生成与所述输入视频信号相对应的输出视频信号，其中，所述视频解码器包括至少一个附加反馈环路，所述附加反馈环路具有根据仅缩放处理进行操作的至少一个附加自适应环路滤波器；并且其中 所述第二通信装置为计算机、膝上型电脑、高清晰度电视、标准清晰度电视、手持式媒体设备、机顶盒以及数字视频光盘播放器中的至少一个。
5.—种设备,包括 视频编码器，将输入视频信号进行编码，从而生成输出比特流；并且其中 所述视频编码器包括至少一个反馈环路，所述反馈环路具有根据仅缩放处理进行操作的自适应环路滤波器。
6.根据权利要求5所述的设备，其中 在所述视频编码器内逐块或逐条带地选择性使用所述自适应环路滤波器； 所述设备向被实现为接收所述输出比特流的至少一个附加设备发送信号，多个块或多个条带的所述附加设备与所述自适应环路滤波器选择性地滤波的所述输入视频信号相关联。
7.根据权利要求5所述的设备，还包括 样本自适应偏置滤波器，包括在具有所述自适应环路滤波器的所述至少一个反馈环路，从而使得所述自适应环路滤波器被实现为从所述样本自适应偏置滤波器接收样本自适应偏置滤波的输出信号；并且其中 所述自适应环路滤波器可通过仅缩放处理、仅偏置处理以及缩放和偏置处理而选择性地操作，或者 所述自适应环路滤波器用于根据多个增益值中的每ー个进行仅缩放处理，或者 在第一时间处或在第一时间的期间中，所述自适应环路滤波器用于根据第一増益值进行仅缩放处理；以及在第二时间处或在第二时间的期间中，所述自适应环路滤波器用于根据第二増益值进行仅缩放处理。
8.根据权利要求5所述的设备，其中 所述设备为第一通信装置；并且还包括 第二通信装置，其通过至少ー个通信信道与所述第一通信装置进行通信，包括 输入端，接收所述输出比特流；以及 视频解码器，将所述输出比特流进行解码，以生成与所述输入视频信号相对应的输出视频信号，其中，所述视频解码器包括至少ー个附加反馈环路，所述附加反馈环路具有根据仅缩放处理进行操作的至少ー个附加自适应环路滤波器。
9.一种用于操作通信装置的视频编码器的方法，所述方法包括 操作所述视频编码器，以将输入视频信号进行编码，从而生成输出比特流；并且其中 所述视频编码器包括至少ー个反馈环路，所述反馈环路具有根据仅缩放处理进行操作的自适应环路滤波器。
10.根据权利要求9所述的方法，还包括 操作在视频编码器内逐块或逐条帯地选择性使用的所述自适应环路滤波器； 从所述通信装置向被实现为接收所述输出比特流的至少ー个附加通信装置发送信号，多个块或多个条带的所述附加通信装置与所述自适应环路滤波器选择性地滤波的所述输入视频信号相关联。
全文摘要
本发明涉及根据视频编码进行自适应环路滤波。在各种视频编码结构(例如，编码和/或解码结构)内可实现自适应环路滤波器(ALF)和/或其他环路滤波器(例如，样本自适应偏置(SAO)滤波器等)，以进行偏置和缩放处理、仅缩放处理和/或仅偏置处理。在任何指定时间可根据多个操作模式中的任何一个模式选择这种ALF的操作，并且基于各种考虑因素(例如，所需要的复杂程度、处理类型、本地和/或远程操作条件等)，这种操作可自适应。例如，在储存在图像缓冲器(或者数字图像缓冲器(DPB))内之前，ALF可用于解码的图像。ALF可减少解码图像的编码噪声，从而所进行的滤波操作可以是选择性的(例如，逐条带、逐块等)。
文档编号H04N7/50GK103051890SQ201210366429
公开日2013年4月17日 申请日期2012年9月27日 优先权日2011年9月27日
发明者陈培松, 沈八中, 温伟杰 申请人:美国博通公司