基于基础设施能力及当前条件确定视频编码子块大小的制作方法

专利名称：基于基础设施能力及当前条件确定视频编码子块大小的制作方法
技术领域：
本发明总体涉及数字视频处理；更具体地说，本发明涉及根据这样的数字视频处理利用块和/或子块来进行视频编码。
背景技术：
操作用于传输数字媒体(例如，图像、视频、数据等)的通信系统已经持续开发多年。对这样的采用某种形式的视频数据的通信系统而言，以一定的帧速率(例如每秒帧数)输出或显示多个数字图像以实现适用于输出和消费的视频信号。在利用视频数据进行操作的多个这样的通信系统中，在吞吐量(例如，可以从第一位置传输至第二位置的图像帧的数量)以及最终输出或显示的信号的视频和/或图像质量之间存在一个平衡。目前的技术无法充分地或可接受地提供一种可以根据提供充足的或可接受的视频和/或图像质量，保证与通信相关的相对少量的开销，以及在各个通信链路端的通信设备的相对低的复杂度等而将视频数据从第一位置传输至第二位置的装置。

发明内容
本发明的一个方面涉及一种装置，包括:输入端，用于通过至少一个通信网络从源设备接收第一视频信号；视频处理器，用于:根据每个都具有第一大小的多个第一子块处理第一视频信号的第一部分，从而生成第二视频信号的第一部分，基于与至少一个流媒体源流相关联的第一特征、与至少一个流媒体分发流相关联的第二特征、以及与所述装置的至少一个本地处理条件相关联的至少一个特征这三者中的至少一个来识别第二大小，以及根据每个都具有第二大小的多个第二子块自适应处理第一视频信号的第二部分，从而生成第二视频信号的第二部分；以及输出端，用于通过所述至少一个通信网络或至少一个其他通信网络向至少一个目标设备输出第二视频信号；其中，所述与至少一个流媒体源流相关联的第一特征对应于与所述至少一个流媒体源流相关联的潜伏时间、时延、噪声、失真、串音、衰减、信噪比(SNR)、容量、带宽、频谱、位速率及符号率中的至少一个；并且所述与至少一个流媒体分发流相关联的第二特征对应于与所述至少一个流媒体分发流相关联的潜伏时间、时延、噪声、失真、串音、衰减、SNR、容量、带宽、频谱、位速率及符号率中的至少一个。上述装置中，优选所述与至少一个流媒体源流相关联的第一特征还对应于与所述源设备和至少一个其他源设备中的至少一个相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个；并且所述与至少一个流媒体分发流相关联的第二特征还对应于与所述至少一个目标设备相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个。上述装置中，优选所述与至少一个流媒体源流相关联的第一特征对应于从所述源设备接收的至少一个反馈或控制信号；并且所述与至少一个流媒体分发流相关联的第二特征对应于从所述至少一个目标设备接收的至少一个反馈或控制信号。优选所述装置是能在卫星通信系统、无线通信系统、有线通信系统及光纤通信系统中的至少一个中操作的通信设备。本发明的另一方面涉及一种装置，包括:视频处理器，用于:根据每个都具有第一大小的多个第一子块处理第一视频信号的第一部分，从而生成第二视频信号的第一部分；基于与至少一个流媒体源流相关联的第一特征以及与至少一个流媒体分发流相关联的第二特征中的至少一个来识别第二大小；以及根据每个都具有第二大小的多个第二子块自适应处理第一视频信号的第二部分，从而生成第二视频信号的第二部分。上述装置中，优选所述视频处理器是用于进行以下操作的视频解码器:根据每个都具有第一大小的所述多个第一子块解码第一视频信号的第一部分，从而生成第二视频信号的第一解码部分；基于所述与至少一个流媒体源流相关联的第一特征来识别第二大小；以及根据每个都具有第二大小的所述多个第二子块自适应解码第一视频信号的第二部分，从而生成第二视频信号的第二解码部分。上述装置中，优选所述视频处理器是用于进行以下操作的视频编码器:根据每个都具有第一大小的所述多个第一子块编码第一视频信号的第一部分，从而生成第二视频信号的第一编码部分；基于所述与至少一个流媒体分发流相关联的第二特征来识别第二大小；以及根据每个都具有第二大小的所述多个第二子块自适应编码第一视频信号的第二部分，从而生成第二视频信号的第二编码部分。优选所述装置是中间设备并包括输入端，该输入端用于通过至少一个通信网络从源设备接收第一视频信号；并且所述装置包括输出端，该输出端用于通过所述至少一个通信网络或至少一个其他通信网络向至少一个目标设备输出第二视频信号。优选所述装置是包括输出端的源设备，该输出端用于通过至少一个通信网络向至少一个目标设备输出第二视频信号。
上述装置中，优选所述与至少一个流媒体源流相关联的第一特征对应于与所述至少一个流媒体源流相关联的潜伏时间、时延、噪声、失真、串音、衰减、信噪比(SNR)、容量、带宽、频谱、位速率及符号率中的至少一个；并且所述与至少一个流媒体分发流相关联的第二特征对应于与所述至少一个流媒体分发流相关联的潜伏时间、时延、噪声、失真、串音、衰减、SNR、容量、带宽、频谱、位速率及符号率中的至少一个。上述装置中，优选所述与至少一个流媒体源流相关联的第一特征对应于与至少一个源设备相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个；并且所述与至少一个流媒体分发流相关联的第二特征对应于与至少一个目标设备相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个。上述装置中，优选所述与至少一个流媒体源流相关联的第一特征对应于从至少一个源设备接收的至少一个反馈或控制信号；并且所述与至少一个流媒体分发流相关联的第二特征对应于从至少一个目标设备接收的至少一个反馈或控制信号。上述装置中，优选所述视频处理器用于基于与所述装置的至少一个本地处理条件相关联的至少一个特征来识别第二大小。优选所述装置是能在卫星通信系统、无线通信系统、有线通信系统及光纤通信系统中的至少一个中操作的通信设备。本发明的又一实施方式涉及一种视频处理器的操作方法，所述方法包括:根据每个都具有第一大小的多个第一子块处理第一视频信号的第一部分，从而生成第二视频信号的第一部分；基于与至少一个流媒体源流相关联的第一特征以及与至少一个流媒体分发流相关联的第二特征中的至少一个来识别第二大小；以及根据每个都具有第二大小的多个第二子块自适应处理第一视频信号的第二部分，从而生成第二视频信号的第二部分。上述方法中，优选所述视频处理器是视频解码器；并且该方法进一步包括:根据每个都具有第一大小的所述多个第一子块解码第一视频信号的第一部分，从而生成第二视频信号的第一解码部分；基于所述与至少一个流媒体源流相关联的第一特征来识别第二大小；以及根据每个都具有第二大小的所述多个第二子块自适应解码第一视频信号的第二部分，从而生成第二视频信号的第二解码部分。上述方法中，优选所述视频处理器是视频编码器；所述方法进一步包括:根据每个都具有第一大小的所述多个第一子块编码第一视频信号的第一部分，从而生成第二视频信号的第一编码部分；基于所述与至少一个流媒体分发流相关联的第二特征来识别第二大小；以及根据每个都具有第二大小的所述多个第二子块自适应编码第一视频信号的第二部分，从而生成第二视频信号的第二编码部分。上述方法中，优选所述视频编码器在中间设备中应用；所述方法进一步包括:通过所述中间设备的输入端经至少一个通信网络从源设备接收第一视频信号；并且通过所述中间设备的输出端经所述至少一个通信网络或至少一个其他通信网络向至少一个目标设备输出第二视频信号。上述方法中，优选所述视频编码器在源设备中应用；所述方法进一步包括:通过所述源设备的输出端经至少一个通信网络向至少一个目标设备输出第二视频信号。上述方法中，优选所述与至少一个流媒体源流相关联的第一特征对应于与所述至少一个流媒体源流相关联的潜伏时间、时延、噪声、失真、串音、衰减、信噪比(SNR)、容量、带宽、频谱、位速率及符号率中的至少一个；并且所述与至少一个流媒体分发流相关联的第二特征对应于与所述至少一个流媒体分发流相关联的潜伏时间、时延、噪声、失真、串音、衰减、SNR、容量、带宽、频谱、位速率及符号率中的至少一个。上述方法中，优选所述与至少一个流媒体源流相关联的第一特征对应于与至少一个源设备相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个；并且所述与至少一个流媒体分发流相关联的第二特征对应于与至少一个目标设备相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个。上述方法中，优选所述与至少一个流媒体源流相关联的第一特征对应于从至少一个源设备接收的至少一个反馈或控制信号；并且所述与至少一个流媒体分发流相关联的第二特征对应于从至少一个目标设备接收的至少一个反馈或控制信号。上述方法中，优选基于与所述视频处理器的至少一个本地处理条件相关联的至少一个特征来识别第二大小。上述方法中，优选所述视频处理器在通信设备中应用，该通信设备能在卫星通信系统、无线通信系统、有线通信系统及光纤通信系统中的至少一个中操作。


图1和图2示出了通信系统的不同实施方式。图3A示出了计算机的实施方式。图3B示出了笔记本电脑的实施方式。图3C示出了高清(HD)电视的实施方式。图3D示出了标准清晰度(SD)电视的实施方式。图3E示出了手持媒体单元的实施方式。图3F示出了机顶盒(STB)的实施方式。图3G示出了数字视频光盘(DVD)播放器的实施方式。图3H示出了通用数字图像和/或视频处理设备的实施方式。图4、图5和图6是示出了视频编码架构的不同实施方式的图。图7是示出了巾贞内预测(intra-prediction)处理的实施方式的图。图8是示出了巾贞间预测(inter-prediction)处理的实施方式的图。图9和图10是示出了视频解码架构的不同实施方式的图。图11示出了通过不同的模块、电路等划分成用于多种编码操作和处理的相应块(例如，宏块(MB)、编码单元(⑶)等)的实施方式。图12示出了不同的预测单元(PU)模式的实施方式。图13示出了递归编码单元(⑶)结构的实施方式。图14示出了在通信系统中应用的代码转换器的实施方式。图15示出了在通信系统中应用的代码转换器的另一实施方式。图16示出了在通信系统中应用的编码器的实施方式。图17示出了在通信系统中应用的编码器的另一实施方式。
图18和图19示出了代码转换的不同实施方式。图20A、图20B、图21A和图21B示出了视频处理器的操作方法的不同实施方式。
具体实施例方式在使用数字媒体比如数字视频的许多设备中，使用像素表示本质上为数字的相应图像。在某些通信系统中，数字媒体可以从第一位置传输至可以输出或显示这样的媒体的第二位置。包括操作用于传输数字视频的通信系统的数字通信系统的目的在于无误差地或以可接受的低误码率将数字数据从一个位置或子系统传输至另一个位置。如图1所示，数据可以通过各种方式通信信道在各种各样的通信系统中进行传输:磁性媒体、有线、无线、光纤、铜和/或其他类型的媒体。图1和图2分别示出了通信系统100和200的不同实施方式。参照图1，通信系统100的实施方式是通信信道199，该通信信道将位于通信信道199 一端的通信设备110(包括具有编码器114的发射器112并包括具有解码器118的接收器116)通信耦合至位于通信信道199另一端的另一个通信设备120 (包括具有编码器128的发射器126并包括具有解码器124的接收器122)。在某些实施方式中，通信设备110和120中的任一设备可以只包括发射器或接收器。通信信道199可通过多种不同类型的媒体实现(例如，使用卫星天线132和134的卫星通信信道130、使用塔架142和144和/或本地天线152和154的无线通信信道140、有线通信信道150和/或使用电光(E/0)接口 162和光电(0/E)接口 164的光纤通信信道160)。另外，可以应用不止一种类型的媒体，并可以交接在一起，从而形成通信信道199。要注意的是，在不背离本发明的范围和精神的情况下，这样的通信设备110和/或120可以是静止设备或移动设备。例如，通信设备110和120之一或两者可以应用于固定位置或可以是具有与一个以上的网络接入点(例如，在包括一个或多个无线局域网(WLAN)的移动通信系统环境中的各自不同的接入点(AP)、在包括一个或多个卫星的移动通信系统环境中的各自不同的卫星或通常在包括一个或多个网络接入点的移动通信系统环境中的各自不同的网络接入点，可以通过这些网络节点利用通信设备110和/或120来实现通信)相关联和/或进行通信的能力的移动通信设备。为了降低通信系统中不合需要而导致的传输误差，通常采用误差校正和信道编码方案。一般情况下，这些误差校正和信道编码方案涉及使用通信信道199发射器端的编码器以及通信信道199接收器端的解码器。在任何这样的所需通信系统(例如，包括针对图1描述的那些变化)、任何信息存储设备(例如，硬盘驱动器(HDD)、网络信息存储设备和/或服务器等)或需要对信息进行编码和/或解码的任何应用中可以采用所描述的任一种不同类型的ECC代码。一般来说，当考虑视频数据从一个位置或子系统传输至另一个位置的通信系统时，一般可以认为视频数据编码在通信信道199的传输端进行，一般可以认为视频数据解码在通信信道199的接收端进行。同样地，尽管该图的实施方式示出了通信设备110和120之间能够双向通信，但一定要注意的是，在某些实施方式中，通信设备110可以只包括视频数据编码功能，而通信设备120可以只包括视频数据解码功能，反之亦然(例如，根据视频广播实施方式的单向通信实施方式)。参照图2的通信系统200，在通信信道299的发射端，向发射器297提供信息位201 (例如，尤其对应于一种实施方式中的视频数据)，该发射器可操作用于利用编码器和符号映射器220进行这些信息位201的编码(可以认为其是各自截然不同的功能模块222和224)，从而生成一系列离散值调制符号203，将这一系列离散值调制符号提供给发射驱动器230，该发射驱动器使用数模转换器(DAC) 232来生成连续时间传输信号204并利用发射滤波器234来生成大致与通信信道299相称的滤波后的连续时间传输信号205。在通信信道299的接收端，将连续时间接收信号206提供给模拟前端(AFE) 260，该模拟前端包括接收滤波器262 (生成滤波后的连续时间接收信号207)以及模数转换器(ADC) 264 (生成离散时间接收信号208)。度量生成器270计算度量209 (例如基于符号和/或位，例如LLR)，度量209由解码器280产生离散值调制符号和编码在其中的信息位的最佳估计值(bestestimates)210。在发射器297和接收器298的每一个中，可以将不同部件、块、功能块、电路等任何所需的集成应用在其中。例如，该图示出处理模块280a包括编码器和符号映射器220以及其中所有相关联的对应部件，并且示出处理模块280包括度量生成器270和解码器280以及其中所有相关联的对应部件。这样的处理模块280a和280b可以是各自的集成电路。当然，在不背离本发明的范围和精神的情况下，可以可选地进行其他边界和分组。例如，第一处理模块或集成电路中可以包括发射器297中的所有部件，并且第二处理模块或集成电路中可以包括接收器298中的所有部件。可选地，在其他实施方式中可以任意组合发射器297和接收器298的每一个中的部件。与前述实施方式一样，这样的通信系统200可以用于传输视频数据从一个位置或子系统传输至另一个位置(例如，通过通信信道299从发射器297至接收器298)。可以通过下文图3A-3H所示的不同设备中的任何一个来实现数字图像和/或数字图像和/或媒体(包括数字视频信号中的各个图像)的视频处理以允许用户查看这样的数字图像和/或视频。这些不同的设备不包括其中可以实现本文描述的图像和/或视频处理的设备的详细清单，而且要注意的是，在不背离本发明的范围和精神的情况下，可以应用任何通用数字图像和/或视频处理设备以便进行本文所述的处理。图3A示出了计算机301的实施方式。该计算机301可以是台式计算机，或主机的企业存储设备比如服务器，该存储设备连接至存储阵列比如独立磁盘(RAID)阵列的冗余阵列、存储路由器、边缘路由器、存储开关和/或存储导向器。用户能够利用计算机301来查看静态数字图像和/或视频(例如一系列数字图像)。计算机301上时常包括不同图像和/或视频查看程序和/或媒体播放器程序以允许用户查看这样的图像(包括视频)。图3B示出了笔记本电脑302的实施方式。在各种各样的情形中的任何一种情形下可以发现并使用这样的笔记本电脑302。近年，随着笔记本电脑的处理能力和功能的不断增长，它们正用于以前使用高端且更有能力的台式电脑的许多情况下。与计算机301 —样，笔记本电脑302可以包括不同图像查看程序和/或媒体播放器程序以便允许用户查看这样的图像(包括视频)。图3C示出了高清(HD)电视303的实施方式。许多HD电视303包括允许在其上接收、处理并解码媒体内容(例如电视广播信号)的集成调谐器。可选地，HD电视303有时从另一个接收、处理并解码电缆和/或卫星电视广播信号的源比如数字视频光盘(DVD)播放器、机顶盒(STB)接收媒体内容。不管具体应用如何，HD电视303可应用来进行如本文所描述的图像和/或视频处理。一般来说，HD电视303具有显示HD媒体内容的能力并且时常应用的HD电视303具有16:9宽屏宽高比。图3D示出了标准清晰度(SD)电视304的实施方式。当然，SD电视304在某种程度上类似于HD电视303，至少一个不同之处在于SD电视304不包括显示HD媒体内容的能力，且时常应用的SD电视304具有4:3的全屏宽高比。尽管如此，甚至是SD电视304也可以被应用来进行如本文所描述的图像和/或视频处理。图3E示出了手持媒体单元305的实施方式。手持媒体单元305可以操作用于对图像/视频内容信息比如联合图像专家组(JPEG)文件、标签图像文件格式(TIFF)、位图、运动图像专家组(MPEG)文件、视窗操作系统媒体(WMA/WMV)文件、其他类型的视频文件比如MPEG4文件等进行通用存储或存储供用户播放，和/或提供可以以数字格式存储的任何其他类型信息。从历史观点上说，这样的手持媒体单元主要用于存储并播放音频媒体；然而，这样的手持媒体单元305可以用于存储并播放任何虚拟媒体(例如，音频媒体、视频媒体、摄影媒体等)。而且，这样的手持媒体单元305还可以包括其他功能比如有线和无线通信的集成通信电路。这样的手持媒体单元305可以被应用来进行如本文所描述的图像和/或视频处理。图3F示出了机顶盒(STB) 306的实施方式。如上所述，STB 306有时可以被应用来接收、处理并解码要提供给任何合适的能显示的设备比如SD电视304和/或HD电视303的电缆和/或卫星电视广播信号。这样的STB 306可以独立地或协同地与这样的能显示的设备一起操作以便进行如本文所描述的图像和/或视频处理。图3G示出了数字视频光盘(DVD)播放器307的实施方式。在不背离本发明的范围和精神的情况下，这样的DVD播放器可以是蓝光DVD播放器、HD可用DVD播放器、SD可用DVD播放器、上采样可用DVD播放器(例如从SD至HD等)。DVD播放器可以向任何合适的能显示的设备比如SD电视304和/或HD电视303提供信号。DVD播放器305可以被应用来进行如本文所描述的图像和/或视频处理。图3H示出了通用数字图像和/或视频处理设备308的实施方式。另外，如上所述，上述这些不同设备不包括其中可以实现本文描述的图像和/或视频处理的设备的详细清单，而且要注意的是，在不背离本发明的范围和精神的情况下，可以应用任何通用数字图像和/或视频处理设备308以便进行本文所述的图像和/或视频处理。图4、图5和图6分别是示出了视频编码架构的不同实施方式400、500和600的图。参照图4的实施方式400，如该图可以看出，通过视频编码器接收输入视频信号。在某些实施方式中，输入视频信号由编码单元(CU)或宏块(MB)构成。这样的编码单元或宏块的大小可以改变并可以包括通常排列成正方形的多个像素。在一种实施方式中，这样的编码单元或宏块的大小为16X16像素。然而，通常要注意的是，宏块可以具有任何所需的大小比如NXN像素，其中N为整数。当然，虽然优选实施方式中采用了方形编码单元或宏块，但某些应用可以包括非方形编码单元或宏块。输入视频信号通常可以被称为对应于原始帧(或图片)图像数据。例如，原始帧(或图片)图像数据可以进行处理以生成亮度和色度样本。在某些实施方式中，宏块中的这组亮度样本属于特定布置(例如16 X 16)，而这组色度样本属于不同的特定布置(例如8 X 8)。根据本文所描述的实施方式，视频编码器在逐块的基础上对这样的样本进行处理。输入视频信号然后进行模式选择，输入视频信号通过这个模式可选择地进行帧内和/或帧间预测处理。一般来说，输入视频信号沿压缩通路进行压缩。当无反馈地进行操作时(例如，不根据帧间预测，也不根据帧内预测)输入视频信号通过压缩通路被提供来进行变换操作(例如，根据离散余弦变换(DCT))。当然，在可选实施方式中可以采用其他变换。在这种操作模式下，输入视频信号本身就是所压缩的信号。压缩通路可以利用人眼缺乏高频率灵敏度来进行压缩。然而，通过可选择地使用帧间或帧内预测视频编码，可以沿压缩通路进行反馈。根据反馈或预测操作模式，压缩通路对由从当前宏块减去当前宏块预测值而导致的(相对较低能量)残差(例如差值)进行操作。根据在指定实例中采用哪种预测形式，生成基于相同帧(或图片)的至少一部分或基于至少一个其他帧(或图片)的至少一部分的当前宏块和该宏块预测值之间的残差或差值。由此产生的修改视频信号然后沿压缩通路进行变换操作。在一种实施方式中，离散余弦变换(DCT)对一组视频样本(例如，亮度、色度、残差等)进行操作以计算预定数量的基础模式(basis pattern)中的每一个的相应系数值。例如,一种实施方式包括64个基函数(例如，对8X8样本而言)。一般来说，不同的实施方式可以采用不同数量的基函数(例如，不同变换)。包括其合适的选择性加权的这些相应基函数的任意组合可以用于表示给定的一组视频样本。与进行变换操作的不同方式相关的其他详情在与包括如上所述的通过引用并入的那些标准/草案标准的视频编码相关联的技术文献中进行描述。变换处理的输出包括这样的相应系数值。将该输出提供给量化器。一般情况下，大多数图像块通常会产生系数(例如，根据离散余弦变换(DCT)操作的实施方式中的DCT系数)，使得大多数相关DCT系数的频率较低。由于这个原因以及人眼对高频视觉效果的灵敏度相对较差，量化器可以操作用于将大部分不大相关的系数转换为零值。也就是说，可以根据量化过程来消除相对贡献率低于某个预定值(例如某个阈值)的那些系数。量化器还可以操作用于将重要系数转换为比变化过程产生的值更加有效地进行编码的值。例如，量化过程可以通过每个相应系数除以整数值并丢弃任意余数来进行操作。当对典型的编码单元或宏块进行操作时，这样的过程通常会产生相对少量的非零系数，这些非零系数然后被传输至熵编码器进行无损编码并根据可以根据视频编码选择帧内和/或帧间预测处理的反馈路径进行使用。熵编码器根据无损压缩编码过程进行操作。相比之下，量化操作通常是有损失的。熵编码过程对量化过程提供的系数进行操作。那些系数可以表示不同特征(例如，亮度、色度、残差等)。熵编码器可以采用不同类型的编码。例如，熵编码器可以进行上下文自适应二进制算术编码(CABAC)和/或上下文自适应可变长编码(CAVLC)。例如，根据熵编码方案的至少一部分，将数据转换为(运行，级别)(run，level)对(例如，将数据14、3、0、4、0、0、_3转换为相应的(运行，级别)对(0，14)、(0，3)、(1，4)、(2，-3))。事先，编制将变长编码分配至值对的表，以便将相对较短的长度编码分配给相对常见的值对，并将相对较长的长度编码分配给相对少见的值对。
如读者理解的一样，反量化和反变换的操作分别对应于量化和变换的操作。例如，在DCT用于变换操作的实施方式中，反DCT (IDCT)是反变换操作中所采用的变换。图片缓冲器(或者称为数字图片缓冲器或DPB)从IDCT模块接收信号；图片缓冲器操作用于存储当前帧(或图片)和/或一个或多个其他帧(或图片)，比如根据帧内预测和/或帧间预测操作使用的帧(或图片)，帧内预测和/或帧间预测操作可以根据视频编码进行。要注意的是，根据帧内预测，相对少量的存储就足够了，因为可能没有必要将当前帧(或图片)或任何其他帧(或图片)存储在所述帧(或图片)序列中。在根据视频编码进行帧间预测的时候，这样存储的信息可以用来进行运动补偿和/或运动估计。在一个可能的实施方式中，用于运动估计，将来自当前帧(或图片)的相应组的亮度样本(例如，16X 16)与帧(或图片)序列(例如根据帧间预测)中其他帧(或图片)中的相应的缓冲配对物进行比较。在一个可能的应用中，定位最匹配区域(例如预测参考)并产生矢量偏移(例如运动矢量)。在单个帧(或图片)中，可以找到多个运动矢量，但不是所有的运动矢量都必须指向同一方向。根据运动估计进行的一种或多种操作操作用于生成一个或多个运动矢量。运动补偿用于采用可以根据运动估计生成的一个或多个运动矢量。识别并交付预测参考组的样本以便从原始输入视频信号中减少，试图希望产生相对(例如理想的多个)较低的能量残差。如果这样的操作不会导致产生较低的能量残差，就并不一定要进行运动补偿，变换操作可以仅对原始输入视频信号进行操作，而不对残差进行操作(例如，根据将输入视频信号直接提供给变换操作，以便既不进行帧内预测，也不进行帧间预测的操作模式)，或可以使用帧内预测并对帧内预测产生的残差进行变换操作。同样地，如果运动估计和/或运动补偿操作成功，那么运动矢量还可以与相应的残差系数一起发送至熵编码器，用于进行无损熵编码。来自整个视频编码操作的输出是输出位流。要注意的是，这样的输出位流当然可以根据生成连续时间信号来进行一定处理，该连续时间信号可以通过通信信道传输。例如，某些实施方式在无线通信系统中操作。在这种情况下，输出位流可以在无线通信设备中进行适当的数模转换、频率变换、缩放、过滤、调制、符号映射和/或任何其他操作，用于生成能够通过通信信道传输的连续时间信号等。参照图5的实施方式500，由该图可以看出，通过视频编码器接收输入视频信号。在某些实施方式中，输入视频信号由编码单元或宏块构成(和/或可以划分为编码单元(⑶))。编码单元或宏块的大小可以改变并可以包括通常设置成正方形的多个像素。在一种实施方式中，编码单元或宏块的大小为16X16像素。然而，通常要注意的是，宏块可以具有任何所需的大小比如NXN像素，其中N为整数。当然，虽然优选的实施方式中采用了方形编码单元或宏块，但某些应用可以包括非方形编码单元或宏块。输入视频信号通常可以被称为对应于原始帧(或图片)图像数据。例如，原始帧(或图片)图像数据可以进行处理以生成亮度和色度样本。在某些实施方式中，宏块中的这组亮度样本属于特定布置(例如16X16)，这组色度样本属于不同的特定布置(例如8X8)。根据本文所描述的实施方式，视频编码器在逐块的基础上对这些样本进行处理。输入视频信号然后进行模式选择，输入视频信号通过这个模式可选择地进行帧内和/或帧间预测处理。一般来说，输入视频信号沿压缩通路进行压缩。当无反馈地进行操作时(例如，不根据帧间预测，也不根据帧内预测)输入视频信号通过压缩通路设置来进行变换操作(例如，根据离散余弦变换(DCT))。当然，在可选实施方式中可以采用其他变换。在这种操作模式下，输入视频信号本身就是所压缩的信号。压缩通路可以利用人眼缺乏高频率灵敏度来进行压缩。然而，通过可选择地使用帧内或帧间预测视频编码，可以沿压缩通路进行反馈。根据反馈或预测操作模式，压缩通路对由从当前宏块减去当前宏块预测值而导致的(相对较低能量)残差(例如差值)进行操作。根据在指定实例中采用哪种预测形式，生成基于相同帧(或图片)的至少一部分或基于至少一个其他帧(或图片)的至少一部分的当前宏块和宏块预测值之间的残差或差值。由此产生的修改视频信号然后沿压缩通路进行变换操作。在一种实施方式中，离散余弦变换(DCT)对一组视频样本(例如，亮度、色度、残差等)进行操作以计算预定数量的基础模式中的每一个的相应系数值。例如，一种实施方式包括64个基函数(例如，对8X8样本而言)。一般来说，不同实施方式可以采用不同数量的基函数(例如，不同变换)。包括其合适的选择性加权的这些基函数的任意组合可以用于表示给定的一组视频样本。与进行变换操作的不同方式相关的其他详情在与包括如上所述的通过引用并入的那些标准/草案标准的视频编码相关联的技术文献中进行描述。变换处理的输出包括这样的相应系数值。将该输出提供给量化器。一般情况下，大多数图像块通常会产生系数(例如，根据离散余弦变换(DCT)操作的实施方式中的DCT系数)，使得大多数相关DCT系数的频率较低。由于这个原因以及人眼对高频视觉效果的灵敏度相对较差，量化器可以操作用于将大部分不大相关的系数转换为零值。也就是说，可以根据量化过程来消除相对贡献率低于某个预定值(例如某个阈值)的那些系数。量化器还可以操作用于将重要系数转换为比变化过程产生的值可以更加有效地进行编码的值。例如，量化过程可以通过相应系数除以整数值并丢弃任意余数来进行操作。当对典型的编码单元或宏块进行操作时，这个过程通常会产生相对少量的非零系数，这些非零系数然后被传输至熵编码器进行无损编码并根据可以根据视频编码选择帧内和/或帧间预测处理的反馈路径进行使用。熵编码器根据无损压缩编码过程进行操作。相比之下，量化操作通常是有损失的。熵编码过程对量化过程提供的系数进行操作。那些系数可以表示不同特征(例如，亮度、色度、残差等)。熵编码器可以采用不同类型的编码。例如，熵编码器可以进行上下文自适应二进制算术编码(CABAC)和/或上下文自适应可变长编码(CAVLC)。例如，根据熵编码方案的至少一部分，将数据转换为(运行，级别)对(例如，将数据14、3、0、4、0、0、-3转换为相应(运行，级别)对(0，14)、(0，3)、(1，4)、(2，-3))。事先，编制将变长编码分配至值对的表，以便将相对较短的长度编码分配给相对常见的值对，并将相对较长的长度编码分配给相对少见的值对。如读者理解的一样，反量化和反变换的操作分别对应于量化和变换的操作。例如，在DCT用于变换操作的实施方式中，反DCT (IDCT)是反变换操作中所采用的变换。自适应回路滤波器(ALF)被应用来处理来自反变换块的输出。在存储在图片缓冲器(有时称为DPB，数字图片缓冲器)之前，这样的自适应回路滤波器(ALF)适用于解码图片。自适应回路滤波器(ALF)被应用来降低解码图像的编码噪声，并且可以选择地分别对亮度和色度进行逐片过滤，不管自适应回路滤波器(ALF)是否在片级别或在块级别上使用。在自适应回路滤波器(ALF)的应用中可以使用二维2-D有限脉冲响应(FIR)过滤。滤波器的系数可以在编码器中逐片进行设计，然后将此信息传递给解码器(例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备)。—种实施方式根据维纳滤波设计操作生成系数。另外，不管是否进行滤波处理并是否根据四叉树结构将该决定传递给解码器(例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备)，都可以在编码器中逐块应用，其中块大小根据率失真优化来决定。要注意的是，利用这样的2D滤波的应用可以根据编码和解码引入复杂度。例如，通过根据自适应回路滤波器(ALF)的应用来使用2D滤波，在发射器通信设备中应用的编码器中和在接收器通信设备中应用的解码器中可能存在一定的增加的复杂度。在某些任选的实施方式中，将来自去块效应滤波器的输出提供给被应用为处理来自反变换块的输出的一个或多个其他环路滤波器(例如根据自适应回路滤波器(ALF)、样本自适应偏移(SAO)滤波器和/或任何其他滤波器类型应用)。例如，在存储在图片缓冲器(有时称为DPB，数字图片缓冲器)之前，这样的ALF适用于解码图片。这样的ALF被应用来降低解码图像的编码噪声，可以选择地分别对亮度和色度进行逐片过滤，不管这样的ALF是否在片级别或在块级别上使用。在这样的ALF的应用中可以使用二维2-D有限脉冲响应(FIR)过滤。滤波器的系数可以在编码器中进行逐片设计，然后将此信息传递给解码器(例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备)。一种实施方式根据维纳滤波设计操作用于生成系数。另外，不管是否进行滤波处理并是否根据四叉树结构将这样的决定传递给解码器(例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备)，都可以在编码器中逐块地应用，其中块大小根据率失真优化来决定。要注意的是，利用这样的2D滤波的应用可以根据编码和解码引入复杂度。例如，通过根据自适应回路滤波器(ALF)的应用来使用2D滤波，在发射器通信设备中应用的编码器中和在接收器通信设备中应用的解码器中可能存在一定的增加的复杂度。如针对其他实施方式所述，使用ALF可以提供根据这样的视频处理的一系列改进的任何一种，包括通过进行随机量化去噪导致的峰值信号噪声比(PSNR)改进客观质量测量。另外，随后编码的视频信号的主观质量可以通过照明补偿来实现，根据ALF处理，照明补偿可以根据进行偏移处理和缩放处理(例如，根据应用增益)来引入。对一种类型的环路滤波器而言，使用自适应回路滤波器(ALF)可以提供根据这样的视频处理的一系列改进的任何一种，包括通过进行随机量化去噪导致的峰值信号噪声比(PSNR)改进客观质量测量。另外，随后编码的视频信号的主观质量可以通过照明补偿来实现，根据自适应回路滤波器(ALF)处理，照明补偿可以根据进行偏移处理和缩放处理(例如，根据应用增益)来引入。图片缓冲器(或者称为数字图片缓冲器或DPB)接收从ALF输出的信号；图片缓冲器操作用于存储当前帧(或图片)和/或一个或多个其他帧(或图片)，比如根据帧内预测和/或帧间预测操作使用的帧(或图片)，帧内预测和/或帧间预测操作可以根据视频编码进行。要注意的是，根据帧内预测，相对少量的存储就足够了，因为毫无必要将当前帧(或图片)或任何其他帧(或图片)存储在所述帧(或图片)序列中。在根据视频编码进行帧间预测的时候，这样存储的信息可以用来进行运动补偿和/或运动估计。在一种可能的实施方式中，用于运动估计，将来自当前帧(或图片)的相应组的亮度样本(例如，16X 16)与帧(或图片)序列(例如根据帧间预测)中其他帧(或图片)中的相应的缓冲配对物进行比较。在一个可能的应用中，定位最匹配区域(例如预测参考)并产生矢量偏移(例如运动矢量)。在单个帧(或图片)中，可以找到多个运动矢量，但不是所有的运动矢量都必须指向同一方向。根据运动估计进行的一种或多种操作操作用于生成一个或多个运动矢量。运动补偿用于采用可以根据运动估计生成的一个或多个运动矢量。识别并交付预测参考组的样本以便从原始输入视频信号中减少，试图希望产生相对(例如理想的多个)较低的能量残差。如果这样的操作不会导致产生较低的能量残差，就并不一定要进行运动补偿，变换操作可以仅对原始输入视频信号进行操作，而不对残差进行操作(例如，根据将输入视频信号直接提供给变换操作，以便既不进行帧内预测，也不进行帧间预测的操作模式)，或可以使用帧内预测并对帧内预测产生的残差进行变换操作。同样地，如果运动估计和/或运动补偿操作成功，那么运动矢量还可以与相应的残差系数一起发送至熵编码器，用于进行无损熵编码。来自整个视频编码操作的输出是输出位流。要注意的是，这样的输出位流当然可以根据生成连续时间信号来进行一定处理，该连续时间信号可以通过通信信道传输。例如，某些实施方式在无线通信系统中操作。在这种情况下，输出位流可以在无线通信设备中进行适当的数模转换、频率转换、缩放、过滤、调制、符号映射和/或任何其他操作，用于生成能够通过通信信道传输的连续时间信号等。参照图6的实施方式600，针对该图描述了一种视频编码器的可选实施方式，这样的视频编码器进行预测、变换以及编码处理以便产生压缩的输出位流。这样的视频编码器可以根据一个或多个视频编码协议、标准和/或推荐作法比如IS0/IEC 14496-10-MPEG-4的第 10 部分，AVC (Advanced Video Coding)(或者称为 H.264/MPEG-4 的第 10 部分或 AVC(Advanced Video Coding), ITU H.264/MPEG4-AVC)进行操作并与之兼容。要注意的是，相应视频解码器，比如位于通信信道另一端的设备内的视频解码器，操作用于进行解码、反变换及重建的互补过程以便生产相应的解码视频序列，该序列理想的表示输入视频信号。由该图可以看出，可选布置及架构可以用来实现视频编码。一般来说，编码器处理输入视频信号(例如，通常由呈正方形并且其中包括NXN像素的编码单元或宏块单位组成)。视频编码基于事先编码的数据确定当前宏块的预测。事先编码的数据可以来自当前帧(或图片)本身(例如根据帧内预测)或来自已经编码的一个或多个其他帧(或图片)(例如，根据帧间预测)。视频编码器减去当前宏块的预测以形成残差。一般来说，帧内预测用于采用一个或多个特定大小(例如，16X16、8X8或4X4)的块大小以根据相同帧(或图片)内的周围事先编码的像素预测当前宏块。一般来说，帧间预测采用一系列的块大小(例如，16X16下至4X4)来预测选自一个或多个事先编码帧(或图片)的区域的当前帧(或图片)中的像素。对变换和量化操作而言,一块残余样品可以利用特定的变换(例如,4X4或8X8)来进行转换。这样的变换 的一种可能的实施方式根据离散余弦变换(DCT)进行操作。变换操作输出一组系数，使得每个相应的系数对应于与变换相关联的一个或多个基函数的各自的加权值。在进行转换之后，对一块变换系数进行量化(例如，每个相应的系数可以除以整数值并丢弃任何相关联的余数，或可以乘以整数值)。量化过程通常存在固有损失，可能会根据量化参数(QP)降低变换系数的精度。通常，与指定宏块相关的多个系数为零，并且仅保留一部分非零系数。一般情况下，相对较高的QP设置用来产生更大比例的零值系数以及更小的非零系数，从而在相对较差解码图像质量损害的情况下产生相对较高的补偿(例如，相对较低的编码位速率)；相对较低的QP设置用来允许在量化后保留更多非零系数以及更大的非零系数，从而以相对良好的解码图像质量产生相对较低的补偿(例如，相对较高的编码位速率)。视频编码过程产生多个值，这些值被编码来形成压缩位流。这些值的实例包括量化变换系数、解码器用于重建适当预测的信息、有关压缩数据的结构和解码过程中所采用的压缩工具的信息、有关完整视频序列的信息等。这样的值和/或参数(例如，语法元素)可以在根据CABAC、CAVLC或某项其他熵编码方案进行操作的熵编码器中进行编码，以产生可以存储、传输的输出位流(例如，在进行适当处理以生成符合通信信道的连续时间信号之后)等等ο在使用反馈路径进行操作的实施方式中，变换及量化输出进行反量化和反变换。可以根据视频编码来进行帧内预测和帧间预测之一或两者。同样，可以根据这样的视频编码来进行运动补偿和/或运动估计。同样将提供给帧内预测块的来自反量化和反变换(例如IDCT)块的信号路径输出提供给去块效应滤波器。将来自去块效应滤波器的输出提供给被应用为处理来自反变换块的输出的一个或多个其他环路滤波器(例如根据自适应回路滤波器(ALF)、样本自适应偏移(SAO)滤波器和/或任何其他滤波器类型应用)。例如，在一种可能的实施方式中，在存储在图片缓冲器(有时称为DPB，数字图片缓冲器)之前，ALF适用于解码图片。ALF被应用来降低解码图像的编码噪声，可以选择地分别对亮度和色度进行逐片过滤，不管ALF是否在片级别或在块级别上使用。在ALF的应用中可以使用二维2-D有限脉冲响应(FIR)过滤。滤波器的系数可以在编码器中进行逐片设计，然后将这样的信息传递给解码器(例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备)。一种实施方式根据维纳滤波设计生成系数。另外，不管是否进行滤波处理并是否根据四叉树结构将这样的决定传递给解码器(例如，从包括视频编码器[或者称为编码器]的发射器通信设备传递给包括视频解码器[或者称为解码器]的接收器通信设备)，都可以在编码器中逐块地应用，其中块大小根据率失真优化来决定。要注意的是，利用这样的2D滤波的应用可以根据编码和解码引入复杂度。例如，通过根据自适应回路滤波器(ALF)的应用来使用2D滤波，在发射器通信设备中应用的编码器中和在接收器通信设备中应用的解码器中可能存在一定的增加的复杂度。如针对其他实施方式所述，使用ALF可以提供根据这样的视频处理的一系列改进的任何一种，包括通过进行随机量化去噪导致的峰值信号噪声比(PSNR)改进客观质量测量。另外，随后编码的视频信号的主观质量可以通过照明补偿来实现，根据ALF处理，照明补偿可以根据进行偏移处理和缩放处理(例如，根据应用增益)来引入。就被应用来生成输出位流的任何视频编码器架构而言，要注意的是，这样的架构可以在多种通信设备中的任何一种中应用。输出位流可以进行其他处理，包括误差校正码(ECC)、前向纠错(FEC)等，从而生成其中具有其他残差处理的修改输出位流。同样，如根据这样的数字信号可以理解一样，可以根据生成适用于或适于通过通信信道进行传输的连续时间信号进行任何适当的处理。也就是说，这样的视频编码器架构在用于通过一个或多个通信信道传输一个或多个信号的通信设备中也许是受限制的。可以对由这样的视频编码器架构生成的输出位流进行其他处理，从而生成可以发射到通信信道中的连续时间信号。图7是示出了帧内预测处理的实施方式700的图。由该图可以看出，视频数据的当前块(例如通常呈正方形并且通常包括NXN像素)进行处理以便对其中的各个像素进行估计。根据这样的帧内预测采用位于当前块的上方及左边的事先编码像素。从某种角度来说，帧内预测方向可以被视为对应于从当前像素扩展至位于当前像素的上方或左边的参考像素的矢量。根据H.264/AVC应用于编码的帧内预测的详情在上文通过引用并入的对应标准内进行了规定(例如，InternationalTelecommunication Union, ITU-T, TELECOMMUNICATION STANDARDIZATION SECTOR OFITU,H.264(03/2010), SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS, Infrastructureof audiovisual services—Coding of moving video, Advanced video coding forgeneric audiovisual services, Recommendation ITU-T H.264 (或称为 InternationalTelecomm IS0/IEC 14496-10-MPEG-4 的第 10 部分，AVC(Advanced Video Coding),H.264/MPEG-4 的第 10 部分或 AVC(Advanced Video Coding), ITU H.264/MPEG4-AVC 或等同方案)。残差(其是当前像素和参考或预测像素之间的差值)为经过编码的残差。由该图可以看出，帧内预测利用常见帧(或图片)内的像素进行操作。当然要注意的是，给定像素可以具有与其相关联的各自不同的分量，且每个相应的分量可能存在各自不同组的样本。图8是示出了帧间预测处理的实施方式800的图。与帧内预测不同，帧间预测用于基于当前帧(或图片)内的当前组的像素以及位于帧(或图片)序列内的一个或多个其他帧(或图片)内的一组或多组参考或预测像素来识别运动矢量(例如，帧间预测方向)。可以看出，运动矢量从帧(或图片)序列内的当前帧(或图片)扩展至另一个帧(或图片)。帧间预测可以使用分像素插值，使得预测像素值对应于参考帧或图片中的多个像素的功能。尽管这样的残差不同于根据帧内预测处理计算的残差，但可以根据帧间预测处理来计算残差。根据帧间预测处理，每个像素的残差再次对应于当前像素和预测像素值之间的差异。然而，根据帧间预测处理，当前像素和参考或预测像素不位于相同帧(或图片)内。尽管该图示出了一个或多个先前的帧或图片所采用的帧间预测，但同样要注意的是，可选实施方式可以利用对应于当前帧之前和/或之后的帧进行操作。例如，根据适当的缓冲和/或内存管理，可以对多个帧进行存储。当对给定的帧进行操作时，可以根据在给定帧之前和/或之后的其他巾贞来生成参考值。 结合CU，基本单元可以用于预测划分模式(即，预测单元或PU)。同样要注意的是，仅为最后深度的CU限定PU，且其相应大小局限于CU的大小。
图9和图10分别是示出了视频解码架构的不同实施方式900和1000的图。一般来说，这样的视频解码架构对输入位流进行操作。当然要注意的是，这种输入位流可以根据通信设备从通信信道接收的信号来生成。可以对从通信信道接收的连续时间信号进行不同操作，包括数字采样、解调、缩放、滤波等，比如各种操作可以适当根据生成输入位流。而且，可以应用一种或多种误差校正码(ECC)、前向纠错(FEC)等的某些实施方式，可以根据这样的ECC、FEC等进行适当的解码，从而生成输入位流。也就是说，在已经根据生成对应输出位流(例如，可以从发射器通信设备或收发器通信设备的发射器部分进行发射的输出位流)进行其他残差的某些实施方式中，可以根据生成输入位流来进行适当的处理。总体来说，这样的视频解码架构遗憾的是要处理输入位流，从而尽可能紧密地并完全在理想情况下生成对应于原始输入视频信号的输出视频信号，用于输出至一个或多个视频能显示的设备。参照图9的实施方式900，一般来说，解码器比如熵解码器(例如，其可以根据CABAC、CAVLC等应用)根据进行编码(如在视频编码器架构中进行的)的互补过程来处理输入位流。输入位流可以被视为由视频编码器架构生成的压缩输出位流(尽可能紧密地并完全在理想情况下)。当然，在实际应用中，在通过一个或多个通信链路传输的信号中可能已经导致了一些误差。熵解码器对输入位流进行处理并提取适当的系数，比如DCT系数(例如，表示色度、亮度等信息)，并将这样的系数提供给反量化和反变换块。如果采用DCT变换，那么反量化和反变换块就可以被应用来进行反DCT (IDCT)操作。随后，A/D阻塞滤波器被应用来生成对应于输出视频信号的各个帧和/或图片。可以将这些帧和/或图片提供给图片缓冲器或数字图片缓冲器(DPB)，以便用来进行包括运动补偿的其他操作。一般来说，这样的运动补偿操作可以被视为对应于与视频编码相关联的帧间预测。同样，还可以对从反量化和反变换块输出的信号进行帧内预测。类似于视频编码，这样的视频解码器架构可以被应用来进行模式选择，根据对输入位流进行解码，不通过帧内预测或帧间预测进行，通过帧间预测进行或通过帧内预测进行，从而生成输出视频信号。参照图10的实施方式1000，在某些任选实施方式中，一个或多个环路滤波器(例如，根据自适应回路滤波器(ALF)、样本自适应偏移(SA0)滤波器和/或任何其他滤波器类型应用)比如可以根据用于生成输出位流的视频编码来应用，对应的一个或多个环路滤波器可以在视频解码器架构中应用。在一种实施方式中，在去块效应滤波器之后适当应用一个或多个这样的环路滤波器。图11示出了通过不同模块、电路等划分成用于各种编码操作和处理的相应块(例如，宏块(MB)、编码单元(CU)等)的实施方式1100。一般来说，除传统的考虑事项(可合理处理的最大子块或块大小是什么)之外，还要对下游通路(编码器和解码器之间的路径)和解码设备共享处理器负载对给定块大小的影响进行考虑。可以选择初始块大小(例如，基于包括负载的当前条件和能力等进行预先确定)，如果有必要，块大小能够很快适应(参考帧过渡、充分排队等)。选择和自适应可以是任何一个或多个参数比如节点(例如，编码器、解码器、代码转换器及中间节点)能力和负载，以及通信信道类型、条件及状态的函数。例如，代码转换器或编码器可以首先选择NXN、MXM或MXN (例如，16X16、32X32、16X32或32X 16)的第一块大小，随着解码设备漫游或其他条件改变(例如，基于多个不同考虑事项中的任何一个),块大小过渡至不同的块大小(例如,从NX N过渡至MXM比如从32X32或16X16过渡至8X8)。一般来说，各自不同的块大小之间的自适应和过渡可以基于多项考虑事项中的任一项进行，包括给定装置的任何一个或多个本地运行条件、与一个或多个源设备相关联的上游特征和/或上游网络特征、与一个或多个目标设备(destination device,目的设备)相关联的下游特征和/或下游网络特征等。根据不同的操作根据视频编码来进行(例如，其可对应于视频编码和/或视频解码)，视频信号进行处理，从而生成可以进行不同操作的多个块(例如，宏块(MB)、编码单元(CU)等)。一般来说，这种数字信号进行此类划分以便通过这类不同操作进行处理。要注意的是，根据视频编码的各个块大小，无论是宏块或编码单元等，并不一定在每次操作中相同。例如，第一操作可以采用第一大小的块，第二操作可以采用第二大小的块等。此外，由其他图和/或实施方式可以看出，任意给定操作所采用的各自的大小也可以基于多项考虑事项中的任何一项自适应地进行修改。例如,某些实施方式通过自适应地修改不同操作所采用的各自的块大小来进行操作。在一种可能的实施方式中，选择初始块大小(例如，其可以是基于当前操作条件、负载、能力和/或其他考虑因素等的预定选择)，此块大小可以根据任何这样的考虑因素的改变进行修改。也就是说，可以很快或实时对根据某些操作所采用的特定块大小进行修改(合适的参考帧过渡、充分排队等)以适应任何这样的考虑因素的改变。也就是说，根据视频编码在任何给定的相应操作中不采用固定子块或块大小，对不同本地和/或远程操作参数、条件等进行考虑以便实现根据视频编码进行的相应操作中的任何一项所采用的块大小进行自适应调节。例如，由文中的其他实施方式和/或图可以看出，不同环境和操作考虑因素与对应于用于连接或耦合一个或多个目标设备和/或一个或多个源设备的一个或多个通信链路、网络、信道等的下游和/或上游条件相关联。与这样的部件的物理应用和物理能力以及当前的运行状况(比如在可以修改这样的部件的一个或多个操作参数的情况)相关联的特征可以用于调节用于不同操作的块大小。也就是说，这样的块大小的选择和自适应可以是对应于下列项的任何一个或多个参数的函数:给定设备(例如，实际/本地设备、接收媒体内容的远程应用源设备、提供媒体内容的远程应用目标设备、远程应用中间节点介入应用中间设备[位于实际/本地设备和远程应用源设备和/或目标设备之间]等)、可以连接和/或耦合这样的不同设备的任何一条或多条通信链路、网络或信道等、环境和/或操作条件(例如，业务流、温度、湿度等)、运行状况(例如，任何设备的可用处理资源、具有一个以上操作模式的设备的当前配置等)，和/或任何其他考虑因素。一般来说，任何给定操作或过程根据视频编码所采用的块大小可以基于任何这样的考虑因素在多个块大小的任意一个中过渡。图12示出了不同预测单元(PU)模式的实施方式1200。该图分别基于大小为2NX 2N的CU示出了 PU划分模式。根据目前正在开发的HEVC标准，存在所采用的各自不同的片类型(即，I片、P片和B片)。一般来说，I帧的操作使得其相应的处理(比如根据预测的处理)仅与特定的帧相关(例如，I帧仅进行与自身相关的预测)。P片只利用单个参考表而不是相应的参考表进行操作。一般来说，对P片而言，只根据一个方向进行预测(比如根据运动补偿进行的预测)或对帧序列来说是单向的。根据P片的预测可以在任一方向上，但在给定的时间内只采用一个方向。同样，每次只对一个帧，在帧序列的任一方向上进行根据P片的预测。
一般来说，对B片而言，可以根据帧序列的两个方向进行预测。例如，预测(比如根据运动补偿进行的预测)可以同时在帧序列的两个方向上进行，使得可以根据这样的运动补偿使用至少两个相应其他帧(除当前帧之外)的信息。例如，考虑介于前帧I和后继帧3之间的当前帧2:前帧I可以被视为是过去的，而后继帧3可以被视为是将来的或在当前帧2之前的(例如，对帧序列而言)。可以从前帧I和/或后继帧3提取信息用于处理当前帧
2。同样，某些插值信息或混合信息可以根据处理当前帧2由其他两个相应帧实现(例如，来自前帧I的信息可以被插入或与来自后继帧3的信息混合)。同样，对B片而言，B片可以用于相应参考表。根据使用B片的操作，可以利用单个语法元素共同编码在PU划分模式中的CU预测模式。所采用的二值化是当前CU是否是最小的CU、SCU等的函数。对所采用的PU模式而言，将此信息传递给解码器，使得可以适当了解如何对信号块进行划分的以便对根据特定的PU模式编码的视频信号进行适当的处理。例如，根据特定的PU模式(根据视频信号的编码采用该模式)，将此信息提供给解码器，使得该解码器可以适当地处理并解码所接收的视频信号。另外，由该图可以看出，一小组潜在的模式可以用于与跳跃(skip)、帧内预测或帧间预测相关联的不同预测操作。也就是说，可以根据进行的编码操作来进一步限制给定的I3U模式的选择。图13示出了递归编码单元(CU)结构的实施方式1300。高性能视频编码(HEVC)是目前正在开发中的下一代视频压缩标准。在行业内的一些人看来，HEVC标准似乎是H.264/MPEG4-AVC (或者称为AVC)的后继部分，同样通过上文引用并入。根据视频编码，目前正在开发的HEVC标准利用编码单元或CU进行操作，作为通常具有正方形且其配对物根据AVC是宏块(MB)的基本单元。从某些角度看，CU与MB和AVC中的相应子宏块(SMB)的操作目的和作用类似。然而，根据视频编码所采用的两个相应部件之间的至少一个差别在于⑶可能具有多个不同大小中的任何一个，不存在对应于其相应大小的特殊区别。根据基于目前正在开发的HEVC标准执行的视频通话术语，为⑶(S卩，最大编码单元(IXU)和最小内容单元(S⑶))规定了特定的术语。根据视频编码，利用多个非重叠IXU来表示图片。由于假设⑶局限于正方形，IXU内的CU结构可以用图13中描述的递归树表示形式表示。也就是说，CU可以用对应的LCU大小和LCU所属的LCU的分层深度表征。一旦进行树分裂过程，就为不进一步分裂的所有CU指定各自不同的预测编码方法。换句话说，CU分层树可以被视为包括多个相应叶节点，每个叶节点对应于用于相应CU的相应树分裂过程，CU对应于图片。根据视频编码，具体地针对P和B片，每个相应CU可以根据视频编码使用帧内预测或帧间预测。例如，如其他实施方式和/或图(例如图7和图8)所述，帧间预测编码用于采用来自相邻帧的参考，而帧内预测编码用于采用来自空间相邻像素或共址颜色分量(co-located color component)的参考。图14示出了在通信系统中应用的代码转换器的实施方式1400。由该图可以看出，代码转换器可以在由一个或多个网络、一个或多个源设备和/或一个或多个目标设备组成的通信系统中应用。一般来说，这种代码转换器可以被视为在通过一个或多个通信链路或网络等连接和/或耦合的至少一个源设备和至少一个目标设备之间干扰应用的中间设备。在某些情况下，这种代码转换器可以被应用以包括用于从/或向一个或多个其他设备接收和/或发送各自不同的信号的多个输入端和/或多个输出端。可以基于与本地操作参数和/或远程操作参数相关联的考虑因素对代码转换器中的任何一个或多个模块、电路、过程、步骤等进行自适应的操作。本地操作参数的实例可以被视为对应于规定和/或目前可用的硬件、处理资源、存储器等。远程操作参数的实例可以被视为对应于与包括分发流和/或源流的各自流媒体流(streaming media flow)相关联的特征，对应于从一个或多个其他设备接收和/或发送至一个或多个其他设备的信令，其他设备包括源设备和/或目标设备。例如，与任何媒体流相关联的特征可能涉及与至少一个流媒体源流相关联的潜伏时间、时延、噪声、失真、串音、衰减、信噪比(SNR)、容量、带宽、频谱、位速率及符号率中的任何一个或多个，和/或任何其他特征等。鉴于另一个实例，与任何媒体流相关联的特征更具体地可能涉及这种媒体流可以通过的给定设备，包括与设备相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的任何一个或多个和/或任何其他特征等。此外，除媒体流的信令之外，还可以在相应设备之间提供不同的信令。也就是说，可以在这种通信系统中的相应设备之间提供各种不同的反馈信号或控制信号。在至少一种实施方式中，这种代码转换器被应用来选择性地对至少一个流媒体源流进行代码转换，从而基于与至少一个流媒体源流和/或至少一个流媒体分发流相关联的一个或多个特征生成至少一个经代码转换的流媒体分发流。也就是说，通过考虑与流相关联的特征从上游角度、下游角度和/或上游和下游角度进行考虑。基于这些特征，包括与此有关的历史信息、与此有关的当前信息和/或与此有关的预测未来信息，可以使在代码转换器内进行的相应代码转换自适应。此外，还可以对全局运行状况和/或在代码转化器本身内进行的当前运行状况进行考虑。也就是说，针对本地运行状况(例如可用处理资源、可用存储器、所接收的源流、所发送的分发流等)的考虑因素还可以用于实现在代码转换器内进行的相应代码转换自适应。在某些实施方式中，通过从一系列可用视频编码协议或标准中选择一个特定的视频编码协议或标准来进行自适应。如果需要，这样的自适应可以针对从对应于一个或多个视频编码协议或标准的一系列可用配置中选择给定视频编码协议或标准的一个特定配置。可选地，这样的自适应可以针对修改与视频编码协议或标准相关联的一个或多个操作参数、其配置或与视频编码协议或标准相关联的一小组操作参数进行。在其他实施方式中，通过选择各自不同的方式进行自适应，可以通过这些方式进行视频编码。也就是说，某些视频编码(尤其是根据熵编码操作的视频编码)可以是上下文自适应编码、非上下文自适应编码、根据语法操作的编码或根据非语法操作的编码。这样的操作模式之间，特别是上下文自适应和非上下文自适应之间，以及带语法或不带语法的自适应选择可以基于如本文所描述的考虑因素进行。一般来说，可以应用实时代码转换环境，其中可缩放视频编码(SVC)对代码转换器进行上下游操作并且其中代码转换器用于使上游SVC与下游SVC相协调。这种协调涉及内部共享每个代码转换解码器和代码转换编码器中的实时全部活动意识。当对相应通信PHY/信道性能进行评估时，这种意识扩展到通过代码转换编码器和解码器收集的外部知识。此夕卜，这样的意识交流扩展至从下游媒体显示装置的解码器和PHY，以及上游媒体源编码器和PHY接收的实际反馈。为了充分执行SVC+整体流管理,通过行业或专有标准信道的控制信令在全部三个节点之间流动。图15示出了在通信系统中应用的代码转换器的另一实施方式1500。由该图可以看出，可以设置一个或多个相应解码器和一个或多个相应编码器，每个可以使用一个或多个存储器且每个根据协调基于本文所述的不同考虑因素和/或特征中的任何一个进行操作。例如，与从一个或多个源设备至一个或多个目标设备的相应流媒体流(streamingflow)、任何给定源设备和任何给定目标设备间的相应端对端路径、那些源设备/目标设备的反馈和/或控制信令、本地操作考虑因素、历史等相关联的特征可以用于实现根据代码转换的解码处理和/或编码处理的自适应操作。图16示出了在通信系统中应用的编码器的实施方式1600。由该图可以看出，编码器可以被应用来生成一个或多个信号，所述信号可以通过一个或多个分发流经由一个或多个通信网络、链路等传输至一个或多个目标设备。如由代码转换的上下文可以类似的了解到，其中进行的对应编码操作可以用于一种设备，该设备并不一定对所接收的流源流进行解码，而用于生成流分发流，所述流分发流可以通过一个或多个分发流经由一个或多个通信网络、链路等传输至一个或多个目标设备。图17示出了在通信系统中应用的编码器的可选实施方式1700。由该图可以看出，各自不同的编码器之间的协调和自适应可以在设备中类似进行，该设备被应用来进行本文其他地方针对其他图和/或实施方式所描述的用于进行代码转换的编码。也就是说，针对比如在该图中所描述的应用，可以基于编码处理并根据任意特征、考虑因素(不管他们是否是本地的和/或远程的)等选择一系列编码中的一个编码来实现自适应。图18和图19分别示出了代码转换的不同实施方式1800和1900。参照图18的实施方式1800，该图示出了分别由两个或两个以上的源设备提供的两个或两个以上流源流。至少两个相应解码器被应用来同时地、彼此并行地对这些流源流进行解码。向单个编码器提供各自从两个或两个以上流源流生成的解码输出。该编码器被应用来从两个或两个以上各自解码的输出生成组合/单一的流媒体流(streaming flow)。可以向一个或多个目标设备提供组合/单一的流媒体流(streaming flow)。由该图可以看出，组合/单一的流媒体流(streaming flow)可以自一个以上源设备的一个以上的流源流生成。可选地，可能存在可以从单个源设备提供两个或两个以上的流源流的一些情况。也就是说，给定视频输入信号可以根据两个或两个以上不同的相应视频编码操作模式来进行编码，从而生成各自不同的流源流，这两个流源流通常由同一个原始输入视频信号生成。在某些情况下，可以通过第一通信通路提供流源流中的一个，和可以通过第二通信通路提供流源流中的另一个。可选地，可以通过通用通信通路提供这些各自不同的流源流。可能存在在传输过程中一个特定的流源流比另一个流源流受到更多有害影响的情况。也就是说，根据特定方式和生成了给定流源流的编码，在各自传输过程中通过给定通信通路可能会更容易受到某些有害影响的影响或对某些有害影响更有复原力(例如，噪声、干扰等)。在某些实施方式中，如果足够资源可用，那么所需的是不仅仅是生成通过各自不同的通信通路提供的各自不同的流媒体流(streaming flow)。参照图19的实施方式1900，该图示出了由单个源设备提供的单个流源流。解码器用于解码单个流源流，从而生成至少一个解码信号，将该解码信号提供给至少两个相应编码器，所述至少两个相应解码器被应用来生成可以提供给一个或多个目标设备的至少两个相应的流分发流。由该图可以看出，给定的接收的流源流可以根据至少两个不同的操作模式来进行代码转换。例如，该图示出至少两个各自不同的编码器可以被应用来生成可以提供给一个或多个目标设备的两个或两个以上各自不同的流分发流。图20A、图20B、图21A和图21B示出了视频处理器的操作方法的不同实施方式。参照图20A的方法2000，方法2000首先根据每一个都具有第一大小的多个第一子块处理第一视频信号的第一部分，从而生成第二视频信号的第一部分，如方框2010所不。方法2000继续基于与至少一个流媒体源流相关联的第一特征以及与至少一个流媒体分发流相关联的第二特征中的至少一个来识别第二大小，如方框2020所示。如本文其他地方针对其他图和/或实施方式所述，可以根据识别第二大小采用一系列不同特征中的任何一个。在某些情况下，还要注意的是，第二大小可能与第一大小相同。例如，尽管在大多数情况下，第二大小与第一大小不同，但在某些情况下，在考虑一系列不同特征中的任何一个之后，可以确定第一大小仍然是处理第一视频信号的可取或优选大小。例如，同时要注意，在各自不同的时间对这样的特征进行考虑，即便那些特殊特征可能有时会不同，但是决策可能也会实现选择用于处理第一视频信号的各自不同部分的极其相同的子块大小。当然，要注意的是，基于某些情况，为第二大小选择与第一大小相比彼此不同的大小。方法2000然后根据每一个都具有第二大小的多个第二子块自适应处理第一视频信号的第二部分，从而生成第二视频信号的第二部分，如方框2030所示。参照图20B的方法2001，方法2001首先根据每一个都具有第一大小的多个第一子块处理第一视频信号，从而生成第二视频信号，如方框2011所示。方法2001根据每一个都具有第二大小的多个第二子块处理第二视频信号，从而生成第三视频信号，如方框2021所示。方法2001可以继续处理各自不同的干扰视频信号，如该图中的垂直省略符号所述。一般情况下，方法2001还可以根据每一个都具有第M大小的多个第N子块处理第N视频信号，从而生成安培音频信号，如方框2041所示。在可选实施方式中，要注意的是，在各自不同的操作步骤中进行操作的各自不同的子块在某些情况下可以使用大小相同的子块。例如，考虑到方法2001，分别在方框2011和2021中所示的第一大小和第二大小在可选实施方式中可以相同。类似地，在可选实施方式中，方框2041中所示的第N大小与另一个操作步骤中所采用的大小相同。一般情况下，可以根据视频信号处理进行各自不同的操作步骤，使得各自不同的操作步骤采用各自不同大小的子块。此外，在某些实施方式中，可以进一步对某些操作进行子块大小的进一步划分和/或修改。例如，给定视频处理操作步骤可以接收被划分为第一给定大小的子块的视频信号，并进一步修改(例如，通过增加各自的子块大小或降低各自的子块大小)。参照图21A的方法2100，方法2100首先根据每一个都具有第一大小的多个第一子块编码第一视频信号的第一部分，从而生成第二视频信号的第一编码部分，如方框2210所示。方法2100基于与至少一个流媒体分发流相关联的至少一个特征来识别第二大小，如方框2120所示。方法2100根据每一个都具有第二大小的多个第二子块自适应编码第一视频信号的第二部分，从而生成第二视频信号的第二编码部分，如方框2130所示。参照图21B的方法2101，方法2101根据每一个都具有第一大小的多个第一子块解码第一视频信号的第一部分，从而生成第二视频信号的第一解码部分，如方框2211所示。方法2101基于与至少一个流媒体分发流相关联的至少一个特征来识别第二大小，如方框2121所示。方法2101根据每一个都具有第二大小的多个第二子块自适应解码第一视频信号的第二部分，从而生成第二视频信号的第二解码部分，如方框2131所示。与可以理解 的一样，根据视频处理进行的包括编码和/或解码的各自不同的操作，以及根据编码和/或解码进行的各自不同的操作步骤，可以利用各自不同的子块大小进行操作。在某些情况下，可以利用常见的子块大小来进行一个以上的操作步骤，而在其他情况下，各自不同的操作步骤使用各自不同的子块大小。可以根据与任何一个或多个上游特征、下游特征、源设备特征、目标设备特征相关联的一系列特征中的任何一个或多个，和/或与给定通信链路、通信网络等相关联的任何特征对任何一个或多个操作步骤的各自的子块大小进行自适应，根据本发明的各方面及其等同物，这些特征可能存在于任何所需的应用中。同样要注意的是，比如利用其中应用的基带处理模块和/或处理模块和/或其中的其他部件，可以在通信设备中进行文中针对不同方法所述的不同操作和功能。本文使用的术语“基本上”和“近似地”为其对应术语提供行业可接受的容差和/或项目间的相关性。行业可接受的容差的范围小于1%_50%并对应于(但不限于)分量值、集成电路工艺变量、温度变量、上升和下降时间和/或热噪声。项目之间的相关性的差别为几个百分点至数量级差别。本文同样使用的术语“可操作地耦合至”、“耦合至”和/或“耦合”包括项目之间直接耦合和/或项目之间通过干扰项目间接耦合(例如，项目包括(但不限于)部件、元件、电路和/或模块)，其中，对间接耦合而言，干扰项目不修改信号信息但可以调节其电流电平、电压电平和/或功率电平。本文进一步使用的推测耦合(即，其中一个元件通过推断与另一个元件耦合)包括以与“耦合至”相同的方式在两个项目之间直接和间接耦合。本文更进一步使用的术语“可操作用于”或“可操作地耦合至”表明项目包括一种或多种电源连接、输入、输出等以便在激活时执行一个或多个其对应功能且可以进一步包括与一个或多个其他项目的推测耦合。本文更进一步使用的术语“与…相关联”包括直接和/或间接耦合的独立项目和/或被嵌入另一项目中的一个项目。本文使用的术语“与…有利比较”表明两个或两个以上项目、信号等之间的比较以提供所需关系。例如，当所需关系为信号I比信号2的数量级大时，当信号I的数量级比信号2的数量级大时或当信号2的数量级比信号I的数量级小时，可以实现有利比较。本文也可能使用的术语“处理模块”、“处理电路”和/或“处理单元”可以是单个处理设备或多个处理设备。这种处理设备可以是微处理器、微控制器、数字信号处理器、微计算机、中央处理器、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模拟电路、数字电路和/或基于电路的硬编码和/或操作指令操作信号(模拟和/或数字)的任何设备。处理模块、模块、处理电路和/或处理线总线结构直接耦合在一起)或可以分布式定位(例如，通过局域网和/或广域网进行的间接耦合云计算)。进一步要注意的是，如果处理模块、模块、处理电路和/或处理单元通过状态机、模拟电路、数字电路和/或逻辑电路应用一种或多种其功能，可以将存储相应操作指令的存储器和/或存储器元件嵌在包括状态机、模拟电路、数字电路和/或逻辑电路的电路内部或外部。更进一步要注意的是，存储器元件可以存储，和处理模块、模块、处理电路和/或处理单元执行对应于一个或多个图中示出的至少一部分步骤和/或功能的硬编码和/或操作指令。制品中可以包括有这种存储器设备或存储器元件。上文借助示出了指定函数的性能及其关系的方法步骤已对本发明进行了描述。为了便于描述，本文任意限定了这些功能构建块和方法步骤的界限和顺序。只要适当执行指定功能和关系，就可以限定替代界限和顺序。因此任何这样的替代界限或顺序都在要求保护的本发明的范围和精神内。此外，为了便于描述，任意限定了这些功能构建块的界限。只要适当执行某些重要功能，就可以限定替代界限。类似地，本文也任意限定了流程框图以便示出某些重要功能。从所用的程度来看，另外规定了流程框图界限和顺序，并仍然执行某些重要功能。功能构建块和流程图块和顺序的替代定义在要求保护的本发明的范围和精神内。本领域的普通技术人员还将明白，本文中的功能构建块及其他说明性块、模块和部件可以如所示出被应用或通过离散部件、专用集成电路、执行适当软件等的处理器或其任意组合被应用。可能已经至少部分地针对一种或多种实施方式对本发明进行了描述。本发明的实施方式在本文中用来说明本发明的各方面、特点、概念和/或实例。体现本发明的装置、制品、机器和/或工艺的物理实施方式可以包括参照文中所讨论的一种或多种实施方式描述的一个或多个方面、特点、概念、实例等。此外，从图到图，实施方式可以并入可以使用相同或不同参考编号的相同或类似命名的功能、步骤、模块等，同样，所述功能、步骤、模块等可以是相同或类似的功能、步骤、模块等或可以是不同的功能、步骤、模块等。尽管上述图中的电路可以包括晶体管，比如场效应晶体管(FET)，但本领域的普通技术人员将理解，可以利用任何类型的晶体管结构来应用这些晶体管，包括但不限于双极晶体管、金属氧化物半导体场效应晶体管(M0SFET)、N阱晶体管、P阱晶体管、增强型晶体管、耗尽型晶体管及零电压阈值(VT)晶体管。除非从反面特别说明，传递给本文中所显示的任何一个图中的元件的信号、来自元件的信号和/或元件之间的信号可以是模拟信号或数字信号、连续时间信号或离散时间信号以及单端信号或差分信号。例如，如果信号路径被显示为单端路径，则其还表示差分信号路径。类似地，如果信号路径被显示为差分路径，则其还表示单端信号路径。尽管本文对一个或多个特定架构进行了描述，但同样可以应用其他架构，其他架构使用如本领域的普通技术人员认可的一个或多个数据总线(未明确示出)、元件之间的直接连接和/或其他元件之间的间接耦合。术语“模块”用于对本发明的不同实施方式进行描述。模块包括本文所述的处理模块、功能块、硬件和/或存储在存储器中用于执行一个或多个功能的软件。要注意的是，如果通过硬件应用模块，那么硬件可以独立地和/或结合软件和/或固件进行操作。本文使用的模块可以包含一个或多个子模块，每个子模块可以是一个或多个模块。尽管本文明确描述了本发明的不同功能和特点的特定组合，但这些特点和功能的其他组合同样是可能的。本发明不受本文所公开的特定实例的限制并明确结合这些其他组
口 O
权利要求
1.一种装置，包括: 输入端，用于通过至少一个通信网络从源设备接收第一视频信号； 视频处理器，用于: 根据每个都具有第一大小的多个第一子块处理第一视频信号的第一部分，从而生成第二视频信号的第一部分； 基于与至少一个流媒体源流相关联的第一特征、与至少一个流媒体分发流相关联的第二特征、以及与所述装置的至少一个本地处理条件相关联的至少一个特征这三者中的至少一个来识别第二大小；以及 根据每个都具有第二大小的多个第二子块自适应处理第一视频信号的第二部分，从而生成第二视频信号的第二部分； 以及 输出端，用于通过所述至少一个通信网络或至少一个其他通信网络向至少一个目标设备输出第二视频信号；其中， 所述与至少一个流媒体源流相关联的第一特征对应于与所述至少一个流媒体源流相关联的潜伏时间、时延、噪声、失真、串音、衰减、信噪比(SNR)、容量、带宽、频谱、位速率及符号率中的至少一个；并且 所述与至少一个流媒体分发流相关联的第二特征对应于与所述至少一个流媒体分发流相关联的潜伏时间、时延、噪声、失真、串音、衰减、SNR、容量、带宽、频谱、位速率及符号率中的至少一个。
2.根据权利要求1所述的装置，其中， 所述与至少一个流媒体源流相关联的第一特征还对应于与所述源设备和至少一个其他源设备中的至少一个相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个；并且 所述与至少一个流媒体分发流相关联的第二特征还对应于与所述至少一个目标设备相关联的用户使用信息、处理历史、排队、能量约束、显示大小、显示分辨率及显示历史中的至少一个。
3.根据权利要求1所述的装置，其中， 所述与至少一个流媒体源流相关联的第一特征对应于从所述源设备接收的至少一个反馈或控制信号；并且 所述与至少一个流媒体分发流相关联的第二特征对应于从所述至少一个目标设备接收的至少一个反馈或控制信号。
4.根据权利要求1所述的装置，其中， 所述装置是能在卫星通信系统、无线通信系统、有线通信系统及光纤通信系统中的至少一个中操作的通信设备。
5.一种装置，包括: 视频处理器，用于: 根据每个都具有第一大小的多个第一子块处理第一视频信号的第一部分，从而生成第二视频信号的第一部分； 基于与至少一个流媒体源流相关联的第一特征以及与至少一个流媒体分发流相关联的第二特征中的至少一个来识别第二大小； 以及 根据每个都具有第二大小的多个第二子块自适应处理第一视频信号的第二部分，从而生成第二视频信号的第二部分。
6.根据权利要求5所述的装置，其中， 所述视频处理器是用于进行以下操作的视频解码器: 根据每个都具有第一大小的所述多个第一子块解码第一视频信号的第一部分，从而生成第二视频信号的第一解码部分； 基于所述与至少一个流媒体源流相关联的第一特征来识别第二大小；以及根据每个都具有第二大小的所述多个第二子块自适应解码第一视频信号的第二部分，从而生成第二视频信号的第二解码部分。
7.根据权利要求5所述的装置，其中， 所述视频处理器是用于进行以下操作的视频编码器: 根据每个都具有第一大小的所述多个第一子块编码第一视频信号的第一部分，从而生成第二视频信号的第一编码部分； 基于所述与至少一个流媒体分发流相关联的第二特征来识别第二大小；以及根据每个都具有第二大小的所述多个第二子块自适应编码第一视频信号的第二部分，从而生成第二视频信号的第二编码部分。
8.根据权利要求5所述的装置，其中，` 所述装置是中间设备并包括输入端，该输入端用于通过至少一个通信网络从源设备接收第一视频信号；并且 所述装置包括输出端，该输出端用于通过所述至少一个通信网络或至少一个其他通信网络向至少一个目标设备输出第二视频信号。
9.根据权利要求5所述的装置，其中， 所述装置是包括输出端的源设备，该输出端用于通过至少一个通信网络向至少一个目标设备输出第二视频信号。
10.一种视频处理器的操作方法，所述方法包括: 根据每个都具有第一大小的多个第一子块处理第一视频信号的第一部分，从而生成第二视频信号的第一部分； 基于与至少一个流媒体源流相关联的第一特征以及与至少一个流媒体分发流相关联的第二特征中的至少一个来识别第二大小； 以及 根据每个都具有第二大小的多个第二子块自适应处理第一视频信号的第二部分，从而生成第二视频信号的第二部分。
全文摘要
本发明涉及基于基础设施能力及当前条件确定视频编码子块大小。子块大小，比如根据视频处理所采用的子块大小，可以基于多个考虑因素中的任何一个自适应地进行调整。例如，可以针对与由包括视频处理器的特定设备接收和/或输出的流媒体源流和/或流媒体分发流相关联的一个或多个特征来进行这样的子块大小的自适应。例如，这样的视频处理器可以是在中间设备或目标设备中应用的视频解码器。这样的视频处理器可以是在中间设备或源设备中应用的视频编码器。根据视频编码所采用的子块大小的自适应还可以根据在相应设备之间提供的反馈或控制信令来实现。(例如，从目标设备或源设备至中间设备，或从目标设备至源设备等)。
文档编号H04N21/234GK103108180SQ20121036576
公开日2013年5月15日 申请日期2012年9月27日 优先权日2011年9月30日
发明者温伟杰, 杨志杰, 韩拜恩 申请人:美国博通公司