专利名称：用于无线系统中的无压缩视频通信的累进速率适配的方法和系统的制作方法
技术领域：
本发明总体涉及无线通信，更具体地说，涉及无线视频通信。
背景技术：
随着高质量视频的增多，越来越多的电子装置(例如，消费电子装置)使用高清 (HD)视频。传统地，大多数装置将可能占大约若干(ibps(千兆比特每秒)带宽的HD视频压缩到其大小的几分之一，以允许在装置之间进行传输。然而，随着视频的每次压缩和随后的解压，一些视频信息会丢失，并且图像质量下降。在许多无线通信系统中，帧结构用于无线基站(诸如发射器和接收器)之间数据传输。例如，IEEE 802. 11标准在媒体访问控制(MAC)层和物理(PHY)层中使用帧结构。在典型的发射器中，MAC层接收MAC服务数据单元(MSDU)，并将MAC头添加到MAC服务数据单元，从而构造MAC协议数据单元(MPDU)。MAC头包括诸如源地址(SA)和目的地址(DA)的信息。MPDU是PHY服务数据单元(PSDU)的一部分，并被传送到发射器中的PHY层以将PHY 头(即，PHY前同步码)添加到MPDU，来构造PHY协议数据单元(PPDU)。PHY头包括用于确定传输方案的参数，所述传输方案包括编码/调制方案。在作为包从发射器发送到接收器之前，前同步码被添加到PPDU，其中，所述前同步码可包括信道估计和同步信息。在这样的无线通信系统中，在发送视频流之前，进行连接设置和信道带宽保留。在理想情况下，可分配足够的信道带宽，并且在流设置控制之后，可流畅地传输视频流。然而， 由于在相同信道上的其它正在进行的传输，所述流可能无法接收足够的信道带宽。另外，通常而言，无线信道的质量时常动态改变。具体地，对于使用波束成形传输的60GHz无线信道，所述信道甚至会受正在移动的人的影响。当无线信道的质量下降时，MAC/PHY层通常将调制和编码方案(MCQ自动改变为较低级别以保持相同的BER(误码率)性能。在较低MSC 级别的情况下总的数据吞吐量被降低。由于MCS模式切换到较低模式导致原来为视频流保留的带宽不能适应视频数据。
发明内容
技术方案本发明的实施例提供了用于无线系统中的无压缩视频通信的累进速率适配。
图1示出根据本发明的实施例的用于通过无线通信介质的无压缩视频传输的累进速率适配通信系统的框图。图2示出根据本发明的实施例的图1的通信系统的更详细的示图。图3示出根据本发明的实施例的像素的示例二维无压缩视频图像帧的代表。图4到图9示出根据本发明的实施例的包括对无压缩视频图像帧的视频信息连续
7页
应用像素差分变换模式的累进速率适配的示例。图10到图22示出根据本发明的实施例的包括对视频图像帧的视频信息连续应用像素丢弃模式的累进速率适配的示例。图23示出根据本发明的实施例的在从发送器装置发送无压缩视频信息的过程中的累进速率适配的处理的流程图。图M示出根据本发明的实施例的在接收器装置从接收的速率降低的视频信息中接收并重构无压缩视频信息的处理的流程图。最佳实施方式一个实施例包括一种无线通信系统，所述无线通信系统通过获得原始无压缩视频像素信息并执行累进传输数据速率适配来实现用于从无线发送器装置通过无线通信介质发送视频信息的处理。对选择的像素信息执行累进传输数据速率适配来获得速率降低的视频像素信息。速率降低的视频像素信息需要比原始视频像素信息更低的传输数据速率。通过无线通信介质将速率降低的视频像素信息发送到无线接收器装置以在接收器装置进行恢复来重构无压缩视频像素信息。参照以下描述、权利要求和附图，将理解本发明的这些和其它特征、方面和优点。
具体实施例方式本申请要求通过引用合并于此的在2009年4月15日提交的第61/169，647号美国临时专利申请的优先权。本发明提供了一种用于无线系统中的无压缩视频通信的累进传输数据速率适配的方法和系统。所述视频包括视频信息的像素。一个实施例包括一种实现通信处理的通信系统，其中，视频流的传输数据速率动态地适应无线通信介质(例如，射频信道)可提供的可用通信带宽。所述通信系统提供一种一般的传输数据速率适配方案，其中，传输数据速率可基于可用通信带宽顺利地适应期望的速率，而视频质量下降最小。这里，这被称为累进传输数据速率适配(或简称为累进速率适配)。根据本发明的实施例的这样的累进传输数据速率适配通信系统被配置用于(1) 执行累进像素差分变换，其中，视频像素的差值被系统地压缩并被发送以进行累进速率适配，(2)如果数据速率对于可用信道带宽来说太高，则执行累进像素丢弃，其中，在不同位置的像素被系统地均勻丢弃以进行累进速率适配。通信系统维持一组像素差分变换模式和像素丢弃模式，并在这些模式中提供系统切换以完成累进速率适配。累进速率适配通信系统的一个实施方案被配置用于利用简单空域处理的从无线发射器到无线接收器的无压缩视频传输。以这样的方式执行累进像素差分变换视频像素的差值被系统地呈现以进行累进速率适配。可通过逐步改变携带差值而非原始值的像素的数量，以粒度级别调整数据速率。携带差值的像素(S卩，目标像素)的位置被选择以降低或最小化视觉质量下降，并且还使在接收器侧容易进行误差恢复。如果在累进像素差分变换之后数据速率高于可用信道带宽，则以这样的方式执行累进像素丢弃(抛弃)在不同位置的像素被系统地均勻丢弃以进行累进速率适配。可通过逐步改变将被丢弃的像素的数量，以粒度级别调整数据速率。将被丢弃的像素的位置被
8选择以最小化视觉质量下降，并且还使在接收器侧容易进行误差恢复。一个实施方案通过以下方式提供经由无线通信介质发送视频信息获得无压缩视频像素的原始像素信息，对选择的像素信息执行累进传输数据速率适配来获得速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率。速率降低的像素信息经由无线通信介质从无线发送器装置被发送到无线接收器装置。累进传输数据速率适配包括对选择的像素的像素信息执行连续数据速率适配操作以降低其像素信息的传输数据速率，其中，每个连续数据速率适配操作进一步降低所述像素信息的传输数据速率，以适应无线通信介质的可用带宽。执行连续数据速率适配操作的步骤可包括执行连续像素差分变换模式，从而每个像素差分传输模式进一步降低选择的像素信息的传输数据速率。此外，对选择的像素执行每个数据速率适配操作的步骤可包括对选择的像素的块中的像素执行像素差分变换模式，其中，选择的像素的块包括初始像素和最近的空间相关像素。执行像素差分变换模式的步骤可包括对所述块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式。对参考像素和目标像素进行的像素差分变换模式包括执行像素差分操作，其中， 像素差分操作包括确定包括参考像素的当前像素信息和目标像素的当前像素信息之间的差的像素差分信息；使用所述像素差分信息来代替所述目标像素的当前像素信息。选择的像素位置均勻地分布在每个块中以最小化视觉质量下降。图1示出根据本发明的实施例的用于通过无线信道从发送器装置11到接收器装置12的无压缩视频传输的累进速率适配通信系统10的框图。在发送器装置11，无压缩视频输入模块13 (例如，视频解码器或无压缩HD视频解码器)经由有线接口(诸如HDMI (高清晰度媒体接口))将包括无压缩视频的信息提供给无线发射器14。发射器14使用毫米波无线(mm波)技术通过无线信道来将所述信息发送到接收器装置12处的无线接收器15。 对于更低的视频格式(诸如480p)，可使用其它无线技术(诸如UWB (超宽带)或802. lln) 0 在接收器装置12，无线接收器15经由另一有线接口将接收的信息提供给无压缩视频重放模块16(例如，可以是HDTV(高清晰度TV)、监视器、投影机等)。发送器11包括速率适配模块，被配置用于对无压缩视频像素的原始像素信息的选择的像素信息执行累进传输数据速率适配，以产生速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率。发送器11还包括通信模块，被配置用于通过无线通信介质将速率降低的像素信息发送到无线接收器装置。接收器12包括 通信模块，用于无线通信；恢复模块，被配置用于执行发送器的逆向操作以恢复原始无压缩视频像素信息。图2更详细地示出根据本发明的实施例的用于包括无线网络的系统10中的无压缩视频传输的累进速率适配实施方案。在发送器侧11，视频输入模块13包括处理模块，其中，处理模块包括应用&PAL (协议适配层)层，所述应用&PAL层将视频流连续流传输到无线发射器14中的媒体访问控制(MAC)层14M。MAC层将视频流打包为MAC包，并将所述包下移到物理(PHY)层14P以通过无线信道发送到接收器装置12。在接收器侧，无线接收器15的PHY层15P接收所述包，并将所述包提供给MAC层 15M。MAC层15M对所述包进行解包，并随后将视频信息提供给视频重放模块16，其中，视频重放模块16包括处理模块，所述处理模块包括应用&PAL层。在系统10中采用包括累进速率适配的动态速率适配，以满足终端用户的稳定的视频流需求。以下根据本发明的实施例描述系统10的操作。 根据本发明的实施例，在发送器装置11的MAC层14M，基于用于像素分区的像素块 (或子块)格式，从由视频输入模块13提供的视频信息创建视频包。MXN的像素块表示具有N行M列像素的一组相邻数字图像像素。在处理期间，在像素块中的所有像素被分离并被放置入不同的像素分区。图3示出像素21的示例二维无压缩视频图像帧20的代表。由符号“〇”来图形表示像素21。在这个示例中，2X2像素块22被用于将装置存储器中的像素映射到4个像素分区23 (例如，分区0、分区1、分区2、分区3)。所述分区在发送器MAC层14M被放置入包，并经由发送器PHY层14P通过无线介质被无线发送到接收器。在接收器，由接收器MAC 层15M对在接收器PHY层15P的接收的包进行解包，并且由接收器应用层16对所述包进一步处理以恢复为无压缩视频。根据发送器装置存储器缓冲能力和视频格式/内容来确定像素块大小。例如，如果由于延迟需求和片内缓冲大小的限制，仅有8行(排)的无压缩视频可被缓冲用于信号处理，则最大像素块大小为8XM(M>= 1)。视频内容和视频分辨率格式也影响像素块大小的选择。在同一像素块中的像素通常具有相似值。对于高视频分辨率(诸如1080)， 在8X8像素块中的像素通常具有非常相似的值。然而，对于低视频分辨率(诸如 800 X 600)，在4 X 4像素块中的像素通常具有相似的值，8 X 8作为像素块大小可能太大。块中的像素是空间相关的。像素块中的不同的像素被放置到不同的分区。根据本发明的实施例，如果实际分配的无线信道带宽可适应来自输入模块13的输入(原始)视频流所需要的传输数据速率，则可利用像素块22中的每个像素的原始值。 图3示出在具有相应值Ynm(即，Y00、Y01、...)的直角坐标(n，m)的视频像素21的示例帧 20。像素值表示视频信息。整数值η >=0且m>=0，分别表示像素行坐标和列坐标。图3示出累进速率适配处理的IX 1像素差分变换模式。在这个模式中，对于从发送器装置到接收器装置的传输，在分区23中使用每个像素块中的所有像素的原始值。累进速率适配根据本发明的实施例，如果实际分配的无线信道带宽不能适应来自输入模块13 的输入(原始)视频流所需要的传输数据速率，则对于更低的传输数据速率，利用累进速率适配。在一个实施方案中，累进速率适配包括累进像素差分变换(PPDT)处理和累进像素丢弃(PPDR)处理，其中，PPDT和PPDR处理可被单独地应用或可被结合地应用，如在下文中更具体地描述。累进像素差分变换例如，图4示出2X 1像素差分变换模式。在每个2X 1像素子块22中，对于目标像素(诸如在坐标(n = i，m = 2j+l)的像素)，基于参考像素(诸如同一行上的在坐标 (n = i,m = 2j)的先前像素)的值Yi(2j)由值差D来代替相应的像素值Ymj+1)，从而D = Υ&」+1)-Υ (2」)。在这里的描述中，i>=0，为整数，j>=0，为整数。此外，在附图中，圆形符号“O”表示原始像素值，三角符号“Δ”表示差值D。
根据累进像素差分变换处理，在发射器侧，以减少来自参考像素的误差传播的方式来选择携带计算的差分值的每个目标像素。此外，当目标像素可用作下一目标像素的下一次计算的参考像素时，该目标像素的每个计算的差分值随后在用于进一步的差分计算的累进中被使用。这提供了差值的系统和迭代计算，其中，在一个像素差分变换模式中的先前计算的差值被用于在下一像素差分变换模式中计算进一步的差值，以降低发送视频信息所需要的数据速率。相似地，在接收器侧，逆向处理被用于恢复原始像素值，减少计算开销。可基于包括例如发送器/接收器缓冲能力、计算延迟和像素块大小的因素来选择应用的像素差分变换模式的数量。例如，在图4中，对于i = 0，j = 0，由在帧位置(0，0)的参考像素的像素值和在帧位置(0，1)的目标像素的像素值之间的差D来代替目标像素值Ytll，其中，D = ^ll-Y,相似地，对于i =0，j = 1，由差D = Ytl3-^12来代替目标像素值Ytl3，其中，在帧位置(0，2)的像素是参考像素，等等。在图4中，在一行中的一对像素之间的每个箭头25从参考像素指向目标像素，其中，所述箭头表示包括确定参考像素的当前像素信息和目标像素的当前像素信息之间的差 D的像素差分计算。在D被确定之后，使用确定的差D来代替目标像素的像素信息，其中，作为该代替的结果，随后目标像素携带像素差分信息D作为目标像素的当前像素信息。在图 5到图9中，相同的定义应用到一对像素之间的每个箭头(逐行和逐列)。在完成差分变换模式之后，对于计算了差D的每个目标像素，差值D被存储在与所述原始像素相应的分区23中的位置，而不是存储目标像素的原始像素值。根据本发明的实施例，为了进一步降低数据速率(即，使需要的数据速率逐步适应分配的无线信道带宽)，可如图5中的像素差分变换模式所示，应用2X2差分模式。在每个2X2像素子块22中，从以上2X1差分模式的结果，在每列2j中，像素值Y(2i+1)(2j)被来自同一列的先前像素的差值D = Y(2i+1)(2J)-Y(2i)(2J)代替。在图5中，向下的箭头指示对2X1 差分模式增加的操作。根据本发明的实施例，为了进一步降低数据速率(即，逐步调整需要的数据速率)，可如图6中的像素差分变换模式所示，应用4 X 2差分模式。在每个4 X 2像素子块22 中，从以上2 X 2差分模式的结果，在每行2i中，像素值Y(2i) (4J+2)被来自同一行的先前像素
的差值Y(2i)(4j+2)-Y(2i)(4j+1)代替。由于在Y(2i)(4j+1)的像素位置的值为Y(2i)(4j+1)-Y(2i)(4j)，因此对在位置 Y(2i)(4j+2)的值的值计算具有两个步骤Y(2i)(4j)+(Y(2i)(4j+1)-Y(2i)(4j)) =Y(2i)(4j+1)，随后用于在位置Y(2i)(4j+2)的值的值为差D = Y(2i)(4j+2)-Y(2i)(4j+1)。在这个示例中，Y01用于在帧位置 (0,1)的参考像素，D用于在帧位置(0，2)的目标像素。在图6中，加粗箭头指示对2X2差分模式增加的操作。根据本发明的实施例，在图7到图9中按顺序分别示出针对用于逐步调整需要的数据速率的4X4、8X4和8X8像素差分变换模式的其它示例数据速率降低(每个附图中的加粗箭头指示对紧接前面的先前差分模式增加的操作)。因此，图4到图9分别示出根据本发明的一个实施例的对视频帧20的连续像素差分模式2X1、2X2、4X2、4X4、8X4、8X8的累进应用。例如，对包括第一速率降低的帧(需要比原始帧更低的传输数据速率的帧)的图4中的帧20的2X 1像素差分变换模式应用的输出被用作图5中的2X2像素差分模式应用的输入。对包括第二速率降低的帧(需要比第一速率降低的帧更低的传输数据速率)的图5中的帧20的2X2像素差分模式应用的输出被用作图6中的4X2像素差分模式应用的输入，等等。每个像素块22包括保持原始像素值的初始像素21i。根据本发明的实施例，对于每个像素差分变换模式，在每个像素块22中，基于三个标准来选择携带差值的目标像素。第一，选择的像素均勻地分布在像素块中(以及视频帧中)以最小化视觉质量下降。第二，选择的像素减小(并且优选地最小化)从初始像素21i到携带差值的像素的整体平均依赖长度以及最大依赖长度。在图4到图22中，像素块22中的两个像素之间的依赖长度是这两个像素之间的箭头25的数量的计数。例如，在图6中，在每个像素块中， 距像素块中的初始21 的最大依赖长度为4(即，Y00- > Y01- > Y02- > Y12- > Y13)，平均依赖长度为2，这使相关像素块的依赖长度最小化(这相应地使传播误差最小化)。每个像素块中的整体平均依赖长度是像素块中的全部依赖长度的和对该块中的像素的数量的比。第三，选择的像素允许从图4到图9的累进像素差分变换模式的系统和自动的迭代，其中，首先逐行(水平)选择像素，再逐列(垂直)选择像素。逐行和逐列的选择从一个像素差分模式到下一像素差分模式交替进行。累进像素差分变换处理的每个模式提供了速率降低的帧，在累进中所述速率降低的帧需要比先前的速率降低的帧更低的传输数据速率。在像素差分变换之后，携带所述差值的特定像素值可变得非常小。例如，如果原始像素值是230，则由于相邻像素之间的值差通常非常小，因此差值可以仅为2。如果在一个分区23中，大多数像素具有非常小的值，则像素值的高阶位平面(例如，最高有效位(MSB)) 将大部分具有“0”。由于目标像素中的差值包含比目标像素的先前值更少的将被发送的信息，因此这降低了视频帧的需要的传输速率。此外，可执行差值的压缩。例如，无损压缩方案 (诸如霍夫曼编码或游程长度编码(RLC))可被应用到像素分区23以减少用于每个像素分区23的比特量。随后，RLC可被应用到高阶位平面以压缩分区中的信息(S卩，分区压缩)。在一个示例中，可使用针对2X1、2X2、4X2、4X4、8X4、8X8像素块的差分模式来逐步降低将从发送器装置发送到接收器装置的无压缩视频数据速率，同时基本保持视频质量。此外，可单独执行多个像素差分变换模式。例如，在2X2像素差分变换模式之后，可直接应用8 X 8像素差分变换模式。如果无线信道条件改善并且较高数据速率可用，则可逆向执行使用像素差分变换的速率适配。累进像素丢弃根据本发明的实施例，如果实际分配的无线信道带宽仍然不能适应在对发送器装置处的无压缩视频信息执行具有像素压缩的累进速率适配之后所需要的传输数据速率，则一个或多个像素分区可被逐步丢弃以进一步降低所述数据速率，并且保持稳定的和可接受的视频质量。优选地，丢弃的像素均勻分布在每个像素块22中，从而在接收器侧保持可接受的视觉视频质量以及简单的像素恢复和误差恢复(error resilience) 0在发送器装置的一个实施方案中，像素丢弃模式NXM:k表示在视频帧20中的 NXM块22中，k个像素被丢弃。在每个像素丢弃模式中，通常基于目标像素距子块的第一像素的距离来丢弃目标像素。首先丢弃具有距像素块的参考像素(例如，在位置(0，0)的第一像素)最长距离的目标像素。换句话说，首先丢弃具有距像素块中的参考像素最长误差传播路径的目标像素。在附图中，任何两个像素之间的路径包括一组连接两个像素的箭头，其中，由在所述路径中的箭头的数量来表示所述路径的长度。对于在接收器装置处的视频质量，丢弃这样选择的目标像素减少了对其它像素的影响。图10示出根据本发明的示例像素丢弃模式8X8:1，其中，子块大小22是8X8，像素丢弃模式是k = 1。因此，在像素丢弃模式8 X 8 1中，像素Y(8i+7) (8J+7)被丢弃。在这个示例中，N = 8，M = 8，k = 1，在每个8X8像素子块中被识别为Y(8i+7)(8j+7)的像素被丢弃。在图 11中所示的另一示例像素丢弃模式中，为了进一步降低数据速率，在像素丢弃模式8X4:1
下，像素Y (4i+3) (8j+7) 被丢弃。根据本发明的实施例，在图12到图22中示出其它示例像素丢弃模式，其中，由在像素上的“ X，，标记指示丢弃的像素。具体地，图12示出4X4:1像素丢弃模式，图13示出4X2:1像素丢弃模式，图14示出2X2:1像素丢弃模式，图15示出2X2:2像素丢弃模式，图16示出2X2:3像素丢弃模式，图17示出4X4:13像素丢弃模式，图18示出4X4:14 像素丢弃模式，图19示出4X4:15像素丢弃模式，图20示出8X8:61像素丢弃模式，图21 示出8X8:62像素丢弃模式，图22示出8X8:63像素丢弃模式。像素丢弃模式是按照丢弃的像素数增加的顺序。例如，2X2:3表示从8X8像素块中的64个像素中丢弃48个像素，8X8:61表示从64个像素中丢弃61个像素，因此，2X2:3的丢弃通常在8X8:61像素丢弃模式之前进行。也可按照相同的模式执行累进像素丢弃，诸如4X4:13到4X4:14到 4X4:15 至Ij 8X8:61 至Ij 8X8:62 至Ij 8X8:63。图10到图22分别示出对视频帧20进行的连续像素丢弃模式8X8:1、8X4:1、 4X4:1、4X2:1、2X2:1、2X2:2、2X2:3、4X4:13、4X4:14、4X4:15、8X8:61、8X8:62、 8X8:63的累进应用，其中，先前已根据图4到图9中的像素差分变换应用对所述视频帧20 进行过处理。例如，包括第一像素减少的帧的图9中的8X8像素差分变换模式的输出被用作图10中的8 X 8 1像素丢弃模式应用的输入。包括第二像素减少的帧的图10中的8 X 8 1 像素丢弃模式应用的输出被用作图11中的8X4:1像素丢弃模式应用的输入，等等。如果将被丢弃的像素在像素差分变换应用中被用作用于其它像素的参考像素以计算差值，则在丢弃处理期间执行差值的重算。例如，在2X2:2像素丢弃模式(图15)中， 当在坐标(1，0)的具有值Yltl的像素被丢弃时，在坐标(2，0)的差值Y2tl从^l-Yltl改变为 Y20-Y。。，针对在位置(2,0)的像素，如下执行重算=D = (Y10-Yoo)+ (Y20-Yio) =^tYqq,其中，D 代替在位置Ο，0)的像素的现有值I—如果无线信道条件改善并且更高的数据速率可用， 则总可逆向进行使用像素丢弃的速率适配。根据本发明的实施例，对于像素丢弃模式中的每个像素丢弃模式，在每个像素块 22中，基于两个标准选择将被丢弃的目标像素。第一，选择的像素均勻地分布在像素块中 (以及视频帧中)以最小化视觉质量下降。第二，首先选择丢弃具有距像素块中的初始像素 21i最大依赖长度的像素。累进像素丢弃处理的每个模式提供像素减少的帧，在累进中所述像素减少的帧需要比先前的像素减少的帧更低的传输数据速率。根据本发明的实施例，还可在预先执行任何像素差分变换模式的情况下使用像素丢弃处理。例如，图10到图22示出在8X8像素差分变换模式之后的不同的像素丢弃模式。根据本发明的实施例，可在不预先执行任何像素差分变换模式的情况下应用像素丢弃处理。在那种情况下，帧20 (图幻中的原始像素值被丢弃，而不是像素的差值被丢弃。在一个示例中，每个原始视频帧包括与二维空间中的图像相应的无压缩视频像素。无压缩视频像素信息的帧的示例包括IOSOp视频格式，其中，每个视频帧包括1080行， 每行具有1920个像素。每个像素包括三个颜色元素Y、Cb、Cr或R、G、B。每个颜色元素包括固定数量的比特，例如，8比特或10比特或12比特。在像素差分变换和像素丢弃中的颜色元素的区分每个像素具有三个颜色元素(未示出)。在像素分区之前根据RGB颜色空间或 YCbCr颜色空间执行颜色元素分区(颜色元素分区是指将Y、Cb、Cr元素或R、G、B元素分离)。每个颜色元素具有相应的位平面。根据本发明的实施例，累进速率适配包括在颜色元素中的差分变换的应用或在位平面中的差分变换的应用。根据本发明的实施例，由于像素的不同颜色元素对视频质量的贡献不同，因此，不同的像素差分变换和像素丢弃模式可被应用到像素的不同的颜色元素。例如，对于亮度 (亮度)Y，可利用2X2像素差分变换模式，而对于Cb (S卩，蓝色减去亮度(B-Y))和Cr (即， 红色减去亮度(R-Y))，可利用4X4像素差分变换模式。在另一示例中，对于Y，不利用像素丢弃，而对于Cb和Cr，利用2 X 2 2像素丢弃。在这种情况下，视频格式从4:4:4被改变为 4:2:2。在另一示例中，对于Y，不使用像素丢弃，而对于Cb和Cr，使用2X2:3像素丢弃。在这种情况下，视频格式被改变为4:2:0。对于不同的颜色元素，颜色深度下降也可不同。例如，Y可总保持比Cb和Cr更多的位平面。根据本发明的实施列的颜色元素的区分的示例包括示例 1 Y使用2X2像素差分变换，而Cb和Cr使用4X4像素差分变换。示例20:4:4 到 4:2:2)Y不使用像素丢弃，而Cb和Cr使用2X2:2像素丢弃。示例乂4:4:4 到 4:2:0)Y不使用像素丢弃，而Cb和Cr使用2X2:3像素丢弃。示例4 (颜色深度下降)Y可总保持比Cb和Cr更多的位平面。行和列处理的不同顺序在以上示例中，对于像素的图像帧，总是在与列有关的处理之前，首先执行与行有关的处理。本发明的实施例对于行和列处理的不同顺序组合是有用的。在一个示例中，像素差分变换从模式1X1到模式2X1到模式2X2到模式4X2等进行累进。在另一示例中， 像素差分变换模式从模式1 X 1到模式1 X 2到模式2 X 2到模式2 X 4等进行累进，其中，总是在与行有关的处理之前，首先执行与列有关的处理。图23示出根据本发明的实施例的在发送器装置(诸如装置11 (图2))的累进速率适配处理110的流程图，包括处理块111 对于无压缩视频信息的帧，对像素颜色元素进行分区，并选择像素块大小。处理块112:确定足够的无线带宽是否可用于发送视频帧？如果否，则进行块 113，否则进行块119。
处理块113 选择用于执行累进像素差分变换的像素压缩方案。处理块114:计算差值。处理块115 将原始值和差值放置到不同的像素分区中。处理块116 通过去除差值的较高的位平面来压缩放置有差值的像素分区。处理块117 对于可用的无线带宽，经过处理的像素分区的无线传输所需要的数据速率足够低？如果是，则进行块120，否则进行块118。处理块118 通过像素丢弃来执行累进像素丢弃。进行块120。处理块119 将原始值放置入不同的像素分区中。进行块120。处理块120 对像素分区进行打包，并通过无线信道从发送器装置发送到接收器
直ο在本发明的一个实施例中，处理110的若干个处理块(例如，至少处理块113-115 和118-119)在发送器装置11的应用和PAL层13 (或音频视频控制(AVC)层)被执行。特定操作(诸如打包)还涉及到发送器装置11的MAC层14M。图M示出根据本的实施例的在接收器装置(诸如装置12(图2))的相应的累进速率适配处理130的流程图，包括处理块131 接收包，并将不同的分区分离。在发送器侧，不同的分区被放置到一个包中。当接收器接收到所述包时，接收器识别所述包的哪个部分属于哪个分区。处理块132 对于每个分区，如果该分区中的信息被压缩，则进行到块133。否则， 进行到块134。处理块133 对分区中的信息进行解压。处理块134 如果分区携带像素的差值，则进行到块135。否则，进行到块136。处理块135 对携带差值的每个分区计算原始像素值。这与在发送器侧的累进像素差分变换相反。在一个示例中，在接收器12的应用层模块16执行这样的计算，并且这样的计算通过从差值计算原始像素值，包括与在发送器11的累进像素差分变换模式的顺序相反的累退操作(regression operation)。例如，在图4到图9中，与在参考像素和目标像素之间的每个箭头有关的操作被逆向进行，其中，用参考像素值和差值的和来代替由目标像素携带的差值(例如，在图4到图9中，基于所述计算，使用圆形符号来代替三角符号)。 用于确定原始像素值的逆向操作按顺序从最近应用的像素差分变换模式(例如，图9)开始，并按反方向顺序地继续进行到首先应用的像素差分变换模式(例如，图4)。逆向操作包括加法和减法操作以逐步恢复像素的原始值。例如，从图9到图8，如下进行计算在位置 Y(40(8^的像素值被改变为其原始像素值，如下Y(4i) (8j) = (Y(4i) (8j)~Y(4i-l) (8j)) + (Y(4i—4) (8 j) ) + (Y(4i—3) (8j)_Y(4i-4) (8 j) ) + (Y(4i—2) (8j)_Y(4i-3) (8j) ) + (Y(4i—1) (8j)~Y(4i-2) (8j))。处理块136 如果任何分区像素丢失(例如，被发送器丢弃)，则进行到块137。否则，进行到块138。处理块137 诸如通过使用相邻像素的像素值的平均值，从相邻分区像素恢复丢失的分区像素。恢复操作也是与发送器侧的累进像素丢弃相反的累退操作。这在顺序上与以上在块135中描述的累退像素差分变换相似，使用相邻像素的值来恢复丢弃的像素，诸如通过使用相邻像素代替或使用相邻像素的平均值代替。
处理块138 通过将不同的分区的像素进行组合来对像素去分区，以恢复视频序列的图像中的像素的原始位置顺序，从而恢复无压缩视频。在本发明的一个实施例中，通过在接收器装置12的应用和PAL层16 (或AVC层) 的重构模块来执行处理130的至少若干个处理块(例如，至少处理块135、137)。通过在接收器装置12的MAC层15M的解包模块来执行诸如解包的特定操作。以下的表1示出根据本发明的实施例的根据霍夫曼编码或游程编码的不同编码率的每个像素差分变换模式的数据速率比的示例。表1 在像素差分变换之后的平均数据速率比
像素差分变换模式平均编码率0.60.50.30.22 χ 10.80.750.650.62x20.70.630.480.44x20.650.560.390.34x40.630.530.340.258x40.610.520.320.238x80.610.510.310.21表2示出根据本发明的实施例的根据霍夫曼编码或游程编码的不同编码率的在像素差分变换之后的每个像素丢弃模式的数据速率比的示例。表2 在像素差分变换和像素丢弃之后的平均数据速率比
像素差分平均编码率变换模式10.60.50.30.28x8: 10.980.590.50.310.218 χ 4: 10.970.590.50.310.224x4: 10.940.590.50.330.2权利要求
1.一种通过无线通信介质发送视频信息的方法，包括 在无线发送器装置，获得无压缩视频像素的原始像素信息；对选择的像素信息执行累进传输数据速率适配以获得速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率；通过无线通信介质将速率降低的像素信息发送到无线接收器装置。
2.如权利要求1所述的方法，其中，执行累进传输数据速率适配的步骤包括对选择的像素的像素信息执行连续数据速率适配操作，以降低选择的像素的像素信息的传输数据速率，其中，每个连续数据速率适配操作进一步降低所述像素信息的传输数据速率，以适应无线通信介质的可用带宽。
3.如权利要求2所述的方法，其中执行连续数据速率适配操作的步骤包括执行连续像素差分变换模式，从而每个像素差分变换模式进一步降低选择的像素信息的传输数据速率。
4.如权利要求3所述的方法，其中对选择的像素执行每个数据速率适配操作的步骤包括对选择的像素的块中的像素执行像素差分变换模式，其中，所述选择的像素的块包括初始像素和最近的空间相关的像素；执行像素差分变换模式的步骤包括对所述块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式； 用于参考像素和目标像素的像素差分变换模式包括执行像素差分操作，其中，执行像素差分操作的步骤包括确定包括参考像素的当前像素信息和目标像素的当前像素信息之间的差的像素差分信息，并且使用像素差分信息来代替目标像素的当前像素信息； 选择的像素位置均勻分布在每个块中以最小化视觉质量下降。
5.如权利要求4所述的方法，其中 基于差分变换模式来选择块大小；选择每个目标像素位置以减小从所述初始像素到目标像素的整体平均依赖长度。
6.如权利要求5所述的方法，其中选择每个目标像素位置以减小从所述初始像素到目标像素的最大依赖长度。
7.如权利要求6所述的方法，其中 按行和列布置每个块中的像素；第一像素差分变换模式包括对位于行中的选择的像素对执行逐行像素差分操作； 随后的像素差分变换模式包括对位于列中的选择的像素对执行逐列像素差分操作。
8.如权利要求7所述的方法，还包括将每个块中的空间相关的像素划分到不同的分区中； 对每个分区中的差分像素信息进行压缩以压缩每个分区中的像素信息； 将像素信息从分区放置到包中； 通过无线通信介质发送每个包。
9.如权利要求4所述的方法，其中执行连续数据速率适配操作的步骤还包括在执行一个或多个像素差分变换模式之后执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
10.如权利要求9所述的方法，其中执行每个像素丢弃模式的步骤包括执行像素丢弃操作，其中，选择的在块中的不同位置的像素被均勻丢弃，并且具有距块中的初始像素最大依赖长度的像素被首先丢弃。
11.如权利要求4所述的方法，其中，像素信息包括颜色元素信息。
12.如权利要求1所述的方法，还包括在无线接收器装置，接收速率降低的像素信息；通过与在发送器装置的累进数据速率适配的顺序相反的累退数据速率适配，来从速率降低的像素信息确定原始像素值；从空间相关的像素重构无压缩视频像素信息。
13.如权利要求12所述的方法，还包括检查接收的像素的像素信息是否丢失；使用接收的与损坏的像素空间相关的像素的像素信息来恢复丢失的像素信息。
14.如权利要求2所述的方法，其中执行连续数据速率适配操作的步骤包括执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
15.如权利要求14所述的方法，其中执行每个像素丢弃模式的步骤包括执行像素丢弃操作，其中，选择的在块中的不同位置的像素被均勻丢弃。
16.如权利要求15所述的方法，其中，执行每个像素丢弃操作的步骤包括丢弃像素的矩形块中的选择的像素，其中，基于像素丢弃模式选择块大小，从而基于像素到所述块中的参考像素的距离来选择将被丢弃的像素。
17.如权利要求16所述的方法，其中，选择的将被丢弃的像素具有距所述块中的初始像素最长的距离，从而具有距所述块中的初始像素最大依赖长度的像素被首先丢弃。
18.—种通过无线通信介质发送视频信息的无线基站，包括速率适配模块，被配置用于对无压缩视频像素的原始像素信息的选择的像素信息执行累进传输数据速率适配，以产生速率降低的像素信息，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率；通信模块，被配置用于通过无线通信介质将速率降低的像素信息发送到无线接收器装置。
19.如权利要求18所述的无线基站，其中，速率适配模式被配置用于对选择的像素的像素信息执行连续数据速率适配操作，以降低选择的像素的像素信息的传输数据速率，其中，每个连续数据速率适配操作进一步降低所述像素信息的传输数据速率，以适应无线通信介质的可用带宽。
20.如权利要求19所述的无线基站，其中，速率适配模块被配置用于执行连续像素差分变换模式，从而每个像素差分变换模式进一步降低选择的像素信息的传输数据速率。
21.如权利要求20所述的无线基站，其中速率适配模块被配置用于通过对选择的像素的块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式，来对选择的像素的块中的像素执行像素差分变换模式，其中，所述选择的像素的块包括初始像素和最近的空间相关的像素；速率适配模块还被配置用于通过确定包括参考像素的当前像素信息和目标像素的当前像素信息之间的差的像素差分信息，并且使用像素差分信息来代替目标像素的当前像素信息，执行用于参考像素和目标像素的像素差分变换模式；选择的像素位置均勻分布在每个块中以最小化视觉质量下降。
22.如权利要求21所述的无线基站，其中基于差分变换模式来选择块大小；选择每个目标像素位置以减小从所述初始像素到目标像素的整体平均依赖长度。
23.如权利要求22所述的无线基站，其中选择每个目标像素位置以减小从所述初始像素到目标像素的最大依赖长度。
24.如权利要求23所述的无线基站，其中按行和列布置每个块中的像素；速率适配模块还被配置用于通过对位于行中的选择的像素对进行逐行像素差分操作， 来执行第一像素差分变换模式；速率适配模块还被配置用于执行随后的像素差分变换模式，随后的像素差分变换模式包括对位于列中的选择的像素对执行逐列像素差分操作。
25.如权利要求M所述的无线基站，还包括处理模块，被配置用于将每个块中的空间相关的像素划分到不同的分区中，对每个分区中的差分像素信息进行压缩以压缩每个分区中的像素信息；将像素信息从分区放置到包中，其中，通信模块通过无线通信介质发送每个包。
26.如权利要求21所述的无线基站，其中，速率适配模块被配置用于在执行一个或多个像素差分变换模式之后执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
27.如权利要求沈所述的无线基站，其中，速率适配模块被配置用于通过执行像素丢弃操作来执行每个像素丢弃模式，其中，选择的在块中的不同位置的像素被均勻丢弃，并且具有距块中的初始像素最大依赖长度的像素被首先丢弃。
28.如权利要求21所述的无线基站，其中，像素信息包括颜色元素信息。
29.如权利要求19所述的无线基站，其中，速率适配模块被配置用于执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
30.如权利要求四所述的无线基站，其中，速率适配模块被配置用于通过执行像素丢弃操作来执行每个像素丢弃模式，其中，选择的在块中的不同位置的像素被均勻丢弃。
31.如权利要求30所述的无线基站，其中，速率适配模块被配置用于通过丢弃像素的矩形块中的选择的像素，来执行每个像素丢弃操作，其中，基于像素丢弃模式选择块大小， 从而具有距块中的初始像素最大依赖长度的像素被首先丢弃。
32.一种无线通信系统，包括发送无线基站和接收无线基站；发送无线基站被配置用于通过无线通信介质发送视频信息，发送无线基站包括速率适配模块，被配置用于对原始无压缩视频像素的选择的像素的像素信息执行连续传输数据速率适配操作，以产生速率降低的像素信息，其中，每个连续数据速率适配操作进一步降低所述像素信息的传输数据速率，其中，速率降低的像素信息需要比原始像素信息更低的传输数据速率；通信模块，被配置用于通过无线通信介质将速率降低的像素信息发送到接收无线基站；接收无线基站包括通信模块，被配置用于通过无线通信介质进行无线通信；恢复模块，被配置用于从速率降低的像素信息恢复原始无压缩视频像素信息。
33.如权利要求32所述的系统，其中速率适配模块被配置用于执行连续像素差分变换模式，从而每个像素差分变换模式进一步降低选择的像素信息的传输数据速率，其中，对选择的像素的块中的像素执行每个像素差分变换模式的步骤包括通过确定包括参考像素的当前像素信息和目标像素的当前像素信息之间的差的像素差分信息，并且使用像素差分信息来代替目标像素的当前像素信息，来对所述块中的选择的参考像素和目标像素对的像素信息执行像素差分变换模式，其中，所述选择的像素的块包括初始像素和最近的空间相关的像素；选择的像素位置均勻分布在每个块中以最小化视觉质量下降。
34.如权利要求33所述的系统，其中基于差分变换模式来选择块大小；选择每个目标像素位置以减小从所述初始像素到目标像素的整体平均依赖长度；选择每个目标像素位置以减小从所述初始像素到目标像素的最大依赖长度；按行和列布置每个块中的像素，并且速率适配模块还被配置用于通过对位于行中的选择的像素对进行逐行像素差分操作，执行第一像素差分变换模式，速率适配模块还被配置用于执行随后的像素差分变换模式，随后的像素差分变换模式包括对位于列中的选择的像素对执行逐列像素差分操作。
35.如权利要求34所述的系统，其中，发送无线基站还包括处理模块，被配置用于将每个块中的空间相关的像素划分到不同的分区中，对每个分区中的差分像素信息进行压缩以压缩每个分区中的像素信息；将像素信息从分区放置到包中，以通过无线通信介质进行发送。
36.如权利要求33所述的系统，其中，速率适配模块被配置用于在执行一个或多个像素差分变换模式之后执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
37.如权利要求36所述的系统，其中，速率适配模块被配置用于通过执行像素丢弃操作来执行每个像素丢弃模式，其中，选择的在块中的不同位置的像素被均勻丢弃，并且具有距块中的初始像素最大依赖长度的像素被首先丢弃。
38.如权利要求32所述的系统，其中，速率适配模块被配置用于执行连续像素丢弃模式，从而每个像素丢弃模式进一步降低像素信息的传输数据速率。
39.如权利要求38所述的系统，其中，速率适配模块被配置用于通过执行像素丢弃操作来执行每个像素丢弃模式，其中，选择的在块中的不同位置的像素被均勻丢弃。
40.如权利要求39所述的系统，其中，速率适配模块被配置用于通过丢弃像素的矩形块中的选择的像素，来执行每个像素丢弃操作，其中，基于像素丢弃模式选择块大小，从而基于像素到块中的参考像素的距离来选择将被丢弃的像素。
41.如权利要求40所述的系统，其中，速率适配模块被配置用于首先丢弃具有距块中的初始像素最大依赖长度的像素。
全文摘要
无压缩视频信息通过无线通信介质从无线发送器装置被发送到无线接收器装置。对原始无压缩视频像素信息执行累进传输数据速率适配。对选择的像素信息执行累进传输数据速率适配以获得速率降低的像素信息。速率降低的像素信息需要比原始帧更低的传输数据速率。速率降低的像素信息通过无线通信介质被发送到无线接收器装置。在接收器，执行逆向操作以恢复原始无压缩视频像素信息。
文档编号H04N7/12GK102439971SQ201080017149
公开日2012年5月2日 申请日期2010年4月12日 优先权日2009年4月15日
发明者徐如兰, 敖超, 邵怀荣 申请人:三星电子株式会社