专利名称：Rho-域量度的制作方法
RHO-域量度相关申请的交叉引用本申请涉及同时提交的题为“Video Classification Systems and Methods (视频分类系统和方法)”、“Video Analytics for Security Systems and Methods (用于安全系统和方法的视频分析学)”以及“Systems And Methods for Video ContentAnalysis (用于视频内容分析的系统和方法)”的专利申请，这些文献专门通过援引包含于此。附图
简述图I示出帧的一个示例，该示例表现出宏块中非零系数(NZ)的存在。图2是示出NZ(P)和量化参数的指数关系的例子的图表。图3是不出作为理论值和实际值之间的递归加权差的P _域偏移量度Θ的图表。图4是示出视频产生系统的简化方框图。图5是示出视频质量量化参数之间的线性关系的图表。图6是根据本发明某些方面的模式判决算法视频编码的过程的流程图。图7是示出在本发明某些实施例中采用的处理系统的简化方框示意图。发明的详细描述现在参照附图对本发明的实施例作详细描述，这些附图作为解说性示例提供以使本领域内技术人员能够实现本发明。显然，下面的附图和示例不旨在将本发明的范围限制在单个实施例，而是可通过互换所述或所示要素的一些或全部而令其它实施例变得可能。只要是适宜的，在所有附图中将使用相同的附图标记来表示相同或相似的部件。在这些实施例的某些要素可使用已知组件部分或全部实现的情形下，仅对这些已知组件中对理解本发明而言必要的那些部分进行描述，并省去对这些已知组件的其它部分的详细说明以不至于使本发明晦涩难懂。在本说明书中，示出单一组件的实施例不应当视为限制；相反，本发明旨在涵盖包含多个同一组件的其它实施例，反之亦然，除非在本文中明确声明其它情形。此外，申请人不打算使说明书或权利要求书中的任一术语归结于一个不常见或特殊的含 义，除非明确如此阐述。此外，本发明涵盖本文中通过解说引述的部件的所有目前和将来知道的等效物。本发明的某些实施例提供一种创新的P-域量度Θ以及应用该量度的系统和方法。在一些实施例中，P-域中的P的定义可以认为是在视频编码过程中转换和量化之后的非零系数的数目。另外，在这里使用术语“NZ”来表征P，其中NZ可理解为表示在例如H. 264视频标准等视频标准下量化每个16 X 16像素宏块(MB)之后的非零系数的数目。描述NZ计算的一个示例示出于图I中。已通过理论和实验证实P与视频文本编码位速率具有线性关系。总地来说，所提出的P-域源模型和模型将位速率R看作P的函数，P是经量化的系数中O所占的百分比。可以理解，P随着量化步长QP而单调递增，这意味着在两者之间存在一一映射关系。因此，某些实施例提供基于这些特性的帧级速率控制算法。一些实施例可利用能改善对R-P函数准确估算的多种适合算法中的任何一种。可通过指数方程对NZ(P)和QP的关系进行建模，如图2所示。虚线22表征来自编码的实际帧级NZ相对于QP点的关系，而实线23表征指数函数模型化。可从该指数模型中获得NZ相对于QP的关系表。在某些实施例中，P -域偏移量度Θ可定义为理论NZ_QP曲线和实际NZ_QP曲线之间的递归加权比，如图3中所示。一曲线33代表理论NZ_QP曲线而第二曲线32代表在编码过程中测得的实际的NZ相对于QP的曲线。曲线32、33之间的一种差异可表示为偏移量度Θ,偏移Θ是视频编码中的一个重要量度，并被用来确定序列的运动复杂度，从而确定经编码的视频质量、确定短场景剪切和确定用于最好地满足预定义位速率预算的实际QP。利用P-域偏移量度Θ的视频产生系统及其应用的一个示例中的诸要素的相互配合和相互作用示出于图4中。所采用的硬件和软件的结合一般是根据场合需要而确定的，且只是为了便于描述而给出图4中描绘的配置。视频编码器400 —般就每个MB和/或每个帧产生多个非零系数(NZ)，作为其视频编码过程的副产物。处理NZ信息，并将P-域偏移量度Θ计算作为元数据402，以馈送给各种感兴趣的算法。偏移Θ的优势在某些实施例中，多个特征可与P域偏移量度Θ关联，并能从这些特征中得到某些优势。此外，可优化硬件、软件和各算法以使所得到的优势最大化。在某些实施例中，可使用Θ对视频运动复杂度进行分类。一种模式判决系统404可利用P-域量度Θ来获得优化的判决过程。可将偏移Θ定义为理论NZ_QP曲线与从编码过程获得的实际曲线的加权差。经归一化的Θ在值I. O周围波动。小于I的θ值表不实际编码的位速率大于预期的位速率，这暗示着已遇到更复杂的运动背景内容。大于I. O的Θ值表示较少的NZ被编码，这暗示着已遇到较平滑的运动内容。在一些实施例中，可使用Θ来计算经编码的视频质量曲线Lq。经编码的视频质量Q与在例如图4所示的编码过程中使用的量化参数QP具有线性关系。线性模型Q_QP可从实验数据获得。Q_QP线性模型可基于偏移Θ来调整S卩，质量和QP关系是拟编码的视频内容的运动复杂度的函数。经调整的0_0 模型可充当视频内容的目标质量曲线。如果设定了目标质量，则实际QP是偏移Θ的函数，并能得到QP和Θ的关系表。目标质量视频编码算法可使用简单的查表操作来实现。在某些实施例中，可使用Θ来确定视频场景的变化。从实验可以看出，非零系数(NZ)的数目在场景变化P-帧中增加了多倍，这是因为在场景变化帧及其基准帧之间缺乏临时关联。因此，某些实施例利用偏移Θ以良好的强健度和非常低的计算复杂度来确定场
景变化。某些实施例将Θ和NZ_QP曲线结合以获得更准确的位速率。可调整NZ_QP曲线以反映对于给定视频序列的更准确的编码位速率。因此，可在偏移量度Θ的辅助下达到更准确的速率控制编码。示例恒定位速率(CBR)控制某些实施例基于涉及视频场景变化的前述偏移Θ特征并整合Θ和NZ_QP曲线，使用高效且准确的恒定位速率控制方法和算法406。为了阐述的目的，将一组图象(GOP)定义为从内部编码的帧(“I-帧”)开始并随后是多个内部预测帧(“P/B-帧”)的一组图象。可根据每个GOP的目标位速率，将目标位预算赋予每个I帧或P/B帧。基于递归加权偏移Θ的经调整的NZ-QP表可反映基于更准确内容的NZ-QP关系。可对拟编码的当前帧适应性、地估算预测的NZ值，并可从NZ_QP曲线计算出量化参数QP以控制当前帧的位速率。如果偏移Θ突然改变至阈值之上，则可指出场景变化的检测结果，并可重置速率控制算法。通过利用偏移Θ，可设计和实现成本有效且强健的CBR算法。示例质量约束的可变位速率(VBR)控制在CBR状况涉及视频运动和不定复杂度的某些实施例中，每个帧可被赋予相同位速率并以该位速率编码，这导致视频质量的临时差异。人类视觉系统理论建议人类的视觉对运动变化(时间方向)和纹理复杂度(空间视频内容)敏感。因此，可通过将更多的位分配给处于时间和空间变化的视频帧，并通过将较少的位分配给平滑的运动和文本简单的视频帧同时利用量度Θ仍然维持一目标最低视频质量(质量约束)，来提供一质量约束的可变位速率算法408。如前所述，可使用对视频运动复杂度作出分类的算法和方法来对运动/文本变化的帧作出分类。如前面进一步描述的，可使用9_(^表以及QP和Θ的关系表用预定义的最低质量约束平滑的帧和纹理简单的帧。可使用有关视频场景变化的前述的偏移Θ特征并整合Θ和NZ_QP曲线来将经编码的位控制至目标位速率。 示例网络适应性可变帧速率控制当回放通过网络传输的视频流时，网络波动会严重地影响用户的感受质量(QOP)。为了适应网络波动，可在rho-域量度Θ的辅助下设计网络适应性可变帧速率算法410。可采用某些前述的系统和方法来获得适当的可变帧速率(VFR)算法，如图6所示。在步骤600，网络提供反馈，该反馈包括用户定义的最低视频质量、视频信道优先级以及网络带宽可用性。在步骤602，基于偏移Θ及其对应的速率控制实现来计算量化参数QP。在步骤604并基于偏移Θ，可因此相应地对视频运动复杂度作分类，并可计算相对于最低质量需求的新的量化参数QP_1。在步骤606，计算QP和QP_1之间的量化参数差Diff_QP。基于Diff_QP和预先计算出的Diff_QP相对于帧速率的关系表，可获得拟编码的新帧速率。在某些实施例中，高优先级信道的帧速率尽可能地维持不变。如果遇到较大的Diff_QP,可推荐和/或执行编码图象分辨率的规模下调(downsizing)(例如从 Dl 至 CIF)。系统描述现在转向图7，本发明的某些实施例利用一处理系统，该处理系统包括被部署成执行前述某些步骤的至少一个计算系统70。计算系统70可以是市面上可购得的系统，该系统执行例如Microsoft Windows , UNIX或其变体、Linux、实时操作系统和/或私人操作系统等市面上可购得的操作系统。可调整、配置和/或设计计算系统的架构，以将其整合入处理系统中、嵌入到图象捕获系统、通信设备和/或图形处理系统中的一个或多个中。在一个示例中，计算系统70包括总线702和/或用来在处理器之间通信的其他机制，不管这些处理器是与计算系统70集成的处理器(例如704、705)还是位于不同的、可能是物理上分离的计算系统700中的处理器。一般来说，处理器704和/或705包括CISC或RISC计算处理器和/或一个或多个数字信号处理器。在一些实施例中，处理器704和/或705可实现在定制设备中和/或作为可配置的定序器来执行。设备驱动器703可提供输出信号，该输出信号用来控制内部和外部组件并在处理器704、705之间通信。计算系统70 —般还包括存储器706，该存储器706可包括随机存取存储器(RAM)、静态存储器、高速缓冲存储器、闪存和任何其他合适类型的能耦合至总线702的存储设备中的一种或多种。存储器706可用来存储指令和数据，该指令和数据能使一个或多个处理器704、705执行所需的过程。主存储器706可用于存储瞬时数据和/或临时数据，例如在由处理器704或705执行指令期间产生和/或使用的变量和中间信息。计算系统70 —般还包括非易失性存储设备，例如只读存储器(ROM) 708、闪存、存储卡或类似物；非易失性存储设备可连接至总线702，但也可等同地使用耦合至总线702的高速通用串行总线(USB)、防火墙或其它这类总线进行连接。非易失性存储设备可用于存储配置、以及其它信息，所述其它信息包括由处理器704和/或705执行的指令。非易失性存储设备也可包括海量存储设备710，例如磁盘、光盘、闪存盘，该海量存储设备710可直接或间接地耦合至总线702，并用来存储拟由处理器704和/或705执行的指令，以及其它信息。在一些实施例中，计算系统70可按通信方式耦合至例如IXD平板显示器等显示系统712，包括触摸屏显示器、场致发光显示器、等离子体显示器、阴极射线管，或能够被配置和适配成接收信息并将信息显示给计算系统70使用者的其它显示设备。一般来说，设备驱动器703可包括显示驱动器、图形适配器，和/或维持显示的数字表示并将该数字表示转换成用于驱动显示系统712的信号的其它模块。显示系统712也可包括从由系统700提供的信号中生成显示的逻辑或软件。在这一点上，显示器712可作为远程终端来提供，或在会议 期间在一不同的计算系统70上提供。输入设备714 —般在本地提供或通过远程系统提供，且一般提供字母数字输入以及光标控制716输入(例如鼠标、跟踪球等)。应当理解，可将输入和输出提供给例如PDA、薄笺式电脑等无线设备，或经适当配置用以显示图像并提供用户输入的其它系统。根据本发明的一个实施例，所描述的本发明的一些部分可通过计算系统70来实现。处理器704执行一个或多个指令序列。例如，在已经从例如存储设备710等计算机可读介质接收到指令之后，这些指令可存储在主存储器706内。执行主存储器706中包含的指令序列使处理器704根据本发明的某些方面执行过程步骤。在某些实施例中，可由执行专项功能的嵌入式计算系统来提供功能，其中嵌入式系统采用硬件和软件的定制组合来执行一组预定义的任务。因此，本发明的实施例不限于硬件电路和软件的任何特定的组合。术语“计算机可读介质”用来定义能够存储指令和其它数据并将其提供至处理器704和/或705的任何介质，尤其在所述指令将由处理器704和/或705执行，和/或由处理系统的其它外围设备执行的情形下。这种介质可包括非易失性存储设备、易失性存储设备以及传输媒体。非易失性存储设备可体现为例如光盘或磁盘(包括DVD、CD-ROM和蓝光盘)之类的媒体。存储设备可在本地提供并实体靠近处理器704、705，或者一般通过使用网络连接来远程地提供。非易失性存储设备可从计算系统704中移去，如同那些使用包括USB等标准接口而能方便地连接于计算机或从计算机断开的蓝光、DVD或⑶存储器或记忆卡或者记忆棒那样。因此，计算机可读媒体可包括软盘、柔性盘、硬盘、磁带、任何其它磁性介质、CD-ROM、DVD、蓝光、任何其它光学介质、穿孔卡片、纸带、具有孔图案的任何其它物理介质、RAM、PROM、EPROM、FLASH/EEPR0M、任何其它存储器芯片或磁带盒，或者计算机可从中读取内容的任意其它介质。传输媒体可用来连接处理系统的部件和/或计算系统70的组件。该媒体可包括双绞线、同轴电缆、铜线和光纤。传输媒体也可包括无线媒体，例如无线电波、声波和光波。在特定的无线电频率(RF)下，可使用光纤和红外(IR)数据通信。各种形式的计算机可读媒体可参与提供指令和数据以供处理器704和/或705执行。例如，最初可从远端计算机的磁盘中捡取指令，并通过网络或调制解调器将指令传输至计算系统70。指令可选择地在执行前或执行期间存储在不同的存储设备中或存储在存储设备的不同部分中。计算系统70可包括通信接口 718，该通信接口 718提供在网络720上的双向数据通信，网络720可包括局域网722、广域网或两者的某些组合。例如，综合业务数字网(ISDN)可结合局域网(LAN)予以使用。在另一示例中，LAN可包括无线链路。网络链路720 —般提供通过一个或多个网络至其它数据设备的数据通信。例如，网络链路720可提供通过局域网722至主计算机724或至例如互联网728等广域网的连接。局域网722和互联网728两者均可使用携带数字数据流的电信号、电磁信号或光信号。计算系统70可使用一个或多个网络来发送消息和数据，包括程序码和其它信息。在互联网的示例中，服务器730可通过互联网728发送对一应用程序的请求码，并可作为响应接收一下载的应用，该下载的应用提供或增添如前面示例中描述的那些功能性模块。接收的码可由处理器704和/或705执行。 本发明某些方面的附加说明本发明的前述说明是解说性而非限定性的。例如，本领域内技术人员应当理解，本发明可通过前述功能和能力的各种组合来实现，并可包括比前述更少或更多的部件。下面阐述本发明的某些附加方面和特征，并且这些附加方面和特征可使用前面更详细描述的功能和部件来获得，如本领域内技术人员在受到本公开教示后所能理解的那样。本发明的某些实施例提供视频编码器、系统和方法，用于表征视频变化过程。一些这样的实施例包括维持信息，其中所述信息将从宏块的量化中预期得到的多个非零系数与视频编码过程中使用的一个或多个量化参数相关联。一些这样的实施例包括在宏块的视频编码期间产生实际的非零系数。一些这样的实施例包括计算偏移量度，该偏移量度表示实际的非零系数和预期的非零系数之间的加权差。一些这样的实施例包括使用偏移量度来调整视频编码过程。在一些这样的实施例中，视频编码过程被调整，以便为所需的视频编码质量获得优化的编码位速率。在一些这样的实施例中，使用偏移量度调整视频编码过程包括基于偏移量度的归一化值来调整量化参数。在一些这样的实施例中，视频编码质量和量化参数之间的关系是拟编码的视频帧序列的运动复杂度的函数。在一些这样的实施例中，归一化偏移量度值在值I. O周围变动。在一些这样的实施例中，大于I. O的归一化偏移量度值指示大于预期的编码位速率。在一些这样的实施例中，归一化偏移量度值的增加指示运动背景内容的复杂度的增加。在一些这样的实施例中，量化参数是偏移量度的函数。在一些这样的实施例中，使用偏移量度来调整视频编码过程包括使用偏移量度来选择量化参数以对一表格作出索引。一些这样的实施例包括使用偏移量度选择编码模式的步骤。在一些这样的实施例中，选择编码模式以为帧编码维持恒定位速率。一些这样的实施例包括基于帧序列之间的时间和空间变化，将多个位分配给多个帧的步骤。在一些这样的实施例中，位被分配以维持目标最低视频质量。本发明的某些实施例提供视频编码器和相关的方法。一些这样的实施例包括存储设备，该存储设备配置成维持信息，其中所述信息将从宏块的量化中预期得到的多个非零系数与视频编码过程中所用的一个或多个量化参数相关联。一些这样的实施例包括编码器，该编码器配置成接收视频帧序列并对这些视频帧内的宏块进行编码。在一些这样的实施例中，编码器在宏块的视频编码期间产生实际的非零系数。一些这样的实施例包括受编码器控制的量化参数的表。在一些这样的实施例中，编码器使用偏移量度来选择当前宏块的量化参数，其中所述偏移量度表示实际的非零系数和预期的非零系数之间的加权差。在一些这样的实施例中，视频编码过程被调整，以便为所需的视频编码质量获得优化的编码位速率。在一些这样的实施例中，量化参数是使用偏移量度的归一化值选择的。在一些这样的实施例中，选择量化参数以达到目标视频编码质量。在一些这样的实施例中，视频编码质量和量化参数是通过视频帧序列的运动复杂度的函数关联的。在一些这样的实施例中，该方法是由视频编码器中被配置成执行一个或多个计算机程序模块的处理器实现的。尽管已参照特定示例性实施例对本发明进行了描述，然而本领域内普通技术人员 显然知道，可对这些实施例作出各种修改和变化而不脱离本发明较宽的精神和范围。因此，说明书和附图被认为是解说性而非限制性意义。
权利要求
1.一种用于表征视频编码过程的方法，包括下列步骤 维持信息，其中所述信息将从宏块的量化中预期得到的多个非零系数与视频编码过程中使用的一个或多个量化参数相关联； 在所述宏块的视频编码期间，产生实际的非零系数； 计算偏移量度，其中所述偏移量度表示所述实际的非零系数和所述预期的非零系数之间的加权差； 使用所述偏移量度调整所述视频编码过程，其中所述视频编码过程被调整，以便为所需的视频编码质量获得优化的编码位速率。
2.如权利要求I所述的方法，其特征在于，使用偏移量度调整视频编码过程的所述步骤包括基于所述偏移量度的归一化值调整所述量化参数。
3.如权利要求2所述的方法，其特征在于，视频编码质量和量化参数之间的关系是拟编码的视频帧序列的运动复杂度的函数。
4.如权利要求2或3所述的方法，其特征在于，所述归一化偏移量度值在值I.O周围变动，其中大于I. O的归一化偏差量度值指示大于预期的编码位速率。
5.如权利要求2或3所述的方法，其特征在于，所述归一化偏移量度值的增加指示运动背景内容的复杂度的增加。
6.如权利要求2-5中任何一项所述的方法，其特征在于，所述量化参数是所述偏移量度的函数。
7.如权利要求2-6中任何一项所述的方法，其特征在于，使用偏移量度来调整视频编码过程的所述步骤包括使用偏移量度来选择量化参数以对表格作出索引。
8.如权利要求1-7中任何一项所述的方法，其特征在于，还包括使用所述偏移量度来选择编码模式的步骤，其中选择所述编码模式以为帧编码维持恒定位速率。
9.如权利要求1-7中任何一项所述的方法，其特征在于，还包括基于帧序列之间的时间和空间变化将多个位分配给多个帧的步骤，其中分配所述多个位以维持目标最低视频质量。
10.一种视频编码器，包括 存储设备，所述存储设备配置成维持信息，其中所述信息将从宏块的量化中预期得到的多个非零系数与视频编码过程中使用的一个或多个量化参数相关联；编码器，所述编码器配置成接收视频帧序列并对所述视频帧内的宏块进行编码，其中所述编码器在所述宏块的视频编码期间产生实际的非零系数； 受编码器控制的量化参数表，其中所述编码器使用偏移量度来选择当前宏块的量化参数，其中所述偏移量表示所述实际的非零系数和所述预期的非零系数之间的加权差，所述视频编码过程被调整，以便为所需的视频编码质量获得优化的编码位速率。
11.如权利要求10所述的视频编码器，其特征在于，所述量化参数是使用所述偏移量度的归一化值来选择的。
12.如权利要求10或11所述的视频编码器，其特征在于，选择所述量化参数以达到目标视频编码质量。
13.如权利要求12所述的视频编码器，其特征在于，视频编码质量和量化参数是通过视频帧序列的运动复杂度的函数关联的。
14.一种视频编码的方法，所述方法由视频编码器中被配置成执行一个或多个计算机程序模块的处理器执行，所述方法包括下列步骤 在处理器上执行一个或多个计算机程序模块，所述一个或多个计算机程序模块配置成维持信息，其中所述信息将从宏块的量化中预期得到的多个非零系数与视频编码过程中使用的一个或多个量化参数相关联； 在处理器上执行一个或多个计算机程序模块，所述一个或多个计算机程序模块配置成在所述宏块的视频编码期间产生实际的非零系数； 在处理器上执行一个或多个计算机程序模块，所述一个或多个计算机程序模块配置成计算表示所述实际的非零系数和所述预期的非零系数之间的加权差的偏移量度； 在处理器上执行一个或多个计算机程序模块，所述一个或多个计算机程序模块配置成使用所述偏移量度调整视频编码过程，其中所述视频编码过程被调整，以便为所需的视频编码质量获得优化的编码位速率。
15.如权利要求14所述的方法，其特征在于，使用偏移量度调整视频编码过程的所述步骤包括基于所述偏移量度的归一化值来调整所述量化参数。
16.如权利要求15所述的方法，其特征在于，视频编码质量和量化参数之间的关系是拟编码的视频帧序列的运动复杂度的函数。
17.如权利要求15或16所述的方法，其特征在于，所述归一化偏移量度值在值I.O周围变动，其中大于I. O的归一化偏差量度值指示大于预期的编码位速率。
18.如权利要求15或16所述的方法，其特征在于，所述归一化偏移量度值的增加指示运动背景内容的复杂度的增加。
全文摘要
记载了视频编码器、系统和方法，所述视频编码器、系统和方法表征了使用ρ-域偏移量度的视频编码过程。偏移量度表示实际的非零系数和预期的非零系数之间的加权差，所述实际系数和预期系数对应于视频帧的视频编码期间对该视频帧内的宏块的量化。通过基于偏移量度的归一化值来选择量化参数，用所述偏移量度调整视频编码过程，以便为所需的视频编码质量获得优化的编码位速率。量化参数可从使用偏移量度来索引的表中选择。
文档编号H04N7/26GK102714722SQ201080061990
公开日2012年10月3日 申请日期2010年9月2日 优先权日2010年9月2日
发明者F·尤, F·施, 吴琦, 王标, 鲍铠 申请人:英特赛尔美国股份有限公司