专利名称：基于因特网视频内容的经估算质量对视频后处理器的自动调节的制作方法
技术领域：
本公开涉及因特网视频内容，并且更具体地涉及因特网视频内容的质量。
背景技术：
在此提供的背景技术的描述是出于总体上展示本公开的内容的目的。当前提名的发明人的在背景技术部分中描述的工作以及可能不适合作为在提交申请时的现有技术的描述的一些方面都没有明确或暗示地承认作为本公开的现有技术。DVD上和广播环境中可用的数字视频内容受限于相对较低的视频解析度。这些视频方法通常是“标准清晰度”或“高清晰度”。相对而言，在因特网上流式传输的视频内容跨越广阔的解析度范围，其从低清晰度的四分之一视频图形阵列(QVGA)(例如320X240像素解析度)到高清晰度(例如逐行视频的720线(720p))。此外，使用各种标准编解码器或专属编解码器之一压缩因特网视频内容，并且因特网视频内容覆盖广泛的比特率范围，例如从2001ibpS到大于5Mbps。解析度、编解码器赝像(artifact)和比特率中的广泛变化使得流视频内容视频质量的范围广泛。另外，网络带宽经常是受限的。因此，视频内容经常依可用带宽而缩放。 这种缩放可以影响视频质量。大多数流式传输视频内容因而具有比典型的广播电视服务质量低得多的质量。许多接收器(例如，因特网协议TV(IPTV)机顶盒)包括视频后处理功能以改善视频内容的质量。
发明内容
系统包括质量估算模块，该质量估算模块被配置成基于来自解码器模块的数据来估算视频内容的视觉质量。系统还包括设置数据库，该设置数据库被配置成存储多个预定设置。设置数据库响应于视觉质量输出预定设置中的至少一个。系统还包括视频后处理器模块，该视频后处理器模块被配置成基于预定设置中的至少一个来自动地调节视频后处理器模块的设置。基于自动调节视频后处理器模块的设置来处理视频内容。在其他特征中，质量估算模块确定用于表示视频内容的视觉质量的质量因子。数据包括指示针对视频内容的传输特征的元数据信息。系统还包括数据库控制模块以基于质量因子来选择预定设置中的至少一个。数据库控制模块包括用于基于视频后处理器模块的视频输出来调节预定设置的至少一个的选择的估算模块。在其他一些特征中，系统还包括用于估算来自后处理器模块的输出信号中的残余赝像的估算模块。输出信号包括在第一次调节针对视频后处理器模块的子模块的子模块设置之后的视频内容。选择模块基于残余赝像的估算，从预定设置的至少之一进行重新选择， 以第二次调节子模块设置。在又一些其他特征中，上述的系统和方法由通过一个或多个处理器执行的计算机程序、由计算机硬件或由硬件和软件的组合实施。计算机程序可以驻留在计算机可读介质上，该计算机可读介质诸如但不限于存储器、非易失性数据存储和/或其他合适的有形非暂时存储介质。根据具体描述、权利要求书和附图，将容易理解本公开的可用性的其他方面。具体描述和特定示例仅旨在说明的目的，而无意限制本公开的范围。
根据具体描述和所附附图将更为全面地理解本公开，其中图1是示出根据本公开第一实施方式的视频处理系统的框图；图2是根据本公开的用于编码方法的视频质量和比特率的图形表示；图3是示出了根据本公开的视频后处理器模块的框图；图4是示出了根据本公开的第二实施方式的视频处理系统的框图；图5A是示出了根据本公开的第三实施方式的视频处理系统的框图；图5B是示出了根据本公开的第三实施方式的数据库控制模块的框图；以及图6是示出了根据本公开的用于操作视频处理系统的方法的框图。
具体实施例方式下面的描述本质上仅是示例并且绝非旨在限制本公开、申请或使用。为了清楚起见，在附图中使用相同的数字来标识类似的元件。如在此使用的那样，措辞A、B和C中的至少一个应该解释为意指使用非排他性的逻辑OR的逻辑(A或B或C)。应该理解，可以以不同的次序执行方法内的步骤，而不更改本公开的原理。如在此使用的那样，术语模块可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或成组)和/或存储器(共享、专用或成组)、 组合逻辑电路和/或提供上述功能的其他合适组件，或者可以指代其中的一部分。现在参考图1，示出了视频处理系统10。系统10外的内容传输系统11向系统10 的网络处理器模块12提供输入，诸如包括因特网视频内容的因特网视频信号。在一个实施方式中，内容传输系统11是因特网协议电视(IPTV)传输器、因特网电视(ITV)传输器和/ 或流式传输TV传输器。解码器模块14从网络处理器模块12接收视频信号并对其解码。解码器模块14 的示例是对来自不同类型的编码器的数据进行解码的多格式视频解码器。视频质量估算模块16从解码器模块14接收数据。数据的示例是描述如何传输内容的经编码的流元数据，即数据的传输特征。元数据的一些示例是比特率、空间解析度、时间解析度和编解码器类型。视频质量估算模块16基于来自解码器模块14的数据中的一些或全部来估算质量因子。质量因子提供对视频内容的视觉质量的估算。视觉质量对应于针对显示视频图像的商定标准质量。
在一个实施方式中，质量因子建议用于改进视频内容质量到预定水平或接近预定水平的调节量。在另一实施方式中，质量因子指示视频内容所经历的压缩量。数据库控制模块18接收质量因子并且从数据库20中选择多个设置中的一个。数据库设置被预先确定并且对应于针对视频后处理器模块22的设置。视频后处理器模块22从数据库22接收数据库设置，并且基于该数据库设置调节后处理设置。在一个实施方式中，后处理设置的调节包括开启或关闭视频后处理器模块22 的设置。在另一实施方式中，后处理设置的调节包括将视频后处理器模块22的设置增加或减少到预定水平。在一个实施方式中，通过计算针对以不同比特率编码的内容的质量因子的实验来确定预定水平。对于以不同的比特率编码的内容而言，针对视频后处理器模块22中的每个模块的设置被调节以在显示器26上产生视觉上满意的结果。显示器沈基于后处理器设置接收和显示视频内容。为了获得视觉上满意的结果，进一步针对各种内容和可视估算来重复调节和显示分析，以产生针对视频后处理器模块22的预定水平。在一个实施方式中，后处理设置的调节包括以预定量增加或减少后处理器模块22 的设置。数据库控制模块18调节后处理器设置以消除或减少影响视频内容的赝像。赝像的一些示例是斑驳(blockiness)、环纹(ringing)、伪边缘、模糊和视彩度缺失。斑驳是因为传送数据的过度量化(aggressive quantization)导致的失真。环纹是靠近平滑区域的高对比边缘处存在的失真。伪边缘是由于斑驳赝像的运动补偿导致的失真。 模糊是由于底层编码块单元表示的信号的高频分量缺失导致的失真。视彩度缺失是由于色度分量相对于明度的动态范围的过度量化和减少所导致的。因此，后处理器设置的示例是针对斑驳、环纹、蚊式噪声、伪边缘、模糊和视彩度丢失的设置。在一个实施方式中，内容传输系统11选择性地包括针对在整个视频流期间具有一致比特率的会话的、流会话基础的视频内容的元数据。对于该实施方式而言，后处理器模块22基于质量因子适配关于流会话基础的设置。在另一实施方式中，内容传输系统11基于画面组(GOP)选择性地包括视频内容的元数据。当流式传输站根据在任意给定时间可用的带宽改变比特率和空间解析度时，使用画面组基础。对于该实施方式而言，后处理器模块22基于质量因子适配关于画面组基础的设置。在另一实施方式中，内容传输系统11包括基于逐帧的元数据。对于该实施方式而言，后处理器模块22基于质量因子逐帧地适配设置。视频质量估算模块16基于元数据信息和/或视频内容确定针对每个会话、画面组或帧的质量因子。在一个实施方式中，视频质量估算模块16如下估算质量因子(QF)
娇旦円子=比特率(kbps)x编解码器_权重空间分辨率χ时间分辨率(fps)空间解析度对应于例如以像素为单位的帧宽度乘以帧高度。编解码器权重对应于使用一个编解码器相对于另一个所获得的质量改进的权重因子。编解码器权重是相对于编解码器权重为1的预选标准表述的，从而使得质量因子大于0。
在一个实施方式中，基于比特率将不同的编解码器权重指派给不同的编码方法。 例如，第一编码方法针对低于或高于IMbps的比特率具有为1的编解码器权重。第二编码方法针对低于或高于IMbps的比特率具有为1. 33的编解码器权重。第三编解码器针对低于IMbps的比特率具有为1. 74的编解码器权重，针对高于IMbps的比特率具有为2. 75的编解码器权重。第四编码方法针对低于IMbps的比特率具有为2的编解码器权重，针对高于IMbps的比特率具有为3. 16的编解码器权重。对于各个编码方法而言，使用相同内容， 但是比特率不同。现在参考图2，示出了第一编码方法100和第四编码方法102的图形表示。第二方法对(即，除以)第一方法的编解码器权重在比特率为bi时是Y/X，而在比特率为Id2时是 Y' /V.不同的编解码器在比特率范围上展现了非统一的表现。换言之，当比特率较高时， 编解码器之间存在性能间隙。然而，在比特率较低时，编解码器表现近似相同。对于质量因子而言，针对每个像素的较高比特(即，比特率/(空间解析度X时间解析度))易于产生较高的质量因子。在一个实施方式中，较高质量因子指示视频信号(例如，经编码的视频流)具有较高质量，并且具有由信号压缩产生的与具有较低质量因子的视频信号相比较少的赝像。当允许编解码器以针对每个像素的较高比特表示视频内容时， 编解码器易于提供较高质量因子。编解码器权重指示跨编解码器的质量变化。此外，对于相同比特率而言，相比于较为低效的第二编码方法，第一编码方法提供更高的质量。在一个实施方式中，设置内容传输系统11的编码器模块(未示出)中的若干参数。当内容传输系统11使用特定编解码器以特定比特率和空间/时间解析度对视频内容编码时，设置该参数。内容传输系统11向系统10传输视频信号。视频信号包括连同视频内容的参数指示。参数不同于元数据并且提供内容质量的直接指示。参数的示例是平均量化参数(QP)值、比特率/帧率(比特/帧)、内部块的数目、 省略块的数目、帧速率、具有第一大小(诸如8X8、16X8和8X16)的内部块的数目、具有第二大小(诸如4X4、8X4和4X8)的内部块的数目以及平均运动矢量长度。对于具有N个参数的序列而言，视频质量估算模块16形成加权总和以达到视频序列的感知视频质量度量(PVQM)(即，感知质量因子)。经加权的总和对应于
权利要求
1.一种系统，包括质量估算模块，其被配置成基于来自解码器模块的数据来估算视频内容的视觉质量；设置数据库，其被配置成存储多个预定设置，其中所述设置数据库响应于所述视觉质量来输出所述预定设置的至少之一；以及视频后处理器模块，其被配置成基于所述预定设置的至少之一来自动地调节所述视频后处理器模块的设置，其中基于被自动调节的所述视频后处理器模块的设置来处理所述视频内容。
2.根据权利要求1所述的系统，其中所述质量估算模块确定用于表示所述视频内容的视觉质量的质量因子，以及其中所述数据包括指示所述视频内容的传输特征的元数据信息。
3.根据权利要求2所述的系统，其中所述元数据信息包括所述视频内容的比特率、所述视频内容的空间解析度、所述视频内容的时间解析度和所述视频内容的编解码器类型。
4.根据权利要求3所述的系统，其中所述质量估算模块基于所述比特率和编解码器权重除以所述空间解析度和所述时间解析度来估算所述质量因子，以及其中相对于其他编解码器类型对所述编解码器类型加权，并且其中所述编解码器权重是相对于所述其他编解码器类型指派给所述编解码器类型的权重。
5.根据权利要求3所述的系统，其中从所述系统外部的传输源传输所述元数据信息和所述视频内容。
6.根据权利要求2所述的系统，还包括数据库控制模块，用于基于所述质量因子选择所述预定设置的至少之一，其中所述数据库控制模块包括用于基于所述视频后处理器模块的视频输出来调节所述预定设置的至少之一的选择的估算模块。
7.根据权利要求2所述的系统，其中所述元数据信息包括针对所述视频内容的多个参数，以及其中所述质量估算模块通过生成所述多个参数的加权总和来确定所述质量因子。
8.根据权利要求1所述的系统，其中所述解码器模块将所述视频内容分段成所述视频内容的流、所述视频内容的画面组和所述视频内容的帧组之一，以及其中所述质量估算模块估算针对所述视频内容的流、所述视频内容的画面组和所述视频内容的帧组中的每一个的视觉质量。
9.根据权利要求1所述的系统，其中所述后处理器模块具有待基于所述预定设置的至少之一进行调节的多个子模块，以及其中所述子模块之一调节所述视频内容中的斑驳、环纹、蚊式噪声、伪边缘、模糊和视彩度缺失中的至少之一。
10.根据权利要求9所述的系统，其中所述后处理器模块基于所述预定设置的至少之一自动地调节所述多个子模块的至少之一的子模块设置。
11.根据权利要求10所述的系统，还包括估算模块，用于估算来自所述后处理器模块的输出信号中的残余赝像，其中所述输出信号包括在第一次调节所述子模块设置之后的所述视频内容，以及其中所述选择模块基于所述残余赝像的估算，从所述预定设置的至少之一进行重新选择，以第二次调节所述子模块设置。
12.一种方法，所述方法包括基于来自解码器模块的数据估算视频内容的视觉质量； 存储多个预定设置；响应于所述视觉质量输出所述预定设置的至少之一；以及基于所述预定设置的至少之一自动地调节视频后处理器模块的设置，其中基于被自动调节的所述视频后处理模块的设置来处理所述视频内容。
13.根据权利要求12所述的方法，所述方法还包括确定用于表示所述视频内容的视觉质量的质量因子，其中所述数据包括指示所述视频内容的传输特征的元数据信息。
14.根据权利要求13所述的方法，其中所述元数据信息包括所述视频内容的比特率、 所述视频内容的空间解析度、所述视频内容的时间解析度和所述视频内容的编解码器类型。
15.根据权利要求14所述的方法，所述方法还包括基于所述比特率和编解码器权重除以所述空间解析度和所述时间解析度来估算所述质量因子；相对于其他编解码器类型对所述编解码器类型加权；以及相对于所述其他编解码器类型来指派所述编解码器权重给所述编解码器类型。
16.根据权利要求14所述的方法，所述方法还包括从实施所述方法的系统外部的传输源传输所述元数据信息和所述视频内容。
17.根据权利要求13所述的方法，所述方法还包括 基于所述质量因子选择所述预定设置的至少之一；以及基于所述视频后处理器模块的视频输出来调节所述预定设置的至少之一的选择。
18.根据权利要求13所述的方法，所述方法还包括通过生成针对所述视频内容的多个参数的加权总和来确定所述质量因子，其中所述元数据信息包括针对所述视频内容的所述多个参数。
19.根据权利要求12所述的方法，所述方法还包括将所述视频内容分段成所述视频内容的流、所述视频内容的画面组和所述视频内容的帧组之一，以及估算针对所述视频内容的流、所述视频内容的画面组和所述视频内容的帧组中的每一个的视觉质量。
20.根据权利要求12所述的方法，所述方法还包括估算来自所述后处理器模块的输出信号中的残余赝像，其中所述输出信号包括在第一次调节所述视频后处理器模块的子模块的子模块设置之后的所述视频内容；以及基于所述残余赝像的估算，从所述预定设置的至少之一进行重新选择，以第二次调节所述子模块设置。
全文摘要
一种系统包括质量估算模块，其被配置成基于来自解码器模块的数据来估算视频内容的视觉质量。该系统还包括设置数据库，其被配置成存储多个预定设置。设置数据库响应于视觉质量来输出预定设置的至少之一。该系统还包括视频后处理器模块，其被配置成基于预定设置的至少之一来自动地调节视频后处理器模块的设置。基于被自动调节的视频后处理器模块的设置来处理视频内容。
文档编号H04N7/24GK102405644SQ201080017646
公开日2012年4月4日 申请日期2010年4月21日 优先权日2009年4月21日
发明者M·比斯瓦斯, N·巴尔兰姆, V·布哈斯卡兰 申请人:马维尔国际贸易有限公司