用于视频降噪的率失真优化的制作方法

文档序号:7938715阅读:190来源:国知局

专利名称::用于视频降噪的率失真优化的制作方法
技术领域
:本主题公开涉及视频降噪,且更具体地涉及用于对视频降噪的基于最大后验(MAP)的优化。
背景技术
:视频降噪用于从视频信号去除噪声。视频降噪方法一般被划分为空间和时间视频降噪。空间降噪方法分析一个帧以抑制噪声,并且类似于图像噪声降低技术。时间视频降噪方法使用在图像的序列中嵌入的时间信息,并且还可以被细分为运动自适应方法和运动补偿方法。例如,运动自适应方法使用像素运动检测的分析,并试图与其中未检测到运动的在前像素相平均,并且例如,运动补偿方法使用运动估计来预测和考虑来自一个或多个在前帧中的特定位置的像素值。如其名称所暗示,空间时间视频降噪方法使用空间和时间降噪的组合。视频噪声可以包括模拟噪声和/或数字噪声。对于可以导致被损坏的视频信号的一些不同类型的模拟噪声的仅仅几个示例,这样的噪声源可以包括无线电频道人工产物(artifact)(高频干扰,例如点、短水平色线等;亮度和色彩频道干扰,例如天线、视频重迭_伪轮廓出现的问题)、VHS带人工产物(色彩特定降级、亮度和色彩频道干扰、在帧尾部的线的混乱移位(例如行重新同步信号失准)、宽水平噪声条、膜人工产物(灰尘、尘垢、喷射、在介质上的划痕、巻曲、指纹)和大量其他模拟噪声类型。对于可以导致视频信号的一些不同类型的数字噪声的几个示例,噪声源包括来自低比特率的阻挡、振铃(ringing)、在数字传输频道中的丢失或者盘损伤(例如在物理盘上的划痕)的情况下的块误差或者损害、和大量其他的数字噪声类型。传统的视频降噪方法已经被设计来用于具体类型的噪声,例如具有特定特性的噪声,并且已经提出了不同的抑制方法来从视频去除噪声。例如,一种传统的降噪系统提出利用近似的3D维纳(Wiener)滤波器来使用运动补偿(MC)。另一种传统的降噪系统提出使用时空卡尔曼(Kalman)滤波器。但是,这样的传统方法需要大量的计算和存储。虽然已经提出一些系统来减少计算和存储,但它们的适用性较窄。而且,标准的H.264编码器固定了对于要被应用降噪的、诸如高斯噪声的噪声的相关特性固有地未优化的某些变量。因此,期望提供一种用于视频降噪的更好的技术方案。当前的用于视频降噪的设计的上述缺陷仅仅意欲提供今天的设计的一些问题的概述,并且并非意欲是穷尽性的。例如,在下面查看了各个非限定性实施例的下述描述后,现有技术状态的其他问题可以变得更明显。
发明内容在此提供了简化的概要以帮助使得能够基本地或者一般地理解随后在更详细的说明书和附图中的示例性的、非限定性的实施例的各个方面。但是,这个概要不意欲作为广泛的或者穷尽性的概述。本概要的唯一目的是以简化的形式来呈现与所述各个示例性的、非限定性的实施例相关的一些思想,作为对于随后的更详细的描述的序言。根据对于有噪声的视频序列的在前帧的最大后验估计,提供了用于有噪声的视频的帧的视频降噪技术。所述噪声被假定为性质上为高斯噪声,并且先验的条件密度模型被测量为比特率的函数。因此可以将降噪的当前帧的MAP估计表达为率失真优化问题。可以使用基于率失真优化问题的约束最小化问题来最佳地设置可变的拉格朗日参数,以优化降噪处理。所述拉格朗日参数可以被确定为噪声的失真和与有噪声的视频的编码相关联的量化级别(quantizationlevel)的函数。将参照附图进一步描述用于视频降噪的基于MAP的优化技术,其中图1图解了由于通过通信地耦接的装置的存储、处理或者传送而导致的向视频信号引入噪声的高级框图;图2和图3分别图解了在应用这里所述的降噪后的噪声的相加和去除的框图;图4是适用于降噪处理的示例性高级流程图;图5是图解了用于确定原始视频信号的优化重构的基于MAP的技术的示例性流程图;图6、图7、图8和图9分别图解了与第一原始图像相关的原始捕获、故意有噪声的版本、在H/264解压縮后的原始捕获的重构和在应用降噪后所述有噪声的版本的重构;图10、图11、图12和图13分别图解了与第二原始图像相关的原始捕获、故意有噪声的版本、在H/264解压縮后的原始捕获的重构和在应用降噪后所述有噪声的版本的重构;图14是图解了可以被应用于确定原始视频信号的优化重构的示例性基于MAP的技术的附加流程图;图15是图解了可以被应用于确定原始视频信号的优化重构的示例性基于MAP的技术的附加流程图;图16是图解了可以被应用于确定原始视频信号的优化重构的示例性基于MAP的技术的框图;图17是图解了可以被应用于确定原始视频信号的优化重构的示例性基于MAP的技术的附加流程图;图18是用于表示其中可以实现各个实施例的示例性非限定性计算系统或者操作环境的框图;以及图19图解了适合于通过如下给出的降噪的实施例进行的服务的网络环境的概述。具体实施例方式如在
背景技术
中所述,在高级别上,视频降噪涉及理想视频在被数字化或者传送的处理期间何时变失真,这种情况可以因为多种原因而发生,例如由于物体的运动、视频的捕获所涉及的光学系统的散焦或者缺陷等。在捕获和存储后,视频在有噪声的信道上的传送期间可能变得进一步失真。结果产生的有噪声或者失真的视频在视觉上使人不愉快,并且使得诸如分段、识别和压縮之类的一些任务更难执行。因此期望能够以最佳的方式从"损坏的"观察重构所述理想视频的准确的估计,以改善视觉外观、减少视频存储要求并且便利对于视频执行的另外的操作。考虑到这些问题,各个实施例通过恢复被加性(additive)高斯噪声降级的视频而优化视频降噪处理,其中加性高斯噪声具有遵循高斯或者正态幅度分布的值。图1图解了可能在视频的分布使用期限上被引入到所述视频中的噪声的各种来源。例如,捕获系统CS可以向理想信号IS引入噪声N1。在捕获后,可以向装置D1传送具有噪声N1的视频,由于在传送中的可能误差等而导致引入另外的噪声N2。装置D1也可以在接收、存储、压縮或者另外地变换数据时引入另外的噪声N3。然后,类似地,当从装置D1向装置D2或者从装置D2向装置D3等传送视频时,可能从传送噪声源向视频加上另外的噪声N4、N6、N8。装置D2和D3还可以分别引入噪声N5和N7。因为被引入视频中的相对高百分比的噪声近似于或者具有高斯特性,因此假定噪声在性质上是高斯噪声,并且所述问题可以被公式化如下In=I+n等式1其中,I=[I"12...Ik,Ik+1...IJT是原始或者理想的视频,而Ik是第k个帧,n=[ni,n2.nk,nk+1.nm]T是加性高斯噪声,并且/"/二.../;:]7'是视频的噪声观察。Ik,nk,Ikn表示长度N的向量,其中,N是每个帧中的像素的数量。在如下所述各个非限定性实施例中,根据有噪声的视频In的分析来提供用于所述原始或者理想的视频的估计值/'。在图2和图3的框图中图解了上述思想。例如,图2表示用于获取视频信号中的噪声的一般处理,其中,原始信号200经由噪声相加处理220来与经由多个噪声源210的任何一个的噪声组合,产生有噪声的信号230。如图3中所示,通过下述方式来优化对于这个问题的解决方案接收有噪声的信号230,执行降噪处理250,其中,所述降噪处理250基于噪声240是高斯噪声的假设而最佳地估计在有噪声的信号230中的噪声240,所述假设是涵盖大量真实世界噪声相加情况的合理假设。作为通过降噪处理250去除估计的噪声240的结果,可以计算原始信号260的最佳估计。作为降噪处理250的一部分,可以存储或不存储噪声240的估计,例如可以丢弃噪声240。下面更详细地描述降噪处理250的一些实施例。例如,一些实施例可以根据图4的流程图来工作。任何装置或者系统可以受益于整个处理,即,无论何时,对于进一步的处理或者减小的存储,装置或者系统都可以受益于更忠实于原始信号的视频信号。在400,装置接收有噪声的信号。在410,根据噪声具有高斯特性的假设来估计噪声,并且在420,降噪处理还根据在410确定的噪声的估计来进一步估计原始信号。在这个方面,最大后验(MAP)估计技术用于执行视频降噪,现在结合图5的流程图来更详细地说明这一点。在500,接收有噪声的视频数据。基于在视频数据中的噪声趋向于满足高斯分布的特性的假设,在510,通过视频先验模型来确定MAP估计。通过使用比特率作为先验模型的量度,可以将如上所识别的问题在520重新表述为率失真优化问题。通过6将所述率设置为目标函数并且将失真量设置为约束,可以进一步将所述问题重新表述为约束最小化问题。在一个方面,在530,通过求解凸(convex)优化问题来最佳地克服约束最小化问题。以这种方式,经由与有噪声的视频相关联的率失真的优化来实现基于MAP的视频降噪解决方案。然后,在540中确定原始信号的估计。下面更详细地描述降噪处理的各个实施例和其他基础思想。基于MAP的视频降噪根据贝叶斯定理,提供了基于MAP的视频降噪技术,其通过下述两项来确定MAP估计噪声条件密度模型和先验条件密度模型。如上所述,根据噪声满足高斯分布并且通过比特率来测量先验模型的上述假设,可以将MAP估计表达为率失真优化问题。为了找到用于率失真优化问题的适当拉格朗日参数,通过将率设置为目标函数并且将失真设置为约束,所述率失真问题被转换为约束最小化问题。以这种方式,可以通过失真约束来确定拉格朗日参数。通过固定失真约束,获得最佳的拉格朗日参数,其继而产生最佳的降噪结果。在下述的另一个非限定性实施例中,提供了关于基于MAP的视频降噪技术的另外的细节,并且陈述了来自示例性实现的一些结果,其展示了各个实施例的有效性和效率。根据一实施例,因为输入的有噪声的视频被逐帧地降噪,当降噪帧Ikn时,已经重构了在前帧/',,…/^的估计的原始版本,它们是在前帧的MAP估计。虽然在示例性实现中,当降噪当前帧时使用一个在前参考帧,但是可以明白,所述技术可以被扩展到任何数量的在前参考帧。在给出iw(参考帧)和ikn(当前的有噪声的帧)的情况下,当前帧Ik的最大后验(MAP)估计被给出为通过使用贝叶斯规则,等式2可以被表达为Pr(/;1/"一,)Pr"1/:,)Pr(/丄「简化为;i』/t,iJi一i乂為*、**i■*"i"-、i一i乂欣40-叙3忽略不与Ik相关的所有函数,等式3的估计可以被写为/:=argmaxPr(/:|A上,)Pr仏|人—,)等式4々因为/"=A+"t,Pr(/:I/,,L)等于Pr(Ikn|Ik)。因此,等式4的估计可以被进一步人=argmaxPr仏"|/JPr仏|/")等式5对上述等式5取"负log"函数产生=argmin{-logPr(/;I/J]—log[Pr(/j/t—,)]}等式6々根据等式6,MAP估计/4基于噪声条件密度Pr(IknIIk)和先验条件密度Pr仏|A一)。噪声条件密度模型在给出原始帧Ik的情况下,通过在上述等式1中的噪声分布来确定噪声条件密度Pr(Ikn|lk)。一般地,噪声满足或者类似于高斯分布。高斯分布的密度被定义为如下具有平均值Pn和方差on2,(z)=A^/,ctn2)=_^_exp2"等式7根据等式1和7,作为在等式6中的第一项的条件密度的负log的-log[Pr(Ik1lk)]可以被表达为-log[Pr(/fc"l"]二("卞A)-^[1^]等式8版本先验条件密度模型使用用于去除当前帧中的噪声的视频降噪,当前帧可以被看作在前帧的"损坏的"其中,A可以被看作运动估计矩阵,并且r是在运动补偿后的剩余部分(residual)。假定r满足下面的密度函数Pr(r)=ke邓—A*(r)等式10然后,等式6中的第二项(先验条件密度)可以被写为—log[Pr"I之—,)]=-J人—,)-log("等式11与率失真优化的关系组合等式8和11,假定1^=0,并且忽略常数项(因为最小化是在Ik上,并且常数项独立于Ik,所以忽略常数项对于关心的优化和降噪处理没有影响)。等式6简化为人=argmin[仏—,)+M>(/A-)等式12等式12中的第一项(Ikn-Ik)2可以被看作在有噪声的数据与原始数据的估计之间的失真Dk。通过将第二项0)(^-^人一)定义为剩余部分/,-^iw的比特率Rk,等式12可以被重写如下A=argi^in(£)4+0^(1)等式i3在此,通过运动补偿的剩余部分的比特率R来测量能量函数①()。这是合理的,因为对于自然的视频,剩余部分的比特率R通常很小。但是,对于有噪声的视频,比特率可能变大。因此,找到具有剩余部分的小比特率的重构函数等同于降低噪声。根据一实施例,从等式13,根据正则化的参数a,观察到在两个目标函数Dk和Rk上的最小化。在给定a的情况下,可以确定等式13的最佳解。但是,确定等式13的形式中的适当的a可能是有挑战性的。因此,在一个实施例中,作为受限的最小化问题来求解等式13,如下^in^W.Z^SD等式14其中,D^是阈值,通过噪声的方差和量化参数来确定它。通过固定Dk可以为等式13找到最佳的拉格朗日参数a。在这个方面,MAP估计/:是有噪声的数据Ikn的压縮版本。因此,系统工作,以便同时压縮视频信号和去除噪声。为了确定等式14的输出,一般地,假定比特率R是失真D的函数如下8乖)-,g(告)等式15因为在等式15中的R(D)函数在D上是凸的,因此在等式14中的优化问题是凸的,并且可以通过求解下面的Karush-Kuhn-Tucher(KKT)条件来获得最佳解叫aA-£>tS0丄20丄(几-")=0等式16b获得下面的结果=,等式17/L牆="=^~等式18根据等式13,a是在率失真优化问题中的拉格朗日参数。因此,例如,在作为通常使用的视频压縮标准的H.264编码标准中的拉格朗日参数应当是也基于示例性非限定性H.264实现方式来评估在此对于各个实施例描述的视频降噪算法。为了模拟视频的噪声,首先通过添加高斯噪声来人为地使干净的视频序列失真。然后,通过使用上述技术来对有噪声的视频降噪。如图6-图9和图10-图13中分别所示,可以在两个独立的视频序列中可视地观察所述技术的效能。图6、图7、图8和图9分别示出了如在此的各个实施例中所述的作为同一帧的原始捕获600、原始捕获的故意的有噪声版本610、在H.264解压縮后的原始捕获的重构620、和在应用降噪后的有噪声版本的重构630。类似地,对于不同的原始捕获,图10、图11、图12和图13分别示出了在此所述的原始捕获1000、原始捕获的故意的有噪声版本1010、在H.264解压縮后的原始捕获的重构1020、和在应用降噪后的有噪声版本的重构1030。观察操作以在多个不同的选择的噪声方差上良好地执行。在一个非限定性实现方式中,参数Dk。和13分别被设置为^°=*和13=0.392。峰值信噪比(PSNR)可以通过与原始视频序列相比较而被计算,并且可以用于通过比较下述三个PSNR测量的性能而量化在图6-图9和图10-图13中所示的内容有噪声的视频610U010的PSNR;通过对于原始(干净)的视频使用H.264编码器而重构的视频620、1020的PSNR;以及,通过使用在此所述的用于有噪声的视频的实施例而重构的视频630、1030的PSNR。对于其中使用H.264编码器来重构视频的后两种方法,量化参数(QP)根据噪声方差来变化。因此,图6-图13示出了两个独立的视频序列的PSNR性能,所述两个独立的视频序列在一个示例中被高斯噪声N(O,IOO)失真。在此所述的各个实施例在PSNR上大大地胜过有噪声的视频,这意味着大大地降低了噪声。因此观察到PSNR性能甚至比通过使用H.264的原始视频的编码版本更好。这是因为当QP被设置为例如35时,原始视频的许多高频内容被量化,这可以使得重构的视频过度平滑,而对于在此所述的实施例,因为噪声可以部分地惩处(penalize)过度量化的高频,避免了视频的过度平滑。还检查重构视频的视觉质量。图9和图13的帧630和1030的可视查看也分别示出了在此所述的实施例可以大大地减少噪声,并且当与在帧620和1020中的原始视频的压縮版本相比较时以相同或者甚9至更好的视觉质量来恢复原始视频。在下面的表I中,示出了分别用于噪声方差49、100和169的测试序列的平均PSNR性能比较。在一个非限定性实现方式中,观察到PSNR性能比有噪声的视频的PSNR性能高大约4-10dB(例如3.82310.186dB),这是显著的改善。<table>tableseeoriginaldocumentpage10</column></row><table>表I-不同方差和技术的PSNR的比较图14图解了用于执行降噪的另一个示例性流程图。在1400,接收到有噪声的视频的当前帧、和有噪声的视频的在前帧的原始图像的估计,所述有噪声的视频的当前帧包括实质上被高斯噪声损坏的原始图像。在1410,确定高斯噪声的方差,并且在1420设置H.264编码器的量化参数(QP)。在1430,根据高斯噪声的方差、在前帧的QP和估计,经由率失真优化(例如最佳地设置可变的拉格朗日参数)来执行当前帧的基于MAP的降噪,以估计当前帧的原始图像。最后,在1440,可以对于随后的帧重复所述过程,以便降噪由有噪声的视频表示的图像序列。图15是图解了被应用于确定原始视频信号的优化重构的、示例性的基于MAP的技术的另外的流程图。在1500,接收、检索或者访问有噪声的视频的当前帧,其包括原始视频和噪声,例如由高斯分布表征的噪声。在1510,接收、检索和访问用于有噪声的视频的在前帧的原始视频的估计。这样的访问可以是来自存储器,诸如但是不限于RAM、闪存、视频缓冲器等,或者可以作为流的一部分被提供,诸如来自相机的现场流。在这个方面,在此的技术可以被应用到视频信号被表示为序列中的帧的任何地方。在1520,确定噪声的方差和与当前帧编码相关联的量化级别。确定量化级别可以包括确定H.264编码标准的量化参数。在1530,根据噪声方差和与当前帧编码相关联的量化级别来执行降噪。降噪可以包括根据在前帧的基于最大后验(MAP)的降噪、压縮当前帧和/或优化噪声的率失真。在1540,根据所述降噪来估计当前帧的原始视频。例如,估计可以基于从噪声的统计分布确定的噪声条件密度、和/或基于根据在前帧确定的先验条件密度模型。在1550,对于有噪声的视频的每个随后帧重复地执行步骤1500-1540,以降噪指定的视频序列。图16是图解了被应用来确定原始视频信号的优化重构的、示例性的基于MAP的技术的框图。如图所示,装置1600包括存储器,诸如RAM1600;以及,一个或多个处理器或者微处理器1605,用于处理由系统接收的视频数据(例如现场流或者流式视频)或者在本地或者远程数据存储区1630中存储和检索的视频数据。在各个实施例中,降噪组件将有噪声的视频作为输入(例如被接收的现场的或者被存储的)。在一个方面,降噪组件确定噪声方差估计1612。然后,根据估计1612,对于在第一帧后的每个当前帧,降噪组件获取在前帧估计1614和当前的有噪声的帧1616,并且确定当前帧1618的估计。图16因此图解了视频降噪系统,用于降噪由计算系统接收的有噪声的视频数据,所述计算系统包括用于存储有噪声的视频数据的帧的数据存储区,每个帧包括原始图像数据和可通过高斯分布表征的噪声图像数据。所述系统还包括降噪组件,其确定有噪声的视频数据的帧的噪声图像数据的方差,并且根据有噪声的视频数据的一个或多个在前帧的原始视频数据的估计和所述方差来如上所述执行当前帧的基于最大后验(MAP)的降噪。以这种方式,降噪组件最佳地确定没有噪声图像数据的当前帧的原始图像数据的估计。在一个实施例中,用于所述一个或多个在前帧的原始视频数据的估计是由降噪组件确定的至少一个基于MAP的估计。所述降噪组件可以包括H.264编码器,用于根据H.264格式来编码由所述降噪组件执行的基于MAP的降噪的输出。在一个实施例中,降噪组件还确定与当前帧的编码相关联的量化的级别。在其他实施例中,降噪组件通过最佳地设置可变的拉格朗日参数而最佳地确定当前帧的原始图像数据的估计。在这一点上,降噪组件基于在噪声图像数据和所述估计之间的失真、和与在运动补偿后的剩余部分相关联的比特率,来最佳地设置与率失真函数相关联的可变拉格朗日参数。结果,降噪组件获得原始数据的估计的峰值信噪比(PSNR)相对于当前帧的PSNR的提高,所述当前帧包括基本在大约4-10分贝的范围中的噪声图像数据。图17是图解了被应用来确定原始视频信号的最佳重构的、示例性的基于MAP的技术的另外的流程图。在1700,系统接收包括图像序列的当前原始图像和高斯噪声的噪声图像。在1710,访问在所述序列中在当前原始图像之前的在前图像的估计的原始图像,并且接收或者确定高斯噪声的估计方差。在1720,基于在前图像的估计的原始图像和估计的方差,通过优化有噪声的图像的率失真特性的可变拉格朗日参数,来降噪当前原始图像。作为选用,在1730,降噪可以包括确定基于有噪声的图像的失真特性和与在运动补偿后的剩余部分相关联的比特率而判定的估计的原始图像。作为另一个选择,在1740,可以根据与编码有噪声的视频所采用的视频编码标准相关联的量化的级别来执行降噪。示例性计算机网络和环境本领域内的普通技术人员可以明白,可以结合任何计算机或者其他客户机或者服务器装置来实现在此所述的合作级联编码的各个实施例,所述任何计算机或者其他客户机或者服务器装置可以被部署为计算机网络的一部分或者被部署在分布式计算环境中,并且可以连接到任何种类的数据存储区。在这一点上,可以在任何计算机系统或者环境中实现在此所述的各个实施例,所述任何计算机系统或者环境具有任何数量的存储器或者存储单元以及在任何数量的存储单元上发生的任何数量的应用和处理。这包括但是不限于具有在具有远程或者本地存储器的网络环境或者分布式计算环境中部署的服务器计算机和客户机计算机的环境。分布式计算通过在计算装置和系统之间的通信交换来提供计算资源和服务的共享。这些资源和服务包括信息的交换、诸如文件的对象的高速缓冲存储和盘存储。这些资源和服务也包括跨越用于负载平衡的多个处理单元而进行的处理功率共享、资源的扩展和处理的专用化等。分布式计算利用网络连通性,允许客户机集中使用(leverage)它们的集体功率来使得整个企业受益。在这一点上,多个装置可以具有应用、对象或者资源,其可以实现对于所述主题公开的各个实施例描述的合作级联编码的一个或多个方面。图18提供了示例性的联网或者分布式计算环境的示意图。所述分布式计算环境包括计算对象1810、1812等以及计算对象或者装置1820、1822、1824、1826、1828等,它们可以包括由应用1830、1832、1834、1836、1838表示的程序、方法、数据存储区、可编程逻辑等。可以明白,对象1810、1812等和计算对象或者装置1820、1822、1824、1826、1828等可以包括不同的装置,诸如PDA、音频/视频装置、移动电话、MP3播放器、个人计算机、膝上型计算机等。每个对象1810、1812等和计算对象或者装置1820、1822、1824、1826、1828等可以通过通信网络1840直接地或者间接地与一个或多个其他对象1810、1812等和计算对象或者装置1820、1822、1824、1826、1828等进行通信。即使在图18中被图解为单个元件,网络1840还可以包括向图18的系统提供服务的其他计算对象和计算装置,并且/或者可以表示未示出的多个互连的网络。每个对象1810U812等或1820、1822、1824、1826、1828等也可以包含应用,诸如应用1830、1832、1834、1836、1838,其可以使用适合于与根据本主题公开的各个实施例提供的一个或多个合作级联编码架构通信、或者适合于所述合作级联编码架构的实现的API或者其他对象、软件、固件和/或硬件。存在支持分布式计算环境的多种系统、组件和网络配置。例如,计算系统可以通过有线或者无线系统、通过本地网络或者广泛分布的网络而连接在一起。当前,许多网络耦接到因特网,其提供了用于广泛分布的计算的基础结构,并且囊括了许多不同的网络,虽然任何网络基础结构可用于侵入在各个实施例中描述的合作级联编码的示例性通信。因此,可以使用大量的网络拓扑和网络基础结构,诸如客户机/服务器、对等或者混合架构。所述"客户机"是一类或者组的成员,其使用与其不相关的另一类或者组的服务。客户机可以是处理,即大致为一组指令或者任务,其请求由另一个程序或者处理提供的服务。客户机处理使用所请求的服务,而不必"知道"关于所述另一个程序的任何工作细节或者服务本身。在一客户机/服务器架构中,特别是联网系统中,客户机通常是计算机,其访问由诸如服务器的另一个计算机提供的共享的网络资源。在图18的图示中,作为非限定性示例,计算机1820、1822、1824、1826、1828等可以被认为是客户机,并且计算机1810、1812等可以被认为是服务器,其中服务器1810U812等提供数据服务,诸如从客户机计算机1820、1822、1824、1826、1828等接收数据,存储数据,处理数据,向客户机计算机1820、1822、1824、1826、1828等传送数据,虽然任何计算机可以根据情况被当作客户机、服务器或者两者。服务器通常是可在诸如因特网或者无线网络基础结构的远程或者本地网络访问的远程计算机系统。客户机处理可以在第一计算机系统中是活动的,并且服务器处理可以在通过通信介质彼此通信的第二计算机系统中是活动,因此提供了分布式功能,并且允许多个客户机使用服务器的信息收集能力。根据用于执行合作级联编码的技术使用的任何软件对象可以被单独地提供,或者被分布在多个计算装置或者对象上。在其中通信网络/总线1840是例如因特网的网络环境中,服务器1810、1812等可以是万维网服务器,客户机1820、1822、1824、1826、1828等经由诸如超文本传输协议(HTTP)的多个已知协议的任何一个来与所述万维网服务器通信。服务器1810、1812等也可以作为客户机1820、1822、1824、1826、1828等,这可以是分布式计算环境的特性。示例性计算装置如上所述,有益的是,在此所述的技术可以被应用到期望从一组合作的用户传送数据的任何装置。因此,应当明白,所有种类的手持的、便携的和其他计算装置和计算对象被构思为与各个实施例相结合地使用,即装置可能希望传送(或者接收)数据的任何位置。因此,下面在图19中所述的下面的通用远程计算机仅仅是计算装置的一个示例。另外,实现在此所述的合作级联编码的任何实施例可以包括下面的通用计算机的一个或多个方面。虽然不要求,但可以经由操作系统来部分地实现实施例,从而由用于装置或者对象的服务的开发者使用,和/或被包括在操作以执行在此所述的各个实施例的一个或多个功能方面的应用软件中。可以在由一个或多个计算机执行的诸如程序模块的计算机可执行指令的一般环境中描述软件,其中,所述计算机为诸如客户机工作站、服务器或者其他装置。本领域内的技术人员将明白,计算机系统具有可以用于通信数据的多种配置和协议,并因此,任何具体配置或者协议都不应当被认为是限制性的。图19因此图解了适当的计算系统环境1900的一个示例,其中,可以实现在此所述的实施例的一个或多个方面,虽然上面清楚地指出,所述计算系统环境1900仅仅是适当的计算环境的一个示例,并且不意欲提出关于使用或者功能的范围的任何限制。计算环境1900不应当被解释为具有与在示例性操作环境1900中图解的组件的任何一个或者组合有关的任何相关性或者要求。参照图19,用于实现一个或多个实施例的示例性远程装置包括计算机1910形式的通用计算装置。计算机1910的组件可以包括,但是不限于处理单元1920、系统存储器1930和系统总线1922,系统总线1922将包括所述系统存储器的各个系统组件耦接到处理单元1920。计算机1910通常包括各种计算机可读介质,并且可以是能够被计算机1910访问的任何可用媒体。系统存储器1930可以包括诸如只读存储器(ROM)和/或随机存取存储器(RAM)的易失性和/或非易失性存储器形式的计算机存储媒体。举例而言,而不是限定性地,存储器1930也可以包括操作系统、应用程序、其他程序模块和程序数据。用户可以通过输入装置1940向计算机1910中输入命令和信息。监视器或者其他类型的显示装置也经由诸如输出接口1950的接口来连接到系统总线1922。除了监视器之外,计算机也可以包括其他外围输出装置,诸如扬声器和打印机,其可以通过输出接口1950而连接。计算机1910可以在使用到诸如远程计算机1970的一个或多个其他远程计算机的逻辑连接的联网或者分布式环境中使用。远程计算机1970可以是个人计算机、服务器、路由器、网络PC、对等装置或者其他共用网络节点或者任何其他远程媒体消费或者传送装置,并且可以包括上面相对于计算机1910描述的任何或者全部元件。在图19中描绘的逻辑连接包括网络1972,诸如局域网(LAN)或者广域网(WAN),但也可以包括其他网络/总线。这样的联网环境是在家庭、办公室、企业范围的计算机网络、内联网和因特网中常见的。单词"示例性"在此用于表示作为示例、例子或者例示。为了避免疑惑,在此公开的主题不被这样的示例限制。另外,在此被描述为"示例性"的任何方面或者设计并非必须13被理解为相对于其他方面或者设计是优选的或者有利的,其也不意指排除本领域内的普通技术人员已知的等同的示例性结构和技术。而且,关于在详细说明或者权利要求中使用词语"包括"、"具有"、"包含"和其他类似单词,为了避免疑惑,这样的词语意欲以类似于作为开放的承接词的词语"包括(comprising)"的方式来包含,而不排除任何另外或者其他的元件。在此所述的各种实现方式和实施例可以具有全部为硬件、部分为硬件和部分为软件、以及为软件的方面。如在此使用的,词语"组件"、"系统"等同样意欲表示计算机相关的实体,或硬件、或硬件和软件的组合、或软件或者执行的软件。例如,组件可以是但是不限于在处理器上运行的处理、处理器、对象、可执行体、执行的线程、程序和/或计算机。举例而言,在计算机上运行的应用和计算机可以是组件。一个或多个组件可以驻留在执行的处理和/或线程中,并且组件可以位于一个计算机中、和/或分布在两个或者多个计算机之间。因此,在此所述的实施例的方法和设备或者其特定方面或者部分可以采取在有形媒体中嵌入的程序代码的形式(即指令),所述有形媒体诸如软盘、CD-R0M、硬盘驱动器或者任何其他机器可读存储介质,其中,当所述程序代码被加载到诸如计算机的机器中并且被其执行时,所述机器变为用于实践技术的设备。在可编程的计算机上执行程序代码的情况下,所述计算装置一般包括处理器、由处理器可读取的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入装置和至少一个输出装置。而且,可以使用标准编程和/或工程技术而将所公开的主题实现为系统、方法、设备或者制造品,以产生软件、固件、硬件或者其任何组合,以控制基于计算机或者处理器的装置来实现在此详细说明的方面。在此使用的词语"制造品"、"计算机程序产品"或者类似的词语意欲涵盖可从任何计算机可读装置、载体或者媒体访问的计算机程序。例如,计算机可读媒体可以包括但是不限于磁存储装置(例如硬盘、软盘、磁条...)、光盘(例如致密盘(CD)、数字通用盘(DVD)...h智能卡和闪存装置(例如卡、棒)。另外,已知载波可以用于承载计算机可读电子数据,诸如在传送和接收电子邮件或者在访问诸如因特网或者局域网(LAN)的网络中使用的计算机可读电子数据。已经结合在几个组件之间的交互来描述前述系统。可以明白,根据前述内容的各种置换和组合,这样的系统和组件可以包括那些组件或者指定的子组件、所述指定组件或者子组件的一些、和/或另外的组件。子组件也可以例如根据分层布置被实现为可通信地连接到其他组件而不是被包括在父组件中的组件。另外,应当注意,一个或多个组件可以被组合到提供聚合功能的单个组件或者被划分为几个独立的子组件,并且可以提供任何一个或多个中间层(诸如管理层)来可通信地耦接到这样的子组件,以便提供集成的功能。在此所述的任何组件也可以与在此未具体说明但是本领域内的技术人员已知的一个或多个其他组件交互。鉴于上述的示例性系统,可以参照各个流程图更好地理解可以根据所公开的主题而实现的方法学。虽然为了说明简单,所述方法学被示出和描述为一系列方框,但是应当明白和理解,所要求保护的主题不被方框的顺序限制,因为一些方框可以以不同的顺序发生和/或与在此描述和说明的其他方框同时发生。在经由流程解不连续的或者分支的流程的地方,可以明白可以实现各种其他分支、流程路径和方框的顺序,其获得相同或者类似的结果。而且,不要求所有图解的方框实现下文所述的方法学。而且,将明白,上面所公开系统和下面的方法学的各个部分可以包括或者由下述部分构成基于人工智能或者知识或者规则的组件、子组件、处理、手段、方法学或者机制(例如支持向量机器、中性网络、专家系统、贝叶斯信念网、模糊逻辑、数据融合引擎、分类器...)。这样的组件尤其可以自动化作执行的某些机制或者处理,以使得系统和方法的部分更自适应并且有效和智能化。虽然已经结合各个附图的实施例描述了实施例,但是应当理解,可以使用其他类似的实施例,或者可以对于用于执行相同功能的所述实施例进行修改和增加,而不偏离其。虽然在特定编程语言构造、规范或者标准的上下文中呈现示例性实施例,但是这样的实施例不限于此,而是可以以任何语言被实现以执行优化算法和处理。而且,可以在多个处理芯片或者装置之内或者跨越其来实现实施例,并且可以跨越多个装置上类似地实现存储。因此,本发明不应当限于任何单个实施例,而是应当在根据所附的权利要求的广度和范围中来理解。权利要求一种用于降噪有噪声的视频数据的方法,包括接收有噪声的视频数据的当前帧,该有噪声的视频数据的的当前帧包括原始视频数据和噪声数据;接收用于有噪声的视频数据的在前帧的原始视频数据的估计;确定噪声数据的方差和与所述当前帧的编码相关联的量化级别;根据至少所述噪声数据的方差、量化级别和对于有噪声的视频数据的在前帧的原始视频数据的估计,降噪所述当前帧;并且根据所述降噪来估计用于所述当前帧的原始视频数据。2.根据权利要求1的方法,还包括对于有噪声的视频数据的每个随后的帧,重复地执行所述接收步骤、确定步骤、降噪步骤和估计步骤。3.根据权利要求1的方法,其中,确定所述量化级别的步骤包括确定根据H.264视频编码标准执行的编码器的量化参数。4.根据权利要求l的方法,其中,所述估计步骤包括根据基于所述噪声数据的统计分布而确定的噪声条件密度来进行估计。5.根据权利要求l的方法,其中,所述估计步骤包括根据基于在前帧确定的先验条件密度模型来进行估计。6.根据权利要求l的方法,其中,所述降噪步骤包括根据所述在前帧进行的基于最大后验(MAP)的降噪。7.根据权利要求1的方法,其中,所述降噪步骤包括压縮所述当前帧。8.根据权利要求l的方法,其中,所述降噪步骤包括优化所述噪声数据的率失真特性。9.根据权利要求l的方法,其中,所述接收步骤包括接收有噪声的视频数据的当前帧,该有噪声的视频数据的当前帧包括原始视频数据和通过高斯分布表征的噪声数据。9.一种计算机可读介质,包括用于执行权利要求1的方法的计算机可执行指令。10.—种视频降噪系统,用于降噪由计算系统接收的有噪声的视频数据,所述系统包括至少一个数据存储区,用于存储有噪声的视频数据的多个帧,每个帧包括原始图像数据和通过高斯分布表征的噪声图像数据;以及降噪组件,其确定用于有噪声的视频数据的多个帧的噪声图像数据的方差,并且根据有噪声的视频数据的至少一个在前帧的原始视频数据的至少一个估计和所述方差,来执行当前帧的、基于最大后验(MAP)的降噪,其中,所述降噪组件最佳地确定没有所述噪声图像数据的所述当前帧的原始图像数据的估计。11.根据权利要求10的视频降噪系统,其中,所述至少一个在前帧的原始视频数据的所述至少一个估计是通过所述降噪组件确定的至少一个基于MAP的估计。12.根据权利要求10的视频降噪系统,还包括H.264编码器,用于根据H.264格式来编码通过所述降噪组件执行的基于MAP的降噪的输出。13.根据权利要求10的视频降噪系统,其中,所述降噪组件还确定与当前帧的编码相关联的量化级别。14.根据权利要求10的视频降噪系统,其中,所述降噪组件通过最佳地设置可变拉格朗日参数来最佳地确定当前帧的原始图像数据的估计。15.根据权利要求14的视频降噪系统,其中,所述降噪组件根据在所述噪声图像数据和所述估计之间的失真以及与运动补偿后的剩余部分相关联的比特率来最佳地设置与率失真函数相关联的可变拉格朗日参数。16.根据权利要求14的视频降噪系统,其中,所述降噪组件获得所述原始数据的估计的峰值信噪比(PSNR)相对于所述当前帧的PSNR的提高,其中,所述当前帧包括基本在大约4-10分贝的范围中的噪声图像数据。17.—种用于处理有噪声的视频数据的方法,所述有噪声的视频数据包括原始图像的序列和在所述原始图像中嵌入的噪声数据的对应序列,所述方法包括接收包括原始图像和高斯噪声的有噪声的图像;并且根据在所述序列中的所述原始图像之前的在前图像的估计的原始图像和所述高斯噪声的方差,降噪所述当前帧,包括优化与有噪声的图像的率失真特性相关联的可变拉格朗日参数。18.根据权利要求17的方法,其中,所述降噪包括确定基于所述有噪声的图像的失真特性而判定的估计的原始图像。19.根据权利要求17的方法,其中,所述降噪包括确定基于与运动补偿后的剩余部分相关联的比特率而判定的估计的原始图像。20.根据权利要求17的方法,其中,所述降噪还包括根据与编码所述有噪声的视频数据所采用的视频编码标准相关联的量化级别来进行降噪。全文摘要根据最大后验(MAP)估计,提供了用于有噪声的视频的帧的视频降噪技术。在假设噪声类似于或者满足高斯分布和可通过比特率测量的先验条件密度模型的情况下,可以将降噪的当前帧的MAP估计表达为率失真优化问题。基于率失真优化问题的约束最小化问题被用于改变拉格朗日参数,以优化降噪处理。所述拉格朗日参数被确定为噪声的失真的函数。文档编号H04B1/56GK101720530SQ200880021976公开日2010年6月2日申请日期2008年6月5日优先权日2007年6月25日发明者区子廉,陈彦申请人:香港科技大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1