专利名称：用于高效视频处理的方法和系统的制作方法
技术领域：
本发明涉及图像处理，并且具体地，涉及一种用于将各种处理操作应用于视频流 的帧的高效视频处理方法和系统，所述处理操作包括对视频图像流进行去噪、锐化、增强和 去模糊。
背景技术：
当前，图像处理是对其付出了显著的研究和开发努力的重要的技术领域。随着 包括手持式摄像机、视频会议系统、蜂窝电话和包括通过互联网的视频图像的实时传送的 视频分送信道的各种类型的视频图像捕获、传输和显示设备的可用性的增加以及成本的降 低，视频图像的处理正在变为日益重要的研究和开发领域并且提供了视频处理系统的越来 越大的市场。在许多应用中，可以在视频采集之后以及在视频分送之前通过计算上昂贵的技术 执行视频处理。然而，在许多当前的和涌现的应用中，诸如在实时视频处理系统中，视频处 理需要快速地和高效地执行。视频会议是其中实时视频处理可以提供众多益处的应用的一 个示例。视频会议设备制造商和销售商已经确定，视频会议的有效性可以极大地取决于递 送到视频会议参与者的视频图像的质量。通过使用复杂的和昂贵的相机、高端显示系统、大 量的专用计算硬件和宽带宽通信信道，可以实现视频质量。不幸地，这种昂贵的、高端视频 会议系统的市场较之较低成本的视频会议系统的潜在市场是相对小的。需要实时视频处理 的视频会议设备和其他系统的研究人员和开发人员、制造商和销售商以及视频会议设备和 其他这种基于视频的系统的用户均已认识到需要较低成本的基于视频的系统，其中视频处 理部件可以用于在计算上抵消因使用不太昂贵的相机、通信信道和专用硬件而导致的视频 图像质量的降低。
发明内容
本发明的实施例针对用于计算上高效地对视频帧的流进行去噪、锐化、对比度增 强、去模糊和其他空间和时间处理的高效的视频处理方法和系统。本发明的实施例使仅针 对从视频流中以固定的或可变的间隔选择的小百分比的视频帧执行的统计量相关计算与 针对视频流的每个帧执行的各种空间和时间处理步骤分离，所述统计量相关计算包括估计 像素值关联方差、标准差、噪声阈值和信号对比度阈值。在本发明的某些实施例中，统计量 相关计算由计算机系统的一个或多个通用处理器执行，而逐帧的空间和时间处理由计算机 系统中的一个或多个专用图形处理器执行。
图1图示了二维图像信号。图2示出了具有数值像素值的图1的二维图像。图3A-E图示了由本发明的方法和系统实施例执行的各种类型的图像和视频帧处理的简单示例。图4提供了简单的计算机系统的高级别的类似框图的表示。图5图示了图像中的邻域的概念。图6A-B图示了基于邻域的操作中使用的图像的各种类型的遍历。图7图示了由本发明的方法和系统实施例解决的基本问题。图8图示了表示本发明的一个实施例的实时高质量视频处理系统。图9-11图示了表示本发明的一个实施例的实时视频处理系统的噪声和对比度模 块的操作。图12图示了两个图像A和B的相加。图13图示了被称为“缩减(downscaling)”的一种类型的缩放操作。图14图示了 D操作的一个实施例。图15图示了权重模板(mask) W中包括的权重的计算。图16图示了通过将D操作两次应用到中间尺度图像而获得的高斯金字塔的一部 分。图17图示了 U操作的一个实施例图18图示了本发明的实施例中使用的鲁棒过滤操作的一个实施例。图19图示了作为本发明的实施例中使用的上文参照图18描述的鲁棒过滤操作的 一部分的针对原始图像Y的每个像素Y(i，j)执行的过滤操作fs(i，j)。图20图示了在本发明的实施例中使用的过滤操作fs(i，j)中使用的非线性函数 的一般形式。图21图示了在本发明的实施例中使用的函数Ψ3。图22示出了在图15中使用的许多图示约定。图23图示了由本发明的各种实施例中的多尺度去噪、锐化和对比度增强模块使 用的一个多尺度鲁棒锐化和对比度增强方法。图Μ-25图示了由表示本发明的一个实施例的实时视频处理系统的运动检测模 块针对当前分析的帧中的每个像素执行的计算。图沈-29图示了表示本发明的一个实施例的实时视频处理系统的自适应时间处 理模块的操作。图30示出了用于本发明的实时视频处理方法的实施例的高级别控制流程图。图31提供了表示本发明的一个实施例的实时视频处理系统的噪声和对比度模块 的控制流程图。图32提供了表示本发明的实施例的实时视频处理系统的运动检测模块的控制流 程图。图33提供了用于表示本发明的一个实施例的视频处理系统的自适应时间处理模 块的控制流程图。
具体实施例方式本发明的实施例针对计算上高效的实时视频处理。首先，提供了数字图像和数字 图像处理的一般概况，作为本发明的实施例的后继描述的背景。然后，提供了表示本发明的一个实施例的计算上高效的实时视频处理系统的概况。随后更详细地讨论了该系统的部 件。最后，提供了用于表示本发明的一个实施例的视频图像处理方法的控制流程图。图像处理背景
图1图示了二维图像信号。如图1中所示，二维图像信号可以被视为包含具有索引 0，1，…，r-Ι的R个行和具有索引0，1，…，C-I的C个列的二维矩阵101。通常，单个大写字 母，诸如字母“Y”，用于表示整个图像。图1中示出的二维图像Y中的每个元素或单元被称 为“像素”并且由一对坐标来指代，一个坐标指定其中包含该像素的行而另一个坐标指定其 中包含该像素的列。例如，图像Y中的单元103被表示为Y(l，2)。图2示出了具有数值像素值的图1的二维图像。在图2中，每个像素与数值值关 联。例如，在图2中像素Υ(2，8) 202被示出为具有值“97”。在某些情况中，特别是黑白照 片中，每个像素可以与单个灰度值关联，该灰度值的范围常常是从表示黑色的0到表示白 色的255。对于彩色照片，每个像素可以与多个数值值关联，诸如亮度值和两个色度值，或者 替选地，三个RBG (红蓝绿)值。在其中像素与不止一个值关联的情况中，图像增强技术可以 单独地应用于分图像，每个分图像表示从每个像素中选择的一种类型的像素值的集合。替 选地，图像增强技术可以被应用于计算的单值像素图像，其中通过针对与原始图像中的像 素关联的多个值的数学运算来为每个像素生成计算值。替选地，图像增强技术可以主要应 用于仅亮度分图像。在下面的讨论中，图像被视为单值的，如例如与黑白照片中的像素关联 的灰度值那样。然而，通过将本发明的公开方法单独地应用于一个或多个分图像或者通过 在数学上组合与每个像素关联的多个值以计算与每个像素关联的单个值，并且将本发明的 方法应用于计算像素值的集合，可以将本发明的方法直接应用于具有多值像素的图像和信 号。应当注意，尽管图像被视为像素值的二维阵列，但是图像可以作为数值值的连续列表， 作为值的压缩序列或者以其他方式被存储和传送。下面的讨论假设，不管图像被如何存储 和传送，图像可以被视为像素值的二维矩阵，所述像素值可以通过针对二维矩阵的各种类 型的操作而进行变换。视频流由时间排序的一系列视频图像(在下文中被称为“帧”)组成，每个帧通常在 时间上与前一帧和后一帧隔开诸如1/30秒的某个固定时间间隔。各种视频处理方法可以 应用于隔离的帧，并且其他方法可以应用于连续的时间排序的帧子集。图3Α-Ε图示了由本发明的方法和系统实施例执行的各种类型的视频帧处理的简 单示例。在图3Α-Ε的每一个中，示出了两个非常小的数字图像区域，一个图像是应用图示 的处理技术之前的图像，而另一个图像是应用图示的处理技术之后的图像，以图示各种类 型的处理技术。图3Α中示出的一个处理技术被称为“去噪”。去噪指的是如下过程通过该 过程对噪声图像302进行处理以便于使用背景适当的灰度值替代具有被推断为因在数字 图像的捕获、存储、传送或者先前处理期间引入的噪声而改变或失真的灰度值的像素。得到 的去噪图像304理想地表现为无噪声。去噪过程可以识别具有明显偏离周围像素的灰度值 的像素，诸如图3Α中示出的噪声图像中的像素306，并且将这些像素值替换为与周围像素 值308 —致的更适当的像素值。在某些情况中，使用大的像素值替代较小的像素值，并且在 其他情况中，使用较小的像素值替代较大的像素值。去噪过程试图识别和移除数字图像中 的噪声引入的伪像而不移除或改变图像特征，特别是可能容易地被许多去噪算法误认为噪 声的较小的高分辨率特征和细节。
如图:3B中图示的对比度增强的目标是提高数字图像中的对比度。例如，在图:3B 中的低对比度数字图像310中，诸如背景像素312的背景像素的灰度值与字母0形特征314 的像素值没有很大不同。对比度增强技术试图通过例如使背景像素的灰度值与字母0形特 征像素更宽地隔开(如增强的数字图像316中的那样)来提高图像对比度。在增强的数字图 像中，例如，背景像素具有255的灰度值，而字母0形特征像素具有0的灰度值。对比度增 强试图提供图像中的不同图像特征之间以及图像特征和背景之间的更大的对比度，同时避 免引入伪造的伪像。图3C中图示的被称为“锐化”的图像处理技术试图增强或者锐化图像中的特征之 间以及特征和背景之间的边界。例如，在图3C中的未锐化的图像320中，图像的较暗的区 域322沿图像中的竖直线3 邻接较亮的区域324。一种类型的锐化过程可以通过在较亮 的区域324的边缘处引入较亮的像素列330并且在较暗的区域322的边缘处引入较暗的像 素列332来增强或者放大较暗和较亮的区域之间的边界(如增强的图像328中所示)。锐化 技术可以另外使线性边界变直并且使弯曲的边界更加连续。上文参照图3A-C讨论的去噪，对比度增强和锐化通常是空间处理技术，其可以单 独地应用于视频流的每个帧。除了空间处理技术之外，各种时间处理技术可以应用于视频 流中的多个连续的时间排序的帧以便于改善运动诱发的效果和伪像，包括因针对固定背景 的相机运动或者对象运动引起的模糊。图3D图示了数字图像的运动诱发的模糊。静止图像 340包括字母0形特征342。当在图像捕获期间发生相机运动时，在运动模糊图像344中可 能发生特征的运动诱发的模糊。运动诱发的模糊通常相似地影响图像的像素邻域中的许多 邻近的像素。例如，在运动模糊图像344中，字母0形特征342已经沿对角线抹向左下方， 产生了两个另外的字母0形伪像346和348。包括字母0形特征的像素邻域中的所有较暗 的像素示出了相似的沿对角线平移的伪像像素。尽管噪声常常表现为随机分布在整个图像 上，但是作为对比，运动诱发的模糊是相当非随机的。如图3E中所示，被称为“去模糊”的 处理技术试图识别模糊图像350中的运动诱发的伪像并且系统地移除伪像以产生去模糊 的图像352。图4提供了简单的计算机系统的高级别的类似框图的表示。该计算机系统包括一 个或多个中央处理单元(“CPU”)402，系统存储器404，内部盘406，包括一个或多个图形处 理单元(“GPU”)的图形再现设备408，存储器桥424，以及I/O桥432，它们由处理器系统总 线422、存储器总线426、高级图形端口(“AGP”)总线428、内部主机桥总线430和诸如SATA 链路的专用存储设备通信链路互连。I/O桥432用于将另外的设备互连到存储器桥424，并 且因此互连到存储器404和CPU 402。I/O桥432和存储器桥似4 一起组成主机桥420。I/ 0桥包括到PCIe交换机436的多通道互连和PCIe端口，该PCIe交换机436用作用于建立 I/O桥和各个PCIe端点410-415之间的点对点互连的交叉式(crossbar-like)交换机。诸 如图4中示出的那个计算机系统之类的计算机系统是用于表示本发明的实施例的实时视 频处理系统的示例性平台。图5图示了图像中的邻域的概念。许多图像处理技术基于像素邻域的数学概念。 在图5中，大图像的一部分被示出为栅格(grid) 502。在图示的图像部分中，小的正方形 区域504被遮蔽，并且遮蔽区域的中心像素被另外加阴影506。对于许多操作而言，其边具 有奇数个像素的正方形区域提供了方便的计算用邻域。在许多情况中，正方形区域504被视为中心像素506的邻域。在图5中，中心像素506具有索引(i，j)。该邻域可以被称为 n(i, j)。在插图508中示出了邻域中的所有像素的索引。邻域可以具有不同类型的形状，包 括菱形、近似盘状的形状和其他形状。在下面的讨论中，邻域中的像素数目通常由字母“K” 表示。对于一些操作，中心像素值被视为邻域中的K个像素中的一个。在其他情况中，在特 定的基于邻域的过程中不使用中心像素值，并且因此常数K可以不包括中心像素。例如，对 于那些不使用中心像素值的操作而言，对于图5中的邻域508，K可以被视为具有值8，并且 对于那些使用中心像素值的操作而言，对于图5中的邻域508，K可以被视为具有值9。术 语“窗口”也可以用于描述像素邻域。图6Α-Β图示了基于邻域的操作中使用的图像的各种类型的遍历。常常针对图像 中的每个像素执行基于邻域的计算。因此，邻域可以被想象为窗口，其沿图像中的遍历路径 滑动，停止在沿遍历路径的每个位置处，其中在沿遍历路径的每个位置处具有不同的中心 像素。图6Α图示了一种可能的遍历路径，其中按顺序遍历行，沿着与前一行和后一行的遍 历相反的方向遍历每个行中的像素。替选地，如图6Β中所示，可以执行对角线遍历。对于 接近边缘的像素，可以使用经修改的邻域以便于针对接近边缘或拐角的像素执行基于邻域 的计算。卷积操作(其中小的值模板与关于每个像素的对应邻域相乘以生成通过卷积产生 的图像的每个像素值)和过滤操作(其中基于沿诸如图6Α-Β中示出的那些的遍历路径的每 个邻域的像素值进行计算)均是基于邻域的操作的示例。本发明的实施例的概况
图7图示了由本发明的方法和系统实施例解决的基本问题。如图7中所示，包括视频 信号702的视频图像流被输入到实时视频处理系统704，实时视频处理系统704需要实时 地对每个帧执行空间操作，包括去噪、锐化和对比度增强，并且对视频流的时间排序的子集 执行包括去模糊的时间处理以便于产生经处理的视频流706。即使是相对低分辨率的视频 流，其中每个帧具有720X480个像素的尺寸并且相邻的帧隔开1/30秒的时间间隔，仍包括 视频处理系统704每秒必须处理的超过10，000，000个像素。然而，各种不同的空间和时间 处理技术可能需要多次访问每个像素，并且可能需要在各种不同的缓冲器和数据结构之间 传输像素值，进一步增加了实时视频处理系统的相当大的计算开销。对于许多当前可用的 个人计算机和工作站，个人计算机或工作站中的一个或多个中央处理单元(“CPU”)中可用 的处理带宽不足以执行由廉价的视频会议系统和其他类型的基于视频处理的系统产生高 质量视频所需的高质量、多步骤处理。图8图示了表示本发明的一个实施例的实时高质量视频处理系统。在图8中，视频 流由包括帧802的帧序列表示。表示本发明的一个实施例的实时视频处理系统包括由底层 计算机系统或工作站的一个或多个CPU执行的噪声和对比度模块804，以及由计算机系统 或工作站中的一个或多个特殊图形处理单元(“GPU”)执行的三个模块806、808和810。由一 个或多个GPU执行的三个模块包括(1)多尺度去噪、锐化和对比度增强模块806 ； (2)运动 检测部件808 ；和(3)自适应时间处理模块810。如图8中所示，噪声和对比度模块804仅对 视频流中的以固定的或可变的时间或者帧间隔出现的少数选定帧(例如图8中的帧812和 813)进行操作。噪声和对比度模块产生的结果常常在相当大的帧区间上是相对恒定的。而 且，噪声和对比度模块执行的计算通常不太适用于在底层的计算机系统或设备的一个或多 个GPU上执行。这些计算牵涉专用的、复杂的、连续编程的例程，其通常不会以规则的或者可预测的模式访问存储器，诸如存储整个二维阵列。而且，将这些计算分解为可以并行执行 的较小的任务是困难的和不实际的，并且这些计算通常不利用GPU提供的专用的基于图像 的向量和矩阵基元。换言之，在这些计算中有效地利用GPU提供的并行的基于专用基元的 接口的机会是相对低的。在一个或多个GPU上执行的这三个模块对视频流的每个帧进行操 作。对比在一个或多个CPU上的噪声和对比度模块执行的计算，由多尺度去噪、锐化和对比 度增强模块，运动检测部件和自适应时间处理模块在一个或多个GPU上执行的计算是基于 图像的计算，其适于GPU被设计用于的高带宽和高度规则的存储器访问操作以及并行向量 和矩阵操作。通过在一个或多个CPU上执行噪声和对比度模块的连续计算，并且在一个或 多个GPU上执行多尺度去噪、锐化和对比度增强模块，运动检测部件和自适应时间处理模 块的基于图像的可并行化操作，按并行的方式最佳地充分利用了计算机系统的整体处理带 宽，并且这些计算分布在CPU和GPU中，因此利用CPU和GPU的不同能力以及到CPU和GPU 的接口。在本发明的一个实施例中，这三个模块是分立的，并且按组装线的方式对视频帧进 行操作。在替选实施例中，所有三个模块可以一起被实现为单个模块。噪声和对比度模块是执行选定视频帧的统计分析以便于提供用于后继空间和时 间处理的参数值的测量模块的一个实施例。多尺度去噪、锐化和对比度增强模块，运动检测 部件和自适应时间处理模块一起构成通过各种方法对每个视频帧进行操作以产生对应的 经处理的视频帧的处理模块的一个实施例，所述方法包括移除噪声、增强对比度、锐化特征 和使视频帧去模糊。如图8中所示，噪声和对比度模块804产生结果，即与灰度值关联的所估计的噪声 相关方差或者标准差以及信号对比度相关方差，其被输入到多尺度去噪、锐化和对比度增 强模块806以及运动检测模块808。运动检测模块808产生输入到自适应时间处理模块810 的值。噪声和对比度模块804和运动检测模块808不会改变视频帧，但是多尺度去噪、锐化 和对比度增强模块806和自适应时间处理模块810均改变视频流中的每个视频帧的内容。 如参照图3A-C讨论的，多尺度去噪、锐化和对比度增强模块806执行视频帧的空间处理，并 且如参上文照图3D-E讨论的，自适应时间处理模块810执行包括去模糊的时间处理。自适 应时间处理模块输出的增强的帧然后可以由包括本发明的实时视频处理系统或与其对接 的各种类型的系统传送、存储和再现以便进行显示。噪声和对比度模块
图9-11图示了表示本发明的一个实施例的实时视频处理系统的噪声和对比度模块的 操作。如上文讨论的，噪声和对比度模块(图8中的804)表示测量模块的实施例。从图9 开始，噪声和对比度模块被示出为对选定视频帧902进行操作以便于产生与该视频帧相关 的许多统计函数。首先，视频帧被划分为小的像素块。在本发明的某些实施例中，使用8X8 的像素块，8X8的块完全覆盖视频帧。在替选实施例中，可以使用不同尺寸的块，并且可以 使用数目比覆盖集合小的块来计算统计函数。每个块的平均灰度值或像素值被计算为
权利要求
1.一种视频处理系统，其接收视频帧的输入流并且输出增强帧的流以进行存储、传 送、和/或再现以用于显示，所述实时视频处理系统包括在计算机系统的一个或多个中央处理单元上执行的测量模块，其根据所述视频帧的输 入流的选定帧生成关于像素值的统计量的一个或多个函数；以及在计算机系统的一个或多个图形处理器单元上执行的处理模块，其使用由所述测量模 块生成的所述关于像素值的统计量的一个或多个函数来处理所述视频帧的输入流的每个 帧，包括对每个帧进行去噪、锐化、对比度增强和去模糊，以便于输出增强帧的流。
2.根据权利要求1所述的视频处理系统，其中所述测量模块通过如下方式之一选择 根据其生成所述关于像素值的统计量的一个或多个函数的帧按固定帧间隔选择在所述视频帧的输入流中出现的每个帧； 按固定时间间隔选择在所述视频帧的输入流中出现的每个帧； 按可变帧间隔选择在所述视频帧的输入流中出现的每个帧；以及 按可变时间间隔选择在所述视频帧的输入流中出现的每个帧。
3.根据权利要求1所述的视频处理系统，其中所述测量模块通过如下方式根据所述 视频帧的输入流的选定帧生成关于像素值的统计量的一个或多个函数根据所述帧生成像素块； 为每个块计算平均像素值和估计的样本方差； 将所述块划分为分区，每个分区与不同的平均像素值关联； 对于每个分区，基于估计的样本方差移除离群块以产生不具有离群块的块分区， 根据不具有离群块的块分区的许多块计算噪声相关估计方差和/或标准差，所述许多 块在不具有离群块的块分区的块中具有最低估计样本方差，以及 根据不具有离群块的块分区的块计算对比度相关方差；计算关于像素值的噪声相关方差的函数和/或关于像素值的噪声相关标准差的函数；以及计算关于像素值的对比度相关方差的函数。
4.根据权利要求1所述的视频处理系统，其中所述处理模块包括多尺度去噪、锐化和 对比度增强模块，其通过如下方式对每个输入帧进行去噪、锐化和对比度增强以生成对应 的经空间处理的帧在大于最低分辨率尺度的一个或多个当前考虑的分辨率尺度的每一个下， 使输入帧或者从所述输入帧得到的中间帧缩减以产生用于输入到下一较低分辨率尺 度的中间帧，使从较低分辨率尺度接收到的中间帧放大以产生用于输出到下一较高分辨率尺度的 中间帧，以及使用关于像素值的噪声相关方差的函数或者关于像素值的噪声相关标准差的函数来 计算噪声相关阈值，对所述输入帧或中间帧中的至少一个进行鲁棒过滤。
5.根据权利要求4所述的视频处理系统，其中所述处理模块包括运动检测模块和自 适应时间处理模块。
6.根据权利要求5所述的视频处理系统，其中所述运动检测模块通过如下方式生成用于所述多尺度去噪、锐化和对比度增强模块生成的每个经空间处理的帧中的每个像素的 因子ω u 在基于邻域的操作中，通过如下方式考虑邻域η (i, j, t)中的在视频帧流中的时间t处 出现的经空间处理的帧中的每个像素(i，j)计算邻域n(i，j，t)中的每个像素k即n(i，j，t)k和在所述视频帧流中的时间t-Ι处 出现并且紧邻在所述视频帧流中的时间t处出现的经空间处理的帧之前的经空间处理的 帧的邻域中的对应像素k即n(i，j, t-l)k之间的差的量值，根据邻域n(i，j，t)和邻域n(i，j，t-l)中的对应像素之间的计算的量值，计算像素 (i，j)的值受噪声影响的概率Pn。ise以及像素(i，j)的值受运动影响的概率Pm。ti。n，以及h将ω。计算为与比成motion比例。
7.根据权利要求6所述的视频处理系统，其中所述运动检测模块如下计算Pn。ise和P .1 motion ·κ4 二Π fx ((" (W),—打(W — 1),)，^ (丄))免-1^tj = Σ /2 (( ‘jA - “ O，J^t欣(L)) k=l其中是计算像素值的差值大于基于统计参数的阈值(L)和CiC(L)的概率的函数。
8.根据权利要求5所述的视频处理系统，其中所述自适应时间处理模块维持历史帧 H，其表示由所述自适应时间处理模块输出的先前的增强帧的递归生成的历史，所述历史帧 被定义为H=Zf(Et)imtK—1其中Et是对应于视频流中的时间t的视频帧的增强帧；以及 f()是返回针对增强帧中的每个像素的值的函数。
9.根据权利要求8所述的视频处理系统，其中所述自适应时间处理模块通过如下方 式对每个经空间处理的帧执行时间处理以产生对应的增强帧对于经空间处理的帧中的每个像素(i，j)， 如下计算对应的增强帧像素的值Ε。
10.根据权利要求9所述的视频处理系统，其中，在计算对应于所述视频帧的输入流 中的时间t处出现的经空间处理的帧的下一增强帧Et之后，所述视频处理系统将当前的历史帧H替换为所述下一增强帧Et。
11.根据权利要求5所述的视频处理系统，其中所述运动检测模块通过如下方式为所 述多尺度去噪、锐化和对比度增强模块生成的每个经空间处理的帧中的每个像素生成因子在基于邻域的操作中，通过如下方式考虑邻域η (i, j, t)中的在视频帧流中的时间t处 出现的经空间处理的帧中的每个像素(i，j)计算邻域η(i，j, t)中的每个像素k即n(i, j, t)k和在所述视频帧流中的时间t-Ι处 计算的并且紧邻在所述视频帧流中的时间t处出现的经空间处理的帧之前的历史中的对 应像素k即H(i, j, t-l)k之间的差的量值，根据邻域n(i，j，t)和历史H(i，j，t-l)中的对应像素之间的计算的量值，计算像素 (i，j)的值受噪声影响的概率Pn。ise以及像素(i，j)的值受运动影响的概率Pm。ti。n，以及将、」计算为与比’成比例。
12.根据权利要求11所述的视频处理系统，其中所述运动检测模块如下计算Pn。ise和
13.根据权利要求10所述的视频处理系统，其中所述运动检测模块和所述自适应时 间处理模块是以下之一单独的模块；以及 单个时间处理模块中的功能。
14.根据权利要求10所述的视频处理系统，其中所述多尺度去噪、锐化和对比度增强 模块是以下之一单独的模块； 单个处理模块中的功能。
15.一种用于增强视频帧的输入流的方法，所述方法包括在计算机系统的一个或多个中央处理单元上，根据所述视频帧的输入流的选定帧生成 关于像素值的统计量的一个或多个函数；以及在计算机系统的一个或多个图形处理器单元上，使用所述关于像素值的统计量的一个 或多个函数处理所述视频帧的输入流的每个帧，包括对每个帧进行去噪、锐化、对比度增强 和去模糊，以便于输出增强帧的流用于存储、传送和/或再现以进行显示。
全文摘要
本发明的实施例针对用于计算上高效地对视频帧的流进行去噪、锐化、对比度增强、去模糊和其他空间和时间处理的高效的视频处理方法和系统。本发明的实施例使仅针对从视频流中以固定的或可变的间隔选择的小百分比的视频帧执行的统计量相关计算与针对视频流的每个帧执行的各种空间和时间处理步骤分离，所述统计量相关计算包括估计像素值关联方差、标准差、噪声阈值和信号对比度阈值。在本发明的某些实施例中，统计量相关计算由计算机系统的一个或多个通用处理器执行，而逐帧的空间和时间处理由计算机系统中的一个或多个专用图形处理器执行。
文档编号H04N1/409GK102132554SQ200880130817
公开日2011年7月20日 申请日期2008年6月20日 优先权日2008年6月20日
发明者基西列夫 P., 谢恩 S. 申请人:惠普开发有限公司