专利名称：用于平滑变化区域的递归三维超精方法
技术领域：
本发明一般涉及视频和图像处理，并且更具体地，涉及改善平滑变化区域的视频内容精度。
背景技术：
视频和图像可能包括诸如蓝天背景和墙上阴影的平滑变化区域。在这些区域中，亮度是逐渐变化的，其应被看作是平滑区域。然而，当视频和图像是以数字方式存储并且位深有限时，在这些区域中会看到类似阶梯(stage-like)状的假轮廓伪影。
为了消除这样的伪影，需要平滑变化区域的较高精度的内容。一旦获得了较高精度的内容，则可以将该内容显示在具有较高位深的显示屏幕上，从而使得两个连续亮度级别之间的差异很小，以致不可察觉。
可替代地，可以使用半色调技术(例如，超抖动)将较高精度的内容量化到显示位深，并且因为人类视觉系统的空间平均特性而去除视觉伪影。
在任何一种情况下，获得所述平滑变化区域的较高精度的内容都是用于去除这些视觉伪影的必需的步骤。
发明内容
本发明的一个实施例中提供了一种实现用于处理平滑变化区域的递归3D超精处理的图像处理方法。这样的图像处理方法包括两个主要步骤时域降噪和2D超精处理。
将时域降噪施加到两个帧一个是当前输入的低精度帧，另一个是来自存储器的先前的较高精度帧。对时域中的当前低精度帧施加时域降噪，以输出降噪帧。对该降噪帧施加2D超精处理，以输出高精度帧，该高精度帧也被保存在存储器中，用于处理下一个输入帧。这样，所输入的帧具有有限的位深，而输出图像具有增加的位深。
在另一方面，本发明提供了一种实现本发明的上述方法的系统(装置)。通过下面结合附图的说明，本发明的其它实施例、特征、和优点将变得显而易见。
图1示出根据本发明的实施例的示范性3D递归超精处理系统的功能框图；图2示出图1的时域降噪单元的实施例的示范性框图；图3示出图1的2D超精处理单元的实施例的示范性框图；图4示出根据本发明的实施例的、向平滑变化且无运动区域施加3D递归超精处理算法的示例；图5示出根据本发明的实施例的、用于平滑变化区域的递归3D超精处理方法的实施例。
具体实施例方式
在一个实施例中，本发明提供了一种用于处理平滑变化区域的三维(3D)递归超精处理方法和系统。这样的图像处理包括两个主要过程时域降噪和2D超精处理。
将时域降噪施加到两个帧一个是当前输入的低精度帧，另一个是来自存储器的先前的较高精度帧。对降噪帧施加2D超精处理，以输出高精度帧，该高精度帧也被保存在存储器中，用于处理下一个输入帧。在这种情况下，所输入的帧具有有限的位深，而输出图像具有增加的位深。
于2005年11月1日提交的题目为“Super Precision For Smoothly ChangingArea Based on Segmentation and Low-pass Filtering”、序列号为11/264,938的共同转让的美国专利申请(通过参考而被合并于此)提供了一种示范性的二维(2D)超精处理算法，该算法首先分割出平滑变化区域，然后基于所分隔的平滑变化区域内每个像素的局部支撑而计算较高精度的内容。
这里所描述的本发明的优选实施例将时域降噪算法和所述的示范性2D超精处理算法组合为可以获得更高精度的3D递归超精处理算法。其它实施例也是可能的，并且本发明不限于这里所描述的示范性实现。
图1示出根据本发明的实施例的3D递归超精处理系统100的实施例的示范性框图。如图1中所示，3D递归超精处理系统100实现两个主要处理步骤降噪单元102中的时域降噪和处理单元104中的2D超精处理。存储器106保存2D超精处理单元104的输出，并提供帧延迟。
不失一般性地，用gt表示在时刻t的输入视频帧，用gt(i，j)表示在笛卡儿坐标(i，j)处的相应像素值，其中i表示纵坐标，j表示横坐标。用 (降噪帧)表示时域降噪单元102的输出，用gt表示2D超精处理单元104的输出。同时，gt也是整个3D递归超精处理单元100的输出。
图2示出时域降噪单元102的实施例的示范性框图。时域降噪单元102包括运动检测器200，其检测当前帧gt与其先前帧的输出gt-1之间的运动。降噪单元102还包括运动自适应时域滤波器202，其根据输入的帧gt和gt-1而输出降噪帧 因此，时域降噪单元102基于帧gt和gt-1之间的运动检测而对当前帧gt进行滤波。于2004年12月29日提交的题目为“A method of temporal noisereduction in video sequence”、序列号为11/025,173的共同转让的美国专利申请(通过参考而被合并于此)提供了一种用于获得 的示范性时域降噪方法，该方法在图1的示范性时域降噪单元102中实现。通过根据下面的示范性关系(1)对像素gt(i，j)进行递归运动自适应时域滤波而获得任意像素 w^t-1(i,j)=F(wt-1(i-j)),]]>g^t(i,j)=w^t-1(i,j)g^t-1(i,j)+gt(i,j)w^t-1(i,j)+1---(1)]]>wt(i,j)=w^t-1(i,j)+1]]>其中，变量wt(i，j)表示在上面的滤波中先前经滤波的像素 的运动自适应权重，并且具有初始值0。运动自适应权重 是像素 与gt(i，j)之间的运动的单调递减函数，在上面的关系(1)中记作F(·)。
通过在 与gt(i，j)的局部窗口之间施加诸如平均绝对误差的运动检测而获得运动信息。如果该误差小于阈值，则认为不存在运动，否则，认为存在运动。如果不存在运动，则w^t-1(i,j)=wt-1(i,j).]]>如果存在运动，则w^t-1(i,j)=0.]]>对于软转换运动级别，值 可以通过线性或非线性内插得到。
图3示出2D超精处理单元104的实施例的示范性框图，2D超精处理单元104包括分割单元300、低通滤波器302、增益计算单元304、和调整单元306。2D超精处理单元104将空域中的降噪帧 滤波为输出帧gt。前述于2005年11月1日提交的题目为“Super Precision For Smoothly Changing Area Basedon Segmentation and Low-pass Filtering”、序列号为11/264,938的共同转让的美国专利申请(通过参考而被合并于此)提供了一种用于获得帧gt的示范性2D超精处理方法，该方法在图1的示范性2D超精处理单元104中实现。
分割步骤确定所述平滑变化区域所在的位置，而低通滤波步骤用于获得较高精度的亮度值。这样，分割单元300(图3)基于所选择的标准将帧 分割成不同的连接部分，然后低通滤波器302基于该分割结果对每个像素的局部支撑执行低通滤波。增益计算单元304计算低通滤波的增益，以使用调整单元306调整最后的输出。输入帧 (即，帧Y_in)具有有限的位深，而输出帧gt(即，Y_out)具有增加的位深。将输出帧gt保存在存储器106中，用于处理下一个输入帧。
根据本发明的3D递归超精处理方法提供了平滑变化且无运动区域中的高精度像素。图4示出根据本发明的实施例、将3D递归超精处理系统100应用于视频序列中的平滑变化且无运动区域的示例。
参考图4中的时间序列示例400，假设在输入帧之间不存在运动。通过对帧 的局部区域A施加单元104中的2D超精处理而获得像素gt(i，j)。通过在帧gt和gt-1之间对区域A进行时域滤波而得到帧 的区域A中的像素，而通过对帧 中的较大的局部区域B施加2D超精处理单元104而获得帧gt-1的区域A中的像素。发明人发现，总是由先前帧中的较大区域帮助对当前帧中的较小区域进行滤波。相当于，虚线402之间的所有像素帮助获得滤波结果帧gt(i，j)。在时域方向中，在没有运动的条件下，虚线402可以返回到许多先前帧。在空间上，可以在平滑变化区域内扩展(expend)虚线402。因而，可以获得具有高得多的精度输出。
图5示出了根据本发明的、在示范性系统500中实现的用于平滑变化区域的递归3D超精处理方法的另一个实施例。在该示例中，时域降噪单元502、2D超精处理单元504、和存储器506可以分别类似于图1中的时域降噪单元102、2D超精处理单元104、和存储器106。唯一的差别在于在图5的系统500中，存储单元506存储时域降噪单元502的结果 并且在发送回时域降噪单元502之前延迟一帧 以结合下一个输入帧(gt)进行处理。
虽然本发明可允许许多不同形式的实施例，但是对于附图中所示和这里所详细描述的本发明的优选实施例，应将其理解为是对本发明的原理的示范，而不意欲将本发明的广泛方面局限于所说明的实施例。可以以许多方式来实现根据本发明的上述示范性架构，诸如由处理器执行的程序指令、逻辑电路、ASIC、固件等，以及本领域技术人员已知的。因而，本发明不限于这里所描述的示范性实施例。
已参考其某些优选方案相当详细地描述了本发明；然而，其它方案也是可能的。因而，所附的权利要求书的精神和范围不应被限制为这里所包括的优选方案的描述。
权利要求
1.一种用于数字图像处理的方法，包括步骤对输入数字图像帧执行时域降噪，以生成降噪帧；以及对所述降噪帧执行2D超精处理，以获得具有比所述输入图像更高的精度的输出图像。
2.根据权利要求1所述的方法，其中，所述执行时域降噪的步骤还包括通过下面步骤在输入数字图像帧的序列中降噪的步骤(a)通过执行基于当前噪声帧和先前降噪帧的运动自适应时域降噪，来降低当前噪声帧中的噪声；以及(b)将当前降噪帧保存在存储器中用于滤波所述序列中的下一个帧。
3.根据权利要求2所述的方法，还包括对所述序列中的下一个视频帧重复步骤(a)和(b)的步骤。
4.根据权利要求2所述的方法，其中步骤(a)还包括步骤检测当前噪声帧和先前降噪帧之间的运动，以产生运动信息；以及对当前噪声帧执行作为所述运动信息的函数的时域滤波。
5.根据权利要求4所述的方法，其中，所述检测运动的步骤还包括执行当前噪声帧和先前降噪帧之间的逐像素运动检测的步骤。
6.根据权利要求5所述的方法，其中，所述检测运动的步骤还包括在当前噪声帧的局部窗口中执行相对于先前降噪帧中的相应的局部窗口的逐像素运动检测的步骤。
7.根据权利要求4所述的方法，其中，所述执行时域滤波的步骤还包括步骤如果在当前噪声帧中没有检测到一像素的运动，则沿时间轴对所述像素执行时域滤波。
8.根据权利要求7所述的方法，还包括使用最大似然估计处理沿时间轴对所述像素执行所述时域滤波的步骤。
9.根据权利要求7所述的方法，其中，所述执行时域滤波的步骤还包括步骤如果在当前噪声帧中检测到一像素的运动，则维持所述像素特性以避免运动模糊。
10.根据权利要求4所述的方法，其中，所述检测运动的步骤还包括检测当前噪声帧和先前噪声帧之间的运动的步骤。
11.根据权利要求1所述的方法，其中，所述执行2D超精处理的步骤还包括步骤将降噪图像帧分割为不同的像素部分；以及对一个部分中的像素施加低通滤波，以获得较高精度的图像。
12.根据权利要求11所述的方法，其中，在所述分割降噪图像帧的步骤中还包括基于每个像素的亮度值为每个部分确定像素的步骤。
13.根据权利要求12所述的方法，其中，所述分割降噪图像帧的步骤还包括通过计算一个像素的亮度与其邻近像素的亮度的差异来为每个部分确定像素、从而确定同一部分的像素的步骤。
14.根据权利要求11所述的方法，其中，所述将降噪图像帧分割为不同部分的步骤还包括步骤在降噪图像帧中分割出局部窗口，其中该局部窗口以所选像素为中心；调整该部分，以产生关于所选像素对称的调整的部分。
15.根据权利要求14所述的方法，其中，所述对一个部分应用低通滤波以获得较高精度图像的步骤还包括对所述局部对称部分中的像素的亮度值执行平均的步骤，以产生较高精度的图像。
16.根据权利要求11所述的方法，其中，所述对一个部分施加低通滤波以获得较高精度图像的步骤还包括对一个部分中的像素的亮度值执行平均的步骤，以产生较高精度的图像。
17.根据权利要求11所述的方法，其中，所述对该部分应用低通滤波以获得较高精度图像的步骤还包括步骤对该部分中的像素执行低通滤波，以获得每个像素的亮度值的较高精度的值；以及限制输入图像中的像素和较高精度图像中的像素的亮度值之间的差异。
18.根据权利要求17所述的方法，其中，所述限制降噪图像帧中的像素和较高精度图像中的像素的亮度值之间的差异的步骤还包括步骤确保在将较高精度图像中的像素亮度值截取为原始精度时，该结果与输入图像的像素的亮度值相同。
19.一种用于数字图像处理的方法，包括步骤执行递归3D超精处理，以处理输入图像的平滑变化区域，包括步骤对输入数字图像帧执行时域降噪，以产生降噪帧；以及对所述降噪帧执行2D超精处理，以获得具有比输入图像更高的精度的输出图像。
20.根据权利要求19所述的方法，其中(a)所述执行时域降噪的步骤还包括通过下面步骤在输入数字图像帧的序列中降噪的步骤通过执行基于当前噪声帧和先前降噪帧的运动自适应时域降噪，来降低当前噪声帧中的噪声；以及(b)所述执行2D超精处理的步骤还包括步骤将当前降噪帧分割为不同的像素部分；以及对一个部分中的像素施加低通滤波，以获得较高精度的图像。
21.一种数字图像处理系统，包括递归3D超精处理器，用于处理平滑变化的图像区域，包括时域降噪器，对输入数字图像帧执行时域降噪，以产生降噪帧；以及
2D超精处理器，对所述降噪帧执行2D超精处理，以获得具有比输入图像更高的精度的输出图像。
22.根据权利要求21所述的系统，其中所述时域降噪器还通过下面步骤在输入数字图像帧的序列中进行降噪通过执行基于当前噪声帧和先前降噪帧的运动自适应时域降噪，来降低当前噪声帧中的噪声；以及所述2D超精处理器还通过下面步骤执行2D超精处理将降噪帧分割为不同的像素部分；以及对一个部分中的像素施加低通滤波，以获得较高精度的图像。
23.根据权利要求21所述的系统，其中，3D超精处理器还对所述序列中的下一个视频帧执行时域降噪和2D超精处理。
24.根据权利要求22所述的系统，其中，所述时域降噪器还检测当前噪声帧和先前降噪帧之间的运动，以产生运动信息，并对当前噪声帧执行作为所述运动信息的函数的时域滤波。
25.根据权利要求24所述的系统，其中，所述时域降噪器还通过执行当前噪声帧和先前降噪帧之间的逐像素运动检测来检测运动。
26.根据权利要求25所述的系统，其中，所述时域降噪器还通过在当前噪声帧的局部窗口中执行相对于先前降噪帧中的相应的局部窗口的逐像素运动检测来检测运动。
27.根据权利要求24所述的系统，其中，所述时域降噪器还执行时域滤波，并且确定在当前噪声帧中是否没有检测到一像素的运动，使得如果没有检测到运动，则所述时域降噪器沿时间轴对所述像素执行时域滤波。
28.根据权利要求27所述的系统，其中，所述时域降噪器还使用最大似然估计处理沿时间轴对所述像素执行所述时域滤波。
29.根据权利要求27所述的系统，其中，所述时域降噪器还通过下述来执行时域滤波如果在当前噪声帧中检测到一像素的运动，则维持所述像素特性以避免运动模糊。
30.根据权利要求24所述的系统，其中，所述时域降噪器还通过检测当前噪声帧和先前噪声帧之间的运动来检测运动。
31.根据权利要求22所述的系统，其中，所述2D超精处理器通过基于每个像素的亮度值来进一步为每个部分确定像素而分割降噪图像帧。
32.根据权利要求31所述的系统，其中，所述2D超精处理器通过下述来分割降噪图像帧计算一个像素的亮度与其邻近像素的亮度的差异来进一步为每个部分确定像素、从而确定同一部分的像素。
33.根据权利要求31所述的系统，其中，所述2D超精处理器还通过下述来将降噪图像帧分割为不同的部分在降噪图像帧中分割出局部窗口，其中该局部窗口以所选像素为中心；调整该部分，以产生关于所选像素对称的调整的部分。
34.根据权利要求33所述的系统，其中，所述2D超精处理器通过对所述局部对称部分中的像素的亮度值执行平均以产生较高精度的图像来对一个部分施加低通滤波以进一步获得较高精度的图像。
35.根据权利要求31所述的系统，其中，所述2D超精处理器通过对一个部分中的像素的亮度值执行平均以产生较高精度的图像来对一个部分施加低通滤波以进一步获得较高精度的图像。
36.根据权利要求31所述的系统，其中，所述2D超精处理器还通过下述来对所述部分施加低通滤波以获取较高精度的图像对该部分中的像素执行低通滤波，以获得每个像素的亮度值的较高精度的值；以及限制输入图像中的像素和较高精度图像中的像素的亮度值之间的差异。
37.根据权利要求36所述的系统，其中，所述2D超精处理器通过下述来限制降噪图像帧中的像素和较高精度图像中的像素的亮度值之间的差异确保在将较高精度图像中的像素亮度值截取为原始精度时，该结果与输入图像的像素的亮度值相同。
全文摘要
一种图像处理系统，通过执行时域降噪和2D超精处理来实现用于处理平滑变化视频图像区域的递归3D超精处理。将时域降噪施加到两个帧一个是当前输入的低精度帧，另一个是来自存储器的先前的较高精度帧。对该降噪帧施加2D超精处理，以输出高精度帧，该高精度帧也被保存在存储器中，用于处理下一个输入帧。所输入的帧具有有限的位深，而输出图像具有增加的位深。
文档编号H04N5/14GK101047780SQ200710091918
公开日2007年10月3日 申请日期2007年3月30日 优先权日2006年3月30日
发明者朱胜, 金永择, 徐宁 申请人:三星电子株式会社