专利名称：变换的快速和存储有效实现的方法
技术领域：
本发明的实施例涉及图像和视频的信号处理的领域，该信号处理包括将像素域图像/视频转换成变换域、在变换域中处理和将处理的变换域图像/视频转换回像素域。特别地，本发明涉及对输入帧执行正向权重自适应超完备变换(forward weight-adaptive over-complete transform)、对变换系数执行信号处理和对于经处理的变换系数应用逆向权重自适应超完备变换以产生输出数据(例如，输出帧)。
背景技术：
在利用变换的超分辨率、质量增强、降噪、闪烁减少和图像/视频序列的压缩方面存在大量的公知应用。这些处理的琐细实现没有有效地在计算机系统中利用计算和存储资源。因此，需要执行包括变换(例如，超完备变换)的这些处理的存储和计算有效方式。
发明内容
本发明的实施例包括用于实现图像/视频帧的正向权重自适应超完备变换、图像 /视频帧的逆向权重自适应超完备变换和用于同时执行正向权重自适应超完备变换、处理变换域中的系数以及执行逆向权重自适应超完备变换的快速和低存储处理的一组处理和系统。
在附图中以示例而不是限制方式示出本发明，在这些附图中，类似的附图标记表示类似的要素。应当注意，在本公开中提到的“一个”或“一种”实施例未必是同一实施例， 并且，这种提到意味着“至少一个”。图1是用于执行正向和逆向权重自适应超完备变换的系统的一个实施例的示图。图2A是用于执行正向权重自适应超完备变换并且任选地应用信号处理以获得经处理的变换系数的处理的一个实施例的流程图。图2B是输入的图像/视频帧和缓冲器的实施例的示图。图2C是在图2A中的块220中执行的操作的一个实施例的示图。图2D是在图2A中的块230中执行的操作的一个实施例的示图。图3A是用于执行逆向权重自适应超完备变换的处理的一个实施例的流程图。图;3B是在图3A中的块335中执行的操作的一个实施例的示图。图3C是在图3A中的块340中执行的操作的一个实施例的示图。
图3D是在图3A中的块350中执行的操作的一个实施例的示图。图4是用于同时地执行正向权重自适应超完备变换、在变换域中的处理以及执行逆向权重自适应超完备变换的系统的一个实施例的示图。图5是执行这里描述的操作中的一个或更多个的示例性系统的一个实施例的示图。图6是用于获得降噪的视频帧的处理的一个实施例的流程图；图7是用于通过使用多个变换获得降噪的视频帧的处理的一个实施例的框图；图8是用于增强质量和/或增加分辨率的处理的一个实施例的流程图。图9是上采样(upsampling)处理的一个实施例的流程图。图IOA IOM示出与子帧类型的库对应的遮罩(mask)的例子。图11表示以光栅扫描次序给像素编号时在像素i处的示例性子帧τ、。图12是子帧选择处理的一个实施例的流程图。图13是子帧的变换选择处理的一个实施例的流程图。图14是用于将变换系数阈值化的阈值化处理的一个实施例的流程图。图15示出单调减小的阶梯函数。图16是用于组合子帧以形成帧的处理的一个实施例的流程图。图17是数据一致性操作的一个实施例的数据流示图。图18示出用于对视频序列执行图像处理的处理的一个实施例的流程图。图19是子帧型选择处理的一个实施例的流程图。图20是从过去输出帧的子帧形成处理的一个实施例的流程图。图21是空间变换选择处理的一个实施例的流程图。图22是时间变换选择处理的一个实施例的流程图。图23是用于将变换系统阈值化的阈值化处理的一个实施例的流程图。图M是用于组合子帧以产生帧的处理的一个实施例的流程图。图25是用于对于视频序列执行图像处理的处理的另一实施例的流程图。图^A E示出选择的像素的示例性子帧。
具体实施例方式描述用于执行图像处理的方法和装置。在变换域中执行图像处理。在一个实施例中，在存储和计算方面以有效的方式执行正向和逆向变换。在本发明的实施例的以下的详细描述中，参照附图，在这些附图中，类似的附图标记表示类似的要素并且以例证方式示出可实践本发明的特定实施例。这些实施例充分详细地被描述，以使得本领域技术人员能够实现本发明，并且，可以理解，在不背离本发明的范围的情况下，可以利用其它的实施例并且可以进行逻辑、机械、功能和其它的变化。因此， 以下的详细描述不是在限制的意义上提出的，并且，本发明的范围仅由所附的权利要求限定。本领域技术人员可以理解，可以在不没有这些特定细节中的一些的情况下实现这些实施例。在其它的情况下，某些结构和器件被省略或简化，以避免混淆各种实施例的细节。如这里使用的那样，“组”指的是包含一个项目的任何总数的项目。本发明的实施例与在美国专利申请序列No. 61/026453, No. 12/140829和11/331814中描述的处理的实现有关。上述的处理包含对于块尺寸等于变换的尺寸的像素的各种块执行2-D可分离变换处理。在一个实施例中，在变换中使用的块可相互重叠。因此，可以以多个块的变换系数代表各像素。在另一实施例中，还可使用适于块统计的权重， 缩放块。对于这种类型的变换，正向变换被称为正向权重自适应超完备变换，并且，逆向被称为逆向权重自适应超完备变换。ιΗ向和逆向变换图1示出用于与上述的信号处理技术结合地执行正向和逆向权重自适应超完备变换的系统100的一个实施例。图1中的块中的每一个可包含硬件(电路、专用逻辑等)、 软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合。在一个实施例中，当前输入帧110作为对于正向权重自适应超完备变换模块120 的输入被接收。当前输入帧110可代表图像数据或视频数据。正向权重自适应超完备变换模块120对输入帧执行正向权重自适应超完备变换并且输出变换系数125。变换系数125 然后作为对于信号处理模块130的输入被接收。信号处理模块130对变换系数125执行一个或更多个数据处理操作。在一个实施例中，这些操作包括但不限于在以下的专利申请中描述的那些在2008年2月5日提交的名禾尔为"Flicker Reduction in Video Sequences Using Temporal Processing，，的美国专利申请序列No. 61/026453 ；在2008年6月17日提交的名称为“Image/Video Quality Enhancement and Super Resolution Using Sparse Transformations，，的申请 No. 12/140829 和在 2006 年 1 月 12 日提交的名称为 “Nonlinear，In-The-Loop, Denoising Filter For Quantization Noise Removal For Hybrid Video Compression，，的美国申请 No. 11/331814。经处理的变换系数135然后通过信号处理模块130被输出，并且作为对于逆向权重自适应超完备变换模块140的输入被接收。逆向权重自适应超完备变换模块140对经处理的变换系数135执行逆向权重自适应超完备变换，以产生当前输出帧150作为输出。当前输出帧150代表与正向和逆向权重自适应超完备变换操作一起已经受了变换域中的信号处理的经处理的图像/视频帧。注意，在一个实施例中，当前输入帧110在被正向权重自适应超完备变换120变换之前被上采样。并且，在一个实施例中，逆变换140的输出经受数据一致性操作。ιΗ向权重自适应超完备变换图2A是用于执行正向权重自适应超完备变换并且应用信号处理以获得经处理的变换系数的处理200的一个实施例的流程图。可通过处理可包含硬件(电路、专用逻辑等)、 软件(诸如在通用计算机系统或专用机上运行的那些)或两者的组合的逻辑，执行该处理。在一个实施例中，数学表示X(i，j)表示输入的图像/视频帧中的第(i，j)个像素，并且，Y(i，j，m，η)表示左上像素被表示为(i，j)的X中的PXP块的2-D变换中的第 (m，η)个系数。因此，数学表示Y(i，j，m，n)代表X(i，j)的权重自适应超完备变换。在一个实施例中，变量P表示变换的尺寸，并且，作为结果，变量m、n和P之间的数学关系可被表示为1 < m，η < P。变量H和W然后表示输入图像/视频帧的高度和宽度。 出于表示的目的，使用符号‘’来描述变量的系数的范围。例子是X(i，j :j+P_l)，其代表 IXP 矢量[X (i，j)X(i，j+l)...X(i，j+P-1)]。类似地，数学表示 X (i :i+P_l，j :j+P_l)代表尺寸为PXP的矩阵。
参照图2A，处理200在对于H-P+1的循环中开始(处理块210)。处理逻辑对于输入帧的列执行一维(I-D)变换，以获得列变换(处理块220)。在一个实施例中，该操作可由以下的数学表示来表示对于1 彡 j 彡 W，XC(1 :P, j) = T(X(i :i+P_l，j))，这里，T()代表 1_D 正向变换操作。Xe是在正向权重自适应超完备变换操作中内部使用的具有尺寸PXW的缓冲器。在处理块230中，处理逻辑对于列变换的行执行I-D变换。在一个实施例中，该操作可由以下的数学表示来表示对于1 彡 j 彡 W-P+1 和 1 彡 k 彡 P，Y(i，j，k，1 :P) = T(Xc(k，j :j+P_l))。在一个实施例中，I-D正向变换操作T()被定义为
T(X) ^
rHT *x，x是尺寸为Pxl的矢量 x^Hl, χ是尺寸为1 χ P的矢量
.在本实施例中，Ht代表定义变换
的PXP矩阵。在处理块235中，如果存在更多的迭代，那么循环中的处理返回到处理块210，以重复块220和230中的操作。当不存在更多的迭代时，在处理块240中，处理逻辑输出变换系数。然后，处理逻辑执行信号处理操作(处理块250)。这是任选的。在一个实施例中， 信号处理操作可以是在美国专利申请序列No. 61/026453, No. 12/140829和No. 11/331814 中公开的信号处理操作中的一个。在块沈0中，处理逻辑输出经处理的变换系数。图2B示出包含于以上在图2A中描述的处理中的输入图像/视频帧和缓冲器的实施例。在一个实施例中，输入帧270包含表示为具有高度H和宽度W的行和列的像素数据。 缓冲器272代表在图2A中描述的变换操作中使用的具有高度P和宽度W的缓冲器。在一个实施例中，变量P与变换的尺寸对应。图2C更详细地示出与图2A中的处理块220对应的操作。在一个实施例中，对具有高度H和宽度W的输入帧观0的列执行I-D正向变换。用来自各列的I-D正向操作的变换系数，更新具有高度P和宽度W的缓冲器观2。用列变换计算的不同阶段的表现，表示缓冲器沘2。图2D更详细地示出与图2A中的处理块230对应的操作。在一个实施例中，对缓冲器四0中的列变换的行执行I-D正向变换。缓冲器四0与缓冲器282相同。这样，可通过对存储在缓冲器四0中的列变换系数进行的I-D正向变换，获得2-D变换系数四2。
"1111 在另一实施例中，Hr =
1 1 --1
11 11 I 1 I
1 1 1 I I
1 1 1
这里，Ht与利用来自组{_1，1}的元素
进行的4Xffladamard变换对应。在本实施例中，可用加法操作计算由T()代表的操作。在
权利要求
1.一种方法，包括接收输入帧，该输入帧包含像素的行和列；通过向输入帧的所述行和列应用正向权重自适应超完备变换，获得与输入帧对应的一组系数。
2.一种方法，包括接收输入的一组变换系数；和向输入的一组变换系数应用逆向权重自适应超完备变换，以获得输出帧。
3.一种方法，包括 初始化第一组缓冲器；对于当前输入帧执行正向权重自适应超完备变换和逆向权重自适应超完备变换操作， 其结果被存储在第二组缓冲器中；旋转和更新第一组缓冲器和第二组缓冲器；和基于来自第二组缓冲器中的各缓冲器，输出当前输出帧。
4.一种系统，包括处理器，用于对于当前输入帧执行正向权重自适应超完备变换、至少一个数据处理操作和逆向权重自适应超完备变换操作；与处理器耦合的第一组缓冲器，该第一组缓冲器被处理器初始化；和与处理器耦合的第二组缓冲器，该第二组缓冲器存储当前输入帧的正向变换操作和逆向变换操作的结果；和与处理器耦合的第三组缓冲器，该第三组缓冲器存储当前输出帧。
5.一种包含存储在其中的指令的机器可读介质，该指令在被处理器执行时使处理器执行包含以下操作的操作接收输入帧，该输入帧包含像素的行和列；和通过向输入帧的所述行和列应用正向权重自适应超完备变换，获得与输入帧对应的一组系数。
6.一种包含存储在其中的指令的机器可读介质，该指令在被处理器执行时使处理器执行包含以下操作的操作接收输入的一组变换系数；和向输入的一组变换系数应用逆向变换，以获得输出帧。
7.一种包含存储在其中的指令的机器可读介质，该指令在被处理器执行时使处理器执行包含以下操作的操作初始化第一组缓冲器；对于要被存储在第二组缓冲器中的当前输入帧计算正向变换操作和逆向变换操作；旋转和更新第一组缓冲器和第二组缓冲器；和基于来自第二组缓冲器中的各缓冲器，输出当前输出帧。
全文摘要
本发明的实施例包括用于实现图像/视频帧的正向权重自适应超完备变换、图像/视频帧的逆向权重自适应超完备变换和用于同时执行正向权重自适应超完备变换、处理变换域中的系数以及执行逆向权重自适应超完备变换的快速和低存储处理的一组处理和系统。
文档编号G06F17/14GK102378978SQ200980103959
公开日2012年3月14日 申请日期2009年2月2日 优先权日2008年2月5日
发明者O·G·古莱里乌兹, R·M·西旺拉尔, S·卡努穆里, 晓 藤林 申请人:株式会社Ntt都科摩