上采样和信号增强的制作方法_3

文档序号:9650652阅读:来源:国知局
,旨在 获得分段光滑数据的稀疏表示。曲线波变换是一种方向变换,其可以显示为提供分段光滑 图像的最佳稀疏逼近【Candes2004】。然而,由于曲线波的带宽有限,所以曲线波在空间域 内提供有限的本地化。轮廓波是根据方向滤波器组构成的紧凑支持的方向部件【D〇2005】。 由通常造成伪影的滤波器组的采样规则,人为施加在这种方法中的方向选择性。而且,分段 光滑图像的稀疏逼近没有理论保证。
[0077] 近来,出现了一种新型方向表示系统,S卩,所谓的剪切波,该系统提供连续的以及 离散模式的统一处理,允许分段光滑图像具有最佳稀疏表示【Kutyniok2011】。剪切波的一 个不同特征在于,通过剪切(代替旋转),实现方向选择性;这实际上对源自剪切矩阵在某 些条件下保留整数晶格这一事实的在连续和离散的世界之间的明显连接具有决定性。而 且,由于可以紧凑地支持,所以剪切波在空间域内提供高度本地化。
[0078] 使用一组实例,通过培训,还可以生成词典【Aharon2006】。
[0079] 实施方式目前讨论了所有相关的信号上采样。然而,在用于增强要增强的信号的 高频部分提取之前使用稀疏逼近,可以在另外获得的信号上传输,无论出于何种原因,这些 信号都需要或者利用加强。参照图4,讨论用于信号增强的实施方式,尤其是用于增强输入 信号的装置的实施方式。在此处,上面参照图1到图3f讨论的细节合成框架用于产生增强 版本的输入信号,如上所述,该输入信号可以是输入图像。增强信号的样本分辨率可以与输 入信号的样本分辨率相同。在图像的情况下,增强图像可以具有与输入图像相同的分辨率。
[0080] 在讨论图4时,要注意的是,重新使用与在以上示图中已经讨论的参考符号相同 的参考符号。这样做是因为,这些部件的功能与上面已经讨论的功能一致,因此,关于功能、 可能替换物及其实现方式等的以上所有陈述还适用于现在讨论的图4的实施方式。
[0081] 即,图4示出了用于增强输入信号s的装置,该装置包括按照其提及的顺序连接成 在合成器40的输出与第一输入之间的环路的稀疏执行器20、高频部分提取器30以及合成 器40,其中,合成器40的第二输入接收入站信号。合成器40的输出同时形成图4的装置的 输出。
[0082] 通过比较图1和图4,可以清晰地看出,图4的装置实际上可以是图1的上采样装 置5的一个元件,在图4的情况下,初始上采样信号u表示要增强的信号s。换言之,在图4 中,不使用初始上采样器10。就如在图1中的情况一样,图4也将迭代操作模式用于增强入 站信号。在图4的情况下,高通滤波器可以用于实现细节提取器或高通部分提取器30。
[0083] 在视频编码背景下,例如,例如,可以使用由图4的装置执行的信号增强,以便实 现细节合成。例如,在混合视频编解码器(例如,H. 264或HEVC)的DPCM重构阶段之后,可 以应用这种细节合成,例如,作为环路滤波器或后置滤波器。
[0084] 现在,提供以上实施方式的一些一般注释。
[0085] 关于上采样概念,例如,要注意的是,除了在以上部分中概述,细节合成处理不必 反复操作。换言之,仅仅一次迭代就足够。然后,如图5中所示,可以停止环路结构,因此, 图5示出了上采样装置的一个可替换的实施方式。再次,通过停止初始上采样器10,可以获 得相应的信号增强装置,即,图4的实施方式的替换物,以便信号增强装置的入站信号直接 获得s。
[0086] 而且,稀疏执行器20使用的稀疏逼近不必在由上采样器10获得的第二信号(即, u)上操作,以便获得接近这个第二信号的逼近信号a。确切地说,根据替换物,稀疏执行器 20可以被配置为直接在第一信号上操作。例如,在图1中显示的迭代配置中,至少就第一 次迭代而言,稀疏执行器20可以将初始信号s用作其输入。因此,在如图1中所示,使用上 采样处理的迭代实现方式的情况下,例如,可以在第一次迭代中直接在第一信号s上执行 由稀疏执行器20执行的稀疏逼近,同时使用合并的结果,S卩,在以下迭代中的合并式/更新 的信号X。为了在第一信号上直接应用稀疏逼近,例如,稀疏执行器20可以使用与上采样 器10不同的上采样处理,以便将第一信号上采样为第二分辨率。交替地,稀疏执行器可以 修改正向变换,即,A,以便从第一分辨率过渡到第二分辨率,例如,通过使用词典的基本函 数的内插版本。进一步,请注意的是,单纯增加第二信号和逼近信号,仅仅是一个实例,并且 可以修改。
[0087]同样,关于增强概念,要注意的是,除了在以上部分中所概述的,增强处理不必反 复操作。换言之,仅仅一次迭代就足够。进一步,请注意的是,单纯增加第二信号和逼近信 号,仅仅是一个实例,并且可以修改。
[0088] 上面已经概述的是,不仅可以在一维采用的信号上,而且还可以在而且采用的信 号上(例如,图像,例如,静止图片或视频帧),应用以上实施方式。如果应用于图片/图像 中,那么如上所述,初始上采样器10可以体现为FIR滤波器、IIR滤波器等,并且例如,这 个滤波器可以而且地或者顺序操作,首先沿着一个方向过滤入站信号,然后,进入另一个方 向,与第一方面垂直,例如,逐行地,然后,逐列地,反之亦然。同样,由稀疏执行器20执行 的稀疏逼近可以二维地操作或者作为一维稀疏逼近的串联,例如,首先,逐行地,然后,逐列 地,反之亦然。例如,设想稀疏逼近的上述阈值变换实现方式:在这种情况下,正向和逆变换 A和B可以是一维变换,首先在图像的列部分上,然后,逐行地应用,反之亦然。理论上,在沿 着一个方向执行稀疏逼近与沿着另一个方向执行稀疏逼近之间的切换可以在一次迭代内 执行,即,在高频部分提取的前面或者在迭代之间。
[0089] 初始上采样、稀疏逼近、细节提取以及合并均可以交替地首先沿着一个轴执行,然 后,为横轴再次执行这个处理,例如,首先逐行地,然后,逐列地,反之亦然。因此,首先,MxN 图像s上采样为沿着行轴(S卩,对于每行)上采样的尺寸为2MxN的增强的上采样图像X,然 后,沿着列(即,对于每列),根据任何上述实施方式,尺寸为2MxN的增强的上采样图像X应 用于增强的上采样处理中,以便产生二维上采样图像2Mx2N。因此,通过给二维信号的行和 列中的一个顺序指定第一信号,上采样装置上采样二维信号,执行这个第一信号的上采样, 以便获得一维上采样的二维信号。然后,上采样装置随后给一维上采样的二维信号的行和 列中的另一个指定第一信号,执行这个第一信号的上采样。
[0090] 如上所述,可以在当前信号版本X上局部或全面应用稀疏逼近。即,在稀疏逼近阈 值变换实现方式的情况下,可以在图像上局部(在图像之上移动变换窗口,以便覆盖整个 图像)或全面应用正向和逆变换。
[0091] 为了完整性起见,图6a和6b分别示出了混合视频编码器100和混合视频解码器 200的实例,以便显示在DPCM(差分脉码调制)型的这种混合视频编解码器中使用图4的信 号增强装置的上述可能性。图6a和6b示出了这种混合视频编码器/解码器的典型结构: 编码器100包括减法器102、量化器104以及熵编码器106,其在信号s进入的视频输入与输 出视频数据流的视频输出之间按照其提及的顺序的串联。在减法器102的另一个反相输入 上,应用预测信号s,例如,使用几个预测模式(例如,包括空间和/或时间预测模式),获得 该预测信号。因此,在减法器102的输出上,产生残余信号e,S卩,经受量化器104的量化的 预测残余。虽然未显示,但是通过在量化之前,使残余信号e经受频谱变换,量化器104可 以在频谱域内执行量化。然后,与量化造成的原始残余信号e不同的剩余残余信号e'由熵 编码器106无损地编码成视频数据流。因此,残余信号e'也可用于解码器上,并且输入编 码器100的预测环路108内,该编码器包括按照其提及的顺序彼此串联的合成器110、环路 滤波器114以及预测器112的串联,以便合成器110的第一输入接收残余信号e',并且其 另一个输入接收预测信号胃,以便通过加法,合成器110计算DPCM重构信号s'。环路滤波 器114提高DPCM重构信号s',以产生最终重构信号这个最终信号I;可以可选地储存在 图片缓冲器内,并且用作后续预测的参考,因此,称为参考信号。预测器112执行预测,即, 根据这参考信号、f获得I,并且为此,如上所述,例如,使用空间和/或时间预测。因此,环路 滤波器114提高了预测源,并且如上所述,可以包括图4的信号增强装置。
[0092] 如图6b中所示,解释相应的混合视频解码器200 :熵编码器202可以在其输入上 接收视频数据流,以便输出残余信号e',该残余信号反过来由与编码器100的预测环路 108 -致构成的解码器200的预测环路210接收。预测环路208包括合成器210、环路滤波 器214以及预测器212,以便合成器210的第一输入在其第一输入上接收预测信号s,并且 在其第二输入上接收残余信号e',其中,在合成器210的输出上的信号s'构成DPCM重构 信号。信号s'穿过在图6a中表现为114的环路滤波器214,因此,可以包括图4的信号增 强装置,以产生解码器输出信号如上所述,这个最终信号^可以可选地储存在图片缓冲 器内,并且用作后续预测的参考,因此,称为参考信号。预测器212根据这参考信号s"执行 预测,并且重新进行预测器112的预测,S卩,使用(
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1