上采样和信号增强的制作方法
【技术领域】
[0001] 本申请涉及上采样和信号增强，例如，在图像/视频编码领域中。
【背景技术】
[0002] 图像上采样表示从输入的低分辨率（LR)图像中生成高分辨率（HR)图像。由于在 不同尺寸的显示器（例如，移动电话、平板电脑、膝上型电脑、PC等）上查看图像/视频，所 以这个任务重新获得关注。例如，1920x1080显示器的内容仅仅在1280x720格式中可用， 并且需要上采样。最近，流行4K显示器，并且需要显示具有更低分辨率（例如，1920x1080) 的内容。
[0003]图像上采样也称为图像内插、放大、改变大小、再采样、超分辨率等。很多确定的方 法可用于实现上采样，例如，由于容易实现，所以使用双线性滤波器（2抽头）或双三次（4 抽头）的FIR过滤普遍使用。这些技术可以造成几个伪影，最常见的是所产生的HR图像模 糊。本发明的主要目的在于，恢复清晰的边缘和纹理，同时减少模糊、响声、混淆或其他视觉 伪影。对于视频，具有额外的要求，以保持时间相干性，并且在回放期间，避免图片到图片闪 烁。
[0004] 图像/视频上采样广泛应用于图像处理、计算机视觉以及图形（例如，压缩、编辑、 监视以及纹理映射）中。对于图像浏览和视频回放软件至关重要。还可以使用细节合成， 而不上采样，例如，在视频编码背景中作为环路滤波器或后置滤波器阶段。
[0005] 用于带宽限制的信号的信号处理理论提倡比尼奎斯特速率和正弦插值【Shannon 1949、UnSer2000】更高的采样。由于具有清晰的边缘，所以带宽限制性的设想不适用于大部 分图像。然而，传统的方案坚持这个哲理并且接近理想的低通滤波器，以产生很多实际的应 用可接受的结果。双线性、双三次内插等技术是具有低计算复杂性的一些普遍实例。在没 有带限约束的情况下，将采样理论扩展到平移不变空间，造成普遍的内插框架，例如，B样条 【Unserl999】、MOMS内插【Blu2001】，其提高了图像质量，用于提供支持基本函数。然而，这 些现象模型不能在边缘周围获得快速演进的统计。在这线性模型中提高基本函数的程度， 有助于获得更高的次序统计，但是在空间域内造成更长的有效支持，因此，在边缘周围产生 伪影，例如，响声。
[0006] 为了提高线性模型，提出了方向内插方案，其沿着边缘方向执行内插，例如，NEDI 【Li2001】。这通过计算在输入图像内的局部协方差并且使用这些局部协方差来通过高分辨 率调整内插来实现，以便内插器的支持沿着边缘。然而，所产生的图像依然显示了一些伪 影。在已知下采样处理时，迭代反投影【Iranil991】技术提高了图像内插。其基本理念在 于，如果通过相同的模糊和下采样处理穿过，那么从LR图像中重构的HR图像应产生相同的 观察的LR图像。然而，在很多情况下不知道下采样滤波器，或者输入图像可以是摄像头捕 捉的，其中，在后续图像处理阶段，不知道在采样系统内使用的光学抗混叠滤波器。因此，可 取地设计一种方法，该方法不直接依赖于下采样处理。
[0007] 上采样图像是图像增强的一种形式。图像增强的目的在于，提高图像的质量。换言 之，图像增强的目的在于，至少部分逆转（例如）由有损编码造成的图像经受的质量退化。
【发明内容】
[0008]因此，本申请的目标在于，提供一种更有效的用于上采样信号和信号增强的概念。 这个目标由所附独立权利要求的主题实现。
[0009] 本申请利用发明人的以下发现：一种要提高质量的信号通常通过高频比通过低频 经受更多的质量退化，因此，通过合并要提高质量的信号和从要提高质量的信号的稀疏逼 近中提取的高频部分合并，最有效地进行质量提高。根据本申请的一个方面，例如，所述发 现用于上采样第一信号，其中，在第一信号上应用上采样处理，以便获得具有比第一信号的 分辨率更高的分辨率的第二信号。在此处，上采样处理往往显示了，与更低频率相比，更高 频率具有更低质量。根据本申请的另一个方面，用于信号增强的上述想法（例如）通过有 损编码的方式造成质量退化。实际上，本申请的信号增强的概念可以被视为本申请的上采 样概念的一部分，在上采样结果上应用信号增强。
【附图说明】
[0010] 本申请的有利实现方式是从属权利要求的主题，并且下面参照附图，更详细地描 述本申请的优选实施方式，其中：
[0011] 图1示出了根据一个实施方式的用于上采样要上采样的信号的装置的框图；
[0012] 图2示出了根据一个实施方式的图1的细节提取器（detailextractor)或高频 部分提取器30的内部结构的框图；
[0013] 图3a_3f示出了根据图1和图2的实例，使用一个示例性图像实例的的在上采样 程序中的连续阶段之后的图像内容；
[0014] 图4示出了根据一个实施方式的用于信号增强的装置的框图；
[0015] 图5示出了根据一个可替换的实施方式的用于上采样的非迭代操作的装置；
[0016]图6a和6b分别示出了混合视频编码器和混合视频解码器的框图，其中，用于信号 增强的装置可以用作环路滤波器；以及
[0017] 图7a和7b分别示出了视频编码器/解码器，其支持空间可扩展性，其中，可以使 用根据本申请的上采样装置以提供层间预测源。
【具体实施方式】
[0018] 在描述本申请的某些实施方式之前，概述造成后面描述的实施方式的一些想法。
[0019] 首先，要注意的是，线性模型（例如，基于FIR滤波器的内插）忠实用于内插低频 元件，但是使在上采样图像中的高频元件失真。因此，在下面概述的实施方式中，这种初始 内插器的输出与稀疏逼近的细节元件合并。例如，这可以通过执行合并的迭代框架的方式 实现。可以在一些域中稀疏表示自然图像这一事实激起将稀疏逼近的细节元件用于信号增 强的积极性【01shaUsenl996】。稀疏逼近的阶段可以被视为通过仅仅一些变换系数逼近信 号，例如，通过将信号变换成特定域，将变换系数设置为低于某个幅度，设为0,并且逆变换 系数，以恢复近似。例如，用于变换的域可以是离散余弦变换（DCT)、或使用小波的多分辨率 表示、或使用曲线波、轮廓波、剪切波等的多分辨率方向表示、或其他固定的或基于培训的 词典。参照下面陈述的描述。
[0020] S卩，并未明确检测内插的方向，下面概述的实施方式使用稀疏逼近。例如，方向变 换系数的迭代阈值变换沿着主要边缘/方向产生更清晰的图像。
[0021] 图1示出了一种用于上采样具有第一分辨率的第一信号s的装置5,其中，该装置 5包括：上采样器10、稀疏执行器20、高频部分提取器30以及合成器40。上采样器10接收 第一信号s并且被配置为在第一信号上应用上采样处理，以便获得具有比第一分辨率更高 的第二分辨率的第二信号。合成器40具有连接至上采样器10的输出的第一输入，并且合 成器40、稀疏执行器20以及高频部分提取器30按照其提及的顺序彼此串联，以便分别在合 成器40的输出与合成器40的输入之间形成环路。合成器40的输出同时形成装置5的输 出。
[0022] 尤其地，首先，可以设置由高频部分提取器30从逼近信号a中提取高频部分h，以 便第二信号u穿过未修改的合成器40,S卩，在合成器的输出40上的信号，S卩，X，等于u。稀 疏执行器20被配置为使用稀疏逼近，生成具有第二分辨率并且接近入站信号X的逼近信号 a。高频部分提取器30从逼近信号a中提取高频部分h，然后，该高频部分通过合成器40与 第二信号u合并，以便产生增强的/上采样的上采样信号X。
[0023]下面更详细地描述作为图1的装置5的基础的操作模式、优点以及想法，然而，要 注意的是，要上采样的信号（即，s)可以是任何类型的信号。例如，信号s可以是视频或图 片，即，可以通过装置5来二维空间采样场景，提高信号s的空间分辨率。然而，交替地，信 号s可以是在空间上或者在时间上取样（例如）某个物理性能的一维信号。例如，信号s 可以是表面光度仪的输出信号，并且在空间取样表面轮廓。目前，描述图1的实施方式，用 于1D信号。对于图像上采样，下面提出的描述可以（例如）扩展为使用逐行和逐列操作的 2D，或者在图像样本上使用2D操作，来直接实现。由装置5执行的细节合成可以在整个图 像上或逐块或者逐个区域地进行。
[0024] 考虑尺寸为Nxl的输入LR彳目号表不为矢量seRN。最终目标是生成尺寸为Mxl 的输出HR信号，其中，M>N。
[0025] 上采样器10接收输入LR信号，并且执行seRn的初始上采样，以产生信号ueRm， 例如，使用基于FIR滤波器的内插。
[0026] 因此，上采样器10形成装置5的处理的第一阶段。
[0027]作为一个实例，假设LR图像的列由4个样本构成，由s=[abcd]T表示。考虑 使样本的数量翻倍的任务。假设通过重复最后可用的样本，获得超过规定的图像边界的样 本。还能够具有其他类型的边界扩展。
[0028] 如果需要在样本b和c的中间产生新样本Xl，那么双三次滤波器的系数是[_1，9， 9，-1]/16,即，Xi= (-a+9b+9c_d)/16。将这个扩展到其他样本，引起矢量表达式u=U*s，， 其中，U称