利用稀疏变换的图像/视频质量增强和超分辨率的制作方法

专利名称：利用稀疏变换的图像/视频质量增强和超分辨率的制作方法
技术领域：
本发明总体上涉及图像/视频信号处理。更具体地说，本发明涉及增强图像/视 频信号的质量，和/或提高图像/视频信号的空间分辨率。
背景技术：
目前，图像和视频信号处理广泛用在许多应用中。常常需要特定分辨率的图像或 视频，然而只能获得较低分辨率的图像或视频。在这种情况下，使用多种方法来利用较低分 辨率版本的图像创建较高分辨率的图像。这些现有方法包括对较低分辨率图像或视频应用 线性或简单的非线性插值滤波器。使用线性或非线性插值滤波器的例子包括比如在Gonzalez &ffoods, "Digital Image I^rocessing”(Pearson Education (第二版))中说明的双线性插值滤波器；在ITU-T Recommendation H. 264 & IS0/IEC14496-10(MPEG_4)AVC，"Advanced Video Coding for Generic Audiovisual Services”，版本3 :2005年中说明的线性插值滤波器；和在Vatis & Ostermann,"Locally Adaptive Non-Separable Interpolation Filter for H. 264/AVC，，， IEEE ICIP，2006年10月中说明的不可分插值滤波器。不过，这三种技术中的每一个可适用 于具有平滑变化的像素值的图像/视频帧。这是因为这三种技术是利用平滑图像模型得到 的，并且滤波器一般局限于低通滤波器。从而，它们并不适用于许多类型的区域，比如倾斜 边缘、纹理等。此外，至少就ITU-T Recommendation H.洸4及Vatis & Ostermann来说，这 两种技术只适用于其中使用被移动小部分像素的先前的一帧或多帧来预测当前帧的视频 压缩应用。另外，存在非常简单的基于变换的方法，用于提高图像/视频的分辨率，不过需 要大量的迭代。在 Guleryuz, “Predicting Wavelet Coefficients Over Edges Using Estimates Based on Nonlinear Approximants”，Proc. Data Compression Conference， 2004年4月中说明了一个这样的例子。不过，这种技术局限于并不适用于倾斜边缘和纹理的具有各种简化的块变化，并 且涉及基本方法的多次迭代以获得良好的质量，从而复杂性惊人地昂贵。

发明内容
这里公开一种用于质量增强/超分辨率技术的方法和设备。在一个实施例中，所 述方法包括接收第一分辨率的第一版本的媒体，和利用至少一种变换和自适应阈值化，创 建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率。


根据下面给出的详细说明，以及根据本发明的各个实施例的附图，将更充分地理 解本发明，不过，所述各个实施例不应被理解成把本发明局限于具体实施例，相反只是为了 说明和理解。
图IA是进行媒体的质量增强/超分辨率的处理的一个实施例的流程图。图IB是系统的方框图，图解说明质量增强/超分辨率技术的一个实施例对于压缩 视频的应用情形。图IC是系统的方框图，图解说明质量增强/超分辨率技术的一个实施例对于非压 缩视频的应用情形。图2是增强质量和/或提高分辨率的处理的一个实施例的流程图。图3是上采样处理的一个实施例的流程图。图4A-4M图解说明与子帧类型库对应的遮罩(mask)的例子。图5表示当按光栅扫描顺序对像素编号时在像素I处的例证子帧Zi。图6是子帧选择处理的一个实施例的流程图。图7是子帧的变换选择处理的一个实施例的流程图。图8是阈值化变换系数的阈值化处理的一个实施例的流程图。图9图解说明单调递减的阶梯函数。图10是组合子帧以形成帧的处理的一个实施例的流程图。图11是数据一致性操作的一个实施例的数据流图。图12是例证的计算机系统的方框图。图13A-E图解说明所选像素的样本子集。
具体实施例方式说明增强视频和/或图像的质量的增强技术。在一个实施例中，该技术还起分别 产生与低分辨率输入图像和/或视频对应的高分辨率图像和/或视频的超分辨率技术的作 用。在一个实施例中，这是通过对低分辨率和/或视频中的每个像素位置增加多个像素位 置来实现的。为了本文的目的，增加的像素位置已知为插值位置，来自低分辨率图像的位置 已知为原始位置。在下面的说明中，陈述了众多的细节，以更彻底地说明本发明。不过，对本领域的 技术人员来说，显然可在没有这些具体细节的情况下实践本发明。在其它情况下，以方框图 的形式而非详细地表示了公知的结构和设备，以避免模糊本发明。下面的详细说明的一些 部分是按照对于计算机存储器内的数据比特的算法和运算的符号表示给出的。这些算法说 明和表示是数据处理领域内的技术人员用于向本领域的其他技术人员最有效地传达其工 作的实质的手段。算法在这里并且通常被认为是产生希望结果的自相一致的一系列步骤。 所述步骤是要求物理量的物理处理的步骤。这些物理量通常(不过并非必须)表现为能够 被保存、传送、组合、比较和以其它方式操纵的电信号或磁信号的形式。已表明有时便利的 是把这些信号称为比特、值、元素、符号、字符、项、数字等，主要是因为常用。不过，应记住 所有这些和类似术语都与适当的物理量关联，并且仅仅是应用于这些物理量的便利标记。 除非另有明确说明，像根据下面的论述显然的那样，否则要认识到在整个说明中，利用诸如 “处理”或“计算”或“运算”或“确定”或“显示”之类术语的论述指的是操纵并把表示成计 算机系统的寄存器和存储器内的物理(电子)量的数据变换成类似地表示成计算机系统存 储器或寄存器或者其它这样的信息存储设备、传输或显示设备内的物理量的其它数据的计 算机系统，或类似的电子计算设备的动作和处理。
本发明还涉及执行这里的操作的设备。该设备可以是为所需用途专门构成的，或 者它可包括由保存在计算机中的计算机程序有选择地启动或重新配置的通用计算机。这样 的计算机程序可被保存在计算机可读存储介质中，比如(但不限于)任何种类的磁盘，包括 软盘、光盘、CD-ROM和磁光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁 卡或光卡，或者适合于保存电子指令的任何种类的介质，并且每种都与计算机系统总线耦 接。这里给出的算法和显示并不固有地涉及任何特殊的计算机或其它设备。各种通用 系统可以和按照这里的教的程序一起使用，或者可证明便利的是构成更专门的设备来执行 所需要的方法步骤。各种各样的这些系统的所需结构将从下面的说明中显现出来。另外， 并未参照任何特殊的编程语言说明本发明。要认识到可以使用各种编程语言来实现这里说 明的本发明的教导。机器可读介质包括以机器(例如，计算机)可读的形式保存或传送信息的任何机 构。例如，机器可读介质包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储介质；光 学存储介质；闪速存储设备；电、光、声或其它形式的传播信号(例如，载波、红外信号、数字 信号等)；等等。鍵公开了媒体(例如，图像、视频等)的快速和高性能质量增强和/或超分辨率技 术。这些技术允许由低质量、低分辨率的图像和视频呈现高质量和高分辨率(如果需要的 话)的媒体(例如，图像、视频等)。在一个实施例中，这些技术使得能够实现视频序列的高 质量超分辨率重构(缩放)。在一个实施例中，作为一种超分辨率技术，利用翘曲变换和自适应阈值化，产生更 高分辨率的媒体。对翘曲变换来说，变换被翘曲，以对准边缘，导致对方向性边缘和角落的 稀疏表示。与现有技术相比，翘曲变换的使用导致沿方向性边缘和角落的锐度增大。在一 个实施例中，根据局部边缘方向，选择翘曲变换，以呈现最高质量的输出视频。可在每个像 素独立地，或者对于像素的块一起，发生这种选择。例证的块大小为2X2、3X3、4X4、2X4、 4X2 等。空间自适应阈值的使用使得能够按照局部信号统计量实现阈值的调制，这允许借 助仅两次迭代，就获得很高的质量。与需要10次迭代来获得相似质量的某些现有技术相 比，迭代次数要少得多。图IA是进行媒体的质量增强/超分辨率重构的处理的一个实施例的流程图。该 处理由处理逻辑执行，所述处理逻辑包括硬件(电路、专用逻辑等)，软件(比如运行于通用 计算机系统或专用机器上的软件)，或者硬件和软件的组合。参见图1A，通过处理逻辑接收第一分辨率的第一版本的媒体(例如，图像、视频 等)，开始所述处理(处理方框130)。在接收第一版本的媒体之后，处理逻辑利用至少一次 翘曲变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等 于第一分辨率(处理方框131)。在一个实施例中，作为迭代处理的结果创建第二版本的媒体。在一个实施例中，所 述迭代处理只经过两次迭代。在一个实施例中，通过对子帧应用所述至少一次翘曲变换(例如，2D可分离DCT)以创建变换系数，进行第二版本的媒体的创建。在一个实施例中，所述方法包括在通过上采 样第一版本的媒体而产生的图像中自适应地选择子帧，以致对子帧应用翘曲变换以产生变 换系数包括对图像中的每个所选子帧应用变换。在一个实施例中，在图像中的每个像素处 自适应地选择子帧。在一个实施例中，自适应阈值化包括空间自适应阈值的应用，创建第二 版本的媒体包括计算自适应阈值，并利用自适应阈值，阈值化变换系数。在一个实施例中，超分辨率技术包括选择2-D滤波器，并利用2-D滤波器上采样输 入的图像/视频帧；选择起始于上采样帧的任意像素处的子帧，和在上采样帧中的每个像 素处，形成子帧并对该子帧应用像素自适应翘曲变换；得到每个子帧的细节保持自适应阈 值，利用硬阈值化(例如，如果变换系数的量值小于阈值，那么设为0)或者诸如软阈值化之 类的其它方法，阈值化该子帧的变换系数，和对阈值化的变换系数应用逆变换以形成处理 后的子帧；对处理后的子帧进行组合操作，以获得上采样帧的更好估计；和可选地对上采 样帧进行校正操作，以实现上采样帧和输入帧之间的数据一致性。这些操作构成一次迭代， 并产生超分辨率估计。在一个实施例中，重复从子帧选择到校正的操作，以进一步改进超分 辨率估计。在一个实施例中，质量增强技术包括选择起始于输入图像/视频帧的任意像素处 的子帧，在输入帧中的每个像素处，形成子帧并对该子帧应用像素自适应翘曲变换；得到每 个子帧的细节保持自适应阈值，利用硬阈值化(例如，如果变换系数的量值小于阈值，那么 设为0)或者诸如软阈值化之类的其它方法，阈值化该子帧的变换系数，和对阈值化的变换 系数应用逆变换，以形成处理后的子帧；对处理后的子帧进行组合操作，以获得增强质量版 本的输入帧。这些操作构成一次迭代，并产生增强质量估计。在一个实施例中，重复整个处 理，以进一步提高质量。在一个实施例中，这里说明的技术使分辨率提高任意倍数。即，超分辨率技术的 使用并不局限于分辨率的整数倍(例如2X，3X等)提高。超分辨率技术可把分辨率提高 任意倍数(例如，1.2乂，1.5乂，2.6乂等)。在一个实施例中，在借助或不借助边信息(side information)的帮助下，这里说明的技术被应用于压缩/非压缩图像/视频信号。图IB是 系统的方框图，图解说明这里说明的技术的一个实施例对于压缩视频的应用情形。每个方 框可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软 件)，或者硬件和软件的组合。参见图1B，低分辨率(LR)照相机101捕获低分辨率图像/视 频，所述低分辨率图像/视频被发给视频/图像编码器102，以便压缩。利用通信平台103 在空间和/或时间中传送编码视频，并且编码视频被发给视频/图像解码器104，以便解压 缩。解码的视频113被发给超分辨率发生器和/或视频质量增强器105，以便进行这里说明 的处理。超分辨率发生器和/或视频质量增强器105的输出被发给诸如LR显示器106或高 分辨率(HR)显示器107之类的显示器。在一个实施例中，LR照相机101和编码器102发送 照相机边信息110和编码器边信息111(表示成虚线)，照相机边信息110和编码器边信息 111被组合以形成可被超分辨率发生器和/或视频质量增强器105使用的边信息112。边 信息可由任意的参数(例如，关于LR照相机101的信息(例如，透镜种类)，量化步长等)， 或者对于质量增强和超分辨率技术的选择/模式决定组成。例如，某一边信息可帮助确定 应使用哪种插值技术。边信息可包括默认设置。按照这种方式，边信息允许这里说明的技 术被定义成不同的设置。在一个实施例中，边信息是代表不同选择的值的向量。用信号通知边信息的一种简单方式如下令OP表示代表边信息的向量。利用该向量中的两个元素用
可按照各种方式选择上采样滤波器，以反转由下采样操作或者由于输入设备的物 理限制造成的低通滤波。在输入设备是照相机的情况下，这些物理限制可包括(但不限于) 自然分辨率、光学聚焦和快门速度。在一个实施例中，这种低通滤波被模拟成任意有限抽头 滤波器或者模拟成小波滤波器的LL频带，比如Daubechies或Le Gall小波。在一个实施 例中，低通滤波器被模拟成Daubechies 7/9小波，对应的逆小波滤波器被用于获得帧y。注 意本发明的实施例并不局限于利用这些方法得到的上采样滤波器。可以使用能够提高图像 /视频的分辨率的模块，包括(但不限于)任何上采样滤波器，比如双线性、双三次和H. 264 插值滤波器。定义低通滤波器和/或上采样滤波器的参数可被包括在边信息(例如边信息112， 边信息121等)中。在一个实施例中，当低通滤波器被模拟成小波滤波器(LL频带)时，上采样滤波器 是逆小波滤波器，当低通滤波器被模拟成任意有限抽头滤波器时，上采样滤波器是就原始 帧和通过使原始帧连续通过低通滤波器和上采样滤波器而获得的帧之间的MSE来说最佳 的维纳(Wiener)滤波器。在一个实施例中，最佳的滤波器取决于原始帧，并且是利用边信 息，对每个像素独立地用信号通知的。在一个实施例中，利用逆小波滤波器或者像素自适应维纳滤波器对输入帧χ进行 上采样和滤波，从而获得帧y。图3是上采样处理的一个实施例的流程图。该处理由处理逻 辑执行，所述处理逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统 或专用机器上的软件)，或者硬件和软件的组合。参见图3，通过利用低通滤波器的参数，处理逻辑确定低通滤波器是否被模拟成小 波滤波器的LL频带(处理方框301)。这使处理逻辑可以把低通滤波器分类成小波滤波器， 或者不分类成小波滤波器。如果处理逻辑确定低通滤波器是小波滤波器，那么处理逻辑用上采样器311对输入帧χ进行上采样，并对输入帧χ应用逆小波滤波器，从而获得帧y (处理 方框30 。如果处理逻辑确定低通滤波器不是小波滤波器，那么处理逻辑用上采样器310 对输入帧χ进行上采样，并对输入帧χ应用像素自适应维纳滤波器，以获得帧y (处理方框 302)。子帧选择处理在完成上采样处理并且获得帧y之后，开始图2的处理方框202的子帧选择处理。 子帧类型S被定义成M2Xl整数值向量。为了本文的目的，M可以是大于0的任意整数。 {S1, S2, S3，...}是子帧类型库。对于其中像素按光栅扫描顺序被编号的帧y中的每个所选像素i来说，从所述子帧类型库中选择子帧类型Si，并将向量？1形成为凡，其中 T是所有元素都等于ι的M2Xl向量。在一个实施例中，对未被选择的像素来说，Pi是零向 量。称为子帧的M2Xl向量Zi是用在与？1的元素对应的位置处的帧y的像素值形成的。像 素i被称为子帧Zi的中心点。图5表示当按光栅扫描顺序对像素编号时，在像素i处的例 证子帧Zi。参见图5，通过按照光栅扫描顺序从“1”开始对像素编号，发生像素的光栅扫描 排序。子帧被表示成以像素i为中心点。子帧被组织成称为翘曲行的M个向量。第一翘曲 行具有按1 M的顺序的子帧元素1 M ；第二翘曲行具有元素(M+1) 2M ；等等。在一 个实施例中，M等于4，子帧类型库对应于在图4A-4M中图解说明的一组遮罩(mask)。参见 图4A-4M，就该子帧库来说，遮罩对应于如用箭头所示的不同方向。这里，把图4A中的遮罩 称为规则遮罩，因为它对应于规则的水平或垂直方向。其它遮罩被称为方向性遮罩，因为它 们对应于非平凡(non-trivial)方向。遮罩中的像素(‘a' 'p')的差分位置(Ω) 被定义为Ω =Cc+WXCK，其中W是帧y的宽度。Cc是为了到达关心的当前像素的列，需要 从像素'a'的列开始向右水平移动的列数。Ck是为了到达关心的当前像素的行，需要从 像素'a'的行开始向下垂直移动的行数。例如，就图4H中的遮罩来说，像素'c'具有Cc = -ldnCK = 2。与遮罩对应的子帧类型是包含该遮罩中从'a'排序到'ρ'的像素的 差分位置的向量。在一个实施例中，通过选择总是对应于规则遮罩的子帧类型，进行像素的子帧类 型的选择。在另一个实施例中，对于每个选择的像素，(1)通过关于每个子帧类型，估计在形 成的子帧内的2-D DCT, (2)通过关于给定的阈值T，选择使量值大于T的非零变换系数的 数目最小化的子帧类型，进行像素的子帧类型的选择。在又一个实施例中，通过关于每个选 择的像素，选择使在所有翘曲行内平均的像素值的翘曲行方差最小化的子帧类型，进行像 素的子帧类型的选择。在再一个实施例中，通过对于KXL像素的块，使每个像素对子帧类 型进行投票(根据使在所有翘曲行内平均的像素值的翘曲行方差最小化的子帧类型)，并 选择对于KXL块中的所有像素而言具有最多票数的子帧类型，进行像素的子帧类型的选 择，其中K和L可以是大于0的整数。在一个实施例中，K和L都被设定为4。在再一个实 施例中，通过对于每个像素形成KXL像素的块，并通过对该像素块使用前述投票方案选择 子帧类型，进行像素的子帧类型的选择。在每种情况下，选择的子帧类型被用于当前像素。 从而，通过把这些测量的统计量之一用于每个遮罩，进行子帧的选择。注意，可以使用除图4A-4M中的遮罩之外的遮罩。图6是子帧选择处理的一个实施例的流程图。该处理由处理逻辑执行，所述处理 逻辑可包括硬件(电路、专用逻辑等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。参见图6，通过处理逻辑接收帧y并确定子帧是否是像素自适应的，开始该处理 (处理方框601)。如果子帧不是像素自适应的，那么处理逻辑为所有像素选择规则子帧类 型(处理方框60 。如果子帧y的子帧是像素自适应的，那么对于每个像素，处理逻辑标记 使翘曲行方差最小化的子帧类型(处理方框60 。这是利用如上所述的子帧类型库(620) 实现的。从而，对于每个像素，标记子帧类型库之中的使翘曲行方差最小化的子帧类型。随后，处理逻辑确定选择是否是基于块的(处理方框604)。如果处理逻辑确定选 择是基于块的，那么处理逻辑计数每个块中的标记每种子帧类型的像素的数目(处理方框 606)，并且对于块中的所有像素，处理逻辑选择由该块中的最多像素标记的子帧类型(处 理方框607)。换句话说，如果选择是基于块的，那么对于该块中的所有像素，选择由块中的 最多像素标记的子帧类型。如果处理逻辑确定选择不是基于块的，那么对于每个像素，处理 逻辑选择由该像素标记的子帧类型(处理方框60 。换句话说，每个像素选择它自己标记 的子帧类型。每个像素的子帧类型的选择可以是边信息的一部分。变换选择和应用在选择子帧Zi之后，利用像素自适应翘曲变换Hi,子帧Zi被变换成Cli。这里该变 换被称为“翘曲”变换，因为变换基的支持物(support)已被翘曲，以匹配子帧类型。由于除 了子帧类型的选择可因像素而异之外，以不同像素为中心点的子帧可使用不同的变换，因 此该变换被认为是像素自适应的。在一个实施例中，从变换库(例如可分离2-D Hadamard, 可分离DCT，不可分DCT，2-D Gabor小波，可操纵金字塔，2-D方向小波，曲波和轮廓波)中 选择变换印。应注意在被翘曲之后，可分离变换变成不可分离。选择可以是事先固定的，或 者可以自适应于以不同像素为中心点的不同子帧。在一个实施例中，在自适应的情况下，选 择的变换是绝对值大于主阈值〒的系数的数目最少的一种变换。在一个实施例中，变换的选 择是边信息的一部分。图7中图解说明了子帧的变换选择处理的一个实施例的流程图。参见图7，该处理由处理逻辑执行，所述处理逻辑可包括硬件(电路、专用逻辑 等)，软件(比如运行于通用计算机系统或专用机器上的软件)，或者硬件和软件的组合。通 过处理逻辑测试变换是否是像素自适应的，开始该处理(处理方框701)。可通过查阅列表， 进行所述测试。在一个实施例中，所述列表可以是变换是非自适应变换的列表。在另一个 实施例中，可以将所述列表作为边信息的一部分用信号通知。如果处理逻辑确定变换是非 像素自适应的，那么处理逻辑选择2-D标准正交可分离DCT用作所述变换，并通过把该变换 应用于子帧Zi，产生变换系数Cli (处理方框70 。如果处理逻辑确定变换是像素自适应的， 那么对于变换库{Η1，!!2，....}中的每种变换tf (处理方框70 ，处理逻辑利用下面的公式 计算变换系数&Clj = HjXzp变换系数dj对应于变换Hj。随后，对于每个j，处理逻辑计数⑴中的绝对值大于主阈值f的系数的数目(处理 方框70 ，并从变换库中选择具有最小计数Hk的变换，把变换Hi设定成等于对应于最小计 数(Hk)的变换，随后把系数Cli设定成等于变换系数dk(处理方框706)。阈值化
作为在选择变换之后发生的阈值化处理的一部分，在一个实施例中，对变换系 数Cii应用细节保持自适应阈值 ，以获得是。这里把阈值 称为细节保持，因为其值是适应的，以致图像/视频帧中的高频细节被保持。通过利用主阈值〒，变换系数Cii也被阈值化，以获得$可按照各种方式进行阈值化操作。在一个实施例中，利用硬阈值化，进行阈值化操作。在另一个实施例中，利用软阈值化，进行阈值化操作。硬阈值化操作被定义为
权利要求
1.一种方法，包括接收第一分辨率的第一版本的媒体；和利用至少一种变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分 辨率高于或等于第一分辨率。
2.按照权利要求1所述的方法，其中创建第二版本的媒体包括 对子帧应用至少一种翘曲变换，以创建变换系数。
3.按照权利要求2所述的方法，其中所述至少一种翘曲变换包括2-D可分离DCT或2-D Hadamard 变换。
4.按照权利要求2所述的方法，还包括在通过上采样第一版本的媒体而创建的图像中 自适应地选择子帧，并且其中对子帧应用所述至少一种翘曲变换以创建变换系数包括对图 像中的每个所选子帧应用变换。
5.按照权利要求4所述的方法，其中子帧是在图像中的每个像素处自适应选择的。
6.按照权利要求4所述的方法，其中所述至少一种翘曲变换包括2-D可分离DCT或2-D Hadamard 变换。
7.按照权利要求1所述的方法，其中所述至少一种变换包括2-D可分离DCT或2-D Hadamard 变换。
8.按照权利要求1所述的方法，其中自适应阈值化包括空间自适应阈值的应用。
9.按照权利要求1所述的方法，其中创建第二版本的媒体包括 计算自适应阈值；和利用所述自适应阈值，使变换系数阈值化。
10.按照权利要求1所述的方法，其中创建第二版本的媒体包括 上采样第一版本的媒体，以创建上采样图像；利用用于每个子帧的变换，变换上采样图像中的子帧； 利用自适应阈值，使用于每个变换子帧的变换系数阈值化； 逆变换阈值化的变换系数，以在像素域中形成处理后的子帧； 组合处理后的子帧，以创建新帧；和 对新帧应用数据一致性操作。
11.按照权利要求10所述的方法，其中所述变换包括2-D可分离DCT或2-DHadamard变换。
12.按照权利要求11所述的方法，还包括在每个像素处把子帧设定成是规则的。
13.按照权利要求10所述的方法，还包括在每个像素处把子帧设定成是规则的。
14.按照权利要求10所述的方法，还包括自适应选择用于每个子帧的变换。
15.按照权利要求10所述的方法，还包括在上采样图像中的每个像素处自适应地选择 子帧。
16.按照权利要求15所述的方法，其中变换上采样图像中的子帧包括对所选子帧应用 变换，其中所述变换包括2-D可分离DCT或2-DHadamard变换。
17.按照权利要求10所述的方法，还包括计算一个或多个自适应阈值，其中利用自适 应阈值使用于每个变换子帧的变换系数阈值化包括用所述一个或多个自适应阈值之一使 用于每个变换子帧的变换系数阈值化。
18.按照权利要求17所述的方法，还包括自适应地选择在每个像素处选择的子帧的变换。
19.按照权利要求10所述的方法，还包括自适应地选择在每个像素处选择的子帧的变换。
20.按照权利要求10所述的方法，还包括发送边信息。
21.按照权利要求1所述的方法，还包括迭代地重复用于创建第二版本的媒体的操作， 以便创建第三版本的媒体。
22.按照权利要求1所述的方法，其中创建第二版本的媒体包括 上采样第一版本的媒体；对上采样图像中的每个像素，自适应选择子帧；利用变换，变换每个选择的子帧，其中所述变换包括2-D可分离DCT或2-D Hadamard 变换；阈值化变换系数；逆变换阈值化的变换系数，以在像素域中形成处理后的子帧； 组合处理后的子帧，以创建新帧；和对新帧应用数据一致性操作，以致创建分辨率比第一版本的媒体高的第二版本的媒体。
23.按照权利要求22所述的方法，其中第一版本的媒体是由照相机产生的。
24.按照权利要求22所述的方法，其中所述变换是翘曲变换。
25.按照权利要求1所述的方法，其中在视频解码器中产生第一分辨率的第一版本的 媒体，作为视频解码器中的后处理操作的一部分，执行第二版本的媒体的创建。
26.按照权利要求1所述的方法，其中在视频解码器中产生第一分辨率的第一版本的 媒体，第二版本的媒体的创建部分地由视频解码器中的环路滤波器执行。
27.按照权利要求1所述的方法，其中响应在无线通信系统中传送第一版本的媒体，所 述第一版本的媒体被移动设备接收，还包括把第二版本的媒体发给高分辨率显示器，以便 在所述高分辨率显示器上显示。
28.按照权利要求27所述的方法，其中移动设备创建第二版本的媒体，并把第二版本 的媒体发给高分辨率显示器。
29.按照权利要求27所述的方法，其中移动设备把第一版本的媒体发给停放站，所述 停放站创建第二版本的媒体，并把第二版本的媒体发给高分辨率显示器。
30.按照权利要求1所述的方法，其中第一版本的媒体是终端通过网络接收的视频，所 述终端创建第二版本的媒体，以便在所述终端上显示。
31.一种方法，包括利用用于每个子帧的变换，变换图像中的子帧； 用自适应阈值，使用于每个变换子帧的变换系数阈值化； 逆变换阈值化的变换系数，以在像素域中形成处理后的子帧； 组合处理后的子帧，以创建新帧。
32.按照权利要求31所述的方法，其中所述变换是翘曲变换。
33.按照权利要求31所述的方法，还包括上采样第一分辨率的第一版本的媒体，以创建图像。
34.按照权利要求33所述的方法，还包括 对新帧应用数据一致性操作。
35.按照权利要求31所述的方法，还包括在每个像素处把子帧设定成规则的。
36.按照权利要求31所述的方法，还包括自适应地选择用于每个子帧的变换。
37.按照权利要求31所述的方法，还包括在上采样图像中的每个像素处自适应地选择 子帧。
38.按照权利要求37所述的方法，其中变换上采样图像中的子帧包括对所选子帧应用 2-D可分离DCT或2-D Hadamard变换。
39.按照权利要求31所述的方法，还包括计算一个或多个自适应阈值，其中利用自适 应阈值使用于每个变换子帧的变换系数阈值化包括用所述一个或多个自适应阈值之一使 用于每个变换子帧的变换系数阈值化。
40.按照权利要求39所述的方法，还包括自适应地选择用于每个像素处选择的子帧的 变换。
41.按照权利要求31所述的方法，还包括自适应地选择用于每个像素处选择的子帧的变换。
42.按照权利要求31所述的方法，还包括发送边信息。
43.一种方法，包括利用变换，变换每个所选子帧，其中所述变换包括2-D可分离DCT或2-D Hadamard变换；利用非自适应阈值，使变换系数阈值化；逆变换阈值化的变换系数，以在像素域中形成处理后的子帧；组合处理后的子帧，以创建新帧。
44.按照权利要求43所述的方法，还包括 上采样第一版本的媒体；和对上采样图像中的每个像素，自适应地选择子帧。
45.按照权利要求43所述的方法，还包括 对新帧应用数据一致性操作。
46.按照权利要求43所述的方法，其中在视频解码器中产生所述每个所选子帧，作为 视频解码器中的后处理操作的一部分，执行新帧的创建。
47.按照权利要求43所述的方法，其中在视频解码器中产生所述每个所选子帧，新帧 的创建部分地由视频解码器中的环路滤波器执行。
48.按照权利要求43所述的方法，其中响应在无线通信系统中传送所述每个所选子 帧，所述每个所选子帧被移动设备接收，还包括把新帧发给高分辨率显示器，以便在所述高 分辨率显示器上显示。
49.按照权利要求48所述的方法，其中移动设备创建新帧，并把新帧发给高分辨率显 不器。
50.按照权利要求48所述的方法，其中移动设备把所述每个所选子帧发给停放站，停 放站创建新帧，并把新帧发给高分辨率显示器。
51.按照权利要求43所述的方法，其中所述每个所选子帧是终端通过网络接收的视频 的一部分，所述终端创建新帧，以便在所述终端上显示。
52.—种具有其中保存指令的一个或多个计算机可读存储介质的制造产品，当被系统 执行时，所述指令使系统执行包括下述步骤的方法接收第一分辨率的第一版本的媒体；和利用至少一种变换和自适应阈值化，创建第二分辨率的第二版本的媒体，所述第二分 辨率高于或等于第一分辨率。
53.按照权利要求52所述的制造产品，其中创建第二版本的媒体包括对子帧应用变 换，以创建变换系数，其中所述变换包括2-D可分离DCT或2-D Hadamard变换。
54.按照权利要求53所述的制造产品，其中所述方法还包括在通过上采样第一版本的 媒体而创建的图像中，自适应地选择子帧，并且其中对子帧应用至少一种翘曲变换以创建 变换系数包括对图像中的每个所选子帧应用变换，其中所述变换包括2-D可分离DCT或2-D Hadamard 变换。
55.按照权利要求M所述的制造产品，其中所述子帧是在图像中的每个像素处自适应 选择的。
56.按照权利要求52所述的制造产品，其中自适应阈值包括空间自适应阈值。
57.按照权利要求52所述的制造产品，其中创建第二版本的媒体包括计算自适应阈值；和利用所述自适应阈值，使变换系数阈值化。
全文摘要
这里公开一种用于质量增强/超分辨率技术的方法和设备。在一个实施例中，所述方法包括接收第一分辨率的第一版本的媒体，和利用至少一种变换和自适应阈值化来创建第二分辨率的第二版本的媒体，所述第二分辨率高于或等于第一分辨率。
文档编号G06T3/40GK102047287SQ200880129582
公开日2011年5月4日 申请日期2008年8月14日 优先权日2008年6月17日
发明者O·G·居莱尔于茨, R·吉万拉尔, S·卡纽姆里 申请人:株式会社Ntt都科摩