专利名称：基于取样超分辨率视频编码和解码的方法和装置的制作方法
技术领域：
本原理一般涉及视频编码和解码，尤其涉及基于取样超分辨率视频编码和解码的方法及装置。
背景技术：
在第一种现有技术手段中提出了使用超分辨率的视频压缩手段。在第一种现有技术手段中，在编码之前将输入视频的空间大小缩小成某种预定低分辨率(LR)的大小。在于 解码器方接收到低分辨率视频之后，与利用位流发送的一些辅助信息(元数据)一起使用超分辨率方法将低分辨率视频扩大成原始大小。该元数据包括帧的基于块分段，其中每个块被标为运动的、不运动单调的(flat)和不运动有纹理的。不运动单调块通过空间内插来放大。对于运动块，将运动矢量发送给应用超分辨率技术以便恢复子像素信息的接收器。对于不运动有纹理块，使用按轮换次序应用四种互补向下取样网络的抖动向下取样策略。但是，上述第一种现有技术手段不利地未使用运动区域的智能取样策略。而是，第一种现有技术手段依靠低分辨率帧之间的子像素运动的存在，以便获取超分辨率。但是，子像素运动不总是有保证的。在第二种现有技术手段中，在帧捕获之间以子像素漂移机械移动摄像机。其目的是捕获更好适用于随后超分辨率的低分辨率视频。对于静态背景，第二种现有技术手段的方法类似于上述第一种现有技术手段中的抖动取样概念。但是，对于在我们的目标应用，即，为随后超分辨率向下取样高分辨率视频中有可能的非静态背景的情况，固定抖动不是有效的策略。
发明内容
现有技术的这些和其他缺陷和缺点通过本原理来解决，本原理针对基于取样超分辨率视频编码和解码的方法及装置。按照本原理的一个方面，提供了一种装置。该装置包括接收高分辨率画面和从中生成低分辨率画面和元数据的向下取样器和元数据生成器。该元数据用于引导低分辨率画面和元数据的后解码后处理。该装置进一步包括编码低分辨率画面和元数据的至少一个编码器。按照本原理的另一个方面，提供了一种方法。该方法包括接收高分辨率画面和从中生成低分辨率画面和元数据。该元数据用于引导低分辨率画面和元数据的后解码后处理。该方法进一步包括使用至少一个编码器编码低分辨率画面和元数据。按照本原理的又一个方面，提供了一种装置。该装置包括接收位流和从中解码低分辨率画面和元数据的解码器。该装置进一步包括使用低分辨率画面和元数据重构分别与低分辨率画面相对应的高分辨率画面的超分辨率后处理器。按照本原理的再一个方面，提供了一种方法。该方法包括使用解码器接收位流和从中解码低分辨率画面和元数据。该方法进一步包括使用低分辨率画面和元数据重构分别与低分辨率画面相对应的高分辨率画面。通过结合附图阅读如下示范性实施例的详细描述，本原理的这些和其他方面、特征和优点将变得显而易见。
本原理可以依照如下示范性图形得到更好理解，在附图中图I是示出依照本原理的实施例、基于取样超分辨率的示范性系统/方法的高级方块图；图2是示出依照本原理的实施例、可以应用本原理的示范性视频编码器的方块图；图3是示出依照本原理的实施例、可以应用本原理的示范性视频解码器的方块图；图4A-图4D是示出与依照本原理的实施例的基于取样超分辨率方法的预处理阶段有关的数据和步骤的图形；图5A-图是示出与依照本原理的实施例的基于取样超分辨率方法的后处理阶段有关的数据和步骤的图形；图6是示出与依照本原理的实施例的基于取样超分辨率方法的预处理阶段有关的示范性方法的流程图；图7A-图7F是示出依照本原理的实施例、用于将HR高分辨率(HR)帧向下取样成低分辨率(LR)的取样网格的例子的图形；图8A-图8D是示出依照本原理的实施例的附加均匀取样网格的图形；图9是示出与依照本原理的实施例的取样网格的选择有关的步骤的图形；图10是示出与依照本原理的实施例的基于取样超分辨率方法的后处理阶段有关的示范性方法的流程图；以及图IlA-图IlB是示出依照本原理的实施例的前景对象在两个帧之间的运动的图形。
具体实施例方式本原理针对基于取样超分辨率视频编码和解码的方法及装置。本描述例示了本原理。因此，应该懂得，本领域的普通技术人员能够设想出尽管未明确描述或显示在本文中，但体现本原理和包括在它的精神和范围之内的各种安排。本文列举的所有例子和条件语言旨在教授的目的，以帮助读者理解本原理以及本发明人为促进技术进步而贡献的概念，并且应该理解为不局限于这样具体列举的例子和条件。此外，本文阐述本原理的各个原理、方面和实施例及其特定例子的所有语句旨在包含其结构和功能等效物两者。另外，这样的等效物g在包括当前已知的等效物以及未来开发的等效物，即与结构无关，开发出来执行相同功能的任何元件。因此，例如，本领域的普通技术人员应该懂得，本文所表示的方块图代表体现本原理的例示性电路的概念图。类似地，应该懂得，任何流程图、流图、状态转变图、伪码等代表基本上可以表示在计算机可读媒体中，因此可以由计算机或处理器执行的各种进程，无论这样的计算机或处理器是否明确显示出来。显示在图形中的各种元件的功能可以通过使用专用硬件以及能够与适当软件相联系执行软件的硬件来实现。当由处理器提供时，这些功能可以由单个专用处理器、由单个共享处理器、或由其中一些可以共享的多个单独处理器提供。此外，术语“处理器”或“控制器”的显性使用不应该理解为专门指能够执行软件的硬件，而是可以隐性地包括但不限于数字信号处理器(“DSP”)硬件、存储软件的只读存储器(“ROM”)、随机访问存储器(“RAM”)和非易失性存储体。也可以包括传统的和/或定制的其他硬件。类似地，显示在图形中的任何开关都 只是概念性的。它们的功能可以通过程序逻辑的运算、通过专用逻辑、通过程序控制和专用逻辑的交互、或甚至人工地实现，正如从上下文中更具体了解到的那样，特定的技术可由实现者选择。在其权利要求书中，表达成执行特定功能的部件的任何元件g在包含执行那种功能的任何方式，例如，包括a)执行那种功能的电路元件的组合，或b)任何形式的软件，因此包括与执行那种软件的适当电路结合执行该功能的固件、微码等。如这样的权利要求书定义的本原理在于以权利要求书要求的方式组合和汇集各种所列举部件提供的功能。因此，应该认为可以提供那些功能的任何部件都等效于本文所示的那些部件。在说明书中提到本原理的“一个实施例”或“实施例”以及它的其他变体意味着结合该实施例所述的特征、结构、特性等包括在本原理的至少ー个实施例中。因此，出现在整个说明书中的各个地方的措词“在一个实施例中”或“在实施例中”以及任何其他变体的出现未必都指同一实施例。应该懂得，如下“/”、“和/或”、和“至少ー个”的任何ー种的使用，例如，在“A/B”、“A和/或B”、和“A和B的至少ー个”的情况下，旨在包含只有第一所列选项(A)的选择，或只有第二所列选项(B)的选择，或两个选项(A和B)的选择。作为进一歩的例子，在“A、B、和/或C”和“A、B、和C的至少ー个”的情况下，这样的措词g在包含只有第一所列选项(A)的选择，或只有第二所列选项(B)的选择，或只有第三所列选项(C)的选择，或只有第一和第二所列选项(A和B)的选择，或只有第一和第三所列选项(A和C)的选择，或只有第二和第三所列选项(B和C)的选择，或所有三个选项(A、B和C)的选择。本领域的普通技术人员容易明白，对于列出的许多项目，可以依此类推。此外，如本文所使用，词汇“画面”和“图像”可交換使用，指的是来自视频序列的静止图像或画面。众所周知，画面可以是帧或半帧。另外，如本文所使用，词汇“周围共处像素”当被使用时，例如，就通过从低分辨率画面中的“周围共处像素”的像素值中内插高分辨率马赛克中的像素位置上的像素值创建本文所述的高分辨率马赛克而言，指的是低分辨率画面中围绕与高分辨率马赛克中当前正在被内插的目标像素共处(即，具有相同位置)的特定像素的像素。
如上所述，本原理针对基于取样超分辨率视频编码和解码的方法及装置。应该懂得，本原理有利地提高了视频压缩效率。尤其，提出了能够管理帧之间的运动的智能向下取样策略。在预处理阶段，将高分辨率(HR)帧向下取样成低分辨率(LR)帧，并生成元数据以便引导后处理。在后处理阶段，在新超分辨率架构内使用解码的低分辨率帧和接收的元数据以重构高分辨率帧。由于只编码低分辨率帧，以及发送的元数据的数量低至适中，所以这种手段具有提供更高压缩比的潜力。智能向下取样策略考虑了帧之间的运动。向下取样策略通过创建LR帧以便它们在它们携帯的像素信息方面相互补充(换句话说，降低帧之间的冗余度)来影响改进超分辨率結果。在一些情况下，该策略试图强迫引起帧间的子像素运动。我们注意到，传统视频压缩方法(像，例如，国际标准化组织/国际电エ委员会(IS0/IEC)运动图像专家组-4 (MPEG-4)第10部分高级视频编码(AVC)标准/国际电信联盟，电信部门(ITU-T) H. 264建议书(下文称为“MPEG-4AVC标准”那样的主要基于块预测方法)在压缩比方面已经开始达到饱和点。数据修剪方法的目的在于超过标准压缩方法所达到的压缩效率地提高压缩效率。这样方法的主要原理是在编码之前(或期间)除去数据，并 在接收器上在解码之后(或期间)放回除去的数据。数据修剪方法利用了达到它们目的的多种预处理和后处理技术，例如，块/区域去除和修改、行去除和内插等。依照本原理，智能向下取样(在发送器上)和超分辨率(在接收器)是用于数据修剪的技术。超分辨率是通过暂时整合跨过若干低分辨率图像或帧的信息提高图像或视频的分辨率的过程。这种数据修剪手段的原理例示在图I中。转到图1，基于取样超分辨率的示范性系統/方法用标号100总体表示。输入高分辨率(HR)帧，并让其在步骤110中经历向下取样和元数据生成(通过向下取样器和元数据生成器151)，以便获得低分辨率(LR)帧和元数据。在步骤115中编码低分辨率帧和元数据(通过编码器152)。在步骤120中解码编码的低分辨率帧和元数据(通过解码器153)。在步骤130中让低分辨率帧和元数据经历超分辨率后处理(通过超分辨率后处理器154)，以便提供高分辨率输出帧。因此，在预处理阶段(步骤110)，将高分辨率帧向下取样成低分辨率帧，并生成元数据以便引导后处理。尤其，提出了能够管理帧之间的运动的智能向下取样策略。在后处理阶段(步骤125)，在新超分辨率架构内使用解码的低分辨率帧和接收的元数据以重构高分辨率帧。由于只编码低分辨率帧，以及发送的元数据的数量低至适中，所以可以使用这种手段获得更高的压缩比。我们注意到，向下取样器和元数据生成器151在本文中也可以被认为是和称为预处理器。虽然不局限下述编码器和解码器的特定配置，但编码器152和解码器153可以分别如图2和图3所示地分别实现。转到图2，可以应用本发明原理的示范性视频编码器用标号200总体表示。视频编码器200包括具有与组合器285的非反相输入端信号通信的输出端的帧排序缓冲器210。组合器285的输出端被连接成与变换器和量化器225的第一输入端信号通信。变换器和量化器225的输出端被连接成与熵编码器245的第一输入端和逆变换器和逆量化器250的第一输入端信号通信。熵编码器245的输出端被连接成与组合器290的第一非反相输入端信号通信。组合器290的输出端被连接成与输出缓冲器235的第一输入端信号通信。编码器控制器205的第一输出端被连接成与帧排序缓冲器210的第二输入端、逆变换器和逆量化器250的第二输入端、画面类型判定模块215的输入端、宏块类型(MB类型)判定模块220的第一输入端、巾贞内预测模块260的第二输入端、去块滤波器265的第二输入端、运动补偿器270的第一输入端、运动估计器275的第一输入端、和參考画面缓冲器280
的第二输入端信号通信。编码器控制器205的第二输出端被连接成与补充增强信息(SEI)插入器230的第ー输入端、变换器和量化器225的第二输入端、熵编码器245的第二输入端、输出缓冲器235的第二输入端、和序列參数集(SPS)和画面參数集(PPS)插入器240的输入端信号通信。SEI插入器230的输出端被连接成与组合器290的第二非反相输入端信号通信。画面类型判定模块215的第一输出端被连接成与帧排序缓冲器210的第三输入端信号通信。画面类型判定模块215的第二输出端被连接成与宏块类型判定模块220的第二输入端信号通信。
序列參数集(SPS)和画面參数集(PPS)插入器240的输出端被连接成与组合器290的第三非反相输入端信号通信。逆变换器和逆量化器250的输出端被连接成与组合器219的第一非反相输入端信号通信。组合器219的输出端被连接成与帧内预测模块260的第一输入端和去块滤波器265的第一输入端信号通信。去块滤波器265的输出端被连接成与參考画面缓冲器280的第一输入端信号通信。參考画面缓冲器280的输出端被连接成与运动估计器275的第二输入端和运动补偿器270的第三输入端信号通信。运动估计器275的第一输出端被连接成与运动补偿器270的第二输入端信号通信。运动估计器275的第二输出端被连接成与熵编码器245的第三输入端信号通信。运动补偿器270的输出端被连接成与开关297的第一输入端信号通信。帧内预测模块260的输出端被连接成与开关297的第二输入端信号通信。宏块类型判定模块220的输出端被连接成与开关297的第三输入端信号通信。开关297的第三输入端确定开关的“数据”输入(如与控制输入，即，第三输入相比)由运动补偿器270提供还是由帧内预测模块260提供。开关297的输出端被连接成与组合器219的第二非反相输入端和组合器285的反相输入端信号通信。帧排序缓冲器210的第一输入端和编码器控制器205的输入端可作为编码器200的输入端用于接收输入画面。此外，补充增强信息(SEI)插入器230的第二输入端可作为编码器200的输入端用于接收元数据。输出缓冲器235的输出端可作为编码器200的输出端用于输出位流。转到图3，可以应用本原理的示范性视频解码器用标号300总体表示。该视频解码器300包括具有连接成与熵解码器345的第一输入端信号通信的输出端的输入缓冲器310。熵解码器345的第一输出端被连接成与逆变换器和逆量化器350的第一输入端信号通信。逆变换器和逆量化器350的输出端被连接成与组合器325的第二非反相输入端信号通信。组合器325的输出端被连接成与去块滤波器365的第二输入端和巾贞内预测模块360的第一输入端信号通信。去块滤波器365的第二输出端被连接成与參考画面缓冲器380的第一输入端信号通信。參考画面缓冲器380的输出端被连接成与运动补偿器370的第二输入端信号通信。熵解码器345的第二输出端被连接成与运动补偿器370的第三输入端、去块滤波器365的第一输入端、和巾贞内预测器360的第三输入端信号通信。熵解码器345的第三输出端被连接成与解码器控制器305的输入端信号通信。解码器控制器305的第一输出端被连接成与熵解码器345的第二输入端信号通信。解码器控制器305的第二输出端被连接成与逆变换器和逆量化器350的第二输入端信号通信。解码器控制器305的第三输出端被连接成与去块滤波器365的第三输入端信号通信。解码器控制器305的第四输出端被连接成与帧内预测模块360的第二输入端、运动补偿器370的第一输入端、和參考画面缓冲器380的第二输入端信号通信。运动补偿器370的输出端被连接成与开关397的第一输入端信号通信。帧内预测模块360的输出端被连接成与开关397的第二输入端信号通信。开关397的输出端被连接成与组合器325的第一非反相输入端信号通信。输入缓冲器310的输入端可作为解码器300的输入端用于接收输入位流。去块滤波器365的第一输出端可作为解码器300的输出端用于输出输出画面。
基于取样超分辨率的原则基于取样SR的中心思想例示在图4A-图4D和5A-图5D中。转到图4A-图4D，与基于取样超分辨率方法的预处理阶段有关的数据和步骤用标号400总体表示。尤其，图4A示出了一组输入高分辨率(HR)帧410。图4B示出了相对于參考帧的运动变换Otl的估计420。图4C示出了參考帧坐标中基于超分辨率填充系数的取样网格St的估计430 (注意，I指的是恒等变换)。图4D示出了向下取样低分辨率(LR)帧和相应元数据440。转到图5A-图5D，与基于取样超分辨率方法的后处理阶段有关的数据和步骤用标号500总体表示。尤其，图5A示出了一组解码低分辨率帧和元数据510。图5B示出了在參考帧坐标下从低分辨率帧中创建(520)超分辨率马赛克(注意，I指的是恒等变换)。图5C不出了从超分辨率马赛克中重构(530)闻分辨率巾贞。图5D不出了超分辨率化闻分辨率中贞540。參照与后处理阶段有关的图5A，最初，可与一些相关元数据一起获得ー组解码LR中贞￡「￡4。一个帧被当作參考帧(在图5A中，￡p。在图5B中，在使用元数据信息将低分辨率帧中的像素变换到共同坐标系(与參考帧的坐标系一致)之后构建超分辨率马赛克。此后，參照图5C，通过使用元数据信息来组合超分辨率马赛克(变换回到当前帧坐标)中的信息和相应低分辨率帧来重构该组中的每个高分辨率帧。为了执行上面的后处理步骤，需要元数据来描述每个帧与參考帧之间的像素运动，以及用于(在预处理阶段)从相应高分辨率帧中创建每个低分辨率帧的向下取样过程。这个信息是在预处理阶段中确定的并且是作为元数据发送的。參照图4A，将输入高分辨率视频划分成分开处理的帧的组。让我们考虑ー组高分辨率帧H1-H4，其中将H1取作參考帧。在图4B中，估计每个帧与參考帧之间的运动。在图4B中，用 tl表示从Ht到H1的运动变换。在图4C中，为每个帧Ht选择(向下)取样网格StA便创建相应低分辨率帧Lt。在图4D中，可以使用编码器压缩(向下取样)低分辨率帧Lt，并将其与相应元数据(运动和取样网格信息)一起发送给接收器。在接收器上的后处理阶段中，如上所述，将解码的低分辨率帧与元数据信息一起用于重构高分辨率帧。在下文中，我们将进一歩描述后处理和预处理阶段所牵涉的步骤。基于取样超分辨率的预处理阶段在预处理阶段，首先将输入高分辨率视频划分成连续帧的组。然后分开处理每个组。通常，我们选择每个组中M2个帧，其中M是向下取样系数，即，高分辨率与低分辨率帧尺度的比率。这里的理由是高分辨率帧包括数量是低分辨率帧的M2倍的像素，因此，应该取M2个LR帧来构建与高分辨率帧具有相同尺寸的超分辨率马赛克。现在让我们考虑向下取样系数是2 (B卩，M = 2)的情况，然后考虑ー组四个高分辨率中贞(Ht t = 1，2，3，4)。转到图6，与基于取样超分辨率方法的预处理阶段有关的示范性方法用标号600总体表示。该方法600包括将控制交给功能块610的开始块605。功能块610输入高分辨率视频帧t=l，. . .，N，并将控制交给功能块615。功能块615在每个帧与參考帧之间进行全局运动估计以获取其运动參数，并将控制交给功能块620。功能块620根据与超分辨率质量有关的准则对每个帧进行取样网格选择以获取取样网格索引，并将控制交给功能块625。功能块625向下取样高分辨率帧以获取低分辨率帧，并将控制交给功能块630。功能块630将低分辨率帧t=l，. . .，N输出到编码器，并将控制交给结束块699。
如下提供了与预处理阶段(例如，如參照图4和图6所示)所牵涉的步骤有关的进一步细节I.运动估计设H1是參考帧。估计从每个帧Ht到參考帧的运动(图4B)。从Ht到H1的运动变换用 tl表示。2.取样网格选择对于每个帧Ht，取样网格St指示从Ht中取出以便创建相应LR帧Lt的像素。网格St被选择成使每个帧为后处理阶段(图5A-5D)中的超分辨率过程提供补充像素信息。在网格选择过程期间计及帧之间的运动。3.向下取样使用所选网格St创建每个低分辨率帧Lt。然后使用编码器压缩低分辨率帧并将其发送到接收器。有关帧之间的运动以及使用的取样网格的信息也作为元数据发送。下文将进ー步描述前述步骤的每个步骤。运动估计为了例示的目的，我们现在讨论估计给定组中的每个帧Ht与该组的參考帧之间的运动(图4B)的ー种方式。在不失一般性的情况下，假设參数帧是氏。让我们通过假设在帧之间只存在全局运动来简化问题。换句话说，我们假设任何两个帧之间的像素的运动可以通过只有少数參数的全局变换来描述。全局变换的例子包括平移、旋转、仿射弯曲、射影变换等。为了估计从帧Hi到帧民的运动，我们首先选择描述帧之间的运动的參数全局运动模型。然后，使用来自Hi和&的数据确定模型的參数0ヂ今后，我们将用表示变换和用Qij表示它的參数。然后，可以使用变换Ou将Hi矫正(或弯曲)成Hj (或使用逆模型 Ji = ij_1反过来进行。全局运动可以使用多种模型和方法来估计。ー种常用模型是如下给出的射影变换
a.x + a7y + a, · b'x+b,y + b'X =」-—~fy =」-—一一f。(I)
CiX+ c^y +1C1X + c7y +1上面的方程给出了 Hi中的(x，y)上的像素移动到的民中的新位置(X'，ず)。因此，八个模型參数θ Ij=Ia1, a2, a3, b1； b2, b3, C1, c3}描述从Hi到Hj的运动。这些參数通常通过首先确定两个帧之间的ー组点对应关系，然后使用像随机样本一致性(RANSAC)或它的变种那样健壮估计框架来估计。帧之间的点对应关系可以通过许多方法，例如，抽取和匹配尺度不变特征变换(SIFT)特征或使用光流来确定。对于基于取样超分辨率化过程，必须估计每个帧Ht与參考帧(H1)之间的运动。因此，估计三组參数Θ 21; Θ 31;和Θ 41 (分别对应于变换021，O31和041)。该变换是不可逆的，逆模型O M = O J1描述从Hj.到Hi的运动。取样网格选择对于每个高分辨率帧Ht，必须选择取样网格St，以便向下取样帧和创建低分辨率形式Lt。取样网格指示高分辨率帧中被取出和紧缩成相应低分辨率帧的像素。转到图7A-图7F，用于将HR高分辨率(HR)帧向下取样成低分辨率(LR)的取样网格的例子用标号700总体表示。更详细地说，图7A示出了高分辨率帧中的像素710。图7B示出了向下取样系数为2的四种均匀取样网格720。符号“ο”代表第一取样网格gl，符号“ + ”代表第二取样网格 g2，符号“X”代表第三取样网格g3，以及符号“ Λ ”代表第四取样网格g4。图7C示出了由第一取样网格S1得出的低分辨率帧730。图7D示出了由第二网格g2得出的低分辨率帧740。图7E示出了由第三取样网格g3得出的低分辨率帧750。图7F示出了由第四网格g4得出的低分辨率帧760。转到图8A-图8D，附加均匀取样网格用标号800总体表示。更详细地说，图8A示出了水平交错网格810。图SB示出了用标号820笼统表示、和用如下各自符号分别表示的取样网格g5，g6，g7和g8:o ;+;x;和Λ。图8C示出了垂直交错网格830。图8D示出了用标号840笼统表不、和用如下各自符号分别表不的取样网格g9, g10, gn和g12 o ；+ ；χ ;和Δ。这里让我们把我们自己约束到只使用均匀取样网格，即，在高分辨率帧的所有部分上具有均匀覆盖密度的那些取样网格。使用均匀网格具有明显的优点。首先，大致保留了高分辨率帧中的像素之间的空间和时间关系，这有助于编码器(例如，图I中的编码器115，图2中的编码器200)将视频中的空时冗余用于有效压缩。其次，在基于取样超分辨率系统出问题的情况下，可以空间内插均匀取样帧来创建高分辨率帧，因此保证了最低感受质量。第三，更易于将使用均匀网格取样的像素紧缩成低分辨率帧。对于每个高分辨率帧Ht，取样网格选择过程作为从网格候选池G= {gi i=l, ...，NJ中选择适当取样网格St的问题提出来。在一个实施例中，我们从显示在图7B、图SB、和图8D中的12种候选网格gl-g12中选择。注意，交错网格g5_g12可以潜在地捕获比长方形网格gl_g4更好的稍有旋转或剪切的像素网格。在选择网格时我们要应用的基本准则是在后处理阶段使超分辨率结果(S卩，超分辨率马赛克)的预期质量最高。在实践中，这是通过将网格St选择成使每个帧为超分辨率过程提供补充像素信息来实现的。网格选择过程通过重复超分辨率马赛克创建过程的一部分而进行。在一个实施例中，用于选择网格的准则是超分辨率填充系数。转到图9，与取样网格的选择有关的步骤用标号900总体表示。尤其，图9A示出了为參考帧选择取样网格的步骤910。图9B示出了初始化与H1相同大小的未填充超分辨率帧(Hsk)的步骤920 (其中I是恒等变换，因为我们假设了在Hsk与H1之间没有运动)。图9C示出了为每个候选网格选择填充系数的步骤930。图9D示出了针对每个帧Ht重复以前步骤以便选择相应St的步骤940。
取样网格选择的前面方法900也可以进ー步描述如下(假设ー组四个帧，H1是參考帧)I.计算每个帧Ht与參考帧(H1)之间的运动变换Otl.2.将參考帧的取样网格选成S1Zg1153.在參考帧的坐标下初始化“未填充”超分辨率帧(Hsk) (BP，假设在Hsk与H1之间没有运动)。“填充”Hsk中的像素对应于由网格S1给出的像素位置。4.对于其余每个HR帧Ht(tデ1)，计算G中的每种可能候选网格的填充系数。候选网格gi的填充系数被定义成Hsk中当为Ht选择gi时填充的以前未填充像素的数量。然后选择导致最高填充系数的网格も* (即，St=gi*)，并填充Ht中的相应像素(考虑到运动变换 tl)。5.如果已经处理了该组中的所有帧Ht，则终止；否则，返回到步骤4。 在步骤4中，按如下计算候选网格gi的填充系数。首先针对Ht依次考虑每种网格gi e G，使用Otl将gi给出的像素变换(移动)到Hsk (四舍五入到Hsk中的最近像素位置)，并通过记录变换的像素填充了 Hsk中的多少以前未填充像素位置来计算填充系数。此后，选择导致最高填充系数的网格gi* ((即，St=gi*)。注意，所选的网格St和所得的超分辨率质量可能取决于处理帧Ht的次序。一种定序策略是按它们相对于參考帧的时间距离的升序考虑帧。例如，如果H2是參考帧，则按如下次数处理其他帧=H1 ；H3 ;和H4。可以将填充系数度量的变种或牵涉到超分辨率质量的完全不同度规用作网格选择的准则。例如，取代将Hsk中的每个像素宣称为填充的或未填充的，我们可以跟踪映射到其中的每个像素的网格像素的数量。此后，将填充系数重新定义成増加信息的度量，其中对Hsk具有较大增加贡献的网格得分较高。网格选择的另一条准则牵涉到完全重复超分辨率过程(使用以前选择的网格S1-Sw和St的当前候选网格)并选择导致最高SR质量的网格St，例如，根据相对于參考帧的PSNR。将高分辨率向下取样成低分辨率在网格选择过程之后，每个高分辨率帧Ht都具有相应取样网格St。取决于St的性质，按如下将Ht向下取样成低分辨率帧Lt 在St是长方形网格(图7B)，即，St = gi (i = 1，2，3，4)的情况下，通过从St中取出像素并如图7C-7F所例示水平和垂直地紧缩它们而形成Lt。 在St是水平交错网格(图SB)，即，St=gi (i = 5，6，7，8)的情况下，将含有取样像素的每行向左移动以便垂直对准所有这些行中的第一取样像素。此后，通过如上所述紧缩它们形成Lt。 在St是垂直交错网格(图8D)，即，St = gi (i = 9，10，11，12)的情况下，将含有取样像素的每列向上移动以便水平对准所有这些列中的第一取样像素。此后，通过如上所述紧缩所述像素而形成Lt。对于具有各种其他结构的均匀取样网格，可以设计适当紧缩策略，以便使用从高分辨率帧中取样的像素来形成长方形低分辨率帧。然后使用视频编码器压缩如此创建的低分辨率帧。将包括估计运动变换參数(θ21，θ31，θ41)和所选取样网格(Sl，S2，S3，S4)的辅助信息作为元数据发送。注意，取代网格本身，发送取样网格索引就足够了(即，如果St=gi，则发送i)。然后在后处理阶段从查找表中获知网络。基于取样SR的后处理阶段在后处理阶段，我们使用解码的低分辨率帧和元数据以重构相应高分辨率帧，SP，称为超分辨率(SR)的过程。转到图10，与基于取样超分辨率方法的后处理阶段有关的示范性方法用标号1000总体表示。该方法1000包括将控制交给功能块1010的开始块1005。功能块1010输入来自解码器的低分辨率视频帧t=l，. . .，N，并将控制交给功能块1015。功能块1015将来自每个低分辨率帧的有效像素变换成超分辨率马赛克坐标，并将控制交给功能块1020。功能块1020通过内插整数像素位置上的值创建超分辨率马赛克，并将控制交给功能块1025。功能块1025通过将超分辨率马赛克逆变换成高分辨率帧坐标重构每个高分辨率帧，并将控制交给功能块1030。功能块1030重构高分辨率帧t=l，. . .，N，并将控制交给结束块1099。功能块1035将取样网格索引提供给功能块1015以便供其使用。功能块1040将运动參数(元数据)提供给功能块1015和1025以便供其使用。假设在后处理阶段我们拥有与一组高分辨率帧Ht (t = 1,2,3,4)相对应的ー组 解码LR巾贞(图4A-4D)。元数据包括运动參数和取样网格索引。如下是使用解码低分辨率帧和辅助信息重构高分辨率巾贞所牵涉的步骤(參见图5A-5D)。I.从低分辨率帧中创建超分辨率马赛克在这个步骤中，使用来自该组解码低分辨率帧的像素和辅助信息创建高分辨率“SR”马赛克图像#·。这将用作从中重构HR帧的參考图像。更详细地说，每个重构HR帧的一部分来自SR马赛克，而其余部分将从相应LR帧像素空间内插得到。2.重构高分辨率帧将辅助信息用于引导该过程，使用超分辨率马赛克图像fa
和低分辨率巾贞i 重构该组中的每个高分辨率帧14 。下文进ー步说明这些步骤。从低分辨率帧中创建超分辨率马赛克在这个步骤中，使用该组解码低分辨率帧￡t(t = 1，2，3，4)和相关元数据构建高分辨率超分辨率马赛克图像f·，相关元数据包含用于创建低分辨率帧Lt的网格St和从每个帧到该组中的參考帧(在图5A中，t = I上的帧)的变换Otl。假设fSR与參考帧处在相同坐标中，即，在Isi与I1.之间没有运动。如下是构建fs*的步骤I.暂时认为是可能存在非整数像素位置的连续2D像素空间，例如，
(I. 44,2. 35) =128。2.将解码低分辨率帧If中的相应像素值填入^!中变换网格位置 tl(St)给出的像素位置中。对该组中的每个解码低分辨率帧(セ=1，2，3，4)都这样做。注意，由于在Iw与之间没有运动，所以Θη = I (恒等变换)。3.最后，通过从那些位置的每ー个周围的像素值中内插有足够(例如，如使用阈值确定的)数据可用的所有整数像素位置上的像素值来构建图像。有多种(非均匀)空间内插方法可用于这种操作。这些方法取出一组像素位置和相应值，并输出任意个其他位置上的内插值。MATLAB的网格数据函数可以用于进行这种内插。上面步骤的结果是超分辨率马赛克图像。另外，可以计算有效性图来确定HsfJ的哪些像素包括可靠信息，以便只将这些像素用在高分辨率帧的构建中。可以在马赛克图像的每个像素上根据围绕该像素的邻域中的样本(例如，样本的数量或密度)计算有效性的度量。此后，马赛克中的像素只有当它的有效性值足够高(例如，在给定阈值之上)才用在重构过程中。高分辨率帧的重构现在按如下重构每个高分辨率巾贞f jXt = 1,2,3,4)I.暂时认为遵^是可能存在非整数像素位置的连续2D像素空间。将も中的相应像素值填入中网格St给出的像素位置中。2.使用运动变换Olt变换:中的像素位置。注意， lt是 tl的逆变换。如果 中的整数像素位置X变换之后映射到#f空间中的位置y[即，7= 1100]，则将14 中的
相应值填入y中，即，fff(y)=鳥s(x)。3.最后，通过从那些位置的每ー个周围的像素值中内插该帧中的所有整数像素位置上的像素值来重构高分辨率巾贞ft。这是使用如前面部分(步骤3)所述的空间内插方法来
管理的。不确定帧边界之外的像素。管理前景对象至此，我们假设了帧之间的运动完全通过全局运动模型，S卩，遵从这种运动模型的所有像素来描述的。我们现在展示管理前景对象的策略。将前景对象定义成不遵循帧之间的全局运动的对象(或区域)。换句话说，这些对象具有不同于帧之间的全局运动的运动。转到图IlA-图11B，前景对象在两个帧(巾贞I和帧2)之间的运动用标号1100表示。为了避免基于取样超分辨率过程中的假像，重要的是定位前景对象以及在该过程中的某些步骤期间使用这种知识。前景可以用ニ值掩码Ft来表示，其中Ft=I指示前景像素，和Ft=O指示背景像素。假设我们已经为每个帧获得了指示其中的前景像素的ニ值掩码Ft (如图IlB所示)。设FGt是所有像素都具有Ft=I的集合，和:是所有像素都具有Ft=O的集合。然后，可以按如下使用这个信息·在取样网格选择过程中，在为取样Ht确定取样网格以创建Lt的时候可以排除前景区域。在步骤3和4中，我们将避免FGt中的像素从Ht到Hsk的映射。因此只根据背景像素计算填充系数(或其他度量)。而且，在取样网格估计期间，可以认为Ht中的足够平坦区域是FGt的一部分。这样就可以通过在网格选择过程期间较重视具有细节的区域来提高超分辨率。平坦区域可以根据像空间方差那样的度量来确定。·在将高分辨率帧向下取样成低分辨率之前，可以将反混叠滤波器应用于帧中的前景区域。由于在当前实施例中前景区域不是超分辨率的，所以反混叠操作可能有助于在后处理阶段为这些区域获取更好空间内插結果。 考虑超分辨率马赛克创建过程。在步骤2中，我们可以避免将|(的前景像素(FGt)变换到HfS。·在高分辨率帧重构过程的步骤2中，我们放弃落在通过FGt定义的区域内的从 到■的任何变换像素。而且，在步骤I中，我们(可选地)选择不使用映射在通过;定
义的区域内的来自St的像素。·在前两种变更中,可以认为&或H中的足够(如,例如,使用阈值确定的)平坦区域是FGt的一部分。在这种情况下，将空间内插用于向上取样这些区域。·迄今为止，仅仅从相应解码低分辨率帧中的像素中空间内插了重构高分辨率中中的前景区域。来自其他低分辨率帧的信息未明确用于超分辨率化这些区域。但是，也可以发送像块运动矢量(利用帧之间的子像素运动)或高分辨率小片那样的一些附加信息作为元数据，以便在接收器方部分或全部超分辨率化前景区域。
除了上述之外，可以使用前景信息的其他准则来提高结果的质量。前景掩码估计从存在独立运动区域的帧中抽取纯粹可靠前景掩码是困难的问题。全局运动估计中的误差以及像素值中的噪声使该过程复杂化。而且，还存在紧致地表示和向解码器发送作为元数据的前景信息的问题。现在描述为每个高分辨率帧Ht抽取前景掩码Ft的ー种方法。这个过程发生在可获得高分辨率帧的预处理阶段。如下是该过程中的步骤。I.对于帧H1，用零填充掩码じ。换句话说，将所有像素当作背景。2.为了抽取Ft，将Ht与Hlt=Olt(H1)相比较，即，将H1变换成Ht的坐标。考虑围绕像素的小邻域地在Ht中的每个像素X与Hlt中的相应像素之间计算归ー化相关性度规Ntl(X)0如果在Hlt中没有相应像素(即，Otl(X)位于氏的边界之外)，则将Ft(X)设置成I。否则，如果Ntl (X) >T，其中T是所选阈值，则Ft (X) =O0否则，Ft (x)=lo 可以取而代之地使用包括上述方法的变种在内的其他方法。如果在预处理阶段计算掩码，则必须将它们作为辅助信息发送给接收器。可以不必发送前景掩码的高分辨率形式。可以使用与用于从Ht中创建低分辨率帧Lt相同的策略将掩码向下取样成低分辨率，然后在后处理阶段向上取样。也可以在发送之前压缩掩码(例如，使用ZIP、MPEG-4AVC标准、和/或任何其他数据压缩方案)。可替代的是，通过在接收器方使用解码低分辨率帧和元数据计算掩码可以完全避免发送它们。但是，在接收器上计算可靠掩码是困难的问题。如本领域的普通技术人员可明显看出，我们注意到可以应用在本原理的一个或多个实施例中和仍然在本发明的范围之内的如下可能变种。I.尽管该方法是针对ー组4个帧来描述，但该组中的数目N没有上限。在实践中，N应该至少是4。该组的大小可以根据向下取样系数和帧之间的运动量来确定。2.可以将K > N个帧的序列分解成每组N个帧的若干组。每组可以使用所提方法来处理。3.參考帧无需总是该组中的第一帧。使用接近该组的(时间)中心的帧以便在參考帧与非參考帧之间的运动量最小可能是有利的。4.在重构ー组帧的时候，可以使用来自其他帧组的信息。例如，从前组中重构的高分辨率參考帧可以用于重构当前组中的非參考帧。为此，可以确定帧组之间的运动信息并作为元数据发送。此外，在超分辨率马赛克创建过程期间可以使用来自当前组之外的帧的信息。5.本文的处理对于灰度(单种成分)和彩色(多种成分)帧两者都是有效的。预处理和后处理步骤的ー种或多种(例如，取样网格选择)可以针对每种彩色成分独立地进行或通过联合考虑所有彩色成分来进行。例如，可以为每个彩色成分确定不同取样网格。6.可以为单个帧的不同区域估计多种取样网格。例如，可以将ー个帧划分成四个长方形四分之一区域，并为每个区域选择取样网格。在这种情况下，按每个四分之一区域而不是按帧执行上面标题为“取样网格选择”的部分中的步骤2、3和4。所有随后过程(向下取样、后处理)都作相应修改，以便将不同取样网格用于帧的不同区域。7.可以为单个帧的不同区域估计不同全局运动变换。例如，在上述标题为“运动估计”的部分中，可以将ー个帧划分成四个长方形四分之一区域，并且可以在每个区域与该 组中的參考帧之间估计不同变换。所有随后过程将相应变换用于帧中的每个区域。8.在上述标题为“运动估计”的部分中，取代估计从该组中的每个帧到參考帧的变换，可以估计从每个帧到下ー个帧(或反过来)的变换，并组合这些变换之ー或多种以导出所需变换。9.在前景掩码中(在上述标题为“前景掩码估计”的部分中)，可以将一条边界像素当作前景，例如，以便管理固定黒色边界。如前所述，也可以将足够平坦区域当作前景。现在对其中ー些上面已经提及的本发明的许多附带优点/特征的一些加以描述。例如，ー个优点/特征是含有向下取样器和元数据生成器和至少ー个编码器的装置。该向下取样器和元数据生成器用于接收高分辨率画面和从中生成低分辨率画面和元数据。该元数据用于引导低分辨率画面和元数据的后解码后处理。该至少一个编码器(152)用于编码低分辨率画面和元数据。另ー个优点/特征是如上所述的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中元数据包括运动变换信息和取样网格信息。又一个优点/特征是如上所述的其中元数据包括运动变换信息和取样网格信息的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中运动变换信息包含与高分辨率画面的两个或更多个之间的全局运动有关的全局运动变换信息。再一个优点/特征是如上所述的其中元数据包括运动变换信息和取样网格信息的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中取样网格信息包含指示用于通过向下取样从高分辨率画面中生成低分辨率画面的多个向下取样网格的每个各自向下取样网格的取样网格索引。进ー步优点/特征是如上所述的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中高分辨率画面包括至少ー个參考画面和ー个或多个非參考画面，和向下取样器和元数据生成器通过估计从參考画面到ー个或多个非參考画面的每ー个的运动、根据运动信息从多个候选向下取样网格中选择ー个或多个向下取样网格以便用在向下取样高分辨率画面中、以及使用一个或多个向下取样网格向下取样高分辨率画面来生成低分辨率画面。此外，另ー个优点/特征是如上所述的其中高分辨率画面包括至少ー个參考画面和ー个或多个非參考画面，并且向下取样器和元数据生成器通过估计从參考画面到ー个或多个非參考画面的每ー个的运动、根据运动信息从多个候选向下取样网格中选择ー个或多个向下取样网格以便用在向下取样高分辨率画面中、以及使用一个或多个向下取样网格向下取样高分辨率画面而生成低分辨率画面的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中根据运动信息选择ー个或多个向下取样网格，以便当使用ー个或多个向下取样网格向下取样时，每个高分辨率画面为低分辨率画面的后解码后处理提供补充像素信息。并且，另ー个优点/特征是如上所述的其中根据运动信息选择ー个或多个向下取样网格，以便当使用一个或多个向下取样网格向下取样时，每个高分辨率画面为低分辨率画面的后解码后处理提供补充像素信息的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中进ー步根据填充系数来选择网格，该填充系数指示使用一个或多个向下取样网格的特定ー个生成的超分辨率画面中的以前未填充像素的数量，该超分辨率画面对应于通过低分辨率画面和元数据的后解码后处理提供的输出。
此外，另ー个优点/特征是如上所述的其中根据运动信息选择ー个或多个向下取样网格，以便当使用一个或多个向下取样网格向下取样时，每个高分辨率画面为低分辨率画面的后解码后处理提供补充像素信息的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中进ー步根据失真度量来选择网格。另外，另ー个优点/特征是如上所述的其中高分辨率画面包括至少ー个參考画面和ー个或多个非參考画面，和向下取样器和元数据生成器通过估计从參考画面到一个或多个非參考画面的每ー个的运动，根据运动信息从多个候选向下取样网格中选择ー个或多个向下取样网格以便用在向下取样高分辨率画面中，以及使用一个或多个向下取样网格向下取样高分辨率画面来生成低分辨率画面的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中将多个向下取样网格的不同几个用于向下取样至少ー个高分辨率画面的特定ー个的不同部分。此外，另ー个优点/特征是如上所述的其中高分辨率画面包括至少ー个參考画面和ー个或多个非參考画面，和向下取样器和元数据生成器通过估计从參考画面到一个或多个非參考画面的每ー个的运动、根据运动信息从多个候选向下取样网格中选择ー个或多个向下取样网格以便用在向下取样高分辨率画面中、以及使用一个或多个向下取样网格向下取样高分辨率画面来生成低分辨率画面的含有向下取样器和元数据生成器和至少ー个编码器的装置，其中为每个高分辨率画面构建各自ニ值掩码，该ニ值掩码指示高分辨率画面中的前景像素的各自地点。相关领域的普通技术人员可以根据本文的教导轻易地弄清本原理的这些和其他特征和优点。应该明白，本原理的教导可以以硬件、软件、固件、专用处理器、或它们的组合的各种形式实现。最优选的是，将本原理的教导实现成硬件和软件的组合。此外，软件可以实现成有形地具体化在程序存储单元上的应用程序。应用程序可以上载到包含任何适用结构的机器上并由它执行。优选的是，在含有像ー个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)、和输入/输出(“I/O”)接ロ那样的硬件的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。本文所述的各种过程和功能可以是可由CPU执行的部分微指令代码或部分应用程序、或它们的任何组合。另外，像附加数据存储単元和打印单元那样的各种其他外围单元可以与计算机平台连接。还应该明白，因为描绘在附图中的一些分系统部件和方法最好用软件实现，所以系统部件或过程功能块之间的实际连接可能随编程本原理的方式而异。给定本文的教导，相关领域的普通技术人员能够设想出本原理的这些和类似实现或配置。尽管本文參考附图描述了ー些例示性实施例，但应该明白，本原理不局限于那些确切实施例，相关领域的普通技术人员可以不偏离本原理的精神或范围地实施各种改变和 修改。所有这样的改变和修改都欲包括在如所附权利要求书所述的本原理的范围之内。
权利要求
1.一种装置，其包含 向下取样器和元数据生成器(151)，用于接收高分辨率画面和从中生成低分辨率画面和元数据，该元数据用于引导低分辨率画面和元数据的后解码后处理；以及 至少一个编码器(152)，用于编码低分辨率画面和元数据。
2.如权利要求I所述的装置，其中元数据包括运动变换信息和取样网格信息。
3.如权利要求2所述的装置，其中运动变换信息包含与高分辨率画面的两个或更多个之间的全局运动有关的全局运动变换信息。
4.如权利要求2所述的装置，其中取样网格信息包含取样网格索引，该取样网格索引指示用于通过向下取样从高分辨率画面中生成低分辨率画面的多个向下取样网格的每个各自向下取样网格。
5.如权利要求I所述的装置，其中高分辨率画面包括至少一个参考画面和一个或多个非参考画面，和向下取样器和元数据生成器(151)通过估计从参考画面到一个或多个非参考画面的每一个的运动、根据运动信息从多个候选向下取样网格中选择一个或多个向下取样网格以便用在向下取样高分辨率画面中、以及使用一个或多个向下取样网格向下取样高分辨率画面来生成低分辨率画面。
6.如权利要求5所述的装置，其中根据运动信息选择一个或多个向下取样网格，以便当使用一个或多个向下取样网格向下取样时，每个高分辨率画面为低分辨率画面的后解码后处理提供补充像素信息。
7.如权利要求6所述的装置，其中进一步根据填充系数来选择网格，该填充系数指示使用一个或多个向下取样网格的特定一个生成的超分辨率画面中的以前未填充像素的数量，该超分辨率画面对应于通过低分辨率画面和元数据的后解码后处理提供的输出。
8.如权利要求6所述的装置，其中进一步根据失真度量来选择网格。
9.如权利要求5所述的装置，其中将多个向下取样网格的不同几个用于向下取样至少一个高分辨率画面的特定一个的不同部分。
10.如权利要求5所述的装置，其中为每个高分辨率画面构建各自二值掩码，该二值掩码指示高分辨率画面中的前景像素的各自地点。
11.一种方法，其包含 接收(610)高分辨率画面和从中生成(625，110)低分辨率画面和元数据，该元数据用于引导低分辨率画面和元数据的后解码后处理；以及 使用至少一个编码器编码(115)低分辨率画面和元数据。
12.如权利要求11所述的方法，其中元数据包括运动变换信息和取样网格信息(615，620)。
13.如权利要求12所述的方法，其中运动变换信息包含与高分辨率画面的两个或更多个之间的全局运动有关的全局运动变换信息(615)。
14.如权利要求12所述的方法，其中取样网格信息包含取样网格索引，该取样网格索引指示用于通过向下取样从高分辨率画面中生成低分辨率画面的多个向下取样网格的每个各自向下取样网格(620)。
15.如权利要求11所述的方法，其中高分辨率画面包括至少一个参考画面和一个或多个非参考画面，和向下取样器和元数据生成器通过估计(615)从参考画面到一个或多个非参考画面的每一个的运动、根据运动信息从多个候选向下取样网格中选择(620) —个或多个向下取样网格以便用在向下取样高分辨率画面中、以及使用一个或多个向下取样网格向下取样(625)高分辨率画面来生成低分辨率画面。
16.如权利要求15所述的方法，其中根据运动信息选择一个或多个向下取样网格，以便当使用一个或多个向下取样网格向下取样时，每个高分辨率画面为低分辨率画面的后解码后处理提供补充像素信息。
17.如权利要求16所述的方法，其中进一步根据填充系数来选择网格，该填充系数指示使用一个或多个向下取样网格的特定一个生成的超分辨率画面中的以前未填充像素的数量，该超分辨率画面对应于通过低分辨率画面和元数据的后解码后处理提供的输出。
18.如权利要求16所述的方法，其中进一步根据失真度量来选择网格。
19.如权利要求15所述的方法，其中将多个向下取样网格的不同几个用于向下取样至少一个高分辨率画面的特定一个的不同部分。
20.如权利要求15所述的方法，其中为每个高分辨率画面构建各自二值掩码，该二值掩码指示高分辨率画面中的前景像素的各自地点。
21.一种装置，其包含 解码器(153)，用于接收位流和从中解码低分辨率画面和元数据；以及 超分辨率后处理器(154)，用于使用低分辨率画面和元数据重构分别与低分辨率画面相对应的高分辨率画面。
22.如权利要求21所述的装置，其中元数据包括运动变换信息和取样网格信息。
23.如权利要求22所述的装置，其中运动变换信息包含与高分辨率画面的两个或更多个之间的全局运动有关的全局运动变换信息。
24.如权利要求22所述的装置，其中取样网格信息包含取样网格索引，该取样网格索引指示用于通过向下取样从高分辨率画面中生成低分辨率画面的多个向下取样网格的每个各自向下取样网格。
25.如权利要求21所述的装置，其中超分辨率后处理器(154)从元数据和低分辨率画面中创建高分辨率马赛克，并使用低分辨率画面、元数据、和高分辨率马赛克重构高分辨率画面。
26.如权利要求25所述的装置，其中通过从低分辨率画面中的周围共处像素的像素值中内插高分辨率马赛克中的像素位置上的像素值来创建高分辨率马赛克。
27.如权利要求25所述的装置，其中所述超分辨率后处理器(154)生成包括高分辨率马赛克中的每个像素的有效性的度量的有效性图。
28.如权利要求27所述的装置，其中高分辨率马赛克中的给定一个像素的有效性的度量是根据围绕给定一个像素的邻域中的样本计算的，并且只有当针对给定一个像素计算的有效性的度量超过阈值时才将给定一个像素指定成可接受的，以便用在重构高分辨率画面中。
29.如权利要求25所述的装置，其中给定一个高分辨率画面是通过从相应一个低分辨率画面中的周围共处像素、高分辨率马赛克中的周围共处像素、和至少另一个低分辨率画面中的周围共处像素的至少一个的像素值中内插给定一个高分辨率画面中的像素位置上的像素值而重构的，其中从高分辨率马赛克中的周围共处像素中内插牵涉到像素在给定一个高分辨率画面与高分辨率马赛克之间的运动变换，以及其中从至少另一个低分辨率画面中的周围共处像素中内插牵涉到像素在给定一个高分辨率画面与至少另一个低分辨率画面之间的运动变换。
30.如权利要求21所述的装置，其中特定一个高分辨率画面的前景像素是通过从低分辨率画面中的周围共处像素中内插而重构的。
31.一种方法，其包含 使用解码器接收位流和从中解码(1010)低分辨率画面和元数据；以及 使用低分辨率画面和元数据重构(1025)分别与低分辨率画面相对应的高分辨率画面。
32.如权利要求31所述的方法，其中元数据包括运动变换信息和取样网格信息。
33.如权利要求32所述的方法，其中运动变换信息包含与高分辨率画面的两个或更多个之间的全局运动有关的全局运动变换信息。
34.如权利要求32所述的方法，其中取样网格信息包含取样网格索引，该取样网格索引指示用于通过向下取样从高分辨率画面中生成低分辨率画面的多个向下取样网格的每个各自向下取样网格。
35.如权利要求31所述的方法，进一步包含从元数据和低分辨率画面中创建(1020)高分辨率马赛克，并且其中所述重构步骤使用低分辨率画面、元数据、和高分辨率马赛克重构高分辨率画面。
36.如权利要求35所述的方法，其中通过从低分辨率画面中的周围共处像素的像素值中内插(1020)高分辨率马赛克中的像素位置上的像素值来创建高分辨率马赛克。
37.如权利要求35所述的方法，进一步包含生成包括高分辨率马赛克中的每个像素的有效性的度量的有效性图。
38.如权利要求37所述的方法，其中高分辨率马赛克中的给定一个像素的有效性的度量是根据围绕给定一个像素的邻域中的样本计算的，并且只有当针对给定一个像素计算的有效性的度量超过阈值时才将给定一个像素指定成可接受的，以便用在重构高分辨率画面中。
39.如权利要求35所述的方法，其中给定一个高分辨率画面是通过从相应一个低分辨率画面中的周围共处像素、高分辨率马赛克中的周围共处像素、和至少另一个低分辨率画面中的周围共处像素的至少一个的像素值中内插给定一个高分辨率画面中的像素位置上的像素值来重构的，其中从高分辨率马赛克中的周围共处像素中内插牵涉到像素在给定一个高分辨率画面与高分辨率马赛克之间的运动变换，以及其中从至少另一个低分辨率画面中的周围共处像素中内插牵涉到像素在给定一个高分辨率画面与至少另一个低分辨率画面之间的运动变换。
40.如权利要求31所述的方法，其中特定一个高分辨率画面的前景像素是通过从低分辨率画面中的周围共处像素中内插重构的。
41.一种含有编码在上面的视频信号数据的计算机可读存储媒体，其包含 从高分辨率画面中生成的编码低分辨率画面和元数据，该元数据用于引导低分辨率画面和元数据的后解码后处理。
全文摘要
本发明提供了一种基于取样超分辨率视频编码和解码的方法和装置。该编码方法包括接收(610)高分辨率画面和从中生成(625)低分辨率画面和元数据，该元数据用于引导低分辨率画面和元数据的后解码后处理；以及使用至少一个编码器编码低分辨率画面和元数据。相应解码方法接收位流和使用解码器从中解码低分辨率画面和元数据；然后使用低分辨率画面和元数据重构分别与低分辨率画面相对应的高分辨率画面。
文档编号H04N7/46GK102823242SQ201180015335
公开日2012年12月12日 申请日期2011年1月20日 优先权日2010年1月22日
发明者S.巴加瓦西, J.拉克, 张冬青 申请人:汤姆森特许公司