专利名称：用于增强高清视频内容的方法和设备的制作方法
技术领域：
本发明一般涉及视频图像增强，尤其涉及高清视频内容的增强。
背景技术：
目前存在各种应用对将在高清电视(HDTV)上显示的标清(SD)信号进行上变换或上采样的分辨率增强技术。SD图像一般被认为在竖直方向上具有480个像素， 而HD图像一般被认为竖直地具有至少720个像素。当前使用的各种HDTV格式中的某些格式包括 1(^4x768 (XGA)，1280x720 (720p)，1366x768 (WXGA)，1280x1080 (1080 )，和 1920x1080 (1080p)。一种应用执行SD视频图像的分辨率增强的技术被称为“超分辨率”技术，该技术使用来自若干顺序图像的信息来创建一个扩大的图像。本质上，该技术从一帧提取细节来重构其他帧。其他SD分辨率增强技术包括空间内插和子像素运动补偿。这些分辨率增强技术通常被用来对DVD内容进行上变换以在例如HDTV上显示。然而，到目前为止，几乎很少注意如下事实全HD图像也包含瑕疵并且因此可以得益于图像增强。所以，仍存在未被满足的对用于增强高清视频内容的方法和设备的需要。
发明内容
用于增强高清视频内容的方法、设备和计算机程序产品在这里被公开并要求保护。在一个实施例中，一种方法包括接收具有原始帧分辨率的高清(HD)视频图像帧，然后将HD视频图像帧上采样到扩大的帧分辨率，其中扩大的帧分辨率是原始帧分辨率的预定倍数。该方法还包括对HD视频图像帧进行低通过滤，并且然后对在那之后的HD视频图像帧进行子采样。HD视频图像帧随后可被显示。本发明的其他方面、特征和技术将因发明的以下详细说明书而对相关领域技术人
员明显。
当结合附图来理解时，本发明的特征、目的和优点将通过以下给出的详细说明而变得更明显，遍及附图，相似的参考符号相对应地进行标识，并且其中图IA描绘了用于HD视频帧图像的典型能量分布的图示；图1B-1D描绘了在各种处理操作和增强根据发明的原理被执行后用于HD视频帧图像的能量分布的示意性图示；图2A-2B描绘了在根据发明的一个实施例被增强前后用于给定的HD视频帧图像的能量分布的图示；图3描绘了被配置成实施发明的一个或多个实施例的处理电路的简化图示；并且图4描绘了用于执行发明的一个或多个方面的处理的一个实施例。
具体实施例方式公开概述本公开涉及在HD视频内容被显示设备(例如电视机)、机顶盒或类似的客户端设备接收后和显示前增强HD视频内容。在某些实施例中，HD视频图像帧可以首先通过缩放图像的分辨率来上采样。该上采样处理可包括诸如“超分辨率”处理之类的图像增强技术的应用。之后，HD视频图像帧可被低通过滤以将图像的能量分布集中到更紧缩的频率范围内。最后，经过滤的HD视频图像帧被子采样回诸如原始HD图像的帧分辨率，或者任何其他 HD级分辨率。在某些实施例中，前述处理往往会导致更多可用能量分布将被利用，并且因此更多可用图像细节被显示。这样，即时已经考虑了高清质量，视频内容的清晰度和细节层次也可被改善。如这里所使用的，术语“HD”将指代在竖直方向上至少具有720像素的帧分辨率的视频内容。如这里所使用的，术语“一”将意味着一个或多于一个。术语“多个”将意味着两个或多于两个。术语“另一”被定义为第二个或更多。术语“包括”和/或“具有”是开放式的 (例如，含有)。这里所使用的术语“或”被理解成包含的或者意味着任一个或任意组合。因此，“A、B或C”意味着“以下情况中的任一个=A ；B ；C ；A和B ;A和C ；B和C ；A、B和C”。该定义的例外仅在要素、功能、步骤或动作的组合在某些方式中固有地互相排斥时出现。本文档各处对“ 一个实施例”、“某些实施例”、“实施例，，或类似术语的引用意味着结合该实施例描述的特定特征、结构或特点被包含在本发明的至少一个实施例中。因此，这些短语在本说明书各处的出现不一定都指代同一实施例。此外，特定特征、结构或特点可不受限制地以任何适当方式结合到一个或多个实施例上。根据计算机编程领域技术人员的实践，在下面参考由计算机系统或相似电子系统执行的操作来描述本发明。这些操作有时被称为计算机运行的。将理解，用符号表示的操作包括由诸如中央处理单元之类的处理器对代表数据比特的电信号进行的操纵以及对诸如系统存储器之类的存储场所处的数据比特的维护还有其他信号处理。数据比特被维护的存储场所是具有与数据比特相对应的特定电、磁、光或有机属性的物理场所。当以软件形式实现时，发明的要素本质上是执行必要任务的代码段。代码段可被存储在包括任何可以存储信息的介质在内的“处理器存储介质”中。处理器存储介质的示例包括电子电路、半导体存储设备、ROM、闪存或其他非易失性存储器、软盘、CD-ROM、光盘、 硬盘等。示例性实施例的描述现在参考图1A，描绘了用于HD视频图像的能量分布的示意性图示100，其中图像的能量(y轴)被示为谱频率(χ轴)的函数。本质上，图IA描绘了图像的二维傅里叶变换的直方图。如众所周知的，奈奎斯特频率105表示对于给定的采样频率、为了能够完整地重构信号、可以被编码的最高频率。从图IA中可以看出，示意性原始HD图像的能量110没有利用全部的可用频谱，并且因此不像它能被给予可用带宽那样的详细。为此，本公开的一个方面是通过首先缩放(例如，加倍、三倍等)图像的分辨率来对图IA的原始视频图像帧进行扩大或上采样。该上采样还具有按比例缩放(例如，加倍、三倍等)奈奎斯特频率的效果，使得上采样操作之后产生的奈奎斯特频率在图IB的图示115中被示为频率120。不幸的是，简单地上采样HD视频图像帧分辨率对图像的能量110的频率分布将不具有有益效果。并且，由于那时(即，上采样之后)将使用更少的可用频率分布，产生的扩大的帧图像将看起来更模糊。因此，该上采样过程可与图像增强过程组合或结合执行，人工地重建图像细节并且从而延伸和改善视频图像的能量分布以包括区域125，如图IB所示。应该理解，几乎任何视频图像增强技术可被应用，包括例如包含顺序多帧处理的“超分辨率” 增强。要使用的分辨率增强还可包括单帧处理操作中的混合颜色分离和/或基于边缘修补使用模式匹配的统计方法的应用。在上述上采样和增强操作之后，现在参考图IC的图示130，可对经上采样的HD视频图像帧进行低通过滤操作以便进一步将图像的能量分布集中到更紧缩的频率范围内。在一个实施例中，产生的(即，过滤后的)视频图像能量可用图IC的区域135表示。一旦HD视频图像帧已如上所述被低通过滤，本公开的又一方面随后就会将经过滤的HD视频图像帧分辨率子采样回原始HD图像的分辨率，该原始分辨率通常是720p、 IOSOi或1080p。作为替代，可能希望将经过滤的图像子采样回某些其他HD级分辨率。在任一情况中，如图ID的图示140所示，奈奎斯特频率145将按比例减少到与新子采样的图像分辨率相对应的新频率145。在某些实施例中，该子采样操作可以是上述上采样操作的数学反转。例如，如果原始HD图像分辨率在前述上采样操作中被加倍，则在该后续子采样操作中它可以被减半。类似地，由于奈奎斯特频率与帧分辨率子采样成比例地受影响，产生的新子采样的视频图像帧的奈奎斯特频率145本质上可以与原始HD视频图像的奈奎斯特频率(即，图IA的奈奎斯特频率10 相同。因此，更多的可用能量分布将被利用，并且更多可用图像细节被显示。还应理解，上面参考图1B-1D描述的图像处理可由机顶盒或在显示设备自身中执行。应该注意，上述上采样、分辨率增强、过滤和子采样操作可在全部帧(full-frame)的基础上执行。然而，由于处理全部帧可能需要相对大量的存储器，因此，在另一实施例中，这些操作可在逐块的基础上执行，这往往使用少得多的存储器，但也往往增加处理负荷。现在参考图2A-2B，描绘原始HD视频图像帧(图2A的图示200)和已根据发明的原理增强的经处理HD视频图像帧(图2B的图示220)的能量分布之间的比较。具体地，可以看出，图示220的能量分布(见区域230)比图200的能量分布(见区域210)在较高频率处包含更大量的能量。区域230比区域210包含更多能量的事实意味着与图示220相关的视频图像帧比图示200的图像帧包含更多细节，因此将产生更锐利和更清晰的图像。这是因为以下事实图像中的精细纹理区域和锐利边缘包含高空间频率能量。这是在诸如电影到视频(电视电影)转换、采样率转换或几乎任何图像操纵处理之类的转换处理中易于丢失的信息。分辨率增强处理人工地重建该丢失的信息并因此增强了高频分量能量。图3描绘了被配置成实施本发明的一个或多个方面的处理电路300的简化框图。 虽然在一个实施例中，处理电路300可在显示设备(例如，电视机)中实现，但是还应理解， 它可类似地在用来接收并在提供给显示器之前处理HD视频内容的机顶盒或相似客户端设备中实现。如图3所示，HD视频图像帧310序列形式的HD视频内容被处理电路300接收。作为替代，HD视频内容可作为随后被转换成视频图像帧数据的分组化数据被接收。HD视频内容可如何被转换成或以其他方式处理成一系列视频图像帧的细节是本领域公知的，在此不
箭^^見。还应理解，处理电路300可在显示设备或机顶盒中与其他电路组合，或者可被配置成一系列单独的电路。另外，组合处理电路300的各个部件可以是组合的或分开的，并且 /或者可以由具有本领域公知的电路设计和实现的一个或多个单独的处理器(未示出)控制。另外，构成处理电路300的各个部件的每一个可用硬件、软件或其任意组合来实现。如上面参考图IB所描述的，发明的一个方面是通过缩放(例如，加倍，三倍等)图像的分辨率来对接收的HD视频图像帧进行上采样。在图3的实施例中，这可由上采样器 320执行。上采样器还可包括人工重建图像细节的分辨率增强器部件330，以延伸和改善视频图像帧的能量分布以包括高频，如上面在图IB中所描绘的。应该理解，任何已知的图像增强技术可被应用。还应理解，分辨率增强器部件330可与上采样器320分开。一旦HD视频图像帧已被上采样，信号就可被提供到低通过滤器340。在一个实施例中，产生的(即过滤后的)视频图像帧能量可被表示成前面图IC中描绘的那样。一旦HD视频图像帧已被低通过滤，HD信号就可被提供到子采样器350，子采样器可被配置成将经过滤的HD视频图像帧分辨率缩小回原始HD图像的分辨率，或某些其他所需HD级分辨率。在某些实施例中，该子采样操作可以是上采样器320执行的上采样操作的数学反转。例如，如果原始HD图像分辨率被上采样器320加倍，则它可相应地被子采样器 350减半。类似地，由于奈奎斯特频率与帧分辨率子采样成比例地受影响，因此产生的经子采样的视频图像帧的奈奎斯特频率本质上可以与进入的HD视频图像帧310的相同，这意味着更多可用能量分布将被利用(见图1D)，并且因此更多可用图像细节被显示。应该注意，上采样器320、分辨率增强器330、低通过滤器340和子采样器350可如上所述或者在全部帧的基础上或者为降低系统的存储器需求在逐块的基础上执行它们各自的操作。图4描绘了用于根据发明原理增强HD视频内容的处理400的一个实施例。具体地，处理400可由图3的处理电路300实现并且/或者提供上面参考图1B-1D描述的各种能量分布和有关图像增强。处理400开始于块410，其中HD视频内容被接收。如前所述，该HD视频内容可由显示设备(例如电视机)接收，或者在被提供给显示设备之前最初由机顶盒接收。HD视频内容将优选地是视频图像帧的形式，虽然它最初可以是随后被转换成一系列视频图像帧的分组化形式。—旦被接收，HD视频图像帧可在块420处首先(例如，使用上采样器320)通过缩放图像的分辨率而被扩大或上采样。该上采样还具有按比例缩放奈奎斯特频率(例如，参见图IB的奈奎斯特频率120)的效果。结合或跟着块420的上采样处理，(例如，使用分辨率增强器330的)图像增强技术可在块430处被应用于经上采样的HD视频图像帧以便人工地重建图像细节并因此延伸和改善视频图像的能量分布(例如，参见图IB的区域125)。 如前所述，符合发明原理的任何图像增强技术可被应用(例如，“超分辨率”、混合颜色分离、 模式匹配等)。此时，处理400可继续到块440，其中经上采样和增强的HD视频图像帧可被低通过滤(例如，使用低通过滤器340)。在某些实施例中，该低通过滤操作的结果可以是将图像的能量分布集中到更紧缩的频率范围内(例如，参见图IC的区域135)。一旦HD视频图像帧已被低通过滤，处理400随后就可继续到块450，其中经过滤的 HD视频图像帧分辨率可被子采样(例如，使用子采样器350)回原始HD图像的帧分辨率或者任何其他HD级分辨率(例如，720p、1080i、1080p等)。如前面参考图ID所描述的，这将导致更多可用能量分布被利用，因此更多可用图像细节被显示。之后，处理400可继续到块460，其中经增强的HD视频图像帧可被显示在例如电视机画面上。虽然已结合各种实施例描述了本发明，但是应该理解，本发明能够有进一步修改。 本申请意欲覆盖一般地符合发明原理并包含对于本公开的如下脱离的任何对发明的修改、 使用或变更，所述脱离落入发明所属领域内的公知和惯用常识。
权利要求
1.一种用于增强高清视频内容的方法包括以下动作 接收具有原始帧分辨率的多个高清(HD)视频图像帧；将所述多个HD视频图像帧上采样到扩大的帧分辨率，其中所述扩大的帧分辨率是所述原始帧分辨率的预定倍数；对所述上采样之后的多个HD视频图像帧进行低通过滤； 对所述上采样和所述过滤之后的多个HD视频图像帧进行子采样；以及显示所述上采样、所述过滤和所述子采样之后的多个HD视频图像帧。
2.根据权利要求1所述的方法，其中所述原始帧分辨率包含至少720个竖直像素。
3.根据权利要求1所述的方法，其中上采样多个HD视频图像帧还包括在所述低通过滤之前对所述多个HD视频图像帧应用图像增强技术。
4.根据权利要求3所述的方法，其中应用图像增强技术包括应用超分辨率增强、混合颜色分离增强和模式匹配技术中的至少一个。
5.根据权利要求1所述的方法，其中所述预定倍数包括两倍和三倍之一。
6.根据权利要求1所述的方法，其中低通过滤多个HD视频图像帧包括执行二维全部帧低通过滤操作。
7.根据权利要求1所述的方法，其中低通过滤多个HD视频图像帧包括执行逐块低通过滤操作。
8.根据权利要求1所述的方法，其中子采样多个HD视频图像帧包括将所述多个HD视频图像帧子采样回所述原始帧分辨率。
9.一种被配置成增强高清视频内容的设备包括用于接收具有原始帧分辨率的多个高清(HD)视频图像帧的装置； 用于将所述多个HD视频图像帧上采样到扩大的帧分辨率的装置，其中所述扩大的帧分辨率是所述原始帧分辨率的预定倍数；电耦合到所述用于上采样的装置的低通过滤器；以及电耦合到所述低通过滤器、用于对所述多个HD视频图像帧进行子采样的装置。
10.根据权利要求9所述的设备，其中所述原始帧分辨率包含至少720个竖直像素。
11.根据权利要求9所述的设备，其中用于上采样多个HD视频图像帧的装置还包括用于在所述低通过滤器之前对所述多个HD视频图像帧应用图像增强技术的装置。
12.根据权利要求11所述的设备，其中用于应用图像增强技术的装置包括用于应用超分辨率增强、混合颜色分离增强和模式匹配技术中的至少一个的装置。
13.根据权利要求9所述的设备，其中所述预定倍数包括两倍和三倍之一。
14.根据权利要求9所述的设备，其中所述低通过滤器包括二维全部帧低通过滤器。
15.根据权利要求9所述的设备，其中所述低通过滤器包括逐块低通过滤器。
16.根据权利要求9所述的设备，其中用于子采样多个HD视频图像帧的装置包括用于将所述多个HD视频图像帧子采样回所述原始帧分辨率的装置。
17.一种计算机程序产品包括计算机存储介质，其上包含用于增强高清视频内容的计算机可运行程序代码，所述计算机存储介质具有用于接收具有原始帧分辨率的多个高清(HD)视频图像帧的计算机可运行程序代码；用于将所述多个HD视频图像帧上采样到扩大的帧分辨率的计算机可运行程序代码， 其中所述扩大的帧分辨率是所述原始帧分辨率的预定倍数；用于对所述上采样之后的多个HD视频图像帧进行低通过滤操作的计算机可运行程序代码；用于对所述上采样和所述过滤之后的多个HD视频图像帧进行子采样的计算机可运行程序代码；以及用于将所述上采样、所述过滤和所述子采样之后的多个HD视频图像帧提供到显示器的计算机可运行程序代码。
18.根据权利要求17所述的计算机程序产品，其中所述原始帧分辨率包含至少720个竖直像素。
19.根据权利要求17所述的计算机程序产品，其中用于上采样多个HD视频图像帧的计算机可运行程序代码还包括用于在所述低通过滤之前对所述多个HD视频图像帧应用图像增强技术的计算机可运行程序代码。
20.根据权利要求19所述的计算机程序产品，其中用于应用图像增强技术的计算机可运行程序代码包括用于应用超分辨率增强、混合颜色分离增强和模式匹配技术中的至少一个的计算机可运行程序代码。
21.根据权利要求17所述的计算机程序产品，其中所述预定倍数包括两倍和三倍之一。
22.根据权利要求17所述的计算机程序产品，其中用于低通过滤多个HD视频图像帧的计算机可运行程序代码包括用于执行二维全部帧低通过滤操作的计算机可运行程序代码。
23.根据权利要求17所述的计算机程序产品，其中用于低通过滤多个HD视频图像帧的计算机可运行程序代码包括用于执行逐块低通过滤操作的计算机可运行程序代码。
24.根据权利要求17所述的计算机程序产品，其中用于子采样多个HD视频图像帧的计算机可运行程序代码包括用于将所述多个HD视频图像帧子采样回所述原始帧分辨率的计算机可运行程序代码。
全文摘要
高清视频内容的细节和清晰度在被显示之前可被显示设备或客户端设备增强。在某些实施例中，高清视频图像帧可通过缩放图像的分辨率而被上采样。经上采样的HD视频图像帧随后可被低通过滤以将图像的能量分布集中到更紧缩的频率范围内。经过滤的HD视频图像帧随后可被子采样回例如原始HD图像的帧分辨率或其他HD级分辨率，而不损害图像细节。这样，即使已经考虑了高清质量，视频内容的清晰度和细节层次也可被进一步改善。
文档编号H04N7/01GK102342098SQ201080010634
公开日2012年2月1日 申请日期2010年2月24日 优先权日2009年3月5日
发明者太田孝彰 申请人:索尼公司, 索尼电子有限公司