专利名称：在图像处理系统中变换图像的设备和方法
技术领域：
示例性实施例总体涉及一种用于在图像处理系统中变换图像的设备和方法。更具体地说，示例性实施例涉及一种用于在图像处理系统中将低清晰度图像变换为高清晰度图像的设备和方法。
背景技术：
通常，根据帧的构造通过隔行扫描或逐行扫描来将数字图像显示在屏幕上。通过隔行扫描获得高清晰度图像，而通过逐行扫描获得低清晰度图像。在隔行扫描方案中通过在顶场中扫描奇数行并在底场中扫描偶数行来实现帧。因此，每个场的高度等于帧的高度的一半。采取隔行扫描以实现高清晰度屏幕，诸如高清晰度 TV (HDTV)中的 1920X1280。与隔行扫描相比，逐行扫描通过逐行顺序地扫描图像来形成帧。使用逐行扫描以获得低清晰度屏幕，诸如计算器监视器、数字TV等中的1280X720。因此，存在这样的需要在输入低清晰度图像时，在能够同时处理支持逐行扫描的低清晰度图像和支持隔行扫描的高清晰度图像的图像处理系统中，将低清晰度图像变换为高清晰度图像。所述图像处理系统还应该能够最小化用于将低清晰度图像变换为高清晰度图像所需的附加信息的量。
发明内容
技术问题本发明的示例性实施例的一方面在于解决至少所述问题和/或缺点，并提供至少下述优点。因此，本发明的示例性实施例的一方面在于提供一种用于在图像处理系统中将低清晰度图像变换为高清晰度图像的设备和方法。本发明的示例性实施例的另一方面提供一种用于在图像处理系统中根据源图像的特征将低清晰度图像变换为高清晰度图像的设备和方法。本发明的示例性实施例的另一方面提供一种用于在图像处理系统中以最小化残差图像的像素值这样的方式将低清晰度图像变换为高清晰度图像的设备和方法。本发明的示例性实施例的另一方面提供一种用于在图像处理系统中当使用多个低清晰度视频帧产生高清晰度视频帧时反映所述多个低清晰度视频帧的重要性的图像变换设备和方法。技术方案根据本发明的示例性实施例的一方面，提供了一种在图像处理系统中变换图像的方法，其中，如果多个低清晰度视频帧被用于将低清晰度图像变换为高清晰度图像，则确定用于所述多个低清晰度视频帧的每个的权重；根据所述多个低清晰度视频帧的权重，使用所述多个低清晰度视频帧产生形成高清晰度视频帧的两个图像场之一。
根据本发明的示例性实施例的另一方面，提供了一种在图像处理系统中的图像变换设备，其中，如果多个低清晰度视频帧被用于将低清晰度图像变换为高清晰度图像，则控制器确定用于所述多个低清晰度视频帧的每个的权重；变换器根据所述多个低清晰度视频帧的权重，使用所述多个低清晰度视频帧产生形成高清晰度视频帧的两个图像场之一。根据本发明的示例性实施例的另一方面，提供了一种在图像处理系统中变换图像的方法，其中，当将使用单个低清晰度视频帧产生高清晰度图像时，使用单个低清晰度视频帧产生形成高清晰度图像的顶场和底场；当将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重时，使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场，使用所述两个连续低清晰度视频帧产生高清晰度图像的底场；当将使用两个连续低清晰度视频帧根据用于所述两个连续低清晰度视频帧的权重产生高清晰度图像时，使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场，通过将权重施加到所述两个连续低清晰度视频帧来产生高清晰度图像的底场。根据本发明的示例性实施例的另一方面，提供了一种在图像处理系统中的图像变换设备，其中，顶场产生器使用单个低清晰度视频帧或使用两个连续低清晰度视频帧之间的先前低清晰度视频帧来产生高清晰度图像的顶场；底场产生器使用单个低清晰度视频帧或所述两个连续低清晰度视频帧来产生高清晰度图像的底场。当将使用单个低清晰度视频帧产生高清晰度图像时，顶场产生器使用单个低清晰度视频帧产生高清晰度图像的顶场； 当将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重时，顶场产生器使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场；当将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重时，顶场产生器使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场。当将使用单个低清晰度视频帧产生高清晰度图像时，底场产生器使用单个低清晰度视频帧产生高清晰度图像的底场；当将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加任何权重时，底场产生器使用所述两个连续低清晰度视频帧产生高清晰度图像的底场；当将使用两个连续低清晰度视频帧根据用于所述两个连续低清晰度视频帧的权重产生高清晰度图像时，底场产生器通过将权重施加到所述两个连续低清晰度视频帧来产生高清晰度图像的底场。
图1是根据本发明的示例性实施例的分层图像处理系统的框图；图2是根据本发明的示例性实施例的图像变换设备的框图；图3是示出根据本发明的示例性实施例的在图像变换设备中的控制器的控制操作的流程图；图4是示出根据本发明的示例性实施例的在图像变换设备中的变换器的控制操作的流程图；图5示出根据本发明的示例性实施例的在变换器中使用一个低清晰度视频帧产生一个高清晰度视频帧的图像变换操作；
图6示出根据本发明的示例性实施例的在变换器中使用两个低清晰度视频帧产生一个高清晰度视频帧的图像变换操作。最佳实施方式提供描述中定义的事项(诸如详细构造和元件)以帮助全面理解本发明的示例性实施例。因此，本领域的普通技术人员将认识到在不脱离本发明的范围和精神的情况下，可对这里描述的示例性实施例进行各种改变和修改。此外，为了清楚和方便，省略对公知功能和构造的描述。以示例的方式，将用于同时处理低清晰度图像和高清晰度图像的图像处理系统理解为分层图像处理系统来进行以下描述。然而，将理解本发明的示例性实施例可适用于同时处理低清晰度图像和高清晰度图像的每个图像处理系统。针对源图像的输入，分层图像处理系统输出低清晰度图像和高清晰度图像。例如， 可通过逐行扫描来扫描低清晰度图像，例如，可通过隔行扫描来扫描高清晰度图像。根据本发明的示例性实施例，针对将低清晰度图像变换为高清晰度图像的上变换，在多个低清晰度图像的情况下，考虑源图像的特征，确定被用于上变换的低清晰度图像的数量以及每个低清晰度图像的重要性。每个低清晰度图像的重要性被反映为施加到低清晰度图像的权重。为此，将对根据本发明的示例性实施例的分层图像处理系统的配置和操作以及分层图像处理系统中的图像变换设备的配置和操作进行描述。A.分层图像处理系统的配置和操作以下，将对根据本发明的示例性实施例的应用了图像变换方法的分层图像处理系统的配置和操作进行描述。图1是根据本发明的示例性实施例的分层图像处理系统的框图。参照图1，分层图像处理系统包括编码装置100和解码装置150。针对作为源图像的高清晰度图像的输入，编码装置100输出编码的低清晰度图像和编码的残差图像。在进行编码之前的残差图像被定义为基于输入的高清晰度图像和在编码装置100中恢复的高清晰度图像之间的差的像素值。为此目的，编码装置100包括格式下变换器101、编解码器(CODEC) 103、缓冲器 105、格式上变换器107、减法器109、残差映射和缩放单元111以及残差编码器113。格式下变换器101接收高清晰度图像作为源图像，并输出低清晰度图像。也就是说，格式下变换器101通过对接收到的高清晰度图像进行下变换来输出经过下变换的序列。CODEC 103将从格式下变换器101接收的经过下变换的序列编码为编码的低清晰度图像的比特流，并将比特流输出到解码装置150。CODEC 103还恢复编码的低清晰度图像的比特流，并将恢复的比特流提供给缓冲器105。低清晰度图像被包括在基层中，VC-I或H. 264 CODEC可被用作CODEC 103。缓冲器105对恢复的低清晰度图像进行缓冲。格式上变换器107执行上变换以从至少一个低清晰度视频帧恢复上变换的基层序列，其中，所述至少一个低清晰度视频帧从缓冲器105接收。也就是说，格式上变换器107 将从缓冲器105接收的至少一个低清晰度视频帧变换为具有源图像的分辨率的高清晰度图像。由格式上变换器107上变换的高清晰度图像被称为“恢复的高清晰度图像”。为此，格式上变换器107考虑源图像的特征，确定将被用于上变换的低清晰度视频帧的数量(P2I_METH0D)。如果低清晰度视频帧的数量是2或更大(P2I_METH0D = = 1)， 则格式上变换器107考虑源图像的特征，确定所述低清晰度视频帧中的每个的权重(P2I_ WEIGHTING)。较高的权重被分配给具有较高重要性的低清晰度视频帧，较低的权重被分配给具有较低重要性的低清晰度视频帧(P2I_WEIGHTING == 1)。如果多个低清晰度视频帧具有相同的重要性，则相同的权重被分配给所有低清晰度视频帧(P2I_WEIGHTING == 0)。另一方面，如果在上变换中使用的低清晰度视频帧的数量为1(P2I_METH0D == 0)，则不考虑权重。格式上变换器107输出通过基于低清晰度视频帧的确定的数量和权重执行上变换而恢复的高清晰度图像。稍后将更详细地描述在格式上变换器107中将低清晰度图像变换为高清晰度图像的操作。减法器109从格式上变换器107接收恢复的高清晰度图像以及作为源图像的高清晰度图像，计算这两个高清晰度图像之间的残差。所述残差相应于残差图像。残差映射和缩放单元111将从减法器109接收的残差映射为8比特，并对映射的残差进行缩放。残差编码器113对与从残差映射和缩放单元111接收的残差图像相应的比特流进行编码，并将随之产生的增强层比特流输出到解码装置150。解码装置150从编码装置100接收编码的基层比特流和增强层比特流，并输出恢复的低清晰度图像和恢复的高清晰度图像。为此，解码装置150包括基层解码器151、格式上变换器153、残差解码器155、残差映射和缩放单元157和加法器159。基层解码器151从编码装置100接收基层比特流，并对接收的基层比特流进行解码，从而恢复解码的低清晰度图像。为了对基层比特流进行解码，VC-I或H. 264解码器可被用作基层解码器151。由基层解码器151恢复的低清晰度图像被输出作为解码装置150的最终输出或者被提供给格式上变换器153。格式上变换器153通过对恢复的低清晰度图像进行上变换获得经过上变换的基层序列。格式上变换器153像编码装置100的格式上变换器107 —样，考虑源图像的特征， 将恢复的低清晰度图像上变换为高清晰度图像。残差解码器155从编码装置100接收编码的残差图像的比特流(即，增强层比特流)，对增强层比特流进行解码，并输出恢复的残差图像。如前所述，残差图像相应于源图像和由编码装置100恢复的高清晰度图像之间的残差。残差映射和缩放单元157将从残差解码器155接收的恢复的残差图像与原始比特深度进行映射，并对其进行缩放。加法器159通过将从格式上变换器153接收的经过上变换的基层序列与从残差映射和缩放单元157接收的恢复的残差图像相加来恢复接近于源图像的高清晰度图像。恢复的高清晰度图像属于增强层。
由加法器159恢复的高清晰度图像被输出作为解码装置150的另一最终输出。在图像处理系统中，编码装置100提供给解码装置150的残差图像的像素值优选 (但不必要)为小。为了实现残差图像的小的像素值，针对源图像具有小残差的高清晰度图像应该在编码装置100中被恢复。具体地，在编码装置100的格式上变换器107和解码装置150的格式上变换器153中，上变换应该被最优化。B.图像变换设备将详细描述根据本发明的示例性实施例的用于最优化上变换(即，最小化残差图像的像素值)的图像变换设备的配置和操作。图像变换设备相应于在图1中示出的格式上变换器107和153。B-1.图像变换设备的配置以下将详细描述根据本发明的示例性实施例的用于使用一个或多个低清晰度视频帧来产生高清晰度视频帧的图像变换设备的配置。图2是根据本发明的示例性实施例的用于将低清晰度图像变换为高清晰度图像的图像变换设备的框图。参照图2，控制器210根据源图像的特征，确定在将低清晰度图像上变换为高低清晰度图像中使用的低清晰度图像视频帧的数量。例如，如果作为源图像的高清晰度图像具有与低清晰度图像相似的特征，则控制器210确定使用一个低清晰度视频帧执行上变换。另一方面，如果作为源图像的高清晰度图像具有与低清晰度图像不同的特征，则控制器210确定使用多个低清晰度视频帧执行上变换。一旦控制器210根据源图像的特征确定使用多个低清晰度视频帧以进行上变换， 控制器210还确定如何使用所述多个低清晰度视频帧。具体地，控制器210考虑所述多个低清晰度视频帧的重要性，确定加权比。例如，如果源图像与普通高清晰度图像具有相似的运动信息，则相同的重要性， 艮口，相同的权重被给予所述多个低清晰度视频帧(P2I_WEIGHTING == 0)。然而，如果所述多个低清晰度视频帧具有不同的重要性(P2I_WEIGHTING ==1), 则控制器210确定加权比，从而不同的权重可被分配给所述多个低清晰度视频帧。也就是说，将给予具有相对高的重要性的低清晰度视频帧比具有相对低的重要性的低清晰度视频帧更高的权重。更具体地说，当确定两个或更多个帧需要用于上变换时，控制器210考虑每个视频帧的重要性，确定加权比。加权比对所述帧中的每个帧指定权重。换句话说，为了从与低清晰度图像相应的多个帧恢复高清晰度图像，可根据所述多个帧中的每个帧对将被恢复的高清晰度图像的影响的程度，将权利给予所述多个帧中的每个帧。例如，假设两个帧被用于恢复高清晰度图像，可根据第一帧和第二帧的重要性确定诸如5 3、6;3、5 4或6 4的加权比。从示例性加权比注意，与第二帧相比，第一帧具有相对高的重要性。这意味着第一帧对高清晰度图像的恢复的影响比第二帧更大。值得注意的是，第一帧和第二帧应该在时间上是连续的，并且第一帧早于第二帧。 也就是说，如果第一帧是在时间ti;则第二在时间t2，并且、早于t2。时间、和t2之间的差距大致相应于当通过逐行扫描显示屏幕时将第一帧显示在屏幕上和将第二帧显示在屏幕上之间的时间间隔。当控制器210如上所述确定用于上变换的信息时，控制器210将确定的上变换信息提供给变换器250。如果控制器210确定使用单个低清晰度视频帧以进行上变换，则控制器210向变换器250通知在上变换中使用的低清晰度视频帧的数量为1。另一方面，如果控制器210确定使用多个低清晰度视频帧以进行上变换，则控制器210将关于每个低清晰度视频帧的权重的信息提供给变换器250，或者将加权比以及关于将被用于上变换的低清晰度帧的数量的信息提供给变换器250。如果相同的权重被给予所述多个低清晰度视频帧，则加权比可不被提供给变换器250。变换器250使用从控制器210接收的上变换信息来执行上变换以从低清晰度图像恢复高清晰度图像。上变换信息包括关于将被用于上变换的低清晰度视频帧的数量，以及每个低清晰度视频帧的权重或加权比的信息。仅当两个或更多个低清晰度视频帧被用于上变换时才包括关于每个低清晰度视频帧的权重或加仅比的信息。然而，即使两个或更多个低清晰度视频帧被用于上变换，如果相同的权重被给予每个低清晰度视频帧，则关于每个低清晰度视频帧的权重或加仅比的信息也可不包括在上变换信息中。更具体地说，如果由上变换信息指示单个低清晰度视频帧，则变换器250仅使用在当前的时间点(以下称为“当前时间”)的低清晰度视频帧来产生形成高清晰度图像的一个帧的顶场和底场。顶场在与低清晰度视频帧相同的时间存在，底场在低清晰度视频帧和在时间上的下一点(以下称为“下一时间”)的低清晰度视频帧之间的时间存在。将参照图5对用于仅使用一个低清晰度视频帧产生高清晰度图像的一个帧的顶场和底场的操作进行详细描述。在另一方面，如果上变换信息指示2或更大的数量作为在上变换中使用的低清晰度视频帧的数量，并且指示了每个低清晰度视频帧的权重或加权比，则变换器250使用多个低清晰度视频帧产生形成高清晰度图像帧的顶场和底场。顶场在与低清晰度视频帧相同的时间存在，底场在低清晰度视频帧和在下一时间的低清晰度视频帧之间的时间存在。例如，让我们假设两个低清晰度视频帧被用于上变换。这两个低清晰度视频帧是当前低清晰度视频帧和时间上的下一低清晰度视频帧。变换器250使用在当前时间的低清晰度视频帧产生顶场，随后根据这两个低清晰度视频帧的权重或加仅比来产生底场。如果相同的权重被给予这两个低清晰度视频帧，则变换器250在产生底场中以相同的比使用低清晰度视频帧。相反，如果不同的权重被给予这两个低清晰度视频帧，则变换器250在产生底场中使用不同的侧重程度(即，以加权比)来使用低清晰度视频帧。将参照图6对用于使用两个低清晰度视频帧产生高清晰度图像的一个帧的顶场和底场的操作进行详细描述。B-2.图像变换设备的操作以下将详细描述根据本发明的示例性实施例的用于使用一个或多个低清晰度视频帧产生高清晰度视频帧的图像变换设备的操作。图3是示出根据本发明的示例性实施例的在图像变换设备中的控制器的控制操作的流程图。参照图3，在步骤310，控制器确定在上变换中使用的低清晰度视频帧的数量。也就是说，控制器考虑源图像的特征，确定使用一个还是多个低清晰度视频帧执行上变换。更具体地说，假设低清晰度图像(例如，逐行扫描的图像)在与形成高清晰度图像的一个帧的第一场和第二场之一相同的时间存在。以下，这一场被称为顶场。当低清晰度图像被变换为高清晰度图像时，另一场(以下，称为底场)应该在与顶场不同的时间被创建。然而，考虑顶场和底场之间的时间差，难以仅使用一个低清晰度视频帧产生底场。因此，如果作为源图像的高清晰度图像具有接近于不需要考虑时间差的这些低清晰度图像的特征，则优选地(但不必要)使用单个低清晰度视频帧来执行上变换。然而，如果作为源图像的高清晰度图像的一个帧(被称为“高清晰度视频帧”)的顶场和底场在时间上足够彼此分离，则优选地(但不必要)使用时间上连续的两个低清晰度视频帧来执行上变换。也就是说，在示例性实施例中，分别使用连续的低清晰度视频帧来产生第一顶场和第二顶场，使用这两个低清晰度视频帧来产生与第一顶场对应的底场。因此，控制器考虑源图像的特征(诸如帧之间的时间差距)，确定是使用单个低清晰度视频帧还是两个低清晰度视频帧来执行上变换。在步骤312，控制器确定低清晰度视频帧的确定的数量为1还是2还是更多。如果确定使用单个低清晰度视频帧以进行上变换，则在步骤314，控制器请求变换器使用一个低清晰度视频帧执行上变换。另一方面，如果确定使用多个低清晰度视频帧以进行上变换，则在步骤316，控制器确定用于低清晰度视频帧的权重(即，加权比)。例如，如果控制器已确定使用两个低清晰度视频帧以进行上变换，则控制器确定如何使用在当前时间的低清晰度视频帧和在下一时间的低清晰度视频帧来对高清晰度图像进行插值。可使用源图像的特征来进行这个确定。如果这两个低清晰度视频帧具有相同的重要性，则控制器确定加权比以使低清晰度视频帧具有相同的权重。例如，如果作为源图像的高清晰度图像具有与普通高清晰度图像相同的特征，则优选地(但不必要)通过将相同的重要性施加到这两个低清晰度视频帧来对高清晰度图像进行插值。普通高清晰度图像的特征可以是关于源图像的运动信息。然而，可能在某些情况下发生通过区分这两个低清晰度视频帧的重要性来实现更好的结果。在这种情况下，加权比优选地(但不必要)被确定以使不同的权重被给予这两个低清晰度视频帧。例如，如果在源图像中背景图像清楚或者背景图像像低清晰度图像一样具有太大的运动，则可将比施加到在下一时间的低清晰度视频帧更高的重要性施加到在当前时间的低清晰度视频帧来实现更好的结果。在这种情况下，加权比被确定，使得比给予在下一时间的低清晰度视频帧更高的权重被给予在当前时间的低清晰度视频帧。可基于源图像和使用两个低清晰度视频帧进行插值的高清晰度图像之间的相似度来确定是否将实现更好的结果。也就是说，如果两个图像更加相似，则可获得更好的结果。换句话说，随着相似度的增加，源图像和高清晰度图像之间的残差图像的像素值可被减小。通常，如果在分层图像处理系统中，残差图像的像素值减小，则这意味着由编码装置100产生的增强层比特流的数量减少。在确定低清晰度视频帧的权重(S卩，加权比)之后，在步骤318，控制器确定是否相同的权重已被分配给低清晰度视频帧。如果确定相同的权重已被分配给低清晰度视频帧，则在步骤320，控制器请求变换器使用低清晰度视频帧以及被分配给低清晰度视频帧的相同的权重来执行上变换。相反，如果确定不同的权重已被分配给低清晰度视频帧，则在步骤322，控制器请求变换器使用低清晰度视频帧以及被分配给低清晰度视频帧的权重(即，加权比)来执行上变换。图4是示出根据本发明的示例性实施例的在图像变换设备中的变换器的控制操作的流程图。参照图4，在步骤410，变换器从控制器接收上变换信息。上变换信息包括将被用于上变换的低清晰度视频帧的数量以及每个低清晰度视频帧的权重(或加权比)。控制器可仅当多个低清晰度视频帧被用于上变换时在上变换信息中提供关于每个低清晰度视频帧的权重(或加权比)的信息。在步骤412，变换器确定上变换信息指示单个低清晰度视频帧还是指示多个低清晰度视频帧在上变换中使用。如果上变换信息指示单个低清晰度视频帧，则在步骤416，变换器通过对在当前时间的单个低清晰度视频帧进行上变换来产生高清晰度视频帧。高清晰度视频帧包括顶场和底场。因此，在步骤416，变换器通过上变换产生单个高清晰度视频帧的顶场和底场。相反，如果上变换信息指示多个低清晰度视频帧，则在步骤414，变换器确定是将相同的权重还是不同的权重分配给所述多个低清晰度视频帧以进行上变换。当确定将相同的权重施加到所述多个低清晰度视频帧时，变换器使用相同的比的所述多个低清晰度视频帧(即，通过将相同的权重施加到所述多个低清晰度视频帧)来产生高清晰度视频帧。另一方面，当确定将不同的权重施加到所述多个低清晰度视频帧时，在步骤420， 变换器根据所述多个低清晰度视频帧的不同的权重来使用所述多个低清晰度视频帧产生高清晰度视频帧。也就是说，当产生高清晰度视频帧时，变换器考虑具有较高权重的低清晰度视频帧比具有较低权重的低清晰度视频帧更多。用于上变换的多个低清晰度视频帧可以是在当前时间的低清晰度视频帧和在先前时间或在下一时间的低清晰度视频帧。如果两个低清晰度视频帧被用于上变换，则它们优选(但不必要)为在当前时间的低清晰度视频帧和在下一时间的低清晰度视频帧。C.图像变换的示例以下将描述根据本发明的示例性实施例的使用一个或两个低清晰度视频帧产生高清晰度视频帧的示例。图5示出根据本发明的示例性实施例的用于在图像变换设备的变换器中使用一个低清晰度视频帧产生一个高清晰度视频帧的图像变换操作。参照图5，变换器250包括插值和顶场产生单元530以及插值和底场产生单元 5400插值和顶场产生单元530以及插值和底场产生单元540可被合并到单个装置中。
变换器250使用在时间、的低清晰度视频帧510或在时间t2的低清晰度视频帧 520产生两个场550和560或570和580。由变换器250在每个时间产生的高清晰度图像是包括顶场550或570以及底场560或580的高清晰度视频帧。更具体地说，插值和顶场产生单元530考虑基层低清晰度图像的尺寸和增强高清晰度图像的尺寸，通过对在时间、或t2的每一个时间的输入低清晰度图像510或输入低清晰度图像520进行插值，产生与高清晰度视频帧的顶场相同尺寸的插值图像。插值图像是从低清晰度图像510或520上采样的图像P。例如，基层低清晰度图像可以是20X20的尺寸，插值图像和增强层高清晰度图像的顶场可以是40X80的尺寸。插值和顶场产生单元530使用插值图像产生高清晰度视频帧的高清晰度顶场550 或570。高清晰度顶场550或570被置于与低清晰度视频帧510或520相同的时间、或t2。例如，可通过PG[2J = (32 · PP[i]+16)//32 (1)来产生高清晰度顶场550或570 PcDi]。其中，Pc表示高清晰度图像的顶场550或570的像素，Pp表示从单个低清晰度视频帧510或520上采样的图像P的像素，i表示像素Pp的像素的索引。插值和顶场产生单元540考虑基层低清晰度图像的尺寸和增强高清晰度图像的尺寸，通过对在时间、或t2的每一个时间的输入低清晰度图像510或输入低清晰度图像 520进行插值，产生与高清晰度视频帧的底场相同尺寸的插值图像。插值图像是从低清晰度图像510或520上采样的图像P。例如，基层低清晰度图像可以是20X20的尺寸，插值图像和增强层高清晰度图像的底场可以是40X80的尺寸。插值和底场产生单元540使用插值图像产生高清晰度视频帧的高清晰度底场560
或580。高清晰度底场560或580在时间上与高清晰度顶场550或570分离。例如，高清晰
度底场560或580被置于低清晰度视频帧510的时间、和低清晰度视频帧520的时间t2 L +
之间的时间(例如，^1·)。例如，可通过Pc[2i+1]= (PP[i-3]-5 ·ΡΡ[ "2]+20 ·ΡΡ[Η]+20 ·ΡΡ[ ]-5 ·ΡΡ[ +1]+Ρ 1>[土+2]+16)//32或&[2广1] = (16 ·ΡΡ[ -1]+16 ·ΡΡ[ ]+16)//32 来产生高清晰度底场 560 或 580Pc[2i+l]。其中，Pc表示高清晰度图像的底场560或580的像素，Pp表示从单个低清晰度视频帧510或520上采样的图像P的像素，i表示像素Pp的像素的索引。在以上描述中，t可表示图像显示在屏幕上的时间。还可预知底场在与低清晰度视频帧相同的时间，顶场在比底场更早的时间。图6示出根据本发明的示例性实施例的用于在图像变换设备的变换器中使用两个低清晰度视频帧产生一个高清晰度视频帧的图像变换操作。参照图6，变换器250包括插值和顶场产生单元630和650以及插值和底场产生单元640。插值和顶场产生单元630和650以及插值和底场产生单元640可被合并到单个装置中。虽然在图6中插值和顶场产生单元630和650被示出将被用于不同时间，但是一个插值和顶场产生单元可处理不同时间的低清晰度图像。
变换器250使用在时间、或t2的每一个时间的低清晰度视频帧610或低清晰度视频帧620，在预定时间产生用于高清晰度图像的两个场660和670 (即，顶场660和底场 670)之一。产生的场可以是顶场660。变换器250使用在时间、的低清晰度图像610和在时间t2的低清晰度图像，产生用于高清晰度图像的另一场。另一场可以是底场670。因此，由变换器250在每个时间产生的高清晰度图像可相应于由顶场660和底场 670形成的一个高清晰度视频帧。更具体地说，插值和顶场产生单元630或650考虑基层低清晰度图像的尺寸和增强高清晰度图像的尺寸，通过对在时间、或t2的每一个时间的输入低清晰度图像进行插值，产生与高清晰度视频帧的顶场相同尺寸的插值图像。插值图像是从低清晰度图像610 或620上采样的图像P。例如，基层低清晰度图像可以是20X20的尺寸，插值图像和增强层高清晰度图像的顶场可以是40X80的尺寸。插值和顶场产生单元630或650使用插值图像产生高清晰度视频帧的高清晰度顶场660或680。高清晰度顶场660或680被置于与低清晰度视频帧610或620相同的时间
^ °例如，可通过等式(1)来产生高清晰度顶场650或680。插值和顶场产生单元640通过以给定加权比对在时间、和t2的低清晰度视频帧进行插值，产生与高清晰度视频帧的底场相同尺寸的插值图像。插值图像是从低清晰度图像610和620上采样的图像P。基于在当前时间、的基层低清晰度视频帧的重要性和在下一时间t2的基层低清晰度视频帧的重要性确定用于插值的给定的加权比(α β)。这里，α是给予在当前时间、的基层低清晰度视频帧的权重，β是给予在下一时间t2的基层低清晰度视频帧的权重。权重α和β的和可以是1。因此，当产生插值图像时，插值和底场产生单元640使具有相对高权重的低清晰度视频帧比具有相对低权重的低清晰度视频帧具有更大的影响。也就是说，插值和底场产生单元640在产生插值图像中更多地考虑具有相对高权重的低清晰度视频帧。然而，如果在当前时间、和在下一时间t2的基层低清晰度视频帧具有相同权重， 则在产生插值图像中以相同的比使用它们。相同的权重的情况包括不使用任何权重的情况。插值和底场产生单元640使用插值图像产生底场670。底场670在时间上与顶场
660分离。例如，底场670被置于低清晰度视频帧610的时间、和低清晰度视频帧620的
t +L
时间t2之间的时间(例如，)。在以上的描述中，t可表示图像显示在屏幕上的时间。还可预知底场在与低清晰度视频帧相同的时间，顶场在比底场更早的时间。例如，可通过Pc[2i+1] = (Pp[i-l]+Pp[i]+Pp,NEXT[i-l]+Pp,NEXT[i]+2)//4 (3)或 Pc[2i+1] = (α .Pp[i-l] + a · Pp[i]+ΡΡ,ΝΕΧΤ [i_l]+ΡΡ,ΝΕΧΤ [i] + α+1)//{2 ( α+1)} (4)来产生底场 670 Pc[2i+1]0
其中，Pc表示高清晰度图像的底场670的像素，Pp表示从先前低清晰度视频帧610 上采样的图像P的像素，Pp,NEXT表示从下一低清晰度视频帧620上采样的图像Pnext的像素， i表示像素Pp的像素或像素PP,NEXT的像素的索引，α表示权重。当对多个低清晰度视频帧使用相同权重或对多个低清晰度视频帧不使用任何权重的情况下产生底场时，等式(3)可用。等式(4)可应用于对多个低清晰度视频帧给予不同权重产生底场。本发明的示例性实施例还可被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储可由计算机系统随后读取的数据的任何数据存储装置。 计算机可读记录介质的示例包括，但不限于，只读存储器(ROM)、随机存取存储器(RAM)、 CD-ROM、磁带、软盘、光数据存储装置和载波(诸如经由有线或无线传输路径通过互联网的数据传输)。计算机可读记录介质还可分布于联网的计算机系统上，并且可以以分布式方式存储和执行计算机可读代码。此外，可由本发明所属的领域的程序员将用于完成本发明的功能程序、代码和代码片段容易地解释为在本发明的范围内。虽然已参照本发明的特定示例性实施例示出并描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物定义的本发明的精神和范围的情况下，可对其进行形式和细节上的各种改变。
1权利要求
1.一种用于在图像处理系统中变换图像的方法，包括如果多个低清晰度视频帧被用于将低清晰度图像变换为高清晰度图像，则确定用于所述多个低清晰度视频帧的权重；根据所述多个低清晰度视频帧的权重，使用所述多个低清晰度视频帧产生形成高清晰度视频帧的两个图像场之一。
2.如权利要求1所述的方法，其中，所述多个低清晰度视频帧的数量为二，形成高清晰度视频帧的两个图像场是顶场和底场，产生的两个图像场之一是底场。
3.如权利要求2所述的方法，其中产生的步骤包括基于为第一低清晰度视频帧和第二低清晰度视频帧确定的权重，产生第一低清晰度帧的插值图像以及第二低清晰度帧的插值图像，其中，第一低清晰度帧作为用于将低清晰度图像变换为高清晰度图像的两个低清晰度帧之一，第二低清晰度帧作为所述两个低清晰度帧的另一个；使用第一低清晰度视频帧和第二低清晰度视频帧的插值图像来产生底场，其中，第一低清晰度视频帧的时间早于第二低清晰度视频帧的时间，底场在第一低清晰度视频帧的时间和第二低清晰度视频帧的时间之间的时间。
4.一种在图像处理系统中的图像变换设备，包括控制器，如果多个低清晰度视频帧被用于将低清晰度图像变换为高清晰度图像，则确定用于所述多个低清晰度视频帧的权重；变换器，根据所述多个低清晰度视频帧的权重，使用所述多个低清晰度视频帧产生形成高清晰度视频帧的两个图像场之一。
5.如权利要求4所述的图像变换设备，其中，所述多个低清晰度视频帧的数量为二，形成高清晰度视频帧的两个图像场是顶场和底场，产生的两个图像场之一是底场。
6.如权利要求5所述的图像变换设备，其中，变换器基于为第一低清晰度视频帧和第二低清晰度视频帧确定的权重，产生第一低清晰度帧的插值图像以及第二低清晰度帧的插值图像，并使用第一低清晰度视频帧和第二低清晰度视频帧的插值图像来产生底场，其中， 第一低清晰度帧作为用于将低清晰度图像变换为高清晰度图像的两个低清晰度帧之一，第二低清晰度帧作为所述两个低清晰度帧的另一个；其中，第一低清晰度视频帧的时间早于第二低清晰度视频帧的时间，底场在第一低清晰度视频帧的时间和第二低清晰度视频帧的时间之间的时间。
7.如权利要求2所述的方法或权利要求7所述的图像变换设备，其中，高清晰度图像是隔行扫描图像，低清晰度图像是逐行扫描图像。
8.如权利要求7所述的图像变换设备，其中，控制器根据源图像的特征来确定所述多个低清晰度视频帧的权重，源图像的特征是用于确定所述多个低清晰度视频帧的重要性的信息或关于源图像的运动信息。
9.一种在图像处理系统中变换图像的方法，包括如果将使用单个低清晰度视频帧产生高清晰度图像，则使用单个低清晰度视频帧第一产生形成高清晰度图像的顶场和底场；如果将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重，则第二产生的步骤包括使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场，使用所述两个连续低清晰度视频帧产生高清晰度图像的底场；如果将使用两个连续低清晰度视频帧根据用于所述两个连续低清晰度视频帧的权重产生高清晰度图像，则第三产生的步骤包括使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场，通过将权重施加到所述两个连续低清晰度视频帧来产生高清晰度图像的底场。
10.如权利要求9所述的方法，其中，如果将使用单个低清晰度视频帧产生高清晰度图像，则第一产生的步骤包括通过(32 · PP[i]+16)//32产生高清晰度图像的顶场PJ2J， 通过(PP[i-3]-5 · PP[i-2]+20 · PP[i-l]+20 · PP[i]-5 · PP[i + l]+PP[i+2]+16)//32 或 (16.Pp[i-l]+16.Pp[i]+16)//32来产生高清晰度图像的底场&[2广1]，如果将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重， 则第二产生的步骤包括通过(32 ·ΡΡ[ ]+16)//32产生高清晰度图像的顶场PJ2J，通过 (Pp[i-1] +Pp[i] +Pp,NEXT[i-1] +Pp,NEXT [i] +2) //4 产生高清晰度图像的底场 Pc[2^1]，如果使用两个连续低清晰度视频帧根据用于所述两个连续低清晰度视频帧的权重产生高清晰度图像，则第三产生的步骤包括通过(32 ·ΡΡ[ ]+16)//32产生高清晰度图像的顶场PJ2J，通过(α ·ΡΡ[ -1] + α · Pp [i] +ΡΡ,ΝΕΧΤ [i-1] +ΡΡ,ΝΕΧΤ [i] + α +1) // {2 ( α +1)}来产生高清晰度图像的底场Pc[2i+1]，其中，Pc表示高清晰度图像的顶场和底场中的像素，Pp表示从所述两个连续低清晰度视频帧之间的先前低清晰度视频帧上采样的图像P的像素，PP,NEXT表示从所述两个连续低清晰度视频帧之间的下一低清晰度视频帧上采样的图像Pnext的像素，i表示像素Pp的像素或像素PP,NEXT的像素的索引，α表示权重。
11.一种在图像处理系统中的图像变换设备，包括顶场产生器，使用单个低清晰度视频帧或使用两个连续低清晰度视频帧之间的先前低清晰度视频帧来产生高清晰度图像的顶场；底场产生器，使用单个低清晰度视频帧或所述两个连续低清晰度视频帧来产生高清晰度图像的底场，其中，如果将使用单个低清晰度视频帧产生高清晰度图像，则顶场产生器使用单个低清晰度视频帧产生高清晰度图像的顶场；如果将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重，则顶场产生器使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场；如果将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重，则顶场产生器使用所述两个连续低清晰度视频帧之间的先前低清晰度视频帧产生高清晰度图像的顶场，如果将使用单个低清晰度视频帧产生高清晰度图像，则底场产生器使用单个低清晰度视频帧产生高清晰度图像的底场；如果将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重，则底场产生器使用所述两个连续低清晰度视频帧产生高清晰度图像的底场；如果将使用两个连续低清晰度视频帧根据用于所述两个连续低清晰度视频帧的权重产生高清晰度图像，则底场产生器通过将权重施加到所述两个连续低清晰度视频帧来产生高清晰度图像的底场。
12.如权利要求11所述的图像变换设备，其中，顶场产生器通过(32· PP[i]+16)//32 产生高清晰度图像的顶场PJ2J，其中，Pc表示高清晰度图像的顶场中的像素，Pp表示从单个低清晰度视频帧或所述两个连续低清晰度视频帧之间的先前低清晰度视频帧上采样的图像P的像素，i表示像素Pp的像素的索引。
13.如权利要求11所述的图像变换设备，其中，如果将使用单个低清晰度视频帧产生高清晰度图像，则底场产生器通过(PP[i-3]_5 ·Ρρ[ -2]+20 ·Ρρ[ -1]+20 ·ΡΡ[ ]-5 -Pp[i+1]+P P[i+2]+16)//32 或(16·Ρρ[ -1]+16 ·ΡΡ[ ]+16)//32 来产生高清晰度图像的底场&[2广1]， 如果将使用两个连续低清晰度视频帧产生高清晰度图像而不对所述两个连续低清晰度视频帧施加权重，则底场产生器通过(Pp[i_l] +PP[i] +Pp, NEXT[i-l]+PP, NEXT [i] +2) //4来产生高清晰度图像的底场Pe[2i+1]，如果使用两个连续低清晰度视频帧根据用于所述两个连续低清晰度视频帧的权重产生高清晰度图像，则底场产生器通过(α ·ΡΡ[ -1] + α -Pp[i]+Pp, next [i-1] +Ρρ,νεχτ[ ] + α +1) // {2 ( α +1)}来产生高清晰度图像的底场 Ρ。[2^1]，其中，Pc表示高清晰度图像的顶场和底场中的像素，Pp表示从所述两个连续低清晰度视频帧之间的先前低清晰度视频帧上采样的图像P的像素，ΡΡ,ΝΕΧΤ表示从所述两个连续低清晰度视频帧之间的下一低清晰度视频帧上采样的图像Pnext的像素，i表示像素Pp的像素或像素PP,NEXT的像素的索引，α表示权重。
14.如权利要求11所述的方法或权利要求18所述的图像变换设备，其中，高清晰度图像是隔行扫描图像，低清晰度视频帧是逐行扫描视频帧。
全文摘要
提供了一种用于在图像处理系统中变换图像的方法和设备，其中，如果多个低清晰度视频帧被用于将低清晰度图像变换为高清晰度图像，则确定用于所述多个低清晰度视频帧的每个的权重；根据所述多个低清晰度视频帧的权重，使用所述多个低清晰度视频帧产生形成高清晰度视频帧的两个图像场之一。
文档编号H04N7/01GK102474589SQ201080032352
公开日2012年5月23日 申请日期2010年7月19日 优先权日2009年7月17日
发明者郑载宇 申请人:三星电子株式会社