一种图像增强系统的制作方法

本发明涉及图像处理领域，尤其涉及一种基于异构计算的图像增强系统。

背景技术：

在图像处理领域，图像增强技术是很重要的研究方向。图像增强技术主要研究将原来不清晰的图像变得清晰或者增强某些关注的特征，抑制非关注的特征，以达到改善图像质量、丰富信息量，加强图像判读和识别效果的目的。

现有的增加图像分辨率的技术可分为两大类，一类是基于多张低分辨率图像，通过对图像进行校正，然后利用插值、重建或者学习等方式得到一副高分辨率图像，这类方法效果的优劣很大程度上取决于两副图像之间的运动参数，而且计算复杂度较高。第二类方法是基于单张低分辨率图像，通过各种插值算法得到高分辨率图像。由于这种方法只涉及低分辨率图像本身，因此适用范围更广。

广泛采用的插值算法包括最近邻插值、双线性插值和立方卷积插值等。其中，最邻近插值算法最简单，但最邻近插值算法也最易产生像素值不连续，从而导致块效应，进而造成图像模糊，放大后图像质量效果一般不够理想。双线性插值算法较为复杂，双线性插值算法不会出现像素值不连续的情况，放大后的图像质量较高，但由于双线性插值具有低通滤波器的性质，使高频分量受损，所以可能会使图像中各个主题的边缘轮廓和细节部分在一定程度上变得模糊。立方卷积插值算法复杂，可以保留相对较为清晰的边缘轮廓和细节，可降低或避免放大后的图像中各个主题边缘轮廓的锯齿现象及细节部分的梳状现象，插值效果相对真实，使放大后图像质量更加完善化，然而计算复杂度也最高。

技术实现要素：

本发明的目的是提供一种通过增加图像分辨率来生成高清图像的系统，以解决现有增加图像分辨率的方案计算复杂度高、无法实现实时转换和观看的缺点。

根据本发明的一个方面，提供一种图像增强系统，包括：中央处理单元，所述中央处理单元接收图像；图形处理单元；以及存储器，其中，在所述中央处理单元的控制下，所述图形处理单元：根据预定的放大比率，对图像进行放大，作为放大图像的低频部分；获取所述图像的高频部分；所述中央处理单元：对所述放大图像的低频部分划块，以匹配所述图像的像素块；利用所述图像的像素块，建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系；将高频部分的像素块叠加到所述放大图像的低频部分，获得分辨率增加的图像。

进一步地，所述中央处理单元在接收到所述图像后，判断所述图像的编码格式，如果所述图像为RGB编码图像，则指令所述图形处理单元将RGB编码图像转换成YCbCr编码图像。

进一步地，所述图形处理单元对图像的CbCr分量进行双立方插值。

进一步地，在所述中央处理单元的控制下，所述图形处理单元：根据预定的放大比率，对图像的Y分量进行放大，作为放大图像的Y分量的低频部分；获取所述图像的Y分量的高频部分；所述中央处理单元：对所述放大图像的Y分量的低频部分划块，以匹配所述图像的Y分量的像素块；利用所述图像的Y分量的像素块，建立所述放大图像的Y分量的低频部分的像素块与高频部分的像素块的对应关系；将高频部分的像素块叠加到所述放大图像的Y分量的低频部分，获得分辨率增加的图像的Y分量；利用插值后的CbCr分量与分辨率增加的Y分量合成新图像。

进一步地，所述中央处理单元判断所述分辨率增加的图像是否满足分辨率要求，如果不满足所述分辨率要求，则将所述分辨率增加的图像作为初始图像提供给所述中央处理单元。

进一步地，根据预定的放大比率对图像进行放大包括对所述图像进行多次逐级放大。

进一步地，所述多次逐级放大中的每次逐级放大的放大比率为N+1/N，N为整数。

进一步地，所述中央处理单元利用所述图像的像素块建立所述放大图像的低频部分的像素块与高频部分的像素块的对应关系包括：对所述图像进行模糊，然后下采样，得到缩小图像，所述缩小图像的缩小倍数与放大图像的放大比率对应，在所述图像中搜索与所述放大图像的低频部分中的第一像素块对应的第二像素块，在所述缩小图像中搜索到与第二像素块最相似的第三像素块，其中将所述图像中与第三像素块对应的第四像素块的高频部分叠加到第一像素块。

进一步地，所述中央处理单元通过最近邻算法增加与特定位置匹配的高频部分的像素块。

进一步地，所述中央处理单元：通过最近邻算法获取与特定位置匹配的k个候选的高频部分的像素块；从k个候选的高频部分的像素块获得一个暂定的最优像素块；利用暂定的最优像素块进行拼接，以获得初始的高频图像；通过归纳法获得最终高频图像，所述归纳法包括：1)对于已经获得的高频图像N，基于高频图像N计算高频图像N+1，以高频图像N中(px,py)为中心的像素块分析，从候选的k个像素块找到最优像素块P，使得像素块P满足以下条件：该像素块扩展的边界要尽可能和高频图像N的相应区域的取值一致，2)利用最优像素块拼接高频图像N+1，3)重复步骤1)和2)直至所得的图像不再有变动，或者达到迭代的最大次数。

与现有技术相比，本发明的优点包括：

与现有的插值算法相比，本发明公开的增加图像分辨率的系统简单、高效，大大降低了图像处理的计算量，并提升系统的计算效率，能够实现高清图像的实时转换和观看。

附图说明

为了进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，相同或相应的部件将用相同或类似的标记表示。

图1示出根据本发明的一个实施例的异构计算系统100。

图2示出根据本发明的一个实施例的提高图像分辨率的方法200的流程图。

图3示出根据本发明的一个实施例提高图像分辨率的示例示意图。

图4示出根据本发明的一个实施例为提高图像匹配精确度在不同频率的图像中搜索对应像素块的示意图。

图5示出根据本发明的一个实施例用于确保拼接连贯性的示意图

具体实施方式

在以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的方法或操作以免造成本发明的各实施例的诸方面晦涩。类似地，为了解释的目的，阐述了特定数量和配置，以便提供对本发明的实施例的全面理解。然而，本发明可在没有特定细节的情况下实施。

图1示出根据本发明的一个实施例的异构计算系统100。异构计算系统100包括中央处理单元(CPU)110和图形处理单元(GPU)120。中央处理单元(CPU)110和图形处理单元(GPU)120接收主机侧命令队列。

图像包含高频部分和低频部分，其中高频部分主要分布于图像中的各个主体的边缘轮廓部分和细节部分，低频部分主要分布于图像中的各个主体的非边缘轮廓部分。通过分别获取原图像的高频部分和放大图像，对放大图像划块匹配原图像的低频部分，可以得到匹配的块在原图像中的坐标，根据该块在原图像中的坐标可以得到原图像对应位置的高频部分，将高频部分叠加到被放大图像的低频部分，从而获得新的全频率图像，即高分辨率图像。

下面结合图1和图2描述基于异构计算的提高图像分辨率的方法。

在本申请公开的提高图像分辨率的方法中，CPU 110用于进行图像接收、图像纹理的查找与匹配、图像合成以及整体的控制流程，因为其中包含大量的逻辑判断处理。GPU 120用于通过上下采样矩阵运算来进行缩放处理，这种线程无关性的大量并行操作非常适合在GPU 120这样的大规模并行硬件上执行。通过对CPU 110和GPU 120的合理运用，将异构计算的巨大优势进行释放，使得在现有技术中通过最好配置的计算机花费2-3小时才可以转换的高清视频，经由本发明的异构计算方法可以进行实时转换与观看。

图2示出根据本发明的一个实施例的提高图像分辨率的方法200的流程图。本发明公开的提高图像分辨率的方法是在CPU 110的控制下完成的。

首先，在步骤201，可由CPU 110接收图像。在CPU 110的控制下，前进到在步骤202，通过GPU 120根据预定的放大比率，对原图像I₀进行放大，获得原图像I₀的放大图像，放大又称为上采样(upsampling)或图像插值(interpolating)，其主要目的是放大原图像，对图像的缩放操作并不能带来更多关于该图像的信息，图像的质量将不可避免地受到影响。因此，在步骤202中，通过对原图像I₀进行上采样插值获得的图像当作被放大图像的低频部分L₁。

在CPU 110的控制下，前进到在步骤203，通过GPU 120获取原图像I₀的高频部分H₀。在步骤203中，通过GPU 120根据预定的缩小比率1/a，对原图像I₀进行缩小，获得原图像I₀的缩小图像，缩小图像又称为下采样。通过GPU 120根据放大比率a，对缩小图像进行上采样，从而获得低频图像L₀。由于对原图像先进行下采样然后进行上采样，与原图像相比，低频图像L₀减少了高频部分，因此低频图像L₀为相对于原图像I₀的低频部分。通过GPU120将原图像I₀减去低频图像L₀得到高频部分H₀。

在CPU 110的控制下，前进到在步骤204，通过CPU 110对放大图像的低频部分划块，以匹配原图像的低频部分。在步骤204中，可将放大图像的低频部分划分成预定大小的像素块。在本发明的实施例中，预定大小的像素块可以是5×5的像素区域，然而本发明的范围不限于该大小的像素区域。然后在原图像中搜索与低频部分像素块最相似的原图像像素块，从而可以得到低频部分像素块在原图像中的坐标。

在CPU 110的控制下，前进到在步骤205，通过CPU 110根据低频部分像素块在原图像中的坐标，在高频部分H₀中获取与原图像像素块对应的高频图像像素块。

CPU 110根据低频部分像素块与原图像像素块、原图像像素块与高频图像像素块的对应关系，建立低频部分像素块与高频图像像素块的对应关系。

在步骤206，CPU 110根据位置对应关系，将高频图像像素块叠加到放大图像的低频部分，从而获得分辨率增加的图像。

在本发明的实施例中，图2所示的方法200还可任选地包括步骤207，在步骤207，通过CPU 110判断该分辨率增加的图像是否满足分辨率要求，如果该分辨率增加的图像满足分辨率要求，则方法200结束并输出满足分辨率要求的图像，否则对于该分辨率增加的图像重复步骤201-206，直到所获得的图像满足分辨率要求。

接下来，结合具体实施例进一步详细描述本发明的提高图像分辨率的方法。

图3示出根据本发明的一个实施例提高图像分辨率的示例示意图。如图3所示，对原图像I₀进行上采样插值获得放大图像的低频部分L₁。根据预定的缩小比率1/a，对原图像I₀进行下采样，获得原图像I₀的缩小图像，再根据放大比率a，对缩小图像进行上采样，从而获得低频图像L₀。将原图像I₀减去低频图像L₀得到高频部分H₀。根据低频部分像素块与原图像像素块、原图像像素块与高频图像像素块的对应关系，建立低频部分像素块与高频图像像素块的对应关系。将高频部分H₀叠加到被放大图像的低频部分L₁，从而获得高分辨率图像。

在本发明的一个具体实施例中，所处理的图像采用YCbCr空间编码方案。对于YCbCr空间，Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y分量更敏感，因此在实际图像处理过程中，Y分量所采用的处理方法可不同于CbCr分量的处理方法。在本实施例中，CbCr分量直接进行双立方插值。而下面详细描述的提高图像分辨率的方法针对Y分量的数值，即，下面计算中的出现的参数I_k、L_k、H_k皆指Y空间的数值。在实际的处理过程中，CPU 110接收图像后，CPU 110首先判断该图像的编码方案，如果该图像为RGB编码图像，则需要指令GPU 120将RGB编码图像转换成YCbCr编码图像。

表1示出对原图像I₀进行分级缩放的过程。

在表1中，U表示上采样处理，D表示下采样处理。

对于网格G₀，图像效果为原图像I₀，根据预定的缩小比率1/a，对原图像I₀进行下采样，再根据放大比率a，对缩小图像进行上采样，从而获得低频图像L₀。将原图像I₀减去低频图像L₀得到高频部分H₀。

从网格G₁到网格G_l，对图像进行逐级上采样差值。假设由G₀到G_l的放大系数为α，通过G₁到G_l共l级上采样差值，实现α倍放大。例如，假设放大系数α＝3，可以使用5:4、5:4、4:3和3:2上采样差值，即，G₀到G₁为5→4上采样，G₁到G₂为5→4上采样，G₂到G₃为4→3上采样，G₃到G₄为3→2上采样，所得到的最终的放大系数为3+1/8，接近3倍的放大系数。在本发明的其它实施例中，各级上采样差值可以使用其它的放大比例，可根据实际需要确定总的放大级数以及从G₀到G_l每一级所使用的放大系数。例如，假设预期从G₀到G_l的放大系数为3，可利用五级5→4上采样差值，最终实际获得的放大系数为1.25⁵＝3.05。

在本发明的一个实施例中，将N→N+1(N为整数)上采样进行如下定义：

将原图I分成N份:

现在要将I_k关于u_k放大为↑I_k,

放大后,最终得到的放大图像为↑I

此处u_k(i)＝u_k(-i)，为常数。在本发明的实施例中，可根据具体的放大系数和图像层级设定每一层图像所使用的常数u_k。

在本发明的一个实施例中，将N+1→N下采样进行如下定义：

其中，p＝n mod N,q＝(n-p)/N,d_p有N种取法：d₀,d₁,···,d_N-1。在本发明的实施例中，d₀,d₁,···,d_N-1为常数，可根据具体的放大系数和图像层级设定每一层图像所使用的常数d₀,d₁,···,d_N-1。

例如，N＝2，此时，p有两种取值法。

关于常数d_p,u_k的设定方法，可以通过一些测试样本获得。

现在，返回表1，对于网格G_l，

I_l(p)＝L_l(p)+H_l(p)＝L_l(p)+H₀(q(p)) [5]

设由G₀到G_l的放大系数为α，p是G_l中的中心坐标为(x,y)的5×5像素块，由于原图像I₀与放大图像L_l的尺寸不同，因此需要将放大图像像素块p放入原图像I₀中进行搜索，搜索与该放大图像像素块最相似的原图像像素块。将原图像I₀的待搜索区域设置为中心(x/α，y/α)、大小10×10像素块，在该待搜索区域中获取与p最相似的原图像像素块q(p)，因此p和q(p)对应的都是5×5的小块。然后重复上述过程，对放大图像的其它像素块进行搜索匹配和叠加，最终获得高分辨率图像。

在本发明的实施例中，采用N→N+1逐级放大，其优点在于在渐进的放大过程中尽可能多的保持图像精度，与一次性将图像放大到位的方法相比，逐级放大所得图像精度更高。

由于在图像放大过程中，可能会导致图像中各元素的旋转、偏移、扭曲等变形，造成在后续的叠加和拼接过程中出现对齐不准确的问题。为了解决这一问题，图4示出为提高图像匹配精确度在不同频率的图像中搜索对应像素块的示意图。

对原图像I₀进行模糊，然后下采样，得到

L_-l＝(I₀*B_l)↓_sl [6]

其中，sl代表缩放的倍数，Bl为模糊内核。

参照图4，与L_-l相对应的放大sl倍数的低频部分为L_l，在L_-l与L_l之间的是原图像I₀＝L。

为匹配L_l的中的低频块A，首先通过CPU 110，在原图像L₀中搜索到与低频块A对应的块A’，然后，在L_-l中搜索到与块A’最相似的块B’，然后将原图像L中与块B’对应的块B的高频部分叠加到低频块A。通过上述过程可加大块匹配过程中的搜索范围，使得匹配更加精确。

在本发明的实施例中，为确保各个高频的块之间的拼接尽可能的连贯，可通过k个最近邻算法增加匹配的像素块的库。

设p∈G_l是以(p_x,p_y)为中心的N×N像素块，q＝q(p)∈G₀是以(q_x,q_y)为中心的N×N像素块，则范数为：

对该范数进行轻度归一化会得到更好的结果：

其中

Truncate为截断函数：

Distance(p,q)表示在G0层的q像素块和与之对应的Gl层的p像素块的差异大小，即，两个像素块的相似度。对于多层图像，可得到多个Distance(p,q)。将这些Distance(p,q)按从小到大的顺序进行排序，值最小的Distance(p,q)表示两像素块之间的差异最小。

图像的块信息的重复，主要体现在平移、缩放、旋转。前面的描述主要针对平移和缩放，如果考虑旋转的重复性，则可提供匹配的质量。由于图像时点阵图的形式，因此只要考虑图像L0(qx+iqy+j)至J(qx+iqy+j)的八种旋转：

J(q_x+i，q_y+j)＝L₀(q_x+a·i，q_y+b·j)，或

J(q_x+i，q_y+j)＝L₀(q_x+a·j，q_y+b·i) [11]

其中a＝±1，b＝±1。

然后，将上述归一化范数修改为：

其中γ为非负参数。

由前面范数可取得k个最优的像素块，例如，对于5×5的像素块，可取k＝9。为确保像素块的质量，假设每个块所对应的最优块至多k个，当存在更多的候选块是，则丢弃其中的一部分。

参照图5，为确保各个高频像素块之间的拼接尽可能的连贯，需要满足以下两个条件：

1.获取候选的k个像素块，设所使用的低频像素块为M×M,M>N。即要求他们所对应的低频部分具有连续性，这种连续性是全局性的。

2.对拼接后的N×N高频像素块，要求彼此之间的边界有连续性，即其扩展的边界A×A，B×B要尽可能和相应的边界重合。这种连续性，是局部的。

下面介绍如何通过迭代法实现连贯性。

首先，由k个候选的像素块可以获得一个暂定的最优,并将这些像素块拼接起来获得一个初始的高频图像Image(0)，下面进行归纳法：

1.设已经获得第n次的图像Image(n)，现在计算图像Image(n+1)。

对每次以图像Image(n)中(px,py)为中心的像素块分析，现在要从候选的k个像素块{J}找到像素块P，其中像素块P满足以下条件：该像素块扩展的边界Ω,Ξ要尽可能和图像Image(n)的相应区域的取值一致：

其中

·ISPreviousPatch为布尔型，代表是否与图像Image(n)所选用的像素块为同一个。

·H1(Ω)仅在区域Ω中，区域Ω不包括中心的N×N像素块。

像素块J包含了其像素块位置(q_x,q_y)和旋转度(a,b)，以及其在公式[11]中的类型。

关于H1(Ξ)的定义与H1(Ω)类似，区别在于H1(Ξ)仅在区域Ξ中，而不包括区域Ω和N×N像素块。θ,α,β为特定的参数。

2.将这些像素块拼接成Image(n+1)

3.重复直至所得的图像不再有变动，或者达到迭代的最大次数。

通过上述归纳法得到最终的高频图像。

可以把各实施例提供为可包括其上存储有机器可执行指令的一个或多个机器可读介质的计算机程序产品，这些指令在由诸如计算机、计算机网络或其他电子设备等的一个或多个机器执行时，可以引起一个或多个机器执行根据本发明的各实施例的操作。机器可读介质可以包括但不限于软盘、光盘、CD-ROM(紧致盘只读存储器)和磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪速存储器或适用于存储机器可执行指令的其他类型的介质/机器可读介质。

此外，可以作为计算机程序产品下载各实施例，其中，可以经由通信链路(例如，调制解调器和/或网络连接)由载波或其他传播介质实现和/或调制的一种或多种数据信号把程序从远程计算机(例如，服务器)传输给请求计算机(例如，客户机)。因此，在此所使用的机器可读介质可以包括这样的载波，但对此不作要求。

对“一种实施例”、“一个实施例”、“示例实施例”、“各种实施例”等等的引用指示这样描述的本发明的(各)实施例可以包括具体的特征、结构或特性，但并非每一实施例必定包括具体的特征、结构或特性。进一步，一些实施例可以具有相对于其他实施例所描述的特征中的一些、全部，或没有任何这些特征。

在下列描述和权利要求中，可以使用术语“耦合”及其派生词。“耦合”用来指示两个或更多个元素协同操作或相互交互，但在它们之间可以具有或不具有中介物理或电气组件。

如权利要求中所使用的，除非另有说明，把序数形容词“第一”、“第二”、“第三”等等用来描述共同的元素，仅仅指示提及类似元素的不同实例，且不预期暗示这样描述的元素必须处于给定的序列，无论是时间、空间、分级或以任何其他方式。

附图和前面的描述给出了各实施例的示例。本领域中的技术人员将明白，所描述的元素中的一种或多个可以很好地组合成单个功能元素。备选地，可以把些元素拆分成多个功能元素。可以把来自一种实施例的元素添加到另一实施例。例如，可以改变在此描述的处理的顺序，且不限于在此描述的方式。此外，不必按所显示的次序实现任何流程图的动作；也不必然需要执行所有动作。而且，不依赖于其他动作的那些动作可以与其他动作并行执行。各实施例的范围决不限于这些特定的示例。无论是否在说明书中明确地给出，诸如材料的结构、尺寸和使用的差异等的众多变更都是可能的。各实施例的范围至少是下列的权利要求所指定的那样宽广。

以上描述了本发明的若干实施例。然而，本发明可具体化为其它具体形式而不背离其精神或本质特征。所描述的实施例在所有方面都应被认为仅是说明性而非限制性的。因此，本发明的范围由所附权利要求书而非前述描述限定。落入权利要求书的等效方案的含义和范围内的所有改变被权利要求书的范围所涵盖。