图像处理装置与方法与流程

本发明公开内容与一种图像处理装置与方法有关，特别是与一种提升图像锐利度(sharpness)的图像处理装置与方法有关。

背景技术：

一般图像数据在传送与储存时，因受限于传输速率或储存空间等，往往需采用低解析度的图像格式，为了符合高解析度显示装置的图像规格，再利用图像插补(interpolation)技术提升解析度，使低解析度的图像可显示于高解析度规格的显示装置，然而，图像插补技术虽可加入新像素，但产生的图像往往有模糊或图像品质不佳等问题。而超解析度技术(super resolution,SR)乃是在模糊的图像中增加细节的方法，习知的超解析度技术中有以下数种做法。

第一种乃是使用多帧低解析度图像组成单帧高解析度图像，由于多帧时间轴上相近的低解析度图像所包含的场景相同，因此会包含该场景的不同细节，因此，此做法自多帧时间相近的低解析度图像中分别取出单帧高解析度图像的部分细节而形成高解析度图像。但此做法须耗费大量存储器来储存多帧低解析度图像的资讯。

另一种做法则是以学习基础生成高解析度图像，此做法乃是以低解析度图像中的区块特征搜寻高解析度图像数据库，以高解析度图像数据库中相合的图像区块取代低解析度图像中的区块，但此做法不只须耗费大量存储器来储存高解析度图像数据库，在以区块特征搜寻图像数据库时也须耗费大量计算资源。

技术实现要素：

因此，亟须一种低硬件成本与计算资源需求的图像处理装置与方法来以提升图像锐利度与增加图像细节。

本发明公开内容的一态样为一种图像处理装置，包含高频平移元件、高 频提取元件、细节增益产生元件以及图像输出元件。高频平移元件用以提取并平移输入图像中的第一高频部分以产生一第一图像；高频提取元件用以提取输入图像中的第二高频部分以产生第二图像；细节增益产生元件用以储存转换表，并根据输入图像中输入像素的像素值与转换表，产生输入像素分别对应的细节增益；图像输出元件用以比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生一输出图像的高频成分。

于一实施例中，图像输出元件将输出图像的高频成分混合至输入图像，以产生输出图像。

于一实施例中，细节增益产生元件用以自输入像素中取出与一第一输入像素间隔一个像素以上的多个邻近像素，并根据第一输入像素与邻近像素的像素值总和查询转换表，以产生细节增益中对应至第一输入像素者，且第一输入像素为输入像素中之一。

于一实施例中，细节增益产生元件用以自第一输入像素的上下左右四个方向，分别取出与第一输入像素间隔一个像素的像素，作为邻近像素。

于一实施例中，细节增益产生元件所储存的转换表对应至一周期性连续函数。

于一实施例中，细节增益在0～N倍之间，其中N为自然数。

于一实施例中，图像高频平移元件包含至少两个过冲高通滤波器，用以对输入图像进行滤波处理并产生多个高频平移图像，高频平移图像中分别包含第一高频成分，自高频平移图像中选取像素值的绝对值最高者作为第一图像。

于一实施例中，过冲高通滤波器分别对应至不同的多个遮罩(mask)，遮罩于中心和外围的系数为正数，且其余系数为负数。

于一实施例中，高频提取元件包含至少两个高通滤波器，分别对应至不同的遮罩，并且用以对输入图像进行滤波处理产生多个高频图像，高频图像中分别包含第二高频成分，自高频图像中选取像素值的绝对值最高者作为第二图像。

本发明公开内容的另一态样为一种图像处理方法，包含下述步骤：提取并平移输入图像中的多个第一高频部分以产生第一图像；提取输入图像中的多个第二高频部分以产生第二图像；根据输入图像中多个输入像素的像素值 与一转换表，产生输入像素分别对应的细节增益；比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生一输出图像的高频成分。

于一实施例中，将输出图像的高频成分混合至输入图像，以产生输出图像。

于一实施例中，产生细节增益的步骤包含：自输入像素中，取出与第一输入像素间隔一个像素以上的多个邻近像素，并根据第一输入像素与邻近像素的像素值总和查询转换表，以产生细节增益中对应至第一输入像素者，且第一输入像素为输入像素之一。

于一实施例中，产生细节增益的步骤包含：自第一输入像素的上下左右四个方向，分别取出与第一输入像素间隔一个像素的像素，作为邻近像素。

于一实施例中，转换表对应至的周期性连续函数。

于一实施例中，细节增益在0～N倍之间，其中N为自然数。

于一实施例中，产生第一图像的步骤包含：以至少两个过冲高通滤波器对输入图像进行滤波处理，并产生多个分别包含第一高频成分的高频平移图像，自高频平移图像中选取像素值的绝对值最高者作为第一图像。

于一实施例中，过冲高通滤波器分别对应至不同的遮罩，遮罩于中心和外围的系数为正数，其余系数为负数。

于一实施例中，产生第二图像的步骤包含：以至少两个高通滤波器对输入图像进行滤波处理，高通滤波器分别对应至不同的遮罩，滤波处理后产生多个分别包含第二高频成分的高频图像，自高频图像中选取像素值的绝对值最高者作为第二图像。

本发明公开内容的图像处理装置与方法以低硬件成本和低计算资源要求，以单张低解析度图像产生高解析度图像，提升图像的锐利度与细节。

附图说明

图1是依照本发明公开内容实施例示出一种图像处理装置的方块示意图；

图2A是依照本发明公开内容一实施例示出的邻近像素示意图；

图2B是依照本发明公开内容实施例示出的转换表对应函数图；

图3A～3E是为数位图像滤波器对应的遮罩示意图；

图4是依照本发明公开内容实施例示出的高频平移元件示意图；

图5A是依照本发明公开内容实施例示出的高频提取元件示意图；

图5B～5E是依照本发明公开内容实施例示出的高通滤波器对应的遮罩示意图；以及

图6依照本发明公开内容实施例示出的一种图像处理方法的流程图；

其中，附图标记说明如下：

100 图像处理装置

110 高频平移元件

112A 过冲高通滤波器

112B 过冲高通滤波器

120 高频提取元件

122A 高通滤波器

122B 高通滤波器

130 细节增益产生元件

140 图像输出元件

150 输入图像

151 输出图像

210 第一输入像素

220 像素

220A～220D 邻近像素

310～350 遮罩

360A～360B 过冲高通滤波器遮罩

370A～370F 高通滤波器遮罩

600 图像处理方法

S610～S640 步骤。

具体实施方式

为了使本发明公开内容的叙述更加详尽与完备，可参照所附的图式及以下所述各种实施例，图式中相同的号码代表相同或相似的元件。另一方面， 众所周知的元件与步骤并未描述于实施例中，以避免对本发明公开内容造成不必要的限制。此外，图式仅以说明为目的，并未依照原尺寸作图。

人眼观察数位图像时，对比度(contrast)是影响感知图像品质(perceptual image quality)的重要因素，由于人类视觉系统(human visual system，HVS)的特性，高对比度的图像能使人眼观察到更多图像中的细节，另外，由于心理物理效应(psychophysical effect)，高对比度(特别是高对比图像中的高频部分)往往也让观察者认为图像有较高的锐利度，进而提高感知图像品质。根据实验结果，图像中加入适量的高频随机无用信息可提升人眼所观察到的感知图像品质，然而，完全随机或过量的无用信息反而会造成感知图像品质下降。

因此，本发明公开内容发明公开一种图像处理装置100，用以处理输入图像150以产生输出图像151，其硬件元件如图1所示。图1是依照本发明公开内容实施例示出一种图像处理装置100的方块示意图，其中，平行四边形方块代表输入或输出数据，长方形方块代表硬件元件。输入图像150为低解析度图像经一般图像插补(interpolation)技术增加像素后所得的高解析度图像，但一般图像插补技术仅可产生平滑的输入图像150，并无法增加输入图像150的细节，因此，输入图像150仍有细节不足造成的图像模糊问题。本发明公开内容的图像处理装置100用以处理输入图像150，以增加图像细节，并提升输出图像151的图像品质。以下将分别介绍各元件的操作细节。

应注意到，当输入图像150为彩色图像时，像素值可以红绿蓝(RGB)三原色的强度值表示，或是以色调、饱和度和亮度(HSV)的强度值表示，另外尚有其他像素值表示方式，并不限于上述所举示例。当输入图像150为灰阶图像时，像素值则以灰阶强度表示。为便于说明，以下将以像素值为灰阶强度值为例说明，本领域具通常知识者在阅读本发明公开内容后，可将所发明公开内容应用至使用不同像素值表示方式的彩色图像，即本发明公开内容不以灰阶图像为限。

图像处理装置100包含高频平移元件110、高频提取元件120、细节增益产生元件130以及图像输出元件140。高频平移元件110用以提取并平移输入图像150中的第一高频部分以产生第一图像。高频提取元件120用以提取输入图像150中的第二高频部分以产生第二图像；细节增益产生元件130用以储存转换表，转换表记录一输入值与一输出值的对应关系，细节增益产生 元件130根据输入图像150中输入像素的像素值与转换表产生输入像素分别对应的细节增益；图像输出元件140用以比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生输出图像151的高频成分。

细节增益产生元件130根据输入图像150中像素的像素值，并通过转换表加入随机成分以产生细节增益，而图像输出元件140则计算输入图像150中经平移的第一高频部分与未经平移的第二高频部分的比例迭加结果(或称加权迭加结果)，以产生输出图像151的高频成分。在一些实施例中，图像输出元件140直接将所产生输出图像151的高频成分将混和至输入图像150中，进而产生对比度较输入图像150高且图像细节更加丰富的输出图像151。具体而言，混合高频平移元件110所产生的第一图像将增加输出图像151中包含的图像细节，而根据包含随机成分的细节增益来混合第一图像与第二图像使得输出图像151的最高频率大于输入图像150，以下将对细节增益产生元件130做进一步的说明。

图2A是依照本发明公开内容一实施例示出的邻近像素示意图，于本实施例中，第一输入像素210为输入图像150的输入像素其中一者，细节增益产生元件130用以自输入像素中取出与第一输入像素210间隔一个像素以上的多个邻近像素(如像素220)，与像素220用相同方式标示的像素即为符合条件的像素，而细节增益产生元件130自其中选取多个作为邻近像素，并且以第一输入像素210与邻近像素的像素值总和作为输入值查询转换表，以所对应输出值作为对应至第一输入像素210的细节增益。

细节增益产生元件130于取出第一输入像素210的邻近像素时，选择与第一输入像素210相隔一个像素以上的输入像素，即与像素220标示相同的像素，如此一来，第一输入像素210与其相邻的输入像素所取得的邻近像素不会重复，相邻的输入像素对应的像素值总和有较大差异，因此查询转换表所产生的细节增益也更有机会不同，使得相邻的输入像素将会对应至差别较大的细节增益，进一步放大输出图像151中相邻像素的像素值的差别，达到提高图像对比度的目的。另外，由于细节增益用于混合输入图像150中的第一高频部分与第二高频部分，因此输出图像151仍与输入图像150相关，输出图像151所加入的细节，也即经细节增益加权过后的第一图像与第二图像，也将与输入图像150一致，进而产生自然的输出图像151。

于一实施例中，细节增益产生元件130用以自第一输入像素210的上下左右四个方向，分别取出与第一输入像素210间隔一个像素的像素作为邻近像素220A～220D。于其他实施例中，细节增益产生元件130自上下左右以及对角方向，分别取出与第一输入像素210间隔一个像素的像素作为8个邻近像素，并以此8个邻近像素与第一输入像素210的像素值和产生细节增益。本领域具通常知识者可根据应用选取邻近像素，并不限于所举示例。

于另一实施例中，细节增益产生元件130所储存的转换表对应至如图2B所示的周期性连续函数，周期性连续函数的周期性使输入图像150中亮部(高像素值)和暗部(低像素值)的输入像素均有机会对应至高细节增益或低细节增益，让产生的细节增益中包含随机性。另外，当图像处理装置100用以处理图像串流或连续性的影音档案时，两张时间连续的输入图像150中拍摄到同一场景或物体的图像区域的像素值不会完全相同，会因无用信息影响有细微的差异，而周期性连续函数的连续性使连续两张输入图像150中受无用信息干扰的部分，对应至相近的细节增益，使连续两张输出图像151中拍摄到相同场景或物体的区域有稳定且不跳动的图像品质。于图2B中，周期性连续函数为重复的三角形函数，于其他实施例中，周期性连续函数可为重复的半圆形函数，本领域具通常知识者可思及其他周期性连续函数，并不限于所举示例。

于另一实施例中，转换表中输入值所对应的细节增益的值范围在0～N倍之间。于一些实施例中，细节增益的范围可为0～N之间的任意小数。于其他实施例中，转换表中输入值所对应的细节增益的值的范围为0～127之间的任意整数，以方便对像素值进行数位运算。本领域具通常知识者在阅读本发明公开内容后，可依需要设计N的大小与细节增益的数值型态，不限于上述所举示例。

在说明高频平移元件110与高频提取元件120的细节前，先参照图3A～3E以简介数位图像滤波器。图3A～3E是为数位图像滤波器对应的遮罩示意图，数位图像滤波器用以对数位图像进行空间频率(Spatial frequency)的滤波处理，根据不同的应用场景，可调整数位图像滤波器所对应遮罩的方向、宽度和系数。第3A～3D图所示为宽度为5个像素的5-tap滤波器，且第3A～3B图示出对应至对角方向5-tap滤波器的遮罩310～320，第3C图示出对应至垂直 方向5-tap滤波器的遮罩330，第3D图示出对应至水平方向5-tap滤波器的遮罩340，于一些应用中，如第3E图所示，数位图像滤波器对应至二维的遮罩350。另外，数位图像滤波器的遮罩系数根据不同的用途而设计，遮罩310～350的中心系数为正，而其他系数为负，表示遮罩310～350对应至一高通滤波器，若遮罩310～350的系数皆为正且系数总合为1，遮罩310～350对应至一低通滤波器。于不同的应用中，遮罩的宽度可根据应用需求设计，并不限于上述所举示例。

数位图像经高通滤波器处理后，可得数位图像中所包含的高频部分，即数位图像中像素值改变较大或频繁改变的部分，如图像的边缘或者图像中具有纹理的区域(textured area)。图像处理装置100中的高频平移元件110和高频提取元件120，便是针对输入图像150中包含的高频部分进行处理。

于一实施例中，高频平移元件110中包含互相并联耦接的二过冲高通滤波器112A～112B，用以对输入图像150进行滤波处理并产生多个高频平移图像，高频平移图像中分别包含第一高频成分，而高频平移元件110自高频平移图像中选取像素值的绝对值最高者作为第一图像。在某些实施例中，过冲高通滤波器也可称为过冲滤波器(overshoot filter)。

举例而言，如图4所示，高频平移元件110所包含的过冲高通滤波器112A/112B分别对应至不同的过冲高通滤波器遮罩360A以及过冲高通滤波器遮罩360B，过冲高通滤波器遮罩360A～360B于中心和外围的系数为正数，且其余系数为负数，与一般高通滤波器所对应的遮罩不同，因此，过冲高通滤波器112A～112B处理输入图像150所提取的第一高频部分会受过冲效应(overshooting)影响产生平移，也就是说，过冲高通滤波器112A～112B处理输入图像150所产生的高频平移图像中，像素值高的区域对应至输入图像150经平移过的边缘以及具细腻纹理的区域，高频平移元件110自高频平移图像中取出第一图像后，图像输出元件140将第一图像混合入输出图像151中，使输出图像151包含丰富的图像细节。在本实施例中，过冲高通滤波器遮罩360A中外围的系数左右边各一者为正数，而在其他实施例中，为正数的外围系数并不仅限于左右边各一者，可为至少两者以上。

于本实施例中，过冲高通滤波器遮罩360A～360B分别为水平方向与垂直方向，过冲高通滤波器112A～112B分别用以提取且平移输入图像150中水平 和垂直方向的第一高频部分，作为高频平移图像，高频平移元件110则自水平和垂直方向的高频平移图像中，取得像素值的绝对值最高者(即对应至变化最大的像素)作为第一图像，使第一图像中包含输入图像150对应至不同方向的第一高频部分。

于其他实施例中，高频平移元件110包含三个以上的过冲高通滤波器，分别对应至不同方向、不同宽度以及不同系数的遮罩，遮罩于中心和外围的系数为正数，且其余系数为负数，本领域具通常知识者可依应用需求，调整过冲高通滤波器的数量以及所对应的遮罩，并不限于本发明公开内容所举示例。

于一实施例中，如图5A所示，高频提取元件120包含互相并联耦接的至少两个高通滤波器122A～122B，分别对应至多个不同的遮罩370A～370B，高通滤波器122A～122B用以对输入图像150进行滤波处理产生多个高频图像，高频图像中分别包含第二高频成分，高频提取元件120自高频图像中选取像素值的绝对值最高者作为第二图像。

于其他实施例中，高频提取元件120包含4个高通滤波器，分别对应至图5B～5E所示的高通滤波器遮罩370C～370F，每一遮罩于遮罩中心的系数为正数，其余系数为0或负数。以上所述高频提取元件120所包含高通滤波器的数目，以及每一高通滤波器所对应的遮罩方向、宽度与系数仅为示例，本领域具通常知识者可视应用需求自行设计，上述示例并非用以限定本发明公开内容。

于一实施例中，图像输出元件140包含加权加法器与乘法器，加权加法器用以比例迭加第一图像和第二图像，所述比例迭加结果也可称为第一图像与第二图像的加权和(weighted sum)，图像输出元件140中乘法器用以将第一图像和第二图像的比例迭加结果乘上细节增益，并以乘法器所得结果作为输出图像151的高频成分。在某些实施例中，加法器可由加法器所替代，表示第一图像和第二图像迭加的比例为1:1，加法器用以迭加第一图像和第二图像以得到一迭加结果，以迭加结果乘上细节增益作为输出图像151的高频成分。于一些实施例中，图像输出元件140还以另一加法器将输出图像151的高频成分与输入图像150相加，以产生输出图像151。本领域据通常知识者可使用其他类型硬件元件实作图像输出元件140，上述示例并非用以限定本发明 公开内容。

图像处理装置100具备低硬件成本和低计算资源要求，并根据单张低解析度的输入图像150产生高解析度输出图像151，藉以提升输入图像150的图像锐利度并产生丰富的图像细节，且图像处理装置100对于输入图像150纹理较密的区域特别具有效果。

图6依照本发明公开内容实施例示出的一种图像处理方法的流程图。应了解到，虽然流程图中对于图像处理方法600是以特定顺序的步骤来做描述，然此并不限制本发明所提及步骤的前后顺序，另外在实作中可增加或减少所述步骤。另外，为了方便及清楚说明，以图1所示的图像处理装置100执行图像处理方法600为例来进行阐述，但本发明公开内容并不以此为限。

于图像处理方法600的操作流程中，图像处理装置100提取并平移输入图像中的第一高频部分以产生一第一图像(步骤S610)。第一图像中包含输入图像中经平移的第一高频部分，用以增加输出图像的细节。于一实施例中，图像处理装置100以至少两个过冲高通滤波器对输入图像进行滤波处理，并产生多个高频平移图像，高频平移图像中像素值的绝对值最高者分别对应至输入图像150中的第一高频成分，也即，输入图像150中边缘以及像素值改变频繁的区域，图像处理装置100并自高频平移图像中选取像素值最的绝对值最高者作为第一图像。过冲高通滤波器分别对应至不同的遮罩，遮罩于中心和外围的系数为正数，其余系数为负数。过冲高通滤波器及其对应的遮罩的细节如前所述，于此不再赘述。

图像处理装置100提取输入图像中的第二高频部分以产生一第二图像(步骤S620)，第二图像中包含输入图像中的第二高频部分，用以加强输出图像的锐利度。于一实施例中，图像处理装置100以至少两个高通滤波器对输入图像进行滤波处理，高通滤波器分别对应至不同的遮罩，滤波处理后产生多个分别包含第二高频成分的高频图像，自高频图像中选取像素值的绝对值最高者作为第二图像。高通滤波器及其对应的遮罩的细节如前所述，于此不再赘述。

图像处理装置100根据输入图像中输入像素的像素值与一转换表产生输入像素分别对应的细节增益(步骤S630)，转换表包含输入值与输出值的对应关系，图像处理装置100根据输入像素的像素值决定输入值，并查询转换表 以所对应的输出值作为细节增益。

于一实施例中，输入图像的输入像素中有一第一输入像素，图像处理装置100自输入像素中取出与第一输入像素间隔一个像素以上的多个邻近像素，以第一输入像素与邻近像素的像素值总和查询转换表，以产生对应至第一输入像素的细节增益。于另一实施例中，图像处理装置100自第一输入像素的上下左右四个方向，分别取出与第一输入像素间隔一个像素的像素作为邻近像素。取出邻近像素的细节如前所述，于此不再赘述。

转换表用以将邻近像素的像素值和对应至一细节增益倍率，于一实施例中，转换表对应至的一周期性连续函数。于再一实施例中，转换表储存的细节增益在0～N倍之间。转换表的设计细节如前所述，于此不再赘述。

图像处理装置100比例迭加第一图像与第二图像，并根据细节增益与比例迭加结果产生输出图像的高频部分(步骤S640)，在某些实施例的步骤S640中，图像处理装置100用以比例迭加第一图像和第二图像以得到另一迭加结果，并根据细节增益将另一迭加结果混合至输入图像，以产生一输出图像，其中，所述另一迭加结果也可称为第一图像与第二图像的加权和(weighted sum)。在某些实施例中，图像处理装置100以1:1的比例迭加第一图像和第二图像，第一图像和第二图像迭加的比例可根据不同应用自行订定，本发明公开内容不以此为限。

由于输出图像包含输入图像、输入图像第一高频部分经平移后产生的第一图像以及提取输入图像第二高频部分产生的第二图像，故输出图像较输入图像包含更多细节，图像对比度也有所提升。另外，产生细节增益使输出图像中包含新的高频成分，而新的高频成分的空间频率较输入图像所包含的最高频率还要更高，提升输出图像的最高频率也使输出图像有更佳的感知图像品质。

综上所述，本发明公开内容所提供的图像处理装置100以及图像处理方法600不需高昂的硬件成本与计算资源消耗，并使用单张输入图像，得出包含丰富图像细节的输出图像，提高输出图像的视觉解析度与感知图像品质。当输入图像为多张时间上连续的图像数据时，也可使连续的输出图像稳定不跳动，提升观众的视觉享受。

虽然本发明公开内容已以实施方式公开如上，然其并非用以限定本发明 公开内容，任何本领域技术人员，在不脱离本发明公开内容的精神和范围内，当可做各种的更动与润饰，因此本发明公开内容的保护范围当视权利要求范围所界定者为准。