超分辨率图像处理方法及其装置的制造方法
【技术领域】
[0001]本发明是涉及一种图像处理方法及其装置，且特别涉及一种超分辨率(super-resolut1n)图像处理方法及其装置。
【背景技术】
[0002]显示设备在近年来日益进步，无论是手机、计算机或电视的屏幕尺寸越来越大，又因为网络技术发展，浏览影像相关的需求也越来越大。由于一般影像数据量都不小，所以放大影像导致的计算量也随之增加，伴随的处理时间则相对增长。
[0003]目前常见的影像放大技术，可分为两大分类，一种是基于数据库的技术类别，另一种则是基于内插法(interpolat1n)的技术类别。基于数据库的技术类别通常需搜集大量的低分辨率影像，以及相对应的高分辨率影像，并将这些影像数据设成数据库；当要提升某一张低分辨率的影像时，会先将所述低分辨率的影像切为多个区块，并将每个区块和数据库中低分辨率的影像数据进行比对，当其中一个区块和数据库其中一笔低分辨率影像数据最相近时，则将所述低分辨率影像数据对应的高分辨率影像数据设至所述区块。因此，基于数据库的技术类别所需处理时间通常过长，且占的内存空间也过大，不适合在有限的硬件上实现。
[0004]另一方面，基于内插法的技术类别所需硬件资源则相对较低；现今基于内插法的影像放大技术，通常是先将影像升取样(upsampling)之后，再将放大后的影像进行内插。然而，现今基于内插法的技术虽可达到较快的处理速度，但却无法达到稳定的低失真率。
[0005]因此，在有限的硬件条件下，要使处理速度加快且维持一定的质量，需要有更高效率的算法。
【发明内容】
[0006]在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
[0007]本发明提供一种关于图像处理方法及其装置，以减少放大影像导致的过长处理时间以及低的影像放大质量。
[0008]本发明的一方面是有关一种图像处理方法。图像处理方法包括下列步骤:根据放大算法以η倍倍率放大输入影像成第一影像；以η倍倍率缩减取样输入影像成第二影像；根据所述放大算法以η倍倍率放大第二影像成第三影像；将输入影像减去第三影像成第一差值影像；根据所述放大算法以η倍倍率放大第一差值影像成第二差值影像；以及叠加第一影像及第二差值影像成输出影像；其中，η为正整数。
[0009]在一实施例中，以所述放大算法放大第一差值影像成第二差值影像的步骤包括:根据色彩滤波矩阵排列第一差值影像至中间影像中；以及根据内插算法内插中间影像成第二差值影像，其中，中间影像及第二差值影像的尺寸为输入影像的尺寸的η倍。
[0010]在又一实施例中，内插算法为最近相邻内插法(nearest neighborinterpolat1n)、双线性插值法(bilinear interpolat1n)、视觉平缓转换内插法(smoothhue transit1n interpolat1n)、边缘检测内插法(edge sensing interpolat1n)、边缘导向内插法(edge directing interpolat1n)、拉普拉斯算子(Laplacian) 二阶色彩相关性线性内插法(Laplacian second-order interpolat1n)、以梯度变量为阈值基准内插法(threshold-based variable number of gradient interpolat1n)、图形识别内插法(pattern recognit1n interpolat1n)或交互投影法(alternating project1n)。
[0011]在又一实施例中，色彩滤波矩阵为贝尔图样(Bayer Pattern)。
[0012]本发明的一方面是关于一种图像处理装置。图像处理装置包括第一放大模块、校正模块及输出模块。第一放大模块根据放大算法以η倍倍率放大输入影像成第一影像；校正模块校正经放大的第一影像，以η倍倍率缩减取样输入影像成第二影像，根据放大算法以η倍倍率放大第二影像成第二影像，将输入影像减去第二影像成第一差值影像并根据放大算法以η倍倍率放大第一差值影像成第二差值影像；输出模块叠加第一影像及第二差值影像成输出影像；其中，η为正整数。
[0013]在一实施例中，校正模块包括缩减取样单元、第一放大单元、差值单元及第二放大单元。缩减取样单元以η倍倍率缩减取样输入影像成第二影像；第一放大单元根据放大算法以η倍倍率放大第二影像成第二影像；差值单兀将输入影像减去第二影像成第一差值影像；第二放大单元根据放大算法以η倍倍率放大第一差值影像成第二差值影像。
[0014]在另一实施例中，第二放大单元包括排列组件及内插组件。排列组件将第一差值影像以色彩滤波矩阵排列至中间影像中；以及内插组件根据内插算法内插中间影像成第二差值影像；中间影像及差值影像的尺寸为输入影像的尺寸的η倍。
[0015]在又一实施例中，第一放大模块包括排列单元及内插单元。排列单元将输入影像以色彩滤波矩阵排列至中间影像中；内插单元根据内插算法内插中间影像成第一影像，其中中间影像及第一影像的尺寸为输入影像的η倍。
[0016]本发明的一方面是关于一种图像处理装置。图像处理装置包括第一放大模块、缩减取样模块、第二放大模块、差值模块、第三放大模块及输出模块。第一放大模块根据放大算法以η倍倍率放大输入影像成第一影像；缩减取样模块以η倍倍率缩减取样输入影像成第二影像；第二放大模块根据放大算法以η倍倍率放大第二影像成第三影像；差值模块将输入影像减去第三影像成第一差值影像，第三放大模块根据放大算法以η倍倍率放大第一差值影像成第二差值影像；以及输出模块叠加第二影像及第二差值影像成输出影像；其中，η为正整数。
[0017]在另一实施例中，第三放大模块包括排列模块及内插模块。排列模块将第一差值影像以色彩滤波矩阵排列至中间影像中；以及内插模块根据内插算法内插中间影像成第二差值影像；其中，中间影像及第二差值影像的尺寸为输入影像的尺寸的η倍。
[0018]以下将以实施方式对上述的说明作详细的描述，并对本发明的技术方案提供更进一步的解释。
【附图说明】
[0019]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂，所附图式的说明如下:
[0021]图1是依据本发明一实施例所绘示的一种图像处理装置的方框示意图；
[0022]图2是依据本发明一实施例所绘示的一种图像处理装置产生的影像示意图；
[0023]图3是依据本发明一实施例所绘示的缩减取样及根据贝尔图样排列像素的示意图；
[0024]图4是依据本发明一实施例所绘示的相邻内插法的示意图；
[0025]图5是依据本发明一实施例所绘示的双线性插值法的示意图；以及
[0026]图6是依据本发明一实施例所绘示的超分辨率图像处理方法的流程图。
[0027]附图标记:
[0028]100:图像处理装置 212:第一影像
[0029]110:放大模块221:第二影像
[0030]111:排列单元222:中间影像
[0031]112:内插单元223:第三影像
[0032]120:校正模块224:第一差值影像
[0033]121:缩减取样单元 225:中间影像
[0034]122:排列组件226:第二差值影像
[0035]123:内插组件Rij、Gij、Bij:像素
[0036]124:差值单元:像素
[0037]125:排列组件:像素
[0038]126:内插组件301?303:像素资料
[0039]127:放大单元311?313:像素资料
[0040]128:放大单元321?323:像素资料
[0041]130:输出模块401?403:像素资料
[0042]201:输入影像501?503:像素资料
[0043]202:输出影像S601?S607:步骤
[0044]211:中间影像
【具体实施方式】
[0045]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描