超分辨率图像处理方法及其图像处理装置制造方法
【专利摘要】本发明提供一种超分辨率图像处理方法及其图像处理装置。此方法包括依据目标图像对多个未选择图像执行移动量估测。并根据相对应的区块是否有旋转而设定置信度，并对未选择图像分别执行移动校正，以产生校正后图像。依序对目标图像中的每一像素点与校正后图像中对应的每一像素点执行场景物体移动检测。参考置信度来设定多个物体移动指标。最后，依据物体移动指标对目标图像的各个像素点与校正后图像的各个像素点进行算术运算以产生超分辨率图像。
【专利说明】超分辨率图像处理方法及其图像处理装置
【技术领域】
[0001] 本发明涉及一种图像放大（image enlargement)技术，尤其涉及一种超分辨率图 像处理方法及其图像处理装置。
【背景技术】
[0002] 图像放大技术是图像处理中一项重要的研究方向。超分辨率图像放大方法是将多 张低分辨率图像视为额外的信息，来估算出一张高分辨率图像。因此，超分辨率图像放大方 法相较于利用单一图像来完成图像放大的方法有较好的图像品质。
[0003] 现有的超分辨率研究大致可分为静态图像超分辨率和动态图像超分辨率两类。其 中，动态图像超分辨率方法又可区分为三类：统计学方法、非均匀空间内插（non-uniform interpolation)方法以及迭代反投影法（iterative back-projection)。详细地说，统计 学方法是利用统计几率模型来求解并还原问题。非均匀空间内插方法以动态补偿的方式从 多张低分辨率图像中找出互补的信息，进而重建高分辨率图像。迭代反投影法则利用迭代 方式来重建高分辨率图像。
[0004] 利用多张低分辨率图像进行混合以产生高分辨率图像最常见的副作用（Side effect)即为鬼影（ghost)现象。第一类鬼影现象产生的主要原因是因为在拍摄多张图像 时，场景中有物体在移动，因此多张图像进行混合时，移动的物体并不会校正在相同位置， 所以混合后会产生鬼影现象。第二类鬼影现象产生的主要原因是因为在拍摄多张图像时， 使用者手持图像检索装置时，因手持不稳(手振）使得图像检索装置不只产生位移还有旋转 的情况发生，所以混合后会产生鬼影现象。
【发明内容】
[0005] 本发明提供一种超分辨率图像处理方法及其图像处理装置，可利用多张动态图像 序列进行混合以产生超分辨率图像，并且可避免第一类与第二类鬼影现象的问题。
[0006] 本发明的超分辨率图像处理方法，用于处理多个源图像，其中，源图像其中之一作 为目标图像，其余的源图像作为未选择图像。超分辨率图像处理方法包括下列步骤。依据 目标图像对未选择图像执行移动量估测（motion estimation),根据相对应的区块是否有 旋转而设定多个置信度（confidence value),并对未选择图像分别执行移动校正（motion correction)，以产生多个校正后图像。依序对目标图像中的每一像素点与校正后图像中对 应的每一像素点执行场景物体移动检测（local motion object detection)。并参考置信 度来设定多个物体移动指标。最后，依据物体移动指标对目标图像的各个像素点与校正后 图像的各个像素点进行算术运算以产生超分辨率图像。
[0007] 在本发明的一实施例中，上述依据目标图像对未选择图像执行移动量估测，并根 据相对应的区块是否有旋转而设定置信度的步骤包括：依据目标图像对未选择图像执行 区域移动量估测（local motion estimation)后，再执行全域移动量估测（global motion estimation)，以产生多个旋转角度；以及依据旋转角度来设定置信度。
[0008] 在本发明的一实施例中，上述执行场景物体移动检测并参考置信度来设定物体移 动指标的步骤包括：依据各个像素点的相邻区块的区块移动量差值与对应的置信度来设定 物体移动几率（Local Motion Probability，简称LMP)。参考此物体移动几率并依据各个 像素点的区域频率特性来设定物体移动指标。
[0009] 在本发明的一实施例中，上述依据各个像素点的相邻区块的区块移动量差值与对 应的置信度来设定物体移动几率的步骤包括：判断各个像素点的相邻区块的区块移动量差 值是否至少有其中之一大于第一差值门限值。若是，则将物体移动几率设定为第一设定值； 若否，则将物体移动几率设定为0。并且依据对应的置信度来调整此物体移动几率。
[0010] 在本发明的一实施例中，上述的超分辨率图像处理方法还包括判断各个像素点的 相邻区块的区块移动量差值是否至少有其中之一大于第二差值门限值。若是，则将物体移 动几率设定为第二设定值。其中此第二设定值小于上述的第一设定值。
[0011] 在本发明的一实施例中，上述依据对应的置信度来调整物体移动几率的步骤包 括：判断置信度是否大于置信门限值。若是，则上述的物体移动几率维持不变；若否，则增 加上述的物体移动几率。
[0012] 在本发明的一实施例中，上述依据各个像素点的区域频率特性设定各个物体 移动指标的步骤包括下列步骤。分别计算各个像素点的绝对误差和（Sum of Absolute Difference，简称SAD)门限值。计算各个像素点在目标图像与校正后图像之间的绝对误差 和。当各个像素点的各个绝对误差和大于此绝对误差和门限值，则使能（enable )物体移动 指标。当各个像素点的各个绝对误差和不大于此绝对误差和门限值，则禁能（disable)物 体移动指标。
[0013] 在本发明的一实施例中，上述分别计算各个像素点的绝对误差和门限值的步骤包 括：先分别计算各个像素点在目标图像中的第一平均绝对误差值（Mean Absolute Error, 简称MAE)与各个像素点在校正后图像中的第二平均绝对误差值。选择第一与第二平均绝 对误差值中的较小者进行查表，以获得参考门限值。再依据此参考门限值与物体移动几率 进行运算，以获得绝对误差和门限值。
[0014] 在本发明的一实施例中，上述的参考门限值与物体移动几率是依据下式进行运 算：绝对误差和门限值=(100% -物体移动几率）X参考门限值。
[0015] 在本发明的一实施例中，上述在进行算术运算的步骤之前还包括先在各个像素点 所属的掩膜（mask)内执行平均绝对误差运算，以获得多个平均绝对误差值。
[0016] 在本发明的一实施例中，上述进行算术运算以产生超分辨率图像的步骤包括： 对目标图像的各个像素点与校正后图像的各个像素点设定多个比重，据以执行比重和 (weighting sum)运算。其中，当物体移动指标为使能时，则将比重设定为零，当物体移动指 标为禁能时，则将比重设定为平均绝对误差值。
[0017] 本发明的一种图像处理装置包括镜头模块、存储器单元以及处理器。其中，镜头模 块用以拍摄多个源图像，其中源图像的其中之一作为目标图像，其余的源图像作为未选择 图像。存储器单元耦接至镜头模块，用以储存源图像。处理器耦接至镜头模块与存储器单 元，其用以依据目标图像对未选择图像执行移动量估测，根据相对应的区块是否有旋转而 设定多个置信度，并对未选择图像分别执行移动校正，以产生校正后图像。处理器依序对目 标图像中的每一像素点与校正后图像中对应的每一像素点执行场景物体移动检测，并参考 该些置信度来设定物体移动指标。处理器还依据物体移动指标对目标图像的各个像素点与 校正后图像的各个像素点执行算术运算以产生超分辨率图像。
[0018] 基于上述，本发明所提供的超分辨率图像处理方法及其图像处理装置，可利用多 张动态图像序列进行混合以产生超分辨率图像，并且可避免第一类与第二类鬼影现象的问 题。此外，超分辨率图像在高频区域可以增加分辨率并且在平坦区域有去干扰效果。
[0019] 为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详 细说明如下。
【专利附图】
【附图说明】
[0020] 图1A是依照本发明一实施例所示出的图像处理装置的方块图；
[0021] 图1B是依照本发明一实施例所示出的处理器100的方块图；
[0022] 图2是依照本发明一实施例所示出的执行平均绝对误差运算的掩膜示意图；
[0023] 图3是依照本发明一实施例所示出的执行场景物体移动检测的方法流程图；
[0024] 图4为本发明一实施例的物体移动检测模块130依据所选取像素点的区域频率特 性设定物体移动指标的方法流程图；
[0025] 图5是依照本发明一实施例所不出的查找表不意图。
[0026] 附图标记说明：
[0027] 10:图像处理装置；
[0028] 100 :处理器；
[0029] 102 :镜头模块；
[0030] 104 :储存单元；
[0031] 110 :移动量估测模块；
[0032] 112:区域移动量估测器；
[0033] 114:全域移动量估测器；
[0034] 120 :移动量校正模块；
[0035] 130 :物体移动检测模块；
[0036] 140:图像混合模块；
[0037] Imgl_HR :目标图像；
[0038] Img2_HR ?Img4_HR :未选择图像；
[0039] CorrImg2_HR ?CorrImg4_HR :校正后图像；
[0040] CV2 ?CV4 :置信度；
[0041] Map2?Map4 :物体移动指标；
[0042] Imgl_SR :超分辨率图像；
[0043] MAE :平均绝对误差值；
[0044] MAE1 :第一平均绝对误差值；
[0045] MAE2 :第二平均绝对误差值；
[0046] TH_SAD :绝对误差和门限值；
[0047] TH_ref :参考门限值；
[0048] S301?S323 :执行场景物体移动检测的方法的各步骤；
[0049] S401?S417 :设定物体移动指标的方法的各步骤。
【具体实施方式】
[0050] 本发明提出一种以动态图像序列进行混合以产生超分辨率图像的放大方法，利用 移动量及频率特性对图像序列做个别移动物体的检测，在有物体移动的区域会将其做单一 图像放大，而不做混合多张的动作，藉此可避免第一类鬼影现象的产生。此外，本发明在执 行全域移动量估测的同时，还会估测图像旋转量的大小，作为图像混合的依据，藉此可避免 第二类鬼影现象的产生。本发明便是基于上述观点进而发展出的一种超分辨率图像处理方 法。为了使本发明的内容更为明了，以下列举实施例作为本发明确实能够据以实施的范例。
[0051] 图1A是依照本发明一实施例所示出的图像处理装置的方块图。请参照图1A，本 实施例的图像处理装置10例如是数码相机、数码单反（Digital Single Lens Reflex,简称 DSLR)相机、数码摄像机（Digital Video Camcorder,简称DVC)等，或是其他具有图像检索 /处理功能的智能型手机等电子装置，不限于上述。在本实施例中，图像处理装置10包括处 理器100、镜头模块102以及储存单元104。以下对各构件进行说明：
[0052] 镜头模块102包括镜头以及感光元件等，感光元件例如是互补金属氧化物半导体 (Complementary Metal Oxide Semiconductor，简称CMOS)感光兀件。CMOS感光兀件的特点 是能高速连拍，因此能对一个场景进行连续拍摄。镜头模块102用以拍摄多个第一分辨率 图像。储存单元104例如是任意型式的固定式或可移动式随机存取存储器（Random Access Memory，简称 RAM)、只读存储器（Read-Only Memory，简称 ROM)、闪存（Flash memory)或硬 盘等，而可用以储存多个第一分辨率图像及其他数据。
[0053] 处理器100耦接至镜头模块102以及储存单元104,其可由软件、硬件或其组合实 作而得，在此不加以限制。软件例如是程序码、操作系统、应用软件或驱动程序等。硬件例 如是中央处理机（Central Processing Unit,简称CPU),或是其他可编程的一般用途或特 殊用途的微处理器（Microprocessor)、数字信号处理器（Digital Signal Processor,简称 DSP)等装置。处理器100的详细功能说明如下：
[0054] 图1B是依照本发明一实施例所示出的处理器100的方块图。请参照图1B，处理 器100包括移动量估测模块110、移动量校正模块120、物体移动检测模块130以及图像混 合模块140。其中，移动量估测模块110还包括区域移动量估测器112以及全域移动量估测 器 114。
[0055] 需先说明的是，当使用者手持图像处理装置10进行连续拍摄时，容易发生手振现 象，因此第一分辨率图像之间会存在着次像素移动（sub-pixel shift)。处理器100先将多 个第一分辨率图像进行放大以产生多个第二分辨率图像。处理器1〇〇可依实际需求采用本 领域具通常知识者所熟知的图像放大方法来对多个第一分辨率图像进行放大，在此不加以 限制。在本实施例中，处理器100选择第二分辨率图像（即源图像)其中之一作为目标图像， 其余的第二分辨率图像作为未选择图像。
[0056] 请参照图1B，移动量估测模块110中的区域移动量估测器112用以接收依据4个 第一分辨率(本实施例举例为低分辨率）图像进行放大而产生的4个第二分辨率(本实施例 举例为高分辨率）图像Imgl_HR、Img2_HR、Img3_HR以及Img4_HR。为方便后续说明，在本实 施例中，源图像（即高分辨率图像）的个数举例为4个，但本发明并不限制源图像的个数。
[0057] 详细地说，区域移动量估测器112例如将高分辨率图像Imgl_HR设定为目标图 像，因此，高分辨率图像Img2_HR、Img3_HR以及Img4_HR即为未选择图像。区域移动量估 测器112将目标图像Imgl_HR与未选择图像Img2_HR、未选择图像Img3_HR以及未选择图 像Img4_HR以相同方法分割成多个区块，分割方法可依实际需求做设定并不加以限制。接 着，区域移动量估测器112估测未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像 Img4_HR的每一区块相对于目标图像Imgl_HR的区块移动量，估测方法例如是区块比对方 式等等。
[0058] 接下来，全域移动量估测器114分别对每一未选择图像Img2_HR、未选择图像 Img3_HR以及未选择图像Img4_HR进行全域移动量估测。举例来说，全域移动量估测的方法 可对多个区块移动量取众数，也就是先将区块移动量进行统计，选择出现最多次的区块移 动量作为全域移动量，或是将所有的区块移动量取平均而得到全域移动量等等。因此，每一 未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR会产生各自的全域移动 量。
[0059] 在此需说明的是，全域移动量估测器114执行全域移动量估测的同时会产生旋转 角度Θ，当旋转角度Θ愈大代表图像四周产生鬼影现象的机会愈大，因此给予较低的置信 度（confidence value);相反的，当旋转角度Θ愈小，则给予较大的置信度。举例来说，置 信度可设定为在〇?1范围内的数值。在本实施例中，全域移动量估测器114分别将每一 未选择图像Img2_HR、未选择图像Img3_HR以及未选择图像Img4_HR对应的置信度CV2、置 信度CV3以及置信度CV4数据传送至物体移动检测模块130。
[0060] 移动量校正模块120根据上述的全域移动量执行移动量校正，移动量校正可利 用仿射矩阵（Affine transformation matrix)将未选择图像Img2_HR、未选择图像Img3_ HR以及未选择图像Img4_HR的起始像素点位置校正至与目标图像Imgl_HR的起始像素点 位置相同。仿射矩阵可以作旋转与移动校正，其中矩阵的系数可由全域移动量估测所得。 基于上述处理可得到校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像 CorrImg4-HR〇
[0061] 接着，物体移动检测模块130将每一校正后图像CorrImg2_HR、校正后图像 CorrImg3_HR以及校正后图像CorrImg4_HR分别与目标图像Imgl_HR做场景物体移动检测， 据以产生物体移动指标Map2、物体移动指标Map3以及物体移动指标Map4。其中，物体移动 检测模块130执行场景物体移动检测的详细步骤容后详述。
[0062] 图像混合模块140将目标图像Imgl_HR与校正后图像CorrImg2_HR、校正后图 像CorrImg3_HR以及校正后图像CorrImg4_HR中的每一个像素点进行混合，混合过程中需 配合参考物体移动指标Map2、物体移动指标Map3以及物体移动指标Map4以产生超分辨 率图像Imgl_SR。举例来说，超分辨率图像Imgl_SR的第一个像素点即为目标图像Imgl_ HR的第一个像素点与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR以及校正后图像 CorrImg4_HR的第一个像素点混合而成。
[0063] 详细的混合方法如下所述：将目标图像Imgl_HR与校正后图像CorrImg2_HR、校正 后图像CorrImg3_HR以及校正后图像CorrImg4_HR中，相对应的一像素点，各自计算其灰阶 度的平均绝对误差值（Mean Absolute Error,简称MAE)。再以各像素点的平均绝对误差值 MAE作为比重，将目标图像Imgl_HR与校正后图像CorrImg2_HR、校正后图像CorrImg3_HR 以及校正后图像C〇rrImg4_HR中相对应的像素点的灰阶值乘上其比重，计算出混合后图像 的灰阶值。详细的判断式及比重和的公式如下式（1)所示：
[0064] if (Map = 1)
[0065] Weight [η] = 0
[0066] else
[0067] Weight [η] = MAE
[0068]
【权利要求】
1. 一种超分辨率图像处理方法，用于处理多个源图像，其中，该些源图像其中之一为一 目标图像，其余的该些源图像为多个未选择图像，其特征在于，包括： 依据该目标图像对该些未选择图像执行移动量估测，根据相对应的区块是否有旋转而 设定多个置信度，并对该些未选择图像分别执行移动校正，以产生多个校正后图像； 依序对该目标图像中的每一像素点与该些校正后图像中对应的每一像素点执行一场 景物体移动检测，并参考该些置信度来设定多个物体移动指标；以及 依据该些物体移动指标对该目标图像的各该像素点与该些校正后图像的各该像素点 进行一算术运算以产生一超分辨率图像。
2. 根据权利要求1所述的超分辨率图像处理方法，其特征在于，依据该目标图像对该 些未选择图像执行移动量估测，根据相对应的区块是否有旋转而设定该些置信度的步骤包 括： 依据该目标图像对该些未选择图像执行一区域移动量估测后，再执行一全域移动量估 测，以产生多个旋转角度；以及 依据该些旋转角度来设定该些置信度。
3. 根据权利要求1所述的超分辨率图像处理方法，其特征在于，执行该场景物体移动 检测，并参考该些置信度来设定该些物体移动指标的步骤包括： 依据各该像素点的多个相邻区块的多个区块移动量差值与对应的该置信度来设定一 物体移动几率；以及 参考该物体移动几率并依据各该像素点的一区域频率特性来设定该些物体移动指标。
4. 根据权利要求3所述的超分辨率图像处理方法，其特征在于，依据各该像素点的 该些相邻区块的该些区块移动量差值与对应的该置信度来设定该物体移动几率的步骤包 括： 判断各该像素点的该些相邻区块的该些区块移动量差值是否大于一第一差值门限值， 若是，将该物体移动几率设定为一第一设定值，若否，将该物体移动几率设定为〇 ;以及 依据对应的该置信度来调整该物体移动几率。
5. 根据权利要求4所述的超分辨率图像处理方法，其特征在于，还包括： 判断各该像素点的该些相邻区块的该些区块移动量差值的是否大于一第二差值门限 值，若是，将该物体移动几率设定为一第二设定值，其中该第二设定值小于该第一设定值。
6. 根据权利要求4所述的超分辨率图像处理方法，其特征在于，依据对应的该置信度 来调整该物体移动几率的步骤包括： 判断该置信度是否大于一置信门限值；以及 若是，该物体移动几率维持不变，若否，增加该物体移动几率。
7. 根据权利要求3所述的超分辨率图像处理方法，其特征在于，依据各该像素点的该 区域频率特性来设定各该物体移动指标的步骤包括： 分别计算各该像素点的一绝对误差和门限值； 计算各该像素点在该目标图像与该些校正后图像之间的一绝对误差和；以及 当各该像素点的各该绝对误差和大于该绝对误差和门限值时，使能该些物体移动指 标，当各该像素点的各该绝对误差和不大于该绝对误差和门限值时，禁能该些物体移动指 标。
8. 根据权利要求7所述的超分辨率图像处理方法，其特征在于，分别计算各该像素点 的该绝对误差和门限值的步骤包括： 先分别计算各该像素点在该目标图像中的一第一平均绝对误差值与各该像素点在该 些校正后图像中的一第二平均绝对误差值； 选择该第一与该第二平均绝对误差值中的较小者进行查表，以获得一参考门限值；以 及 依据该参考门限值与该物体移动几率进行运算，以获得该绝对误差和门限值。
9. 根据权利要求8所述的超分辨率图像处理方法，其特征在于，该参考门限值与该物 体移动几率是依据下式进行运算： 该绝对误差和门限值=(100%-该物体移动几率）X该参考门限值。
10. 根据权利要求1所述的超分辨率图像处理方法，其特征在于，在进行该算术运算的 步骤之前，还包括： 在各该像素点所属的一掩膜内执行一平均绝对误差运算，以获得多个平均绝对误差 值。
11. 根据权利要求10所述的超分辨率图像处理方法，其特征在于，进行该算术运算以 产生该超分辨率图像的步骤包括： 对该目标图像的各该像素点与该些校正后图像的各该像素点设定多个比重，据以执行 一比重和运算， 其中，当该些物体移动指标为使能时，将该些比重设定为零，当该些物体移动指标为禁 能时，将该些比重设定为该些平均绝对误差值。
12. -种图像处理装置，其特征在于，包括： 一镜头模块，拍摄多个源图像，该些源图像其中之一为一目标图像，其余的该些源图像 为多个未选择图像； 一存储器单元，耦接该镜头模块，用以储存该些源图像；以及 一处理器，耦接该镜头模块与该存储器单元，该处理器依据该目标图像对该些未选择 图像执行移动量估测，根据相对应的区块是否有旋转而设定多个置信度，并对该些未选择 图像分别执行移动校正，以产生多个校正后图像，该处理器依序对该目标图像中的每一像 素点与该些校正后图像中对应的每一像素点执行一场景物体移动检测，并参考该些置信度 来设定多个物体移动指标，该处理器还依据该些物体移动指标对该目标图像的各该像素点 与该些校正后图像的各该像素点进行一算术运算以产生一超分辨率图像。
13. 根据权利要求12所述的图像处理装置，其特征在于，该处理器包括： 一移动量估测模块，包括一区域移动量估测器以及一全域移动量估测器，该区域移动 量估测器先依据该目标图像对该些未选择图像执行一区域移动量估测，该全域移动量估测 器再对该些未选择图像执行一全域移动量估测，以产生多个旋转角度，并依据该些旋转角 度来设定该些置信度；以及 一场景移动检测模块，耦接该移动量估测模块以接收该些置信度，该场景移动检测模 块依据各该像素点的多个相邻区块的多个区块移动量差值与对应的该置信度来设定一物 体移动几率，并参考该物体移动几率以及各该像素点的一区域频率特性来设定该些物体移 动指标。
14.根据权利要求12所述的图像处理装置，其特征在于，该处理器包括： 一图像混合模块，对该目标图像的各该像素点与该些校正后图像的各该像素点设定多 个比重，据以执行一比重和运算，其中，当该些物体移动指标被使能时，该图像混合模块将 该些比重设定为零，当该些物体移动指标被禁能时，该图像混合模块将该些比重设定为该 些平均绝对误差值。
【文档编号】H04N5/232GK104103034SQ201310113951
【公开日】2014年10月15日 申请日期:2013年4月3日 优先权日:2013年4月3日
【发明者】庄哲纶, 吴嘉彧 申请人:聚晶半导体股份有限公司