专利名称：修正手震模糊的数码图像处理方法
技术领域：
本发明涉及一种对于数码图像的处理方法，特别涉及有关于修正因为手 震模糊的数码图像处理方法。
背景技术：
在数码相机发展快速的今天，许多人会利用摄影来记录值得纪念的一 刻。但无论在底片相机或数码相机上，往往会因为使用者对相机把持不稳定， 而导致拍摄时产生模糊图像。只要是徒手拿取相机，多多少少都存在着震动 的问题。差别是每个人手持的稳定程度均有所不同，导致按下快门瞬间会不 自主的位移。所以为了避免因为手震而使得拍摄产生模糊图像，数码相机厂 商会通过硬件方式来避免手震或以软件方式来对校正已模糊的数码图像。
所以在每一家数码相机厂商在自家的产品中，均加入不同的防手震机 制。防手震机制是要在拍摄过程中，检测并抑制因为手部晃动而造成的图像 模糊现象。防手震技术主要通过硬件或软件的方式来达成。
硬件的方式一般都是利用感光元件防手震以及机械式防手震。感光元件
防手震是为提高感光度(International Standards Organization,以下简称ISO) 能力。基本上提高ISO只是让快门可以在感受到震动之前完成动作，但提高 ISO同时也会带来更高的噪声。而机械式防手震在数码相机中设置一运动检 测元件。当数码相机检测到发生手震的同时，数码相机会根据手震的方向来 将镜头移向反方向，借以补偿因为位移所造成的图像模糊。另外一种防手震 方法是放大光圈的方式，用以增加入光量借以縮短快门时间。但是光圈大小 取决于镜头组的组合架构。 一般而言，大光圈的镜头具有较高的成本与体积。 所以不易被设置于消费型的数码相机中。
发明内容
鉴于以上的问题，本发明的主要目的在于提供一种修正手震模糊的数码
4图像修正方法，应用于数码相机在拍摄时手震所造成的图像模糊。
本发明提出一种修正手震模糊的数码图像修正方法，包括下列步骤取 得数码相机的安全快门时间；进行曝光调整程序，分别调整数码相机的光圈 大小与感光度，并重新取得数码相机调整后的快门时间；进行拍摄程序；若 数码相机的快门时间大于安全快门时间，则拍摄多张数码图像；根据这些数 码图像执行图像补偿程序，将这些数码图像中相同的图像物件将对应的像素 逐一对齐，并将这些每一个像素逐一叠加，用以产生一输出图像。
本发明提出一种对数码相机拍摄中因手震而产生的模糊图像的修正方 法。本发明从连续且相近的数码图像中提取相似的区域来对模糊图像进行图 像的修补，借以产生新的合成图像。通过相似的数码图像来对其修补，可以 提高数码图像的清晰度。
有关本发明的特征与内容，现配合附图和优选实施例详细说明如下。
图la为本发明的运作流程图。
图lb为曝光调整程序的运作流程图。
图lc为图像补偿程序的运作流程图。
图ld为边界模糊检测手段的运作流程图。
图le为光流计算程序的运作流程图。
图2为图像拍摄的时间示意图。
图3a为选取视窗对图像的示意图。
图3b为选取视窗对图像的示意图。
图4为利用位置偏移量取代相应像素的示意图。
图5为产生位置偏移量的示意图。
图6为产生暂存图像的示意图。
并且，上述附图中的附图标记说明如下-
211 第一图像
212 第二图像
311 基础图像
312 比对图像313 第一选取视窗
314 第二选取视窗
3141 第二选取视窗子区域
315 暂存图像
具体实施例方式
请参考图la所示，其为本发明的运作流程图。修正手震模糊的数码图
像处理方法中包括以下步骤首先，取得数码相机的安全快门时间，如步骤
SllO。进行曝光调整程序，分别调整数码相机的光圈大小与感光度，并重新 取得数码相机调整后的快门时间，如步骤S120。进行拍摄程序，如步骤S130。 判断相机快门时间是否小于安全快门，如步骤S140。若数码相机的快门时间 小于安全快门时间，则拍摄单张数码图像，如步骤S141。若数码相机的快门 时间大于安全快门时间，则拍摄多张数码图像，如步骤S142。根据这些数码 图像执行图像补偿程序，对这些数码图像进行补偿，产生一输出图像，如步 骤S150。
为了清楚解说每一步骤的运作，以下将针对个别步骤进行细部运作的解 释。于步骤S110中，数码相机的安全快门时间依据数码相机的感光值 (International Organization for Standardization,简称ISO)与光圈值所决定。安 全快门指的是小于此一快门时间时，使用者发生手震的机率会最小。 一般而 言，安全快门的设定为焦距的倒数。举例来说，若镜头的焦距为50mm时， 安全快门为(l/50)秒。所以在较大的焦距值，数码相机的安全快门时间就越 短，反之亦然。除此之外，数码相机的光圈值也会影响安全快门的时间。因 为在相同的快门时间，较大光圈值的入光量比小光圈值的入光量来的高，使 得数码相机可以在更短的快门时间中完成感光的动作。所以数码相机可以利 用较短时间的快门进行拍摄的动作。
数码相机在取得此一环境拍摄时的相应安全快门后，数码相机根据安全 快门进行曝光调整程序。请参考图lb所示，其为曝光调整程序的运作流程 图。在本实施例中曝光调整程序中包括以下步骤縮短快门时间，如步骤 S121。根据縮短后的快门时间判断其是否小于安全快门时间，如步骤S122。 若縮短后的快门时间小于安全快门时，则进行步骤S130。若縮短后的快门时间大于安全快门时，则调整光圈值用以縮短快门时间，如步骤S123。根据縮 短后的快门时间判断其是否小于安全快门时间，如步骤S124。若縮短后的快 门时间仍大于安全快门时，则调整感光值用以縮短快门时间，如步骤S125。
根据步骤S125的结果，判断调整后的快门时间是否小于安全快门。若 是快门时间小于安全快门时进行拍摄程序，则数码相机拍摄单张图像。若是 快门时间大于安全快门时进行拍摄程序，则拍摄多张数码图像，如对应步骤 S142。其中，根据当前数码相机的快门速度决定拍摄数码图像的张数。举例 来说，若是快门时间大于两倍的安全快门时间，则拍摄至少两张数码图像； 若是快门时间大于四倍的安全快门时间，则在此一快门时间拍摄至少四张以 上的数码图像。因为快门时间大于安全快门时，数码相机产生手震的机率会 提高。本实施例在此一快门时间中分别拍摄多张数码图像，并根据这些数码 图像执行图像补偿程序。
特别需要说明的是，本实施例中所采用的数码图像由感光元件所输出的 原始图像(RAW)。 RAW档包含两种类型的信息图像画素本身及图像的中 继数据(metadata)。中继数据就是相机每次拍照所产生的"数据的数据"。举 例来说，不论是RAW档或JPEG档，都包含EXIF的中继数据，其中包 括相机型号、序号、快门速度、光圈大小、焦距、闪灯有没有亮……等信 息。拍摄过程中，只有三种相机设定会影响RAW档光圈、快门与感光度。 除此之外，摄影者都可以在转换过程做各种控制不论是白平衡阐释，或色
彩、阶调与细节(锐利化与噪声处理)的处理，都有很大弹性的调整空间。 甚至可以针对曝光补偿重新做解释。
请参考图lc所示，其为图像补偿程序的运作流程图。图像补偿程序包 括以下步骤在步骤S125所得到的安全快门时间中的第一时间拍摄第一图 像以及第二时间拍摄第二图像，如步骤S151。将第一图像与第二图像分别执 行边界模糊检测手段，在两者之间决定一者为基础图像另一者为比对图像， 如步骤S152。进行光流计算程序，如步骤S153，用以对齐基础图像与比对 图像中的相同图像物件的每一像素位置，并产生输出图像。根据步骤S125 所得到的安全快门时间，判断是否重复执行步骤S151 步骤S153，如步骤 S154。
请参考图ld所示，其为边界模糊检测手段的运作流程图。在步骤S152
7中所述的边界模糊检测手段中还包括以下步骤分别对第一图像与第二图像 进行区域对焦手段，如步骤S1521。分别比对第一图像与第二图像的区域对
焦中的边界比对值是否符合边界阈值，如步骤S1522。若第一图像与第二图 像的边界比对值的任一大于边界阈值，则选择边界比对值最大者作为基础图 像，另一者则为比对图像，如步骤S1523。若第一图像的边界比对值与第二 图像的边界比对值均小于边界阈值的话，重新执行提取第一图像与第二图 像，如步骤S1524。
请参考图le所示，其为光流计算程序的运作流程图。在步骤S153中所 述的光流计算程序中还包括下列步骤设定第一选取视窗与第二选取视窗， 如步骤S1531。第一选取视窗用以选取基础图像的部分图像。第二选取视窗 用以选取比对图像的部分图像，且第一选取视窗小于第二选取视窗。计算第 一选取视窗比对第二选取视窗中相应位置的像素的位置偏移量，如步骤 S1532。根据每一位置偏移量从比对图像中找出与基础图像中相同图像物件 的每一像素，如步骤S1533。进行一除噪声程序，如步骤S1534，用以去除 比对图像中与基础图像中相同图像物件中的噪声像素。将这些像素与基础图 像中相应位置的像素相叠合产生输出图像，如步骤S1535。
为清楚说明本实施例中的图像补偿程序的运作流程，在此以下例作为说 明，其中所使用的各项设定并非仅局限于此说明所示，所以在此先作此说明。 假设安全快门时间为1/100秒，当前快门时间为1/60秒。因为当前快门时间 大于两倍的安全快门时间，所以本实施例中设定在快门时间中拍摄两张数码 图像。分别于第一时间与第二时间中拍摄第一图像与第二图像。
请另外配合图2所示，其为图像拍摄的时间示意图。举例来说，将原本 快门时间为1/60秒的拍摄时间，再细分成快门时间各为1/120秒的第一时间 与第二时间进行拍摄。将第一图像与第二图像分别执行边界模糊检测手段， 在两者之间决定一者为基础图像另一者为比对图像。其中，数码相机执行边 界模糊检测手段，用以分别对第一图像与第二图像进行区域对焦手段，如对 应步骤S1521。分别比对第一图像的边界比对值与第二图像的区域对焦中的 边界比对值是否符合边界阈值，如对应步骤S1522。边界比对值指的是对焦 时对于图像物件间的交界清晰度。若是图像物件间的边界间距越明显的话， 则边界比对值越高，反之亦然。计算边界比对值可以通过图像物件边界的间距宽度来作为计算的依据。比较第一图像211与第二图像212的边界比对值。 若第一图像的边界比对值与第二图像的边界比对值的任一大于边界阈值的 话，选择边界比对值较大者作为基础图像，较小者则为比对图像，如对应步 骤S1523。若第一图像的边界比对值与第二图像的边界比对值均小于边界阈 值的话，重新执行提取第一图像与第二图像，如对应步骤S1524。
对比对图像与基础图像执行光流计算，用以从比对图像中找出相对于基 础图像的像素所在位置的位置偏移量。光流(optical flow)指的是数码图像中 的图像物件在多张不同图像的移动位移量。因为拍摄的过程中发生手震，使 得比对图像与基础图像中的相同图像物件不会坐落于相同的位置上。在本实 施例中利用光流计算用以对齐比对图像与基础图像中相同图像物件的每一
请配合图le，以下为光流计算的详细运作步骤首先，设定第一选取视 窗与设定第二选取视窗。第一选取视窗用以选取基础图像的部分图像。第二 选取视窗用以选取比对图像的部分图像，且第一选取视窗小于第二选取视 窗。计算第一选取视窗比对第二选取视窗中相应位置的像素的位置偏移量。 在拍摄的过程因为手震的缘故，会使得基础图像311中的物件的像素位置不 一定会落在与比对图像312相同的像素位置上。所以为了能找出比对图像312 中与基础图像311相同的物件的所在位置。
请参考图3a、图3b与图4所示，其分别为选取视窗对图像的示意图、 利用位置偏移量取代相应像素的示意图。在图3a中，在基础图像中利用第 一选取视窗313来选取其部分的图像区域；在图3b中，在比对图像中利用 第二选取视窗314来选取其部分的图像区域。
其中，第一选取视窗313的圈选范围取决于第二选取视窗314。第二选 取视窗314中选定一个第二选取视窗子区域3141，第二视窗子区域3141的 大小等同于第一选取视窗313。第二选取视窗子区域3141分别依序且重叠的 方式从第二选取视窗314中选取各个区域。第一选取视窗313从第二选取视 窗314由左到右、由上至下的方向进行选取。计算第二选取视窗子区域3141 和第一选取窗313的相似度。相似度计算请参考式l，其为第一选取视窗在 第二选取视窗中的第(i，j)像素与其周围的像素的相似度计算(Xk,》)为比对图像与基础图像中具有相同图像物件的像素位置；Wij: 第(i,j)像素的权重值；Wi,:第(i,j)像素的噪声滤波器；II:为比对图像;12: 为基础图像。当Cost值越小代表这两个像素的相似度越高，换句话说，就是 两个像素越相似。特别值得注意的是，在本实施例中还利用噪声滤波器对噪 声像素进行其像素值的调整。借以避免之后在进行像素叠合时，因为直接将 噪声像素与原始像素叠加会导致叠加后的像素出现失真。当比对图像(或基础
图像)的第(Xk,力)个像素为噪声像素时，则将Wijn设为0，反之则将Wij"设为1。
举例来说，假设第一选取视窗313为5*5像素阵列；第二选取视窗314 为9*9像素阵列。将第一选取视窗313从第二选取视窗314由左到右、由上 至下的方向进行选取。并且逐一比对第一选取视窗313相应于第二选取视窗 314的像素。在此一实施例中需要对第二选取视窗314进行25回合的相似度 计算。并得到25个Cost值。再从25个Cost值中选取最小的Cost值，将其 视为第二选取视窗相应于第一选取视窗的相同图像物件的像素。重复的执行 此一步骤，用以找出图像物件的其他相应位置的像素。
在本实施例中利用光流计算所产生的位置偏移量对比对图像312的像素 位置进行修正，用以找出在基础图像311中相应的像素。在基础图像311与 比对图像312中的相同图像像素利用斜纹方格作为代表。图4右方代表的是 基础图像311与比对图像312的相同像素的所在位置。请参考图5所示，其 为产生位置偏移量的示意图。
若是以坐标值来解说的话，基础图像311的相同像素位置为(2， 3);比 对图像312的相同像素位置为(4， 5)。将比对图像312与基础图像311的像 素位置进行相减，可以得到比对图像312对基础图像311的像素的相对位置。 两者相对位置的修正值为(2， 2)，其代表将比对图像312的像素减掉修正值 即为在基础图像311中相应像素位置。分别计算每一个比对图像312对基础 图像311的相对位置修正值，根据这些修正值从基础图像311中找出像素。 并将所找出的像素依序的组合，使其产生暂存图像315。请参考图6所示， 其为产生暂存图像的示意图。
最后，将这些像素与基础图像中相应位置的像素相叠合产生输出图像。 将暂存图像315中的像素对齐于基础图像311中的相应像素，再对暂存图像 315与基础图像311进行图像合并处理。图像合并处理可以直接将基础图像
10311与暂存图像315找出相同的位置的像素，再将其叠合起来。RAW档所存 储的中继数据可以提供亮度的叠合补偿，所以当两张图像相叠合时，可以得 到相对应量的快门时间。最后将两张叠合后的图像输出为一清晰的输出图 像。
本发明提出一种对数码相机拍摄中因手震而产生的模糊图像的修正方 法。本发明从连续且相近的数码图像中提取相似的区域来对模糊图像进行图 像的修补，借以产生新的输出图像。通过相似的数码图像来对其修补，可以 提高数码图像的清晰度。
权利要求
1.一种修正手震模糊的数码图像处理方法，修正一数码相机在拍摄时手震造成的模糊图像，该图像修正方法包括下列步骤取得该数码相机的一安全快门时间；进行一曝光调整程序，分别调整该数码相机的一光圈大小与一感光度，并重新取得该数码相机调整后的快门时间；进行一拍摄程序；若该数码相机的快门时间大于该安全快门时间，则拍摄多张数码图像；以及根据所述多个数码图像执行一图像补偿程序用以叠合所述多个数码图像中相同图像物件的每一像素，借以产生一输出图像。
2. 如权利要求1所述的修正手震模糊的数码图像处理方法，其中该图像 补偿程序包括以下步骤在该安全快门时间中的一第一时间拍摄一第一图像以及一第二时间拍 摄一第二图像；将该第一图像与该第二图像分别执行一边界模糊检测手段，在两者之间 决定一者为一基础图像另一者为一比对图像；以及进行一光流计算程序，用以对齐该基础图像与该比对图像中的相同图像 物件的每一像素位置，并产生该输出图像。
3. 如权利要求2所述的修正手震模糊的数码图像处理方法，其中该边界 模糊检测手段中还包括以下步骤分别对该第一图像与该第二图像进行区域对焦；分别比对该第一图像与该第二图像的区域对焦中的边界比对值是否符 合一边界阈值；若该第一图像与该第二图像的边界比对值的任一大于该边界阈值，则选 择边界比对值最大者作为该基础图像，另一者则为该比对图像；以及若该第一图像的边界比对值与该第二图像的边界比对值均小于该边界 阈值的话，重新执行提取该第一图像与该第二图像。
4. 如权利要求2所述的修正手震模糊的数码图像处理方法，其中执行该 光流计算程序中还包括下列步骤从该比对图像中找出相对于该基础图像的像素所在位置的一位置偏移设定一第一选取视窗，用以选取该基础图像的部分图像； 设定一第二选取视窗，用以选取该比对图像的部分图像，且该第一选取视窗小于该第二选取视窗；计算该第一选取视窗比对该第二选取视窗中相应位置的像素的该位置偏移量；根据每一该位置偏移量从该比对图像中找出与该基础图像中相同图像物件的每一像素；进行一除噪声程序，用以去除该比对图像中与该基础图像中相同图像物件中的噪声像素；以及将这些像素与该基础图像中相应位置的像素相叠合，产生该输出图像。
5.如权利要求1所述的修正手震模糊的数码图像处理方法，其中进行该拍摄程序后还包括以下步骤若该数码相机的快门时间小于该安全快门时间，则拍摄单张数码图像。
全文摘要
本发明公开一种修正手震模糊的数码图像处理方法，修正数码相机在拍摄时因为手震所造成的模糊图像，处理方法包括下列步骤取得数码相机的安全快门时间；进行曝光调整程序，分别调整数码相机的光圈大小与感光度，并重新取得数码相机调整后的快门时间；进行拍摄程序；若数码相机的快门时间大于安全快门时间，则拍摄多张数码图像；根据这些数码图像执行图像补偿程序，将这些数码图像中相同的图像物件对齐并将数码图像的每一个像素逐一叠加，用以输出一输出图像。
文档编号H04N5/232GK101577791SQ20081009569
公开日2009年11月11日 申请日期2008年5月7日 优先权日2008年5月7日
发明者周宏隆, 杨智渊 申请人:华晶科技股份有限公司