用于图像校准的图像处理方法及图像处理装置制造方法
【专利摘要】本发明公开了一种用于图像校准的图像处理方法，包括依序接收多个图像；根据该多个图像中每一图像的多个亮度特征，产生对应于每一图像的至少一门限值；根据该每一图像的该至少一门限值，转换该每一图像，以产生多个二位图像；根据该多个二位图像，寻找每一二位图像的多个特征像素；以及根据该每一二位图像的该多个特征像素，校准该多个图像。
【专利说明】用于图像校准的图像处理方法及图像处理装置
【技术领域】
[0001]本发明涉及一种用在图像校准的图像处理方法及相关的图像处理装置，
[0002]特别是涉及一种能够校准连续拍摄的图像的图像处理方法及相关的图像处理装置。
【背景技术】
[0003]信息通信系统高度发展的现代化信息社会中，电子装置被广泛地应用在各个领域中，比方说便利而轻巧的手持装置(包括数字相机、个人数码助理、移动电话等)被广泛的运用在日常生活中，而目前手持装置上的功能已越来越多样化，个人数码助理或移动电话上有内建数字相机的情形相当常见。由于数字相机在单次拍摄时所撷取图像信息的亮度范围有限，因此当数字相机在拍摄亮度范围过大的图像时，往往会造成图像中部份区域曝光不足或是部份区域曝光过度。
[0004]在现有技术中，高动态范围(High Dynamic Range, HDR)图像技术可用来解决此类问题。高动态范围图像技术通过连续拍摄多张不同亮度范围的图像，再通过适当的参数合成不同亮度范围的图像，从而产生高质量的图像。然而，若数字相机在连续拍摄多张不同亮度范围的图像的过程中没有使用脚架，在不同时间取得的不同亮度范围的图像间会存在着些微的位移或是晃动。在此情况下，合成得出的图像中细节会变得模糊，进而降低图像质量。因此，在合成连续拍摄的多张图像前，必须进行图像校准，以对齐不同亮度范围的图像。
[0005]在现有技术中，最常用在校准连续拍摄图像间位移的校准方法为尺度不变特征转换(Scale-1nvariant feature transform, SIFT)。请参考图1，图1为尺度不变特征转换的示意图。尺度不变特征转换的基础概念是在不同高斯模糊(Gaussian Blur)程度下找寻局部图像中具有高斯差异(Difference of Gaussian)最大值的特征像素。当特征像素不仅在其本身所在的层(Octave)具有高斯差异最大值，且在其上下两层也为高斯差异最大值，此特征像素即具有足够的代表性。通过比对不同亮度范围的图像间具有足够代表性的特征像素，即可正确地合成图像。虽然尺度不变特征转换的准确性相当地高，但建立具有多层高斯模糊以寻找特征像素的步骤非常耗时。由上述可知，现有技术实有改进的必要。
【发明内容】
[0006]因此，本发明提供一种能够高效率寻找图像中具有足够代表性的特征像素，以校准具有连续拍摄的图像间位移的方法及相关的图像处理装置。
[0007]本发明公开一种校准图像的图像处理方法。该图像处理方法包括依序接收多个图像；根据该多个图像中每一图像的多个亮度特征，产生对应于每一图像的至少一门限值；根据该每一图像的该至少一门限值，转换该每一图像，以产生多个二位图像；根据该多个二位图像，寻找每一二位图像的多个特征像素；以及根据该每一二位图像的该多个特征像素，校准该多个图像。
[0008]本发明另公开一种校准图像的图像处理装置。该图像处理装置包括一处理单元；以及一储存单元，用来储存一程序代码，该程序代码指示该处理单元执行以下步骤:依序接收多个图像；根据该多个图像中每一图像的多个亮度特征，产生对应于每一图像的至少一门限值；根据该每一图像的该至少一门限值，转换该每一图像，以产生多个二位图像；根据该多个二位图像，寻找每一二位图像的多个特征像素；以及根据该每一二位图像的该多个特征像素，校准该多个图像。
[0009]根据上述技术方案，本发明相较于现有技术至少具有下列优点及有益效果:本发明简化取得多个图像中特征像素的运算流程，从而有效率地对齐并校准多个图像。并且通过采用不同方式产生的门限值来进行运算而能使多个图像校准的准确性可获得有效提升。
【专利附图】
【附图说明】
[0010]图1为现有尺度不变特征转换的示意图。
[0011]图2为本发明实施例一图像处理装置的示意图。
[0012]图3为本发明实施例一图像处理方法的流程图。
[0013]图4为本发明实施例一像素区域的示意图。
[0014]图5为本发明实施例另一图像处理方法的流程图。
[0015]其中，附图标记说明如下:
[0016]20图像处理装置 [0017]200处理单元
[0018]210储存单元
[0019]214程序代码
[0020]30图像处理方法
[0021]300 ~312步骤
[0022]40像素区域
[0023]50图像处理方法
[0024]500 ~512步骤
[0025]BIMG_1 ~BMG_n、BIMG_1_1 ~BMG_n_l、二位图像
[0026]BIMG_1_2 ~BMG_n_2、BIMG_1_3 ~
[0027]BIMG_n_3
[0028]GX_1 ~GX_25、GY_1 ~GY_25梯度变化
[0029]IMG_1 ~MG_n图像
[0030]P、P_1~P_24像素[0031 ]TH_1 ~TH_n、TH_1_1 ~TH_n_l、TH_1_2 ~门限值
[0032]TH_n_2、TH丄3 ~TH_n_3
【具体实施方式】
[0033]在以下所列举的范例实施例中，本发明公开的用来校准图像的图像处理方法及相关的图像处理装置通过将欲校准的图像转换至二元空间(binary space),以简化找寻各图像中特征像素位置的运算过程。通过取得各图像中具有相同图像特征的特征像素的相对位置，本发明公开的图像处理方法及相关的图像处理装置可有效率地且准确地校准图像。为更清楚地了解本发明，以下将配合图式，以至少一范例实施例来作详细说明。此外，以下实施例中所提到的连接用语，例如:耦接或连接等，仅是参考附加图式用以例示说明，并非用来限制实际上两个组件之间的连接关系是直接耦接或间接耦接。换言之，在一些实施例中，两个组件之间为直接耦接。在另外一些实施例中，两个组件之间为间接耦接。
[0034]请参考图2，图2为本发明实施例一图像处理装置20的示意图。图像处理装置20可用在一多媒体图像系统，但不限于此。图像处理装置20包括一处理单元200以及一储存单元210。处理单元200可为一微处理器或一特定应用集成电路(application-specificintegrated circuit, ASIC)。储存单元210可为任一可被处理单元200存取的数据储存单元，用以储存一程序代码214，而处理单元200可读取及执行程序代码214。举例来说，储存单元210可为只读式存储器(read-only memory, ROM)、快闪式存储器(flash memory)>随机存取存储器(random-access memory, RAM)、光盘只读存储器(O)-ROM / DVD-ROM)、磁带(magnetic tape)、硬盘(hard disk)及光学数据储存单元(optical data storagedevice)等，而不限于此。
[0035]请参考图3，图3为本发明实施例一图像处理方法30的流程图。图像处理方法30可用来校准图像MG_1?MG_n，其可被编译为图2所示的程序代码214，且包括以下步骤:
[0036]步骤300:开始。
[0037]步骤302:依序接收图像MG_1?MG_n。
[0038]步骤304:根据每一图像的多个亮度特征，产生分别对应于图像MG_1?MG_n的门限值TH_1?TH_n。
[0039]步骤306:根据门限值TH_1?TH_n，转换图像MG_1?MG_n，以产生二位图像BIMG_1 ?BMG_n。
[0040]步骤308:根据二位图像BMG_1?BMG_n，寻找特征像素。
[0041]步骤310:根据每一二位图像的特征像素，校准图像IMG_1?IMG_n。
[0042]步骤312:结束。
[0043]根据图像处理方法30，图像处理装置20可通过将连续取得的图像MG_1?IMG_η映像至二元空间，简化找寻图像IMG_1?IMG_n间相对应特征像素的运算，从而有效率地对齐并校准图像IMG_1?IMG_n。
[0044]关于图像处理方法30举例说明如下。图像处理装置20在依序接收图像頂G_1?頂6_11后，分别根据图像MG_1?MG_n中每一像素的亮度特征(Intensity)，产生门限值TH_1?TH_n。值得注意的是，图像IMG_1?IMG_nS连续拍摄所得图像。并且，图像IMG_1?IMG_n可包括相异的亮度范围，但不限于此。举例来说，图像IMG_1?IMG_n可为针对相同场景连续取得的图像。更甚者，图像MG_1?IMG_n可为针对相同场景，利用不同曝光值连续取得的图像。在此实施例中，门限值THl为图像IMG_1所有像素亮度特征的中位数(Median)，而门限值TH2也为图像IMG_2所有像素亮度特征的中位数，其余以此类推(步骤302、304)。根据门限值TH_1?TH_n，图像处理装置20可转换图像MG_1?MG_n中像素，以产生分别对应于图像MG_1?MG_n的二位图像BMG_1?BMG_n。譬如说，当图像IMG_1中一像素的亮度特征大于等于门限值THl时，图像处理装置20可将二位图像BMG_1中对应于此像素的位置设为''I";而当图像IMG_1中一像素的亮度特征小于门限值THl时，图像处理装置20可将二位图像BMG_1中对应于此像素的位置设为''O"。图像处理装置20将图像IMG_1转换为二位图像BIMG_1的公式可表示为:
【权利要求】
1.一种校准图像的图像处理方法，包括: 依序接收多个图像； 根据该多个图像中每一图像的多个亮度特征，产生对应于每一图像的至少一门限值； 根据该每一图像的该至少一门限值，转换该每一图像，以产生多个二位图像； 根据该多个二位图像，寻找每一二位图像的多个特征像素；以及 根据该每一二位图像的该多个特征像素，校准该多个图像。
2.如权利要求1所述的图像处理方法，其特征在于该每一图像具有相异亮度范围。
3.如权利要求1所述的图像处理方法，其特征在于该每一图像的该至少一门限值包括该每一图像中亮度特征的中位数。
4.如权利要求1所述的图像处理方法，其特征在于该每一图像的该至少一门限值包括该每一图像中亮度特征的较小四分位数。
5.如权利要求1所述的图像处理方法，其特征在于该每一图像的该至少一门限值包括该每一图像中亮度特征的较大四分位数。
6.如权利要求1所述的图像处理方法，其特征在于根据该多个二位图像， 寻找该每一二位图像的该多个特征像素的步骤包括: 划分对应于该每一二位图像中每一像素的多个像素区域； 根据每一像素区域中像素间的差异，取得该每一像素区域的一像素区域差异； 根据该每一像素区域的该多个像素区域差异以及一特征门限值，判断每一二位图像的多个特征像素。
7.如权利要求6所述的图像处理方法，其特征在于根据每一像素区域中像素间的差异，取得该每一像素区域的一像素区域差异的步骤包括: 当一第一像素区域中一第一像素相异于与该第一像素水平相邻的一第一水平像素时，将对应于该第一像素区域的像素区域差异增加。
8.如权利要求6所述的图像处理方法，其特征在于根据每一像素区域中像素间的差异，取得该每一像素区域的一像素区域差异的步骤包括: 当一第一像素区域中一第一像素相异于与该第一像素垂直相邻的一第一垂直像素时，将对应于该第一像素区域的像素区域差异增加。
9.如权利要求6所述的图像处理方法，其特征在于根据该每一像素区域的该多个像素区域差异以及一特征门限值，判断每一二位图像的多个特征 像素的步骤包括: 当一第一像素区域的像素区域差异超过该特征门限值时，判断对应于该第一像素区域的像素为该每一二位图像的该多个特征像素其中之
10.如权利要求6所述的图像处理方法，其特征在于根据该每一二位图像的 该多个特征像素，校准该多个图像的步骤包括: 根据该多个特征像素的该多个像素区域，校准该多个图像。
11.一种校准图像的图像处理装置，包括: 一处理单元；以及 一储存单元，用来储存一程序代码，该程序代码指示该处理单元执行以下步骤: 依序接收多个图像；根据该多个图像中每一图像的多个亮度特征，产生对应于每一图像的至少一门限值； 根据该每一图像的该至少一门限值，转换该每一图像，以产生多个二位图像； 根据该多个二位图像，寻找每一二位图像的多个特征像素；以及 根据该每一二位图像的该多个特征像素，校准该多个图像。
12.如权利要求11所述的图像处理装置，其特征在于该每一图像具有相异亮度范围。
13.如权利要求11所述的图像处理装置，其特征在于该每一图像的该至少一门限值包括该每一图像中亮度特征的中位数。
14.如权利要求11所述的图像处理装置，其特征在于该每一图像的该至少一门限值包括该每一图像中亮度特征的较小四分位数。
15.如权利要求11所述的图像处理装置，其特征在于该每一图像的该至少一门限值包括该每一图像中亮度特征的较大四分位数。
16.如权利要求11所述的图像处理装置，其特征在于根据该多个二位图像， 寻找该每一二位图像的该多个特征像素的步骤包括: 划分对应于该每一二位图像中每一像素的多个像素区域； 根据每一像素区域中像素间的差异，取得该每一像素区域的一像素区域差异； 根据该每一像素区域的该多个像素区域差异以及一特征门限值，判断每一二位图像的多个特征像素。
17.如权利要求16所述的图像处理装置，其特征在于该处理单元根据每一像素区域中像素间的差异，取得该每一像素区域的一像素区域差异的步骤包括: 当一第一像素区域中一第一像素相异于与该第一像素水平相邻的一第一水平像素时，将对应于该第一像素区域的像素区域差异增加。
18.如权利要求16所述的图像处理装置，其特征在于该处理单元根据每一像素区域中像素间的差异，取得该每一像素区域的一像素区域差异的步骤包括: 当一第一像素区域中一第一像素相异于与该第一像素垂直相邻的一第一垂直像素时，将对应于该第一像素区域的像素区域差异增加。
19.如权利要求16所述的图像处理装置，其特征在于该处理单元根据该每一像素区域的该多个像素区域差异以及一特征门限值，判断每一二位图像的多个特征像素的步骤包括: 当一第一像素区域的像素区域差异超过该特征门限值时，判断对应于该第一像素区域的像素为该每一二位图像的该多个特征像素其中之
20.如权利要求16所述的图像处理装置，其特征在于该处理单元根据该每一二位图像的该多个特征像素，校准该多个图像的步骤包括: 根据该多个特征像素的该多个像素区域，校准该多个图像。
【文档编号】G06T5/50GK103942767SQ201310018444
【公开日】2014年7月23日 申请日期:2013年1月18日 优先权日:2013年1月18日
【发明者】苏品静, 陈焕宗, 江铭峰 申请人:联咏科技股份有限公司, 清华大学