产生高动态范围图像的方法及其图像传感器的制造方法

产生高动态范围图像的方法及其图像传感器的制造方法
【专利摘要】本发明提供一种产生高动态范围图像的方法及其图像传感器，适于处理依据不同曝光时间连续交错拍摄所得的原始图像。此方法包括：取得原始图像中的操作区块，其包括多个有第一曝光时间的第一像素与多个有第二曝光时间的第二像素；至少根据第一像素是否过曝光与第二像素来产生对应于第二曝光时间的第二曝光区块：至少根据第二像素是否过曝光与第一像素来产生对应于第一曝光时间的第一曝光区块；以及至少根据第一曝光区块与第二曝光区块来产生对应于原始图像的高动态范围图像。据此，可以产生高品质的高动态范围图像。
【专利说明】产生高动态范围图像的方法及其图像传感器

【技术领域】
[0001]本发明是有关于一种高动态范围图像处理技术，且特别是有关于一种具有能产生高动态范围图像的方法及其图像传感器。

【背景技术】
[0002]所谓“动态范围”，是指画面中的最大亮度值与最小亮度值的范围或比值。对于摄影而言，动态范围又可分为“图像传感器的动态范围”和“场景的动态范围”。其中，图像传感器的动态范围是指感光元件所能接受亮度变化的范围。场景的动态范围是指拍摄场景中的亮度差异范围，也就是画面中最亮区域和最暗区域的差异。
[0003]当场景的动态范围大于图像传感器的动态范围时，代表拍摄场景中有极端的売部与暗部，超出了感光元件所能记录的色阶，因此照片中会出现全黑或全白的区块。为了克服此缺陷，高动态范围(High Dynamic Range, HDR)图像传感器通过图像处理技术,使得处理后图像的动态范围大于一般相机获取的单一图像所提供的动态范围。
[0004]高动态范围图像传感器的其中一种操作模式为产生同画面中两条长曝光及两条短曝光连续交替的图像。在空间上而言，每一种曝光其垂直方向的解析度只剩下全解析度的一半。且利用长曝光及短曝光连续交替拍摄所得的单一图像中会产生噪声等级不一致、过曝时机不一致的问题。据此，上述的噪声将影响高动态范围图像的品质。


【发明内容】

[0005]有鉴于此，本发明提供一种产生高动态范围图像的方法及其图像传感器，用以提供闻品质的闻动态范围图像。
[0006]本发明一实施例提出一种产生高动态范围图像的方法,适于处理依据第一曝光时间与第二曝光时间连续交错拍摄所得的原始图像。此方法包括:取得原始图像中的一操作区块，其中操作区块包括多个第一像素与多个第二像素，第一像素具有第一曝光时间，并且第二像素具有第二曝光时间；判断每一个第一像素是否过曝光；至少根据每一个第一像素是否过曝光与第二像素来产生对应于第二曝光时间的一个第二曝光区块，其中第二曝光区块的大小相同于操作区块的大小。此方法还包括:判断每一个第二像素是否过曝光；至少根据每一个第二像素是否过曝光与第一像素来产生对应于第一曝光时间的一个第一曝光区块，其中第一曝光区块的大小相同于操作区块的大小；以及至少根据第一曝光区块与第二曝光区块来产生对应于原始图像的高动态范围图像。
[0007]在一实施例中，上述的第一曝光时间为长曝光，并且第二曝光时间为短曝光。所述判断每一个第一像素是否过曝光的步骤包括:判断每一个第一像素的颜色值是否大于一个第一临界值以判断第一像素是否过曝光。其中判断每一个第二像素是否过曝光的步骤包括:将每一个第二像素乘上增益；以及判断每一个第二像素乘上增益的乘积是否大于一个第二临界值以判断出第二像素是否过曝光。上述的增益是根据第一曝光时间与第二曝光时间所计算出。
[0008]在一实施例中，上述的产生第一曝光区块的步骤包括:对于每一个过曝光的第二像素，根据具有相同通道的第一像素内插出一个第三像素；以及根据第一像素、未过曝光的第二像素乘上增益的乘积、以及内插出的第三像素产生第一曝光区块。上述产生第二曝光区块的步骤包括:对于每一个过曝光的第一像素，根据具有相同通道的第二像素内插出一个第四象素；以及根据第二像素、未过曝光的第一像素除以增益的商数、以及内插出的第四像素产生第二曝光区块。
[0009]在一实施例中，上述的第一曝光区块与第二曝光区块中的一中心像素的位置是对应于一个第二像素的位置。上述产生高动态范围图像的方法还包括:从中心像素所对应的第一曝光区块或第二曝光区块中取得多个第五像素，其中这些第五像素与中心像素具有相同的通道，并且第五像素的位置是对应于至少一个第一像素的位置；根据这些第五像素的高频部分来调整中心像素的颜色值。
[0010]在一实施例中，上述的至少根据第一曝光区块与第二曝光区块来产生对应于原始图像的高动态范围图像的步骤包括:至少根据第一曝光区块的中心像素与第二曝光区块的中心像素来产生高动态范围图像。
[0011]以另外一个角度来说，本发明一实施例提出一种高动态范围图像传感器，包括图像传感器、存储单元与图像处理器。图像传感器会依据第一曝光时间与第二曝光时间连续交错拍摄，以产生原始图像。存储单元是耦接图像传感器，用以存储原始图像。图像处理器是耦接图像传感器与存储单元，用以取得原始图像中的一操作区块。此操作区块包括多个第一像素与多个第二像素，第一像素具有第一曝光时间，并且第二像素具有第二曝光时间。图像处理器也用以判断每一个第一像素是否过曝光，并且至少根据每一个第一像素是否过曝光与第二像素来产生对应于第二曝光时间的一个第二曝光区块。其中第二曝光区块的大小是相同于操作区块的大小。图像处理器也用以判断每一个第二像素是否过曝光，并且至少根据每一个第二像素是否过曝光与第一像素来产生对应于第一曝光时间的一个第一曝光区块。其中第一曝光区块的大小相同于操作区块的大小。其中，图像处理器至少根据第一曝光区块与第二曝光区块来产生对应于原始图像的高动态范围图像。
[0012]在一实施例中，上述的图像处理器是判断每一个第一像素的一颜色值是否大于第一临界值以判断每一个第一像素是否过曝光。图像处理器判断第二像素是否过曝光的步骤包括:图像处理器将每一个第二像素乘上一增益；以及图像处理器判断每一个第二像素乘上增益的乘积是否大于一个第二临界值以判断出每一个第二像素是否过曝光。此增益是根据第一曝光时间与第二曝光时间所计算出。
[0013]在一实施例中，对于每一过曝光的第二像素，图像处理器会根据具有相同通道的第一像素内插出一个第三像素。图像处理器也会根据第一像素、未过曝光的第二像素乘上该增益的乘积、以及内插出的第三像素来产生第一曝光区块。对于每一个过曝光的第一像素，图像处理器会根据具有相同通道的第二像素内插出一个第四象素。图像处理器会根据第二像素、未过曝光的第一像素除以该增益的商数、以及内插出的第四像素来产生第二曝光区块。
[0014]在一实施例中，上述的第一曝光区块与第二曝光区块中的一中心像素的位置是对应于一个第二像素的位置。图像处理器还用以从此中心像素所对应的第一曝光区块或第二曝光区块中取得多个第五像素。这些第五像素与中心像素具有相同的通道，并且第五像素的位置是对应于第一像素的位置。图像处理器还用以根据第五像素的高频部分来调整中心像素的颜色值。
[0015]在一实施例中，上述的图像处理器至少是根据第一曝光区块的中心像素与第二曝光区块的中心像素来产生高动态范围图像。
[0016]基于上述，本发明实施例所提供的产生高动态范围图像的方法及其图像传感器，可处理有不同曝光时间的原始图像并广生对应的闻动态范围图像。
[0017]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。

【专利附图】

【附图说明】
[0018]图1是依照本发明一实施例示出的高动态范围图像传感器的方块图；
[0019]图2是依照本发明一实施例示出的图像传感器采用不同曝光时间所获得的原始图像的不意图；
[0020]图3是依照本发明一实施例示出的操作区块Wl进行区块处理的过程示意图；
[0021]图4是依照本发明一实施例示出产生高动态范围图像的方法的流程图。
[0022]附图标记说明:
[0023]100:高动态范围图像传感器；
[0024]110:图像传感器；
[0025]120:存储单元；
[0026]130:图像处理器；
[0027]200:原始图像；
[0028]R1 ?R8、R’ I ?R’ 5、R” ！?R” 5:像素列；
[0029]W1Nff3:操作窗口；
[0030]LE:长曝光时间；
[0031]SE:短曝光时间；
[0032]G1 > B2> G3> B4> G5、R6-, G7-, R8-, G9、R10-> G11 > B12、G13-, B14-, B15、R16-> G17-, R18、G19-, R2O> G21 > B22->
n D Γ p，D ^p，D ^P，， D ^ p，， D ^
U23A °24Λ U25A u 11Λ D 12 Λ u 13、D 14Λ u 15、R 16Λ u 17、R 18Λ u 19、R 20Λ u I Λ D 2Λ u 3Λ D 4Λ
广” t? ” rv” rv” rv nyy rv d ^ rv
Lr 5、K 6Λ U 7、K 8Λ U 9、K 10、\J 21、D 22、\J 23、D 24、\J 25:1 豕系；
[0033]Wl:长曝光区块；
[0034]Ws:短曝光区块；
[0035]Ql:长曝光输出像素；
[0036]Qs:短曝光输出像素；
[0037]NR:噪声抑制；
[0038]S401 ?S408:步骤。

【具体实施方式】
[0039]现有一种图像，是由两条长曝光及两条短曝光的像素列交替组成。为了取得高动态范围图像，会先根据曝光时间的不同将此类图像分成多个子图像，使每一类别的子图像各有一致的曝光时间。然后，对每一个子图像做升取样，并根据升取样后的子图像产生高动态范围图像。一般来说，对于这类的图像，可利用下列三种做法的任意组合对每个子图像做升取样。第一种为内插(interpolat1n)法,采用交叉至循序扫描转换(Interlaced-to-Progressive Convers1n, IPC)。第二种会根据每个子图像的曝光时间来产生一个增益系数(gain factor)，并且将一个像素的颜色值来乘上或是除以此增益系数。第三种会同时使用邻近线(neighbor line)与增益系数。
[0040]然而，上述第二种及第三种做法是同时参考不同曝光时间的子图像，因此子图像彼此之间噪声等级不一致的问题将在升取样后的图像中造成明显的横条状杂纹。而第一种做法因为只采用单一一张子图像去做升取样，所以后续产生的图像会比较模糊。
[0041]基此，为了充分利用原始图像中每个像素的信息，本案并非单纯采用内插法去对具有相同曝光时间的像素做升取样，而是采用区块处理并且加入平衡噪声的处理机制，使得升取样后的图像不会有横杂纹产生。为了使本发明的内容更为明了，以下列举实施例作为本案确实可据以实施的范例。
[0042]图1是依照本发明一实施例所示出的高动态范围图像传感器的方块图。请参照图1，高动态范围图像传感器100例如是可产生高动态范围图像的数码相机、数码单反(Digital Single Lens Reflex,DSLR)相机、数码摄影机(Digital Video Camcorder,DVC)等。在另一实施例中，高动态范围图像传感器100可内建于智能手机、平板电脑或笔记本电脑等电子装置，不限于上述。
[0043]高动态范围图像传感器100包括图像传感器110、存储单元120以及图像处理器130。其功能分述如下:
[0044]图像传感器110包括镜头、感光元件以及快门模块等。感光元件例如是电荷稱合兀件(Charge Coupled Device, CCD)、互补性氧化金属半导体(ComplementaryMetal-Oxide Semiconductor, CMOS)元件或其他元件。快门模块例如由多数个叶片(blades)及驱动模块所构成，而可用以逐条(line-by-line)控制这些感光元件中每条水平感光元件的曝光时间。
[0045]存储单元120例如是任意型式的固定式或可移动式随机存取存储器(RandomAccess Memory, RAM)、只读存储器(Read-Only Memory, ROM)、快闪存储器(Flash memory)或硬盘等，而可用以存储图像及其他数据。
[0046]图像处理器130例如是中央处理机(Central Processing Unit, CPU),可程序化的一般用途或特殊用途的微处理器(Microprocessor)或数字信号处理器(Digital SignalProcessor, DSP)等装置。
[0047]图像传感器110依据第一曝光时间(本实施例举例为长曝光时间，简称长曝光)与第二曝光时间(本实施例举例为短曝光时间，简称短曝光)连续交错拍摄而得到一个原始图像。在一实施例中，图像传感器110例如可控制两条水平像素列为长曝光进行拍摄，两条水平像素列为短曝光进行拍摄，依序交替进行。
[0048]举例来说，图2是依照本发明一实施例所示出的图像传感器采用不同曝光时间所获得的原始图像的示意图。请参照图2，原始图像200中的第一水平像素列Rl及第二水平像素列R2是采用长曝光LE ;第三水平像素列R3及第四水平像素列R4是采用短曝光SE ;第五水平像素列R5及第六水平像素列R6是采用长曝光LE ;第七水平像素列R7及第八水平像素列R8是采用短曝光SE。图像传感器110采用长短曝光交错的方式不限于上述，在另一实施范例中，图像传感器110亦可针对单数的水平像素列进行长曝光拍摄，而针对双数的水平像素列进行短曝光拍摄。或者，图像传感器110可以对三条水平像素列进行长曝光以后，对两条水平像素列进行短曝光。
[0049]图像处理器130是以操作区块为单位来处理原始图像200。详细地说，操作区块又可称之为窗口(window)，操作区块的尺寸例如为N*N像素，其中N为正整数，但本发明并不限制N的数值。原始图像200中的操作区块W1J2J3的尺寸例如设定为5*5像素。需说明的是，原始图像200的操作区块并不限于3个，在此仅作为举例解说其作用，实际应用上可针对每一输出像素设定其所属的操作区块。对于每一个操作区块，图像处理器130会产生一个长曝光输出像素与一个短曝光输出像素。而所有的长曝光输出像素会组成一个长曝光图像，而所有的短曝光输出像素会组成一个短曝光图像。长曝光图像的大小会相同于原始图像200的大小，而短曝光图像的大小也会相同于原始图像200的大小。图像处理器130会根据长曝光图像与短曝光图像来产生一个对应于原始图像200的高动态范围图像。在此，将以一个操作区块为例来说明如何产生长曝光输出像素与短曝光输出像素。
[0050]图3是依照本发明一实施例所示出的操作区块W1进行区块处理的过程示意图。请参照图3,在本实施例中，操作区块W1包括25个像素,并且这25个像素为贝尔排列(bayerarrangement) ?每一个像素拥有一个颜色值。例如，像素G1、G3、G5等拥有绿色的颜色值；像素B2、B4等拥有蓝色的颜色值；而像素R6、R8、R1(i等拥有红色的颜色值。值得注意的是，图3中的贝尔排列仅是一个范例，在其他实施例中，操作区块W1可以有其他的排列方式。例如，操作区块W1中像素列Rl的第一个像素可以从蓝色或是红色的像素开始排列，本发明并不在此限。操作区块W1中多个第一像素具有长曝光时间，并且操作区块W1中的多个第二像素具有短曝光时间。具体来说，像素G1' B2、G3、B4、G5、R6、G7、R8、G9、R10, G21、B22、G23> B24与像素G25具有长曝光时间；而像素Gn、B12、G13、B14、G15、R16、G17、R18、G19与像素R2tl具有短曝光时间。以下称第一像素为长曝光像素，称第二像素为短曝光像素。
[0051]图像处理器130会取得操作区块巧，判断每一个短曝光像素是否过曝光，并且至少根据短曝光像素是否过曝光与所有的长曝光像素来产生一个长曝光区块WJ亦称第一曝光区块)，其中长曝光区块的大小会相同于操作区块W1的大小。具体来说，操作区块W1中所有的长曝光像素的颜色值会被复制到长曝光区块中。例如，像素G1是长曝光，因此图像处理器130会复制像素G1的颜色值至长曝光区块I中。而对于操作区块中W1中所有的短曝光像素，图像处理器130会先判断这些像素是否过曝光。例如，图像处理器130会将像素G11的颜色值乘上一个增益，并且判断像素G11的颜色值乘上该增益后的乘积是否大于一个临界值(亦称第二临界值)。此增益是根据长曝光时间与短曝光时间计算出(例如为长曝光时间与短曝光时间的比率)。若此乘积不大于第二临界值，则图像处理器130会判断像素G11没有过曝光，并且把此乘积复制到长曝光区块\中(成为像素G’ n)。相反地，若此乘积大于第二临界值，则图像处理器130会判断像素G11为过曝光，并且根据具有相同通道的像素G1与像素G21内插出一个像素(即成为像素G’ n)。对于操作区块W1的每一个短曝光像素，图像处理器130都会执行与像素G11相同的处理。换句话说，图像处理器130会根据所有的长曝光像素、未过曝光的短曝光像素的颜色值乘上该增益的乘积、以及内插出的像素(对应于过曝光的短曝光像素)来产生长曝光区块
[0052]在此实施例中，图像处理器130是用像素G3与G23来内插出G’13。然而，在其他实施例中，图像处理器130也可以用像素61、63、65、611、615、621、623与625中的任意组合来内插出G’13。本发明并不限制如何内插出过曝光的像素。
[0053]图像处理器130也会依照类似的方法产生短曝光区块Ws。具体来说，图像处理器130会将操作区块W1中所有的短曝光像素复制到短曝光区块Ws中，并且判断每一个长曝光像素是否过曝光。例如，图像处理器130会判断像素G1的颜色值是否大于一个第一临界值。若像素G1的颜色值大于该第一临界值，则图像处理器130会判断像素G1为过曝光。若像素G1没有过曝光，则图像处理器130会将像素G1的颜色值除以上述的增益，并且将该颜色值除以增益后的商数复制到短曝光区块(即成为像素GV。若像素G1为过曝光，图像处理器130会利用具有相同通道的短曝光像素来内插出一个像素(即，成为像素G')。对于操作区块Wl中所有的长曝光像素，图像处理器130都会执行与像素G1相同的处理。换句话说，图像处理器130会根据所有的短曝光像素、未过曝光的长曝光像素除以该增益后的商数、以及内插出的像素(亦称第四像素，对应于过曝光的长曝光像素)来产生短曝光区块Ws。
[0054]由于长曝光区块％与长曝光区块Ws是对应于不同的曝光时间，因此图像处理器130至少可根据长曝光区块\与短曝光区块Ws来产生高动态范围图像。举例来说，图像处理器130可以对长曝光区块Wlj执行一个噪声抑制(noise reduct1n,NR)的演算法以产生长曝光输出像素Qy并且对短曝光区块Ws也执行噪声抑制NR的演算法来产生短曝光输出像素Qs。在对所有的操作区块都执行上述的步骤以后，所有的长曝光输出像素Ql与短曝光区块Ws会分别组成长曝光图像与短曝光图像。接下来，图像处理器130便可以根据长曝光图像与短曝光图像来产生高动态范围图像。
[0055]一般来说，短曝光的像素会拥有相对较多的噪声，而长曝光的像素会拥有较少的噪声。因此，在一实施例中，图像处理器130会在长曝光区块I与短曝光区块Ws中，将原本属于短曝光像素的高频部分置换为长曝光像素的高频部分。在此，“原本属于短曝光”所指的是，一个像素所对应于操作区块Wl中的位置是在像素列R3与R4内。另一方面，“原本属于长曝光”所指的是，一个像素所对应于操作区块W1中的位置是在像素列RpR2与R5内。例如，长曝光区块I中的像素G’n与像素B’12等原本是属于短曝光像素；而短曝光区块Ws中的像素G'与像素B”2等原本是属于长曝光像素。更具体来说，图像处理器130会判断长曝光区块I与短曝光区块Ws中的中心像素(S卩，像素G’13与G13)是否原本是属于短曝光像素。在图3的实施例中，长曝光区块I的中心像素G’ 13与短曝光区块Ws的中心像素G13原本都属于短曝光像素。对于中心像素G’13来说，图像处理器130会从长曝光区块I中取得多个像素(亦称第五像素)，这些像素原本是属于长曝光像素并且会与像素G’ 13具有相同的通道(例如，像素G7、像素G9、像素G21等)。图像处理器130会根据这些第五像素来调整像素G’ 13的颜色值。在一实施例中，图像处理器130会从相邻于像素G’ 13的像素列R’ 2中取得这些像素，并根据这些像素的高频部分来调整像素G’ 13的颜色值，使得像素G’ 13的噪声会接近像素列R’2上的噪声。然而，在另一实施例中，图像处理器130也可以从像素列R' 1、R’ 2与R’ 5中取得这些第五像素，对于每一个像素列都计算出高频部分，并且根据每一个像素列的高频部分来内插出像素列R’ 3的高频部分，藉此来调整像素G’ 13的颜色值。最后，图像处理器130会将调整后的像素G’ 13输出成为长曝光输出像素Qp
[0056]在一实施例中，图像处理器130是根据傅立叶转换来取得像素的高频部分。然而，本发明并不在此限，在另一实施例中，图像处理器130也可以根据离散余旋转换(discretecosine transform)、小波转换(wavelet transform)或是其他空间域至频率域(spatialdomain to frequenc domain)的转换。值得注意的是，图像处理器130可以预先计算傅立叶转换而产生多个系数，并且根据这些系数与第五像素的颜色值来调整中心像素G’ 13的颜色值。也就是说，在处理器130不一定会在执行期(run time)作傅立叶转换。
[0057]另一方面，对于短曝光区块Ws的中心像素G13来说，图像处理器130会从像素列R'、R”2与R”5中取得多个像素(亦称为第五像素)，并且根据这些像素来调整像素G13的颜色值。类似地，图像处理器130可以根据邻近的像素列R”2的高频部分来调整像素G13的颜色值、或是根据多个像素列的高频部分来内插出像素列R”3的高频部分，在此便不再赘述。最后，图像处理器130会将调整后的像素G13输出成为短曝光输出像素Qs。
[0058]如此一来，在跟据长曝光像素％所产生的长曝光图像中，所有的像素都会有接近的噪声程度，而不会有横条状杂纹。相同地，在根据短曝光像素Qs所产生的短曝光图像中也不会有横条状杂纹。然而，在其他实施例中，噪声抑制NR的步骤可以是对长曝光区块\与短曝光区块Ws做一个滤波器运算(例如为低通滤波器)，本发明并不限制噪声抑制NR所采用的演算法。或者，图像处理器130也可以不做噪声抑制NR，直接输出像素G’ 13以成为长曝光输出像素Qy并且直接输出像素G13以成为短曝光输出像素Qs。
[0059]图4是根据本发明一实施例示出产生高动态范围图像的方法的流程图。
[0060]请参照图4，在步骤S401中，取得原始图像中的一操作区块，其中操作区块包括多个第一像素与多个第二像素，第一像素具有第一曝光时间，并且第二像素具有第二曝光时间。在步骤S402中，判断每一个第一像素是否过曝光。若有第一像素过曝光，在步骤S403中，内插过曝光的第一像素。在步骤S404中，至少根据第一像素是否过曝光与第二像素来产生对应于第二曝光时间的第二曝光区块。在步骤S405中，判断每一个第二像素是否过曝光。若有第二像素过曝光，在步骤S406中，内插过曝光的第二像素。在步骤S407中，至少根据第二像素是否过曝光与第一像素来产生对应于第一曝光时间的一第一曝光区块。在步骤S408中，至少根据第一曝光区块与第二曝光区块来产生对应于原始图像的高动态范围图像。在一实施例中，第一曝光时间、第一像素、第一曝光区块即为上述的长曝光时间、长曝光像素与长曝光区块。但本发明并不在此限，第一曝光时间、第一像素、第一曝光区块也可以是短曝光时间、短曝光像素与短曝光区块。图4中各步骤已详细说明如上，在此不再赘述。值得注意的是，图4中各步骤可以实作为多个程序码或是电路；此外，图4的方法可以搭配以上实施例使用，也可以单独使用，本发明并不在此限。
[0061]综上所述，在本发明实施例所提出的产生高动态范围图像的方法及其图像传感器采用区块处理方式中，对于有长曝光像素与短曝光像素的原始图像会做过曝光的检测。此夕卜，噪声抑制的步骤可以避免产生横杂纹的问题。
[0062]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【权利要求】
1.一种产生高动态范围图像的方法，其特征在于，适于处理依据一第一曝光时间与一第二曝光时间连续交错拍摄所得的一原始图像，包括: 取得该原始图像中的一操作区块，其中该操作区块包括多个第一像素与多个第二像素，该些第一像素具有该第一曝光时间，并且该些第二像素具有该第二曝光时间； 判断每一该些第一像素是否过曝光； 至少根据每一该些第一像素是否过曝光与该些第二像素来产生对应于该第二曝光时间的一第二曝光区块，其中该第二曝光区块的大小相同于该操作区块的大小； 判断每一该些第二像素是否过曝光； 至少根据每一该些第二像素是否过曝光与该些第一像素来产生对应于该第一曝光时间的一第一曝光区块，其中该第一曝光区块的大小相同于该操作区块的大小；以及 至少根据该第一曝光区块与该第二曝光区块来产生对应于该原始图像的一高动态范围图像。
2.根据权利要求1所述的产生高动态范围图像的方法，其特征在于，该第一曝光时间为长曝光，该第二曝光时间为短曝光，并且所述判断每一该些第一像素是否过曝光的步骤包括: 判断每一该些第一像素的一颜色值是否大于一第一临界值以判断每一该些第一像素是否过曝光， 其中判断每一该些第二像素是否过曝光的步骤包括: 将每一该些第二像素乘上一增益；以及 判断每一该些第二像素乘上该增益的一乘积是否大于一第二临界值以判断出每一该些第二像素是否过曝光，其中该增益是根据该第一曝光时间与该第二曝光时间所计算出。
3.根据权利要求2所述的产生高动态范围图像的方法，其特征在于，产生该第一曝光区块的步骤包括: 对于每一过曝光的该些第二像素，根据具有相同通道的该些第一像素内插出一第三像素；以及 根据该些第一像素、未过曝光的该些第二像素乘上该增益的该乘积、以及内插出的该第三像素产生该第一曝光区块， 其中产生该第二曝光区块的步骤包括: 对于每一过曝光的该些第一像素，根据具有相同通道的该些第二像素内插出一第四象素；以及 根据该些第二像素、未过曝光的该些第一像素除以该增益的一商数、以及内插出的该第四像素产生该第二曝光区块。
4.根据权利要求1所述的产生高动态范围图像的方法，其特征在于，该第一曝光区块与该第二曝光区块中的一中心像素的位置是对应于该些第二像素的其中之一的位置，该产生高动态范围图像的方法还包括: 从该中心像素所对应的该第一曝光区块或该第二曝光区块中取得多个第五像素，其中该些第五像素与该中心像素具有相同的通道，并且该第五像素的位置是对应于该些第一像素的至少其中之一的位置；以及 根据该些第五像素的一高频部分来调整该中心像素的一颜色值。
5.根据权利要求4所述的产生高动态范围图像的方法，其特征在于，至少根据该第一曝光区块与该第二曝光区块来产生对应于该原始图像的一高动态范围图像的步骤包括: 至少根据取得该第一曝光区块的该中心像素与该第二曝光区块的该中心像素来产生该高动态范围图像。
6.一种高动态范围图像传感器，其特征在于，包括: 一图像传感器，依据一第一曝光时间与一第二曝光时间连续交错拍摄，以产生一原始图像； 一存储单元，耦接该图像传感器，适于存储该原始图像；以及 一图像处理器，耦接该图像传感器与该存储单元，用以取得该原始图像中的一操作区块，其中该操作区块包括多个第一像素与多个第二像素，该些第一像素具有该第一曝光时间，并且该些第二像素具有该第二曝光时间， 其中，该图像处理器用以判断每一该些第一像素是否过曝光，并且至少根据每一该些第一像素是否过曝光与该些第二像素来产生对应于该第二曝光时间的一第二曝光区块，其中该第二曝光区块的大小相同于该操作区块的大小， 其中，该图像处理器用以判断每一该些第二像素是否过曝光，并且至少根据每一该些第二像素是否过曝光与该些第一像素来产生对应于该第一曝光时间的一第一曝光区块，其中该第一曝光区块的大小相同于该操作区块的大小， 其中，该图像处理器至少根据该第一曝光区块与该第二曝光区块来产生对应于该原始图像的一闻动态范围图像。
7.根据权利要求6所述的高动态范围图像传感器，其特征在于，该第一曝光时间为长曝光，该第二曝光时间为短曝光，并且该图像处理器判断每一该些第一像素是否过曝光的操作包括: 该图像处理器判断每一该些第一像素的一颜色值是否大于一第一临界值以判断每一该些第一像素是否过曝光， 其中该图像处理器判断每一该些第二像素是否过曝光的步骤包括: 该图像处理器将每一该些第二像素乘上一增益；以及 该图像处理器判断每一该些第二像素乘上该增益的一乘积是否大于一第二临界值以判断出每一该些第二像素是否过曝光，其中该增益是根据该第一曝光时间与该第二曝光时间所计算出。
8.根据权利要求7所述的高动态范围图像传感器，其特征在于，该图像处理器产生该第一曝光区块的操作包括: 对于每一过曝光的该些第二像素，该图像处理器根据具有相同通道的该些第一像素内插出一第三像素；以及 该图像处理器根据该些第一像素、未过曝光的该些第二像素乘上该增益的该乘积、以及内插出的该第三像素产生该第一曝光区块， 其中该图像处理器产生该第二曝光区块的操作包括: 对于每一过曝光的该些第一像素，该图像处理器根据具有相同通道的该些第二像素内插出一第四象素；以及 该图像处理器根据该些第二像素、未过曝光的该些第一像素除以该增益的一商数、以及内插出的该第四像素产生该第二曝光区块。
9.根据权利要求6所述的高动态范围图像传感器，其特征在于，该第一曝光区块与该第二曝光区块中的一中心像素的位置是对应于该些第二像素的其中之一的位置， 该图像处理器还用以从该中心像素所对应的该第一曝光区块或该第二曝光区块中取得多个第五像素，其中该些第五像素与该中心像素具有相同的通道，并且该第五像素的位置是对应于该些第一像素的至少其中之一的位置， 该图像处理器还用以根据该些第五像素的一高频部分来调整该中心像素的一颜色值。
10.根据权利要求9所述的高动态范围图像传感器，其特征在于，该图像处理器至少根据该第一曝光区块与该第二曝光区块来产生对应于该原始图像的一高动态范围图像的操作包括: 该图像处理器至少根据该第一曝光区块的该中心像素与该第二曝光块的该中心像素来产生该高动态范围图像。
【文档编号】H04N5/235GK104253946SQ201310263878
【公开日】2014年12月31日 申请日期:2013年6月27日 优先权日:2013年6月27日
【发明者】林慧珊, 赵善隆, 曾家俊 申请人:聚晶半导体股份有限公司