具有扩大动态范围功能的图像信号处理装置制造方法
【专利摘要】本发明公开了一种具有扩大动态范围功能的图像信号处理装置，其包括摄像部，根据基准读出电压，生成通过不同的曝光时间拍摄的第1图像信号及第2图像信号；合成电路，对由所述摄像部生成的所述第1图像信号和第2图像信号进行合成；检测部，根据从所述合成电路输出的合成后的图像信号，检测特定的被摄体的亮度信息；控制部，对所述摄像部的所述基准读出电压进行控制，所述控制部根据由所述检测部检测出的特定的被摄体的亮度信息，决定第1拐点，并按照所述第1拐点，控制所述基准读出电压；动态范围压缩部，该动态范围压缩部对从所述合成电路输出的合成后的图像信号的动态范围进行压缩。本发明能够在抑制重要被摄体的画质劣化的同时将动态范围扩大。
【专利说明】具有扩大动态范围功能的图像信号处理装置
【技术领域】
[0001]本发明涉及一种在数字照相机等中使用的图像信号处理装置，具体涉及一种具有扩大动态范围功能的图像信号处理装置。
【背景技术】
[0002]现今已开发出了对在数字照相机或数字摄像机中使用的例如CXD (ChargeCoupled Device:电荷華禹合兀件)或 CMOS (Complementary Metal OxideSemiconductor:互补金属氧化物半导体)图像传感器的动态范围进行扩大的装置(例如日本特开2008-271368号公报、日本特开2007-124400号公报)。
[0003]在日本特开2008-271368号公报中，公开了如下技术:在曝光设定模式下的摄像时，对于根据长时间曝光图像信号和短时间曝光图像信号生成的合成图像，分析亮度信息例如亮度直方图(频度分布)，并根据该结果控制短时间曝光图像信号的曝光。
[0004]另一方面，在日本特开2007-124400号公报中，示出了通过光电二极管进行的二次曝光储存动作和分割读出、以及分割读出信号的线性合成。即，公开了如下技术:在I个水平扫描期间，将曝光时间较长的信号和较短的信号分别进行模拟/数字信号变换而输出，并将该输出的两个数字信号相加，从而抑制画质的下降而扩大动态范围。
[0005]上述以往的技术对于长时间曝光图像信号和短时间曝光图像信号的品质并没有考虑。长时间曝光信号的信号对噪声比(SNR)及量化误差相对地更好。因此，希望进行控制以使特定的被摄体、例如人的脸那样重要的被摄体包含在长时间曝光图像信号中。但是，以往没有进行这样的控制。
[0006]此外，显示图像信号的显示装置的动态范围较窄。因此，在摄像部中，在由显示装置显示扩展了动态范围的图像信号的情况下，需要缩窄动态范围。所以，利用动态范围的压缩技术、例如高亮度拐点压缩(kneecompression，也称膝状曲线弯曲压缩)等将扩展的动态范围压缩。在此情况下，也希望基于脸部那样的重要被摄体的亮度电平使拐点最佳化，但以往没有考虑这样的控制。因而，希望有能够在抑制重要被摄体的画质劣化的同时将动态范围扩大的图像信号处理装置及图像信号处理方法。
【发明内容】
[0007]本发明所要解决的技术问题是显示图像信号的显示装置的动态范围较窄，使得被摄体的画质劣化。
[0008]为解决上述问题，本发明所采用的技术方案是:
[0009]具有扩大动态范围功能的图像信号处理装置，其包括:
[0010]摄像部，根据基准读出电压，生成通过不同的曝光时间拍摄的第I图像信号及第2图像信号；
[0011]合成电路，对由所述摄像部生成的所述第I图像信号和第2图像信号进行合成；
[0012]检测部，根据从所述合成电路输出的合成后的图像信号，检测特定的被摄体的亮度?目息;
[0013]控制部，对所述摄像部的所述基准读出电压进行控制，所述控制部根据由所述检测部检测出的特定的被摄体的亮度信息，决定第I拐点，并按照所述第I拐点，控制所述基准读出电压；
[0014]动态范围压缩部，该动态范围压缩部对从所述合成电路输出的合成后的图像信号的动态范围进行压缩，所述动态范围压缩部根据从所述检测部输出的亮度信息，决定第2拐点；
[0015]上述控制部控制所述基准读出电压，并将所述第I拐点设定得比所述特定的被摄体的亮度信息高所述控制部将扩展位数设定为最大而决定所述基准读出电压的值，并根据所述亮度信息的直方图的累积值，决定最佳的扩展位数。
[0016]优选地，所述动态范围压缩部包括:第I变换部，将RGB信号变换为包含亮度信号的YUV信号；拐点压缩部，根据从所述检测部输出的所述亮度信息，对从所述第I变换部输出的所述亮度信号进行拐点压缩；以及第2变换部，将从所述拐点压缩部供给的被压缩的亮度信号以及从所述第I变换部供给 的U信号、V信号变换为RGB信号。
[0017]优选地，所述合成电路包括:加法器，将所述第I图像信号和第2图像信号相加；乘法器，对所述第I图像信号乘以表示扩大率的信号；比较器，比较所述加法器的输出信号和所述乘法器的输出信号；以及选择器，根据所述比较器的输出信号，选择所述加法器和所述乘法器的输出信号中的一个。
[0018]优选地，所述选择器选择所述加法器和所述乘法器的输出信号中大的信号。
[0019]本发明的有益效果是能够在抑制重要被摄体的画质劣化的同时将动态范围扩大。
【专利附图】
【附图说明】
[0020]以下结合附图，对本发明进行详细的说明。
[0021]图1是表示本发明的图像信号处理装置的第I实施方式的结构图。
[0022]图2是表示图1所示的装置的二次曝光动作的一例的图。
[0023]图3Α、图3Β、图3C是表示不同的照度的二次曝光动作的例子的图。
[0024]图4是表示有关本发明的图像信号处理装置的第2实施方式的结构图。
[0025]图5是表示图4的一部分结构的结构图
【具体实施方式】
[0026]实施例1
[0027]图1是表示有关本发明的第I实施方式的图像信号处理装置的图，例如表示放大型CMOS (互补金属氧化物半导体)图像传感器的结构。首先，参照图1对图像信号处理装置的概略结构进行说明。
[0028]传感器芯体部11具有像素部12、作为列型噪声消除电路的⑶S13、列型模拟数字变换器(ADC) 14、闩锁电路15、两个线存储器(MSTS、MSTL) 28-1,28-2等。
[0029]像素部12将经由透镜17入射的光进行光电变换，生成对应于入射光量的电荷。在该像素部12中，在未图示的半导体基板上以矩阵状配置有多个单元(像素)。I个单元PC由4个晶体管(Ta、Tb、Tc、Td)和光电二极管(PD)构成。对各单元分别供给脉冲信号ADRESn、RESETn, READn0各单元PC的晶体管Tb连接在垂直信号线VLIN上。源极跟随电路用的负荷晶体管TLM的电流通路的一端连接在垂直信号线VLIN上，另一端接地。[0028]由上述像素部12产生的对应于信号电荷的模拟信号经由⑶S13被供给到ADC14中，被变换为数字信号而闩锁到闩锁电路15中。闩锁在该闩锁电路15中的数字信号经由线存储器(MSTS、MSTL) 28-1,28-2被依次传送。从线存储器(MSTS、MSTL) 28_1、28_2读出的例如10位的数字信号SH、SL+SH被供给到线性合成电路31中，由该线性合成电路31进行合成处理。
[0030]此外，相邻于像素部12而配置有脉冲选择器电路(选择器)22、信号读出用垂直寄存器(VR寄存器)20、储存时间控制用垂直寄存器(ES寄存器，长储存时间控制用寄存器)
21、以及储存时间控制用垂直寄存器(WD寄存器，短储存时间控制用寄存器)27。定时发生器(TG) 19根据从后述的控制部34供给的控制信号CONT或指令CMD生成脉冲信号SI — S4、READ、RESET/ADRES/READ, VRR, ESR、TOR。
[0031]脉冲信号S1^S4被供给到⑶S电路13中。脉冲信号READ(包括后述的中间读出信号Vm)被供给到脉冲振幅控制电路29中。通过该脉冲振幅控制电路29控制脉冲信号READ的振幅而生成3值的脉冲信号VREAD，供给到选择器22。脉冲信号RESET/ADRES/READ也被供给到脉冲选择器电路22。脉冲信号VRR被供给到VR寄存器20，脉冲信号ESR被供给到ES寄存器21，脉冲信号WDR被供给到WD寄存器27。由寄存器20、21、27选择像素部12的垂直线，经由脉冲选择器电路22将脉冲信号RESET/ADRES/READ (在图1中用RESETn、ADRESn, READn代表性地表示)供给到像素部12。
[0032]在单元PC中，行选择晶体管Ta、放大晶体管Tb的电流通路串联连接在电源VDD与垂直信号线VLIN间。对于晶体管Ta的门极供给脉冲信号(地址脉冲)ADRESn。复位晶体管Tc的电流通路连接在电源VDD与晶体管Tb的门极(检测部FD)之间，对该门极供给脉冲信号(复位脉冲)RESETn。 此外，读出晶体管Td的电流通路的一端连接在检测部FD上，对其门极供给脉冲信号(读出脉冲)READn0在晶体管Td的电流通路的另一端上连接着光电二极管H)的阴极，该光电二极管H)的阳极接地。进而，对于像素部12从偏压产生电路(偏压I) 23施加偏压电压VVL。该偏压电压VVL被供给到负荷晶体管TLM的门极。
[0033]VREF产生电路24响应于主时钟信号MCK，生成AD变换(ADC)用的基准波形。VREF产生电路24由于在I个水平扫描期间执行两次AD变换，所以产生三角波VREFTL和VREFTS并供给到ADC14。
[0034]在上述结构中，例如为了读出垂直信号线VLIN的η线的信号，通过使脉冲信号ADRESn为“H”电平而使放大用晶体管Tb和负荷用晶体管TLM动作。将由光电二极管H)光电变换得到的信号电荷储存一定时间，为了在进行读出之前去除检测部FD中的暗电流等的噪声信号，将脉冲信号RESETn设定为“H”电平，将晶体管Tc导通，将检测部FD设置为VDD电压=2.SVO由此，对垂直信号线VLIN输出在作为基准的检测部FD中没有信号的状态的电压(复位电平)。将与该垂直信号线VLIN的复位电平的量对应的电荷经由CDS13供给到 ADC14。
[0035]接着，将脉冲信号(读出脉冲)READn设为“H”电平，使读出晶体管Td导通，将由光电二极管ro生成并储存的信号电荷读出到检测部FD。由此，在垂直信号线VLIN中，被读出检测部FD的电压(信号+复位)电平。通过⑶S13对与该垂直信号线VLIN的信号+复位电平对应的电荷进行相关双采样(correlated double sampling)处理而将噪声消除,并供给到ADC14。在0~13与々0(:14之间也可以进行46(:(3肚Ogain control:自动增益控制)处理。
[0036]然后，使从VREF产生电路24输出的基准波形的电平增加(使三角波VREF从低电平变化为高电平)，由ADC14将模拟信号变换为数字信号。根据由VREF产生电路24供给的三角波VREFTL和VREFTS，在I个水平扫描期间执行两次AD变换动作。三角波例如是10位(O —1023电平)。将对应于三角波VREFTS和VREFTS的ADC14的输出数据由闩锁电路14依次保持，向线存储器MSTS、MSTL传送。S P,由于图1所示的WDR(widedynamic range:大动态范围)传感器进行二次曝光储存动作，所以检测到作为长时间曝光信号的SL信号(传感器输出为SL+SH信号)、和作为短时间曝光信号的SH信号，为了使定时匹配而通过线存储器MSTS、MSTL进行延迟调节。
[0037]将保持在线存储器MSTS中的信号SH、以及保持在线存储器MSTL中的信号SL+SH供给到线性合成电路31。在该线性合成电路31中合成的信号SF被供给到图像信号处理电路32。图像信号处理电路32对输入信号进行一般的各种信号处理，例如“黑点”校正、噪声除去、解马赛克等，从Bayer形式的信号SF变换为RGB形式的信号SF_RGB。图像信号处理电路32的一个输出信号被供给到AE检波部33，另一个输出信号被依次供给到动态范围压缩部(D范围压缩部)35、输出部36。
[0038]上述AE检波部例如具有周知的YUV (亮度和色差信号)变换部33a及脸部检测部33b。信号SF_RGB被YUV变换部33a变换为亮度信号⑴和蓝色成分的色差信号⑶及红色成分的色差信号(V)。脸部检测部33b对亮度信号进行周知的脸部检测处理，输出检测到的作为重要被摄体的例如脸部分的亮度信息。该亮度信息被供给到控制部34。
[0039]控制部34例如由微处理器构成，例如具有自动曝光(AE)控制功能、以及中间读出电压(Vm)的决定功能。即，控制部34基于被供给的脸部的亮度信息进行曝光控制，以成为目标亮度值、例如650LSB。此外，在曝光控制收敛、脸部分的亮度值已决定的情况下，求出脸部分为信号SL的拐点，根据该拐点决定Vm值。控制部34输出指令CMD、用于曝光控制的控制信号C0NT、以及决定的Vm值。将指令CMD、控制信号CONT及Vm值供给到定时发生器(TG) 19。定时发生器19基于指令CMD、控制信号CONT及Vm值生成上述各种脉冲信号。
[0040]图2表示上述图像信号处理装置的二次曝光储存动作。参照图2对二次曝光储存动作进行说明。该动作分为照度较高的高光的情况、照度中等的中光的情况、照度较低的低光的情况。这里，对代表性的高光的情况的动作进行说明。
[0041]首先，在时刻t0，将复位脉冲解除而开始曝光(光电变换)。在高光的情况下，将比设定的中间读出电压(Vm值)大的量的电荷储存到光电二极管中。因此，在时刻tl，比中间读出电压(Vm值)大的量的电荷量被部分地传送、排出。
[0042]接着，在从时刻tl到t2的短时间(TH)中再次充电(短时间曝光)。然后，仅对Vm值以上的电荷量进行部分传送，作为信号SH检测到。
[0043]接着，在时刻t3，剩余的电荷在时刻t3被完全传送而添加到先检测到的信号SH量的电荷之上，作为信号SL+SH被检测到。
[0044]S卩，作为传感器输出，能够得到作为短时间曝光信号的信号SH、和作为长时间曝光信号与短时间曝光信号的和的信号SL+SH这两个信号。
[0045]图3(A)、图3(B)、图3(C)分别表不高光、中光、低光下的信号储存的状况。参照图3，对作为最终想得到的长时间曝光信号与短时间曝光信号的线性合成图像信号即信号SF的计算方法进行说明。
[0046]如图3(C)所示，在低光的情况下，在曝光时间内，电荷一次也没有储存到Vm值以上。因此，最终的合成图像信号SF为信号SL本身。
[0047]如图3 (B)所示，在中光的情况下，在时刻tl，储存电荷没有成为Vm值以上，所以不进行排出。因而，合成图像信号SF为信号SL+SH。
[0048]如图3㈧所示，在高光的情况下，信号SF与信号SH在形状上重合。因此，通过将作为曝光比率的G=TL/TH(TL:长时间，TH:短时间)乘以信号SH能够得到。即，信号SF可以通过下式⑴求出。
[0049]SF=GXSH(I)
[0050]实施例2
[0051]图4、图5是表不第2实施方式的图,对于与第I实施方式相同的部分赋予相同的标号，仅对不同的部分进行说明。
[0052]如在第I实施方式中说明那样，在将扩展了动态范围的图像也显示在显示装置上的情况下，设为位图(BMP)文件等的较窄的范围、例如sRGB8位。因此，需要将扩大了动态范围的图像有效地压缩。
[0053]第2实施方式在动态范围的压缩中也使用作为重要被摄体的脸部的亮度信息。如图4所示，将从AE检波部38输出的脸部的亮度信息也供给到动态范围压缩部35。
[0054]图5表示动态范围压缩部35的一例，但并不限定于此。该动态范围压缩部35具有将RGB信号变换为YUV信号的变换部35a、将从变换部35a供给的亮度信号进行拐点压缩(knee compression,也称膝状曲线弯曲压缩)的压缩部35b、将从压缩部35b及乘法器35c、35d供给的亮度信号Y及U信号、V信号变换为RGB信号的变换部35e、和将变换部35e的输出信号饱和处理为10位的饱和处理部35f。
[0055]数据压缩也与数据扩展同样，拐点的位置是重要的。因此，在第2实施方式中，将从AE检波部38输出的脸部的亮度信息供给到进行拐点压缩的压缩部35b，压缩部35b基于作为重要被摄体的脸部的亮度信息，决定拐点并压缩亮度信号。因而，通过在确保脸部信号的线性的同时将高光部的灰度等级恶化压缩在最低限度，能够生成高画质的动态范围图像。
[0056]另外，第2实施方式对亮度信号的固定拐点压缩进行了说明，但也可以应用到Retinex处理电路等的利用视网膜的性质的动态范围压缩中。在此情况下，在照明光的压缩时进行拐点压缩。因此，也可以将第2实施方式应用到该拐点压缩中，基于照明光决定拐点而将照明光压缩。
[0057]本发明的其他优点和变更对于本领域的技术人员而言是显而易见的。因此，本发明并不限定于这里表示和描述的特定细节和优选的实施方式。因而，在不脱离由权利要求书定义的本发明的技术范围或主旨的情况下能够进行各种变更。
【权利要求】
1.具有扩大动态范围功能的图像信号处理装置，其特征在于，包括: 摄像部，根据基准读出电压，生成通过不同的曝光时间拍摄的第I图像信号及第2图像信号; 合成电路，对由所述摄像部生成的所述第I图像信号和第2图像信号进行合成； 检测部，根据从所述合成电路输出的合成后的图像信号，检测特定的被摄体的亮度信息； 控制部，对所述摄像部的所述基准读出电压进行控制，所述控制部根据由所述检测部检测出的特定的被摄体的亮度信息，决定第I拐点，并按照所述第I拐点，控制所述基准读出电压；动态范围压缩部，该动态范围压缩部对从所述合成电路输出的合成后的图像信号的动态范围进行压缩，所述动态范围压缩部根据从所述检测部输出的亮度信息，决定第2拐点；其中，所述控制部控制所述基准读出电压，并将所述第I拐点设定得比所述特定的被摄体的亮度信息高所述控制部将扩展位数设定为最大而决定所述基准读出电压的值，并根据所述亮度信息的直方图的累积值，决定最佳的扩展位数。
2.根据权利要求1所述的具有扩大动态范围功能的图像信号处理装置，其特征在于:所述动态范围压缩部包括:第I变换部，将RGB信号变换为包含亮度信号的YUV信号；拐点压缩部，根据从所述检测部输出的所述亮度信息，对从所述第I变换部输出的所述亮度信号进行拐点压缩；以及第2变换部，将从所述拐点压缩部供给的被压缩的亮度信号以及从所述第I变换部供给的U信号、V信号变换为RGB信号。
3.根据权利要求1所述的具有扩大动态范围功能的图像信号处理装置，其特征在于:所述合成电路包括:加法器，将所述第I图像信号和第2图像信号相加；乘法器，对所述第I图像信号乘以表示扩大率的信号；比较器，比较所述加法器的输出信号和所述乘法器的输出信号；以及选择器，根据所述比较器的输出信号，选择所述加法器和所述乘法器的输出信号中的一个。
4.根据权利要求3所述的具有扩大动态范围功能的图像信号处理装置，其特征在于:所述选择器选择所述加法器和所述乘法器的输出信号中大的信号。
【文档编号】H04N5/243GK103763478SQ201310689854
【公开日】2014年4月30日 申请日期:2013年12月16日 优先权日:2013年12月16日
【发明者】不公告发明人 申请人:青岛威力电子科技有限公司