一种用于实时高动态范围成像数字相机装置的方法与流程

文档序号:13288828阅读:147来源:国知局
技术领域本发明涉及一种用于数字相机的方法,特别是涉及一种可通过实时信号处理有效和显著扩大相机输出图像动态范围值或信噪比的用于实时高动态范围成像数字相机装置的方法。

背景技术:
随着成像器件技术的迅速提高,在许多领域中,基于数字相机的成像方法被越来越多地用于定量测量光辐射能量和其他电磁场如x光辐射能量的空间分布,因此需要增加数字相机输出图像的动态范围或信噪比,以提高定量测量能量分布的信号精度。例如基于数字相机的成像测量技术已应用于混浊介质散射光空间分布的快速定量测量,出现了可以准确测量散射光能量的空间分布并据此确定混浊介质光学参数的反射成像方法和系统(美国专利“MethodsandSystemsforOpticallyCharacterizingaTurbidMaterialUsingaStructuredIncidentBeam”,专利号:8,634,077)。在这种成像测量方法中,用于定量测量辐射能量空间分布的数字相机可以采用基于电荷耦合器件(简称CCD)类或互补金属氧化物半导体(简称CMOS)类的图像传感器,测量混浊介质样品和反射率标准板在入射光束照射下所产生的反射光信号能量的空间分布,输出相应的数字图像数据,然后由一个信号分析单元根据反射光图像数据获得样品的反射率图像,再根据所测量的反射率图像确定样品的光学参数,如吸收、散射系数和各向异性参数以及其他参数如样品某一个区域的形状参数等。在上述混浊介质材料分析以及其他应用中,测量光辐射能量和其他电磁场如x光辐射能量空间分布的数字相机装置所输出的相机图像的高动态范围或信噪比是准确地确定材料特性参数的必要条件。数字相机装置一般由具有二维像素阵列组成的成像传感器、图像信号处理电路和数据传输线组成,其中图像信号处理电路包括时序脉冲驱动电路、具有对成像传感器输出的模拟视频信号完成放大、采样和模数转换等多种功能的图像处理器、可编程逻辑器件、存储器和信号控制输入输出电路等部分组成。光电成像传感器由许多位于不同行和列的像素组成,每个像素在曝光时间内吸收到达像素所在位置上的入射光子能量,转换为电荷。图像信号处理电路中的可编程逻辑器件和时序脉冲驱动电路为成像传感器提供时序脉冲,成像传感器根据时序脉冲将所有像素电荷作为脉冲信号移动至其内部的读出寄存器,然后输出由像素电荷脉冲信号组成的模拟视频信号至图像处理器,成像传感器中的像素电荷的移动和脉冲信号的放大与输出也称为图像模拟信号读出过程。图像信号处理电路也包括图像处理器,用于接收模拟视频信号并将此脉冲信号转换为数字视频信号后输出。图像信号处理电路还包括可编程逻辑器件、存储器和信号控制输入输出电路。存储器用于储存自图像接受和分析装置(如计算机等)所输入的图像控制处理程序,该程序在每次数字相机装置启动时由存储器读入可编程逻辑器件,可编程逻辑器件再根据该程序自图像处理器读入、处理数字视频信号和获得传感器图像数据,然后可根据图像控制处理程序将传感器图像数据存入存储器并做其他处理,最终获得相机图像数据。图像信号处理电路中的控制输入输出电路用于将用户修改后的图像控制处理程序传输存储至存储器内和将相机图像数据输出至成像控制和图像分析装置(如计算机等)。数字相机装置输出的每幅图像一般由N列M行像素组成,每个像素一般为正整数值,从0至2w-1,其中w为二进制像素值的位数,等于相机图像处理电路中模拟数字转换器件的位数。数字相机的一个重要技术指标为图像幅输出速率F,定义为每秒相机输出图像的最大幅数。F与成像传感器每幅输出图像的总像素数(=NM)和单位为赫兹的像素读出频率f的关系可由下式表达F=fNMw---(1)]]>由上式可见,在保持图像幅读出速率F和总像素数NM不变的条件下,像素读出频率f正比于二进制像素值的位数w。数字图像的动态范围D一般定义为D(dB)=20log(SZ),---(2)]]>其中D的单位为dB(分贝),S为数字图像中的单像素所能产生的最大光电荷数或最大像素值,Z为与单像素噪声总和平均值等价的光电荷数或噪声像素值。当数字图像由单幅传感器图像组成时,其S的最大值为像素饱和时所对应的势阱内光电荷数或像素值;例如一个采用12位模拟数字转换器的数字相机的w=12,其对应的S=212~.1=4095,如果其单像素噪声总和平均值的等价像素值Z=2,则该数字相机的动态范围D=66.2(dB);如果Z增加至5,则D值下降约7.9dB为58.3(dB)。由此可见图像动态范围D值与图像信号的噪声紧密相关。数字相机装置所输出相机输出图像数据中的噪声主要有三个来源:光子噪声、暗电流噪声和读出噪声。光子噪声源于入射光辐射场或其他辐射场的光子数量的随机涨落,属于在入射辐射场较弱条件下无法避免的随机涨落噪声。暗电流噪声则来自于像素材料由于各种与入射光辐射场无关的机制所激发的像素势阱内的电荷,例如由半导体材料制造的光电图像传感器内由于热运动造成的载流子电荷,因此具有随机性并与温度相关,可以通过降低传感器温度或曝光时间减小暗电流噪声。读出噪声则是在像素读出过程中由对像素光电荷信号进行放大、采样和模拟数字转换过程中的图像处理电路所产生的噪声,可以通过优化图像处理电路的设计和制作降低读出噪声,但无法完全消除,读出噪声一般与像素读出频率f有关,f越高,读出噪声越大。由公式(2)可知,在相机图像为单幅传感器图像和Z值不变的条件下,提高模拟数字转换电路器件的位数w可以提高S值也即数字相机输出图像的动态范围值D。但随着w的增大,如果要求数字相机的图像幅读出速率F和总像素数NM不变,则根据公式(1),相机的像素读出频率f也需相应增大,进而导致读出噪声增大,即Z值变大,因此可能会造成动态范围D无法显著增大甚至于减小。即使通过增大模拟数字转换电路器件的位数w可以提高数字相机输出图像的动态范围值,也往往由于信号频率的增大造成器件成本与电路制作成本的增加。所以增加D值的其他方法为采集多幅传感器图像,然后通过图像处理获得一幅数字相机输出图像,在不增加或少增加Z值的条件下提高S值和相应的D值。一种典型的通过图像处理增加相机图像的动态范围D值的方法是采集多幅传感器图像后进行像素相加(参见:Yang,DavidXD,A.ElGamal,BoydFowler,andHuiTian.\A640×512CMOSimagesensorwithultrawidedynamicrangefloating-pointpixel-levelADC.\,IEEEJournalofSolid-StateCircuits,vol.34,no.12:1821-1834(1999))。在相同入射光照射和曝光时间条件下,数字相机可采集幅数为h的多幅传感器图像,然后进行对应像素相加的运算,获得一幅相机图像,其S值(记为Sc)等于每幅传感器图像的S值(记为Ss)乘以传感器图像的幅数h,即Sc=hSs。一般情况下,每幅传感器图像的Z值(记为Zs)等于与时间无关的常数噪声部分Zsc与时间相关的随机涨落噪声部分Zsf相加,即Zs=Zsc+Zsf。如果Zsf的时间平均值为零且h远大于1时,则数字相机输出图像的N值(记为Zc)等于或约等于hZsc,即ZchZsc<hZs。由此可见,在采集和相加h幅传感器图像后,数字相机装置所输出的相机图像的动态范围值Dc将大于传感器图像的动态范围值即Dc=20log(ScZc)=20log(hSshZsc)=20log(SsZsc)>Ds,---(3)]]>其中Ds=20log(SsZs),---(4)]]>为每幅传感器图像的动态范围值。尽管通过上述方法可以提高数字相机装置所输出的相机图像的动态范围值Dc,但公式(3)和公式(4)中所定义的动态范围值由其图像中的最大单像素值S和单像素噪声总和平均值的等价像素值Z决定,在上述讨论中我们假设S值为单像素饱和值,即S=2w-1。但在相机实际应用中,S需要小于单像素饱和值,否则会造成图像饱和失真,在很多成像测量应用中,一般通过控制入射光强度或传感器曝光时间,使得S只有单像素饱和值的50%或更小,以避免光强波动时造成图像饱和失真。因此即使采用上述多幅传感器图像相加的方法,也可能很难显著提高实际测量时数字相机输出图像的动态范围值。如果能够在不增加数字相机电路复杂程度和制造成本、可快速实时成像的条件下有效和显著地提高数字相机输出图像动态范围的实际值,实现准确测量光辐射能量或其他辐射能量空间分布的实时高动态范围成像,可进一步扩大成像测量方法的精度和数字相机的应用范围。

技术实现要素:
本发明所要解决的技术问题是,提供一种可通过实时图像处理获得具有高动态范围相机图像的用于实时高动态范围成像数字相机装置的方法。本发明所采用的技术方案是:一种用于实时高动态范围成像数字相机装置的方法,当使用数字相机时,由用户使用设置在外部的控制装置中的成像控制和图像分析装置完成对图像控制处理程序的修改和成像参数的更新,然后通过数据传输线将修改和更新参数后的图像控制处理程序传输存储在数字相机中的图像信号处理电路中的存储器内,从而完成数字相机装置的初始化,数字相机装置启动后,可编程逻辑器件读入图像信号处理电路中的存储器内的图像控制处理程序,可编程逻辑器件根据所读入的图像控制处理程序和成像参数控制成像传感器采集第一幅传感器图像,曝光后由成像传感器通过像素脉冲信号线将模拟视频信号传至图像信号处理电路,由图像信号处理电路转为数字传感器图像后储存在图像信号处理电路中的存储器内,可编程逻辑器件根据所读入的图像控制处理程序和第一幅传感器图像数据内饱和像素的数目与全部像素的数目的比例确定采集其他幅传感器图像的曝光时间或第一幅传感器图像内的像素平均值与像素最大值的比例,逐次增加或逐次减小传感器图像曝光时间,采集并在可编程逻辑器件内存储多幅传感器图像数据,其中所采集传感器图像的总幅数h为默认值,并由用户在数字相机初始化时通过修改成像参数进行设定,待获得由图像控制处理程序所规定的所有传感器图像后,再由图像信号处理电路根据图像控制处理程序计算获得相机图像,最后通过数据传输线输出至成像控制和图像分析装置。所述更新的成像参数包括:采集传感器图像的总幅数、第一幅传感器图像的曝光时间和其他幅传感器图像的曝光时间。所述的图像控制处理程序包括:判断采集到的第一幅传感器图像是否出现饱和像素,当第一幅传感器图像未出现饱和像素的条件下,计算第一幅传感器图像内的像素平均值与像素饱和值的比例a,然后使用过饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间,当第一幅传感器图像出现饱和像素的条件下,计算第一幅传感器图像内的饱和像素数与全部像素数的比例b,然后使用退饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间。所述的使用过饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=r3t1的第二幅传感器图像,其中,r为变化曝光时间的底数,r取默认值r=1/a,或由用户修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9);3)采集曝光时间为t3=r2t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=rt1的第四幅传感器图像;6)根据步骤1)、步骤3)和步骤5)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:DS是传感器图像动态范围值,S为传感器图像最大像素值,Z为传感器图像噪声像素值;7)采集曝光时间为t3=r4t1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(r4SZ)=80logr+Ds;]]>9)采集曝光时间为t3=r5t1的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=r6t1的第四幅传感器图像;12)根据步骤1)、步骤9)和步骤11)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(r6SZ)=120logr+Ds;]]>13)采集曝光时间为t3=r7t1的第四幅传感器图像;14)根据步骤1)、步骤9)和步骤13)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(r7SZ)=140logr+Ds.]]>所述的退饱和成像的图像控制处理方法包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=r3t1的第二幅传感器图像,其中,r是变化曝光时间的底数,r可取默认值r=(1-b),或由用户根据b值修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9);3)采集曝光时间为t3=r5t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=r7t1的第四幅传感器图像;6)根据步骤1)、3)和5)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:其中DS是传感器图像动态范围值,r取默认值r=0.5,或由用户修改为设定值,S为传感器图像最大像素值,Z为传感器图像噪声像素值;7)采集曝光时间为t4=r4t1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(Sr5Z)=100log(1r)+Ds;]]>9)采集曝光时间为t3=r2t1的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=r4t1的第四幅传感器图像;12)根据步骤1)、9)和11)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(Sr4Z)=80log(1r)+Ds;]]>13)采集曝光时间为t3=rt1的第四幅传感器图像;14)根据步骤1)、步骤9)和步骤13)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(Sr3Z)=60log(1r)+Ds.]]>所述的使用过饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=Rt1的第二幅传感器图像,其中,R是变化曝光时间的线性乘数,R取默认值R=5/a,或由用户根据a值修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9);3)采集曝光时间为t3=(R/2)t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=(R/4)t1的第四幅传感器图像;6)根据步骤1)、步骤3)和步骤5)采集的四幅传感器图像计算获得数字相机输出图像,其动态范围值Dc为:Dc=20log(RSZ)=20logR+Ds;]]>7)采集曝光时间为t4=2Rt1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(2RSZ)=20log(2R)+Ds;]]>9)采集曝光时间为t3=4Rt1的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=2Rt1的第四幅传感器图像;12)根据步骤1)、步骤9)和步骤11)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(4RSZ)=20log(4R)+Ds;]]>13)采集曝光时间为t3=8Rt1的第四幅传感器图像;14)根据步骤1)、步骤9)和步骤13)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(8RSZ)=20log(8R)+Ds.]]>所述的退饱和成像的图像控制处理方法包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=Rt1的第二幅传感器图像,R是变化曝光时间的线性乘数,R取默认值R=(1-b)/2,或由用户根据b值修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9);3)采集曝光时间为t3=(R/4)t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=(R/16)t1的第四幅传感器图像;6)根据步骤1)、3)和5)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(16SRZ)=20log(16R)+Ds;]]>7)采集曝光时间为t4=(2R)t1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(4SRZ)=20log(4R)+Ds;]]>9)采集曝光时间为t3=t1/(2R)的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=(2R)t1的第四幅传感器图像;12)根据步骤1)、9)和11)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(1S2R2Z)=40log(12R)+Ds;]]>13)采集曝光时间为t4=t1/R的第四幅传感器图像;14)根据步骤1)、步骤9)和步骤13)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(SR2Z)=40log(1R)+Ds.]]>本发明的一种用于实时高动态范围成像数字相机的装置的方法,在入射光辐射或其他辐射空间分布不变的条件下,采用一种退饱和或过饱和成像方式,编制存储于图像信号处理电路中的可编程逻辑器件内的图像控制处理程序,并根据该程序使用可编程逻辑器件和时序脉冲驱动电路准确控制图像传感器曝光时间,采集多幅图像数据,存入可编程逻辑器件并完成对应饱和像素替代图像处理计算,获得并输出一幅数字相机图像,从而显著提高相机输出图像的实际动态范围值。附图说明图1是使用数字相机装置测量辐射场空间分布的电路构成框图,其中虚线框代表数字相机装置;图2是图像信号处理电路构成框图;图3a是使用过饱和成像方法的第一幅传感器图像在曝光时间t1时的原理示意图;图3b是使用过饱和成像方法的第二幅传感器图像在曝光时间t2时的原理示意图;图3c是使用过饱和成像方法的第三幅传感器图像在曝光时间t3时的原理示意图;图3d是使用过饱和成像方法的第四幅传感器图像在曝光时间t4时的原理示意图;其中,白色园代表饱和像素,其像素值等于2w-1,灰色园代表非饱和像素,其像素值小于2w-1;图4是在类似于图3所示的第一幅传感器图像未出现饱和像素的条件下,图像控制处理程序控制曝光时间变化方式的一种逻辑流程图;图5a是使用退饱和成像方法的第一幅传感器图像在曝光时间t1时的原理示意图;图5b是使用退饱和成像方法的第二幅传感器图像在曝光时间t2时的原理示意图;图5c是使用退饱和成像方法的第三幅传感器图像在曝光时间t3时的原理示意图;图5d是使用退饱和成像方法的第四幅传感器图像在曝光时间t4时的原理示意图;图5是使用退饱和成像方法的第一幅传感器图像在曝光时间t1时的原理示意图;其中,白色园代表饱和像素,其像素值等于2w-1,灰色园代表非饱和像素,其像素值小于2w-1;图6是在类似于图5所示的第一幅传感器图像出现饱和像素的条件下,图像控制处理程序控制曝光时间变化方式的一种逻辑流程图;图7是使用成像控制和图像分析装置(如计算机等)和数字相机装置测量辐射场空间分布的方法示意图。图中1:成像传感器2:模拟视频信号线3:时序脉冲信号线4:图像信号处理电路5:数据传输线6:成像控制和图像分析装置41:信号控制输入输出电路42:可编程逻辑器件43:存储器44:时序脉冲驱动电路具体实施方式下面结合实施例和附图对本发明的一种用于实时高动态范围成像数字相机装置的方法做出详细说明。数字相机装置一般由成像传感器、图像信号处理电路和数据传输线组成,其中成像传感器用于测量入射光辐射能量的空间分布,图像信号处理电路用于控制成像传感器和将成像传感器输出的模拟视频信号转为数字图像信号后存储并处理图像,数据传输线与成像控制和图像分析装置(如计算机等)相连接,用于接受图像控制处理程序并转送至图像信号处理电路和向成像控制和图像分析装置传送图像数据。图像控制处理程序包括与成像控制和图像处理有关的参数和指令。当使用数字相机时,一般首先由用户使用成像控制和图像分析装置完成对图像控制处理程序的修改和参数更新,然后通过数据传输线将图像控制处理程序传输存储在图像信号处理电路所包括的存储器内,从而完成数字相机装置的初始化,成像传感器获取成像信号后由所输出的模拟视频信号传至图像信号处理电路,由其转为数字传感器图像后储在图像信号处理电路所包括的存储器内,待获得由图像控制处理程序所规定的所有传感器图像后,再由图像信号处理电路根据图像控制处理程序计算完成相机图像,最后通过数据传输线输出至成像控制和图像分析装置。图1是使用数字相机装置测量辐射场空间分布的电路构成框图,其中成像传感器1根据时序脉冲信号线3输入的时序脉冲信号测量入射光辐射能量的空间分布,然后通过模拟视频信号线2输出模拟视频信号至图像信号处理电路4,图像信号处理电路4将模拟视频信号转为数字图像信号后存储为传感器图像,再通过对多幅传感器图像的处理获得数字相机输出图像,通过数据传输线5上传至成像控制和图像分析装置6。如果用户需要改变图像控制处理程序的参数,可以首先使用成像控制和图像分析装置6修改图像控制处理程序,然后通过数据传输线将修改后的图像控制处理程序传输并存储在图像信号处理电路4内。图1所示的数字相机装置中的成像传感器可有多种形式,如CCD类或CMOS类成像传感器。一种实现方式为具有二维像素阵列的CCD类成像传感器,如Sony公司生产的ICX424AL传感器,可测量入射光辐射或其他辐射能量的空间分布并输出由像素电荷脉冲信号组成的模拟视频信号。本发明的一种用于实时高动态范围成像数字相机装置的方法,首先由图像信号处理电路4内的存储器43将图像控制处理程序输入可编程逻辑器件42,再由该程序控制相机装置,开始采集总幅数为h的多幅传感器图像。首先采集的第一幅传感器图像的曝光时间t1可以是默认值如50毫秒,也可由用户根据实际的光照条件通过修改图像控制处理程序,在数字相机初始化时对t1值加以修改,然后由存储于可编程逻辑器件内的图像控制处理程序,在第一幅传感器图像未出现饱和像素的条件下计算图像内的像素平均值与像素饱和值的比例a,而在第一幅传感器图像出现饱和像素的条件下则计算图像内的饱和像素数与全部像素数的比例b。然后根据第一幅传感器图像是否出现饱和像素和相应的a或b值确定采集其他幅传感器图像的曝光时间变化公式,并可以采用不同公式逐次变化其他幅传感器图像的曝光时间,如t2、t3、t4等,其中每幅传感器图像曝光时间与前一幅传感器图像曝光时间的关系由曝光时间变化公式以及参数如变化曝光时间的底数或线性乘数决定,数字相机每次成像所采集的传感器图像总幅数h为默认值,但可由用户在通过修改图像控制处理程序后在数字相机初始化时加以修改。本发明的一种用于实时高动态范围成像数字相机装置中的图像信号处理电路4可根据相机所采用的不同成像传感器设计,如CCD类或CMOS类成像传感器。图2所示的图像信号处理电路构成框图只是用于说明基于CCD类光电传感器的、具有实时高动态范围成像功能的数字相机装置中的一种范例,包括有:时序脉冲驱动电路44(如Sony公司生产的CXD3400N时序驱动器)用于产生控制像素曝光时间和像素读出的时序脉冲;图像处理器43(如AnalogDevices公司生产的AD9895CCD信号处理器),具有对模拟视频信号脉冲放大、采样和模拟数字转换等多种功能,可将成像传感器1输出的模拟视频信号放大采样后再转变为数字视频信号输出可编程逻辑器件42(如Xilinx公司生产的XC6SLX9-2CSG324I器件)在输入并处理数字视频信号后获得传感器图像信号,然后可存入存储器43做图像处理,最后将相机图像信号由信号控制输入输出电路41(如Cypress公司生产的CYUSB3014-FX3器件)输出。当使用图2所示或类似图像信号处理电路以t1的曝光时间采集第一幅传感器图像时有两种可能性:饱和像素数等于0或大于0。本发明的一种用于实时高动态范围成像数字相机装置的方法,当使用数字相机时,由用户使用设置在外部的控制装置(如计算机)中的成像控制和图像分析装置6完成对图像控制处理程序的修改和成像参数的更新,然后通过数据传输线5将修改和更新参数后的图像控制处理程序传输存储在数字相机中的图像信号处理电路4中的存储器43内,从而完成数字相机装置的初始化。所述更新的成像参数包括:采集传感器图像的总幅数、第一幅传感器图像的曝光时间和其他幅传感器图像的曝光时间。数字相机装置启动后,可编程逻辑器件42读入图像信号处理电路4中的存储器43内的图像控制处理程序,可编程逻辑器件42根据所读入的图像控制处理程序和成像参数控制成像传感器1采集第一幅传感器图像,曝光后由成像传感器1通过像素脉冲信号线2将模拟视频信号传至图像信号处理电路4,由图像信号处理电路4转为数字传感器图像后储存在图像信号处理电路4中的存储器43内,可编程逻辑器件42根据所读入的图像控制处理程序和第一幅传感器图像数据内饱和像素的数目与全部像素的数目的比例确定采集其他幅传感器图像的曝光时间或第一幅传感器图像内的像素平均值与像素最大值的比例,逐次增加或逐次减小传感器图像曝光时间,采集并在可编程逻辑器件42内存储多幅传感器图像数据,其中所采集传感器图像的总幅数h为默认值,并由用户在数字相机初始化时通过修改成像参数进行设定,待获得由图像控制处理程序所规定的所有传感器图像后,再由图像信号处理电路4根据图像控制处理程序计算获得相机图像,最后通过数据传输线5输出至成像控制和图像分析装置6。所述的图像控制处理程序包括:判断采集到的第一幅传感器图像是否出现饱和像素,当第一幅传感器图像未出现饱和像素的条件下,计算第一幅传感器图像内的像素平均值与像素饱和值的比例a,然后使用过饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间,当第一幅传感器图像出现饱和像素的条件下,计算第一幅传感器图像内的饱和像素数与全部像素数的比例b,然后使用退饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间。其中:所述的使用过饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=r3t1的第二幅传感器图像,其中,r为变化曝光时间的底数,r取默认值r=1/a,或由用户修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9);3)采集曝光时间为t3=r2t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=rt1的第四幅传感器图像;6)根据步骤1)、步骤3)和步骤5)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:DS是传感器图像动态范围值,S为传感器图像最大像素值,Z为传感器图像噪声像素值;7)采集曝光时间为t3=r4t1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(r4SZ)=80logr+Ds;]]>9)采集曝光时间为t3=r5t1的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=r6t1的第四幅传感器图像;12)根据步骤1、步骤9和步骤11采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(r6SZ)=120logr+Ds;]]>13)采集曝光时间为t3=r7t1的第四幅传感器图像;14)根据步骤1、步骤9和步骤13采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(r7SZ)=140logr+Ds.]]>所述的退饱和成像的图像控制处理方法包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=r3t1的第二幅传感器图像,其中,r是变化曝光时间的底数,r可取默认值r=(1-b),或由用户根据b值修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9;3)采集曝光时间为t3=r5t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=r7t1的第四幅传感器图像;6)根据步骤1、3和5采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:其中DS是传感器图像动态范围值,r取默认值r=0.5,或由用户修改为设定值,S为传感器图像最大像素值,Z为传感器图像噪声像素值;7)采集曝光时间为t4=r4t1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(Sr5Z)=100log(1r)+Ds;]]>9)采集曝光时间为t3=r2t1的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=r4t1的第四幅传感器图像;12)根据步骤1)、9)和11)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(Sr4Z)=80log(1r)+Ds;]]>13)采集曝光时间为t3=rt1的第四幅传感器图像;14)根据步骤1)、步骤9)和步骤13)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(Sr3Z)=60log(1r)+Ds.]]>本发明中,所述的使用过饱和成像的图像控制处理方法变化其他幅传感器图像的曝光时间,还可以是包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=Rt1的第二幅传感器图像,其中,R是变化曝光时间的线性乘数,R取默认值R=5/a,或由用户根据a值修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9);3)采集曝光时间为t3=(R/2)t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=(R/4)t1的第四幅传感器图像;6)根据步骤1)、步骤3)和步骤5)采集的四幅传感器图像计算获得数字相机输出图像,其动态范围值Dc为:Dc=20log(RSZ)=20logR+Ds;]]>7)采集曝光时间为t4=2Rt1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(2RSZ)=20log(2R)+Ds;]]>9)采集曝光时间为t3=4Rt1的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=2Rt1的第四幅传感器图像;12)根据步骤1、步骤9和步骤11采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(4RSZ)=20log(4R)+Ds;]]>13)采集曝光时间为t3=8Rt1的第四幅传感器图像;14)根据步骤1)、步骤9)和步骤13)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(8RSZ)=20log(8R)+Ds.]]>本发明中,所述的退饱和成像的图像控制处理方法,还可以是包括如下步骤:1)依次采集曝光时间为t1的第一幅传感器图像和采集曝光时间为t2=Rt1的第二幅传感器图像,R是变化曝光时间的线性乘数,R取默认值R=(1-b)/2,或由用户根据b值修改为其他设定值;2)判断第二幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤9);3)采集曝光时间为t3=(R/4)t1的第三幅传感器图像;4)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤7);5)采集曝光时间为t4=(R/16)t1的第四幅传感器图像;6)根据步骤1)、3)和5)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(16SRZ)=20log(16R)+Ds;]]>7)采集曝光时间为t4=(2R)t1的第四幅传感器图像;8)根据步骤1)、步骤3)和步骤7)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(4SRZ)=20log(4R)+Ds;]]>9)采集曝光时间为t3=t1/(2R)的第三幅传感器图像;10)判断第三幅传感器图像是否含有饱和像素,是则进入下一步骤,否则进入步骤13);11)采集曝光时间为t4=(2R)t1的第四幅传感器图像;12)根据步骤1)、9)和11)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(1S2R2Z)=40log(12R)+Ds;]]>13)采集曝光时间为t4=t1/R的第四幅传感器图像;14)根据步骤1)、步骤9)和步骤13)采集的四幅传感器图像,计算获得数字相机输出图像,所述输出图像的动态范围值Dc为:Dc=20log(SR2Z)=40log(1R)+Ds.]]>图3a~图3d示意性地显示了通过过采集四幅传感器图像(即h=4)增加相机图像动态范围值Dc的一种范例。如果所采集的曝光时间为t1的第一幅传感器图像饱和像素数等于0时,计算第一幅传感器图像内的像素平均值与像素最大值的比例a,然后逐次变化曝光时间至t2、t3和t4后分别采集第二、第三和第四幅传感器图像,图4为图像控制处理程序中用于控制曝光时间变化方式的一种逻辑流程图。在这种情况下可以通过逐幅变化曝光时间获得其他过饱和传感器图像。一种增加方式可共采集四幅传感器图像,其中每幅图像的曝光时间ti与t1的关系由下述公式表达ti=rsti-1,i=2,3,4(5)其中r为变化曝光时间的底数,可取默认值r=1/a,也可由用户修改为其他值,如r=2或r=3等,s为变化曝光时间的指数,可由根据图4所示逻辑流程图编写的图像控制处理程序加以变化。在曝光时间由t1变化至t4时,传感器图像可能会出现饱和像素,如曝光时间为t2的图3b、曝光时间为t3的图3c和曝光时间为t4的图3d的传感器图像示意图中的白色圆所示。当采集所有四幅传感器图像之后,可以按照下述方法进行饱和像素替代运算。首先查找曝光时间最大的传感器图像中的饱和像素,假设其曝光时间为tc(c=1或2或3或4),其位于第n列和第m行的像素值由I(n,m;tc)表示,如果该像素饱和,即I(n,m;tc.)2w-1,其中w为传感器图像中二进制像素值的位数,则在曝光时间为第二大的传感器图像中查找相同位置的像素是否饱和,假设其曝光时间为td(d=1或2或3或4),如果该像素不饱和,即I(n,m;td)2w-1,则根据下式重新计算曝光时间为tc的传感器图像中的该像素值I(n,m;tc.)rcdI(n,m;td),(6)其中rcd=tc/td为曝光时间比。如果该像素饱和,即I(n,m;t3)2w-1,则在曝光时间为te(e=1或2或3或4)的传感器图像中检查相同位置的像素是否饱和。如果该像素不饱和,即I(n,m;te)2w-1,则根据下式重新计算曝光时间为tc的传感器图像中的该像素值I(n,m;tc.)rceI(n,m;te),(7)其中rce=tc/te为曝光时间比。如果该像素饱和,即I(n,m;te)2w-1,则根据下式重新计算曝光时间为tc的传感器图像中的该像素值I(n,m;tc.)rcgI(n,m;tg),(8)其中tg为最小曝光时间(g=1或2或3或4),rc1=tc/tg为曝光时间比。在根据上述条件选择公式(6)或公式(7)或公式(8)重新计算位于第n列和第m行的饱和像素的像素值后,可以根据此算法继续查找曝光时间为tc的曝光时间最大的传感器图像中的其他饱和像素,直至完成该图像中的所有饱和像素的像素值的重新计算,然后可将曝光时间为tc并且重新计算后的传感器图像作为数字相机图像输出。从图4所示的三种变化曝光时间的不同方式可知,与只用一幅曝光时间为t1的传感器图像作为数字相机输出图像的动态范围值Dg相比较,使用四幅传感器图像、通过饱和像素替代运算计算后得到的数字相机输出图像的动态范围值Dc最大可增加为Dc=20log(r7SZ)=140logr+Dg---(9)]]>如r=2,则动态范围值的增大值,即Dc-Dg,为140log2=42(dB)。当使用上述变化曝光时间的方法增加数字相机图像动态范围时,有可能出现t1的默认值或用户修改值过小,即使将曝光时间按照图4所示增加至t4=r3t1时,传感器图像仍不含饱和像素的情况。因此可以修改上述算法和图像控制处理程序,将采集第二幅、第三幅或第四幅传感器图像时增大曝光时间的变化比例,采用与图4所示类似的变化曝光时间的程序逻辑流程图,以避免出现所采集的后三幅传感器图像不含或含很少的饱和像素的情况,从而可有效地增大数字相机图像动态范围。图5a~图5b示意性地显示了通过过采集四幅传感器图像(即h=4)增加相机图像动态范围值Dc的另一种范例。如果所采集的曝光时间为t1的第一幅传感器图像饱和像素数大于0时,计算第一幅传感器图像内的饱和像素数与全部像素数的比例b,然后通过逐次变化曝光时间至t2、t3和t4后分别采集第二、第三和第四幅传感器图像,图6为图像控制处理程序中用于控制曝光时间变化方式的一种逻辑流程图。在这种情况下可以通过逐幅变化曝光时间最终获得一幅不含饱和像素的传感器图像。一种增加方式可共采集四幅传感器图像,其中每幅图像的曝光时间ti与t1的关系由下述公式表达ti=rsti-1,i=2,3,4(10)其中r为变化曝光时间的底数,可取默认值r=(1-b),也可由用户修改为其他值,如r=0.2或r=0.8等。在变化曝光时间时,其他传感器图像可能还会出现饱和像素,如曝光时间为t2的图5b和曝光时间为t3的图5c的传感器图像示意图中的白色圆所示,但至少有一幅不出现饱和像素的传感器图像,如曝光时间为t4的图5d的传感器图像示意图。当采集所有四幅传感器图像之后,可以按照前述方法和公式(6)、(7)和(8)进行饱和像素替代运算。从图4所示的三种变化曝光时间的不同方式可知,与只用一幅曝光时间为tg(g=1或2或3或4)的传感器图像作为数字相机输出图像的动态范围值Dg相比较,使用四幅传感器图像、通过饱和像素替代运算计算后得到的数字相机输出图像的动态范围值Dc最大可增加为Dc=20log(Sr7Z)=140log(1r)+Ds---(9)]]>如r=0.5,则增大值为Dc-Dg=140log2=18(dB)。当使用上述逐次变化曝光时间的方法增加数字相机图像动态范围时,有可能出现t1的默认值或用户修改值过大,即使将曝光时间按照图6所示减小至tg=r3t1时,传感器图像仍含饱和像素的情况。因此可以修改上述算法和图像控制处理程序,将采集第二幅、第三幅或第四幅传感器图像时减小曝光时间的变化比例,采用与图6所示类似的变化曝光时间的程序逻辑流程图,以避免出现所采集的后三幅传感器图像均含或含过少的饱和像素的情况,从而可准确地计算所以像素值并有效地增大数字相机图像动态范围。图7示意性地描述了如何通过成像控制和图像分析装置修改和更新存储于数字相机装置图像信号处理电路4的存储器43和可编程逻辑器件42之内,然后使用数字相机装置完成成像测量和输出相机图像信号的一种实现过程。当使用数字相机时,一般首先由用户使用成像控制和图像分析装置6完成对图像控制处理程序的修改和参数更新,然后通过数据传输线5将图像控制处理程序传输存储在图像信号处理电路4所包括的存储器43之内,从而完成数字相机装置的初始化。当数字相机开启成像后,首先在存储器43内的图像控制处理程序控制之下,将与成像控制和图像处理有关的指令与参数转存至可编程逻辑器件42,然后控制成像传感器1开始成像并将获得的模拟视频信号输出至图像信号处理电路4,由其转为数字传感器图像后存储在存储器43内,待获得由图像控制处理程序所规定的所有传感器图像后,再由图像信号处理电路4根据图像处理指令计算完成相机图像,最后通过数据传输线5输出至成像控制和图像分析装置6。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1