基于图像传感器多帧曝光的瞬态成像动态范围扩展方法与流程

本发明涉及一种基于图像传感器多帧曝光的瞬态成像动态范围扩展方法。

背景技术：

基于图像传感器的高速相机在瞬态物理过程研究领域中应用广泛。目前常用的图像传感器主要有两种：ccd图像传感器和cmos图像传感器。在瞬态物理应用过程中，高速相机一般与像增强器组成iccd或icmos相机，其中像增强器具有10²～10⁵的光增益，可以补偿耦合光能损失，起到光增益的作用，同时像增强器的开门时间相对于ccd或cmos相机的电子快门或高速机械快门装置要快2～3个数量级以上，因此，可以将像增强器作为光快门选通器件，对高速瞬态过程进行高时间分辨成像。在爆轰效应、高速碰撞和等离子体实验等瞬态物理研究领域中，所要诊断测试的目标往往具有非常高的动态范围，在利用高速相机进行成像时，若曝光时间过长，较亮的区域会出现饱和；若曝光时间过短，则较暗的区域不能够被分辨，在这种应用条件下需要对图像传感器的成像动态范围进行扩展。

目前，进行图像传感器动态范围扩展的方法有很多种，其中双帧曝光甚至多帧曝光图像融合技术是一种发展较早、应用比较广泛的动态扩展方法。它的原理是对同一场景进行两次或者多次曝光拍摄，分别获取不同曝光条件下的图像信息，然后通过图像融合实现动态扩展。但是这种方法只对静态场景或相对静态场景有效，亦即在多次曝光拍摄时，目标场景不变或变化极小；对于瞬态过程来说，难以在极短的时间内进行多次曝光成像，在进行多次拍摄的过程中目标状态已经发生了变化，因此进行图像融合已经没有了意义。另外一种实现方法是采用多台相机，通过预设不同的光圈值或曝光时间，采用分光镜使多台相机能够获取同一时刻的目标图像，从而能够进行图像融合。但是这种方法的缺点是系统过于复杂，价格昂贵，而且光学对准带来的多幅图像之间的误差也会对最终的图像融合结果带来影响。

技术实现要素：

为解决现有图像传感器瞬态成像动态范围扩展方法所需系统过于复杂、价格昂贵、误差较大的技术问题，本发明提出一种基于图像传感器多帧曝光的瞬态成像动态范围扩展方法，采用该方法进行动态范围扩展时所需系统简单，成本较低、误差小。

本发明的原理是：

本发明利用像增强器的余辉衰减效应和规律，将瞬态现象的某一时刻场景定格并进行时间延长，在余辉衰减时间内进行多帧曝光并分别采集多帧曝光的图像(其中曝光量大的图像能够获取较暗区域的细节，曝光量小的图像能够获取较亮甚至饱和区域的细节)，然后通过图像融合的方法使得瞬态现象中的亮区域和暗区域的细节信息在同一幅图像中得以体现，进而实现适用于瞬态过程的图像传感器的动态扩展。

本发明的技术解决方案为：

基于图像传感器多帧曝光的瞬态成像动态范围扩展方法，包括以下步骤：

1】选取图像传感器和像增强器的类型，确定图像传感器的最大曝光次数n；

2】将图像传感器与像增强器进行耦合；

3】在瞬态现象发生过程中触发像增强器开关使像增强器进行曝光，在像增强器的余辉衰减时间tλ内使图像传感器进行第一次曝光；

4】将图像传感器感光区中由其第一次曝光形成的电荷转移至图像传感器存储区；

5】图像传感器第一次曝光形成的电荷转移完毕后，使图像传感器进行第二次曝光；

6】在图像传感器第二次曝光过程中，将存储在其存储区的第一次曝光形成的电荷读出，形成第一帧图像数据并读出；

7】待第一帧图像数据读出完毕后，再将图像传感器第二次曝光形成的电荷从图像传感器感光区转移至图像传感器存储区，转移完毕后图像传感器进行第三次曝光；

8】在图像传感器第三次曝光过程中，将存储在其存储区的第二次曝光形成的电荷读出，形成第二帧图像数据并读出；

9】采用步骤7】和8】相同的方法，分别得到第三帧图像数据、第四帧图像数据、……、第n帧图像数据并读出；

10】将步骤9】获取的n帧图像数据进行融合，得到最终的高动态图像；

上述步骤中图像传感器从第一次曝光开始到最后一次曝光结束之间的时间间隔小于像增强器的余辉衰减时间。

进一步地，步骤1】中选取的图像传感器为行间转移型ccd图像传感器或者四管以上全局快门型cmos图像传感器；像增强器为长余辉型像增强器，其余辉衰减时间大于图像传感器单次曝光感应电荷从其感光区转移到存储区的时间。

进一步地，步骤1】中图像传感器的最大曝光次数n由公式1确定，tλ为像增强器的余辉衰减时间，trd为图像传感器的图像读出时间，表示像增强器的余辉衰减时间除以图像传感器的图像读出时间所得的值向上取整。

进一步地，步骤3】中的像增强器的余辉衰减时间tλ定义为：tλ＝t1-t0，t0为像增强器发光值为最大值时所对应的时刻，t1为荧光屏余辉亮度衰减到所述最大值的10％时所对应的时刻。鉴于亮度低于最大值10％以后，图像的信噪比将接近1：1，难以获取有效图像信息，因此这里t1取荧光屏余辉亮度衰减到最大值的10％时所对应的时刻。

进一步地，步骤3】中图像传感器第一次曝光的时刻和曝光时间应满足图像中较亮区域饱和、图像中较暗区域能明显分辨的条件。

进一步地，步骤5】中图像传感器第二次及后续曝光的时刻和曝光时间应满足图像中较亮区域不饱和并且细节分辨比较明显的条件。

进一步地，步骤9】中采用加权叠加算法进行图像融合：第一帧图像数据表示为i1(x,y)，第二帧图像数据表示为i2(x,y)，第n帧图像数据表示为in(x,y)，则融合后的图像为i(x,y)＝(a1*i1(x,y)+a2*i2(x,y)+…+an*in(x,y))/(a1+a2+…+an)；an为权值，权值可以an为固定值1，也可以为变值。

进一步地，权值an为变值时，可根据场景图像中所关心的明暗区域进行调整。

进一步地，根据场景图像中所关心的明暗区域调整权值an的具体方法为：若关心场景亮部细节，可增加前半部分曝光图像的权值而减小后半部分的权值；若关心场景暗部细节，则可增加后半部分曝光图像的权值而减小前半部分的权值。

本发明的有益效果：

1、本发明利用像增强器的余辉衰减效应，在余辉衰减时间内通过图像传感器的多次曝光获取目标场景同一时刻、不同曝光量的多幅目标图像，通过图像融合可进行动态范围扩展，适用于瞬态过程成像。

2、本发明仅需要一台由图像传感器和像增强器组成的iccd或icmos相机，通过设置像增强器的开门时间和图像传感器的曝光时间和工作模式即可实现瞬态成像动态范围扩展，因此所需系统简单，成本较低。

3、本发明在应用过程中可根据成像目标的发光量等信息，在像增强器不饱和的条件下，通过多次曝光的方法，完全获取像增强器的余辉图像，从而达到较好的动态扩展效果，应用范围广。

附图说明

图1是本发明所采用的像增强器与图像传感器耦合结构。

图2是本发明所采用的像增强器余辉衰减曲线。

图3是行间转移型ccd图像传感器简易结构示意图。

图4是四管全局快门型cmos图像传感器单个像元结构图。

图5是本发明的流程图。

图中标号：1-像增强器，2-耦合器，3-图像传感器，4-感光区，5-垂直寄存区，6-串行位移寄存区，7-光电二级管，8-浮置扩散结电容。

具体实施方式

以下结合附图对本发明作进一步说明。

参见图5，本发明所提供的基于图像传感器多帧曝光的瞬态成像动态范围扩展方法，具体包括以下步骤：

步骤1：选取图像传感器和像增强器的类型，其中，图像传感器选用行间转移型ccd图像传感器或者四管以上全局快门型cmos图像传感器，像增强器选用长余辉型，其余辉衰减时间tλ须大于图像传感器感应电荷由其感应区(也即感光区)转移至存储区的时间；

根据像增强器的余辉衰减时间tλ和图像传感器的图像读出时间trd确定图像传感器的最大曝光次数n；具体的，n值由公式确定，表示像增强器的余辉衰减时间除以图像传感器的图像读出时间所得的值向上取整。

步骤2：将步骤1选取的图像传感器与像增强器通过耦合器2进行耦合，组成iccd或icmos相机，图像传感器3与像增强器1的耦合结构如图1所示。

步骤3：在瞬态现象发生过程中触发像增强器开关，使像增强器进行曝光，在像增强器的余辉衰减时间tλ内，使图像传感器进行第一次曝光；

像增强器在曝光结束后其荧光屏并不会立即停止发光，而是随着时间逐渐衰减到零，一般呈指数衰减趋势，衰减曲线如图2所示；假设像增强器发光值为最大值时所对应的时刻为t0，在t1时刻像增强器的余辉亮度衰减到最大值的10％，则像增强器的余辉衰减时间tλ为t1-t0；在t0和t1之间的t2时刻使图像传感器进行第一次曝光，曝光时间为δt1；第一次曝光的时刻t2和曝光时间δt1应该满足图像中较亮区域饱和而较暗区域分辨较为明显的条件。

步骤4：将图像传感器第一次曝光在其感光区4形成的电荷转移至存储区。

图像传感器类型不同，所具有的存储区结构和工作方式各不相同，图3是ccd图像传感器简易结构示意图，其存储区为垂直转移寄存区5和串行位移寄存区6；图4是四管式全局快门cmos图像传感器单个像素单元结构图，其感光区为光电二极管7，存储区为浮置扩散结电容8。根据不同类型传感器的工作原理，将感光区的感应电荷转移至存储区。

步骤5：在图像传感器第一次曝光形成的电荷转移完毕后，使图像传感器进行第二次曝光；

第二次曝光的时刻是t3，曝光时间是δt2，这里要求电荷从感光区转移至存储区的时间tt满足：tt<t3-t2-δt1；而第一次曝光开始到第二次曝光结束之间的时间间隔小于像增强器的余辉衰减时间，即t3+δt2-t2<t1-t0。第二帧曝光时刻t3和曝光时间δt2应该满足图像中较亮区域不饱和并且细节分辨比较明显的条件。

步骤6：在图像传感器第二次曝光过程中，将存储在其存储区的第一次曝光形成的电荷读出，形成第一帧图像数据并读出。

步骤7：待第一帧图像数据读出完毕后，再将图像传感器第二次曝光形成的电荷从图像传感器感光区转移至图像传感器存储区，转移完毕后使图像传感器进行第三次曝光。

步骤8：在图像传感器第三次曝光过程中，将存储在其存储区的第二次曝光形成的电荷读出，形成第二帧图像数据并读出。

步骤9：采用步骤7和8相同的方法，分别得到第三帧图像数据、第四帧图像数据、……、第n帧图像数据并读出。

上述步骤中图像传感器从第一次曝光开始到最后一次曝光结束之间的时间间隔小于像增强器的余辉衰减时间。

步骤10：将步骤9获取到的n帧图像数据进行图像融合，得到最终的高动态图像。

多帧图像的融合算法有很多种，最简单的是加权叠加：将第一帧图像数据表示为i1(x,y)，第二帧图像数据表示为i2(x,y)，第n帧图像数据表示为in(x,y)，则融合后的图像数据为i(x,y)＝(a1*i1(x,y)+a2*i2(x,y)+…+an*in(x,y))/(a1+a2+…+an)。权值an的选择是比较关键的，可以是固定值，也可以是根据两幅图像的亮度差、相关度等参数而变化的变值。