基于硬件模型的光电系统动态范围优化方法与流程

本发明属于光电成像处理技术领域，涉及一种光电系统动态范围优化方法。

背景技术：

光电系统对场景动态范围的响应是一个综合因素，也是设计高质量光电系统的关键技术。依据相关的技术设计一套光电系统，使其实现成像功能相对容易，但如何使其拥有最佳性能却并不容易。

目前动态范围的研究很多，主要集中在高动态范围到8位显示范围的映射。高动态范围映射的前提是我们已经获取了高动态范围图像，而获取高动态范围图像是场景不变，系统光学系统不变，采用曝光时间由短到长，获取一些列由暗到亮的同一场景图片，然后合成一副高动态范围图像。该方案的致命缺点就是在获取一系列照片时，场景不变。这也是有些手机或者相机具有HDR功能时，要求拍摄时尽量手保持不动的原因。

在实际的应用中，由于特定高动态场景(如爆炸)是瞬息万变的，即使相机保持不动，场景一直在变化，获取到的图像也是不同的，无法合成高动态范围图像。

硬件研制高动态范围相机是目前的一个比较热的研究方向，一般采用高动态范围传感器，而影响最终产品效果涉及到很多参数，这些不同的参数对于最终结果的影响目前尚未见深入的研究。

技术实现要素：

本发明提出一种基于硬件模型的光电系统动态范围优化方法，能够定量分析光电系统中各个环节对动态范围的影响，从而指导设计者快速、准确地配置动态范围输出最佳的光电系统。

本发明的方案如下：

基于硬件模型的光电系统动态范围优化方法，配置模数转换器的动态范围大于图像传感器的动态范围的2倍；根据光电系统的应用需求，按照以下数学模型进行针对性的硬件优化：

上式中，DR_{sys_circuit}即经过硬件电路之后的动态范围，V_sat是图像传感器的饱和输出电压，S₂是图像传感器的光学灵敏度，Q_noise是图像传感器输出的固有噪声，V_circuit是传感器的硬件电路噪声电压，α是模数转换器固有的噪声，m为模拟增益的倍数，n为数字增益的倍数。

在确定硬件配置后，还可采用色调映射方式进行软件优化，从而全面提高优化效果。

本发明具有以下技术效果：

动态范围是光电系统的一个关键指标，信噪比也是光电系统的重要指标，这两个指标是相关的。本发明以动态范围为着手点，建立了影响动态范围的系统模型，从定量角度分析光电系统中各个环节对动态范围的影响，根据这些定量关系，设计者可以设计与实际要求相匹配的高性能系统。

附图说明

图1为光电系统动态范围的系统模型。

图2为柯达全帧CCD在28M时的光子转移曲线。

图3为图像传感器光照输出曲线。

图4为模数转换器工作原理。

图5为传感器输出与AD输出曲线。

图6为数字增益输出曲线。

图7为模拟增益输出曲线。

图8为系统硬件输出曲线。

图9为伽玛映射的曲线(线性映射和非线性映射)。

具体实施方式

本发明对光电系统工作流程中的各模块进行分析，建立了光电系统动态范围模型，如图1所示。影响动态范围的有硬件设计相关部分，如图像传感器、模数转换器(AD)，增益；也有软件相关的，如映射算法等。下面分别对这些部分进行分析。

1.传感器动态范围分析

传感器工作原理是光子感应到传感器上，在像素的成像区域产生相应的光电子，光电子的数量的多少取决于光子数量的多少；光电子根据传感器的特性，将其转换为相应的电压，以电压的形式进行输出。

传感器的动态范围分有线性区域和非线性区域，以DALSA芯片为例，其饱和满井输出电压(Full-well capacity saturation level)为3400mV；而其线性满井输出电压(Full-well capacity linear operation)为2500mV；柯达公司(TRUESENSE)公司将饱和电子数定义在线性区域；没有特别说明的，一般传感器生产厂家给出芯片的满井电荷都是指其在线性区域最大满井电荷。

当传感器工作在非线性区域时，增加了对场景动态范围的识别，但是降低了该区域对照度的分辨率，一般对传感器动态范围的分析，不考虑其工作在非线性区域(实际上对该区域也有响应)，后面讨论的都是传感器或者光电系统工作于线性区域。前面介绍场景动态范围为最亮照度与最低照度之比，这里将其转换为传感器能识别的动态范围，由于传感器存在固有噪声，根据传感器的工作原理，传感器的动态范围：

Q_sat是传感器的饱和电子数；Q_noise是传感器输出的固有噪声。固有噪声由光子噪声σ_shot、复位噪声σ_reset、白噪声σ_white、暗电流噪声σ_dark、转移噪声等组成。Q_noise是与传感器工作的温度、频率、信号电子数相关的一个参数。

固有噪声是传感器本身就有的，不管硬件电路怎么设计，由于传感器特性，这些噪声总是存在的。不过传感器固有噪声中，很多噪声都与温度相关，如复位噪声σ_reset、白噪声σ_white与环境温度的根方成比例关系，暗电流噪声σ_dark与温度的关系更加明显。虽然不能改变传感器的固有噪声，但在硬件可通过改变传感器布局，尽量让发热芯片远离传感器，同时采用热设计，将传感器产生的热快速导入结构壳体。对于对动态范围或者信噪比要求很高的设计、必要时可以加入制冷模块，以降低传感器的固有噪声。固有噪声还和传感器的输出频率有关，如时钟转移噪声(CLOCKING NOISE)，与频率一般是平方根的比例关系。还与感光区感应到的信号电子数有关。由于固有噪声在不同温度时不一样，厂家在传感器中给的固有噪声是在特定温度(例如25℃)和特定频率(例如30M)下给出的平均噪声，不同厂家给出平均噪声的表达方式不一样，以读出噪声(Readout Noise)、黑噪声(Dark noise)或者其他方式给出，一般以噪声电子数量的方式给。平均噪声各个厂家给出的方式不一样，有的是测量出传感器的光子转移曲线(PHOTON TRANSFER CURVE)，有的是给出噪声的均方根误差(RMS)误差。是柯达的全帧CCD转移曲线，从这个曲线可以求得在27M时，传感器的的固有噪声为25个电子；而该传感器在27M兆时的饱和电子数为40000个电子，因此求得此时的传感器的动态范围为：

传感器输出时，除了固有噪声外，还有硬件电路带来的噪声。硬件电路带给传感器的噪声是由于硬件电路设计不佳，导致加载在传感器上面的工作电源、传感器驱动电路(CCD)、复位电平(CCD)、传感器地信号等有噪声，这个噪声的结果就是在传感器输出时，将噪声带入输出的总噪声。比较典型的就是传感器的供电输出电源上有一个与传感器输出频率接近的电源纹波，纹波噪声将会带入输出放大电路，这样的结果就是在最终的输出图像上有很多斜条纹，最终也影响了光电系统输出的动态范围。

在设计模型时，我们只关注传感器输出总噪声。这个噪声由传感器固有噪声和硬件噪声组成，其固有噪声与温度相关，且温度越高，噪声越大；硬件噪声与电路设计相关，最主要与电源纹波相关。这为我们设计高性能光电系统硬件系统提供参考。

在传感器获取一幅场景图像时，传感器感光区域能感知的光电子总数小于其总噪声电荷时，传感器不能分辨场景信息。而感知光电子总数与光学影像的强弱(光圈大小决定)和感光区域积分时间(曝光时间)相关。

为了对传感器的特性有进一步了解这里介绍两个概念，输出灵敏度(OutputSensitivity)和光学灵敏度(PhotometricSensitivity)。

输出灵敏度，单位是V/e，表示每个光电子能够产生多少V的电压输出，光学灵敏度(Sensitivity)，单位是表示，对于传感器表面的光学影像，在单位照度(lux)和单位时间(s)，传感器能够产生多少伏的电压输出。这两个概念都是产生传感器输出电压的能力，因此有些传感器只给出光学灵敏度，将其称之为灵敏度。因此，传感器输出的电压为：

V_out＝S₁×I×t＝S₁×φ (3)

V_out＝Q×S₂

其中：V_out表示传感器的模拟输出电压；

I表示传感器表面感应的照度；

S₁表示输出灵敏度，S₂光学灵敏度；

t表示积分时间；

φ表示照度与时间的乘积，辐射量。

传感器最终输出的是电压信号，上述表达式是通过不同的方式表达输出电压与光强的关系。固有噪声和电路噪声对应的输出电压为：

V_{sensor_noise}＝S₂×Q_noise+V_circuit； (4)

其中V_circuit是电路带给传感器的噪声，当传感器感应的辐射量产生的输出电压小于V_noise时，该能量将不能被传感器有效的识别。

因此，我们得到传感器输出的动态范围：

其中：DR_sensor是传感器输出的动态范围，I_max为传感器能感应的最大照度，I_min为最小照度；V_sat和V_noise表示分别与I_max和I_min对应的电压输出；V_sat也是饱和电荷数对应的电压输出，V_noise表示传感器固有电荷和硬件电路带来的噪声对应的噪声电压。

在光电系统工作流程中，与动态范围相关的模块如图3所示；传感器是光电系统的核心器件，当其产生光电电荷时，电荷以电压的形式输出(CCD和COMS一样)，经过模数转化器采样，将电压转换为数字图像，数字图像经过伽玛校正等图像处理对其数字图像进行调整。

2.模数转换器(AD)对动态范围的影响分析

模数转换器(AD)是将模拟信号转化为数字信号的关键系统；其工作原理是将模拟信号量化到N位的数字信号，该转换过程理论上是线性的。AD转换也有动态范围，其动态范围定义：

其中：是模数转换器(AD)的最大动态范围，位数是采样深度。以10位AD为例，其采样的最大动态范围为20log₁₀2¹⁰＝60dB，当传感器输出的动态范围大于60dB，根据奈奎斯采样定律，采样频率是被采样频率的两倍，才能有效采样到数据。因此，按照采样定律，对于传感器输出频率为60dB的信号，至少要使用大于66dB动态范围的AD进行采样，才能保证传感器的有效动态范围不损失。

对于AD动态范围和传感器动态范围还有直观上的一种理解方式，AD对传感器模拟输出进行采样，采样分辨率是1个基本单位，AD两个基本单位能否分辨出传感器的V_noise是AD和传感器输出匹配的关键。如果采样位数太少，2个基本单位分辨出n×V_noise，将有效的(n-1)×V_noise光电子也采样进两个基本单位，造成传感器动态范围损失。当采样位数太高，将V_noise进行了n个下采样，其中有用的采样数只有一个，造成了AD动态范围的浪费。

因此，选用AD时，必须依据传感器的动态范围进行选择，AD的动态范围必须大于传感器的动态范围，按照采样定理2倍的采样频率设计。理论上来说，当AD的采样频率为传感器输出频率的2倍时，可以对传感器输出的数据进行有效采样，也就是说，AD的动态范围比传感器的动态范围大6dB，才能有效采样传感器的动态范围。

目前14位、16位，甚至更高采样深度的模数转换器很多，14位的动态范围可以到84dB，16位的动态范围到96dB；对于一般的传感器来说，该分辨率的AD能够满足需求。

现在讨论AD对光电系统动态范围的影响。假设理想状态，传感器的输出范围与AD恰好匹配(AD的两个单位对应传感器的V_noise)，AD未带入其他噪声，AD传递的最大动态范围为：

理想状态下，只要满足采样定理要求，AD可以将整个动态范围传递到数字输出。

在实际中，由于AD器件本身的特性、系统给AD供电电源纹波噪声、AD时钟频率及量化噪声等的影响，在AD输出时会带入一定的噪声，表现在系统中为传感器没有输入时，AD的低位信号也会有相应的跳动，假设传感器输出的噪声V_noise对应AD的m个基本单位(m大于2)，AD噪声也为m个基本单位。此时AD传递的动态范围为

也就是说，当AD带来的噪声与传感器噪声相当时，AD输出的动态范围将降低6个dB，这里我们量化AD噪声，以传感器噪声V_{sensor_noise}为基本单位，AD噪声为AD_noise；经过AD之后的有效动态范围为：

其中：

α是AD噪声与传感器噪声的比值，AD噪声越大，AD输出的动态范围越小，AD噪声越大，AD输出的动态范围越小。由公式，理论上当AD噪声为0时，AD输出的动态范围等于传感器的动态范围。公式是以对数关系来表达的。

3.增益对动态范围影响分析

增益也影响光电系统的动态范围，增益分为数字增益和模拟增益。数字增益有时候是在图像处理输出时进行处理，有时在图像处理之前，其本质没有区别，为了对比数字增益和模拟增益的区别，在建模型时，将数字增益放置在AD之后，图像处理之前。

先讨论数字增益，数字增益是指将光电系统的输出按照一定倍数线性放大。以图6为例，以4倍放大系数为例，光电系统对照度的最低响应值提高了4倍；同时，对最高响应度降低了4倍。

数字增益4倍，其动态范围降低24dB，即动态降为原来的因此，每当数字增益增加m倍，其动态范围降为原来动态范围的

因此，数字图像经过数字增益其动态范围为：

现在介绍分析一下模拟增益，模拟增益是指将传感器的模拟输出按照一定倍数线性放大。以图7为例，设模拟增益系数为m，光电系统对照度的最低响应值变为原来的m倍；同时，对最高响应度降低了m倍，即：

模拟增益后，对最低照度的响应值对最高照度的响应值为根据前面AD部分的结论，传感器的输出作为AD的输入时，模拟增益增加了m倍数，其输出的噪声也就增加了mV_{sensor_noise}，而此时，AD本身的噪声还是一个基本单元，因此，此时对应的AD输入的最低照度值就为(α+m)I_min，模拟增益增加m倍之后的动态范围为：

我们将模拟增益m倍也变换为DR_AD相关的表达式，由于m>1，同时α>0，(12)不等式成立。

因此有下面公式：

这就是我们在设置增益时优先模拟增益而不是数字增益的原因，相同倍数模拟增益的动态范围大于数字增益。

由上面两个公式可得，图像经过模拟增益和数字增益之后的动态范围为：

其中：α是AD的噪声，m为模拟增益的倍数，n为数字增益的倍数。

将模拟增益变换为对数关系：

因此，经过增益之后的动态范围为：

其中：m是模拟增益，n是数字增益。

4.光电系统硬件输出动态范围分析

至此，硬件电路对动态范围的影响已经分析结束。

由于系统是串联关系，光电系统最终获得的是传感器传递的有效动态范围，

因此最终得到如下硬件数学模型：

DR_{sys_circuit}是经过硬件电路之后的动态范围，V_sat是传感器的饱和输出电压，S₂光学灵敏度，Q_noise是传感器输出的固有噪声电压；V_circuit是传感器的硬件电路噪声电压；α是AD的固有噪声，m为模拟增益的倍数，n为数字增益的倍数。

此时设计的电路有一个前提，就是AD的动态范围大于传感器的动态范围的2倍，即ΔDR大于等于6dB。这也是设计动态范围最大化的光电系统必须遵守的一个前提条件。

上述公式是我们设计一款高动态光电系统的指导依据，即可以按照该公式进行针对性的硬件优化。

可以看出，传感器输出噪声在第一项的分母上，输出噪声越大，动态范围越低，因此在设计光电系统时，为了提高动态范围，首先降低传感器输出噪声，一部分是固有噪声Q_noise，该噪声与温度、频率相关，在设计时，需要进行相关热设计，确保在使用条件下，固有噪声最低；同时传感器供电电源噪声也在分母上，为了提高动态范围，需要使得给CCD供电的电源噪声最小，在设计时需要采用低噪声LDO供电，或者采用运放供电的方式，确定电源噪声最小化。

以AD模拟噪声α为例，该参数也在推导公式的分母上，在设计时，需要使得AD模拟噪声最小，为了使得模拟噪声最小，在设计时，除了低噪供电设计外，还需要进行地平面分割等措施，确保数字信号影响模拟信号的影响最小化。

根据公式，实际设计一款高性能高动态范围的光电系统还需要注意以下几点：

a)首先要选择饱和电子数多的传感器；由公式可知，饱和电子数与动态范围成正比关系。

b)传感器输出的总噪声由电路给传感器带来的噪声和传感器本身的噪声决定，因此要选择一款低噪声传感器；同时在设计硬件电路时尽可能让系统给传感器少的噪声干扰，使其输出更少的噪声，这里涉及到传感器电源纹波、系统的整体热设计(传感器温度越高，噪声越大)。

c)对于AD转换电路部分的噪声尽量控制，其降噪原理与方法与传感器类似。

d)尽量不用增益，增益在分母上，对动态范围以倍数平方的速度进行进行降低，即使模拟增益略好于数字增益，但是影响也非常大。

在设计的时候我们关注各个模块噪声，将各个模块的噪声降到最小，一旦系统设计完成，我们只关注其系统噪声V_{sys_noise}，在动态范围方面，此时V_{sys_noise}对应的就是最低可分辨噪声。

其中：V_{sys_noise}＝(1+α)V_{sensor_noise}

对于系统噪声我们采用均方根的来估计。

我们将传感器表面输入为零(将镜头盖盖上)，采集一张图片，计算一幅图片的均方根RMS，此时关闭增益。

均方根公式：

此时RMS就是系统噪声V_{sys_noise}，输出为AD的输出总有效数据2^位宽-1对应的就是V_sat，因此系统硬件动态范围可以定义为：

RMS就是最低照度对应的硬件输出噪声位数。

当然，通常光电系统输出的动态范围不仅由硬件电路决定，很多时候(更广泛的范围)光电系统的输出的动态范围还与软件算法相关。此类软件算法属于常规技术手段，下面也予以说明。

目前市面上传感器的动态范围一般都是60dB以上，硬件电路设计的性能指标高，此时硬件电路DR_{sys_circuit}的动态范围也在55dB以上，而我们日常显示系统只有8位，光电系统最终以8位的数据输出，输出时的动态范围只有log₁₀255²，48dB，对硬件电路的动态范围进行了截取。此时可以采取一定的措施，降低该步骤的影响。

5.映射函数对动态范围的影响分析

光电系统在硬件输出时获取了N位的数据，往往在终端显示时或者在压缩系统中需要将其以8位的形式输出。将高位数据空间映射到低位数据空间上，这个过程就是色调映射，具体的映射表达式为映射函数。

色调映射一般是用在从HDR(高动态图/辐照图)映射到8位空间上，区别在于HDR图像的位宽远大于光电系统的硬件输出位宽，但是色调映射原理都是相同的。

在色调映射时，我们只取有效位数(系统输出总位数减去噪声位数)进行映射，前面介绍了AD输出的位数中总会含有噪声位，映射噪声位失去映射意义，因此设备的动态范围可以写成：

DR_{sys_circuit}＝20log(2^M-1) (20)

M是有效位数据。

在分析色调映射前，我们先分析从硬件电路输出到系统最终输出映射不当时产生的影响。这里以12位AD转换有效数据为例(系统输出总位数可能是14位或者16位)，硬件电路最终输出了12位有效数据，光电系统最终的输出为8位数据，如图8所示，如果采取直接截取的方式(舍去低4位)，此时光电系统的动态范围：

其中：DR_{sys_circuit}为前面推导的硬件系统动态范围，截取高8位的动态范围直接将系统的动态范围降低了24dB。

为了保证光电系统输出的动态范围，需要将数据从12位数据映射到8位数据空间，需要进行映射运算。

DR_device＝f(DR_{sys_circuit}) (22)

其中：f(x)为映射函数，DR_{sys_circuit}是系统的硬件动态范围，DR_device是光电系统输出的动态范围。设计者可以根据应用需求，采用结合实际应用的f(x)从DR_{sys_circuit}到DR_device进行映射。

这里我们借鉴高动态范围图像(HDR)映射到8位空间的思路进行色调映射，从高位空间映射到低位空间可以使用公式^[28]：

这里是输入场景的辐照能量范围，我们在这里将其更改为

不同的映射算法对系统动态范围影响是不一样的，映射算法按照映射方式式分为线性映射和非线性映射。现在对这两种方式进行分析。

(1)线性映射

线性映射是通过等比例关系对12位数据映射到8位数据上。

线性映射对输入的12位数据除以2⁴，再取整数，其等价于将12位数据的后四位直接截取，和我们前面分析的一样，如公式(21)所示。因此线性映射直接将原来动态范围降低24dB。

(2)非线性映射

非线性映射是输入位数与输出位数不是线性关系的图像映射，其目的是将更多的灰度空间分配给相对较低的照度空间。这样既可以保证照度在相对低的区间(往往是人们关注的区间)保证相对高的采样率，同时对于照度高的区域保持一定量的照度采样。如此处理可以最大程度上减少对传感器动态范围的损失。

非线性的算法很多，有伽玛映射、对数映射、Schlick映射、基于直方图的映射等等，其本质思想都是一样的，这里以最常用的伽玛映射为例，介绍非线性映射对动态范围的影响，其他映射的推导方式类似。

这里介绍的伽玛映射并不是相同位数之间的映射，而是从高位数据空间到低位数据空间的映射。

对于12位图像的伽玛映射过程，先将12位数据通过伽玛映射到12位数据空间上，然后经过线性映射(截取高8位)映射到8位数据空间上。图9曲线可以明显看出，映射之后的曲线对最低照度的响应明显低于线性映射的最低照度。

如图9所示，映射后的8位位深图像灰度最小值对应的原始12位位深图像灰度可以通过计算得出。

根据伽玛映射公式有：

由于γ是大于1的数，因此非线性映射的动态范围大于线性映射的动态范围，从上述公式中求得，12位映射8位数据时，理论上当伽玛等于1.5时，动态范围没有损失。

同理求得，当16位数据映射到8位数据时，理论上最佳的伽玛值是2。其他位数空间的伽玛映射值可以自行推导。很多文献中认为，应该取0.45，对于不同的位数映射，这个值其实是不一样的。