暗场景下基于CCD传感器实时获取清晰图像的装置和方法与流程

本发明属于图像传感器与图像处理领域，具体涉及暗场景下基于CCD传感器实时获取清晰图像的系统与方法。

技术背景

视觉是人类最主要的感觉器官，视觉信息是人们由客观世界获得信息的主要来源之一，占人们五官获得信息量的70％以上，因此，获得高质量的图像就显得至关重要。随着摄像机的广泛应用与普及，在各种复杂环境下如何获取更加清晰的图像不仅是相关科研人员研究的热门课题，也是市场的强烈需求。图像传感器成像系统在远程监控、辅助驾驶、安全防护、科学研究、安全刑侦、人机交互等领域获得了越来越广泛的应用。

一般来说，在获取清晰帧图像的方法上总的可以分为两类：一类被称为是图像的前处理，它是用图像传感器在获取图像时采取一系列的技术，如：选择合适的光圈大小，确定最佳的曝光时间以及放大增益等等，来得到高质量帧图像；另一类被称为是图像的后处理，它是在获取图像之后，采用适当的技术来得到最终高质量图像，如经常用到的图像增强技术，通过提取光强度信号(诸如直方图统计、像素灰度值的数学期望等)，确定阈值，从而获得图像的曝光信息以做进一步调整等。综合来看，对于图像传感器成像技术，人们研究的最多的是基于外界光照没有明显不足的情况。只有在这种环境下，才有可能出现相应的算法去调节最佳的曝光时间、光圈大小等影响因素。换句话说，如果在光线明显不足的环境下，无论怎样去调节相应的影响因子，都不会获得高质量的图像。而这些光线较暗的场景时常会发生，如没有光源的室内，晚间的野外，夜间驾驶、观察和瞄准，甚至是医疗设备用于检查人体内的组织等。

本发明主要是针对如何在像上面所说的光线较暗场景下获得高质量的图像。系统采用了近红外光源作为黑暗条件下的补光光源。近红外波段辐射工作有许多优点，其狭窄光束照明目标，使目标在视场中突出出来，造成与背景较大的反差，从而获得较为清晰的图像。而且，其价格便宜。

在补光源的基础之上，本发明结合了图像的前处理和后处理方法，在前处理中目标对红外光进行反射，经红外滤光片进行光学滤波，由图像传感器完成光信号到电信号的转换，采集卡采集图像传感器输出的电信号转换为特定格式的数字视频信号。同时也解决了外部光源与图像传感器的同步问题。经过前处理后得到的图像传送给后处理模块，后处理模块主要是算法模块，通过归一化的加权亮度直方图来反馈外部补光源的每个周期的发光长度，从而控制每帧图像曝光的多少，达到实时动态的高质量帧图像。

技术实现要素：

本发明的目的是针对在光线不足的黑暗场景下，提出了实时获取清晰图像的系统与方法。重点在解决了：一是主动外部红外光源和图像传感器的控制同步问题，使得图像传感器的曝光和外部红外光源的发光同步，在此基础之上，根据CCD电子快门的曝光原理，提出了新的高效的外部光源发光控制机制；二是针对较暗场景条件下，提出了一种自适应的基于亮度直方图的光源发光反馈控制算法。

本发明的技术方案是：暗场景下基于CCD传感器实时获取清晰图像的装置，包括CCD传感器单元，信号处理电路单元，图像前处理单元和图像后处理单元；所述图像前处理单元包含同步信号提取与控制电路模块和外部光源模块；

所述CCD传感器单元将采集的原始图像信号送入信号处理电路单元的同时，还将原始图像信号送入同步信号提取与控制电路模块；

所述同步信号提取与控制电路模块从原始图像信号中提取同步时钟信号，控制外部光源模块，使得CCD传感器单元曝光和外部光源模块发光同步。

进一步的，所述外部光源模块采用近红外光源作为外部光源。

进一步的，所述信号处理电路单元接收来自CCD传感器单元采集到的原始图像信号，并对原始图像信号进行加工处理，A/D转化，去噪，图像增强和格式转换。

本发明还提供暗场景下基于CCD传感器实时获取清晰图像的方法，已知VD是提取出的同步时钟信号；Q是在每个像素点上积累的电荷量；CS代表外部光源的控制信号，高电平表示光源亮，低电平表示光源灭；

外部光源模块中外部光源控制信号的具体控制方法如下：在每个周期内增加一个RP，RP代表复位脉冲序列，RP上升沿有两个功能：一是Q的触发信号，每个像素点从RP的上升沿开始积累电荷；二是清空每个像素点上之前积累的电荷；设一个周期内最后一个复位脉冲点为s，那么在点s之前CS保持低电平。

进一步的，定义外部光源在一个场周期内发光的长短为η：

其中，T_EE为一个场周期中有效的曝光时间，T_LO为一个场周期中外部光源的点亮时间，0≤η≤1；

η的理想值η₀的具体计算方法在图像后处理单元中实现，所述图像后处理单元包括直方图统计模块，亮度计算模块和逻辑控制模块；所述理想值η₀的具体计算方法如下：

步骤一、采用直方图统计模块计算每帧图像的归一化加权亮度直方图；

步骤二、亮度计算模块基于直方图统计模块，首先确定较暗区域的灰度值d和较亮区域的灰度值b(d值与b值的确定关系到图像曝光情况的判定，本发明是经过大量的试验而得到的一个相对较优的值)；然后用变量sum_d来表示从灰度值0到灰度值d之间的所有灰度的比重之和，所述从灰度值0到灰度值d之间包括包含0和d，用公式表示为：

其中，n_i表示灰度等级i加权归一化后所占的比重；

用变量sum_b来表示从灰度值b到255之间的所有灰度的比重之和，所述从灰度值b到255之间包含d和255，用公式表示为：

同样，n_i表示灰度等级i加权归一化后所占的比重；

步骤三、采用逻辑控制模块判断当前帧是否曝光不足或是过曝光，并确定理想值η₀，具体如下：

(1)给η赋一个初始值initial_value；

(2)比较sum_d与事先设定好的阈值t_d的大小，如果sum_d＞t_d，则被认为曝光不足，下一帧的η值将以的方式获取，B_n表示当前帧图像的加权亮度均值，B_n+1表示下一帧图像的加权亮度均值；如果某个时刻刚好达到了sum_d＜t_d，则此时被称为曝光不足临界点，相应的η值被记作：η_d；过了曝光不足临界点后，则要比较sum_b与同样是预先设定好的阈值t_b的大小；如果sum_b＜t_b，下一帧的η值将同样以的方式获取，若达到sum_b＞t_b，则标志着过曝光已经发生，此时被称为是过曝光临界点，相应的η值被记作：η_b，

阈值t_d与阈值t_b的设定是为了确定当前的曝光情况，同样是经过大量试验得出的一个较优值；

(3)将η_d和η_b取平均值得到η的理想值η₀。

进一步的，实时监测η_d和η_b两个量的动态变化，如果不发生变化，则下一帧的η值将继续以获取；若是发生了变化，则理想值η₀也会跟着相应的变化，即重新计算变化后的η_d和η_b平均值，更新为新的η的理想值η₀，达到一个动态的平衡。

进一步的，步骤一所述采用直方图统计模块计算每帧图像的归一化加权亮度直方图，具体如下：定义图像的中心部分为图像的感兴趣区域和图像的边缘部分为非感兴趣区域，并将感兴趣区域和非感兴趣区域分配不同的权重，之后计算每帧图像的归一化加权亮度直方图。

进一步的，一张图像被分为了九个区域，具体来说，试验中选取的一种长度与高度的各部分比例分别为：

|OP|:|PQ|:|QR|＝1:2:1

|OM|:|MN|:|NK|＝1:2:1

即：图像的宽度上以1∶2∶1的比例划分为三段OP、PQ、QR，高度上也以1∶2∶1的比例划分为三段OM、MN、NK，这样形成的九个方形区域，最中间部位划分为感兴趣区域，四周8个部位划分为非感兴趣区域。

进一步的，所述最中间部位划分为相同大小的九个区域，九个区域分配不同的权重。

有益效果：提出暗场景下基于CCD传感器实时获取清晰图像的系统与方法，针对光线较暗的场景，具体采用的是图像前处理和后处理相结合的混合方法。前处理主要包括创造性地加了一个外部补光红外光源、结合CCD(电荷藕合器件图像)电子快门原理解决了外部光源与图像传感器的同步问题；后处理提出了基于加权亮度直方图的反馈算法，从而达到实时获取高质量的图像。

附图说明

图1系统功能结构图；

图2典型的CCD电荷积分模式与外部光源控制时序；

图3改进的光源控制方案；

图4感兴趣区域与非感兴趣区域的划分；

图5一张图像中各个部分区域所占比重；

图6一帧图像的归一化亮度直方图与加权归一化亮度直方图；

图7逻辑控制模块功能流程图；

图8同步信号提取实施用例的系统功能结构图；

图9硬件系统实现；

图10灯组的控制时序；

图11 CCD图像传感器输出时序；

图12反馈调节电路系统框图；

图13实施用例2中的一组图像；

图14区域划分模板。

具体实施方式

本发明围绕较暗场景下要获取清晰图像的系统设计，相应地分为两个环节：1)主动红外光源和图像传感器的控制同步问题；2)基于算法的自适应光强控制问题。

本发明公开了一种高效率的自适应同步和光强控制的系统和算法。

图1给出了本发明的系统功能结构图。系统主要由CCD传感器单元，信号处理电路单元，图像前处理单元(图中A部分)和图像后处理单元(图中B部分)组成。具体来说：

(1)CCD传感器单元负责将采集的原始图像信号送入信号处理电路的同时，还将原始图像信号送入图像前处理单元中。

(2)信号处理电路单元接收来自CCD传感器单元的信号，并对信号进行加工处理，A/D转化，去噪，图像增强和格式转换等。

(3)图像前处理单元包含同步信号处理模块和外部光源模块。对于同步信号的处理，我们采用内同步方式，即从图像传感器的输出信号中提取出同步时钟，控制主动红外光源。在获取同步信号之后，本发明提出了高效的外部红外光源控制机制。首先，我们来看典型的，也就是常见的外加光源的控制方法：

在图2中，VD是提取出的CCD场同步信号，Q是在每个像素点上积累的电荷量，CS(ControlSignal)代表外部光源的控制信号，高电平表示光源亮，低电平表示光源灭。CS信号以场同步信号VD作为触发信号，T_d是响应延迟时间，相比较于场周期T_VD而言，T_d是一个极小的量，可以忽略不计。

从图2中可以看出，场同步信号VD从高电平转变为低电平的同时，像素上的电荷开始积累直到一个周期的结束，像素上的电荷达到最大值，然后将积累的电荷输出。这是常见的方式，即像素电荷Q和CS信号以场同步的起始位置作为触发位置。而在本发明中，结合CCD电子快门的特点，做出了如下的改进：

相比较于图2，图3明显的区别是增加了一个RP(Reset Pulses)。RP代表复位脉冲序列，其上升沿有两个功能：一是像素电荷Q的触发信号，每个像素从RP的上升沿开始积累电荷；二是清空每个像素上之前积累的电荷。事实上，我们发现CCD电子快门的机制正是由一系列这样的RP复位脉冲组成的。由此可见，像素电荷的积累并不是在整个场周期内都是有效的，在本系统中正是采用了如图3所示的方式。设一个周期内最后一个复位脉冲点为s(如图3中所示)，那么在点s之前CS只需要保持低电平即可。这样便能达到高效节能的目的。

另外在图3中还定义了一个重要的变量η：

其中，T_EE为一个场周期中有效的曝光时间，T_LO为一个场周期中外部光源的点亮时间。η的大小表示外部红外光源在一个场周期内发光的长短，显然有0≤η≤1。

(4)图像后处理单元包含直方图统计模块，亮度计算模块和逻辑控制模块。这个单元的内容主要体现在提出的算法上。

在直方图统计模块中，定义了图像的感兴趣区域和非感兴趣区域。感兴趣区域被赋予较高的权重，相应地，非感兴趣区域则被赋予较低的权重。因为通常人们的注意力会放在一张图像的中央部分，尤其是在光线较暗场景下，突出感兴趣区域，忽略非感兴趣区域将取到事半功倍的效果。所以本发明中将图像的中心部分(图4A₂₂区域)划分为感兴趣区域，边缘部分划分为非感兴趣区域，各部分所占权重各不相同，具体如图4所示。

在图4中，一张图像被分为了九个区域，具体来说，试验中选取的一种长度与高度的各部分比例分别为：

|OP|:|PQ|:|QR|＝1:2:1

|OM|:|MN|:|NK|＝1:2:1

即：图像的宽度上以1:2:1的比例划分为三段OP、PQ、QR，高度上也以1:2:1的比例划分为三段OM、MN、NK，这样形成的九个区域即为图4(a)中的划分方式。为了达到更好的视觉效果，在中央的A₂₂区域，又细分为相同大小的九个区域，但其个部分的比重并不一样，如图5所示。图5中不同符号代表不同位置所占的比重。

在确定了各个部分区域所占比重之后，就可以计算每帧图像的归一化加权亮度直方图。图6给出了一帧图像的例子。(b)和(c)中横轴表示各个灰度值，纵轴为相应灰度值归一化后所占的比重。两者所不同的是，(b)中的每个像素的权值都是一样的，而在(c)中，不同的像素区域按照前文的方法被赋予了不同的权值。由于(a)中的中央位置较四周要稍稍亮一些，当其被赋予较高的权重时，直方图就会整体稍向右移动，这样就突出了我们所需的关注点。

亮度计算模块是基于直方图统计模块的基础之上的，在此模块中，算法首先要确定较暗区域的灰度值d和较亮区域的灰度值b(如图6中所示)。然后用变量sum_d来表示从灰度值0到灰度值d之间(包含0和d)的所有灰度的比重之和，用公式表示为：

其中，n_i表示灰度等级i加权归一化后所占的比重。类似地，用变量sum_b来表示从灰度值b到255之间(包含d和255)的所有灰度的比重之和，用公式表示为：

同样，n_i表示灰度等级i加权归一化后所占的比重。

本发明中通过计算sum_d和sum_b的值来判断当前帧是否曝光不足或是过曝光等情况，具体判断方法在逻辑控制模块中介绍。

逻辑控制模块的功能如图7中的流程图所示。变量η的初始值为0，即开机时外部光源是默认为不发光的。首先要给η赋一个初始值initial_value以便启动反馈调节机制。接着比较sum_d与事先设定好的阈值t_d的大小，如果sum_d＞t_d，则被认为曝光不足，下一帧的η值将以的方式获取(B_n表示当前帧图像的加权亮度均值，B_n+1表示下一帧图像的加权亮度均值)。如果某个时刻刚好达到了sum_d＜t_d，则此时被称为曝光不足临界点，相应的η值被记作：η_d。过了曝光不足临界点后，则要比较sum_b与同样是预先设定好的阈值t_b的大小。如果sum_b＜t_b，下一帧的η值将同样以的方式获取。若达到sum_b＞t_b，则标志着过曝光已经发生，此时被称为是过曝光临界点，相应的η值被记作：η_b。当达到这样的情况后，需要减小η值使其既不过曝光也不会曝光不足。本发明采取的取平均值法得到中间的理想η₀。

但是随着周围环境光照变化，曝光不足临界点η_d和过曝光临界点η_b会发生变化，本发明中会实时监测这两个量的动态变化，如果不发生变化，则下一帧的η值将继续以获取。若是发生了变化，则我们所要获取的理想值η₀也会跟着相应的变化，直到达到一个动态的平衡。

实施用例1：

原理：提取模拟摄像机输出的模拟视频信号的同步信号，进而控制主动红外光源的发光时序。

本例中，图像传感器为普通的模拟摄像机，视频输出信号一般为复合视频广播信号(CVBS,Composite Video Broadcast Signal)或复合视频消隐和同步(Composite Video Blanking and Sync)，复合视频包含色差和亮度信息，并将它们同步在消隐脉冲中，以模拟波形来传输数据。CVBS信号是美国国家电视标准委员会电视信号的传统图像数据传输方法。

本实施用例的基本思想是从模拟摄像机的输出信号中提取出用于控制图像采集的同步信号，例如场同步、位同步信号等，再经过相应的时序电路处理，设计出主动光源的同步控制信号，进而控制主动光源的亮灭与图像传感器的信号采样时刻吻合，确保获得最佳曝光效果和图像质量。

具体实现步骤如下：

(1)模拟摄像头输出符合视频信号复合视频广播信号CVBS。

(2)以CVBS信号为参考基础，从模拟形式的CVBS信号中提取出同步时钟信号。

(3)步骤(2)中提取的同步信号为输入，根据相应的时序控制电路处理后输出控制信号，作为主动光源的控制信号。

(4)主动红外光源根据输入的同步控制信号，控制主动红外光源的开启和闭合。

其中，步骤2中的同步信号提取电路的设计依据是CVBS模拟视频信号中包含有相应的时钟信息分量，因此可以通过设计电路提取出来，这种同步时钟分量的提取既可以采用专用芯片完成，也可采用分立电子器件电路实现。时序控制电路主要完成提取出来的帧同步信号VSYNC、行同步信号HREF、像素输出信号PCLK，经过任务逻辑控制要求，转换输出为主动光源的同步控制信号。

以基于主动红外光源的眼睛检测和跟踪为例，应用实例1被应用于基于主动红外光源的眼睛检测和跟踪技术当中。利用所谓的亮瞳技术和红外帧差图像来辅助实现眼睛的检测。其中，红外帧差图像的采集效果在提高眼睛的检测的准确率中起到了至关重要的作用。根据本发明所提出的方法，我们可以设计出如下的硬件系统。整个系统的实现框图如下图9所示，

整个硬件系统由四个部分。第一个部分是采集的前端，由CCD摄像机和两组红外LED灯构成；第二部分是同步信号提取及光源同步控制电路，从模拟形式的CVBS信号中提取出同步时钟信号，根据相应的时序控制电路处理后输出控制信号；第三个部分是视频图像采集电路，利用一个PCI采集卡和V4L驱动实现对视频的采集；第四部分是亮度的控制电路，通过调节外环光源和内环光源的光强度使获取的亮瞳图像和暗瞳图像非瞳孔的脸部背景灰度近似相同。在图10中，我们采用CCD摄像进行视频数据的采集。在CCD摄像电路中，使用的CCD图像传感器为ICX405AL，这是一款支持CCIR黑白制式(CCIR是与PAL相对应的黑白电视格式)的CCD传感器(有效像素点数为500(H)×582(V))，其相应的时序控制电路为CXD2463R，DSP处理芯片为CXA1310AQ。摄像采集的图像数据以CVBS信号输出。利用同步信号提取芯片LM1881，可以从CVBS信号提取出场同步信号和帧同步信号。对于CCIR黑白电视信号，每秒传输50场，25帧图像信号。对于CCD摄像机而言，它使用一场的时间进行积分。如果需要获得亮瞳图像，只需要在一场内让内圈红外光源保持一段时间点亮，外圈红外光源长灭，就可以在这一场中获得一个亮瞳图像。同样的方法作用在外圈光源上可以获得一个暗瞳的图像。其中，使用的外圈光源为940nm波长的红外光源，内圈光源为850nm波长的红外光源。同步控制时序如下图10所示：

在图10中，T_oe为一帧时间，T为内圈或外圈灯亮的一个周期，点s即为周期内最后一个复位脉冲点。奇偶信号是由LM1881从CVBS信号当中解码得到的奇偶场信号(高低电平分别对应着两种不同的场信号)。内圈灯控是内圈led灯的控制信号，外圈灯控是外圈led灯的控制信号。我们可以假设亮灯脉冲的时间相同(脉冲宽度由程序设定)，所以有：

t_bc1＝t_bc2＝t_dc1＝t_dc2＝t_c

t_bc1，t_bc2，t_dc1，t_bc2分别是各亮灯脉冲的时间。

另外，由于已知为CCIR黑白制式视频，所以有：

T＝2T_oe＝80ms

根据CCD传感器的原理，为产生亮瞳效应，必须满足如下约束：

其中，t_s是与CCD图像传感器相关的量，t_{b_dly1}，t_{b_dly2}，t_{d_dly1}，t_{d_dly2}分别为各自亮灯之前的时间延时。由图11可知，由CCD图像传感器输出的同步信号(output端的正脉冲)略超前于FLD(帧信号)，所以t_s的作用就是对这一小段差值进行补偿。图中v1是驱动信号。为了保证亮暗瞳非眼部背景图像的低差异度，暗瞳光源点亮的占空比应该与亮瞳光源点亮占空比尽量一致对应。为解决奇偶场的图像亮度差异问题，应该尽量均衡光源在奇偶场中的占空比。本系统设计光源的同步信号延时1ms，占空比为40％，奇偶场光源占空比分别为20％。

实施用例2

原理：通过图像传感器采集的图像数据，提取出光强度信号(加权归一化直方图统计)，确定阈值，从而获得调整主动光源的发光电路，如图12所示。

具体实现步骤如下：

(1)图像前处理部分与实施用例1相类似，提取出同步信号之后结合CCD电子快门原理得到高效节能的外部光源控制方式。与实施用例1中完全不同的是，不用分内圈和外圈，而是只有一组红外灯用来作为外界光照不足时的补光源。

(2)图像后处理部分运用前文所述的加权归一化直方图统计的算法来实时反馈控制信息。η值的大小会根据反馈的结果得到实时的更新以期达到获取清晰图像。

(3)本发明公开了试验中用到的区域划分模板，初始值initial_value，灰度值b和d，阈值T_d和T_b以及一组实验获取的图像。图13给出的是用例中测得的一组数据，图13中左侧的是所得帧图像，右侧是相应图像的加权归一化直方图。第一幅图是原始图像，即所测数据的环境，第二幅图是曝光不足的情况，第三幅图是正常曝光的情况，最后一幅图是过曝光的情况。本实施用例中会最终反馈调节到正常曝光的情况。

其中，灰度值b和d取值分别为38和231；初始值initial_value取0.25，T_d和T_b可以调节，在本例中所取的值分别为0.09和0.2。另外，区分模板划分如图14所示。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。