嵌入式车载相机曝光时间动态调整方法与流程

本发明涉及自动驾驶领域，涉及自动驾驶或者安全辅助驾驶中的图像感知与图像处理领域，提供了一种嵌入式车载相机曝光时间动态调整方法。

背景技术：

车载相机是自动驾驶系统或者安全辅助驾驶系统中最常用的传感器之一。通常情况下，自动驾驶系统通过对相机拍摄的图像进行分析，从而达到感知周边环境以及辅助驾驶安全的目的。

现有的车载相机均为简易的摄像头，其所拍摄的影像和视频画面效果较为局限，当相机暴露在强光下时如对面行车前大灯照射到车载相机时，车载相机拍摄的画面的清晰度会受到很大的影响，造成画面模糊甚至无法有效识别。

目前，数字相机常用的自动曝光控制方法有以下三种：基于图像亮度均值的自动曝光方法、基于图像直方图的自动曝光方法以及基于图像内容的自动曝光方法。

基于图像亮度均值的自动曝光方法[1-8]是利用相机拍摄图像的平均灰度值来估计场景中的平均亮度，并与作为曝光时图像参考亮度的“标准灰度”进行比较，以此为依据控制数字相机的光圈和曝光时间，从而输出平均灰度在期待范围以内的图像。传统的均值曝光方法适用于拍摄目标对象与背景之间对比度较低的场景，但当光照条件比较特殊时，如正面强光或者目标背光则曝光效果欠佳。改进的均值曝光算法主要是对图像进行区域划分，找出感兴趣区域，着重对感兴趣区域进行曝光补偿，在某些情况下能够获得比传统均值算法更好的曝光图像效果。但是，基于图像亮度均值算法在前景本身亮度变化范围较大的情况下，仍然难以得到理想的曝光效果。所以该算法并不能适用车载相机。

基于图像亮度直方图的自动曝光方法[9-12]是对图像中不同灰度级的像素统计，利用亮度直方图的几何分布信息来控制相机的曝光时间，使输出图像的直方图分布满足一定的要求。该方法以人的主观视觉为依据在一定程度上解决了传统均值曝光方法对正面强光和背光情况下曝光不足的问题。还有一些算法通过分区域后对不同区域亮度直方图的峰值进行加权比较，从而改进了曝光算法。然而车载平台的外部使用环境亮度范围大，直方图算法只能够保证一部分的场景曝光合适，而且车载相机并不关心背景区域的成像效果，所以直方图算法并不能够适应车载的曝光系统的要求。

基于图像内容的自动曝光方法是建立在图像处理和模式识别技术的基础之上，利用感兴趣内容的灰度信息[13-14]或者图像熵[15-19]作为判断依据，来调整相机曝光时间，使感兴趣对象那部分图像满足相应的优化目标。但是，基于图像熵的自动曝光方法对cpu的开销比较大，曝光时间调整速度慢。因此，基于图像内容的自动曝光算法并不能够完全适应车载的曝光系统的要求。

以上三种自动曝光方法各有其优缺点，但车载环境的特殊性和复杂多变性不能很好的满足程序要求。基于以上原因，嵌入式车载相机的曝光时间调整方法需要具有很强的适应性、高效性、实时性、稳定性和小巧性。

相关参考文献如下：

1、kunot.,sugiurah.《anewautomaticexposuresystemfordigitalstillcameras》[j].ieeetransactionsonconsumerelectronics,1998,(1):192-199.；

2、华晶科技股份有限公司.《数字相机的拍摄参数的调整方法》中国，cn201010280573.6；

3、广东欧珀移动通信有限公司.《相机曝光方法、装置及设备》中国，cn201410719703；

4、浙江宇视科技有限公司.《一种曝光调整方法及装置》中国,cn201610591424.9；

5、浙江宇视科技有限公司.《一种相机曝光调节方法及装置》中国,cn201610843133.4；

6、徐培凤,李正明,孙俊.《基于图像的自动曝光算法研究》[j].光学仪器，2005,(2):59-61.；

7、梁佳毅.《高性能数码相机自动曝光算法研究与实现》[d].复旦大学，2008.；

8、梁佳毅,洪志良.《适用于大动态范围场景的自动曝光控制算法》[j].光电工程,2008(05):89-92.；

9、马泽龙,高慧斌,等《采用图像直方图特征函数的高速相机自动曝光方法》[j].光学精密工程,2017,(4):1026-1035；

10、武汉大学.《基于图像直方图分析的线阵相机自动曝光调整方法及系统》中国,cn201610355163.0；

11、杨海涛,常义林,王静等.《一种基于亮度直方图的自动曝光控制方法》[j].光学学报，2007,(5)；

12、倪国瑜,黄昶.《基于亮度直方图宽度的自动曝光方法研究》[j].光学仪器,2009,(6):21-24.

13、潘升东.《车载摄像机自动曝光控制方法研究》[d].国防科学技术大学,2008；

14、易亮.《车载数字相机自动曝光方法研究》[d].中南大学,2012.

15、杨作廷.《基于月球探测全景相机自动曝光技术的研究》[d].中国科学院大学；中国科学院研究生院,2012；

16、仵宗钦，刘鹏.《基于fpga的数字相机自动曝光技术研究》[j].电视技术，2015；

17、杨作廷,阮萍,翟波《基于图像熵的高动态范围场景的自动曝光算法》光子学报,2013,(06)；

18、行长印,毛亚杰,杨立宏.《基于图像熵的自动曝光设计》[j].长春理工大学学报(自然科学版)，2009,(1)；

19、袁方.《基于智能车的自动曝光研究》[d].湖北工业大学,2016.

技术实现要素：

本发明要解决的技术问题是：现有的数字相机自动曝光方法调节时间长，算法开销大且无法完全移植到嵌入式车载相机的问题。

本发明解决其技术问题所采用的技术方案是：一种嵌入式车载相机曝光时间动态调整方法，包括以下步骤：

首先对车载相机标定和初始化，计算并获得第一帧图像的曝光信息，然后根据第一帧图像的曝光信息获得第二帧图像曝光时间，计算并获得第二帧图像的曝光信息，最后根据前两帧图像曝光信息得到下一帧图像的曝光时间。

进一步的，对车载相机标定和初始化的具体实现如下，

步骤1，车载相机标定，获得相机的最大曝光时间tmax和最小曝光时间tmin，以及相机拍摄图像的最大亮度值lmax和最小亮度值lmin；

步骤2，车载相机初始化，设置相机默认曝光时间为t0、设置图像目标亮度值为lmid、允许最大亮度变化范围为lr、设置图像感兴趣区域roi。

进一步的，计算并获得第一帧图像的曝光信息的具体实现如下，

步骤3，车载相机以默认曝光时间t0为曝光值，采集第一帧图像，计算图像感兴趣区域内的亮度均值lave1，记录当前时间为time1；

步骤4，计算第一帧图像亮度值与图像目标亮度值差值为δl＝lave1-lmid，通过查表法得到第一帧图像外界亮度为lbef。

进一步的，根据第一帧图像的曝光信息获得第二帧图像曝光时间，计算并获得第二帧图像的曝光信息的具体实现如下，

步骤5，如果|δl|＞lr，则第二帧图像曝光时间为tnext＝t0-0.3*δl，否则tnext＝t0；如果tnext＞tmax，则tnext＝tmax，如果tnext＜tmin，则tnext＝tmin；

步骤6，相机以曝光时间为tnext采集第二帧图像，计算图像感兴趣区域内的亮度均值lave2，记录当前时间为time2；

步骤7：计算第二帧图像感兴趣区域内的亮度均值与第一帧图像感兴趣区域内的亮度均值的差值为δl’＝lave2-lave1，计算第二帧图像外界亮度为lnow，计算外界亮度变化值δlenv＝lnow-lbef，计算两帧图像采集间隔δt＝time2-time1。

进一步的，根据前两帧图像曝光信息得到下一帧图像的曝光时间的具体实现如下，

假设第i-1帧图像的曝光时间为ti-1，图像亮度为lave(i-1)，外界亮度为lenv(i-1)，相机以曝光时间为ti-1采集第i帧图像，第i帧图像亮度值为lavei，第i帧图像感兴趣区域内的亮度均值与第i-1帧图像感兴趣区域内的亮度均值的差值为δli＝lavei-lave(i-1)；

通过查表法获得第i帧图像外界亮度为lenv(i)，第i帧与第i-1帧图像外界亮度变化值δlenv(i)＝lenv(i)-lenv(i-1)，计算两帧图像采集间隔δti＝time(i)-time(i-1)，如果|δlenv(i)’|＞lr，则第i+1帧图像的曝光时间为否则ti+1＝t0；如果ti+1＞tmax，则ti+1＝tmax，如果ti+1＜tmin，则ti+1＝tmin。

与现有技术相比，本发明的优点和有益效果：嵌入式车载相机的曝光时间调整方法具有很强的适应性、高效性、实时性、稳定性和小巧性。

附图说明

图1为嵌入式车载相机曝光时间动态调整方法的基本流程。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

如图1，本发明提供一种嵌入式车载相机曝光时间动态调整方法，包括以下步骤：

步骤1：车载相机标定，获得相机的最大曝光时间tmax和最小曝光时间tmin，以及相机拍摄图像的最大亮度值lmax和最小亮度值lmin；

步骤2：车载相机初始化，设置相机默认曝光时间为t0、设置图像目标亮度值为lmid、允许最大亮度变化范围为lr、设置图像感兴趣区域roi；

步骤3：车载相机以默认曝光时间t0为曝光值，采集第一帧图像，计算图像感兴趣区域内的亮度均值lave1，记录当前时间为time1。

步骤4：计算第一帧图像亮度值与图像目标亮度值差值为δl＝lave1-lmid，通过查表法[20]得到第一帧图像外界亮度为lbef；

[20]林卫国,郭顺生,杨明忠.基于查表法的led色度学参数测试方法研究[j].武汉理工大学学报,2011,33(12):93-96.

步骤5：如果|δl|＞lr，则第二帧图像曝光时间为tnext＝t0-0.3*δl，否则tnext＝t0。如果tnext＞tmax，则tnext＝tmax，如果tnext＜tmin，则tnext＝tmin。

步骤6：相机以曝光时间为tnext采集第二帧图像，计算图像感兴趣区域内的亮度均值lave2，记录当前时间为time2。

步骤7：计算第二帧图像感兴趣区域内的亮度均值与第一帧图像感兴趣区域内的亮度均值的差值为δl’＝lave2-lave1，计算第二帧图像外界亮度为lnow，计算外界亮度变化值δlenv＝lnow-lbef，计算两帧图像采集间隔δt＝time2-time1；

步骤8：如果|δl’|＞lr，则下一帧图像曝光时间为否则t’next＝t0。如果t’next＞tmax，则t’next＝tmax，如果t’next＜tmin，则t’next＝tmin；

同理，假设第i-1帧图像的曝光时间为ti-1，图像亮度为lave(i-1)，外界亮度为lenv(i-1)，相机以曝光时间为ti-1采集第i帧图像，第i帧图像亮度值为lavei，第i帧图像感兴趣区域内的亮度均值与第i-1帧图像感兴趣区域内的亮度均值的差值为δli＝lavei-lave(i-1)；

通过查表法获得第i帧图像外界亮度为lenv(i)，第i帧与第i-1帧图像外界亮度变化值δlenv(i)＝lenv(i)-lenv(i-1)，计算两帧图像采集间隔δti＝time(i)-time(i-1)，如果|δlenv(i)’|＞lr，则第i+1帧图像的曝光时间为否则ti+1＝t0。如果ti+1＞tmax，则ti+1＝tmax，如果ti+1＜tmin，则ti+1＝tmin。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。