一种基于传感器检测的摄像头闪烁消除方法及装置与流程

本发明涉及图像处理技术领域，尤其涉及一种基于传感器检测的摄像头闪烁消除方法及装置。

背景技术：

摄像头在汽车上的应用越来越多，例如倒车后视装置、360全景环视装置、流媒体内后视镜、流媒体外后视镜、行车记录仪等。汽车自动驾驶技术的发展，对摄像头抗干扰有着越来越高的要求。城市道路的十字路口布满红路灯、交通监控灯，当汽车在十字路口停留或缓慢行驶通过时，其灯光的闪烁会对摄像头成像造成干扰，导致视频出现水波纹状干扰，进而导致摄像头性能降低。

目前摄像头的干扰抑制方案只有对50hz交流电灯光有效，但是城市路灯普遍使用led灯、氙气灯，工作频率在100～200hz不等，因此摄像头很难滤除此类干扰。

因此，现有技术有待进一步改进。

技术实现要素：

本发明提供一种基于传感器检测的摄像头闪烁消除方法及装置，旨在解决现有技术中的缺陷，实现对多种闪烁频率的灯光干扰以及多种闪烁频率叠加的灯光进行干扰抑制，保持视频图像稳定，提升图像质量。

为达到上述目的，本发明所采取的技术方案为：

本发明一方面提供一种基于传感器检测的摄像头闪烁消除方法，包括：

s1、环境光信号采样的步骤；

s2、原始图像数据输出的步骤；

s3、环境光采样信号提取的步骤；

s4、环境光闪烁频率确定的步骤；

s5、更新摄像头帧率的步骤；

s6、根据所述摄像头帧率更新所述环境光信号采样行的曝光频率，并返回所述环境光信号采样的步骤。

具体地，所述环境光信号采样的步骤具体包括：选取摄像头传感器未使用像素行其中一行作为环境光信号采样行，与摄像头传感器有效像素行同步曝光。

具体地，所述原始图像数据输出的步骤具体包括：摄像头传感器逐行输出原始图像数据，有效像素与无效像素交替间隔传输。

具体地，所述环境光采样信号提取的步骤具体包括：提取无效像素行，保留所述无效像素行的亮度值，存储到亮度数组中，并将所述无效像素行的亮度值求算数平均值得到亮度均值。

具体地，所述环境光闪烁频率确定的步骤具体包括：

s401、将所述亮度数组中的每个亮度值分别与所述亮度均值比较，若所述亮度值大于所述亮度均值，则对应的标志值为1，否则对应的标志值为0，并将所述标志值依次存储到标志值数组；

s402、记录连续相同标志值的数量作为峰谷计数，依次存储到计数数组中；

s403、根据所述环境光信号采样行的曝光频率、所述峰谷计数计算环境光闪烁频率。

具体地，所述根据所述环境光信号采样行的曝光频率、所述峰谷计数计算环境光闪烁频率包括：

s4031、确定峰谷计数的个数。

s4032、计算环境光各初始闪烁频率。

s4033、根据所述环境光初始闪烁频率求算术平均值得到所述所述环境光闪烁频率。

具体地，所述环境光各初始闪烁频率mi＝g/(j(2i)+j(2i+1))，其中，g表示环境光信号采样行的曝光频率，i＝1,2,…n(n＝[(k-2)/2]，k表示峰谷计数的个数，[]表示取整数)，(j(2i)表示第2i个峰谷计数，j(2i+1)表示第2i+1个峰谷计数。

具体地，所述环境光闪烁频率m＝(m1+m2+…+mn)/n，其中n＝[(k-2)/2]，k表示峰谷计数的个数，[]表示取整数。

具体地，所述更新摄像头帧率的步骤具体包括：

s501、根据所述环境光闪烁频率及所述摄像头初始帧率确定摄像头待定帧率。

s502、根据所述摄像头待定帧率确定摄像头帧率。

具体地，所述根据所述环境光闪烁频率及所述摄像头初始帧率确定摄像头待定帧率包括：

若所述环境光闪烁频率≥所述摄像头初始帧率，则摄像头待定帧率p'＝[m]/q，其中，m表示环境光闪烁频率，[m]表示取m的整数值，q为1～10的整数，p'为15～120fps内的整数值；

若所述环境光闪烁频率≤所述摄像头初始帧率，则摄像头待定帧率p'＝[m]*q，其中，m表示环境光闪烁频率，[m]表示取m的整数值，q为1～10的整数，p'为15～120fps内的整数值。

具体地，所述根据所述摄像头待定帧率确定摄像头帧率包括：将所述摄像头待定帧率中与所述摄像头初始帧率差值的绝对值最小者确定为摄像头帧率。

进一步地，在所述步骤s3之后、所述步骤s4之前还包括：

s31、环境光闪烁阈值判定的步骤，包括：

所述环境光闪烁阈值判定的步骤包括：判断所述亮度数组中亮度值的最大值、最小值与亮度均值的差值是否超过预设波动阈值，是则进行环境光闪烁频率确定的步骤，否则返回环境光信号采样的步骤。

本发明另一方面提供一种基于传感器检测的摄像头闪烁消除装置，包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行；

所述一个或多个应用程序被配置为用于执行上述的基于传感器检测的摄像头闪烁消除方法的步骤。

本发明的有益效果在于：本发明通过通过摄像头传感器未使用像素行其中一行作为环境光信号采样行，采集环境光的亮度值进行存储，从而确定环境光闪烁频率，实现了对多种闪烁频率的灯光干扰以及多种闪烁频率叠加的灯光进行干扰抑制，保持视频图像稳定，提升图像质量。

附图说明

图1是本发明的基于传感器检测的摄像头闪烁消除方法的流程示意图；

图2是本发明的摄像头传感器像素点的排列示意图；

图3是现有的原始图像数据传输时序图；

图4是本发明的原始图像数据传输时序图；

图5是本发明的基于传感器检测的摄像头闪烁消除装置的结构示意图；

图6是本发明的计算环境光闪烁频率的示意图。

具体实施方式

下面结合附图具体阐明本发明的实施方式，附图仅供参考和说明使用，不构成对本发明专利保护范围的限制。

如图1所示，本发明的实施例一方面提供一种基于传感器检测的摄像头闪烁消除方法，包括：

步骤1、环境光信号采样的步骤。

目前摄像头传感器采用逐行曝光方式，若摄像头初始帧率为p0(例如30fps)，摄像头输出的有效像素为a*b(例如1280*720)，则一帧图像需要曝光b次才能完成图像的采集。事实上，摄像头传感器的物理像素点比摄像头传感器输出的有效像素点要多，因为摄像头传感器有一部分未使用像素行、像素列。图2是摄像头传感器像素点的排列图，其中，h1、h2行为摄像头传感器未使用像素行、v1、v2列为摄像头传感器未使用像素列，h3v3为摄像头传感器第1个有效像素点。

所述环境光信号采样的步骤具体包括：选取摄像头传感器未使用像素行其中一行作为环境光信号采样行，与摄像头传感器有效像素行同步曝光。

在一帧图像的采集时间内(1/p秒)，所述环境光信号采样行与所述摄像头传感器有效像素行同步曝光b次，从而采集到b个环境光信号数值，因此，所述环境光信号采样行的曝光频率g＝b*p0(hz)，也即环境光信号采样频率sg＝g。

步骤2、原始图像数据输出的步骤。

所述原始图像数据输出的步骤具体包括：摄像头传感器逐行输出原始图像数据，有效像素与无效像素交替间隔传输。

在一个可实施的例子中，奇数行传输有效像素，偶数行传输无效像素。

这样，一帧图像的行像素增加一倍，实际传输的图像像素由a*b变为a*2b。图3表示现有的原始图像数据传输时序图，图4表示本发明的原始图像数据传输时序图。

步骤3、环境光采样信号提取的步骤。

所述环境光采样信号提取的步骤具体包括：提取无效像素行，保留所述无效像素行的亮度值，存储到亮度数组中，并将所述无效像素行的亮度值求算数平均值得到亮度均值。

图5是本发明的基于传感器检测的摄像头闪烁消除装置的结构示意图，摄像头传感器输出原始图像数据给摄像头的isp(imagesignalprocessor，即图形信号处理器)，isp收到原始图像数据进行处理，转换成后端可识别的信号(例如yuv)，再将所述可识别的信号传输给后端处理单元(例如mpu，microprocessoruint，微处理器单元)，后端处理单元收到所述可识别的信号，将其中的无效像素行(例如偶数行)提取出来，保留所述无效像素行的亮度值(例如yuv信号中的y)，将这b个(例如720个)像素点的亮度值存储到一亮度数组中，并将所述b个像素点的亮度值求算数平均值得到亮度均值。

所述可识别的信号在删除无效像素行(例如偶数行)后，重新合并为新的图像，用于视频输出或存储。

步骤4、环境光闪烁频率确定的步骤。

无闪烁的环境光在足够短的时间内是稳定的，而存在闪烁现象的环境光的亮度值则会出现波动。通过与亮度均值比较，判定高于亮度均值的是闪烁的波峰，低于亮度均值的是闪烁的波谷。

所述环境光闪烁频率确定的步骤具体包括：

步骤401、将所述亮度数组中的每个亮度值分别与所述亮度均值比较，若所述亮度值大于所述亮度均值，则对应的标志值为1，否则对应的标志值为0，并将所述标志值依次存储到标志值数组。

步骤402、记录连续相同标志值的数量作为峰谷计数，依次存储到计数数组中。

例如，第1个峰谷计数表示有60个连续标志值1，则该峰谷计数j(1)＝60；第2个峰谷计数表示有80个连续标志值0，则该峰谷计数j(2)＝80；第3个计数表示有130个连续标志值1，则该峰谷计数j(3)＝130；以此类推。

步骤403、根据所述环境光信号采样行的曝光频率、所述峰谷计数计算环境光闪烁频率。

由于第一个峰谷计数和最后一个峰谷计数可能不是在一个完整周期内得到的数值，因此为减少误差，在计算所述环境光闪烁频率时的峰谷计数选择从所述计数数组的第二个峰谷计数开始，至倒数第二个峰谷计数结束。

具体计算步骤包括：

步骤4031、确定峰谷计数的个数k。

步骤4032、计算环境光各初始闪烁频率。

所述环境光各初始闪烁频率mi＝g/(j(2i)+j(2i+1))，其中，g表示环境光信号采样行的曝光频率，i＝1,2,…n(n＝[(k-2)/2]，k表示峰谷计数的个数，[]表示取整数)，(j(2i)表示第2i个峰谷计数，j(2i+1)表示第2i+1个峰谷计数。

步骤4033、根据所述环境光初始闪烁频率求算术平均值得到所述所述环境光闪烁频率。

所述环境光闪烁频率m＝(m1+m2+…+mn)/n，其中n＝[(k-2)/2]，k表示峰谷计数的个数，[]表示取整数。

例如，如图6所示，是本发明计算环境光闪烁频率的示意图。

在本示例中，环境光信号采样行的曝光频率g＝21600hz。

数组a表示亮度数组，数组b表示标志值数组，数组c表示计数数组。

峰谷计数j(i)依次为j(1)＝60，j(2)＝80，j(3)＝130，j(4)＝75，j(5)＝132，j(6)＝70，j(7)＝135，j(8)＝38，峰谷计数的个数k＝8，n＝[(k-2)/2]＝3。

因此，环境光各初始闪烁频率m(i)为：

m1＝g/(j(2)+j(3))＝21600hz/(80+130)＝102.85hz；

m2＝g/(j(4)+j(5))＝21600hz/(132+75)＝104.35hz；

m3＝g/(j(6)+j(7))＝21600hz/(70+135)＝105.36hz。

所以，环境光闪烁频率m＝(m1+m2+m3)/3＝

(102.85+104.35+105.36)/3＝104.18hz。

步骤5、更新摄像头帧率的步骤。

所述更新摄像头帧率的步骤具体包括：

步骤501、根据所述环境光闪烁频率及所述摄像头初始帧率确定摄像头待定帧率。

具体包括：

若所述环境光闪烁频率m≥所述摄像头初始帧率p0，则摄像头待定帧率p'＝[m]/q，其中，[m]表示取m的整数值，q为1～10的整数，p'为15～120fps内的整数值；

若所述环境光闪烁频率m≤所述摄像头初始帧率p0，则摄像头待定帧率p'＝[m]*q，其中，[m]表示取m的整数值，q为1～10的整数，p'为15～120fps内的整数值。

例如，若所述环境光闪烁频率m＝104.18hz，取整后为104hz，所述摄像头初始帧率p0＝30fps：

由于m＞p0，所以摄像头待定帧率p'＝[m]/q＝{104，52，26}。

步骤502、根据所述摄像头待定帧率确定摄像头帧率。

具体包括：将所述摄像头待定帧率中与所述摄像头初始帧率差值的绝对值最小者确定为摄像头帧率。

例如，在摄像头待定帧率p'＝{104，52，26}中，26与所述摄像头初始帧率p0(30fps)差值的绝对值最小，因此，最终确定摄像头帧率p为26fps。

步骤6、根据所述摄像头帧率更新所述环境光信号采样行的曝光频率，并返回所述环境光信号采样的步骤。

例如，当所述摄像头帧率p更新为26fps后，所述环境光信号采样行的曝光频率g＝b*p＝720*26＝18720(hz)。

在本发明的另一个实施例中，为进一步提高判断的准确性，在所述步骤3之后、所述步骤4之前还包括：

步骤31、环境光闪烁阈值判定的步骤。

所述环境光闪烁阈值判定的步骤包括：判断所述亮度数组中亮度值的最大值、最小值与亮度均值的差值是否超过预设波动阈值，是则进行环境光闪烁频率确定的步骤，否则返回环境光信号采样的步骤。

所述预设波动阈值可以根据实际效果进行校准，例如设置为20％。

以上所揭露的仅为本发明的较佳实施例，不能以此来限定本发明的权利保护范围，因此依本发明申请专利范围所作的等同变化，仍属本发明所涵盖的范围。