一种图像传感器帧率和曝光控制系统及方法与流程

本发明涉及自然语言处理技术领域，特别是涉及一种图像传感器帧率和曝光控制系统及方法。

背景技术：

目前，对于图像传感器的帧率和曝光控制的通用方法都是采用soc(system-on-a-chip，片上系统)通过i2c总线发送帧率控制指令到图像传感器，这种方法通常需要占用soc的i2c引脚，然而，对于嵌入式资源紧张的硬件系统，soc引脚的使用非常紧张，常常不够引脚可供使用，因此实有必要提出一种技术手段，以在满足图像传感器基本功能需求(调整帧率和图像亮度)的前提下，能尽量节省soc的引脚。

技术实现要素：

为克服上述现有技术存在的不足，本发明之目的在于提供一种图像传感器帧率和曝光控制系统及方法，以通过控制soc输出给图像传感器的时钟频率，从而改变图像传感器输出图像的帧率和曝光时间，并仅在所述图像传感器无固化初始化序列时，由所述soc通过i2c引脚对所述图像传感器进行初始化配置后即刻释放i2c引脚以做其他用途，从而节省了soc端i2c两个引脚的资源可用作其他功能。

为达上述及其它目的，本发明提出一种图像传感器帧率和曝光控制系统，包括：soc以及图像传感器，所述soc通过mclk引脚、pclk引脚连接所述图像传感器，以提供所述图像传感器工作时钟以及接收所述图像传感器输出表示图像像素的同步时钟，所述soc通过控制输出给所述图像传感器的工作时钟mclk的频率以实现所述图像传感器的帧率和曝光控制。

优选地，当所述图像传感器已固化初始化序列，所述soc无需通过i2c引脚对所述图像传感器进行初始配置，当所述图像传感器无固化初始化序列，所述soc通过i2c引脚对所述图像传感器进行初始化配置后即刻释放i2c引脚以做其他用途。

为达到上述目的，本发明还提供一种图像传感器帧率和曝光控制方法，包括如下步骤：

步骤s1，当图像传感器初始化配置后，soc控制工作时钟mclk输出相应频率，并记录当前工作时钟mclk频率和图像帧率fps；

步骤s2，当环境亮度发生变化需变帧率时，根据目标曝光时间或直接根据目标帧率确定目标工作时钟频率；

步骤s3，所述soc端调整工作时钟mclk输出频率为所述目标工作时钟频率，从而实现图像传感器帧率和曝光的调整，并记录当前工作时钟mclk频率和图像帧率fps。

优选地，于步骤s1之前，所述方法还包括：

步骤s0，判断所述图像传感器是否已固化初始化序列，若已固化，则直接进入步骤s1，否则则由所述soc端通过i2c引脚对所述图像传感器进行初始化配置，并于初始化配置后释放所述soc端的i2c引脚。

优选地，于步骤s2中，若所述图像传感器无isp，则当环境亮度发生变化需变帧率时，由所述soc端的isp通过计算获取目标曝光时间，根据目标曝光时间计算公式计算出目标工作时钟频率hzmclk的值。

优选地，于步骤s2中若所述图像传感器自带isp，则直接根据目标帧率确定目标工作时钟频率。

优选地，于步骤s2中，当环境亮度发生变化需变帧率时，还需检测所述图像传感器的输出状态，判断所述图像传感器当前状态是否处于vpw区间，若处于vpw区间，则进行后续的变帧率调整，否则不进行变帧率调整直接结束。

与现有技术相比，本发明一种图像传感器帧率和曝光控制系统及方法通过控制soc输出给图像传感器的时钟频率，从而改变图像传感器输出图像的帧率和曝光时间，并仅在所述图像传感器无固化初始化序列时，由所述soc通过i2c引脚对所述图像传感器进行初始化配置后即刻释放i2c引脚以做其他用途，从而节省了soc端i2c两个引脚的资源可用作其他功能。

附图说明

图1为本发明一种图像传感器帧率和曝光控制系统的系统架构图；

图2为本发明具体实施例中标准图像传输的时序图；

图3为本发明一种图像传感器帧率和曝光控制方法的步骤流程图；

图4为本发明具体实施例中图像传感器帧率和曝光控制的流程图；

图5为本发明具体实施例中图像传感器无isp时socisp调整帧率和曝光时间的流程图；

图6为本发明具体实施例中加入变帧率的时机的流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种图像传感器帧率和曝光控制系统的系统架构图。本发明一种图像传感器帧率和曝光控制系统，包括：soc10以及图像传感器20。

其中soc10通过mclk引脚、pclk引脚连接图像传感器20，以提供图像传感器20工作时钟以及接收图像传感器输出soc10表示图像像素的同步时钟，若图像传感器20已固化初始化序列，soc10则无需通过i2c引脚对图像传感器20进行初始配置，若图像传感器20无固化初始化序列，soc10则通过i2c引脚对图像传感器20进行初始化配置后即刻释放i2c引脚以做其他用途，soc10通过控制工作时钟mclk的频率实现帧率和曝光控制。

在本发明中，工作时钟mclk指soc10提供给图像传感器20的工作时钟，pclk时钟指图像传感器输出给soc表示图像像素的同步时钟，每个pclk时钟周期传输一个像素的数据。这里图像像素时钟是一个抽象的概念，例如mipi接口的图像传感器没有直接的像素时钟但是可以将mipi时钟转为像素时钟。本发明中pclk表示通用的、抽象化的像素时钟，适用于所有类型的图像传感器。

也就是说，当图像传感器20已经固化初始化序列则无需用到i2c引脚，即使对于无固化初始化序列的图像传感器也仅做初始化时使用到i2c，初始化完毕之后则无需使用i2c使用，这样可以节约i2c的引脚用作其他功能。由于目前市面上的大部分cmos图像传感器都属于无固化初始化序列，因此，本发明通过soc10利用i2c引脚对图像传感器20进行初始配置即刻释放i2c的引脚以做他用，则达到了节省soc10两个引脚的目的。

图2示出了图像传输过程中所涉及的各个环节，表示整个图像传输的完整过程，参考图2，计算帧率的通用公式如下：

fps＝hzpclk/(width+hbp+hpw+hfp)/(height+vbp+vpw+vfp)(1)

其中，各参数定义如下：

fps：为图像传感器输出帧率；

hzpclk：为图像传感器输出图像的像素时钟pclk的频率；

width：为图像传感器sensor输出图像行的像素大小。width对应图3的horizontalcolumns；

height：为图像传感器sesnor输出图像高的像素大小。height对应图3的verticalrows；例如假设图像传感器sensor输出分辨率为1280*720则width＝1280，height＝720；

hbp：horizontalbackporch行后肩；

hpw：horizontalpulsewidth行脉宽；

hfp：horizontalfrontporch行前肩；

vbp：verticalbackporch帧后肩；

vpw：verticalpulsewidth帧脉宽；

vfp：verticalfrontporch帧前肩。

其中，hbp、hpw、hfp、vbp、vpw、vfp六个参数由图像传感器初始化序列中配置，单位都是像素时间，即传输一个像素所需时间的多少倍，例如若图像传感器的配置hbp＝10，表示hbp的大小为该图像传感器输出10个像素的时间。

需说明的是：虽然hzmclk频率变化会导致hzpclk频率变化，但width、hbp、hpw、hfp、height、vbp、vpw、vfp这些参数的值是不会变的。它们都是在图像传感器的初始化序列里面配置了，即它们对应的像素时钟是不会变化的。

图像传感器pll(phaselockedloop锁相环)与工作时钟mclk是整倍数关系，像素时钟pclk与pll也是整倍数关系，所以得：

hzpclk＝hzmclk*n(2)

其中，hzpclk为图像传感器输出图像的像素的频率，hzmclk为soc输出给图像传感器工作的时钟频率，n为系数，n>0，不同型号的图像传感器或者不同的初始化参数会导致该系数可能不同，一般可以从图像传感器厂商获得默认hzmclk的大小以及对应的hzpclk大小，从而得出系数n值。

因此，由上述公式(1)和(2)式则可得：

fps＝hzmclk*n/(width+hbp+hpw+hfp)/(height+vbp+vpw+vfp)(3)

可见，公式(3)中只有hzmclk是可变参数。

由此则可以得出：改变工作时钟频率hzmclk大小即可改变图像传感器输出帧率fps大小；反过来由图像传感器输出帧率fps也可以得到工作时钟频率hzmclk大小，由此变帧率的过程就转为变工作时钟mclk的工作时钟频率hzmclk的过程。soc10则可以通过控制工作时钟mclk的频率实现图像传感器20的帧率和曝光控制。

图3为本发明一种图像传感器帧率和曝光控制的方法的步骤流程图，图4为本发明具体实施例中图像传感器帧率和曝光控制的流程图。如图3及图4所示，本发明一种图像传感器帧率和曝光控制的方法，包括如下步骤：

步骤s1，当图像传感器初始化配置后，soc控制工作时钟mclk输出相应频率，并记录当前工作时钟mclk频率和图像帧率fps。

步骤s2，当环境亮度发生变化需变帧率时，根据目标曝光时间确定目标工作时钟频率。

一般地，变帧率是因为场景中的环境亮度发生了变化，例如环境变暗后导致图像亮度不足甚至图像噪声变大则需要降低帧率，或者环境变亮后图像过曝则需要增大帧率。

对于图像传感器的最大曝光时间是帧率的倒数，例如25fps时，最大曝光时间为1/25＝40ms。

图像传感器的最大可调曝光行数是由输出图像的行数决定，所以当初始化参数不变时它的最大曝光行数是确定值。

图像传感器当前曝光行数是由寄存器配置决定，当初始化参数配置后当前曝光行数也是确定的。

由上述理由得到真实曝光时间texp为:

texp＝1/fps*current_exp_rows/max_exp_rows(4)

将公式(3)代入公式(4)得：

texp＝(width+hbp+hpw+hfp)*(height+vbp+vpw+vfp)*current_exp_rows/(max_exp_rows*hzmclk*n)(5)

其中，texp为真实曝光时间，单位为秒；

current_exp_rows为图像传感器初始化时配置的曝光参数，单位为行数。初始化序列中已经配置好。此参数的值不大于max_exp_rows；

max_exp_rows：为图像传感器最大支持的曝光参数，单位为行数。这个参数跟图像传感器的初始化序列中图像输出行数有关，当初始化序列已经确定则这个参数也就固定了。图像传感器厂商能根据初始化序列确认这个参数的值。

可见，通过公式(3)和(4)可以看到，工作时钟频率hzmclk的频率大小影响帧率，图像传感器的fps帧率跟texp实际曝光时间有关，这三者是相互关联的，调整帧率也就是调整了曝光时间，调整曝光时间那么帧率也随之变化。可以理解为因为图像传感器内部逻辑参考的是输入时钟频率mclk，当时钟频率变化了，而图像传感器并不知道，它依旧认为不变，这样实际的客观时间变化了，实际曝光时间也跟着工作时钟频率变化。

因此，如图5所示，若图像传感器无isp(imagesignalprocessing,图像信号处理)，当环境亮度发生变化需变帧率时，则由soc端的isp通过计算获取目标曝光时间，即公式(5)的texp(soc端的isp中有算法计算图像传感器应该调整到多少曝光时间，此处采用的是现有的算法，在此不予赘述)，然后根据公式(5)即可算出目标工作时钟频率hzmclk的值，即：

hzmclk＝(width+hbp+hpw+hfp)*(height+vbp+vpw+vfp)*current_exp_rows/(max_exp_rows*texp*n)

若图像传感器自带isp，因为其曝光时间和增益等参数能自动调整，所以soc端无需更新这些参数，只需要根据公式(3)调整图像传感器的输出帧率即可，即根据公式(3)调整为：

hzmclk＝fps*(width+hbp+hpw+hfp)*(height+vbp+vpw+vfp)/n

例如当系统需求需要从当前帧率调整到目标帧率20帧，这样将目标帧率fps作为代入量获得hzmclk，得到的hzmclk为soc需要调整的工作时钟频率。

步骤s3，soc端调整工作时钟mclk输出频率为所述目标工作时钟频率，从而实现图像传感器帧率和曝光的调整，并记录当前工作时钟mclk频率和图像帧率fps。也就是说，soc端通过调整工作时钟mclk输出频率为所述目标工作时钟频率，从而通过公式(1)调整图像传感器的输出帧率。

优选地，于步骤s1之前，本发明还包括如下步骤：

步骤s0，判断图像传感器是否已固化初始化序列，若已固化，则直接进入步骤s1，否则则由soc端通过i2c对图像传感器进行初始配置，并于初始化配置后释放soc端的i2c引脚，以节约soc端的i2c的引脚用作其他功能。

优选地，如图6所示，于步骤s2中，当环境亮度发生变化需变帧率时，还需检测图像传感器的输出状态，判断图像传感器当前状态是否处于vpw区间，若处于vpw区间，则进行后续的变帧率调整，否则不进行调整直接结束。

也就是说，在本发明中，变帧率的时机必须在vpw区间内进行。因为cmos图像传感器是以行为单位进行曝光，不像ccd整以帧为单位进行曝光，如果在图像传感器输出数据过程中改变hzmclk，那么正在传输的该帧余下的图像行数据的实际曝光时间是不同的。所以为了避免一帧内不同行出现实际曝光时间不同的问题，本发明中规定变帧率的时机必须在vpw区间内进行。在vpw区间内图像传感器不输出任何图像数据，对于图像中的所有行数据都是在曝光处理当中。

综上所述，本发明一种图像传感器帧率和曝光控制系统及方法通过控制soc输出给图像传感器的时钟频率，从而改变图像传感器输出图像的帧率和曝光时间，并仅在所述图像传感器无固化初始化序列时，由所述soc通过i2c引脚对所述图像传感器进行初始化配置后即刻释放i2c引脚以做其他用途，从而节省了soc端i2c两个引脚的资源可用作其他功能。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。