一种多摄像头图像同步曝光摄取的实现装置及方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种多摄像头图像同步曝光摄取的实现装置及方法。


背景技术：

2.随着技术的进步及社会快速发展，原本属高端图像摄取设备的照相机、摄像机也以普通配件的形式被镶嵌在各类电子产品中，如手机、电脑屏幕、安防设备等。这些不同类别的设备对摄取图像的质量有着不同的要求，手机的景致拍摄大场面需要广角、人像需要美颜、花草细节需微距，安防设备需微光夜视、人脸虹膜需红外图像，卫星图像需要清晰细腻。传统相机依靠复杂的光学镜头系统配合光圈、快门速度、焦距、滤镜等才做可实现多种效果图像的摄取能力。但像小巧轻薄的手机很难安装结构复杂的光学镜头系统，为此现多数手机均采用多个摄像头的照相系统，以满足用户越来越高的需求。这种多镜头照相系统，选用了不同分辨率、不同焦距、不同视角和口径的镜头，以分别应用于不同需求。有时也会将多个镜头摄取的图像进行融合处理，以达到更好的图像效果。显而易见，多摄像镜头对同一个被摄物体图像进行融合处理时，理应处理的是同一幅画面，即多个摄像镜头同时曝光摄取的画面，这种方式称作同步曝光或同步摄取。
3.但目前多摄像头系统是由多个独立的摄像镜头模组组合而成，每个摄像镜头模组都是独立控制的，亦即它们不可能是同时曝光的。这种情况下所谓的同步摄取实则是通过对比不同摄像镜头摄取视频流图像帧的时间戳，当它们间的时间戳时差在某一阈值內时，就被认为是同一帧(幅)画面，进而做出相应的处理。
4.时间戳是一个视频图像序列中每一帧(幅)图像的时间标注，表示该幅图像被处理(从图像传感器读出)的时刻。如摄像机1摄取一段视频结果为pa、摄像机2摄取一段视频结果为pb。pa由n幅图像组成，即：pa0t0、pa1t1、pa2t2、
…
、pa
n-1
t
n-1
；pb由m幅图像组成，即：pb0t"0、pb1t"1、pb2t"2、
…
、pb
m-1
t"
m-1
。此处t0～t
n-1
、t"0～t"
m-1
为时间值。因摄像机1和摄像机2不是同步曝光摄取的，也不是同时读出的，即t0≠t"0，故只能分别在两个图像序列中查找时间接近的两幅图像认定其为同步曝光的。
5.这种方式用来处理被摄物是固定不变的情况下尚可接受，如若是被摄物处在运动状态时则会带来较大误差；倘若被摄物是运动着的，且摄取图像并非视频流而是照片(此时一次操作只能输出一帧或两帧图像)时，用对比图像帧时间戳的方式实现图像的同步摄取是无法完成的。这在需要多镜头同步图像摄取并精细到像素级的处理应用中是不能容忍的。
6.例如视频影像是由多帧图像画面利用人眼的视觉暂留特性连续播放而成的，如电影的播放速率是每秒钟24帧图像。所以n镜头拍摄时其生成的是n个图像序列，因为n个镜头曝光(开始拍摄)是不可能同时开始的，所以传统的方法之一就是将n个图像序列中每帧图像的时间戳进行比对，找出各自时间戳所示时间最为接近的图像帧，并将它们认定为是同一帧图像画面。这种方式存在问题有二，一是时间戳很难完全一致；其二时间戳并不是图像
传感器曝光时间点，而是图像生成后提取图像时的时间。所以看起来时间戳接近的图像，实则可能是不同曝光时间摄取的结果，而不同曝光时间摄取的图像画面，实则不是同一幅画面。因此，用此方法找出同步图像画面实则是伪同步图像，用其做图像处理时会产生误差导致结果精度下降。


技术实现要素：

7.鉴于现有同步摄取图像处理的上述不足，本发明旨在提供一种与图像帧时间戳无关的多摄像头物理同步曝光的方法和多摄像镜头系统。
8.本发明一方面提出的一种多摄像头图像同步曝光摄取的实现装置，包括至少两个镜头模组、一个摄像控制部件及一个通信传输部件，其中，
9.所述镜头模组包括光学镜头、图像传感器、pcb电路板；
10.所述摄像控制部件是实现对图像传感器工作的外部控制电路，控制至少两个所述镜头模组中的部分或者全部镜头模组，包括mcu或dsp或cpu及存储器；
11.所述通信传输部件用来将采集到的图像数据上传给上位机。
12.优选地，所述光学镜头由玻璃或塑料制成镜片，由单片或多片镜片组成的镜头组，固定在支撑物上，外部光线通过镜头投射在所述图像传感器上，所述pcb电路板用于安放所述图像传感器和所述光学镜头。
13.优选地，所述mcu用来运行控制程序，接收上位机发送的控制命令；通过sccb接口向图像传感器内部dsp发送控制命令；接收所述图像传感器传送的图像数据并控制存入相应的所述存储器內；将所述存储器內图像数据发送给所述上位机；
14.所述存储器用来存放控制程序和图像传感器图像数据。
15.优选地，至少两个镜头模组的图像传感器分别为彩色图像传感器和黑白图像传感器，
16.所述图像传感器设有两种工作模式：主模式和从模式，其中，
17.所述图像传感器上电后默认为主模式，所述主模式状态下，复位、快照触发、快照启动、帧同步、水平同步、垂直同步这些图像控制信号是由所述图像传感器自身产生并发送至所述摄像控制部件，所述摄像控制部件根据所述图像传感器的控制信号进行图形数据的处理，实则相当于所述摄像控制部件被动的接收图像传感器发送的数据；
18.所述从模式下，由所述mcu向所述图像传感器内部控制寄存器发送控制命令生成从模式，所述复位、快照触发、快照启动、帧同步、水平同步、垂直同步这些图像控制信号由所述摄像控制部件产生并发送至所述图像传感器，所述图像传感器根据所述摄像控制部件控制图像的采集和传输，所述从模式是所述摄像控制部件主动向所述图像传感器索取图像数据。
19.本发明另一方面提出一种多摄像头图像同步曝光摄取的实现方法，具体实现方法包括以下步骤：
20.s1、接受控制命令，控制命令为设备中的实体按键或某一应用中的一段命令程序，所述控制命令为摄取一段视频或拍摄一张照片；
21.s2、i/o端口设置，将mcu的i/o接口中用于控制图像传感器操作的信号端选择或定义为输出端口，将拍照按键连接端选用或定义了输入端口；
22.s3、图像传感器参数设置，图像的参数是mcu通过数据传输总线iic与图像传感器数据总线sccb接口相连接实现，通过该数据总线mcu将参数字段传送至图像传感器特定的寄存器内，从而实现对参数设定下的图像获取；
23.s4、生成控制信号，根据此次接受命令的内容，选择运行符合该命令下图像传感器参数的控制程序，使得mcu相应输出端口输出控制时序信号，直至完成此次命令操作流程，该流程为照片或视频图像获取过程。
24.s5、从彩色图像传感器和黑白图像传感器中所摄取的图像信息分别存入了对应的存储器ramc和ramg内，mcu将图像数据交由上位机系统，由上位机系统做出符合上位机要求的处理，其中彩色图像传感器和黑白图像传感器，在mcu控制下同一瞬间进行图像的曝光摄取，保证两者摄取图像操作是同时发生。
25.优选地，还包括步骤s6、多模式曝光控制，将双镜头同步曝光摄取图像控制流程更改为既可以单独对彩色或黑白镜头进行曝光摄取，也可以两镜头同步进行曝光摄取的多模式曝光控制，设定多模式控制逻辑如下：
26.彩色摄像曝光；
27.黑白摄像曝光；
28.彩色&黑白摄像同步曝光；
29.实现上述曝光控制逻辑由mcu输出端口的两位c和g定义，位c指示彩色镜头工作状态，位g指示黑白镜头工作状态，故完整的曝光控制逻辑表达式为：
30.cg＝00，彩色与黑白镜头均不工作；
31.cg＝01，彩色镜头不工作，仅黑白镜头工作；
32.cg＝10，仅彩色镜头工作，黑白镜头不工作；
33.cg＝11，彩色镜头与黑白镜头同步工作。
34.本发明的有益效果：多镜头摄像系统分为两种控制模式，1、既可以像传统方式似的对多个镜头模组分别予以控制操作，以满足各自不同需求；2、也可以将多个摄像镜头模组作为一个物理摄像部件进行控制操作，这时多个摄像镜头模组曝光控制在电路上是同时触发的，真正做到了物理上同步曝光。使得其在此模式下每一个摄像镜头摄取到的的视频或照片图像都是同一时间采集到的。
35.本发明在电路一级实现的多摄像机同步曝光摄取图像，是真正的物理同步曝光摄取，保证了不同摄像机摄取图像的同步性，有利于精准的图像后期处理。
附图说明
36.图1为本发明提出的一种多摄像头图像同步曝光摄取的实现装置的原理结构图；
37.图2为图1的细化原理结构图；
38.图3为本发明提出的一种多摄像头图像同步曝光摄取的实现方法的流程图；
39.图4为彩色黑白双摄像镜头组成的同步曝光摄像系统摄取的同步图像；
40.图5为另一彩色黑白双摄像镜头组成的同步曝光摄像系统摄取的同步图像；
41.图6为两个图像传感器控制逻辑图；
42.图7为多模式曝光摄取控制装置原理；
43.图8为多模式曝光摄取控制实现方法的流程图；
44.图9为8个镜头分别进行独立、同步控制操作的逻辑电路。
具体实施方式
45.下面结合具体实施例对本发明作进一步解说。
46.如图1、2所示，本发明多摄像镜头图像同步摄取的实现装置由两个以上镜头模组、一个摄像控制部件、一个通信传输部件构成。镜头模组由光学镜头、图像传感器、pcb电路板组成；摄像控制部件是实现对图像传感器工作的外部控制电路，它由mcu(或dsp/cpu)及存储器等充当；通信传输部件用来将采集到的图像数据上传给上位机；当然也可以摄像控制部件与通信传输部件是在同一个物理设备中。图1是这种方法的功能结构示意图。其中：
47.光学镜头：由玻璃或塑料制成镜片，由单片或多片镜片组成的镜头组，固定在支撑物上，外部光线通过镜头投射在图像传感器上；
48.图像传感器：为阐述方便，图1的图像传感器采用了omnivision公司产品ov9620和ov9120作为示例，不同厂家产品除了管脚数目、管脚名称有差异外，其原理大同小异。ov9620和ov9120分别是物理像素为1312
×
1036＝1359232位即130万像素的彩色和黑白图像传感器。图像传感器ov9620/ov9120由光感应阵列、内部控制电路组成，其中ov9620与ov9120不同在于它增加了bayer滤光阵列，滤光阵列可将输入光信号分解成rgb三原色。内部控制电路实际上就是一个专用于控制光感应阵列曝光、信号提取、模/数转换工作的智能部件，即dsp；dsp可以接收外部控制器mcu的控制命令，并根据控制命令内容配置dsp內寄存器控制模式，从而实现对光感应阵列的控制。图像传感器技术参数可参照相应产品介绍，此处不赘述。
49.pcb电路板：用于安放图像传感器和光学镜头。
50.摄像控制部件：由mcu和存储器组成。mcu用来运行控制程序，其主要控制流程为：接收上位机发送的控制命令；通过sccb(兼容iic)接口向图像传感器内部dsp发送控制命令；接收图像传感器传送的图像数据并控制存入相应的存储器內；将存储器內图像数据发送给上位机。存储器用来存放控制程序和图像传感器图像数据。也可采用包含有mcu和usb控制器的专用芯片将摄像控制部件和通信传输部件功能合二为一(如cypress公司的usb2.0控制器cy7c68013，它包含有usb收发器、串行接口引擎sie、8051mcu、fifo存储器及ram存储器)，如选用了cy7c68013，则无需5)通信传输部件。
51.通信传输部件：用于将传感器图像数据向上位应用端传送。
52.图1表明本装置是由分辨率为130万像素的彩色摄像镜头和同样为130万像素分辨率的黑白摄像镜头组成的双镜头摄像系统。由于其两镜头模组中图像传感器ov9620与ov9120的控制来自同一个外部控制部件mcu的输出端，故满足同步曝光或同步图像摄取的要求。
53.1、图像传感器同步曝光设置
54.图像传感器ov9620/ov9120有两种工作模式，主模式和从模式。图像传感器上电后默认为主模式。主模式状态下，复位(reset)、快照触发(frex)、快照启动(expstb)、帧同步(fsin)、水平同步(chsync)、垂直同步(vsync)等图像控制信号是由图像传感器自身产生并发送至外部控制部件，外部控制部件根据图像传感器的控制信号进行图形数据的处理，实则相当于外部控制部件被动的接收图像传感器发送的数据；从模式下(由mcu向图像传感器
内部控制寄存器发送控制命令生成从模式)，上述复位(reset)、快照触发(frex)、快照启动(expstb)、帧同步(fsin)、水平同步(chsync)、垂直同步(vsync)等控制信号由外部控制部件产生并发送至图像传感器，图像传感器根据外部图像控制信号控制图像的采集和传输。此模式是外部控制部件主动向图像传感器索取图像数据。可见，图像传感器上述信号线端是双向的，根据工作模式的不同而传输方向不同，主模式时它们是输出端，从模式时就成为了输入端。
55.在本发明中，设置图1中两个图像传感器ov9620/ov9120为从模式，即图像采集的控制信号来自于摄像控制部件mcu，且受到mcu的同一输出端控制。图1结构细化如图2所示。
56.2、图像传感器同步曝光控制
57.图2中，彩色图像传感器ov9620(定义为图像传感器c)、黑白图像传感器ov9120(定义为图像传感器g)的控制信号与外部控制部件mcu的i/o接口端相连接。图像传感器工作模式、参数设置是mcu通过sccb(兼容iic)接口向两个图像传感器内的控制寄存器分别发送控制命令实现的，这是因为在实际应用中，多个图像传感器的技术参数是不同的，所以要分别进行设置。参数设置命令内容是由图像传感器生产商定义的，此处不赘述。
58.多个图像传感器分别设置完成后，即可通过与图像传感器相应控制端连接的mcu输出接口，发送图像采集或照片拍摄命令的控制时序，令其曝光、像素位读取等常规操作。从图2电路连接方式可知，图像传感器c、图像传感器g的控制信号复位(reset)、快照触发(frex)、快照启动(expstb)、帧同步(fsin)、水平同步(chsync)、垂直同步(vsync)等分别是与mcu的同一个输出端口。如mcu发送复位信号reset时会同时将图像传感器c和图像传感器g复位；发送快照触发信号时会令它们同时曝光。至此，实现了多个图像传感器的同步曝光。
59.本发明中，多摄像头图像同步曝光摄取的实现方法，如图3所示，具体实现方法包括以下步骤：
60.s1、接受控制命令。控制命令可以是设备中的实体按键也可以是某一应用中的一段命令程序。该命令可以是摄取一段视频或拍摄一张照片；
61.s2、i/o端口设置。用于控制图像传感器的mcu的i/o接口有其默认的状态，该初始默认状态未必完全符合设计要求，故要重新进行符合设计要求的接口方向设置。通常mcu除了固定的输出接口端、输入接口端外，还有双向传输接口。双向接口使用前需要对其信息传输方向予以确定。在图1中将控制图像传感器操作的信号端选择或定义为输出端口，将拍照按键连接端选用或定义了输入端口；
62.s3、图像传感器参数设置。该步骤为摄取图像前的必须操作，如定义图像传感器工作模式、视频的帧率、图像显示时窗口尺寸、曝光方式等。图像参数是mcu通过数据传输总线iic(i2c)与图像传感器数据总线sccb(兼容iic)接口相连接实现的，通过该数据总线mcu将参数字段传送至图像传感器特定的寄存器内，从而实现对参数设定下的图像获取。
63.s4、生成控制信号。该流程即照片或视频图像获取过程。根据此次接受命令的内容，选择运行符合该命令下图像传感器参数的控制程序，使得mcu相应输出端口输出控制时序信号，直至完成此次命令操作流程。如某次系统收到的控制命令为摄取分辨率640
×
480，帧率为30f/s的视频，其输出的控制时序显然与摄取分辨率1024
×
960，帧率为15f/s的控制命令所输出的控制时序完全不同；又如拍照命令既可以是从某一应用系统中获取，也可以是物理拍照开关按键触发获得。
64.上述控制流程执行完毕后，从图像传感器c和图像传感器g所摄取的图像信息分别存入了对应的存储器ramc和ramg内，mcu将图像数据交由上位机系统，由上位机系统做出符合上位机要求的处理。
65.从整个方法过程中可以看出图像传感器c与图像传感器g是在mcu控制下同一瞬间进行图像的曝光摄取的，也就保证了两者摄取图像操作是同时发生的。这远比通过对比两个不同时间摄取的视频流序列，找出两视频序列中时间戳最为接近的两帧图像视同为同步曝光要精准得多，系统开销和消耗也会降低。
66.图4是一个彩色黑白双摄像镜头组成的同步曝光摄像系统摄取的同步图像，该双摄系统的彩色黑白图像传感器分辨率相同。其中照片a为彩色镜头拍摄、照片b为黑白镜头拍摄。因为是同步曝光拍摄，故两者除色彩不同外，图像完全相同。但由于拍照环境光照度较低或参数选择失当，使得彩色照片曝光不够略显模糊。照片c为照片a和b通过融合算法处理后的结果，它将照片a曝光不够的结果修正了过来；与图4类似，图5也是一组彩色黑白同步照片，但照片a同样因拍摄光照度或参数问题，使得其结果呈曝光过度样。也是经过将照片a与b进行融合算法修正为照片c。
67.通过图4、图5事例表明，图像融合这类涉及对像素位进行操作的算法对图像的同步曝光要求是非常严格的，特别是拍摄运动物体或非固定相机拍摄固定物体，若不能做到同步曝光操作，假如传统的两序列中取相近时间戳的方法，它其实是相当于把两张不同的照片进行像素融合，显然其精度度是有偏差的。
68.本发明的方法还包括s6、多模式曝光控制。曝光就是图像传感器中代表像素的光感应阵列，在复位后开始感光工作。所谓同步曝光是指一个以上的图像传感器在同一时刻开始曝光。
69.图1、图2及上述相关事例已对本发明之同步曝光摄取图像方法做了描述，但此方法存在着不足，即无论何时系统总是对多个图像传感器同时进行操作控制，即使不需要获取双镜头图像仅需摄取彩色或黑白图像时它也是如此。
70.为此，将双镜头同步曝光摄取图像控制流程更改为既可以单独对彩色或黑白镜头进行曝光摄取，也可以两镜头同步进行曝光摄取的多模式曝光控制。因此设定多模式控制逻辑如下：
71.彩色摄像曝光；
72.黑白摄像曝光；
73.彩色&黑白摄像同步曝光；
74.实现上述曝光控制逻辑由mcu输出端口的两位c和g定义，位c指示彩色镜头工作状态，位g指示黑白镜头工作状态，故完整的曝光控制逻辑表达式为：
75.cg＝00，彩色与黑白镜头均不工作；
76.cg＝01，彩色镜头不工作，仅黑白镜头工作；
77.cg＝10，仅彩色镜头工作，黑白镜头不工作；
78.cg＝11，彩色镜头与黑白镜头同步工作；
79.实现上述控制逻辑的电路如图6所示。通过图6控制逻辑，彩色镜头图像传感器与黑白镜头图像传感器控制信号实现了两者分别控制和同步控制。
80.修正后的多模式曝光摄取控制系统如图7所示，相应的其控制流程如图8。修正的
控制流程i/o端口设置环节增加了曝光模式控制位c和g的设置。这样图7所示的双镜头多模式曝光摄取系统就实现了分别对它们进行独立控制和同步控制的目的。
81.该模式也可推广至更多摄像镜头的系统，例如8个镜头，如图9所示，对8个镜头分别进行独立、同步控制操作的逻辑电路。在图7中将c/g控制逻辑用一个8位缓冲器替代，缓冲器输入端与mcu的8位输出接口一一对应。镜头的工作方式由一个8位的操作控制字kd定义。操作控制字kd中每一位对应一个摄像头，即：kd7～kd0分别对应镜头8～镜头1，8个镜头时的控制方程表如表1所示，显然它可有255中不同的拍摄模式。
82.表1
[0083][0084]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。