图像采集装置及其应用系统的制作方法

本发明涉及图像采集领域，特别涉及一种图像采集装置、物体识别系统、全景相机系统及车辆导航避障系统。

背景技术：

目前图像采集装置的单目相机，在一个时间段只能采集一个光谱的图像或视频。比如，普通相机依靠环境光照明，采集可见光(rgb)图像或视频；日夜切换的监控相机，在正常光照下，设置成rgb模式，拍摄rgb谱段的图像或视频，而在昏暗条件下，切换成近红外(nir，需发光器件照明)拍摄模式。

此外，采用近红外主动发光器件照明的相机，比如三维成像相机，会受到环境光源如阳光中强烈的近红外成分的影响，使得近红外图像的光线方向和强度收到影响，从而难以达到预期的相机效果。

总之，现有单目相机在同一时段无法采集多个光谱的图像或视频，并且采用近红外主动光源的相机，会受到环境光特别是强烈阳光的干扰，从而降低了输出图像质量，限制的相机的有效使用范围。

技术实现要素：

本发明提供了一种能够使用单目相机在短时间内分时采集多光谱图像的图像采集装置、物体识别系统、全景相机系统及车辆导航避障系统。能够在黑暗弱光和强烈阳光下稳定输出多光谱图像。

为了实现上述目的，本发明采用了如下技术方案：

依据本发明的一个方面，提供了一种图像采集装置，包括：传感单元，包括图像传感器和镜头；照明单元，包括至少一个光谱波段的发光器件和驱动发光器件的驱动电路；控制单元，与传感单元和照明单元连接，并用于产生控制传感单元的图像传感器曝光的曝光时序和曝光增益，以及控制照明单元的照明时序；其中，在一个曝光时序周期内，至少两帧曝光增益值相同，且在发光器件关闭的情况下，至少两帧曝光增益值不同。

优选地，图像采集装置还包括用于检测环境光照强度的光敏单元，控制单元根据光敏单元检测的光照强度控制在一个曝光时序周期内部分帧的曝光增益值。

优选地，传感单元还包括滤光单元，滤光单元为多带通滤光片或设置在所述镜头的玻片上的多带通滤光镀膜；滤光单元允许发光器件的多光谱波段光线通过，并允许环境光照中部分光谱波段的光线通过。

优选地，图像采集装置还包括用于计算传感单元获取的发光器件开启时采集的图像与发光器件关闭时采集的图像之间的差分图像的运算处理。

优选地，照明单元还包括光刻掩膜，用于在发光器件照射下透过所述光刻掩膜，在采集对象上形成结构光斑，使得传感单元对采集对象进行拍摄采集后得到结构光斑图像。

优选地，图像采集装置还包括从结构光斑图像中计算采集对象的三维深度的第一三维深度计算单元。

优选地，图像采集装置还包括对结构光图像进行结构光斑消除，并重建完整图像的重建单元。

优选地，图像采集装置还包括采用飞行时间方法计算三维深度的第二三维深度计算单元。

优选地，一种物体识别系统，包括前述的图像采集装置和物体检测单元，所述物体检测单元从所述图像采集装置所采集的图像中检测物体并获取所检测物体的图像。

优选地，物体识别系统还包括从所检测物体的图像中提取特征的特征提取单元。

优选地，物体识别系统还包括从特征提取单元提取的特征判断所检测物体的类别的物体分类单元。

本发明还提供了一种全景相机系统，包括对不同视角拍摄的多个图像采集装置和对多个图像采集装置拍摄的不同视角的图像进行图像拼接的图像拼接系统；多个图像采集装置中的至少一个为前述的图像采集装置。

本发明还提供了一种车辆导航避障系统，包括图像采集装置、环境识别单元和显示单元，图像采集装置包括至少一个前述的图像采集装置；环境识别单元，对图像采集装置所采集的环境图像进行分析，测量环境中障碍物的距离，检测或识别环境中的物体；显示单元，与图像采集装置和环境识别单元连接，用于显示图像采集装置采集的图像，或者环境识别单元的分析结果。

综上所述，根据本发明的图像采集装置，通过设置至少一个光谱波段的发光器件，并通过控制单元产生照明时序，从而驱动发光器件交替发射不同光谱波段的脉冲波形、关闭或者连续发送同一光谱波段的一个或多个脉冲波形。传感单元在曝光时序和曝光增益的驱动下，分时拍摄环境光源图像或者不同波段光源照射的图像，从而使用一个单目摄像头可以采集到多光谱的图像，并且通过曝光增益的控制，从而提高产品应用性能，拓展产品应用范围。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明的图像采集装置的原理示意图；

图2是根据本发明的图像采集装置的曝光时序和照明时序的示意图；

图3是根据本发明的图像采集装置采集有/无主动照明的2帧图像的示意图；

图4是根据本发明的图像采集装置的多波段带通滤光的波段示意图；

图5是根据本发明的物体识别系统的原理示意图；

图6是根据本发明的物体识别系统的原理示意图；

图7是根据本发明的物体识别系统的特征提取单元的原理示意图；

图8是根据本发明的全景相机系统的结构示意图；

图9是根据本发明的全景相机系统的图像拼接的原理示意图；

图10是根据本发明的车辆导航避障系统的原理示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

如图1所示，本发明的第一实施例提供了一种图像采集装置，包括：传感单元11，一般来说，包括图像传感器111和相应的镜头112；照明单元12，包括至少一个光谱波段的发光器件121和驱动发光器件的驱动电路122；控制单元13，与传感单元11和照明单元12连接，并用于产生控制传感单元的图像传感器111曝光的曝光时序和曝光增益，以及控制照明单元12的照明时序；其中，在一个曝光时序周期内，至少两帧曝光增益值相同，且在发光器件关闭的情况下，至少两帧曝光增益值不同。也即，图像采集过程中，控制单元13按照设定程序或者根据需要发送曝光时序、曝光增益和照明时序，使传感单元11和照片单元12匹配工作，并且读取图像传感器的图像，从而实现不同波段分时的方式来实现多波段光谱图像的采集，并控制图像传感器的曝光后图像的读取与输出。

照明驱动122根据照明时序驱动发光器件(主动光源)在不同时段内交替发射不同光谱波段的脉冲波形、关闭或者连续发送同一光谱波段的一个或多个脉冲波形。也即，照明单元12的照明驱动122根据照明时序产生脉冲电流，分时驱动某一个或多个光谱波段的发光器件121，发出相应波段的光照，照射到被摄物体a上，光照从被摄物体a表面反射回来，透过镜头112，由图像传感器111接收，达到图像传感器111上，转换成图像信号，并输出拍摄图像。当照明单元12为多光谱照射时，单目摄像头就可以分时采集到多个光谱图像，从而解决现有技术中需要两个或者两个以上摄像头(每个摄像头拍摄一个光谱波段的图像)的问题。

在多光谱图像采集过程中，可见光谱(rgb)波段的照明，也可利用外部环境光源照明，此时控制单元关闭所有发光器件。优选地，如图1所示，图像采集装置还包括用于检测环境光照强度的光敏单元131，从而控制传感单元利用环境光照进行拍摄时对图像的曝光，也即控制单元可以根据光敏单元131检测的光照强度控制在一个曝光时序周期内至少部分帧的曝光增益值。

具体地，结合图2所示，曝光增益与曝光时序和照明时序相互匹配，从而控制图像传感器111感光信号放大倍数(或曝光快门时长)，并辅以图像处理算法，使得图像传感器111采集到的图像尽可能曝光合适(既不过度曝光，也不欠曝光)，图像像素值在正常范围。比如，输出为8bits像素值的范围在0～255，一般把曝光和图像处理后的感兴趣区域的像素值控制在在50～200之间为佳(不过曝、不欠曝)。

另外，根据环境光照强度及图像处理需要，可以控制部分帧的曝光增益值相同，部分帧的曝光增益值不相同。例如，在发光器件关闭、仅采集环境光源的图像时，为了分别满足图像显示和图像识别的要求，可以通过控制曝光增益值不同；当需要对几帧图像综合处理，如对比、差分等，可以将这些帧的图像的曝光增益值设置为相同，从而有比较基准，有利于提高处理效果和精度。

可以理解地，在图1中，被摄物体a可以为人脸、人体、车辆、房屋、树木、指示牌、动物等。

较佳地，发光器件121为激光器或者led发光器件，也可以为两者的组合，从而发射不同光谱波段的光线，包括并不限于可见光、不同波长的红外光或者紫外光等。

优选地，传感单元11还包括滤光单元，滤光单元为独立的多带通滤光片或设置在镜头112的玻片上的多带通滤光镀膜；滤光单元只允许所感兴趣的光谱波段的光线通过，从而使得图像传感器111只能采集所感兴趣的光谱波段的图像。

如图4所示的多波段带通滤光的波段示意图，其中包括rgb可见光波段、中心波长为380nm的紫外波段、中心波长为808nm、850nm、905nm、940nm的近红外波段的一种或多种组合。多波段带通滤光的多波段带通性质使得在发光器件121的光谱波段和/或环境光中的rgb光谱波段通过，而抑制其他非兴趣波段的光照能量达到图像传感器111，提供期望特性更加一致、更有利于后续图像分析与物体识别的图像。

图像采集装置10采集多光谱图像过程中，首先，控制单元13控制照明驱动122，根据照明时序使照明驱动122在规定的时段，分时输出规定光谱波段的电流并控制电流强度，点亮相应波段的发光器件121，输出规定光谱波段的脉冲光照；其次，控制单元13控制传感单元11与脉冲光照同步拍摄，或者等待发光器件121充分点亮后稍微滞后拍摄。其中，控制单元13按照设定的程序，控制多个不同光谱波段的光照脉冲分别分时发出，或者使2个或多个的光照脉冲同时发出(如同时使不同中心波长的两个红外发光，即nira+nirb)；并且控制光照驱动的输出电流强度，达到后续图像处理应用所需的效果。本发明使得采用一个摄像头即可以采集多光谱图像，比如在一秒内采集9帧如下分时组合多光谱图像序列：

rgb-nir-nir-rgb-nir-nir-rgb-nir-nir；

也可以采集9帧如下分时组合多光谱图像序：

rgb-nira+nirb-nira-rgb-nira+nirb-nira-rgb-nira+nirb-nira。

结合图3所示，本发明的图像采集装置还包括用于计算传感单元11获取的2个或多个(帧)图像之间的差分图像的处理装置。即把有发光器件121条件下采集的图像(为发光器件121发出的光谱波段的反射能量与环境光照能量反射能量的叠加)减去无发光器件121照射条件下采集的图像(只反映非受控的环境光照反射能量)；从而抑制或消除不可控环境光照的不利影响，只提供光源受控、更有利于后续的图像分析与物体识别的图像。

图3给出了一个2帧图像抓拍采集的进一步实施方法，其中第一帧曝光开启了主动照明脉冲，第二帧只依靠环境光照曝光；将前一帧图像与后一帧相减，即可获得差分图像。

更优选地，还可以采用两种或者多种脉冲光照同时照射条件下采集的图像减去一种或者多种脉冲光照条件下采集的图像的方式来获取差分图像，也即提高可控的脉冲光照反射能量相对非受控的环境光照反射能量的占比，从而能够更有效地抑制或消除不可控环境光照的不利影响。

图像识别与视觉受环境光的照射方向和强度影响很大，即使有发光器件从正面照明(如同灯泡或闪光灯)，还是有可能压不住环境光(如强烈阳光)的影响。本发明的通过把正面主动照明图像减去环境照明图像，消除环境光影响，差分图像主要只包含正面照明的在物体上反射回来的成分，在光照方向和强度得以受控，有利于从图像中检测和识别物体。

一般地，为了在阳光下获得较好的图像质量，照明单元12发出的光照强度应尽可能大，以达到太阳光强度的2倍以上为佳；使用尽可能窄的脉冲输出，可使得光照单元瞬间发出尽可能强的光照，而使其平均功率尽可能低，从限额发光器件的平均功率，达到延长发光器件121寿命的效果。

根据对阳光光强实验结果的分析，在夏天中午阳光最强烈的时候，透过808nm为中心，10nm带宽的带通滤光片的太阳光能量，相当于一个15w左右的光照透过此滤片。因此，较佳地，光照单元输出30w或以上功率的光照，使得阳光功率与发光器件功率的比值大于等于2，可取的较好的抑制阳光的效果。

如果采用普通相干光激光器作为发光器件121，图像可能会出现随机散斑。所以，本发明在选择使用激光器件时，选择使用激光器阵列，变相对空间光进行调制，可取的比较好消除光斑的效果。

较佳地，所述图像采集装置1的照明单元12的发光器件121，还包括合适焦距的一个平凹透镜，使得所述发光器件置于该平凹透镜的焦点上，可调整光照角度范围。

较佳地，可以在一定范围内调整图像采集装置1的拍摄方向，或通过调整其中的照明单元12和传感单元11调整拍摄方向。

较佳地，图像传感器111的选型，根据使用的发光器件和滤光单元的通过波段，考虑对滤光单元的通过波段的响应灵敏度、信噪比、动态范围等指标作出，可采用sony公司生产的icx633bka全局快门ccd传感器，或onsemiconductor公司生产的ar0237卷帘快门cmos传感器。

较佳地，图像传感器111的曝光时间为50微秒～10毫秒之间，曝光时间越短，则外部不受控的近红外光源所带来的干扰越小，有利于受控发光器件成像；模拟增益为1～4.5倍，最佳为1倍；数字增益为0.25～2倍，最佳为1倍；动态范围最好大于80db，越大越好。

较佳地，控制单元13采用嵌入式计算芯片，可选择海思hi3516、hi3519、hi3556、hi3559，或瑞芯微rk3228，等。控制单元13不仅控制光源和图像采集，还可用来做后续的3d深度图像计算、图像物体检测和识别。

优选地，本发明的图像采集装置中，照明单元12还包括用于在采集对象上形成结构光的光刻掩膜，传感单元11对在结构光照射下的采集对象拍摄采集得到结构光图像。也即当开启发光器件照射时，在采集对象上形成结构光，传感单元11从而拍摄形成结构光图像，如当开启红外光源时，能够在阳光下采集光斑的nir图像。并且，由于采用多光谱分时拍摄的方式，还可以获得可见光的图像用于显示，也即对拍摄的不同光谱的图像分别应用，实现现有技术中需要两个或者多个摄像头才能实现的功能。

更优选地，图像采集装置还包括从结构光图像中计算三维深度的第一三维深度计算单元，从而从采集的结构光图像中计算三维深度，获取三维深度信息。

从结构光图像计算三维深度，可以采用现有技术中的lightcoding激光散斑方法：由激光生成器射出准直后的激光束，通过光学衍射元件doe(diffractiveopticalelements)进行衍射，进而得到所需的包含散斑图案的图像(散斑图像)。这些散斑具有高度的随机性，而且会随着距离的不同而变换图案。再通过红外线摄影机记录下空间中每个参考面上的每个散斑，形成基准标定。获取原始数据后，ir传感器捕捉经过被测物体畸变(调制)后的激光散斑pattern。通过芯片计算，可以得到已知pattern与接收pattern在空间(x,y,z)上的偏移量，求解出被测物体的深度信息。

由于差分图像能够在一定程度上消除非受控环境光源(如阳光、灯光)的影响，从而能够改善在非受控光源环境下的图像获取质量，进而提升结构光方法计算深度图像的精度。

更优选地，图像采集装置还包括消除散斑图案中散斑点的图像重建单元结构光激光束通过光学衍射元件doe后，光学传感器接收到的是散斑图像，其中散斑图案由大量的散斑点构成，这些散斑点可以看做是一种对真实图像的遮挡，被doe图案所遮挡的部分为暗点，未遮挡部分为亮点，因而散斑图像可看成是稀疏光点图像。图像重建单元从散斑图像中重建完整的(消除散斑的)图像，是一个稀疏图像重建(imagereconstruction)问题，可采用稀疏数值内插和外推的方法实现。

在本发明的图像采集装置的另一实施例中，图像采集装置还包括采用飞行时间方法计算三维深度的第二三维深度计算单元。例如可以在nir的照射下，对采集的图像序列进行处理，采用现有技术飞行时间(tof)方法计算三维深度信息：近红外激光器向对象发射光脉冲，图像接收器则光脉冲，通过计算从发射器到对象的时间差，即光脉冲发射到返回到接收器的运行时间，来确定被测量对象的距离。由于差分图像能够在一定程度上消除不可控光源(如阳光的影响)，从而能够在阳光环境下采用tof方法计算深度图像。。

如图5所示，本发明还提供了一种物体识别系统，包括前述的图像采集装置。也即对图像采集装置采集的图像进行分析，找出图像中应用所感兴趣的物体并加以分类，如动物、人脸、人体、车辆、车牌，等。其中，特征提取单元22对图像采集装置10所采集的图像21提取特征，得到特征图；再进一步地，物体识别系统还包括基于所述特征图判断所检测物体的类别和位置的物体分类单元23，对输入图像中的物体进行分类并定位。该系统输出的目标类别和相应子图像，可实现相应的应用，例如在自动驾驶过程中，将所有检测到的车分为一类，检测到的人分为一类等，从而分别处理，作出不同的判断。

一个更具体的物体识别系统实施例如图6所示。在图6中，以采集到的一张包含有行人、汽车和自行车的道路照片为例，物体识别系统对图像进行分析，特征提取单元采用基于resnet的深度神经网络。结合图7所示，该resnet的深度神经网络由一系列n个resnet模块级联构成；其中，一个resnet模块由2层卷积层一个shortcut组成(如图7中虚线所包含部分)。图6中的物体分类单元，采用softmax神经网络，对图像特征的每一位置点上的各种尺度的子图像进行分类，分类器输出该子图像的类别号作为分类结果，如在图6中，将汽车归为一类，行人归为一类，自行车归为一类等。

进一步地，在提取的特征基础上，可以进行人脸识别：对两张人脸子图像ii(本发明图像采集装置所采集的人脸子图像)和ij(数据库中待比较的一张人脸子图像)，提取相应特征xi,xj后，计算其特征的余弦距离

即相似度。根据far(误识率)设置阈值τ，根据相似度大小，当cos(xi,xj)≥τ则判定两张人脸图片属于同一个人，否则不是同一个人。

如图8和图9所示，本发明还提供了一种全景相机系统，包括对不同朝向拍摄的多个图像采集装置和对多个图像采集装置拍摄的不同视角的图像进行图像拼接的图像拼接系统；多个图像采集装置中的至少一个为前述的图像采集装置10。例如，图8中采用了8个相机分别朝向8个不同方向采集，然后通过图9的图像拼接系统对图像进行拼接。如果其中的相机采用前述的图像采集装置10，能产生至少3个效益：(1)其输出的3d深度图所包含的深度信息，能提供更多的应用可能，比如现实增强；(2)其输出的3d深度图有助于提升图像拼接精度，从而提升全景相机的品质；(3)其输出的3d深度图，有助于提升物体识别性能，等。因此，本发明的全景相机系统可扩大全景相机的应用功能，提升产品价值。

如图10所示，本发明还提供了一种车辆导航避障系统，包括图像采集装置、环境识别单元和显示单元，图像采集装置为包括至少一个前述的图像采集装置；环境识别单元，对图像采集装置所采集的图像进行分析，对环境周围物体测距、物体检测和/或物体识别，从而做出或者提示相应的驾驶策略；显示单元，与图像采集装置和环境识别单元连接，用于显示图像采集装置采集的图像，或者环境识别单元的分析、检测、识别结果，也可以显示相应的提示信息，如障碍物提示、驾驶预警等。

以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。