双鱼眼全景图像采集装置的制作方法

本发明涉及一种用于全景相机中的全景信息采集装置，特别涉及到其中双鱼眼镜头的设计方案，与最终图像的传输与处理。

背景技术：

目前，对于现有关于摄像机曝光补偿以及tof等等光学结构往往也是通过单独镜头与传感器组合的形式来实现，这种实现形式也会导致在产品设计中经常需要预留多个光学镜头位置的问题，从而造成整个产品随着其功能要求增加其结构也会更加复杂。另外，从功能实现上来讲，多个光路分离后需要对其信息进行融合，其融合精度也对结构安装要求及算法实现精度要求很高，并且往往有些误差难以消除。而在全景领域，本身全景的镜头相对复杂，在该光学结构在添加更多的光学通道，实际系统设计会很复杂以致难以实现。

全景解决方案中一种主流的光学结构为双鱼眼镜头背靠背组合形式。这种全景图像采集装置有两种主要实现结构。一是两个鱼眼镜头模组分别含有独立的传感器成像元件，这种方式由于需要把独立成像的两套光学系统成像进行处理，必然会引入图像画质不同，时间不同步等问题，无法很好的满足全景实时拍摄的需求。另一种方案是通过双鱼眼+棱镜反射的单传感器方案实现全景图像的采集，这种方式可以解决两个独立传感器成像元件的画质均衡、时间同步及数据量大的问题。而对于双鱼眼+棱镜反射单传感器的全景方案，也只能简单采集到全景实时图像，目前也没有其他如全景曝光、全景深度等方面应用的扩展。

技术实现要素：

为克服现有双鱼眼型全景图像采集装置不同光学信息进行融合的目的，本发明提出了一种全景图像采集装置，该装置通过对鱼眼镜头成像组的独特设计，在同一组光学镜头系统光路上传输不同的光学信息，并通过合理设计，实现两个鱼眼镜头系统对于不同的光学信息同时成像到同一图像传感器上，保证成像质量的同时，保证不同镜头之间的同步。在不同光学信息的融合方面也有着极大的实现便利性。另外，通过不同传感器同时获取两个镜头的同一类型的光学信息，能够简便的实现全景光学信息的快速融合，极大提高全景领域多种光学信息的集成，有效降低全景设备实现成本，扩大全景设备的适用领域。

本发明解决技术问题所采用的技术方案是：将两路的光信号通过两个超广角镜片组和一个棱镜，把光路投射到棱镜上下两侧的传感器。对于单个传感器均能采集到全景的光学图像信息，通过两个全景图像信息融合，从而提升摄像机的成像性能，有效提升全景图像多种需求的应用效果。

本发明的有益效果是，通过所使用全景光学镜头模组的特殊设计，实现全景图像采集装置在保证鱼眼镜头成像质量与全景成像拼接效果的同时，保证两个鱼眼镜头之间的同步，增强最终显示的效果减少后期处理算法的复杂程度，并且通过两种光学信息的融合处理得到优越的全景效果。

附图说明

图1是双鱼眼全景图像采集装置的剖面结构示意图

(图中11前视场广角镜头，12后视场广角镜头，2为主图像传感器，21为主图像传感器滤光片，3为辅图像传感器，31为辅图像传感器滤光片，4为三棱镜)

图2为分光镜片光路示意图

(图中401表示平板分光片，402表示双面全反射镜，结构为对称设计)

图3为主图像传感器和辅图像传感器分光镜片光路成像示意图

(201表示前视场镜头在主图像传感器上对应成像画面，211表示前视场镜头在辅图像传感器上对应成像画面，202表示后视场镜头在主图像传感器上对应成像画面，212表示后视场镜头在辅图像传感器上对应成像画面)

图4为主图像传感器和辅图像传感器立方体分光镜光路示意图

(图中411表示增透膜，412表示棱镜，413表示为分光界面及反射面，结构为对称设计)

图5为改进立方体分光镜光路示意图

(图中414表示为全反射镜面，结构对称设计)

图6是主图像传感器和辅图像传感器立方体分光镜光路成像示意图

(203表示前视场镜头在主图像传感器上对应成像画面，214表示前视场镜头在辅图像传感器上对应成像画面，204表示后视场镜头在主图像传感器上对应成像画面，213表示后视场镜头在辅图像传感器上对应成像画面)

图7为图像配准示意图

(10表示主图像传感器成像图像，20表示配准后辅图像传感器成像图像，5表示配准后图像)

图8为超分辨率构建算法流程图

具体实施方式

在图1中，鱼眼镜头有两组，其光轴相互重叠，相对布置在同一光轴两端，两组鱼眼镜头模组光心连线上设置有棱镜，棱镜中包含分光镜，可允许光一部分光反射另一部分光透射。光通过镜头结构11、12把光路导入到棱镜4上，棱镜表面为分光镜，把一部分光路导入到棱镜内、一部分光路反射到主图像传感器2上，导入棱镜内的光路通过传输到棱镜内透射及反射后投射到辅图像传感器3上。传感器2、3上方均有对应的滤光片来过滤对应传感器接受的光信号，可以针对实际场景中不同光路的组合，实现不同的功能。

其中，鱼眼镜头的前组视场角度大于180度。前视场广角镜头和后视场广角镜头光轴重合。棱镜反射得到的光投射到棱镜上方主图像传感器上形成双圆周鱼眼画面；棱镜透射得到的光经过棱镜内反射及透射后投射到棱镜下方辅图像传感器上，形成双圆周鱼眼画面；两个圆周鱼眼图像之间的间隔通过棱镜的位置来控制，实际成像过程中可以通过设置棱镜部分的位置设置一个小于0.3mm的图像隔离带把两图像分离开。

棱镜部分实际结构可以有如下形式：

1.如图2所示，光从两端入射(图中以一端光学传输示意，实际光路左右对称)后经过平板分光镜，分为反射光和透射光。其中反射光直接投射到主图像传感器上进行成像，透射光经过分光镜后为偏移的平行光，经过全反射镜面402后反射(图中以微小错位光路示意反射光路，实际光路沿入射光路垂直反射回来)后经过分光镜401反射后投射到主图像传感器上，分光镜尖端所在位置位于主图像传感器和辅图像传感器成像面同一垂直平分面上。图中杂散光未画出，在实际光路过程中，可以对分光镜材料及制造工艺进行调配可以使得分光镜反射光和透射光按指定比例分配，对于第二次在反光镜上反射光以较高的反射效率得到反射光来对下端传感器进行成像。对于全反射镜面402使其反射率达到高于95％以上。最终得到的图像效果示意图如图3所示，其中两双鱼眼图像左侧画面为前视场镜头采集光路成像，画面内容为二者相对旋转180度；两双鱼眼图像右侧画面为后视场镜头采集光路成像，画面内容为二者相对旋转180度。

2.如图4所示，光从两端入射(图中以一端光学传输示意，实际光路左右对称)，首先经过透射棱镜，棱镜入射面411镀有增透膜使尽可能多的光线通过。透射后的光线达到分光面413后进行分光，一部分光线通过反射透射到主图像传感器上进行成像，另一部分光线经过透射后在另一分光面背面进行反射，反射后的光线直接投射到辅图像传感器进行成像。在实际光路过程中，可以对分光镜材料及制造工艺进行调配可以使得分光镜反射光和透射光按指定比例分配。最终得到的图像效果示意图如图6所示，其中主传感器双鱼眼图像左侧画面与辅传感器双鱼眼右侧画面为前视场镜头采集光路成像，画面内容为二者相对旋转180度；主传感器双鱼眼图像右侧画面与辅传感器双鱼眼左侧画面为后视场镜头采集光路成像，画面内容为二者相对旋转180度。

3.如图5所示，光从两端入射(图中以一端光学传输示意，实际光路左右对称)，首先经过透射棱镜，棱镜入射面411镀有增透膜使尽可能多的光线通过。透射后的光线达到分光面413后进行分光，一部分光线通过反射透射到主图像传感器上进行成像，另一部分光线经过透射后在全反射镜414上进行反射(图中以微小错位光路示意反射光路，实际光路沿入射光路垂直反射回来)后经过分光镜413反射后投射到辅图像传感器上，分光镜尖端所在位置位于上下两个传感器成像面同一垂直平分面上。图中杂散光未画出，在实际光路过程中，可以对分光镜材料及制造工艺进行调配可以使得分光镜反射光和透射光按指定比例分配，对于第二次在反光镜上反射光以较高的反射效率得到反射光来对下端传感器进行成像，对于全反射镜面414使其反射率达到高于95％以上。最终得到的图像效果示意图如图3所示，其中两双鱼眼图像左侧画面为前视场镜头采集光路成像，画面内容为二者相对旋转180度；两双鱼眼图像右侧画面为后视场镜头采集光路成像，画面内容为二者相对旋转180度。

针对分光镜反射光和透射光分光比例的设置，在现有光路中主图像传感器成像光路经过分光镜反射一次，辅图像传感器成像光路经过分光镜透射一次并反射一次。不考虑分光镜上能量损失设定入射光强为i，分光镜反射率为α，则透射率为1-α。主图像传感器成像光强为i·α，辅传感器成像光强为i·α(1-α)·β，其中0≤α≤1，β为光路其他能量损失为固定比例且0≤β≤1。由于i·α＞i·α(1-α)·β，往往辅传感器成像光强较弱。为了保证辅传感器成像光强达到最大，取α＝0.5，按实际材料特性取值实现β≥0.95。则主图像传感器成像光强为0.5i，辅图像传感器成像光强为0.25i·β。为了增加系统整体成像效果，可以通过光学设计增大镜头光圈参数，实现光强i增大。如原有镜头光圈为f1/2.0,当光圈设计为f1/1.4，光强i增加至原光强两倍；当光圈设计为f1/1.0，光强i增加至原光强四倍。

图像传感器上方的滤光片分别为对应传感器能感光的滤光片，如可见彩色光传感器使用红外截止滤光片、亮度传感器使用全通滤光片、红外成像传感器使用红外通过滤光片、tof解析传感器使用对应红外带通滤光片等等。

所成的图像信号通过传输模块与外部系统组建连接。在获取两个图像传感器的画面并对两个画面进行同步调节后，对同步后的画面进行相应的图像信息融合处理，能获得实时融合多信息的全景视频和全景图像。图像融合过程以主图像传感器上的图像为参照图像，辅图像传感器采集的画面融合到主图像传感器采集到的画面上。

图像融合结果由于能利用两幅图像在时空上的相关性及信息上的互补性，并使得融合后得到的图像对场景有更全面、清晰的描述，从而更有利于人眼的识别和机器的自动探测。一般图像融合又包含图像配准的过程，使得不同成像来源的图像在位置信息上保持一致后通过对同一位置的图像信息进行融合得到最终图像融合结果。图像融合的过程有基于空域和基于频域等方法，以下是结合空域中基于特征点的图像匹配和融合的实现流程：

1.特征点匹配：为了得到两图像之间对应位置有准确的对应关系，需要确定一些“标记物”来计算对应关系，“标记物”在图像中以匹配的特征点对来表现，其意义是在不同画面中表示同一物体的点对。特征点匹配首先是检测特征点，即对图像中具有代表性有明显特征的点进行检测。一般检测特征检测算法有多种可选，如harris,sift,surf，orb等，通过该检测算法可以得到两图像中特征点匹配候选点。特征匹配是通过对特征点进行特征计算后，把两幅图像中特征描述接近的点进行配对，在配对过程常用算法有brute-force匹配和flann匹配等，匹配后的结果是得到一系列特征点对。

2.单应性矩阵计算：计算机视觉中平面的单应性被定义为一个平面到另外一个平面的投影映射，通过计算单应性矩阵来确定待配准图像到投影平面的投影关系，即可确认两个图像中同一内容在两图像上位置对应关系。

3.图像投影：把辅传感器成像图像上所有像素点经过单应性矩阵计算投影得到目标位置，通过图像插值后得到配准后的图像。再通过区域对比裁剪两图像的重叠区域，得到最终融合图像的最终区域范围，如图7所示。

4.图像融合：图像融合是要把两幅图像的有限信息进行提取及合并显示，需要根据特定的融合需要来确定对应的融合算法实现。

实施例一：

所述的传感器分别为主图像传感器为彩色图像传感器，辅图像传感器为黑白图像传感器(二者交换位置亦可)，对应滤光片按照适用相应传感器来设置。整个系统通过红外补光来增强夜视环境下的摄像机照度，一般而言选择850nm或者940nm红外灯源来对环境进行补光，针对全景视野采集需要配置全视野的红外灯源补光。对于彩色传感器，为了获取环境中真实的彩色信息，使用红外截止滤光片减少画面红曝现象，但是在低照度环境下摄像机获取可见光通量有限，因此彩色成像上会偏暗。而在同一成像条件下，通过红外补光后在黑白图像传感器上成像(滤光片为全通)，所以对于最终成像能得到比较好的亮度图像，通过对黑白图像和彩色图像进行图像融合后，即可得到比较好的低照度下彩色图像效果。

红外条件下的黑白成像和彩色图像进行融合，主要是合并黑白图像亮度和彩色图像颜色信息，并且因为在低照度条件下，彩色图像成像效果也往往会有很大的噪声干扰，因而再融合过程中还需要考虑噪声抑制等问题。本方案提出的以下解决方法。

1.图像颜色空间转换：由于需要在黑白图像中提取亮度信息，彩色图像中提取颜色信息，而一般图格式为rgb或者yuv(与rgb线性等效)，这种格式画面三个通道并不适合对亮度及颜色信息的抽离，一般选择hsl颜色格式对图像进行转换后在进行特定信息的提取。

其中h表示色相角，s表示饱和度，l表示亮度信息；r表示rgb三通道中红色分量，g表示rgb三通道中绿色分量，b表示rgb三通道中蓝色分量；max表示r、g、b中最大值，min表示r、g、b中最小值；

2.对于hsl图像提取黑白图像对应的s通道图像以及彩色图像对应的h及l通道，其中由于原始的彩色图像存在较大的噪声，因而需要对彩色信息进行噪声抑制处理。一般噪声处理可以通过均值滤波或者高斯滤波来处理，然而这样会造成把物体边缘部分进行了模糊处理，也会丢失一部分画面信息。这里采用引导滤波来进行彩色画面的噪声抑制处理，可以通过设置引导图来对彩色图像进行边缘保持的去噪滤波操作，引导图可设置为配准后的黑白图像的亮度图。

3.噪声抑制后通过亮度图与彩色图合并后形成融合后形成最终图像的hsl格式，再反向转换为rgb格式即得到最终画面效果，如以下计算过程。

c＝(1-|2l-1|)×s

x＝c×(1-|(h/60°)mod2-1|)

m＝l-c/2

(r,g,b)＝((r'+m)×255,(g'+m)×255,(b'+m)×255)

其中h为色相角，s为饱和度，l为亮度；r表示红色分量,g表示绿色分量，b表示蓝色分量。

实施例二：

所述的主图像传感器为彩色图像传感器，辅图像传感器为timeofflight(tof)传感器，其中tof传感器使用需要配合调制光源来进行成像。调制光源对周围环境进行补光，tof对获取到的调制光源信号进行解析，从而获取周围环境的深度图，通过与可见光成像内容进行融合，从而获取全景成像的深度信息。

此方案中，tof成像是一种主动成像方式，即相机系统向目标发射激光，通过测量传感器接受到目标反射光的时间计算到目标的距离。光源多采用激光光源，光电响应采用cmos感光阵列,tof作为其中一个图像深度信息获取方式，一般采用调制式曝光测距来实现。一个完整测量周期包括两次激光发射与像素曝光。第一次激光以脉冲波发射，宽度为tpluse；接收器像素在同一时间开始曝光，曝光时间与发射脉冲相同，即光发射与像素曝光周期同步。像素仅在接收到从目标反射的激光的有效曝光时间段δt接收了反射光子数量，像素输出电压vf1与δt成正比。在第二个曝光脉冲时间段，激光发射脉冲时间段不变，但像素曝光时间增加，覆盖了第二次反射光的全过程，因此输出电压与光发射脉冲时间tpluse成正比。两次对比，可得到：

从而可以得到光反射的时间，目标与tof相近的距离为：

其中c为光速299792458m/s。对于cmos感光阵列传感器而言，每个像素点都可以解析出对于的距离信息，既可以采集得到成像面上所有点的深度信息，获取深度信息后进过配准可以精确确定彩色画面中对应像素点的深度信息。

对于深度信息与彩色图像融合，一般应用与对图像内容的理解，利用深度信息和彩色图像信息对画面进行精确的分割，比如利用k-mean聚类算法即可实现基于深度图的彩色画面内容准确及快速的分割，得到画面中目标精确的边缘及轮廓和表面内容，进而可以进行图像内容的实时分析，如视觉交互中的人的肢体分割及识别等。

实施例三：

所述的主图像传感器为彩色图像传感器，辅图像传感器为解析结构光的cmos图像传感器，其中结构光cmos图像传感器使用需要配合结构光编码投影光源来使用。结构光编码投影光源在使用之前进行场景编码标定，从而得到不同距离下的编码图案。实际应用过程中每个结构光传感器得到每个像素对应的编码图案，经过与标定图案的对比确认最终像素表示的深度信息。结构光技术核心在于要对投射光源投射出的图案进行设计编码，通过编码的设计首先可以对不同距离的物体拍摄到的投影光斑即可直接解析出对应的距离，其次针对特定场景中应用需求，编码方式也可以采用不同方式来实现，时分复用方式编码适合静态环境下的场景深度获取，而在空分复用方式编码比较适合运动场景或物体的深度信息获取。

通过解析拍摄到的成像画面中的编码图像可以得到图像的深度信息，获取深度信息后经过配准可以精确确定彩色画面中对应像素点的深度信息，同实施例二，利用深度信息和彩色图像信息对画面进行精确的分割，得到画面中目标精确的边缘及轮廓和表面内容，进而可以进行图像内容的实时分析。

实时例四：

所述的主图像传感器为彩色图像传感器，辅传感器为彩色图像传感器，对于两图像可以设置为相同分辨率或者不同分辨率。经过采集后得到的图像为两个独立成像的画面，由于实际成像过程中传感器曝光设置不同，并且成像均具有一定随机噪声，因此通过对两者图像进行超分辨率融合后，可以得到由于两者成像的超分辨率图像效果，得到更高清晰度的全景图像。

由于两传感器成像画面都是通过同一组镜头进行成像，但是由于是不同传感器成像在同一时刻存在时间不同步，因而需要在在成像装置内部设计同步电路保证传感器成像时间在一定程度上保持同步，同步完传感器后采集得到的图像数据进行后续配准及融合操作，图像融合按如图8流程进行：

1.运动检测：由于两个配准后的低分辨率图像之间时间上同步可能存在误差，两图像之间画面内容由于运动会造一定程度的偏移，即在相同的背景下运动部分画面对应不上。通过lucas-kanade光流金字塔估计方法来实现对运动物体的检测。

2.高清图构建：通过光流法来获取图像亚像素级光流精度，获取的亚像素光流偏移来估计高分辨网格数据对应的像素坐标值。

3.图像插值：在得到对应的高分辨率部分像素坐标像素值后使用kernelregressioninterpolation(kri)插值方法来消除图像的几何失真。

4.图像重建：为了消除不同来源的图像之间的颜色以及光线的不一致性，通过图像反锐化操作对图像进行卷积处理，达到重建画面的高清图像色彩及亮度均衡。