一种多光谱立体成像系统的制作方法

本实用新型属于光谱成像领域，具体涉及一种多光谱立体成像系统。

背景技术：

随着成像技术和视觉传感器制作工艺的不断发展，各种类型的摄像机逐渐步入到我们的生活当中，在交通、制造业、安防、检验、文档分析、医疗诊断、军事等领域有着广泛的应用。最常见的视觉传感器是可见光摄像机，包括拍摄灰度图像的可见光摄像机和彩色图像的彩色摄像机(rgb摄像机)。然而，可见光仅是整个太阳光谱的一小部分，因而可见光摄像机所获取的信息相对有限，其获取条件也较为苛刻，对环境的光照条件较为敏感，在夜晚、强光照或雾霾天气下难以有效拍摄。因而，出现了拍摄不同波段的不可见光的视觉传感器，包括紫外摄像机、近红外摄像机、中红外摄像机、远红外摄像机等，不过，由于单一传感器所获取的信息源单一，信息采集能力有限，因而能够采集多种光谱的多光谱摄像机应运而生。多光谱摄像机使用滤光片，从场景获得的具有各种波段的光中分离出特定波段，并利用特定的成像器件进行感光，从而获取不同频谱的信息。从获取图像的频谱来看，现有的多光谱摄像机的成像范围集中于可见光波段、紫外波段、近红外波段，少数涉及到了中红外波段。特别地，一些多光谱相机将其获取的光谱限定到了特定波长，如880nm近红外、650nm红光、550nm绿光、450nm蓝光等，其获取的是特定波长光谱的图像。

从多种光谱的获取方式来看，现有的多光谱摄像机可以分为以下三类：第一类多光谱摄像机采用相机阵列的形式，阵列中的每一个位置对应一个普通摄像机或多光谱摄像机。这种多光谱摄像机将获得不同频谱的相机组合起来，从而能够同时获得场景中的多种频谱信息，但是由于阵列中每个相机的光路不同，因而整个摄像机很难对准同一目标物，获取的图像重叠精度差。

第二类多光谱摄像机，只包含一个镜头和一个成像元器件(即使用同一光路)。这类摄像机通过在不同时刻使用不同滤光片的方式，获得场景中不同波段的频谱信息。通常滤光片的更换以一个高速旋转的滤光片轮的形式来实现，该轮盘一般包含6-8个可更换滤光片，转速最高可达每秒100圈，该类相机拍摄时要求场景是静止的，这样才能保证不同频谱的图像间具有较高的重叠精度。

第三类多光谱摄像机，只包含一个镜头，但包含多个滤光片和成像元器件。该类摄像机利用分光镜，将从场景中获取的光线分解成若干束，每一束光经过其对应的滤光片投射到相应的成像元器件上，从而获得特定光谱的图像。这类摄像机主要在可见光、紫外、近红外波段同时获取2-3种不同频谱的图像信息，不同频谱间图像的重叠精度高，且不要求拍摄场景静止，但成本很高，成本直接与分光后的光路数量相关。

以上所述多光谱摄像机均是被动接受场景中的各种光谱进行成像。除此之外，市面上还有通过接收主动发射的红外、结构光或激光来感知场景三维特性的摄像机，这类摄像机可统称为rgb-d摄像机，其使用可见光摄像机获取场景物体的颜色信息，而主动发射/接收部分则能够获取场景物体的深度信息，继而实现同时获得可见光信息和深度信息的功能，但该类摄像机只能被动感知场景中的可见光信息，其精确的深度检测范围通常在0.4m-4.0m，最大不超过10m，因此仅适用于室内环境。

所说的获取物体深度信息的摄像机，即立体摄像机，其基于双目立体成像原理，根据场景中物体在左右两个相机间成像位置的差异性，通过计算图像对应点间的位置偏差，来获取物体的深度信息。这种测量方法具有效率高、精度合适、系统结构简单、成本低等优点，其测量距离理论上可达到无穷远，且适合于对运动物体的测量，但现有的双目立体摄像机只接收可见光信息，无法在光照条件恶劣的情况(如夜晚、强光照、雾霾天气等)下使用。

因而，现有的多光谱摄像机不涉及远红外波段信息的采集，缺乏同时获取可见光、近红外和远红外信息的能力。

技术实现要素：

本实用新型的目的是提供一种多光谱立体成像系统，利用同一光路同时获得多段光谱信息，使拍摄条件不局限于静止场景条件，不局限拍摄距离以及光照条件，并保证图像间具有高重叠度。

本实用新型采取的技术方案是：

一种多光谱立体成像系统，由视觉信息获取系统和视觉信息处理系统两部分构成，所述视觉信息获取系统包括支架，在支架上安装两台同样的多谱摄像机，两台多谱摄像机同向对齐设置、光轴平行；

每台所述的多光谱摄像机包含一台可见光-近红外(rgb-nir)摄像机、一台远红外(fir)摄像机和一个镀膜分光镜，该分光镜能够透过远红外波段的光束，同时反射可见光和近红外波段的光束；

所述视觉信息处理系统包括视觉处理计算机、单片机和数据传输线，视觉处理计算机通过数据传输线与单片机相连，向单片机传送采集开始和采集终止信号；单片机通过数据传输线与各个摄像机(各个摄像机包括两台可见光-近红外摄像机和两台远红外摄像机)连接，向各摄像机传输周期性触发信号；各个摄像机通过千兆网线经千兆以太网口/usb3.0接口与视觉处理计算机连接。

进一步的，可见光-近红外摄像机、远红外摄像机和分光镜三者的几何位置关系通过所述两台摄像机(可见光-近红外摄像机和远红外摄像机)之间的联合标定确定，标定方法为：首先在一块平板上粘贴两层材料制成标定板，其中，底层材料是印有棋盘格图案的一整张纸，另一层为锡箔纸；标定开始前，用锡箔纸覆盖棋盘格的白色区域，标定时，用冷空气冷却标定板至15℃，利用两种材料在低温下辐射系数相差较大的特性，使得标定板在红外摄像机的成像中，能够清晰地看到棋盘图案，而对于可见光摄像机，由于黑白颜色的对比，使得可见光图像中同样可以看到清晰的棋盘图案；再通过检测可见光与远红外图像中的角点坐标，把角点坐标输入相机标定算法则能得到两台摄像机的内部参数，然后对两台摄像机拍摄的图像进行去畸变操作，鉴于可见光摄像机的分辨率高于红外摄像机，因此需要调整去畸变后的可见光图像的尺寸，使其与去畸变后的红外图像的尺寸相同；最后通过调整器对两台摄像机的位姿进行调整，先对齐两张图像中的主点，然后对齐图像中的其他角点，使得图像间实现像素级别的配准，进而确定出可见光-近红外摄像机、远红外摄像机和分光镜三者的几何位置关系。

进一步的，所述可见光-近红外(rgb-nir)摄像机与远红外(fir)摄像机的光轴垂直，分光镜为边长6.5cm的正方形。

本实用新型的有益效果：

(1)同步性好。能够同时输出同一时刻被观测场景的可见光、近红外、远红外和深度信息，不需进行额外的时间戳匹配和立体匹配。

(2)像素配准程度高。系统基于同一光路的分光原理进行设计，获得的多光谱数据和深度数据能够实现像素级别的对齐，降低了后续对多光谱信息的处理难度。

(3)精度高。立体匹配时融合了可见光、近红外、远红外三种信息，匹配效果好于单一采集可见光信息的传统双目摄像机，提高了立体匹配精度。

(4)适用条件广泛。系统能够采集可见光、近红外、远红外，对拍摄时的光照约束要小于传统的单光谱相机和可见光相机，能够在差光照条件下进行使用，实现夜间等条件下的工作以及动态场景的拍摄。

(5)造价低。单个可见光-近红外-远红外混合摄像机单元的成本要低于同一光路三分光的多光谱摄像机。

(6)工艺简单。整个系统只有安装支架和分光系统需要进行加工，加工安装方便。

(7)基于分光原理，利用同一光路同时获得场景中的可见光、近红外、远红外信息，使拍摄条件不局限于场景静止的状态，并保证采集到的可见光图像、近红外图像和远红外图像间具有高重叠度。

(8)使用两个多光谱摄像机构成立体摄像机，实现多种光照条件(如白天、夜晚等)下的大距离测量，保证室外环境的测距功能。

减小分光镜尺寸的原理是：

当两个相机组件的光轴垂直放置时，给定相机的视场角，分光镜的长度和相机到分光镜距离成正比。当相机到分光镜的距离固定时，分光镜的长度和两相机组件光轴间的夹角成反比。

因此缩小相机到分光镜的距离以及扩大两相机光轴间的夹角都可以减小分光镜的尺寸。然而两相机光轴不垂直会导致视场不对称，容易引起相机间的相互遮挡，并且相机的底座等加工工件需要特别制定，所以本实用新型系统采用相机光轴垂直的方案，依据此方案，将分光镜尺寸定为6.5厘米(以正方形分光镜为例)。

附图说明

图1是本实用新型的视觉信息获取子系统外部结构示意图；

图2是本实用新型的分光镜尺寸计算方法示意图；

图3是本实用新型的分光镜尺寸与两个相机组件光轴间夹角的关系图；

图4是本实用新型的视觉信息获取子系统内部结构示意图；

图5是本实用新型的多谱图像间配准过程示意图；

图6是本实用新型的多光谱立体视觉信息处理流程图。

具体实施方式

如图1所示，一种多光谱立体成像系统，由视觉信息获取系统和视觉信息处理系统两部分构成，视觉信息获取子系统由一个支架以及安装于支架上的两台多谱摄像机组成，两台多谱摄像机一上一下相对摆放，同时光轴平行，保证两个摄像机单元间拥有足够大的公共视场区域。每台多谱摄像机包含一台pointgreyflea3彩色摄像机(fl3-ge-13s2c-c)、一台flira65远红外摄像机和一个镀膜分光镜。flea3摄像机的分辨率为1280*960，感光波长为400～700nm，视场角为40°左右；flira65摄像机的分辨率为640*512，感光波长为7.5～13μm，视场角为45°左右；分光镜的形状为正方形，分光镜镀膜可以透过远红外波段的光束同时反射可见光波段的光束，构成多光谱摄像机的远红外和可见光相机是成品相机，本实用新型通过尽可能减小分光镜的尺寸使得多光谱摄像机的尺寸减小，尺寸通过图2所示内容确定。如图2所示，考虑三种不同的情形。第一种情况，如图2(a)，两个摄像机的光轴垂直放置，摄像机的视场角为θ，每个摄像机到分光镜的距离为d1和d2，假设d1＝d2，则分光镜的长度可以计算为

很明显，当给定摄像机的视场角，分光镜的长度和d1成正比。如果把两个摄像机同时向分光镜靠近，如图2(b)，假设摄像机距离分光镜为d1′和d2′，并且d1′＝d2′，则分光镜的长度可以计算为

如果d1′＝d1/2，则分光镜的长度会缩减为图2(a)中分光镜长度的一半。只要图2(a)和图2(b)中混合摄像机的感知视场的宽度相差不大，则图2(b)中的混合摄像机的方案就比图2(b)中的混合摄像机方案好，并且尺寸更小。考虑距离摄像机为d的场景，则图2(a)和图2(b)中的混合摄像机的感知宽度分别为

s＝2(d+d1)×tan(θ/2)\*mergeformat(3)

和

s'＝2(d+d1')×tan(θ/2)\*mergeformat(4)

在实际应用场景中，d是d1和d1′的几百倍，因此s和s′近似相等，即图2(a)和图2(b)中的感知宽度几乎一样。这也说明了图2(b)中的混合摄像机的方案比图2(a)中的混合摄像机方案好，混合摄像机尺寸更小。

除了图2(b)中的方案可以减小分光镜的尺寸之外，图2(c)方案中的分光镜的尺寸可以比图2(b)中的更小。在图2(c)中，假设摄像机和分光镜的距离与图2(b)相比保持不变，为d1*和d2*，并且d1*＝d2*＝d1′。不同于图2(b)的方案，两个摄像机同时分别逆时针和顺时针旋转β度，则分光镜的长度可以计算为

当θ为50度，我们变化β的值从0到θ/2。图3(a)所示为公式(5)中的第一项随着β从0变化到θ/2的值。图3(b)所示为公式(5)中的第二项随着β从0变化到θ/2的值。图3(c)所示为公式(5)的值随着β从0变化到θ/2的值。可以看出，在摄像机旋转没有引起互相遮挡的前提下，当β值为0度时，图2(c)方案和图2(b)方案是一样的。当β值为θ/2时，图2(c)方案中分光镜的尺寸最小。然而，图2(c)方案的视场不对称，容易引起互相遮挡，并且摄像机的底座等加工工件需要特别制作。相比之下，图2(b)方案中，我们可以采用标准件。因此该系统采用了图2(b)的方案，依据此方案，混合摄像机的分光镜采用边长大约6.5厘米的正方形镀膜分光镜，多谱摄像机的尺寸为10cm*21cm*20cm。

视觉信息获取子系统的内部示意图如图4所示，入射光经镀膜分光镜分光后，7.5～13μm波段的光线入射到flira65摄像机的成像器件，获取远红外图像；400～700nm波段的光线反射到flea3摄像机，然后经flea3摄像机内部的分光棱镜将光束再次分成近红外光束和可见光光束，并由flea3摄像机对应的成像器件得到可见光图像和近红外图像。

把远红外、可见光摄像机以及分光镜放置在同一个统一底座之上，并且可见光摄像机和远红外摄像机的机身固定于各自的底座之上，各摄像机底座与整个混合摄像机底座之间通过两个可调节的支架连接。调整台上放置的自由度调整架与摄像机的支架相连，用来调整摄像机的相对姿态使得两个图像达到配准。

假设p为三维空间的一点，p1＝(u1,v1,1)^t和p2＝(u2,v2,1)^t分别为p点在可见光摄像机和远红外摄像机中的映射。p1＝(x1,y1,z1)^t和p2＝(x2,y2,z2)^t分别为p点在可见光摄像机坐标系和远红外摄像机坐标系中的坐标。可得几者间的关系为

式中k1，k2分别为可见光摄像机和远红外摄像机的内参矩阵。若两摄像机组件完全配准，z1＝z2并且p1＝p2，式(6)可被化简为

公式(7)给出了可见光摄像机和远红外摄像机间的转换关系，通过变换矩阵k1·k2^-1可将远红外图像映射到可见光图像，通过变换矩阵k2·k1^-1可将可将光头像映射到远红外图像上。内部参数k1，k2可通过摄像机标定算法得到，根据k1，k2对两台摄像机下的图像进行去畸变操作。由于可见光摄像机的分辨率高于红外摄像机，因此调整去畸变后的可见光图像的尺寸，使其与去畸变后的红外图像的尺寸相同。通过调整器对两台摄像机的位姿进行调整，首先对齐两张图像中的主点，然后对齐图像中的其他角点，使得图像间实现像素级别的配准。用强力胶固定各摄像机组件和分光镜，待胶完全干了之后，由于热胀冷缩的原因，两个摄像机组件间的相对姿态有少许变化(存在一个很小的旋转变换以及一个非常小的平移变换)。假设p1和p2间的变换关系为p1＝r·p2+t，公式(4)可以改写为

一般来说，热胀冷缩导致的摄像机间平移变换非常小，z1的值远大于t，所以可得并且t≈0，公式(6)可近似为

因此只需要估计摄像机间的旋转矩阵，采用单应映射计算出该旋转矩阵，可以实现多光谱图像之间的准确配准，该过程如图5所示。

所述视觉信息处理系统包括视觉处理计算机、单片机和数据传输线，所述视觉处理计算机包含多核cpu、gpu、千兆以太网卡、usb3.0接口。视觉处理计算机通过数据传输线与单片机相连，向单片机传送采集开始和采集终止信号；单片机通过数据传输线与各个摄像机连接，向各摄像机传输周期性触发信号；各个摄像机通过千兆网线经千兆以太网口/usb3.0接口与视觉处理计算机连接，将各摄像机采集的视觉信息传送到计算机中。

图6为多光谱立体视觉信息处理流程图，当视觉处理计算机获得数据采集指令后，首先向视觉信息获取子系统中的各摄像机单元发送信号，实施摄像机初始化操作，配置相关参数，并在计算机中设置公共缓存空间以用于多光谱视觉数据的临时存储；初始化完成后，视觉处理计算机向单片机发送信号，要求单片机产生稳定的周期性方波信号，作为各摄像机单元的触发信号，同步发送给各摄像机单元；各摄像机单元收到同步触发信号后，进行图像采集，并将采集得到的图像源源不断地传送到视觉处理计算机中的公共缓存空间中；收到各光谱图像信息的视觉处理计算机，利用图像的时间戳信息匹配出各摄像机同一时刻所采集到的图像，并将这些图像传送到计算机内的图像处理单元；图像处理单元对多光谱数据进行预处理、矫正、配准等操作后，实现两个多光谱摄像机单元间的立体匹配，获得场景的深度图像；最后，视觉处理计算机将获得的像素对齐的多光谱图像和深度图像输出，然后返回处理下一帧收到的多光谱图像数据。