一种可见光和中远红外光多镜头多传感器的信息融合装置及方法与流程

本发明涉及摄像头领域，具体涉及一种可见光和中远红外光多镜头多传感器的信息融合装置及方法。

背景技术：

随着科技的发展，人们生活水平的提高，汽车走近家家户户，成为一种普通消费品。

现有的汽车常规驾驶技术发展的已经非常完善，基本可以满足大家的使用需求，无人驾驶技术开始慢慢地发展起来，在常规驾驶的过程中因为有人驾驶，因此可以很好地判断路况，但是无人驾驶的过程中不存在人为判断的情况，因此行驶过程中需要通过摄像头来捕捉路况并及时的分析路况，需要判断障碍物为动物或者为静态的大山，树木或其他，这因此有待对这一块的技术进行进一步地改进。

技术实现要素：

本发明的目的在于克服上述现有技术的不足，提供一种可见光和中远红外光多镜头多传感器的信息融合装置。

本发明的另一目的是提供一种应用可见光和中远红外光多镜头多传感器的信息融合装置的方法。

本发明的技术方案是这样实现的：一种可见光和中远红外光多镜头多传感器的信息融合装置，包括电路板、至少两个中远红外传感器和至少两个可见光传感器，所述红外传感器连接有红外镜头，所述可见光传感器连接有可见光镜头；所述电路板上集成有控制和信号处理集成电路，所述红外传感器和可见光传感器分别通过电信号与所述控制和信号处理集成电路连接或通过接口电路连接；

其中：

所述红外镜头接收红外光电磁波并采集图像信息；

所述可见光镜头接收可见光电磁波并采集图像信息；

所述红外镜头和可见光镜头采集的图像信息分别通过红外传感器和可见光传感器传输到所述控制和信号处理集成电路中，所述控制和信号处理集成电路分别对红外镜头和可见光镜头采集的图像信息进行深度计算，计算结果进行融合和相互增强，得到清晰的图像信息。

优选地，所述红外传感器为中远红外传感器，所述红外镜头为中远红外镜头。

优选地，所述可见光包括近红外光。

优选地，其特征在于，所述红外传感器和红外镜头为一对一的配套设置，所述可见光传感器和可见光镜头为一对一的配套设置，配套后的所述红外传感器和红外镜头与可见光传感器和可见光镜头交叉排列设置。

优选地，所述中远红外镜头接收红外光电磁波的波长为：3-8微米，8-15微米和15-1000微米。

优选地，所述可见光镜头接收的可见光电磁波的波长为：0.4微米-0.77微米和0.78微米-1.1微米(近红外)。

优选地，所述电路板还外接有通信天线和/或通信接口。

一种基于如上述可见光和中远红外光多镜头多传感器的信息融合装置的方法，该方法包括以下步骤：

S1：装置的校正和调整：放置一个校对物，开启装置，所述可见光镜头和红外镜头分别接收可见光电磁波和红外光电磁波传播到所述校对物上，利用对极几何原理，求出对极极线，进而求出校对物在所述可见光传感器和红外传感器上的对应点，然后求出校对物相对于所述可见光镜头和红外镜头的距离，计算得到的距离与实际物体的距离进行比对，结果一致则校对完成，结果不一致，对装置进行调整后重新再测量比对，直到比对结果一致为止；

S2：可见光深度测量：所述可见光镜头发出可见光电磁波，碰到障碍物然后接收回来，被所述可见光传感器接收，所述可见光传感器将接收到的可见光图像信息传输到控制和信号处理集成电路内，所述控制和信号处理集成电路对利用计算相关函数的极大值方法计算可见光图像的图像深度；

S3：红外光深度测量：所述红外镜头发出可见光电磁波，碰到障碍物然后接收回来，被所述红外传感器接收，所述红外传感器将接收到的红外光图像信息传输到控制和信号处理集成电路内，所述控制和信号处理集成电路采用基于RGB模型或YCrCb模型的颜色分类计算红外光图像信息的图像深度；

S4：两种计算方法的融合：两种计算方法融合时，若可见光强于红外光，则采用S2步骤的方法计算统一所述可见光和红外光的图像深度；若红外光强于可见光，则采用S3步骤的方法统一计算所述可见光和红外光的图像深度。

本发明的有益效果是：本发明利用可见光摄像头和可见光传感器采集静态的大山或树木或其他的客观物质的图像，采用红外摄像头和红外传感器采集动态的动物，行人及车辆的图像，并通过控制和信号处理集成电路计算图像深度，算出物体到摄像头装置的距离从而判断路况，做到安全驾驶。

附图说明

图1是本发明一种应用可见光和中远红外光多镜头多传感器的信息融合装置结构原理图。

图2是本发明中的红外传感器和红外镜头与可见光传感器及可见光镜头的安装设置示意图。

图3是本发明中的红外传感器和红外镜头与可见光传感器及可见光镜头的安装设置示意图以及与电路的连接的结构示意图。

图4是本发明一种应用可见光和中远红外光多镜头多传感器的信息融合装置方法的步骤图。

图中各标号对应的名称：红外传感器-1，可见光传感器-2，红外镜头-3，可见光镜头-4。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明。

如图1所示，一种可见光和中远红外光多镜头多传感器的信息融合装置，包括红外传感器1、可见光传感器2和电路板，所述红外传感器连接有红外镜头3连接，所述可见光传感器2连接有可见光镜头4；所述电路板上集成有控制和信号处理集成电路，所述红外传感器1和可见光传感器2分别通过电信号与所述控制和信号处理集成电路连接；其中：

所述红外镜头3接收红外光电磁波并采集图像信息；

所述可见光镜头4接收可见光电磁波并采集图像信息；

所述红外镜头3和可见光镜头4采集的图像信息分别通过红外传感器1和可见光传感器传输2到所述控制和信号处理集成电路中，所述控制和信号处理集成电路分别对红外镜头3和可见光镜头4采集的图像信息进行深度计算，计算结果进行融合和相互增强，得到清晰的图像信息。

本实施例中，所述红外传感器1为中远红外传感器，所述红外镜头3为中远红外镜头，所述红外镜头3接收红外光电磁波的波长为：3-8微米，8-15微米和15-1000微米。主要是用于检测动物，行人和车辆，用于判断路况。所述可见光包括近红外光，所述可见光镜头4接收的可见光电磁波的波长为：0.4微米-0.77微米和0.78微米-1.1微米(近红外光波)。主要用于检测山丘，树木，房子，汽车等物体。通过红外镜头3和可见光镜头4测量出镜头到被测物体的距离从而精确地决策和控制和信号处理集成驾驶的车辆。

由图2-3可知，所述红外传感器1和红外镜头3为一对一的配套设置，即一个红外传感器1连接一个红外镜头3，且所述红外镜头3设置在外侧。同样的所述可见光传感器2和可见光镜头4为一对一的配套设置，即一个可见光传感器1连接一个可见光镜头3，配套后的所述红外传感器1和红外镜头3与可见光传感器2和可见光镜头4交叉排列设置。在本实施例中，所述红外传感器1和红外镜头3的个数为2个，及配套成两套红外传感器1和红外镜头3组合，所述可见光传感器2和可见光镜头4个数均为2个，配套成2对见光传感器2和可见光镜头4组合，4套传感器与镜头的组合排成一列设置。

所述电路板还外接有通信接口和(或)通信天线，所述通信接口和(或)通信天线用于与远程服务器连接，所述接口为外界接口用于连接外部设备。

如图4所示，一种基于如上述可见光和中远红外光多镜头多传感器的信息融合装置的方法，该方法包括以下步骤：

S1：装置的校正和调整：放置一个校对物，开启装置，所述可见光镜头和红外镜头分别接收可见光电磁波和红外光电磁波传播到所述校对物上，利用对极几何原理，求出对极极线，进而求出校对物在所述可见光传感器和红外传感器上的对应点，然后求出校对物相对于所述可见光镜头和红外镜头的距离，计算得到的距离与实际物体的距离进行比对，结果一致则校对完成，结果不一致，对装置进行调整后重新再测量比对，直到比对结果一致为止；

S2：可见光深度测量：所述可见光镜头发出可见光电磁波，碰到障碍物然后接收回来，被所述可见光传感器接收，所述可见光传感器将接收到的可见光图像信息传输到控制和信号处理集成电路内，所述控制和信号处理集成电路对利用计算相关函数的极大值方法计算可见光图像的图像深度；

S3：红外光深度测量：所述红外镜头发出可见光电磁波，碰到障碍物然后接收回来，被所述红外传感器接收，所述红外传感器将接收到的红外光图像信息传输到控制和信号处理集成电路内，所述控制和信号处理集成电路采用基于RGB模型或YCrCb模型的颜色分类计算红外光图像信息的图像深度，这里所述的RGB模型或YCrCb模型为现有的图像分量模型，其中Cr为红色分量，Cb为蓝色分量。

S4：两种计算方法的融合：两种计算方法融合时，若可见光的强度强于红外光，则采用S2步骤的方法计算统一所述可见光和红外光的图像深度；若红外光的强度强于可见光，则采用S3步骤的方法统一计算所述可见光和红外光的图像深度。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。