一种环视影像系统的制作方法

本实用新型涉及物流运输技术领域，特别涉及一种环视影像系统。

背景技术：

随着物流业对工程车辆的安全性要求越来越高，视觉系统在车辆主动安全领域的应用越来越广，360°环视系统作为辅助安全系统之一已应用于高级汽车或客车上，此类系统可以在低速工况下为驾驶员提供车辆周围情况，为驾驶员低速操作提供视觉辅助，已经成为了众多量产车型的标准配置。但目前市场上并无针对叉车开发的360°环视影像系统，汽车的360°环视系统直接借用到叉车上无法解决门架遮挡问题，存在视野盲区，不能实现真正的全景系统。

目前市场上的360°车载环视拼接系统主要针对小轿车、大客车这一类型的体车，即车头和车身相对固定，系统通过四个超广角摄像头同时采集车辆周围的图像信息，经过一次标定后拼接成全景图，可以直观地显示车辆所处的位置和周边情况。但对于具有门架装置的叉车而言，由于前摄像头一般布置在驾驶室或内门架上，这种布置方式拼接的系统看到的画面会由于门架的遮挡存在视野盲区，并不是真正的360°全景系统，给叉车的工作带来不便。

因此，如何解决叉车工作过程中摄像视野盲区的技术问题，是本领域技术人员亟待解决的技术问题。

技术实现要素：

本实用新型的目的是提供一种环视影像系统，通过对叉车工作时，对货叉不同角度视野进行全景拍摄合成，进行同方位水平对比，对叉车的货叉进行不同层面的视角对比，可以避免前视画面的遮挡，避免叉车货叉工作过程中视野盲区的情况。

为解决上述技术问题，本实用新型提供一种环视影像系统、标定及控制方法，包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、高度传感器和倾角传感器，第一摄像头设置于叉车外门架上，第二摄像头设置于叉车配重上，第三摄像头和第四摄像头分别对应地设置于左灯架和右灯架上，高度传感器的拉线盒设置于叉车内门架上，高度传感器的拉线端子设置于叉车外门架，倾角传感器设置于叉车外门架上。

优选地，还包括环视控制器和显示屏，所述第一摄像头信号端、所述第二摄像头信号端、所述第三摄像头信号端、所述第四摄像头信号端、所述高度传感器信号端及所述倾角传感器信号端均与所述环视控制器和所述显示屏连接。

优选地，还包括钥匙开关和标定开关，所述钥匙开关用于与蓄电池连接，所述标定开关的一端与所述钥匙开关连接，且所述标定开关的另一端与所述第一摄像头信号端、所述第二摄像头信号端、所述第三摄像头信号端、所述第四摄像头信号端、所述高度传感器信号端及所述倾角传感器信号端和所述环视控制器连接。

优选地，还包括第一保险丝、第二保险丝和第三保险丝，所述钥匙开关通过所述第一保险丝与所述蓄电池正极连接，所述环视控制器的蓄电池端通过所述第二保险丝与所述蓄电池正极连接，所述环视控制器的蓄电池端通过所述第三保险丝与所述钥匙开关连接。

优选地，还包括设置于所述叉车外门架上、用于安装所述高度传感器的支架体。

优选地，所述第一摄像头、所述第二摄像头、所述第三摄像头及所述第四摄像头均为180°超广角摄像头。

本实用新型所提供的环视影像系统、标定及控制方法，主要包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、高度传感器和倾角传感器，第一摄像头设置于叉车内门架上，第二摄像头设置于叉车配重上，第三摄像头和第四摄像头分别对应地设置于左灯架和右灯架上，高度传感器设置于叉车外门架上，倾角传感器设置于叉车外门架上。本申请公开的环视影像系统，通过四个摄像头、高度传感器以及角度传感器对货叉的高度和角度进行检测和拍摄，由控制器来对货叉叉起的高度范围内进行环视影像显示，确保在货叉的工作高度范围不会与外界发生干涉，使叉车在工作范围内无死角，保证了叉车工作时的安全性和高效性。本申请还公开了一种环视影像标定方法和控制方式，具有上述系统优点。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本实用新型所提供的一种具体实施方式的第一摄像头安装示意图；

图2为本实用新型所提供的一种具体实施方式的第二摄像头安装示意图；

图3为本实用新型所提供的一种具体实施方式的第三摄像头和第四摄像头安装示意图；

图4为本实用新型所提供的一种具体实施方式的高度传感器和倾角传感器安装示意图；

图5为本实用新型所提供的一种具体实施方式的电路原理图；

图6为本实用新型所提供的一种环视影像标定方法流程示意图；

图7为本实用新型所提供的一种环视影像控制方法流程示意图。

其中，图1-图5中：

叉车外门架—1，叉车配重—2，左灯架—3，右灯架—4，叉车内门架—5，支架体—6，第一摄像头—g1，第二摄像头—g2，第三摄像头—g3、第四摄像头—g4、高度传感器—g5、倾角传感器—g6，钥匙开关—s1、标定开关—s2，蓄电池—b，显示屏—e，环视控制器—u，第一保险丝—f1、第二保险丝—f2、第三保险丝—f3。

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

请参考图1至图5，图1为本实用新型所提供的一种具体实施方式的整体结构示意图。

在本实用新型所提供的一种具体实施方式中，环视影像系统主要包括第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4、高度传感器g5和倾角传感器g6，第一摄像头g1设置于叉车内门架5上，第二摄像头g2设置于叉车配重2上，第三摄像头g3和第四摄像头g4分别对应地设置于左灯架3和右灯架4上，高度传感器g5设置于叉车外门架1上，倾角传感器g6设置于叉车外门架1上。

其中，第一摄像头g1用于拍摄货叉部位图像，第二摄像头g2通过螺栓固定在叉车配重上用于拍摄叉车车身后的图像，第三摄像头g3通过螺栓固定在叉车驾驶室左灯架上用于拍摄叉车左侧图像，第四摄像头g4通过螺栓固定在叉车的右灯架上用于拍摄叉车右侧图像，高度传感器g5拉线盒通过螺栓固定在叉车内门架5上用于检测货叉的不同阶段高度，高度传感器g5拉线端子通过螺栓固定在叉车外门架1上，倾角传感器g6通过螺栓固定在叉车外门架1上用于检测货叉的倾斜角度，同时，第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4、高度传感器g5和倾角传感器g6均与控制器u进行信号连接。

具体的，在实际的应用过程当中，由于叉车在通过货叉进行叉货时，由于货物的遮挡，现有技术的摄像头由于设置在驾驶室或内门架上，因此，对货叉的实际叉货图像采集不全面导致叉车叉货存在视野盲区，本申请通过在货叉不同叉货高度分别进行图像采集合成，保证了货叉在进行工作时没有视野盲区，具体如下：

当货叉叉货时，假如货叉叉起货物高度为20mm，由于货叉高度在20mm，因此，在货叉20mm以下高度不予考虑，此时，高度传感器g5和倾角传感器g6分别检测货叉的高度和叉货角度，第一摄像头g1对货叉工作部分进行图像拍摄、处理，与此同时，第二摄像头g2、第三摄像头g3以及第四摄像头g4相对应地拍摄、处理与第一摄像头g1相同高度和角度的不同区域的图像，然后，第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4将拍摄到的图像发送至控制器u，控制器u对图像进行合成处理，将货叉高度范围内的全景视野显示在驾驶室内的显示屏e上，驾驶员通过显示屏e确定叉货路径确实可行，进一步进行叉货作业，本申请通过第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4对货叉不同叉货高度分别进行图像采集合成，保证了货叉在进行工作时没有叉货高度的视野盲区，避免前视画面的遮挡，确保了叉车工作过程中的安全性和高效性。需要说明的是，上述叉货高度仅仅是以实施例的形式进行说明，实际货叉叉货可以有不同高度，第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4可以分别进行拍摄处理。

为了优化上述实施例中环视影像系统可以进行更加自动化的图像处理显示的优点，环视影像系统还包括环视控制器u和显示屏e，第一摄像头g1信号端、第二摄像头g2信号端、第三摄像头g3信号端、第四摄像头g4信号端、高度传感器g5信号端及倾角传感器g6信号端均与环视控制器u和显示屏e连接。叉车叉货为驾驶员操作实际作业过程，在此过程中，驾驶员通过驾驶室的显示屏e来确定工作环境的情况，在上述的全景视角显示当中，是通过第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4拍摄的图像进行合成的，因此，第一摄像头g1信号端、第二摄像头g2信号端、第三摄像头g3信号端、第四摄像头g4信号端、高度传感器g5信号端及倾角传感器g6信号端均与环视控制器u和显示屏e连接，对第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4进行图像采集，对高度传感器g5进行货叉高度采集，对倾角传感器g6进行叉货角度采集，对控制器u进行编程，由控制器u进行自动采集和处理。

基于上述全景视野可视化的安全性，环视影像系统还包括钥匙开关s1和标定开关s2，钥匙开关s1用于与蓄电池b连接，标定开关s2的一端与钥匙开关s1连接，且标定开关s2的另一端与第一摄像头g1信号端、第二摄像头g2信号端、第三摄像头g3信号端、第四摄像头g4信号端、高度传感器g5信号端及倾角传感器g6信号端和环视控制器u连接。蓄电池b用于对控制器u、第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4、高度传感器g5以及倾角传感器g6进行供电，保证摄像头、传感器正常工作，钥匙开关s1位控制供电的总开关，可以开启和关闭全视化系统，标定开关s2可以开启和关闭标定作业，使环视影像系统具有更加人性化的设计和操作。

进一步地，环视影像系统还包括第一保险丝f1、第二保险丝f2和第三保险丝f3，钥匙开关s1通过第一保险丝f1与蓄电池b正极连接，环视控制器u的蓄电池端通过第二保险丝f2与蓄电池b正极连接，环视控制器u的蓄电池端通过第三保险丝f3与钥匙开关s1连接。第一保险丝f1、第二保险丝f2和第三保险丝f3分别对钥匙开关s1、环视控制器u进行过流保护，在发生电流强度大于电流可承受范围时，及时断开电流，保护了环视控制器u和第一摄像头g1、第二摄像头g2、第三摄像头g3、第四摄像头g4、高度传感器g5以及倾角传感器g6等负载。

需要说明的是，环视影像系统还包括设置于叉车外门架1上、用于安装高度传感器g5的拉线端子的支架体6。由于本申请公开的环视影像系统是对货叉不同高度的环视影像进行拍摄和处理，因此，在实际的拍摄和处理过程中，摄像头用于拍摄和传递图像信息，控制器u用于对图像进行处理，当需要对货叉不同高度进行拍摄时，摄像头拍摄的是广角180°图像，而控制器u是通过高度传感器g5来确定图像的处理情况，即控制器u只截取符合高度需求的图像信息，因此，在高度传感器5上设置拉线端子，并通过支架体6进行安装固定，高度传感器5通过计算拉线的实际移动长度，从而确定货叉的高度，以供控制器u进行处理。

还需要说明的是，第一摄像头g1、第二摄像头g2、第三摄像头g3及第四摄像头g4均为180°超广角摄像头。在实际的图像拍摄中，需要对叉车前后左右均进行拍摄，而且要进行前后左右的全景拍摄，当控制器u需要时，自动从图像中选取满足符合高度要求的部分，来形成符合高度需求的全景图像，因此，第一摄像头g1、第二摄像头g2、第三摄像头g3及第四摄像头g4必须要对叉车前后左右的全景进行拍摄，本身通过180°超广角摄像头，满足了控制器u的选取需求。

请参考图6；图6为本实用新型所提供的一种环视影像标定方法流程示意图。

上述为本申请公开的对叉车周围进行环视的设备结构，下面将对设备如何进行环视标定进行详细说明。

一种环视影像标定方法，包括：

步骤1：获取门架的最小高度hmin和标准倾角值α0及最大高度hmax；

首先在标定场地的地面上铺设标定点，将车辆驶入标定点所在的区域，先将货叉降至最低点，同时按习惯将门架后倾到一定角度控制器u通过处理此时高度传感器g5和倾角传感器g6的信号得到门架最小高度hmin，标准倾角值α0；再将货叉升至最高点，控制器u通过处理此时高度传感器g5的信号得到门架最大高度hmax。

步骤2：利用最小高度hmin、标准倾角值α0和最大高度hmax计算获得每组的高度值；

其中，由于叉车在叉货时的高度不同，因此要对叉货的高度进行分段处理，以保证在叉货过程中可以满足不同高度货物的叉货需求，在此，本申请通过以下公式对高度进行分段处理，

n＝(hmax-hmin)/δh，δh为组间间隔值，根据经验取0.2m，n取整。

步骤3：获取第一摄像头g1、第二摄像头g2、第三摄像头g3及第四摄像头g4图像的特征点；

标定时的前后左右四个180°超广角摄像头第一摄像头g1、第二摄像头g2、第三摄像头g3及第四摄像头g4均与控制器u相连，四个摄像头并将图像信息发送至控制器u，控制器u对图像信息进行分析处理，获取前后左右图像的特征点，并进行记录。

步骤4：对特征点进行特征匹配并获得映射矩阵，利用映射矩阵将各图像进行仿射变换并将各图像拼接成一幅环视影像；

控制器u接收到摄像头发送过来的四幅图像后，分别检测四幅图像的特征点，经过特征点描述后，对检测到的特征点进行特征点匹配，根据匹配结果得到映射矩阵，利用映射矩阵将四幅图像进行仿射变换，随后对仿射变换后的图像进行图像融合，将四幅不同视角的叉车周围的实时图像画面拼接成一幅完整的360°环视影像。

步骤5：将每组高度值对应的仿射变换的参数进行标定且生成对应的标准表并下载保存至环视控制器u中；

调整门架高度，在每个高度值上，对仿射变换的参数进行标定，生成对应的标准表并下载至车中的控制器u中。

步骤6：将标准倾角值α0、高度值写入至环视控制器u中，环视控制器u对门架对应的当前门架倾角值α、当前门架高度值hi与标注表进行对比调整并完成当前高度的标定；

将准倾角值α0，高度参数h1,h2,…,hn写入控制器u中，将门架调整到对应位置使门架倾角α∈(α0-δα,α0+δα)和门架高度值hi∈(hi-δh,hi+δh)，(δα,δh为程序设定的允许误差值)时，显示器分别提示“角度到位”、“高度到位”以提示驾驶员。

进一步地，利用最小高度hmin、标准倾角值α0和最大高度hmax计算获得每组的高度值的过程，包括：

利用最小高度hmin、标准倾角值α0、最大高度hmax和高度值计算公式，计算获得每组的高度值；其中，

高度值计算公式为：

式中，i＝1,2,…,n；n＝(hmax-hmin)/δh，δh为组间间隔值，n取整。

请参考图7，图7为本实用新型所提供的一种环视影像控制方法流程示意图。

另外，本申请还通过自动化控制系统，将实施例一的结构设备进行智能控制，下面将进行详细说明。

一种环视影像控制方法，包括：

步骤a：采集高度传感器的门架高度值hi和角度传感器的门架倾角值α；

当钥匙开关s1闭合时，控制器u首先采集高度传感器g5和角度传感器g6的信号以判断门架是否到位，即是否满足门架倾角α∈(α0-δα,α0+δα)和门架高度值hi∈(hi-δh,hi+δh)，(δα,δh为程序设定的允许误差值)。若判断结果为是，则进入步骤b；若判断结果为否，则调整门架高度角度直至门架倾角α∈(α0-δα,α0+δα)和门架高度值hi∈(hi-δh,hi+δh)。

按下标定开关s2，控制器u将高度hi对应的标准表调出对拍摄到的图像进行作用调整，完成当前高度的标定。

步骤b：根据高度传感器的门架高度值hi和角度传感器的门架倾角值α判断门架是否到位；若判断结果为否，则将门架调整到位；

若判断结果为是，则完成当前高度的标定并将根据当前高度对应的标准表对图像进行调整处理获得全景影像；

步骤c：判断当前车辆信号是否为倒车信号；若判断结果为是，则显示器分别显示全景影像和后视画面；

控制器u判断当前信号是否为倒车信号，若判断结果为是，则显示器为二分屏状态，左侧显示为全景影像状态，右侧显示后视画面；若判断结果为否，则进入步骤d。

步骤d：判断当前车辆信号是否为左转信号；若判断结果为是，则显示器分别显示全景影像和左视画面；

控制器u判断当前信号是否为左转信号，若判断结果为是，则显示器为二分屏状态，左侧显示为全景影像状态，右侧显示左视画面；若判断结果为否，则进入步骤e。

步骤e：判断当前车辆信号是否为右转信号；若判断结果为是，则显示器分别显示全景影像和右视画面；

控制器u判断当前信号是否为右转信号，若判断结果为是，则显示器为二分屏状态，左侧显示为全景影像状态，右侧显示右视画面；若判断结果为否，则进入步骤f。

步骤f：若判断结果为否，则显示器分别显示全景影像和前视画面。

此步骤即对货物进行叉货作业。

进一步地，步骤b，根据高度传感器的门架高度值hi和角度传感器的门架倾角值α判断门架是否到位的过程包括：

判断高度传感器的门架高度值hi是否位于hi-δh和hi+δh之间；

判断角度传感器的门架倾角值α是否位于α0-δα和α0+δα之间；

式中，δα和δh为预设误差值，hi为标准表对应的门架高度值。

例如，当高度为65mm时，由于预先设置的高度值，65mm需要检测60mm高度的全视环境。

利用上述影像合成方法，根据叉车货叉高度，通过摄像头将叉车前后左右的影像360°显示在驾驶室的显示屏上，并通过不同方位摄像头对叉车不同方位进行单独摄像及显示，为驾驶员提供叉车行车依据，提高了叉车作业的安全性。

综上所述，本实施例所提供的环视影像系统、标定及控制方法主要包括第一摄像头、第二摄像头、第三摄像头、第四摄像头、高度传感器和倾角传感器，第一摄像头设置于叉车外门架上，第二摄像头设置于叉车配重上，第三摄像头和第四摄像头分别对应地设置于左灯架和右灯架上，高度传感器的拉线盒设置于叉车内门架上，高度传感器的拉线端子设置于叉车外门架，倾角传感器设置于叉车外门架上。本申请公开的环视影像系统，通过四个摄像头、高度传感器以及角度传感器对货叉的高度和角度进行检测和拍摄，由控制器来对货叉叉起的高度范围内进行环视影像显示，确保在货叉的工作高度范围不会与外界发生干涉，使叉车在工作范围内无死角，保证了叉车工作时的安全性和高效性。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本实用新型。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本实用新型的精神或范围的情况下，在其它实施例中实现。因此，本实用新型将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。