面向叉车司机实操考核与教练的控制器档位检测方法及系统与流程

本发明涉及叉车司机实操考核与教练领域，尤其涉及一种面向叉车司机实操考核与教练的控制器档位检测方法及系统。

背景技术：

叉车指在工厂厂区等特定区域使用的专用机动工业车辆，包括平衡重式叉车、前移式叉车、侧面式叉车、插腿式叉车、托盘堆垛车和三向堆垛车等。被广泛应用于各种搬运场景，是物流搬运的主力军。叉车事故不仅会对设备本身、周围环境及设备造成严重财产损失，往往也会造成人员伤亡事故。伴随货物运输量的不断上升，叉车的保有量也不断增加，如何从源头上减少叉车事故，成为亟待解决的问题。为了减少叉车事故的发生，必须要提高叉车司机的驾驶能力，需要规范叉车的实操考核与教练过程。驾驶员通过控制叉车档把来实现叉车、叉架作业，叉车档位能够很好的反映叉车的状态。

面向叉车司机实操考核与教练的控制器档位检测，主要包含摄像系统和基于深度学习的档把识别方法。摄像系统如专利cn111594729a，利用固定夹、螺母、螺纹筒等机械机构实现摄像头的安装固定、位姿调节。档位识别方法如专利cn101813495a、cn107725768a等，采用电路设计、传感器检方法，实现对车辆档把当前档位信息的检测。

上述具体专利对比文件为：

1)“场考用微动档位识别器”，专利号cn101813495a。该发明提供一种场考用微动档位识别器，包括以下部分：印刷电路板、安装固定支架和活动导块。印刷电路板上安装有微动开关以及引出电缆接口；各微动开关的一端连接在一起，另一端则通过引出电缆接口用汽车接插件和汽车线缆分别连接到档位解码器上；所述的安装固定支架是在四个对角上分别开有4个限位滑槽的圆形、四方形或八边形的板块；活动导块是一个四方形或八边形板块，在板块中间开有一个略比拍档杆外径稍大一点的中心圆孔；印刷电路板被固定在安装固定支架下面；安装固定支架套进拍档杆通过条状固定脚板与变速箱或驾驶室固定连接，活动导块位于固定支架上面并通过3条或4条l形角码与拍档杆固定连接。本发明的识别方法与上述不同，为通过摄像头采集驾驶室内档位图像，采用深度学习技术识别出当前档把位置，通过与计算与标定档位距离来进行档位判别。

2)“一种用于车辆的档位识别装置及车辆”，专利号cn107725768a。该发明提供一种用于车辆的档位识别装置及车辆，车辆包括具有拨叉的变速箱，档位识别装置包括传感器，设于车辆的变速箱内，其具有触发开关，传感器配制成根据触发开关的状态确定拨叉所处的档位位置，输出与拨叉所处的档位位置相匹配的电压信号；控制器，与传感器通信连接，且配制成用于接收传感器输出的电压信号，并根据电压信号输出用于表征车辆的驻车机构档位的实际位置的指示信号；档位位置包括驻车档位和非驻车档位。本发明的档位识别方法与上述不同，为使用机器视觉+深度学习实现档把位置信息提取，对比标定档把坐标实现档位判断，该方法的实施要求低，适应的范围广，可在位置、角度发生一定变化的情况下仍能精确识别档把并判断其档位状态。

3)“一种可调式摄像机支架”，专利号cn111594729a。该专利通过在相机支承柱顶部设立空心立柱，空心立柱内通过螺纹杆进行传动，螺纹杆外部套设升降盘，升降盘与升降托板固定连接，通过调节螺纹筒即可实现相机升降；螺纹筒与升降托板之间通过转轴转动连接，使摄像机安装座可以旋转，并可以通过锁紧旋钮进行锁紧，实现在拍摄过程前的相机姿态调节和拍摄过程中的相机固定。本发明与上述发明不同，采用深度学习攻克了档把位置信息提取、档位判断等识别难题，该方法的实施要求低，适应的范围广，可在位置、角度发生一定变化的情况下仍能精确识别档把并判断其档位状态。

技术实现要素：

为解决上述技术问题，本发明的目的是提供一种面向叉车司机实操考核与教练的控制器档位检测方法及系统。

本发明的目的通过以下的技术方案来实现：

面向叉车司机实操考核与教练的控制器档位检测方法，包括：

a调节摄像头至对准位置并固定，调节叉车各个档把至不同档位，捕获对应的档位图像，利用maskr-cnn目标识别与图像分割框架获取并存储档把的边界框rbd坐标信息计算并存储其形心坐标作为标定档位坐标；

b获取叉车行驶过程中的图像，利用maskr-cnn目标识别与图像分割框架获取并存储此时的档把的坐标信息计算其形心坐标并存储；

c分别计算出叉车行驶实时图像中的档把坐标与标定档位坐标之间的距离，并相互比较，以使距离最小的标定档位为此时档位。

面向叉车司机实操考核与教练的控制器档位检测系统，包括：摄像头固定支架、摄像头、上位机；所述：

摄像头固定支架，用于在叉车上安装固定摄像头，能够进行微调；

摄像头，用于实时捕获各个档把所处位置图像，并上传至上位机；

上位机，用于识别上传图像中各个档把，进行档把区分及档位判断。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

在叉车行驶前，固定机位的摄像头获取车内档杆位置图像传输到上位机，通过maskr-cnn识别并存储各个档把不同档位的坐标信息，计算出不同档位下的形心坐标作为标定档位坐标，为档位判断提供基础。在叉车行驶过程中，摄像头实时采集驾驶室内图像信息，通过maskr-cnn识别出当前图像中的档把，存储其位置坐标信息，并计算其形心坐标。分别计算出当前时刻档位坐标、标定档位坐标之间的距离，并相互比较，以使距离最小的档位作为此时档位，由此实现叉车行驶过程中的档位识别。

附图说明

图1是面向叉车司机实操考核与教练的控制器档位检测方法流程图。

图2是面向叉车司机实操考核与教练的控制器档位检测方法示意图；

图3a和3b是面向叉车司机实操考核与教练的控制器档位检测系统主视、左视图；

图4是面向叉车司机实操考核与教练的控制器档位检测系统三维结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合实施例及附图对本发明作进一步详细的描述。

如图1和图2所示，分别为面向叉车司机实操考核与教练的控制器档位检测方法流程图和检测方法示意图，包括以下步骤：

步骤10系统在初次使用前，需要进行设备安装。摄像头固定支架的一端需固定在叉车车顶，另一端连接摄像头。调整摄像头位置，调节叉车各个档把至不同档位，捕获对应的档位图像。利用maskr-cnn目标识别与图像分割框架获取并存储档把的边界框12rbd坐标信息计算并存储形心11坐标作为后续档位判断基础；

步骤20系统后续使用时，摄像头获取叉车行驶过程中的图像，利用maskr-cnn目标识别与图像分割框架获取并存储此时的档把的坐标信息计算并存储其形心坐标

步骤30分别计算出当前时刻档位坐标与原始档位坐标之间的距离，并相互比较，得出此时的档位。

实施例1：驻车制动档把档位判断

上述步骤10包括：将一个摄像机安装在方向盘正上方，建立图像像素坐标系，坐标原点o为图像左上顶点，u轴正方向为水平向右、v轴正方向为垂直向下。

采集驻车制动档把不同档位的图像各i＝5张，并用maskr-cnn识别驻车制动档把、获取并存储其边界框rbd的坐标信息建立档位编号为m的档把边界框rbd-n集合h^m：

式中

则标定得到驻车制动档把m档位形心11位置为：

式中，为的均值，分别为：

则驻车制动档把标定档位坐标集合hpos-n为：

上述步骤20具体包括：固定机位的摄像头采集叉车行进过程中驾驶舱内视频并输入到上位机中，上位机按照一定的时间间隔抽取图片，使用maskr-cnn识别各个档把在当前图片中的边界框并存储边界框坐标计算得到驻车制动档把当前时刻形心坐标为：

上述步骤30具体包括：在当前图像中，识别得到n档把当前时刻形心坐标结合驻车制动档把标定档位坐标集合计算出使欧式距离最小的作为驻车制动档把当前时刻的档位：

所以当前驻车制动档把位于2号档位，即位于制动松开状态。

实施例2：叉车快慢控制档把档位判断

上述步骤10包括：将一个摄像机安装在方向盘正上方，建立图像像素坐标系，坐标原点o为图像左上顶点，u轴正方向为水平向右、v轴正方向为垂直向下。

采集叉车快慢控制档把不同档位的图像各i＝5张，并用maskr-cnn识别叉车快慢控制档把、获取并存储其边界框rbd的坐标信息建立档位编号为m的档把边界框rbd-n集合h^m：

式中

则标定得到叉车快慢控制档把m档位形心位置为：

式中，为的均值，分别为：

则叉车快慢控制档把标定档位坐标集合hpos-n为：

上述步骤20具体包括：摄像头采集驾驶过程中的档把图像，并实时输入到上位机中，上位机按照一定的时间间隔抽取图片，使用maskr-cnn识别各个档把在当前图片中的边界框并存储边界框坐标计算得到叉车快慢控制档把当前时刻形心坐标为：

上述步骤30具体包括：在当前图像中，识别得到叉车快慢控制档把当前时刻形心坐标结合驻车制动档把标定档位坐标集合计算出使欧式距离最小的作为驻车制动档把当前时刻的档位：

所以当前叉车快慢控制档把位于2号档位，即位于快速档。

如图3a、3b和图4所示，本实施例还提供了一种面向叉车司机实操考核与教练的控制器档位检测系统，包括摄像头固定支架、摄像头、上位机；所述：摄像头固定支架，用于在叉车上安装固定摄像头，能够进行微调；摄像头，用于实时捕获各个档把所处位置图像，并上传至上位机；上位机，用于识别上传图像中各个档把，进行档把区分及档位判断。

上述摄像头安装于驾驶室顶部固定支架上，摄像头水平位置为方向盘正上方且距离叉车车顶前横梁架25～35cm；摄像头主光轴与方向盘平面成85°～95°夹角，且平行于侧视面。

虽然本发明所揭露的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。