叉车监控方法及监控系统与流程

本发明涉及人工智能技术领域，特别涉及一种叉车监控方法及监控系统。

背景技术：

叉车是一种工业用搬运车辆，具体用于对货物进行装卸、堆垛和短距离运输作业，常用于工厂、车间、仓库、码头等大型物件的运输场合。现有技术中的叉车主要完成搬运货的功能。但是，叉车是流动性分散式机械化作业，不便于以人工方式直接对叉车的工作情况进行监控、管理和调度，同时也不便于监控和记录自身的工作状态以及叉车司机的情况，从而容易导致分工不均、互相推诿、存取货错误、盘点困难、叉车碰撞、超速行驶等问题，造成生产效率低下。

中国专利文献cn105129678a涉及一种叉车监控系统，包括无线检测装置、监控装置、速度调节装置，其中，监控装置包括数据处理模块、无线接收模块、显示模块，所述无线检测装置包括可伸缩支架、图像采集模块、控制模块、无线发送模块、测距模块，通过图像采集模块采集叉车周围的图像信息，测距模块检测叉车与周围物体之间的距离，并将图像信息，距离信息通过无线发送模块发送至无线接收模块，然后利用数据处理模块对接收的数据进行处理，根据处理结果发送控制指令至控制模块，控制模块对速度调节装置进行调节。

但是该叉车监控系统仅对叉车与周围物体进行简单的采集，并未对叉车的各项信息进行全面的分析，管理效率低下。

技术实现要素：

有鉴于此，本发明的目的是提供一种能够同时监控叉车的速度和载货量等信息、以提高管理效率的叉车监控方法及监控系统。

为了实现上述目的，本发明提供了一种叉车监控方法，包括：

获取叉车行驶过程中所拍摄的帧图像序列；

根据所述帧图像序列，获取叉车的工作状态信息，其中所述叉车的工作状态信息包括速度状态信息和载货状态信息。

作为优选，获取叉车行驶过程中所经过的场景的帧图像序列之后，所述方法还包括：

将所述帧图像序列缩放至预设尺寸；

进行稀疏采样。

作为优选，对所述预设尺寸的帧图像序列进行稀疏采样之后，所述方法还包括：

获取所述稀疏采样后的帧图像序列中的运动区域的帧图像；所述帧图像序列中的帧图像包括表征场景中同一位置的特征对应点；

对所述运动区域的帧图像进行仿射变换。

作为优选，获取叉车的工作状态信息，包括：

获取所述叉车的速度状态信息；其中所述叉车的速度状态包括速度值依次递减的第一状态、第二状态、第三状态和第四状态。

作为优选，获取叉车的速度状态信息，包括：

基于梯度直方图特征检测算法，获取所述仿射变换后的帧图像中的相应的特征对应点；

获取每对所述特征对应点的偏移距离，每对所述特征对应点的偏移距离的计算公式为：

其中，分别表示所述特征对应点在帧图像上的横坐标，分别表示所述特征对应点在帧图像上的纵坐标，di表示第i对所述特征对应点的偏移距离，i＝1,2,…,n；

对每对所述特征对应点的偏移距离进行平滑处理；

计算所述特征对应点的偏移距离，所述偏移距离的公式为：

其中，d表示所述特征对应点的实际位移，分别表示所述特征对应点在帧图像上的横坐标，分别表示所述特征对应点在帧图像上的纵坐标，i＝1,2,…,n；

基于所述平滑处理后的特征对应点的偏移距离进行尺度补偿，以获得所述叉车的实际位移，所述尺度补偿的公式为：

distance＝x×β，

其中，distance表示叉车的实际位移，x表示叉车偏移的像素数目，β表示尺度补偿参数；

根据所述补偿后的偏移距离以及所述帧图像的采集时间间隔，计算所述叉车的行驶速度。

作为优选，对每对所述特征对应点的偏移距离进行平滑处理，包括：

若n大于3，则删除di中的最大值和最小值；

若n小于等于3，则根据以下公式对偏移距离做平滑处理；

d＝0.7×d'+0.2×d”+0.1×d”'，

d表示所述叉车的偏移距离，d'表示叉车第一次的偏移距离，d”表示叉车第二次的编移距离，d”'表示叉车第三次的偏移距离。

作为优选，获取叉车的载货状态信息，包括：

建立用于确定叉车的载货状态的级联分类模型；所述级联分类模型是根据载货图像样本集合建立的，且所述载货图像样本集合包括载货状态为大的载货图像样本集合、载货状态为中的载货图像样本集合和载货状态为小的载货图像样本集合；

根据级联分类模型，获取所述叉车的载货状态信息；其中所述叉车的载货状态包括在大、中、小三种状态。

作为优选，获取所述叉车的载货状态信息进一步包括：

获取所述场景的帧图像序列中的载货区域的载货帧图像；

将所述载货帧图像与所述载货图像样本集合中的载货图像样本进行比对，根据比对结果确定所述叉车的载货状态信息。

本发明还提供一种叉车监控系统，包括：

第一获取模块，用于获取叉车行驶过程中所经过的场景的帧图像序列；

数据处理模块，用于根据所述帧图像序列，获取叉车的工作状态信息，其中所述叉车的工作状态信息包括速度状态信息和载货状态信息。

作为优选，所述系统还包括：

缩放模块，用于将所述帧图像序列缩放至预设尺寸；

采样模块，用于对缩放后的帧图像序列进行稀疏采样；

第二获取模块，用于获取所述稀疏采样的帧图像序列中的运动区域的帧图像，这些帧图像包括表征场景中同一位置的特征对应点；

变换模块，用于对这些帧图像进行仿射变换。

本发明还提供一种叉车监控系统，包括图像采集装置、监控装置和中控装置；

所述图像采集装置设置于叉车的前方；

所述监控装置包括图像处理模块、速度分析模块、载货分析模块和通信模块，所述图像处理模块对所述图像采集装置采集的图像进行处理，所述速度分析模块根据所述处理后的图像分析出速度状态信息，所述载货分析模块根据所述处理后的图像进行分析，以获取所述叉车的载货状态信息，所述通信模块将所述叉车的速度状态信息和载货状态信息通过所述通信模块发送至所述中控装置。

作为优选，所述图像采集装置包括摄像头和承载所述摄像头的云台。

与现有技术相比，本发明具有以下有益效果：本发明的技术方案根据采集的帧图像获取叉车的工作状态信息，其中所述叉车的工作状态信息包括速度状态信息和载货状态信息，能够有效排除运行过程中环境光照明暗变化、叉车运行过程中颠簸抖动等干扰因素的影响，提高了叉车运行过程中工作状态的检测精度。

附图说明

图1为本发明的叉车监控方法的实施例一的流程图；

图2为本发明的叉车监控方法的实施例二的流程图；

图3为本发明的叉车监控方法的实施例三的流程图；

图4为本发明的叉车监控方法的实施例三的级联分类模型的分类训练示意图；

图5为本发明的叉车监控方法的实施例四的流程图；

图6为本发明的叉车监控系统的实施例一的示意图；

图7为本发明的叉车监控系统的实施例二的示意图；

图8为本发明的叉车监控系统的实施例三的示意图；

图9为本发明的叉车监控系统的实施例一的示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明的叉车监控方法的实施例一的流程图，如图1所示，本实施例的叉车监控方法，具体可以包括如下步骤：

s101，获取叉车行驶过程中所拍摄的帧图像序列。

具体地，为获取叉车行驶过程中经过的场景的帧图像序列，在叉车前方设置有摄像头，以拍摄叉车所经过的场景，即叉车的运动区域及载货区域，的帧图像序列。叉车的运动区域主要包括叉车的两侧的区域。在叉车向前行驶的过程中，叉车与摄像头处于相对静止的状态，而叉车两侧的区域包括叉车所经过的路面，停放的货物等景物，这些景物相对于叉车是向后运动的状态。

s102，根据帧图像序列，获取叉车的工作状态信息，其中叉车的工作状态信息包括速度状态信息和载货状态信息。本实施例在后文将以基于计算机视觉及机器学习算法为具体实施方式为例详细说明本发明。应当理解，基于计算机视觉及机器学习算法可以包括opencv学习库算法、weka学习库算法、matlab学习库算法等等。

具体地，本实施例的叉车的工作状态信息包括叉车的速度状态信息和载货状态信息。一方面，基于计算机视觉理论可以计算出叉车的速度状态信息。计算机视觉是使用计算机及相关设备对生物视觉的一种模拟，它的主要任务是通过对采集的帧图像或视频进行处理以获得相应场景的三维信息。另一方面，基于机器学习算法可以计算出叉车的载货状态信息。机器学习算法的基本前提是算法训练，提供特定的输入数据时预测某一概率区间内的输出值。

本实施例的技术方案基于机器学习算法，获取叉车的工作状态信息，其中叉车的工作状态信息包括速度状态信息和载货状态信息，能够有效排除运行过程中环境光照明暗变化、叉车运行过程中颠簸抖动等干扰因素的影响，提高了叉车运行过程中工作状态的检测精度。

图2为本发明的叉车监控方法的实施例二的流程图，本实施例的叉车监控方法在上述实施例一的基础上，进一步更加详细地介绍本发明的技术方案。如图2所示，本实施例的叉车监控方法，具体可以包括如下步骤：

s201，获取叉车行驶过程中所拍摄的帧图像序列。

具体地，本实施例能够实现获取叉车的速度状态信息；其中叉车的速度状态包括快速、中速、慢速、静止四种状态。

其理论依据是计算机视觉理论。具体地，为获取叉车行驶过程中经过的场景的帧图像序列，在叉车前方设置有摄像头，以拍摄叉车所经过的场景，即叉车的运动区域及载货区域，的帧图像序列。

本领域技术人员应该可以知道，叉车的四种速度状态：快速、中速、慢速、静止，是一种相对的速度状态，是每个用户根据其管理制度和劳动强度的不同，而进行的自定义。在本实施例中仅提供设定速度的接口，以方便用户根据实际情况来设定四种速度状态(快速、中速、慢速、静止)的具体数值。

s202，将帧图像序列缩放至预设尺寸。

具体地，对采集的帧图像进行统一的尺度缩放，例如，可以缩放至640×480。

s203，进行稀疏采样。

具体地，对帧图像序列进行稀疏采样时，需要考虑采样的时间间隔，还需要考虑帧率，在每个帧率周期，权衡计算速度和累积误差，取帧率周期内的两固定间隔的帧图像，作为采样帧图像即可。例如，在获取叉车的速度状态信息时，每20帧图像，可以取其中第5帧图像和第11帧图像进行采样。

s204，获取稀疏采样后的帧图像序列中的运动区域的帧图像，这些帧图像包括表征场景中同一位置的特征对应点。

具体地，在摄像头所拍摄的叉车两侧的运动区域的帧图像中包括特征对应点。特征点是有强区分性的特征标志，表征相相对运动区域图像中的同一位置的两个特征点是特征对应点。特征点可以用通过梯度直方图特征检测算法检测出来。梯度直方图主要选取特征点周围特定的区域，对区域内归一化好的图像的梯度值，在各梯度量化方向上进行直方积分；基于梯度直方图生成的描述矢量可以很好地抵抗光照，准确反映该点的区分性，进而通过基于欧式距离的特征点匹配，可以找到两帧图像上的对应点。从而，能够根据特征对应点在帧图像上的偏移距离来确定叉车的实际位移，进而计算出叉车的速度状态信息。另外，获取帧图像中的运动区域的帧图像，例如，可以获取叉车左侧或右侧200×100的区域作为运动区域的帧图像。

s205，对这些帧图像进行仿射变换。

具体地，为了增强特征对应点的检测鲁棒性，本实施例采用仿射变换对抽取出的叉车旁边的运动区域进行变换。该变换过程包括图像旋转和图像倾斜，图像旋转变换的公式如下：

其中，(x,y)为原图像坐标，(x1,y1)表示旋转后的图像坐标，θ表示旋转角。

再对旋转后的图像做倾斜操作，倾斜操作公式如下：

其中，(x2,y2)表示生成的仿射图像坐标，t表示倾斜因子。

基于采样的两组帧图像，可生成两组仿射帧图像。

在具体实施时，可以取仿射变换图像的数目为15，即有15种组合。这15种组合，分别由图像沿着长边倾斜0、1/2和1/4三种状态，以及以图像左下角为原点旋转0、15、30、45和60度，进行组合而得到。

s206，基于梯度直方图特征检测算法，获取仿射变换后的帧图像中的相应的特征对应点。

s207，获取每对特征对应点的偏移距离，每对特征对应点的偏移距离的计算公式为：

其中，分别表示特征对应点在帧图像上的横坐标，分别表示特征对应点在帧图像上的纵坐标，di表示第i对特征对应点的偏移距离，i＝1,2,…,n。

s208，对每对特征对应点的偏移距离进行平滑处理。

具体地，对仿射图进行特征点抽取，并通过欧式距离匹配的方式，获取稀疏采样图中稳定的对应点，计算对应点在各自图像上的偏移，由于会有多对特征对应点组合中，因此在处理过程中，对抽取出的偏移值进行平滑处理，以过滤特征点突变值和噪声值，并完成完平均偏移距离的计算。步骤s208包括：a：若n大于3，则删除di中的最大值和最小值；b：若n小于等于3，则根据以下公式对偏移距离做平滑处理；

d＝0.7×d'+0.2×d”+0.1×d”'(4)，

其中，d表示叉车的偏移距离，d'表示叉车第一次的偏移距离，d”表示叉车第二次的编移距离，d”'表示叉车第三次的偏移距离。

s209，计算特征对应点的偏移距离，偏移距离的公式为：

其中，d表示特征对应点的实际位移，分别表示特征对应点在帧图像上的横坐标，分别表示特征对应点在帧图像上的纵坐标，i＝1,2,…,n；

s210，基于平滑处理后的特征对应点的偏移距离进行尺度补偿，以获得叉车的实际位移，尺度补偿的公式为：

distance＝x×β(6)，

其中，distance表示叉车的实际位移，x表示叉车偏移的像素数目，β表示尺度补偿参数；

例如，可以将β的值设为10，表示帧图像上位移1个像素，实际位移10厘米。本领域技术人员应该可以知道，在实际应用过程中，β的取值与叉车上摄像头的各项参数相关，可以根据实际情况进行调节。

s211，根据补偿后的偏移距离以及帧图像的采集时间间隔，计算叉车的行驶速度。

具体地，叉车的速度状态包括速度值依次递减的第一状态、第二状态、第三状态和第四状态。若叉车运行速度为第一预设速度，叉车为第一状态，也可称为快速状态；若叉车运行速度为第二预设速度，叉车为第二状态，也可以称为中速状态；若叉车运行速度为第三预设速度，叉车为第三状态，也可以称为慢速状态；若叉车运行速度为第四预设速度，叉车为第四状态，也可以称为静止状态。

例如，当叉车的速度大于90厘米/秒，可以认为叉车为快速状态；当叉车的速度为20-90厘米/秒，可以认为叉车为中速状态；当叉车的速度为6-20厘米/秒，可以认为叉车为慢速状态；当叉车的速度小于6厘米/秒，可以认为叉车为静止状态。在这里，结合了速度值的抖动情况。

在获取叉车的速度状态信息的同时，还记录时间戳，以便于累计帧图像的稀疏采样间隔时间，统计叉车各速度状态等级持续时间。

本实施例的技术方案基于计算机视觉，获取叉车的速度状态信息，通过对所采集的帧图像进行缩入、仿射变换，能够有效排除运行过程中环境光照明暗变化、叉车运行过程中颠簸抖动等干扰因素的影响，提高了叉车运行过程中速度状态的检测精度。

图3为本发明的叉车监控方法的实施例三的流程图，本实施例的叉车监控方法在上述实施例一的基础上，进一步更加详细地介绍本发明的技术方案。如图3所示，本实施例的叉车监控方法，具体可以包括如下步骤：

s301，获取叉车行驶过程中所拍摄的帧图像序列。

具体地，为获取叉车行驶过程中经过的场景的帧图像序列，在叉车前方设置有摄像头，以拍摄叉车所经过的场景，即叉车的运动区域及载货区域，的帧图像序列。叉车的运动区域主要包括叉车的两侧的区域。在叉车向前行驶的过程中，叉车与摄像头处于相对静止的状态，而叉车两侧的区域包括叉车所经过的路面，停放的货物等景物，这些景物相对于叉车是向后运动的状态。

s302，将帧图像序列缩放至预设尺寸。

具体地，对采集的帧图像进行统一的尺度缩放，例如，可以缩放至640×480。

s303，进行稀疏采样。

具体地，对帧图像序列进行稀疏采样时，需要考虑采样的时间间隔，还需要考虑帧率，在每个帧率周期，权衡计算速度和累积误差，取帧率周期内的两固定间隔的帧图像，作为采样帧图像即可。例如，在获取叉车的载货状态信息时，每20帧图像，可以取其中第2帧图像和第9帧图像进行采样。

s304，建立用于确定叉车的载货状态的级联分类模型；级联分类模型是根据载货图像样本集合建立的，且载货图像样本集合包括载货状态为大的载货图像样本集合、载货状态为中的载货图像样本集合和载货状态为小的载货图像样本集合；

根据级联分类模型，获取叉车的载货状态信息；其中叉车的载货状态包括在大、中、小三种状态。

具体地，通过设置于叉车前方的摄像头，在前期的训练过程中，可以采集多段监控视频来，来制作载货图像样本。例如，摄像头采集20段监控视频，每个监控视频约为5000帧。在这20段监视视频时，尽可能地体现工作环境的差异性，比如充分反映不同光照、不同环境以及不同载货状态的叉车工作情景。通过对监控视频中的包括叉车载货区域和定位的帧图像进行抽取、制作载货图像样本。对抽取出的载货图像样本进行分类，分为叉车载货规模大、中、小三类样本。由于叉车的载货状态就包括大、中、小三种类型，因此，这三类样本完全可以包括叉车的载货状态。在本实施例中，例如，可以制作平均每类载货图像样本数目约为2000个。如图4所示，为级联分类训练过程，对于第一级训练，将叉车载货量大的样本设置正样本，将叉车载货量中和小的样本设为负样本；对于第二级训练，将叉车载货量中设为正样本，将叉车载货量小的样设为负样本。

s305，获取场景的帧图像序列中的载货区域的载货帧图像。

具体地，当对叉车进行监控的过程中，将帧图像尺度缩放统一后，获取中心的某一区域，例如，可以是200×100的区域，为叉车的载货状态显示区，将该载货状态显示区进行定位，并抽取为新的载货帧图像。

s306，将载货帧图像与载货图像样本集合中的载货图像样本进行比对，根据比对结果确定叉车的载货状态信息。

具体地，基于级联分类模型，将载货帧图像与载货图像样本集合中的载货图像样本进行比对，以确定载货帧图像所表示的载货状态是否为大、中、小，例如，若当前载货帧图像与载货状态为大的载货图像样本集合中的样本一致，说明当前载货状态为大。

本领域技术人员应该可以知道，叉车的三种载货状态：大、中、小，是一种相对的载货状态，是每个用户根据其管理制度和劳动强度的不同，而进行的自定义。在本实施例中仅提供设定载货状态的接口，以方便用户根据实际情况来设定三种载货状态(大、中、小)的具体数值。

另外，在获取叉车的载货状态信息后，还要记录当前的时间戳，并累计帧图像的稀疏采样间隔时间，以便于统计叉车载货状态持续时间。

本实施例的技术方案基于机器学习算法，对帧图像中的载货区域进行图像抽取，并基于级联分类模型获取叉车的载货状态信息，能够有效排除运行过程中环境光照明暗变化、叉车运行过程中颠簸抖动等干扰因素的影响，提高了叉车运行过程中载货状态的检测效率。

图5为本发明的叉车监控方法的实施例四的流程图，本实施例的叉车监控方法在如图2和图3所示的实施例的基础上，进一步更加详细地介绍本发明的技术方案。如图5所示，本实施例的叉车监控方法，具体可以包括如下步骤：

s501，获取叉车行驶过程中所拍摄的帧图像序列。

具体地，为获取叉车行驶过程中经过的场景的帧图像序列，在叉车前方设置有摄像头，以拍摄叉车所经过的场景，即叉车的运动区域及载货区域，的帧图像序列。叉车的运动区域主要包括叉车的两侧的区域。在叉车向前行驶的过程中，叉车与摄像头处于相对静止的状态，而叉车两侧的区域包括叉车所经过的路面，停放的货物等景物，这些景物相对于叉车是向后运动的状态。

s502，将帧图像序列缩放至预设尺寸。

具体地，对采集的帧图像进行统一的尺度缩放，例如，可以缩放至640×480。

s503，进行稀疏采样。

具体地，对帧图像序列进行稀疏采样时，需要考虑采样的时间间隔，还需要考虑帧率，在每个帧率周期，权衡计算速度和累积误差，取帧率周期内的两固定间隔的帧图像，作为采样帧图像即可。例如，在获取叉车的速度状态信息时，每20帧图像，可以取其中第5帧图像和第11帧图像进行采样。

s504，获取稀疏采样后的帧图像序列中的运动区域的帧图像；这些帧图像包括表征场景中同一位置的特征对应点。

具体地，在摄像头所拍摄的叉车两侧的运动区域的帧图像中包括特征对应点。特征点是有强区分性的特征标志，表征相相对运动区域图像中的同一位置的两个特征点是特征对应点。特征点可以用通过梯度直方图特征检测算法检测出来。梯度直方图主要选取特征点周围特定的区域，对区域内归一化好的图像的梯度值，在各梯度量化方向上进行直方积分；基于梯度直方图生成的描述矢量可以很好地抵抗光照，准确反映该点的区分性，进而通过基于欧式距离的特征点匹配，可以找到两帧图像上的对应点。从而，能够根据特征对应点在帧图像上的偏移距离来确定叉车的实际位移，进而计算出叉车的速度状态信息。另外，获取帧图像中的运动区域的帧图像，例如，可以获取叉车左侧或右侧200×100的区域作为运动区域的帧图像。

s505，对这些帧图像进行仿射变换。

具体地，为了增强特征对应点的检测鲁棒性，本实施例采用仿射变换对抽取出的叉车旁边的运动区域进行变换。该变换过程包括图像旋转和图像倾斜，图像旋转变换的公式如下：

其中，(x,y)为原图像坐标，(x1,y1)表示旋转后的图像坐标，θ表示旋转角。

再对旋转后的图像做倾斜操作，倾斜操作公式如下：

其中，(x2,y2)表示生成的仿射图像坐标，t表示倾斜因子。

基于采样的两组帧图像，可生成两组仿射帧图像。

在具体实施时，可以取仿射变换图像的数目为15，即有15种组合。这15种组合，分别由图像沿着长边倾斜0、1/2和1/4三种状态，以及以图像左下角为原点旋转0、15、30、45和60度，进行组合而得到。

s506，基于梯度直方图特征检测算法，获取仿射变换后的帧图像中的相应的特征对应点。

s507，获取每对特征对应点的偏移距离，每对特征对应点的偏移距离的计算公式为：

其中，分别表示特征对应点在帧图像上的横坐标，分别表示特征对应点在帧图像上的纵坐标，di表示第i对特征对应点的偏移距离，i＝1,2,…,n。

s508，根据特征对应点的偏移距离以及帧图像的采集时间间隔，计算叉车的行驶速度。

具体地，获取每对特征对应点的偏移距离后，还需要对每对特征对应点的偏移距离进行平滑处理。在具体实施时，对仿射图进行特征点抽取，并通过欧式距离匹配的方式，获取稀疏采样图中稳定的对应点，计算对应点在各自图像上的偏移，由于会有多对特征对应点组合中，因此在处理过程中，对抽取出的偏移值进行平滑处理，以过滤特征点突变值和噪声值，并完成完平均偏移距离的计算。步骤s208包括：a：若n大于3，则删除di中的最大值和最小值；b：若n小于等于3，则根据以下公式对偏移距离做平滑处理；

d＝0.7×d'+0.2×d”+0.1×d”'(4)，

其中，d表示叉车的偏移距离，d'表示叉车第一次的偏移距离，d”表示叉车第二次的编移距离，d”'表示叉车第三次的偏移距离。

具体地，计算特征对应点的偏移距离，偏移距离的公式为：

其中，d表示特征对应点的实际位移，分别表示特征对应点在帧图像上的横坐标，分别表示特征对应点在帧图像上的纵坐标，i＝1,2,…,n；

具体地，基于平滑处理后的特征对应点的偏移距离进行尺度补偿，以获得叉车的实际位移，尺度补偿的公式为：

distance＝x×β(6)，

其中，distance表示叉车的实际位移，x表示叉车偏移的像素数目，β表示尺度补偿参数；

例如，可以将β的值设为10，表示帧图像上位移1个像素，实际位移10厘米。本领域技术人员应该可以知道，在实际应用过程中，β的取值与叉车上摄像头的各项参数相关，可以根据实际情况进行调节。

s509，输出叉车当前的工作状态信息，并记录当工作度状态对应的时间戳，所述工作状态包括速度状态信息和载货状态信息。

s510，获取场景的帧图像序列中的载货区域的载货帧图像。

具体地，当对叉车进行监控的过程中，将帧图像尺度缩放统一后，获取中心的某一区域，例如，可以是200×100的区域，为叉车的载货状态显示区，将该载货状态显示区进行定位，并抽取为新的载货帧图像。

s511，根据所述载货帧图像判断叉车载货状态是否为大，若是，则执行步骤s509，否则执行步骤s512。

具体地，基于级联分类模型，将载货帧图像与载货图像样本集合中的载货图像样本进行比对，以确定载货帧图像所表示的载货状态是否为大。

s512，根据所述载货帧图像确定叉车载货状态，执行步骤s609。

本实施例的技术方案基于机器学习算法，获取叉车的工作状态信息，其中叉车的工作状态信息包括速度状态信息和载货状态信息，能够有效排除运行过程中环境光照明暗变化、叉车运行过程中颠簸抖动等干扰因素的影响，提高了叉车运行过程中工作状态的检测精度。

图6为本发明的叉车监控装置的实施例一的示意图，如图6所示，本实施例的叉车监控装置，具体可以包括第一获取模块61和数据处理模块62。

第一获取模块61，用于获取叉车行驶过程中所经过的场景的帧图像序列；

数据处理模块62，用于根据帧图像序列，获取叉车的工作状态信息，其中叉车的工作状态信息包括速度状态信息和载货状态信息。

本实施例的叉车监控装置，通过采用上述模块对叉车的工作状态进行检测的实现机制与上述图1所示实施例的叉车监控方法的实现机制相同，详细可以参考上述图1所示实施例的记载，在此不再赘述。

图7为本发明的叉车监控装置的实施例二的示意图，本实施例的叉车监控装置在如图6所示的实施例一的基础上，进一步更加详细地介绍本发明的技术方案。如图7所示，本实施例的叉车监控装置，进一步可以包括：

缩放模块71，用于将帧图像序列缩放至预设尺寸；

采样模块72，用于对预设尺寸的帧图像序列进行稀疏采样。

进一步地，该系统还包括：

第二获取模块73，用于获取稀疏采样的帧图像序列中的运动区域的帧图像，这些帧图像包括表征场景中同一位置的特征对应点；

变换模块74，用于对这些帧图像进行仿射变换。

进一步地，数据处理模块72包括：

第三获取模块621，用于获取叉车的速度状态信息；其中叉车的速度状态包括快速、中速、慢速、静止四种状态。

进一步地，第三获取模块621包括：

第一获取子模块，用于基于梯度直方图特征检测算法，获取仿射变换后的帧图像中的相应的特征对应点；

第二获取子模块，用于获取每对特征对应点的偏移距离，每对特征对应点的偏移距离的计算公式为：

其中，分别表示特征对应点在帧图像上的横坐标，分别表示特征对应点在帧图像上的纵坐标，di表示第i对特征对应点的偏移距离，i＝1,2,…,n；

平滑处理子模块，用于对每对特征对应点的偏移距离进行平滑处理；

第一计算子模块，用于计算特征对应点的偏移距离，偏移距离的公式为：

其中，d表示特征对应点的实际位移，分别表示特征对应点在帧图像上的横坐标，分别表示特征对应点在帧图像上的纵坐标，i＝1,2,…,n；

补偿子模块，用于基于平滑处理后的特征对应点的偏移距离进行尺度补偿，以获得叉车的实际位移，尺度补偿的公式为：

distance＝x×β(5)，

其中，distance表示叉车的实际位移，x表示叉车偏移的像素数目，β表示尺度补偿参数；

第二计算子模块，用于根据补偿后的偏移距离以及帧图像的采集时间间隔，计算叉车的行驶速度。

平滑处理子模块，具体用于：

若n大于3，则删除di中的最大值和最小值；

若n小于等于3，则根据以下公式对偏移距离做平滑处理；

d＝0.7×d'+0.2×d”+0.1×d”'(6)，

d表示叉车的偏移距离，d'表示叉车第一次的偏移距离，d”表示叉车第二次的编移距离，d”'表示叉车第三次的偏移距离。

所述叉车的速度状态包括速度值依次递减的第一状态、第二状态、第三状态和第四状态。

本实施例的叉车监控装置，通过采用上述模块对叉车的工作状态进行检测的实现机制与上述图2所示实施例的叉车监控方法的实现机制相同，详细可以参考上述图2所示实施例的记载，在此不再赘述。

图8为本发明的叉车监控装置的实施例三的示意图，本实施例的叉车监控装置在如图6或7所示的实施例的基础上，进一步更加详细地介绍本发明的技术方案。如图8所示，本实施例的叉车监控装置，进一步可以包括：

该数据处理模块62，包括：

建立模块622，用于建立用于确定叉车的载货状态的级联分类模型；级联分类模型是根据载货图像样本集合建立的，且载货图像样本集合包括载货状态为大的载货图像样本集合、载货状态为中的载货图像样本集合和载货状态为小的载货图像样本集合；

第四获取模块623，用于根据级联分类模型，获取叉车的载货状态信息；其中叉车的载货状态包括在大、中、小三种状态。

第四获取模块623，包括：

第三获取子模块，用于获取场景的帧图像序列中的载货区域的载货帧图像；

比对子模块，用于将载货帧图像与载货图像样本集合中的载货图像样本进行比对，根据比对结果确定叉车的载货状态信息。

本实施例的叉车监控装置，通过采用上述模块对叉车的工作状态进行检测的实现机制与上述图3所示实施例的叉车监控方法的实现机制相同，详细可以参考上述图3所示实施例的记载，在此不再赘述。

图9为本发明的叉车监控装置的实施例一的示意图，如图9所示，本实施例的叉车监控装置，具体可以包括图像采集装置91、监控装置92和中控装置93；

所述图像采集装置91设置于叉车的前方；

所述监控装置92包括图像处理模块921、速度分析模块922、载货分析模块923和通信模块924，所述图像处理模块921对所述图像采集装置91采集的图像进行处理，所述速度分析模块933根据所述处理后的图像分析出速度状态信息，所述载货分析模块923根据所述处理后的图像进行分析，以获取所述叉车的载货状态信息，所述通信模块924将所述叉车的速度状态信息和载货状态信息通过所述通信模块924发送至所述中控装置93。

进一步地，所述图像采集装置91包括摄像头和承载所述摄像头的云台。

具体地，本领域技术人员应该可以知道，叉车的前方设置有两个用于承载货物的叉状装置，将图像采集装置91设置于叉车的前方，图像采集装置91可以同时采集叉车在运动过程中所经过的叉车两侧的区域，也可以同时采集叉车所承载货物的图像。这样根据叉车两侧的区域的图像，以及叉车所承载货物的图像可以同时计算出叉车的速度和载货情况。

所述监控装置92包括图像处理模块921、速度分析模块922、载货分析模块923和通信模块924，所述图像处理模块921对所述图像采集装置91采集的图像进行处理，所述速度分析模块922根据所述处理后的图像分析出速度状态信息，所述载货分析模块923根据所述处理后的图像进行分析，以获取所述叉车的载货状态信息，所述通信模块924将所述叉车的速度状态信息和载货状态信息通过所述通信模块发送至所述中控装置。

具体地，现有技术一般是根据测距模块来分析叉车与周围物体的距离，来防止叉车与其他物体发生碰撞；而本实施例的除设置了速度分析模块922对所采集的叉车两侧的区域的图像进行分析，得出叉车的行驶速度，还设置有载货分析模块923根据所述处理后的图像进行分析，以获取叉车的载货状态信息，这样使操作人员能够更加全面地了解叉车的工作状态，以实时对叉车的工作状态进行调整，此处叉车的工作状态包括叉车的速状态和载货状态。

本发明的技术方案通过设置叉车前方的图像采集装置91采集图像，由并监控装置92对图像进行处理分析，获得叉车的速度状态信息和载货状态信息，并由通信模块923将速度状态信息和载货状态信息发送至中控装置93，以便于操作人员能够全面地掌握叉车的工作状态信息，并及时对叉车的工作状态进行调整，从而提高叉车的工作效率。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。