工程机械的工作时间统计方法、装置、介质及设备与流程

本发明涉及统计工作时间技术领域，具体涉及一种工程机械的工作时间统计方法、装置、介质及设备。

背景技术

在很多土木工程项目中，需要大量使用工程机械，例如，挖掘机。但是由于大型工程机械采购的昂贵性，工程施工方往往采取按天或小时为单位的方式租赁工程机械。因此有效地监督工程机械，提高工程机械的利用率对于节省工程费用，加快工程进度有重要意义，同时也有助于工程项目管理人员分析决策。

目前对于工程机械工作状态分析有三种方式：1)人工监督方式，这种方式耗时而昂贵；2)使用专用监控装置，这类装置需要使用角速度传感器，gps，蓝牙等配置，并安装于工程机械上，将监控信息通过无线传输到远程服务器上分析，比较繁琐。3)基于视觉分析的方法，该方法利用传统计算机视觉目标检测方法，如提取工程机械的hog，lbp等特征，检测工程机械在视频帧中的外接矩形框；然后利用svm分类器进行二分类，判别该视频帧中工程机械为工作状态或非工作状态。由于工程机械工作时物理形态的多变性，检测到的工程机械外接矩形框(boundingbox)往往只覆盖工程机械的一部分，而后续的分析需要输入完整的工程机械子图，这样势必会影响准确度；同时，这种方法由于没有利用视频帧间信息，需要对视频的每一帧图像进行分析，计算复杂，较浪费计算资源。

技术实现要素：

针对现有技术中的缺陷，本发明提供一种工程机械的工作时间统计方法、装置、介质及设备，不仅能够提高工作时间统计的准确性，而且能够减小运算代价，节省计算资源。

第一方面，本发明提供了一种工程机械的工作时间统计方法，包括：

采集工程机械的训练数据；

对所述训练数据进行标注，获得标注文件；

采用深度学习方法，对所述标注文件进行训练，建立检测模型；

获取所述工程机械工作的视频文件；

基于所述检测模型，对所述视频文件进行检测；

根据检测结果，基于视频帧间像素差分信息，统计所述工程机械的工作时间。

可选的，所述训练数据，包括：不同场景、不同光照条件、不同姿势和不同拍摄视角中的一种或多种图片。

可选的，所述工程机械，包括：推土机、挖掘机和压路机中的任一种。

可选的，对所述训练数据进行标注的方法为：采用矩形框紧密地框住所述工程机械。

可选的，基于所述检测模型，对所述视频文件进行检测，包括：

基于所述检测模型，对所述视频文件的预设时间间隔内的一个图像帧进行工程机械检测，获得所述工程机械的外接矩形框图。

可选的，所述根据检测结果，基于视频帧间像素差分信息，统计所述工程机械的工作时间，包括：

根据所述工程机械的外接矩形框图，从相应的图像帧中裁剪出所述工程机械的子图；

利用双线性插值法，缩放所述子图，获得长宽相等的标准子图；

采用像素差分系数计算方法，计算每个时间间隔的所述标准子图的差分系数，获得差分系数数组；

采用高斯去噪方法，对所述差分系数数组进行滤波，获得精确差分系数数组；

根据所述精确差分系数数组，统计所述工程机械的工作时间。

可选的，所述根据所述精确差分系数数组，统计所述工程机械的工作时间，包括：

将所述精确差分系数数组与预设阈值进行对比；

根据对比结果，判断所述工程机械在相应的时间间隔是否处于工作状态；

根据判断结果，统计所述工程机械的工作时间。

第二方面，本发明提供一种工程机械的工作时间统计装置，包括：

采集模块，用于采集工程机械的训练数据；

标注模块，用于对所述训练数据进行标注，获得标注文件；

模型建立模块，用于采用深度学习方法，对所述标注文件进行训练，建立检测模型；

视频文件获取模块，用于获取所述工程机械工作的视频文件；

视频检测模块，用于基于所述检测模型，对所述视频文件进行检测；

时间统计模块，用于根据检测结果，基于视频帧间像素差分信息，统计所述工程机械的工作时间。

第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中的一种工程机械的工作时间统计方法。

第四方面，本发明提供一种工程机械的工作时间统计设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面中的一种工程机械的工作时间统计方法。

本发明提供了一种工程机械的工作时间统计方法，通过利用深度学习方法建立检测模型，能够检测处于各种物理状态的工程机械的图像，能够提高图像检测的准确率，进而能够提高工作时间统计的准确率；通过对视频文件进行检测，基于视频帧间像素差分信息统计工程机械的工作时间，可以只分析视频的一小部分视频帧，运算代价较小，较节省计算资源。

本发明提供的一种工程机械的工作时间统计装置、一种计算机可读存储介质和一种工程机械的工作时间统计设备，与上述一种工程机械的工作时间统计方法出于相同的发明构思，具有相同的有益效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为本发明提供的一种工程机械的工作时间统计方法的流程图；

图2为本发明提供的一种挖掘机视频的差分系数计算过程的示意图；

图3为本发明提供的一种挖掘机视频的差分系数与时间的关系图；

图4为本发明提供的一种工程机械的工作时间统计装置的示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

本发明提供了一种工程机械的工作时间统计方法、装置、介质及设备。下面结合附图对本发明的实施例进行说明。

请参考图1，图1为本发明具体实施例提供的一种工程机械的工作时间统计方法的流程图，本实施例提供的一种工程机械的工作时间统计方法，包括：

步骤s101：采集工程机械的训练数据。

步骤s102：对所述训练数据进行标注，获得标注文件。

步骤s103：采用深度学习方法，对所述标注文件进行训练，建立检测模型。

步骤s104：获取所述工程机械工作的视频文件。

步骤s105：基于所述检测模型，对所述视频文件进行检测。

步骤s106：根据检测结果，基于视频帧间像素差分信息，统计所述工程机械的工作时间。

其中，训练数据可以包括：不同场景、不同光照条件、不同姿势、不同拍摄视角等中的一种或多种图片。

训练数据是指工程机械的图像。

其中，工程机械可以为：推土机、挖掘机、压路机等中的任一种。

本发明通过利用深度学习方法建立检测模型，能够检测处于各种物理状态的工程机械的图像，能够提高图像检测的准确率，进而能够提高工作时间统计的准确率；通过基于视频帧间像素差分信息，对视频文件进行分析，统计工程机械的工作时间，可以只分析视频的一小部分视频帧，运算代价较小，较节省计算资源。

在采集完工程机械的训练数据后，需要对训练数据进行标注，标注出图片中的工程机械，以方便后续检测和计算。在标注训练数据时，可以采用矩形框紧密地框住图片中的工程机械，生成标注文件。标注文件中包含有每张工程机械图片标注后的图片。

通过采用深度学习方法训练检测模型，能够使检测模型在检测视频帧时，外接矩形框能够完整覆盖工程机械，进而能够提高检测的准确性。

对训练数据进行标注后，采用深度学习方法，基于卷积神经网络模型(mobilenet_v1的ssd)，对标注文件进行训练，获得工程机械的检测模型。

在建立好检测模型后，获取待检测的工程机械工作的视频文件，将该视频文件输入至检测模型中，对视频文件进行检测。

在本发明提供的一个具体实施例中，基于所述检测模型，对所述视频文件进行检测，包括：基于所述检测模型，对所述视频文件的预设时间间隔内的一个图像帧进行工程机械检测，获得所述工程机械的外接矩形框图。

其中，检测模型每隔预设时间间隔检测一帧工程机械图像，该检测模型输出成功检测到的工程机械的外接矩形框图。

其中，预设时间间隔可以为1秒、2秒、3秒等中的一种。例如，每隔一秒钟检测一帧工程机械图像。

相较于现有技术中的对每帧图像都进行检测，通过这种方式，能够大幅度减少对视频帧的计算，运算代价较小。

在本发明提供的一个具体实施例中，所述根据检测结果，基于视频帧间像素差分信息，统计所述工程机械的工作时间，包括：根据所述工程机械的外接矩形框图，从相应的图像帧中裁剪出所述工程机械的子图；利用双线性插值法，缩放所述子图，获得长宽相等的标准子图；采用像素差分系数计算方法，计算每个时间间隔的所述标准子图的差分系数，获得差分系数数组；采用高斯去噪方法，对所述差分系数数组进行滤波，获得精确差分系数数组；根据所述精确差分系数数组，统计所述工程机械的工作时间。

其中，子图是指图像帧中包含工程机械的最小图像。

裁剪出工程机械的子图后，利用双线性插值法，缩放子图，使相邻时间间隔的子图的长宽相等，获得多个标准子图。

再采用差分系数计算方法，计算每个时间间隔的标准子图的差分系数，获得差分系数数组。其中，差分系数计算方法为差分系数计算公式，具体公式为：

其中，ai为标准子图sⁱ的面积，为标准子图sⁱ的第r行第c列第k通道的像素灰度值，为标准子图sⁱ⁺¹的第r行第c列第k通道的像素灰度值，标准子图sⁱ表示第i个时间间隔的标准子图，标准子图sⁱ⁺¹表示第i+1个时间间隔的标准子图。

当工程机械未出现在视频帧中时，则检测模型输出外接矩形框为空，则设置差分系数ratioi＝0，并使sⁱ＝ⁱ⁺¹。

待下一次检测时刻到来时，检测对应视频帧，输出新的外接矩形框，并利用矩形框裁剪出新的子图，计算其差分系数。

每个时间间隔都会得到一个标准子图的差分系数，视频文件的所有差分系数组成差分系数数组，diffarr＝[ratio0,…,ratioi,…,ration]，数组的下标i表示第i个时间间隔，根据下标i可以计算出相应的具体时间。例如，时间间隔为1s，则i表示第i秒。

在获得差分系数数组后，需要采用高斯去噪方法，对所述差分系数数组进行滤波，获得精确差分系数数组。

当整段视频文件检测完毕后，可以生成一个高斯滤波器模板，该模板为一维数组gaussarr＝[g0,…,gfps-1]，其中，fps为视频帧率。一般视频帧率为每秒30帧。

再利用高斯滤波器模板，对差分系数数组进行高斯滑动窗口滤波，得到滤波后的差分系数数组，即精确差分系数数组。通过对差分系数数组进行过滤，对帧间信息引入高斯去噪，能够提高差分系数数组的准确性。

在本发明提供的一个具体实施例中，所述根据所述精确差分系数数组，统计所述工程机械的工作时间，包括：将所述精确差分系数数组与预设阈值进行对比；根据对比结果，判断所述工程机械在相应的时间间隔是否处于工作状态；根据判断结果，统计所述工程机械的工作时间。

其中，预设阈值可以为thresh＝75.0，将精确差分系数数组的每一个值域预设阈值进行对比，根据对比结果判断工程机械的工作状态，工作状态用si表示。如果精确差分系数的值大于预设阈值，则判断工程机械在第i时间间隔处于工作状态，si＝1；如果精确差分系数的值不大于预设阈值，则判断工程机械在第i时间间隔处于非工作状态,si＝0。

统计每个时间间隔的工程机械的工作状态，将所有的工作状态组成状态数组，根据状态数组，统计工程机械工作的总时长，也可按小时统计每小时内工程机械的工作与非工作时长。

下面以挖掘机为例进行说明(其中，时间间隔取为1s)：

第一步：采集挖掘机的训练数据，该数据集包含不同场景、不同光照条件、不同姿势、不同拍摄视角的挖掘机图片，并用标注工具标注每张挖掘机图片，用矩形框紧密地框住挖掘机，生成数据集的标注文件。

第二步：使用tensorflow深度学习框架，利用标注文件，训练一个基于mobilenet_v1的ssd卷积神经网络模型，得到挖掘机检测模型。

第三步：输入挖掘机工作视频文件，利用挖掘机检测模型，每隔一秒钟检测一帧挖掘机图像，检测模型输出成功检测到的挖掘机的外接矩形框图(boundingbox)；

第四步：对第i秒和第i+1秒的两个视频帧fⁱ和fⁱ⁺¹，利用挖掘机外接矩形框图(boundingbox)，从这两视频帧中裁剪出两个挖掘机子图，表示为子图sⁱ和子图sⁱ⁺¹。

第五步：利用双线性插值，缩放子图sⁱ⁺¹，使子图sⁱ⁺¹的长宽与子图sⁱ的长宽相等。

第六步：利用差分系数计算公式，计算sⁱ⁺¹与子图sⁱ的归一化像素绝对值差分系数ratioi，简称差分系数。挖掘机视频差分系数ratioi计算过程如图2所示。

第七步：如果挖掘机未出现在视频帧中，即模型输出外接矩形框(boundingbox)为空，则设置差分系数ratioi＝0,并使sⁱ＝sⁱ⁺¹。

第八步：待下一次检测时刻到来，检测对应视频帧，输出新的外接矩形框，并利用矩形框裁剪出新的子图，重复步骤4-8，直到完成挖掘机视频的检测。

第九步：用数组diffarr保存计算得到的一系列差分系数，形成差分系数数组，diffarr＝[ratio0,…,ratioi,…,ration]，数组的下标i表示时间，单位为秒；对长度为一小时的挖掘机工作视频做检测，得到差分系数数组diffarr与时间的关系图如图3中的黑色曲线所示。

第十步：待整段视频检测完毕，生成一个高斯滤波器模板，该模板为一维数组gaussarr＝[g0,…,gfps-1]，模板宽度为视频帧率fps，模板标准差为5。

第十一步：利用生成的高斯模板对差分系数数组进行高斯滑动窗口滤波，得到滤波后的差分系数数组：

gdiffarr＝[gratio0,…,gratioi,…,gration]

对长度为一个小时的挖掘机工作视频做检测，对差分系数数组diffarr的高斯滑窗滤波效果如图3中的白色曲线所示。

第十二步：设置阈值thresh＝75.0，将滤波后的差分系数数组gdiffarr的每一个成员gratioi与thresh比较，比较结果用状态参数si表示。如果大于阈值thresh，则判断挖掘机在第i秒钟处于工作状态，si＝1；否则判断为非工作状态，si＝0。各个si(i＝0…n)组成状态数组staarr，staarr＝[s0,…,si,…,sn]。

第十三步：根据状态数组staarr，统计挖掘机处于工作或非工作的总时长，也可按小时统计每小时内挖掘机的工作与非工作时长。

以上，为本发明提供的一种工程机械的工作时间统计方法。

基于与上述一种工程机械的工作时间统计方法相同的发明构思，与之相对应的，本发明实施例还提供了一种工程机械的工作时间统计装置，如图4所示。由于装置实施例基本相似与方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本发明提供的一种工程机械的工作时间统计装置，包括：

采集模块101，用于采集工程机械的训练数据；

标注模块102，用于对所述训练数据进行标注，获得标注文件；

模型建立模块103，用于采用深度学习方法，对所述标注文件进行训练，建立检测模型；

视频文件获取模块104，用于获取所述工程机械工作的视频文件；

视频检测模块105，用于基于所述检测模型，对所述视频文件进行检测；

时间统计模块106，用于根据检测结果，基于视频帧间像素差分信息，统计所述工程机械的工作时间。

在本发明提供的一个具体实施例中，所述训练数据，包括：不同场景、不同光照条件、不同姿势和不同拍摄视角中的一种或多种图片。

在本发明提供的一个具体实施例中，所述工程机械，包括：推土机、挖掘机和压路机中的任一种。

在本发明提供的一个具体实施例中，对所述训练数据进行标注的方法为：采用矩形框紧密地框住所述工程机械。

在本发明提供的一个具体实施例中，所述视频检测模块105，具体用于：

基于所述检测模型，对所述视频文件的预设时间间隔内的一个图像帧进行工程机械检测，获得所述工程机械的外接矩形框图。

在本发明提供的一个具体实施例中，所述时间统计模块106，包括：

裁剪单元，用于根据所述工程机械的外接矩形框图，从相应的图像帧中裁剪出所述工程机械的子图；

缩放单元，用于利用双线性插值法，缩放所述子图，获得长宽相等的标准子图；

差分系数计算单元，用于采用像素差分系数计算方法，计算每个时间间隔的所述标准子图的差分系数，获得差分系数数组；

过滤单元，用于采用高斯去噪方法，对所述差分系数数组进行滤波，获得精确差分系数数组；

统计单元，用于根据所述精确差分系数数组，统计所述工程机械的工作时间。

在本发明提供的一个具体实施例中，所述统计单元，包括：

对比子单元，用于将所述精确差分系数数组与预设阈值进行对比；

判断子单元，用于根据对比结果，判断所述工程机械在相应的时间间隔是否处于工作状态；

统计子单元，用于根据判断结果，统计所述工程机械的工作时间。

以上，为本发明提供的一种工程机械的工作时间统计装置。

基于与上述一种工程机械的工作时间统计方法相同的发明构思，与之相对应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述一种工程机械的工作时间统计。

由上述技术方案可知，本实施例提供的计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，能够利用深度学习方法建立检测模型，该检测模型能够检测处于各种物理状态的工程机械的图像，能够提高图像检测的准确率，进而能够提高工作时间统计的准确率；通过基于视频帧间像素差分信息，对视频文件进行分析，统计工程机械的工作时间，可以只分析视频的一小部分视频帧，运算代价较小，较节省计算资源。

基于与上述一种工程机械的工作时间统计方法相同的发明构思，与之相对应的，本发明实施例还提供了一种工程机械的工作时间统计设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种工程机械的工作时间统计。

由上述技术方案可知，本实施例提供的一种工程机械的工作时间统计设备，通过利用深度学习方法建立检测模型，能够检测处于各种物理状态的工程机械的图像，能够提高图像检测的准确率，进而能够提高工作时间统计的准确率；通过基于视频帧间像素差分信息，对视频文件进行分析，统计工程机械的工作时间，可以只分析视频的一小部分视频帧，运算代价较小，较节省计算资源。

本发明的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。