一种装卸机械工作情况分析方法、装置、设备及介质

1.本技术涉及计算机技术领域，具体而言，涉及一种装卸机械工作情况分析方法、装置、设备及介质。


背景技术：

2.装卸机械的发展趋势越来越趋向自动化、智能化、大型化、高效化、专业化和多元化。机械设备中各主要部件的工作状态直接关系到整机的工作性能和安全可靠性，为避免发生故障导致巨大的损失，对机械设备的工作进行有效监测已经逐渐引起业界的重视，装卸机械应用状态监测技术可以有效掌握设备的运行状态，及时发现异常情况，减少或避免突发性故障，提高机械安全运转率。
3.然而，常规的设备状态监测过程如图1所示，尽管不同装卸机械在功能和结构上有差别，但它们的机构和子系统组成却比较相近，都主要由走行机构、回转机构、俯仰(变幅)机构、带式输送机、液压系统、电气系统等构成，所以它们的状态监测过程和方法也具有通用性，应用的主要监测技术有振动监测、温度监测、速度监测等，状态特征参数有振动、温度、速度等。
4.但是，在监测评估中机械是不运营的，因此会降低机械的利用率。
5.因此，如何解决上述问题是目前亟需解决的问题。


技术实现要素：

6.本技术提供一种装卸机械工作情况分析方法、装置、设备及介质，旨在改善上述问题。
7.第一方面，本技术提供的一种装卸机械工作情况分析方法，所述方法包括：
8.采集装卸机械工作时的工作图像；
9.将所述工作图像输入预训练的深度神经网络模型，输出所述工作图像的质量标识值；
10.根据所述质量标识值确定所述装卸机械的工作情况。
11.在一可能的实施例中，所述预训练的深度神经网络模型的训练过程包括：
12.采集浇筑视频，所述浇筑视频包含多个浇筑循环；每一所述浇筑循环的循环周期固定；
13.将每一所述浇筑循环中的图像作为训练图像对初始模型进行训练，直至训练至损失函数值收敛，得到所述预训练的深度神经网络模型。
14.在一可能的实施例中，所述预训练的深度神经网络模型由卷积神经网络和循环神经网络构成。
15.在一可能的实施例中，所述根据所述质量标识值确定所述装卸机械的工作情况，包括：
16.查找预设质量库中所述质量标识值所对应的质量值，所述预设质量库中存储有多
个质量标识值，以及每一所述质量标识值所对应的质量值；
17.根据所述质量值的范围确定所述装卸机械的工作情况。
18.在一可能的实施例中，所述方法还包括：
19.根据所述工作情况预测所述装卸机械的作业效率。
20.第二方面，本技术提供的一种装卸机械工作情况分析装置，所述装置包括：
21.采集单元，用于采集装卸机械工作时的工作图像；
22.处理单元，用于将所述工作图像输入预训练的深度神经网络模型，输出所述工作图像的质量标识值；
23.识别单元，用于根据所述质量标识值确定所述装卸机械的工作情况。
24.在一可能的实施例中，还包括：
25.预测单元，用于根据所述工作情况预测所述装卸机械的作业效率。
26.在一可能的实施例中，所述识别单元，还用于：
27.查找预设质量库中所述质量标识值所对应的质量值，所述预设质量库中存储有多个质量标识值，以及每一所述质量标识值所对应的质量值；
28.根据所述质量值的范围确定所述装卸机械的工作情况。
29.第三方面，本技术还提供一种电子设备，包括：
30.存储器，用于存储可执行指令；
31.处理器，用于执行所述存储器中存储的可执行指令时，实现如第一方面任一项所述的装卸机械工作情况分析方法。
32.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理设备运行时执行如第一方面的任一项所述的装卸机械工作情况分析方法的步骤。
33.上述本技术提供的一种装卸机械工作情况分析方法、装置、设备及介质，本技术通过采集装卸机械工作时的工作图像；将所述工作图像输入预训练的深度神经网络模型，输出所述工作图像的质量标识值；根据所述质量标识值确定所述装卸机械的工作情况，从而使得仅通过采集装卸机械的工作图像的方式来判断该装卸机械的工作情况，能够更好的分析工作的进程，能够使生产力得到进一步提高，且无需控制装卸机械停下来进行评估，提高装卸机械的使用率。
附图说明
34.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
35.图1为现有技术中的设备状态监测过程的示意图；
36.图2为本技术第一实施例提供的一种电子设备的结构示意图；
37.图3为本技术第二实施例提供的一种装卸机械工作情况分析方法的流程图；
38.图4为本技术第三实施例提供的一种装卸机械工作情况分析装置的功能模块示意图。
具体实施方式
39.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
40.第一实施例
41.图2为本技术实施例提供的一种电子设备的结构示意图，在本技术中可以通过图2所示的示意图来描述用于实现本技术实施例的装卸机械工作情况分析方法、装置的示例的电子设备100。
42.如图2所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、图像采集装置106，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图2所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图2示出的部分组件，也可以具有图2未示出的其他组件和结构。
43.所述处理器102可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
44.应理解，在本技术实施例中的处理器102可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
45.所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质。
46.应理解，本技术实施例中的存储装置104可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，ram)可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
47.其中，在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本技术实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程
序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
48.其中，所述图像采集装置106可以是摄像头，用于采集混凝土浇筑时的图像。
49.第二实施例：
50.参照图3所示的一种装卸机械工作情况分析方法的流程图，该方法具体包括如下步骤：
51.步骤s201，采集装卸机械工作时的工作图像；
52.其中，该工作图像包括该装卸机械在工作时机械骨架的姿态。
53.作为一种实施方式，通过在装卸机械工作环境安装至少多个摄像头，以利用多个摄像头来采集工人在装卸机械工作时的图像。
54.步骤s202，将所述工作图像输入预训练的深度神经网络模型，输出所述工作图像的质量标识值；
55.其中，所述预训练的深度神经网络模型的训练过程包括：获取多个不同装卸机械工作时的历史工作图像；将所述历史工作图像作为训练图像对初始模型进行训练，直至训练至损失函数值收敛，得到所述预训练的深度神经网络模型。
56.可选地，所述预训练的深度神经网络模型由卷积神经网络和循环神经网络构成。
57.也就是说，在本技术中，采用卷积神经网络和循环神经网络分别提取图像中机械节点坐标(即机械上不同部件的坐标)和结合图像节点顺序，用于将每对对应的图像点转换为图像二维坐标，由于标定上的控制点坐标都是在全局坐标系中表示的，因此所有点云都是在全局坐标系中自动重建的，而不需要执行任何额外的坐标变换过程。先是数据集在模型上进行初步的训练调试，完成对基准模型的构建，选择训练优化器和损失函数类型，然后在训练数据集上训练并确定模型的训练参数设置。先用工人动作姿态图像weight进行测试，再通过另一组工人图像进行试验验证，最后训练模型至损失函数值收敛，得到模型。并利用时间分布层将两种网络耦合在一起，从而建立了深度学习模型。
58.步骤s203，根据所述质量标识值确定所述装卸机械的工作情况。
59.作为一种实施方式，步骤s203，包括：查找预设质量库中所述质量标识值所对应的质量值，所述预设质量库中存储有多个质量标识值，以及每一所述质量标识值所对应的质量值；根据所述质量值的范围确定所述装卸机械的工作情况。
60.其中，质量值为数值，质量标识值可以是字符串，也可以是二进制数字。
61.其中，预设质量库中还存储有不同质量值所对应的质量范围，每一质量范围对应装卸机械的一个工作状态(或工作情况)，在此，不作具体限定。
62.在一可能的实施例中，所述方法还包括：根据所述工作情况预测所述装卸机械的作业效率。
63.具体地，通过工作图像中的骨架的节点坐标和连接线判断机械的工作状态，以达到预测作业效率。
64.第三实施例：
65.参见图4所示的一种装卸机械工作情况分析装置，该装卸机械工作情况分析装置400包括：采集单元410、处理单元420和识别单元430。
66.其中，采集单元410，用于采集装卸机械工作时的工作图像；
67.处理单元420，用于将所述工作图像输入预训练的深度神经网络模型，输出所述工
作图像的质量标识值；
68.识别单元430，用于根据所述质量标识值确定所述装卸机械的工作情况。
69.在一可能的实施例中，该装卸机械工作情况分析装置100还包括：
70.预测单元，用于根据所述工作情况预测所述装卸机械的作业效率。
71.需要说明的是，装卸机械工作情况分析装置100的具体功能请参照方法实施例的描述，在此，不再赘述。
72.进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述实施例提供的任一项装卸机械工作情况分析方法的步骤。
73.本技术实施例所提供的一种装卸机械工作情况分析方法、装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
74.需要说明的是，上述实施例，可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质。半导体介质可以是固态硬盘。
75.应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，其中a,b可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
76.本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
77.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
78.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出
本技术的范围。
79.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
80.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
81.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
82.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
83.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。