传送装置异常检测方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种传送装置异常检测方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.传送装置如皮带输送机等可用于输送纸箱、包装袋等各种物料，将传送装置运用于生产线、分拣线等上面，可有效地提升工作效率。
3.但是，输送物料过程中，传送装置在上下坡、转弯拐角等地方容易发生堵转，轻则挤压损坏物料，重则导致传送装置短路从而引发安全事故。
4.现有技术中，主要是通过传送装置自带的传感器检测传送装置工作是否正常，若传送装置工作异常则强制停机。但是这种方法只有在传送装置发生严重堵转的情况下才能检测到异常，具有一定的滞后性，容易带来安全隐患。


技术实现要素：

5.本技术提供一种传送装置异常检测方法、装置、电子设备及计算机可读存储介质，旨在解决在传送装置严重堵转时才能检测到传送装置异常的问题。
6.第一方面，本技术提供一种传送装置异常检测方法，所述方法包括：
7.获取传送装置处于工作状态时的在先状态图像和在后状态图像；
8.根据所述在先状态图像和所述在后状态图像进行光流图预测处理，得到所述传送装置的第一光流图；
9.根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息。
10.在本技术一种可能的实现方式中，所述根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息，包括：
11.对所述在先状态图像、所述在后状态图像以及所述第一光流图进行叠加处理，得到所述传送装置的第一融合图；
12.调用训练后的异常检测网络根据所述第一融合图进行特征提取处理得到所述第一融合图的第一图像特征信息，并根据所述第一图像特征信息进行预测处理得到所述传送装置的异常信息，其中，所述异常信息包括所述传送装置的异常区域的坐标信息和置信度。
13.在本技术一种可能的实现方式中，所述异常信息包括所述传送装置的异常区域的坐标信息，所述根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息，之后还包括：
14.根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度，其中，所述拥堵程度用于指示所述传送装置是否处于异常状态。
15.在本技术一种可能的实现方式中，所述根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度，包括：
16.调用训练后的拥堵程度分类网络根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度。
17.在本技术一种可能的实现方式中，所述根据所述在先状态图像和所述在后状态图像进行光流图预测处理，得到所述传送装置的第一光流图，包括：
18.将所述在先状态图像和所述在后状态图像进行叠加处理，得到所述传送装置的第二融合图；
19.根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息；
20.根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图。
21.在本技术一种可能的实现方式中，所述根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息，包括：
22.调用训练后的光流图预测网络中的特征提取子网络，根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息；
23.所述根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图，包括：
24.调用训练后的光流图预测网络中的预测子网络，根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图。
25.在本技术一种可能的实现方式中，所述方法还包括：
26.获取待训练图像，其中，所述待训练图像包括传送装置处于工作状态时的第一状态图像和第二状态图像，所述待训练图像已标注实际的光流图；
27.将所述第一状态图像和所述第二状态图像进行叠加处理，得到所述传送装置的训练融合图；
28.调用预设的光流图预测网络中的特征提取子网络，根据所述训练融合图进行特征提取处理，得到所述训练融合图的特征信息；
29.调用预设的光流图预测网络中的预测子网络，根据所述训练融合图的特征信息进行预测处理，得到所述传送装置的第二光流图；
30.根据所述第二光流图和所述实际的光流图，对所述预设的光流图预测网络进行训练，得到所述训练后的光流图预测网络。
31.第二方面，本技术提供一种传送装置异常检测装置，所述传送装置异常检测装置包括：
32.获取单元，用于获取传送装置处于工作状态时的在先状态图像和在后状态图像；
33.预测单元，用于根据所述在先状态图像和所述在后状态图像进行光流图预测处理，得到所述传送装置的第一光流图；
34.检测单元，用于根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息。
35.在本技术一种可能的实现方式中，所述检测单元具体还用于：
36.对所述在先状态图像、所述在后状态图像以及所述第一光流图进行叠加处理，得到所述传送装置的第一融合图；
37.调用训练后的异常检测网络根据所述第一融合图进行特征提取处理得到所述第
一融合图的第一图像特征信息，并根据所述第一图像特征信息进行预测处理得到所述传送装置的异常信息，其中，所述异常信息包括所述传送装置的异常区域的坐标信息和置信度。
38.在本技术一种可能的实现方式中，所述异常信息包括所述传送装置的异常区域的坐标信息，在所述根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息的步骤之后，在所述检测单元具体还用于：
39.根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度，其中，所述拥堵程度用于指示所述传送装置是否处于异常状态。
40.在本技术一种可能的实现方式中，所述检测单元具体还用于：
41.调用训练后的拥堵程度分类网络根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度。
42.在本技术一种可能的实现方式中，所述预测单元具体还用于：
43.将所述在先状态图像和所述在后状态图像进行叠加处理，得到所述传送装置的第二融合图；
44.根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息；
45.根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图。
46.在本技术一种可能的实现方式中，所述预测单元具体还用于：
47.调用训练后的光流图预测网络中的特征提取子网络，根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息；
48.调用训练后的光流图预测网络中的预测子网络，根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图。
49.在本技术一种可能的实现方式中，所述传送装置异常检测装置还包括训练单元，所述训练单元具体用于：
50.获取待训练图像，其中，所述待训练图像包括传送装置处于工作状态时的第一状态图像和第二状态图像，所述待训练图像已标注实际的光流图；
51.将所述第一状态图像和所述第二状态图像进行叠加处理，得到所述传送装置的训练融合图；
52.调用预设的光流图预测网络中的特征提取子网络，根据所述训练融合图进行特征提取处理，得到所述训练融合图的特征信息；
53.调用预设的光流图预测网络中的预测子网络，根据所述训练融合图的特征信息进行预测处理，得到所述传送装置的第二光流图；
54.根据所述第二光流图和所述实际的光流图，对所述预设的光流图预测网络进行训练，得到所述训练后的光流图预测网络。
55.第三方面，本技术还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时执行本技术提供的任一种传送装置异常检测方法中的步骤。
56.第四方面，本技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的传送装置异常检测方法中的步骤。
57.本技术通过获取传送装置处于工作状态时的在先状态图像和在后状态图像；根据
在先状态图像和在后状态图像进行光流图预测处理，得到传送装置的第一光流图；根据在先状态图像、在后状态图像以及第一光流图进行检测处理，得到传送装置的异常信息。第一方面，针对光流图可以抓住物体运动信息的特点，通过利用逆向思维，使用光流信息(即第一光流图)来标记运动物体，通过检测非运动的载货传送装置(如皮带机)，来实现异常传送装置(如拥堵皮带机)的检测。第二方面，通过融合传送装置的状态图像和光流图代替单纯图像进行预测，增强特征的表达能力，提高了传送装置异常检测的精度。第三方面，由于是基于图像进行检测，无需依赖传感器感应，因此可以针对及时地检测出处于异常状态的传送装置，避免了现有传感器检测方案的滞后性问题。
附图说明
58.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
59.图1是本技术实施例所提供的传送装置异常检测系统的场景示意图；
60.图2是本技术实施例中提供的传送装置异常检测方法的一种流程示意图；
61.图3是本技术实施例中提供的传送装置异常检测方法的应用场景示意图；
62.图4是本技术实施例中提供的步骤20的一个实施例流程示意图；
63.图5是本技术实施例中提供的步骤30的一个实施例流程示意图；
64.图6是本技术实施例中提供的传送装置异常检测装置的一个实施例结构示意图；
65.图7是本技术实施例中提供的电子设备的一个实施例结构示意图。
具体实施方式
66.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
67.在本技术实施例的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本技术实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
68.为了使本领域任何技术人员能够实现和使用本技术，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本技术。在其它实例中，不会对公知的过程进行详细阐述，以避免不必要的细节使本技术实施例的描述变得晦涩。因此，本技术并非旨在限于所示的实施例，而是与符合本技术实施例所公开的原理和特征的最广范围相一致。
69.本技术实施例提供一种传送装置异常检测方法、装置、电子设备和计算机可读存储介质。其中，该传送装置异常检测装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
70.首先，在介绍本技术实施例之前，先介绍下本技术实施例关于应用背景的相关内容。
71.传送装置(如皮带输送机，简称皮带机)由于可以用于输送纸箱、包装袋等各种物料，而被广泛应用于各种场景。皮带机输送平稳，物料与输送带没有相对运动，能够避免对输送物的损坏。皮带机具有结构简单，便于维护，能耗较小，使用成本低等特点。因此皮带机在物流中转场被广泛应用。输送货物过程中，皮带机在上下坡、转弯拐角等地方容易发生堵转，轻则挤压损坏货物，重则导致皮带机电机短路从而引发安全事故。
72.现有技术中，皮带机自带传感器检测皮带机工作是否正常，若皮带机工作异常则会强制停机，但是这种方法只有在发生严重堵转的情况下才能检测到异常，具有一定的滞后性，带来安全隐患。
73.基于现有的相关技术存在的上述缺陷，本技术实施例提供了传送装置异常检测方法，至少在一定程度上克服现有的相关技术所存在的缺陷。
74.本技术实施例传送装置异常检测方法的执行主体可以为本技术实施例提供的传送装置异常检测装置，或者集成了该传送装置异常检测装置的服务器设备、物理主机或者用户设备(user equipment，ue)等不同类型的电子设备，其中，传送装置异常检测装置可以采用硬件或者软件的方式实现，ue具体可以为智能手机、平板电脑、笔记本电脑、掌上电脑、台式电脑或者个人数字助理(personal digital assistant，pda)等终端设备。
75.该电子设备可以采用单独运行的工作方式，或者也可以采用设备集群的工作方式，通过应用本技术实施例提供的传送装置异常检测方法，可以提高传送装置异常检测的精度，无需依赖传感器感应，因此可以针对及时地检测出处于异常状态的传送装置，避免了现有传感器检测方案的滞后性问题。
76.本技术实施例提供的传送装置异常检测方法可以通过计算机视觉技术实现。
77.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
78.本技术实施例中，所谓传送装置异常检测，是指从包含传送装置的图像中提取图像的特征，根据图像的特征识别出图像中所包含的传送装置是否出现异常(如，对包含皮带输送机的分拣区域图像进行特征提取，并根据提取的图像特征识别出图像中所包含的皮带输送机是否出现拥堵等。又如，对包含皮带输送机的生产区域图像进行特征提取，并根据提取的图像特征识别出图像中所包含的皮带输送机是否出现破损等)，该传送装置的异常检测结果对某些应用场景，如在工业生产中提高生产效率和生产安全性、在快件分拣中提高分拣效率和分拣安全性等有着积极的意义。
79.参见图1，图1是本技术实施例所提供的传送装置异常检测系统的场景示意图。其中，该传送装置异常检测系统可以包括电子设备100，电子设备100中集成有传送装置异常
检测装置。例如，该电子设备可以获取传送装置处于工作状态时的在先状态图像和在后状态图像；根据所述在先状态图像和所述在后状态图像进行光流图预测处理，得到所述传送装置的第一光流图；根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息。
80.另外，如图1所示，该传送装置异常检测系统还可以包括存储器200，用于存储数据，如存储图像数据、视频数据，例如部署在特定场景区域(如分拣场地)的摄像头在一段时间拍摄到的图像数据、视频数据等。
81.需要说明的是，图1所示的传送装置异常检测系统的场景示意图仅仅是一个示例，本技术实施例描述的传送装置异常检测系统以及场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着传送装置异常检测系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
82.下面，开始介绍本技术实施例提供的传送装置异常检测方法，本技术实施例中以电子设备作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体。
83.参照图2，图2是本技术实施例提供的传送装置异常检测方法的一种流程示意图。需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。该传送装置异常检测方法包括步骤s10～s30，其中：
84.s10、获取传送装置处于工作状态时的在先状态图像和在后状态图像。
85.其中，传送装置用于批量输送物品的装置，如，皮带输送机、胶带输送机等等。本技术实施例的方法适用于各种应用场景的输送装置的异常检测；例如，在生产线中用于输送生产物料的胶带输送机。又如，地铁安检中用于输送安检物品的皮带输送机。再如，物流中转场分拣区域中用于输送物流包裹的皮带输送机。如图3所示，图3是申请实施例中提供的传送装置异常检测方法的应用场景示意图。
86.其中，在先状态图像是指传送装置处于工作状态时的状态图像。在后状态图像是指传送装置处于工作状态时的状态图像。在先状态图像与在后状态图像的区别在于：在先状态图像是传送装置在第一时刻的状态图像，在后状态图像是传送装置在第二时刻的状态图像；其中，第二时刻滞后于第一时刻。
87.具体地，在实际应用中，应用本技术实施例提供的传送装置异常检测方法的电子设备，在硬件上可直接包括传送装置所处场景区域(如地铁安检区域、物流中转场的分拣区域)的摄像头(该摄像头主要用于采集包含传送装置的图像)，并在本地存储该摄像头拍摄得到的图像，可在电子设备内部直接读取；或者，电子设备也可与该摄像头建立网络连接，并根据该网络连接从该摄像头在线获取该摄像头得到的图像；或者，电子设备也可从存储有该摄像头拍摄得到的图像的相关存储介质，读取出该摄像头拍摄得到的图像，具体获取方式在此不做限定。
88.其中，摄像头可根据预设的拍摄方式拍摄图像，例如可设置拍摄高度、拍摄方向或者拍摄距离，其具体拍摄方式可根据摄像头本身进行调节，具体在此不做限定。摄像头拍摄得到的多帧图像，可通过时间线组成视频。
89.为了方便理解，后续以检测物流中转场分拣区域中用于输送分拣货物的皮带输送机(后续简称皮带机)是否异常为例。
90.s20、根据所述在先状态图像和所述在后状态图像进行光流图预测处理，得到所述传送装置的第一光流图。
91.其中，第一光流图是指通过预测得到的传送装置的光流图。
92.请参照图4，图4是本技术实施例中提供的步骤20的一个实施例流程示意图。在本技术的一些实施例中，步骤s20具体可以包括以下步骤s21～s23，其中：
93.s21、将所述在先状态图像和所述在后状态图像进行叠加处理，得到所述传送装置的第二融合图。
94.其中，第二融合图是指对在先状态图像和在后状态图像进行叠加处理后，所得到融合图。
95.例如，将在先状态图像[r1,g1,b1]和在后状态图像[r2,g2,b2]进行叠加为6通道的融合图[r1,g1,b1,r2,g2,b2]。
[0096]
s22、根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息。
[0097]
其中，第二图像特征信息是指对第二融合图进行特征提取处理后所得到的图像特征信息。
[0098]
具体地，在一些实施例中，可以采用经过深度学习后的光流图预测网络来预测传送装置的第一光流图；其中，光流图预测网络(若没有特别指明，本文中所简称的光流图预测网络是指训练后的光流图预测网络。)可以通过以下步骤a1～a5训练得到。
[0099]
光流图预测网络可以包括特征提取子网络、预测子网络。
[0100]
特征提取子网络，用于根据第二融合图输出第二融合图的第二图像特征信息。特征提取子网络以第二融合图作为输入，对第二融合图进行卷积操作，以实现对第二融合图进行特征提取得到第二图像特征信息。
[0101]
预测子网络，用于根据第二图像特征信息输出传送装置的第一光流图。预测子网络以第二图像特征信息作为输入，根据第二图像特征信息进行光流图预测处理，确定传送装置的第一光流图。
[0102]
此时，步骤s22可以由光流图预测网络中的特征提取子网络来实现，即步骤s22具体可以包括：调用训练后的光流图预测网络中的特征提取子网络，根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息。
[0103]
例如，将皮带机的第二融合图输入光流图预测网络中，以调用光流图预测网络中的特征提取子网络，根据第二融合图进行卷积操作，以实现对第二融合图进行特征提取得到第二融合图的第二图像特征信息。
[0104]
s23、根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图。
[0105]
对应地，步骤s23具体可以由光流图预测网络中的预测子网络来实现，即步骤s23具体可以包括：调用训练后的光流图预测网络中的预测子网络，根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图。
[0106]
为了方便理解，接以上步骤s22的例子继续说明。例如，光流图预测网络中的特征提取子网络，对第二融合图进行特征提取得到第二融合图的第二图像特征信息后，将第二图像特征信息输入至光流图预测网络的预测子网络中，以调用光流图预测网络中的预测子
网络，根据第二图像特征信息进行光流图预测处理，确定皮带机的光流图，从而得到皮带机的第一光流图。
[0107]
由以上内容可以看出，由于光流图预测网络是经过深度学习训练得到，因此训练后的光流图预测网络，可以充分学习传送装置在一段时间内先后两个图像特征、与传送装置的光流图之间的特征关系，从而保证了第一光流图的预测精度。由于光流图能在一定程度上反映物体运动状况，因此准确的第一光流图可以更精确地体现传送装置上的物品的运动情况，为后续确定传送装置是否异常的确定提供了精准的数据依据。
[0108]
s30、根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息。
[0109]
其中，异常信息是用于表征传送装置是否出现拥堵等异常情况的相关信息，具体可包括指示传送装置是否处于异常状态，还可包括处于异常状态的传送装置识别号、传送装置的异常区域的坐标信息和置信度、对应的在后状态图像的采集时间等中的一种或多种。
[0110]
在本技术的一些实施例中，步骤s30具体可以包括：对所述在先状态图像、所述在后状态图像以及所述第一光流图进行叠加处理，得到所述传送装置的第一融合图；根据所述第一融合图进行特征提取处理得到所述第一融合图的第一图像特征信息；根据所述第一图像特征信息进行预测处理得到所述传送装置的异常信息。
[0111]
具体地，可以采用经过深度学习后的根据在先状态图像、在后状态图像以及第一光流图进行检测处理，得到传送装置的异常信息。请参照图5，图5是本技术实施例中提供的步骤30的一个实施例流程示意图。即在本技术的一些实施例中，步骤s30具体可以包括步骤s31～s32，其中：
[0112]
s31、对所述在先状态图像、所述在后状态图像以及所述第一光流图进行叠加处理，得到所述传送装置的第一融合图。
[0113]
其中，第一融合图是指对在先状态图像、在后状态图像和第一光流图进行叠加处理后，所得到融合图。
[0114]
例如，将在先状态图像[r1,g1,b1]、在后状态图像[r2,g2,b2]和第一光流图[r3,g3,b3]进行叠加为9通道的融合图[r1,g1,b1,r2,g2,b2,r3,g3,b3]。
[0115]
s32、调用训练后的异常检测网络根据所述第一融合图进行特征提取处理得到所述第一融合图的第一图像特征信息，并根据所述第一图像特征信息进行预测处理得到所述传送装置的异常信息。
[0116]
其中，异常信息包括传送装置的异常区域的坐标信息和置信度。
[0117]
第一图像特征信息是指对第一融合图进行特征提取处理后所得到的图像特征信息。
[0118]
例如，首先，基于训练数据集(包括多张皮带机的融合图)，对预设的异常检测网络进行训练，使得预设的异常检测网络学习到皮带机的(在先状态图像、在后状态图像和光流图的)融合图与异常状态(如是否拥堵)之间的特征关系，从而得到训练后的异常检测网络。此时，异常检测网络可以根据皮带机的(在先状态图像、在后状态图像和光流图的)融合图，检测出皮带机是否出现拥堵区域情况。其中，预设的异常检测网络包括但不限于是卷积神经网络，比如可以是yolov3、ssd网络等。具体地，可以采用模型参数为默认值的开源检测网
络作为预设的异常检测网络。
[0119]
由以上内容可以看出，由于训练后的异常检测网络经过深度学习训练得到，因此训练后的异常检测网络可以充分学习传送装置的融合图与异常状态(如是否拥堵)之间的特征关系，通过训练后的异常检测网络，可以保证能准确地检测出传送装置是否处于的异常状态。
[0120]
然后，将第一融合图输入至训练后的异常检测网络中，以调用训练后的异常检测网络根据第一融合图进行特征提取处理得到第一融合图的第一图像特征信息，并根据第一图像特征信息进行预测处理得到传送装置的异常信息。如，最终可以确定并输出：传送装置处于异常状态，处于异常状态的传送装置识别号、传送装置的异常区域的坐标信息和置信度、对应的在后状态图像的采集时间等。以供相关的管理人员可以根据传送装置的异常信息，及时针对异常的传送装置进行处理，避免发生严重损失或危险。
[0121]
由以上内容可以看出，通过获取传送装置处于工作状态时的在先状态图像和在后状态图像；根据在先状态图像和在后状态图像进行光流图预测处理，得到传送装置的第一光流图；根据在先状态图像、在后状态图像以及第一光流图进行检测处理，得到传送装置的异常信息。第一方面，针对光流图可以抓住物体运动信息的特点，通过利用逆向思维，使用光流信息(即第一光流图)来标记运动物体，通过检测非运动的载货传送装置(如皮带机)，来实现异常传送装置(如拥堵皮带机)的检测。第二方面，通过融合传送装置的状态图像和光流图代替单纯图像进行预测，增强特征的表达能力，提高了传送装置异常检测的精度。第三方面，由于是基于图像进行检测，无需依赖传感器感应，因此可以针对及时地检测出处于异常状态的传送装置，避免了现有传感器检测方案的滞后性问题。
[0122]
在步骤s32中，异常检测网络只能针对图像初步地检测出传送装置处于异常、或未处于异常的两种状态检测。
[0123]
为了进一步提升传送装置异常检测的精度，在本技术的一些实施例中，进一步根据在步骤s30所确定的传送装置的异常区域的坐标信息，检测异常区域的拥堵程度。即，在步骤s30或步骤s32之后，该传送装置异常检测方法还包括：根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度。
[0124]
其中，步骤s30或或步骤s32所确定的异常信息包括传送装置的异常区域的坐标信息。
[0125]
其中，拥堵程度用于指示传送装置是否处于异常状态。如，拥堵程度可以分为皮带机空、皮带机输送货物、皮带机轻度拥堵、皮带机中度拥堵、皮带机重度拥堵共5中类别。当拥堵程度为皮带机轻度拥堵、皮带机中度拥堵、或皮带机重度拥堵用于指示传送装置处于异常状态。当拥堵程度为皮带机空、皮带机输送货物用于指示传送装置未处于异常状态。
[0126]
具体地，可以采用经过深度学习后的拥堵程度分类网络，根据异常区域的坐标信息进行状态检测处理，得到传送装置的拥堵程度。即“根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度”的步骤，具体可以包括：调用训练后的拥堵程度分类网络根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度。
[0127]
例如，首先，基于训练数据集(包括多张包含传送装置拥堵的位置区域图像)，对预设的拥堵程度分类网络进行训练，使得预设的拥堵程度分类网络学习到传送装置处于不同
拥堵程度时的特征，从而得到训练后的拥堵程度分类网络。此时，拥堵程度分类网络可以根据包含传送装置某个位置区域的图像，检测出传送装置出现拥堵区域的拥堵程度。其中，预设的拥堵程度分类网络包括但不限于是卷积神经网络，比如可以是resnet、vgg网络等。具体地，可以采用模型参数为默认值的开源分类网络作为预设的拥堵程度分类网络。
[0128]
在预设的拥堵程度分类网络的训练过程中，需要针对预设的拥堵程度分类网络根据异常区域的坐标信息预测的拥堵程度、与实际标注的拥堵程度，确定并根据预设的拥堵程度分类网络的总损失值，更新预设的拥堵程度分类网络的模型参数。其中，预设的拥堵程度分类网络的总损失值可以通过如下公式(1)确定。
[0129][0130]
其中，l表示预设的拥堵程度分类网络的总损失值，m表示拥堵程度的类别数量，y
ic
表示指示变量(0或1，如果样本i预测得到类别与样本类别c相同为1、否则为0)，p
ic
表示观测样本i属于类别c的预测概率。
[0131]
然后，将异常区域的坐标信息输入至训练后的拥堵程度分类网络中，以调用训练后的拥堵程度分类网络根据异常区域的坐标信息进行特征提取处理，得到异常区域的特征信息；并根据异常区域的特征信息进行分类回归处理，确定传送装置的拥堵程度。
[0132]
以一具体例子进行说明。例如，考虑到检测网络(步骤s32中训练后的异常检测网络预测得到传送装置的异常信息)存在误检等问题，为进一步提升方案准确率，使用拥堵皮带机坐标将融合图中的拥堵区域裁剪出来(即步骤s32中检测到的异常区域的坐标信息)，并调整好裁剪出来的图像大小。将裁剪出来并调整后的图像送入训练后的resnet分类网络(即拥堵程度分类网络)，最后输出5个类别，分别是：皮带机空、皮带机输送货物、皮带机轻度拥堵、皮带机中度拥堵、皮带机重度拥堵。
[0133]
由以上内容可以看出，通过进一步根据传送装置的异常区域的坐标信息，检测异常区域的拥堵程度，可以提高传送装置异常检测的精度。避免了只能针对图像初步地检测出传送装置处于异常、或未处于异常的两种状态检测，而导致误判率高的问题。
[0134]
在本技术的一些实施例中，光流图预测网络通过以下步骤a1～a5训练得到，其中：
[0135]
a1、获取待训练图像。
[0136]
其中，待训练图像已标注实际的光流图。
[0137]
待训练图像包括传送装置处于工作状态时的第一状态图像和第二状态图像。第一状态图像是指用于训练的、传送装置处于工作状态时的状态图像。第二状态图像是指传用于训练的、送装置处于工作状态时的状态图像。其中，第一状态图像的获取时间滞后于第第二状态图像的获取时间。
[0138]
其中，在网络模型训练阶段所提及的传送装置，与在光流图预测网络实际应用阶段所提及的传送装置可以是同类型的不同一传送装置。如，网络模型训练阶段采用皮带机1，在光流图预测网络实际应用阶段用于预测皮带机的光流图。为了提高光流图预测网络的预测精度，在本技术实施例中网络模型训练阶段、与传送装置异常检测阶段采用同一传送装置。
[0139]
例如，采集皮带机在一个时间段内的先后两个状态的图像，以作为待训练图像(即分别作为第一状态图像和第二状态图像)。其中，可以进一步结合到皮带机的实际运行速
度，设置采集时间间隔，以实现通过图像充分体现出皮带机是否出现拥堵等异常。如皮带机的实际运行速度较快时设置采集时间间隔为3秒、皮带机的实际运行速度较慢时设置采集时间间隔为6秒。
[0140]
a2、将所述第一状态图像和所述第二状态图像进行叠加处理，得到所述传送装置的训练融合图。
[0141]
其中，训练融合图是指对第一状态图像和第二状态图像进行叠加处理后，所得到融合图。
[0142]
例如，将第一状态图像[r1,g1,b1]和第二状态图像[r2,g2,b2]进行叠加为6通道的融合图[r1,g1,b1,r2,g2,b2]。
[0143]
a3、调用预设的光流图预测网络中的特征提取子网络，根据所述训练融合图进行特征提取处理，得到所述训练融合图的特征信息。
[0144]
其中，预设的光流图预测网络包括但不限于是卷积神经网络，比如flownetsimple、flownetcorr、flownet2.0等。
[0145]
在本技术的一些实施例中，预设的光流图预测网络包括特征提取子网络、预测子网络。其中，特征提取子网络、预测子网络的作用，以及网络的输入、输出可以参照以上步骤s22中的阐述，在此不再赘述。
[0146]
例如，将训练融合图输入预设的光流图预测网络中，以调用预设的光流图预测网络中的特征提取子网络，根据训练融合图进行卷积操作，以实现对训练融合图进行特征提取得到训练融合图的特征信息。
[0147]
a4、调用预设的光流图预测网络中的预测子网络，根据所述训练融合图的特征信息进行预测处理，得到所述传送装置的第二光流图。
[0148]
其中，第二光流图是指在进行模型训练时，通过预设的光流图预测网络预测得到的传送装置的光流图。
[0149]
为了方便理解，接以上步骤a3的例子继续说明。例如，预设的光流图预测网络中的特征提取子网络，对训练融合图进行特征提取得到训练融合图的特征信息后，将训练融合图的特征信息输入至预设的光流图预测网络的预测子网络中，以调用预设的光流图预测网络中的预测子网络，根据训练融合图的特征信息进行光流图预测处理，确定传送装置的光流图，从而得到传送装置的第二光流图。
[0150]
a5、根据所述第二光流图和所述实际的光流图，对所述预设的光流图预测网络进行训练，得到所述训练后的光流图预测网络。
[0151]
具体地，首先，根据第二光流图和实际的光流图，确定预设的光流图预测网络的训练损失值。然后，根据训练损失值，更新预设的光流图预测网络的模型参数，直至预设的光流图预测网络收敛，得到训练后的光流图预测网络。此时，光流图预测网络可以根据传送装置在某时段内的先后两张图像预测出传送装置的光流图。
[0152]
例如，可以通过如下公式(2)确定预设的光流图预测网络的训练损失值。
[0153][0154]
其中，l1表示预设的光流图预测网络的训练损失值，(u，v)表示第二光流图，(ug，vg)表示实际的光流图。
[0155]
由以上内容可以看出，将待训练图像作为输入特征，将相应的传送装置的第二光流图作为期望的输出特征迭代的进行模型训练，直至迭代停止，得到训练后的光流图预测网络。使得后续可以直接调用训练后的光流图预测网络，根据传送装置处于某时段内的先后两张图像预测出传送装置的光流图。由于训练后的光流图预测网络经过深度学习训练得到，因此训练后的光流图预测网络可以充分学习传送装置的特征信息，因此保证了光流图预测网络的光流图预测精度。
[0156]
为了更好实施本技术实施例中传送装置异常检测方法，在传送装置异常检测方法基础之上，本技术实施例中还提供一种传送装置异常检测装置，如图6所示，为本技术实施例中传送装置异常检测装置的一个实施例结构示意图，该传送装置异常检测装置600包括：
[0157]
获取单元601，用于获取传送装置处于工作状态时的在先状态图像和在后状态图像；
[0158]
预测单元602，用于根据所述在先状态图像和所述在后状态图像进行光流图预测处理，得到所述传送装置的第一光流图；
[0159]
检测单元603，用于根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息。
[0160]
在本技术一种可能的实现方式中，所述检测单元603具体还用于：
[0161]
对所述在先状态图像、所述在后状态图像以及所述第一光流图进行叠加处理，得到所述传送装置的第一融合图；
[0162]
调用训练后的异常检测网络根据所述第一融合图进行特征提取处理得到所述第一融合图的第一图像特征信息，并根据所述第一图像特征信息进行预测处理得到所述传送装置的异常信息，其中，所述异常信息包括所述传送装置的异常区域的坐标信息和置信度。
[0163]
在本技术一种可能的实现方式中，所述异常信息包括所述传送装置的异常区域的坐标信息，在所述根据所述在先状态图像、所述在后状态图像以及所述第一光流图进行检测处理，得到所述传送装置的异常信息的步骤之后，在所述检测单元603具体还用于：
[0164]
根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度，其中，所述拥堵程度用于指示所述传送装置是否处于异常状态。
[0165]
在本技术一种可能的实现方式中，所述检测单元603具体还用于：
[0166]
调用训练后的拥堵程度分类网络根据所述异常区域的坐标信息进行状态检测处理，得到所述传送装置的拥堵程度。
[0167]
在本技术一种可能的实现方式中，所述预测单元602具体还用于：
[0168]
将所述在先状态图像和所述在后状态图像进行叠加处理，得到所述传送装置的第二融合图；
[0169]
根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息；
[0170]
根据所述第二图像特征信息进行预测处理，得到所述传送装置的第一光流图。
[0171]
在本技术一种可能的实现方式中，所述预测单元602具体还用于：
[0172]
调用训练后的光流图预测网络中的特征提取子网络，根据所述第二融合图进行特征提取处理，得到所述第二融合图的第二图像特征信息；
[0173]
调用训练后的光流图预测网络中的预测子网络，根据所述第二图像特征信息进行
预测处理，得到所述传送装置的第一光流图。
[0174]
在本技术一种可能的实现方式中，所述传送装置异常检测装置还包括训练单元(图中未示出)，所述训练单元具体用于：
[0175]
获取待训练图像，其中，所述待训练图像包括传送装置处于工作状态时的第一状态图像和第二状态图像，所述待训练图像已标注实际的光流图；
[0176]
将所述第一状态图像和所述第二状态图像进行叠加处理，得到所述传送装置的训练融合图；
[0177]
调用预设的光流图预测网络中的特征提取子网络，根据所述训练融合图进行特征提取处理，得到所述训练融合图的特征信息；
[0178]
调用预设的光流图预测网络中的预测子网络，根据所述训练融合图的特征信息进行预测处理，得到所述传送装置的第二光流图；
[0179]
根据所述第二光流图和所述实际的光流图，对所述预设的光流图预测网络进行训练，得到所述训练后的光流图预测网络。
[0180]
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
[0181]
由于该传送装置异常检测装置可以执行本技术如图1至图5对应任意实施例中传送装置异常检测方法中的步骤，因此，可以实现本技术如图1至图5对应任意实施例中传送装置异常检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
[0182]
此外，为了更好实施本技术实施例中传送装置异常检测方法，在传送装置异常检测方法基础之上，本技术实施例还提供一种电子设备，参阅图7，图7示出了本技术实施例电子设备的一种结构示意图，具体的，本技术实施例提供的电子设备包括处理器701，处理器701用于执行存储器702中存储的计算机程序时实现如图1至图5对应任意实施例中传送装置异常检测方法的各步骤；或者，处理器701用于执行存储器702中存储的计算机程序时实现如图7对应实施例中各单元的功能。
[0183]
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器702中，并由处理器701执行，以完成本技术实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。
[0184]
电子设备可包括，但不仅限于处理器701、存储器702。本领域技术人员可以理解，示意仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备还可以包括输入输出设备、网络接入设备、总线等，处理器701、存储器702、输入输出设备以及网络接入设备等通过总线相连。
[0185]
处理器701可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分。
[0186]
存储器702可用于存储计算机程序和/或模块，处理器701通过运行或执行存储在存储器702内的计算机程序和/或模块，以及调用存储在存储器702内的数据，实现计算机装置的各种功能。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如音频数据、视频数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0187]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的传送装置异常检测装置、电子设备及其相应单元的具体工作过程，可以参考如图1至图5对应任意实施例中传送装置异常检测方法的说明，具体在此不再赘述。
[0188]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0189]
为此，本技术实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本技术如图1至图5对应任意实施例中传送装置异常检测方法中的步骤，具体操作可参考如图1至图5对应任意实施例中传送装置异常检测方法的说明，在此不再赘述。
[0190]
其中，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、随机存取存储器(ram，random access memory)、磁盘或光盘等。
[0191]
由于该计算机可读存储介质中所存储的指令，可以执行本技术如图1至图5对应任意实施例中传送装置异常检测方法中的步骤，因此，可以实现本技术如图1至图5对应任意实施例中传送装置异常检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。
[0192]
以上对本技术实施例所提供的一种传送装置异常检测方法、装置、电子设备及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。