一种物料堵塞检测方法、装置及终端设备与流程

本技术涉及图像识别，尤其涉及一种物料堵塞检测方法、装置及终端设备。

背景技术：

1、封闭落煤仓是皮带机传送终端通过一个封闭空间将传送带的煤料送入下方传送或储存设备。煤料在重力作用下，直接通过落煤仓通道落入下方装置。如果煤炭的粒度较细，水分较大，形状不规则，就很容易造成堵煤。此外，原煤仓的设计、构造和使用不当也会导致堵煤问题的出现。如果落煤管内煤炭不及时清理，会导致管道堵塞，进而影响采煤工作的正常进行，甚至危及采煤安全。

2、因此，及时发现落煤仓堵煤并采取紧急措施就显极为重要。落煤仓堵煤目前基本依靠人工检查或使用物理传感器检测识别。

3、依靠人工检查落煤口的煤料运输下落情况时，需要花费人力成本高，而且检测效率低、准确率低。

4、使用物理传感器检测识别时，通常是在正常落煤区域外安装压力传感器或其它接触式传感器，在非落煤区域检测到煤矿物料，则判断存在堵煤情况。但是该方法需要定期维修更换传感器设备，以保证传感器检测的可靠性，维护成本高。

技术实现思路

1、有鉴于此，本技术实施例提供一种物料堵塞检测方法、装置及终端设备，可以有效解决现有封闭煤仓堵煤检测方法中检测效率低、成本高的问题等。

2、第一方面，本技术实施例提供一种物料堵塞检测方法，包括：

3、获取待测物料图像，提取所述待测物料图像的图像特征；

4、根据第一物料仓状态参数和第二物料仓状态参数确定物料仓状态；其中，所述第一物料仓状态参数为采用分类网络模型对所述图像特征进行识别输出的参数；所述第二物料仓状态参数包括根据图像状态特征库中物料的各状态特征和所述图像特征确定的参数；

5、根据所述物料仓状态确定对所述待测物料图像进行分割，得到非落物料区域；

6、提取所述非落物料区域的区域特征，根据所述区域特征确定是否存在待测物料堵塞情况。

7、在一些实施例中，所述第一物料仓状态参数为采用分类网络模型对所述图像特征进行识别输出的初始分类概率；

8、所述物料仓状态包括物料下落状态和空闲状态；所述图像状态特征库包括多个物料下落状态特征和多个空闲状态特征；

9、所述第二物料仓状态参数包括第一聚类中心距离和第二聚类中心距离；

10、其中，所述第一聚类中心为各所述物料下落状态特征的聚类中心；所述第一聚类中心距离为所述图像特征与第一聚类中心的距离值；所述第二聚类中心为各所述空闲状态特征的聚类中心；所述第二聚类中心距离为所述图像特征与第二聚类中心的距离值；

11、所述根据第一物料仓状态参数和第二物料仓状态参数确定物料仓状态，包括：

12、根据包括所述第一聚类中心距离、所述第二聚类中心距离和所述初始分类概率的状态分类公式确定物料仓状态。

13、在一些实施例中，所述状态分类公式为：

14、

15、其中，y表示物料仓状态的最终分类概率，p为初始分类概率，lb表示第一聚类中心距离，li为第二聚类中心距离，α和β表示预设的比例超参数。

16、在一些实施例中，所述提取所述待测物料图像的图像特征，包括：采用特征提取网络模型提取所述待测物料图像的图像特征；

17、所述图像状态特征库采用以下方法得到：

18、训练所述特征提取网络模型和所述分类网络模型时，提取得到所述图像特征并确定其对应的物料仓状态，若所述图像状态特征库中对应类别的状态特征数量小于k，则将所述图像特征加入所述图像状态特征库中，k≥1；

19、若对应类别的状态特征数量大于等于k，则在所述图像特征加入所述图像状态特征库后，根据所述图像特征对应类别的各状态特征，与所述图像状态特征库中对应状态特征的聚类中心的距离，确定保留其中的k个状态特征。

20、在一些实施例中，所述根据所述物料仓状态确定对所述待测物料图像进行分割，得到非落物料区域，包括：

21、在所述物料仓状态为物料下落状态时，采用u-net模型对所述待测物料图像进行分割，得到落物料区域和非落物料区域。

22、在一些实施例中，所述提取所述非落物料区域的区域特征，根据所述区域特征确定是否存在所述待测物料堵塞情况，包括：

23、分别在t时刻和t+n时刻，从所述非落物料区域对应采样得到非落物料区域的第一区域特征向量、第二区域特征向量；

24、根据所述第一区域特征向量和所述第二区域特征向量的差异确定是否存在所述待测物料堵塞情况。

25、在一些实施例中，所述根据所述第一区域特征向量和所述第二区域特征向量的差异确定是否存在所述待测物料堵塞情况，包括：

26、若所述第一区域特征向量与所述第二区域特征向量的距离小于设定距离阈值，则确认待测物料不存在堵塞并根据t+n时刻对所述待测物料图像的分割结果更新所述非落物料区域；

27、若所述第一区域特征向量与所述第二区域特征向量的距离大于等于设定距离阈值，则确认所述待测物料堵塞并输出预警。

28、在一些实施例中，在训练所述特征提取网络模型和分类网络模型时，损失函数包括基于物料下落状态特征和空闲状态特征的方差以及所述物料下落状态特征和空闲状态特征分别对应的聚类中心的距离确定的正则化项；所述正则化项公式为：

29、

30、其中，nor表示正则化项，xij表示第j个特征维度上第i个物料下落状态特征，x′ij表示第j个特征维度上第i个空闲状态特征，k表示每种状态特征的数量，d表示特征的维度。

31、第二方面，本技术实施例提供一种物料堵塞检测装置，包括：

32、物料仓状态识别模块，用于获取待测物料图像，提取所述待测物料图像的图像特征，以及根据第一物料仓状态参数和第二物料仓状态参数确定物料仓状态；其中，所述第一物料仓状态参数为采用分类网络模型对所述图像特征进行识别输出的参数；所述第二物料仓状态参数包括根据图像状态特征库中物料的各状态特征和所述图像特征确定的参数；

33、物料区域分割模块，用于根据所述物料仓状态确定对所述待测物料图像进行分割，得到非落物料区域；

34、物料堵塞检测模块，用于提取所述非落物料区域的区域特征，根据所述区域特征确定是否存在待测物料堵塞情况。

35、第三方面，本技术实施例提供一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施本技术第一方面提供的一种物料堵塞检测方法。

36、本技术的实施例具有如下有益效果：

37、本技术根据第一物料仓状态参数和第二物料仓状态参数确定物料仓状态；其中，所述第一物料仓状态参数为采用分类网络模型对所述图像特征进行识别输出的参数；所述第二物料仓状态参数包括根据图像状态特征库中物料的各状态特征和所述图像特征确定的参数；根据所述物料仓状态确定对所述待测物料图像进行分割，得到非落物料区域；提取所述非落物料区域的区域特征，根据所述区域特征确定是否存在待测物料堵塞情况。本技术自动化程度高，无需人工参与，能够实时检测物料堵塞情况，鲁棒性高，需要用到的摄像机设备可长期使用，易于维护，检测性能、准确性和成本均优于现有人工检查或传感器检测。