一种运动状态检测方法、装置、检测设备及存储介质与流程

文档序号:26835843发布日期:2021-10-02 09:36阅读:221来源:国知局
一种运动状态检测方法、装置、检测设备及存储介质与流程

本申请涉及图像处理技术领域,尤其涉及一种运动状态检测方法、装置、检测设备及存储介质。

背景技术

翻板阀是水泥厂预热器及化工冶金等行业常见的重要隶属设备。翻板阀的作用通常有两个,一方面粉体物料通过重力作用打开翻板阀阀板,另一方面物料穿过翻板阀后,翻板阀自动闭合,对翻板下的气体实现密封。这样,既实现物料的输送,也实现对气体的密封,与旋风筒、风管一起组成了水泥预热器的一个物料分离单元。因此,性能良好的翻板阀,具有良好的开启关闭、能够最大极限地保证不串风、不漏风。

目前多使用平衡锤或机械驱动的方式控制翻板阀的反转,实现物料的传输。由于内部物料传输的复杂性及设备运行的可靠性限制,会导致翻板阀堵住,这就需要人工不时去现场查看、操作,如果查看不及时,会影响物料传输,甚至引起安全事故。

相关技术中,为了方便操作人员及时获知翻板阀的运动状态,一种方式是搭建翻板阀倾角状态检测系统,该系统需要设置传感器以及相应的结构改进,比如传感器保护盖或者固定板,通过传感器去采集转动数据,该系统中,传感器使用寿命有限,并且成本很高,安装复杂,不易使用。另一种方式是,采用轮廓查找法或者目标匹配法实现,但是,对翻板阀运动状态的检测效果较差,不利于对翻板阀运动状态的分析。



技术实现要素:

本申请实施例提供一种运动状态检测方法、装置、检测设备及存储介质,无需其他检测器件介入,操作简单,检测效果好。

第一方面,本申请一实施例提供了一种运动状态检测方法,包括:

基于监控视频中待处理图像帧和所述待处理图像帧的前一个图像帧,确定所述待处理图像帧对应的差分图像;其中,所述待处理图像帧中包含目标物;

对所述差分图像进行腐蚀操作,并对腐蚀后的差分图像进行膨胀操作,得到所述差分图像对应的目标图像;

基于所述目标图像,确定所述目标物的运动状态。

本申请实施例中,监控视频中,相邻两帧图像帧中目标物的位置或者状态改变在一定程度上表征了目标物的运动情况,因此,这里根据待处理图像帧和其前一个图像帧确定差分图像,应用差分图像来确定目标物的运动状态;另外,为了消除细小噪声以及平滑目标物的边界像素,对差分图像进行腐蚀操作,再对腐蚀后的差分图像进行膨胀操作,得到差分图像对应的目标图像;这样,再基于目标图像确定目标物的运动状态,无需其他检测器件介入,操作简单,检测效果好。

在一些示例性的实施方式中,基于所述目标图像,确定所述目标物的运动状态,包括:

基于所述目标图像,确定所述待处理图像帧中的所述目标物的运动状态;

在所述监控视频中,若确定连续预设数量个待处理图像帧中的目标物的运动状态均为静止状态,则确定所述目标物处于静止状态。

上述实施例,为了避免偶然因素造成的影响,提高运动状态检测的准确度,当确定连续预设个待处理图像帧中的目标物的运动状态均为静止状态后,再确定目标物处于静止状态。这样,确定的目标物的运动状态更准确,一方面保证了安全性,另一方面避免了人力资源的浪费。

在一些示例性的实施方式中,所述确定所述目标物处于静止状态之后,还包括:

针对所述目标物进行报警处理。

上述实施例,在目标物处于静止状态后进行报警,以便操作人员及时获取该情况进行处理。

在一些示例性的实施方式中,所述静止状态对应的状态标识为0,非静止状态对应的状态标识为1,当前待处理图像帧的帧序号为n,预设数量为m;

通过如下方式确定连续预设数量个待处理图像帧中的目标物的运动状态均为静止状态:

将当前待处理图像帧中的目标物的状态标识与第n+1个待处理图像帧中的目标物的状态标识做逻辑或处理得到第一结果;

直到将第n+(m-2)的处理结果与第n+(m-1)个待处理图像帧中目标物的状态标识做逻辑或处理,得到第m-1处理结果;

若所述第m-1处理结果为0,则确定连续m个待处理图像帧中的目标物的运动状态均为静止状态。

上述实施例,通过三项逻辑运算,分析前后图像帧的运动状态,极大避免偶然性误差产生的误报造成的人力浪费。

在一些示例性的实施方式中,所述对所述差分图像进行腐蚀操作,包括:

应用第一预设形状的像素内核对所述差分图像进行遍历;

对所述差分图像的各个像素点进行最小像素值提取;

应用提取的最小的像素值对所述第一预设形状的像素内核的锚点位置处的像素值进行更新;

对腐蚀后的差分图像进行膨胀操作,包括:

应用第二预设形状的像素内核对所述腐蚀后的差分图像进行遍历;

对所述腐蚀后的差分图像的各个像素点进行最大像素值提取;

应用提取的最大的像素值对所述第二预设形状的像素内核的锚点位置处的像素值进行更新。

上述实施例,应用腐蚀操作与膨胀操作,消除了细小噪声,平滑了目标物的边界像素,进而使得目标物的运动状态的检测效果更准确。

在一些示例性的实施方式中,所述基于监控视频中的待处理图像帧和所述待处理图像帧的前一个图像帧,确定所述待处理图像帧对应的差分图像,包括:

对所述待处理图像帧和所述待处理图像帧的前一个图像帧进行灰度处理;

将灰度处理后的所述待处理图像帧的像素点的灰度值,与灰度处理后的所述待处理图像帧的前一个图像帧的像素点的灰度值相减,确定所述待处理图像帧对应的差分图像。

上述实施例,应用灰度值这一单通道数据进行处理,数据处理量小。

在一些示例性的实施方式中,所述基于所述目标图像,确定所述目标物的运动状态,包括:

基于训练后的神经网络模型对所述目标图像进行处理,确定所述目标物的运动状态;其中,所述神经网络模型是通过如下方式训练得到的:

获取对待训练的图像帧预处理后的训练样本;

将所述训练样本和每个训练样本对应的预先标注的类别标签输入初始的神经网络模型;

通过所述初始的神经网络模型对所述训练样本的图像特征进行融合,得到每个训练样本对应的用于表征所述训练样本分别属于各个预设类别的概率的预测分类结果;

根据每个训练样本对应的预测分类结果以及预先标注的类别标签,确定分类损失值;

根据所述分类损失值对所述初始的神经网络模型的参数进行调整,直到确定出的分类损失值在预设范围内,得到训练后的神经网络模型。

上述实施例,如此训练得到的神经网络模型,对待处理图像帧进行运动状态进行检测时,检测效果更好。

第二方面,本申请一实施例提供了一种运动状态检测装置,包括:

第一确定模块,用于基于监控视频中的待处理图像帧和所述待处理图像帧的前一个图像帧,确定所述待处理图像帧对应的差分图像;其中,所述待处理图像帧中包含目标物;

第二确定模块,用于对所述差分图像进行腐蚀操作,并对腐蚀后的差分图像进行膨胀操作,得到所述差分图像对应的目标图像;

运动状态确定模块,用于基于所述目标图像,确定所述目标物的运动状态。

在一些示例性的实施方式中,所述运动状态确定模块具体用于:

基于所述目标图像,确定所述待处理图像帧中的所述目标物的运动状态;

在所述监控视频中,若确定连续预设数量个待处理图像帧中的目标物的运动状态均为静止状态,则确定所述目标物处于静止状态。

在一些示例性的实施方式中,还包括报警模块,所述报警模块用于在所述确定所述目标物处于静止状态之后,针对所述目标物进行报警处理。

在一些示例性的实施方式中,所述静止状态对应的状态标识为0,非静止状态对应的状态标识为1,当前待处理图像帧的帧序号为n,预设数量为m;

运动状态确定模块具体用于,通过如下方式确定连续预设数量个待处理图像帧中的目标物的运动状态均为静止状态:

将当前待处理图像帧中的目标物的状态标识与第n+1个待处理图像帧中的目标物的状态标识做逻辑或处理得到第一结果;

直到将第n+(m-2)的处理结果与第n+(m-1)个待处理图像帧中的目标物的状态标识做逻辑或处理,得到第m-1处理结果;

若所述第m-1处理结果为0,则确定连续m个待处理图像帧中的目标物的运动状态均为静止状态。

在一些示例性的实施方式中,所述第二确定模块具体用于:

应用第一预设形状的像素内核对所述差分图像进行遍历;

对所述差分图像的各个像素点进行最小像素值提取;

应用提取的最小的像素值对所述第一预设形状的像素内核的锚点位置处的像素值进行更新;

应用第二预设形状的像素内核对所述腐蚀后的差分图像进行遍历;

对所述腐蚀后的差分图像的各个像素点进行最大像素值提取;

应用提取的最大的像素值对所述第二预设形状的像素内核的锚点位置处的像素值进行更新。

在一些示例性的实施方式中,所述第一确定模块具体用于:

对所述待处理图像帧和所述待处理图像帧的前一个图像帧进行灰度处理;

将灰度处理后的所述待处理图像帧的像素点的灰度值,与灰度处理后的所述待处理图像帧的前一个图像帧的像素点的灰度值相减,确定所述待处理图像帧对应的差分图像。

在一些示例性的实施方式中,所述运动状态确定模块具体用于:

基于训练后的神经网络模型对所述目标图像进行处理,确定所述目标物的运动状态;

其中,还包括训练模块,用于通过如下方式得到神经网络模型:

获取对待训练的图像帧预处理后的训练样本;

将所述训练样本和每个训练样本对应的预先标注的类别标签输入初始的神经网络模型;

通过所述初始的神经网络模型对所述训练样本的图像特征进行融合,得到每个训练样本对应的用于表征所述训练样本分别属于各个预设类别的概率的预测分类结果;

根据每个训练样本对应的预测分类结果以及预先标注的类别标签,确定分类损失值;

根据所述分类损失值对所述初始的神经网络模型的参数进行调整,直到确定出的分类损失值在预设范围内,得到训练后的神经网络模型。

第三方面,本申请一实施例提供了一种检测设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现上述任一种方法的步骤。

第四方面,本申请一实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述任一种方法的步骤。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的一种运动状态检测方法的应用场景示意图;

图2为本申请一实施例提供的一种运动状态检测方法的流程图;

图3为本申请一实施例提供的一种目标图像生成过程的示意图;

图4为本申请一实施例提供的一种静止状态的目标图像的示意图;

图5为本申请一实施例提供的一种运动状态的目标图像的示意图;

图6为本申请一实施例提供的一种神经网络模型的训练过程的示意图;

图7为本申请一实施例提供的一种运动状态检测装置的结构示意图;

图8为本申请一实施例提供的一种检测设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。

为了方便理解,下面对本申请实施例中涉及的名词进行解释:

附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。

在具体实践过程中,在翻板阀的应用过程中,目前多使用平衡锤或机械驱动的方式控制翻板阀的反转,实现物料的传输。由于内部物料传输的复杂性及设备运行的可靠性限制,会导致翻板阀堵住,这就需要人工不时去现场查看、操作,如果查看不及时,会影响物料传输,甚至引起安全事故。

相关技术中,为了方便操作人员及时获知翻板阀的运动状态,一种方式是搭建翻板阀倾角状态检测系统,该系统需要设置传感器以及相应的结构改进,比如传感器保护盖或者固定板,该系统是通过传感器去采集转动数据,该系统中,传感器使用寿命有限,并且成本很高,安装复杂,不易使用。另外,还有一类方式,通常采用轮廓查找法或者目标匹配法实现,但是,这种方法中,受环境影响比较大,适用场景单一;对于运动幅度不大的目标物的检测效果不好。因而,这种方式也不利于对翻板阀运动状态的分析。

为此,本申请提供了一种运动状态检测方法,可以应用于对翻板阀的运动状态进行检测,基于监控视频中的待处理图像帧和待处理图像帧的前一个图像帧,确定待处理图像帧对应的差分图像;其中,待处理图像帧中包含目标物;对差分图像进行腐蚀操作,并对腐蚀后的差分图像进行膨胀操作,得到差分图像对应的目标图像;基于目标图像,确定目标物的运动状态。这样,可以提高对翻板阀运动状态的检测效果,进而有利于对翻板阀的运动状态进行分析。

在介绍完本申请实施例的设计思想之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。

参考图1,其为本申请实施例提供的运动状态检测方法的应用场景示意图。其中,11为检测设备,12为服务端,该检测设备11可以是一台具有数据处理能力的计算机设备,目标物以翻板阀为例进行说明,该运动检测过程可以由用于监控翻板阀运动状态的摄像头完成,比如在摄像头中集成检测模块,完成对翻板阀的运动状态的检测过程。另外,还可以单独的运动状态检测设备,实时接收来自摄像头监控得到的视频流,对视频流进行抽帧操作来确定翻板阀的运动状态。再将翻板阀的运动状态反馈至服务端,以供操作人员及时处理,避免安全事故发生。

比如,检测到翻板阀处于静止状态,表明此时翻板阀不能自动打开与闭合,物料无法通过重力作用打开翻板阀,在物料穿过翻板阀后也无法自动闭合,进而无法对翻板下的气体进行密封。这样,不仅影响物料传输,还可能引起安全事故。

当然,本申请实施例提供的方法并不限用于图1所示的应用场景中,还可以用于其它可能的应用场景,本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述,在此先不过多赘述。

为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。

下面结合图1所示的应用场景,对本申请实施例提供的技术方案进行说明。

参考图2,本申请实施例提供一种运动状态检测方法,包括以下步骤:

S201、基于监控视频中的待处理图像帧和待处理图像帧的前一个图像帧,确定待处理图像帧对应的差分图像;其中,待处理图像帧中包含目标物。

S202、对差分图像进行腐蚀操作,并对腐蚀后的差分图像进行膨胀操作,得到差分图像对应的目标图像。

S203、基于目标图像,确定目标物的运动状态。

本申请实施例中,在监控视频中,相邻两帧图像帧中目标物的位置或者状态改变在一定程度上表征了目标物的运动情况,因此,这里根据待处理图像帧和其前一个图像帧确定差分图像,应用差分图像来确定目标物的运动状态;另外,为了消除细小噪声以及平滑目标物的边界像素,对差分图像进行腐蚀操作,再对腐蚀后的差分图像进行膨胀操作,得到差分图像对应的目标图像;这样,再基于目标图像,确定目标物的运动状态,无需其他检测器件介入,操作简单,检测效果好。

涉及到S201,这里的监控视频可以是对翻板阀在工作过程中进行拍摄得到的视频,目标物可以是翻板阀,针对监控摄像头获取的实时的视频流,对视频流进行解码抽帧操作,得到各个图像帧。

由于监控摄像头设置在可以监控到翻板阀的位置,因此,可以对翻板阀实时监控。但是,监控得到的视频流可能包括除翻板阀区域以外的区域,为了减少对无效区域(不包括翻板阀的区域)的处理,在解码抽帧的过程中,只提取翻板阀区域的图像帧,这样,得到了包括翻板阀区域的各个图像帧。

另外,由于场景中的翻板阀在运动,翻板阀的影像在不同图像帧中的位置不同,因此,这里要对待处理图像帧和其前一帧进行处理,得到待处理图像帧对应的差分图像。在这个过程中,首先对图像帧进行灰度处理,再将灰度处理后的待处理图像帧的像素点的灰度值,与灰度处理后的待处理图像帧的前一个图像帧的像素点的灰度值相减,确定待处理图像帧对应的差分图像。

在一个具体的例子中,待处理图像帧记为第n帧,其前一帧记为第n-1帧,两帧图像对应的像素点的灰度值分别记为fn(x,y)和fn-1(x,y),按照如下公式(1)将两针图像对应像素点的灰度值进行相减,并取绝对值,得到差分图像:

In(x,y)=|fn(x,y)-fn-1(x,y)| (1)

其中,n表示当前图像帧的序号,n-1表示当前帧的前一图像帧的序号,(x,y)表示像素点的坐标,x表示横坐标,y表示纵坐标,In(x,y)表示得到的第n帧图像帧对应的差分图像中的像素点(x,y)的灰度值。通过公式(1),可以得到第n个待处理图像帧对应的差分图像中各个像素点的灰度值。

涉及到S202,为了消除细小噪声,并平滑翻板阀的边界像素,对上述差分图像进行形态学滤波操作,该形态学滤波操作比如可以是腐蚀操作和膨胀操作。在本申请实施例中,对差分图像先进行腐蚀操作,再对腐蚀后的差分图像进行膨胀操作,得到差分图像对应的目标图像。

示例性的,通过如下方式对差分图像进行腐蚀操作;

应用第一预设形状的像素内核对差分图像进行遍历;对差分图像的各个像素点进行最小像素值提取;应用提取的最小的像素值对第一预设形状的像素内核的锚点位置处的像素值进行更新。具体可以通过如下公式实现:

其中,En(x,y)对差分图像进行腐蚀操作后第n帧图像帧对应的图像中的像素点(x,y)的灰度值,x'和y'为第一预设形状的形状参数,比如第一预设形状可以是3*3,则x'和y'分别为3和3,其像素内核的锚点位置可以是第2*2位置处的像素点,应用预设的3*3的像素内核对差分图像进行遍历的过程中,应用提取的最小的像素值对第一预设形状的像素内核内的锚点位置处的像素值进行更新,得到腐蚀后的图像。

通过如下方式对腐蚀后的差分图像进行膨胀操作。

应用第二预设形状的像素内核对腐蚀后的差分图像进行遍历;

对腐蚀后的差分图像的各个像素点进行最大像素值提取;

应用提取的最大的像素值对第二预设形状的像素内核的锚点位置处的像素值进行更新。具体可以通过如下公式实现:

其中,Dn(x,y)表示对腐蚀后的图像进行膨胀后第n帧图像帧对应的图像中的像素点(x,y)的灰度值,x'和y'为第二预设形状的形状参数,比如第二预设形状可以是3*3,则x'和y'分别为3和3,其像素内核的锚点位置可以是第2*2位置处的像素点,应用预设的3*3的像素内核对差分图像进行遍历的过程中,应用提取的最大的像素值对第二预设形状的像素内核的锚点位置处的像素值进行更新,得到膨胀后的图像。

在上述例子中,第二预设形状和第一预设形状相同,在实际的应用过程中,第二预设形状与第一预设形状也可以不同,这也不进行限定。

在一个具体的例子中,图3示出了一种目标图像生成过程的示意图,该过程中,经过了差分以及形态学滤波(腐蚀以及膨胀处理),消除细小噪声以及平滑目标物的边界像素,提高了运动状态检测的精度。

涉及到S203,基于目标图像,确定目标物的运动状态。

示例性的,确定目标物的运动状态可以通过如下方式实现:

第一种方式,基于训练后的神经网络模型对目标图像进行处理,确定目标物的运动状态。具体的,将处理后得到的目标图像输入至预先训练得到的训练后的神经网络模型,确定目标图像中的目标物的运动状态,其中,目标图像中的目标物的运动状态即可表征待处理图像帧中的目标物的运动状态。

示例性的,在将目标图像输入至神经网络模型后,输出通常为目标图像的类别标签,再根据类别标签表征的类别确定目标图像中的目标物的运动状态。比如,类别标签为0和1,0表示对应的目标图像中的目标物为静止状态,类别标签1表示对应的目标图像中的目标物为运动状态。

第二种方式,通过目标图像与运动状态的关联关系确定目标物的运动状态,比如,静止状态对应的状态标识为0,非静止状态的状态标识为1,则通过每个目标图像中关联的状态标识即可确定目标物的运动状态。

在一个具体的例子中,图4示出了一种静止状态的目标图像的示意图,图5示出了一种运动状态的目标图像的示意图。由于目标图像是相邻两帧图像帧差分、腐蚀以及滤波得到的,因此,图4中,如果目标图像是完全静止,则该图像为全黑图像,这是理想状况;但如果有外界噪声干扰存在,则该图像不为全黑图像,可能存在不明显的为0像素(0-255都可能),图像像素值较小时图像显示不明显,像素值较大时可以明显看出。而图5中,翻板阀为运动状态,则明显可以看到翻板阀的轮廓。

应用上述实施例中的方法,可以确定每个待处理图像帧中的目标物的运动状态,为了提高运动状态检测的准确性,如果确定连续预设数量个待处理图像帧中的目标物的运动状态均为静止状态,再确定目标物处于静止状态,此时,生成并展示报警信息。展示方式比如是发送到服务端或者后台控制设备,供操作人员参考。

示例性的,静止状态对应的状态标识为0,非静止状态对应的状态标识为1,当前待处理图像帧的序号为n,预设数量为m。可以通过如下方式来确定连续预设个待处理图像帧中的目标物的运动状态均为静止状态:

将当前待处理图像帧中的目标物的状态标识与第n+1个待处理图像帧中的目标物的状态标识做逻辑或处理得到第一结果;直到将第n+(m-2)的处理结果与第n+(m-1)个待处理图像帧中的目标物的状态标识做逻辑或处理,得到第m-1处理结果;若第m-1处理结果为0,则确定连续m个待处理图像帧中的目标物的运动状态均为静止状态。

在一个具体的例子中,n取3,m取3,则将第3个待处理图像帧中的目标物的状态标识0与第4个待处理图像帧中的目标物的状态标识0做逻辑或运算,得到第一处理结果为0;将0与第5个待处理图像帧中的目标物的状态标识0做逻辑或处理,得到第二处理结果为0,则确定连续3个待处理图像帧中(第3帧、第4帧和第5帧)的目标物均为静止状态。

参考图6,下面对前述应用的神经网络模型的训练过程进行说明:

S601、获取对待训练的图像帧预处理后的训练样本。

S602、将训练样本和每个训练样本对应的预先标注的类别标签输入初始的神经网络模型。

S603、通过初始的神经网络模型对训练样本的图像特征进行融合,得到每个训练样本对应的用于表征训练样本分别属于各个预设类别的概率的预测分类结果。

S604、根据每个训练样本对应的预测分类结果以及预先标注的类别标签,确定分类损失值。

S605、根据分类损失值对初始的神经网络模型的参数进行调整,直到确定出的分类损失值在预设范围内,得到训练后的神经网络模型。

上述预处理过程可以通过如下方式实现:基于待训练图像帧和待训练图像帧的前一个图像帧,确定待训练图像帧对应的差分图像;其中,待训练图像帧包括待训练目标;对差分图像进行腐蚀操作,并对腐蚀后的差分图像进行膨胀操作。

该实施例对训练样本中的目标图像进行分类的过程。在模型训练的时候,需要根据训练样本中的目标图像的类别制作标签。其中,如静止状态的目标图像记为0,运动状态的目标图像记为1。目标图像与标签一起,利用模型的损失函数进行训练。由于输入图像为单通道灰度图,所以在初始的神经网络(比如经典的深度神经网络)的基础上重新构建网络模型,在实际应用中,只要将差分、腐蚀以及膨胀滤波后的图像输入到分类模型中,就可以得到该图侦帧中目标物的运动状态。

综上,上述实施例中,目标物以翻板阀为例,在高精度确定翻板阀的运动状态的基础上,避免人工查看造成的人力资源浪费,从而使生产过程中出现的各种险情得以及时排除,比如,由于翻板阀卡住造成的物料不能及时进入的问题。另外,由于无需借助其他检测仪器,进而可以适应各种工业环境,不受外界因素的影响,还可以把翻板阀的运动状态发送给服务端,以便操作人员及时处理,避免安全事故发生。

如图7所示,基于与上述运动状态检测方法相同的发明构思,本申请实施例还提供了一种运动状态检测装置,该装置包括第一确定模块71、第二确定模块72和运动状态确定模块73,其中:

第一确定模块71,用于基于监控视频中的待处理图像帧和待处理图像帧的前一个图像帧,确定待处理图像帧对应的差分图像;其中,待处理图像帧中包含目标物;

第二确定模块72,用于对差分图像进行腐蚀操作,并对腐蚀后的差分图像进行膨胀操作,得到差分图像对应的目标图像;

运动状态确定模块73,用于基于目标图像,确定目标物的运动状态。

在一些示例性的实施方式中,运动状态确定模块73具体用于:

基于所述目标图像,确定所述待处理图像帧中的所述目标物的运动状态;

在监控视频中,若确定连续预设数量个待处理图像帧的目标物的运动状态均为静止状态,则确定目标物处于静止状态。

在一些示例性的实施方式中,还包括报警模块,用于在确定所述目标物处于静止状态之后,针对目标物进行报警处理。

在一些示例性的实施方式中,所述静止状态对应的状态标识为0,非静止状态对应的状态标识为1,当前待处理图像帧的帧序号为n,预设数量为m;

运动状态确定模块73具体用于通过如下方式确定连续预设数量个目标图像中的目标物的运动状态均为静止状态:

将当前待处理图像帧中的目标物的状态标识与第n+1个待处理图像帧中的目标物的状态标识做逻辑或处理得到第一结果;

直到将第n+(m-2)的处理结果与第n+(m-1)个待处理图像帧中的目标物的状态标识做逻辑或处理,得到第m-1处理结果;

若所述第m-1处理结果为0,则确定连续m个待处理图像帧中的目标物的运动状态均为静止状态。

在一些示例性的实施方式中,第二确定模块72具体用于:

应用第一预设形状的像素内核对差分图像进行遍历;

对差分图像的各个像素点进行最小像素值提取;

应用提取的最小的像素值对第一预设形状的像素内核的锚点位置处的像素值进行更新;

应用第二预设形状的像素内核对腐蚀后的差分图像进行遍历;

对腐蚀后的差分图像的各个像素点进行最大像素值提取;

应用提取的最大的像素值对第二预设形状的像素内核的锚点位置处的像素值进行更新。

在一些示例性的实施方式中,第一确定模块71具体用于:

对待处理图像帧和待处理图像帧的前一个图像帧进行灰度处理;

将灰度处理后的待处理图像帧的像素点的灰度值,与灰度处理后的待处理图像帧的前一个图像帧的像素点的灰度值相减,确定待处理图像帧对应的差分图像。

在一些示例性的实施方式中,运动状态确定模块73具体用于基于训练后的神经网络模型对所述目标图像进行处理,确定所述目标物的运动状态;

还包括训练模块,用于通过如下方式训练得到神经网络模型:

获取对待训练的图像帧预处理后的训练样本;

将训练样本和每个训练样本对应的预先标注的类别标签输入初始的神经网络模型;

通过初始的神经网络模型对训练样本的图像特征进行融合,得到每个训练样本对应的用于表征训练样本分别属于各个预设类别的概率的预测分类结果;

根据每个训练样本对应的预测分类结果以及预先标注的类别标签,确定分类损失值;

根据分类损失值对初始的神经网络模型的参数进行调整,直到确定出的分类损失值在预设范围内,得到训练后的神经网络模型。

本申请实施例提的运动状态检测装置与上述运动状态检测方法采用了相同的发明构思,能够取得相同的有益效果,在此不再赘述。

基于与上述运动状态检测方法相同的发明构思,本申请实施例还提供了一种检测设备,该检测设备具体(可以为智能设备内部的控制设备或控制系统,也可以是与智能设备通信的外部设备)可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant,PDA)、服务器等。如图8所示,该检测设备可以包括处理器801和存储器802。

处理器801可以是通用处理器,例如中央处理器(CPU)、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。

存储器802作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器802还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。

本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于:移动存储设备、随机存取存储器(RAM,Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。

或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、随机存取存储器(RAM,Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。

以上实施例仅用以对本申请的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本申请实施例的方法,不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换,都应涵盖在本申请实施例的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1