一种液体流动轨迹超限检测方法、装置及系统与流程

本发明涉及液体流动轨迹检测技术领域，具体涉及一种液体流动轨迹超限检测方法、装置、系统以及计算机存储介质。

背景技术：

工业中，管理人员需要实时清楚液体的流动情况，所以需要检测液体流动轨迹是否超过指定限制，以便执行下一步工业流程。目前，液体流动情况的检测采用人工检测的方式，需要管理人员手动根据液体流动情况作出反应，人力成本高，检测精度难以保证，液体流速较快时，很容易出现判断失误。

技术实现要素：

本发明的目的在于克服上述技术不足，提供一种液体流动轨迹超限检测方法、装置、系统以及计算机存储介质，解决现有技术中液体流动轨迹超限检测效率低、精度低的技术问题。

为达到上述技术目的，本发明的技术方案提供一种液体流动轨迹超限检测方法，包括以下步骤：

获取连续的多帧液体图像，并对多帧所述液体图像进行预处理；

根据待检测区域在多帧所述液体图像的成像框内选取限制区域；

对每一帧所述液体图像进行目标检测，如果某一帧液体图像中检测到前景目标，则获取所述前景目标的多个特征点，并对后一帧流体图像进行特征点跟踪；

判断跟踪得到的特征点是否位于所述限制区域内，根据各特征点的判断结果判断液体流动轨迹是否超限。

本发明还提供一种液体流动轨迹超限检测装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述液体流动轨迹超限检测方法。

本发明还提供一种液体流动轨迹超限检测系统，包括所述液体流动轨迹超限检测装置，还包括摄像头；

所述摄像头用于采集所述液体流动视频，并将所述液体流动视频发送至所述液体流动轨迹超限检测装置。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述液体流动轨迹超限检测方法。

与现有技术相比，本发明的有益效果包括：本发明首先采集连续多帧液体图像，通过对液体图像进行目标检测以及特征跟踪，实现对前景目标，即流动液体的动态追踪，判断追踪的特征点是否位于限制区域内，进而实现液体流动轨迹的动态检测，检测效率相较于人工检测方式明显提高，且准确率得以保证。

附图说明

图1是本发明提供的液体流动轨迹超限检测方法一实施方式的流程图；

图2是本发明提供的判断特征点是否位于限制区域内一实施方式的各类特征点判断原理图；

图3是本发明提供的特征点位置的几种特殊情况。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了液体流动轨迹超限检测方法，包括以下步骤：

s1、获取连续的多帧液体图像，并对多帧所述液体图像进行预处理；

s2、根据待检测区域在多帧所述液体图像的成像框内选取限制区域；

s3、对每一帧所述液体图像进行目标检测，如果某一帧液体图像中检测到前景目标，则获取所述前景目标的多个特征点，并对后一帧流体图像进行特征点跟踪；

s4、判断跟踪得到的特征点是否位于所述限制区域内，根据各特征点的判断结果判断液体流动轨迹是否超限。

工业中，管理人员需要实时清楚液体的流动情况，所以需要检测液体流动轨迹是否超过指定限制区域，以便执行下一步工业流程。本实施例提供的方法中采用python编程实现，通过光流法进行运动轨迹的判定，最终输出检测位置信号。具体测量方法如下：使用摄像头对液体流动视频进行采集，从而得到多帧连续的液体图像，选取相应成像框内的限制区域。然后对一个连续的视频帧序列进行处理，利用一定的目标检测方法，检测出现的前景目标，即水流目标；如果某一帧出现了前景目标，找到其具有代表性的关键特征点，对之后的任意两个相邻视频帧而言，寻找上一帧中出现的关键特征点在当前帧中的最佳位置，从而得到前景目标在当前帧中的位置坐标，实现视频中特征点的跟踪；得到跟踪的前景目标特征点位置坐标后，判断是否在限制区域内，进而判断水流是否在限制区域内。

本实施例采用视频运动检测的方式，实现液体自动检测，减少人为因素引起的操作失误，降低人力成本。

优选的，对多帧所述液体图像进行预处理，包括：

对多帧所述液体图像进行灰度化处理。

将采集到的液体图像进行灰度化处理，去掉无关的影响因素。

优选的，根据待检测区域在多帧所述液体图像的成像框内选取限制区域，具体为：

根据所述待检测区域在多帧所述液体图像的成像框内选取多个限制点，连接多个所述限制点得到多边形区域，以所述多边形区域作为所述限制区域。

选取相应屏幕上的多个位置，组成一个多边形区域，这个多边形区域由多个实际的像素点位置组成，得到限制区域。

优选的，对每一帧所述液体图像进行目标检测，如果某一帧液体图像中检测到前景目标，则获取所述前景目标的特征点，并对后一帧流体图像进行特征跟踪，包括：

采用金字塔光流法对每一帧所述液体图像进行目标检测，如果某一帧液体图像中检测到前景目标，则获取所述前景目标的特征点，并采用金字塔光流法对后一帧流体图像进行特征跟踪，获取前一帧流体图像中前景目标的特征点在后一帧流体图像中坐标，得到跟踪的特征点位置。

本实施例采用金字塔流光法实现目标检测以及跟踪。如果某一帧出现了前景目标，找到其具有代表性的关键特征点；之后的任意相邻两帧液体图像而言，寻找上一帧中出现的关键特征点在当前帧中的位置，从而得到前景目标在当前帧中的特征点位置坐标。具体的，本实施例中金字塔光流法采用的是金字塔lk光流法。

优选的，获取所述前景目标的特征点，具体为：

随机获取所述前景目标中多个点作为所述特征点；

或者，利用角点检测算法检测所述前景目标的角点作为所述特征点。

角点检测算法可以采用fast角点检测算法。

优选的，判断跟踪得到的特征点是否位于所述限制区域内，具体为：

过特征点作任意直线，统计所述直线在所述特征点左侧的部分与所述限制区域的交点数量，统计所述直线在所述特征点右侧的部分与所述限制区域的交点数量，如果两侧的交点数量均为奇数，则判定所述特征点位于所述限制区域内，否则判定所述特征点不位于所述限制区域内。

从跟踪获取的特征点序列中拿出一点，增加一个通过该点的任意直线，此直线与多边形边缘的交点，当测量点左右两侧的交点都为奇数时，特征点在多边形以内，反之则不在。具体的，如图2所示，图2中示出了一个多边形区域，且列出了四个特征点，从上至下第一个特征点所在直线的左侧与多边形区域的交点数量为两个，右侧的交点数量也是两个，因此第一个特征点不在多边形区域内；从上至下第二个特征点所在直线的左侧与多边形区域的交点数量为三个，右侧的交点数量也是三个，因此第二个特征点在多边形区域内；从上至下第三个特征点所在直线的左侧与多边形区域的交点数量为一个，右侧的交点数量也是一个，因此第三个特征点在多边形区域内；从上至下第四个特征点所在直线的左侧与多边形区域的交点数量为零个，右侧的交点数量也是零个，因此第四个特征点不在多边形区域内。

优选的，在按照上述方法判断特征点是否在多边形区域内之前，需要对几种特殊情况进行判断和排除。特殊情况包括：1、特征点在多边形的边或者顶点上；2、特征点在多边形的边的延长线上；3、过特征点的直线与多边形相交的交点在顶点。具体如图3所示，图3中(1)和(2)对应特殊情况1，即特征点在多边形的边或者顶点上；图3中(3)对应特殊情况2，即特征点点在多边形的边的延长线上，图3中(4)对应特殊情况3，即过特征点的直线与多边形相交的交点在顶点。判断特征点是否属于上述特殊情况，如果是，则直接判定特征点不在多边形区域内，否则按交点数量对特征点是否在多边形区域内进行判断。

优选的，根据各特征点的判断结果判断液体流动轨迹是否超限，具体为：

统计不位于所述限制区域内的特征点的数量，判断不位于所述限制区域内的特征点的数量是否超过设定阈值，如果是，则判定液体流动轨迹超限，否则判定液体流动轨迹未超限。

判断超出多边形区域的特征点点数是否超过设定阈值，未超过阈值，则认为在可控区域内，否则认为液体超过限制区域。对每一帧液体图像进行同样的处理，判断是否超过划定的多边形区域，实现动态实时检测。

优选的，还包括：

以跟踪得到的特征点作为相应帧液体图像的前景目标的特征点，对下一帧液体图像进行特征跟踪。

具体的，以时刻t1的图像作为前一帧图像，以时刻t2的图像作为后一帧，监测t1-t2时间内的液体情况；然后以时刻t2的图像作为前一帧图像，以图像t3的图像作为后一帧，监测t2-t3时间段内的液体情况；其中时刻t2的图像的前景目标的特征点可以直接使用上一环节跟踪得到的特征点，无需再次进行目标检测。

实施例2

本发明的实施例2提供了液体流动轨迹超限检测装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的液体流动轨迹超限检测方法。

本发明实施例提供的液体流动轨迹超限检测装置，用于实现液体流动轨迹超限检测方法，因此，液体流动轨迹超限检测方法所具备的技术效果，液体流动轨迹超限检测装置同样具备，在此不再赘述。

实施例3

本发明的实施例3提供了液体流动轨迹超限检测系统，包括实施例2提供的液体流动轨迹超限检测装置，还包括摄像头；

所述摄像头用于采集所述液体流动视频，并将所述液体流动视频发送至所述液体流动轨迹超限检测装置。

具体的，本实施例中液体流动轨迹超限检测装置采用树莓派，并预装raspbian系统的树莓派硬件，同时连接分辨率不低于1024*768的摄像头；采用视频运动检测的方式，结合低成本的树莓派硬件，形成一个液体流动轨迹超限检测系统，减少人为因素引起的操作失误，降低系统成本。

实施例4

本发明的实施例4提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的液体流动轨迹超限检测方法。

本发明实施例提供的计算机存储介质，用于实现液体流动轨迹超限检测方法，因此，液体流动轨迹超限检测方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。