基于自动图像识别的非法钓鱼行为识别方法与流程

本发明涉及图像识别以及视频监控领域，尤其涉及一种基于自动图像识别的非法钓鱼行为识别方法。

背景技术：

钓鱼是一项深受现代人喜爱的业余爱好，经常可以看到在河流边和湖边有垂钓者在钓鱼，但是为了管理需要以及商业利益很多地方是不允许钓鱼的，比如景区的湖泊、私人承包的水库。

现有的禁止钓鱼者在非法区域钓鱼的方法主要有设置警示牌，安排管理人员巡逻，但是在实践中设置警示牌并不能有效地起到驱离非法钓鱼者的作用，而安排管理人员巡逻则极大的浪费人力资源。

技术实现要素：

本发明的目的在于提供一种基于自动图像识别的非法钓鱼行为识别方法，能够自动识别摄像头拍摄到图像中的非法钓鱼者并向钓鱼者发出语音警告和向管理人员发送提示信息。

实现本发明目的的技术方案为：一种基于自动图像识别的非法钓鱼行为识别方法，包括以下步骤：

步骤1，从安装在禁止钓鱼区域内的摄像头上实时提取视频图像序列；

步骤2，建立钓鱼竿的边缘提取模型，利用边缘提取算子对输入的视频图像序列提取图像边缘像素点；

步骤3，利用基于行程的连通性算法对步骤2中提取到的边缘像素点进行分类，将上下左右相连的边缘像素点标记为一个连通区域；

步骤4，计算该连通区域跨越水域的长度、跨越岸边的长度、总长度以及平均宽度；

步骤5，对步骤4中获得的连通区域参数采用证据融合理论综合判定该连通区域是否为一根钓鱼竿；

步骤6，重复步骤2到步骤5直到有连通区域被判定为一根钓鱼竿；

步骤7，在步骤6检测到钓鱼竿的周围应用背景消除算法提取相对于记录在系统内的背景不同的前景目标；

步骤8，统计步骤7获得的前景目标的像素点颜色分布直方图，将颜色分布直方图输入到训练好的支持向量机分类器中去，判断前景目标是否为人体目标；

步骤9，如果步骤6判定视野中存在钓鱼竿并且步骤8判定钓鱼竿周围存在人体目标则进行语音预警并将拍摄到的监控画面发送给管理员，如果步骤6判定视野中存在钓鱼竿并且步骤8判定钓鱼竿周围不存在人体目标则仅将拍摄到的监控画面传送给管理员。

与现有技术相比，本发明的显著优点为：

(1)本发明能够实现对禁止钓鱼区域的自动化监控，最大限度地降低昂贵的人力成本同时提高管理效率；(2)本发明监控准确率高，具有很大的工程应用价值。

附图说明

图1为本发明系统的功能模块示意图。

图2为本发明基于自动图像识别的非法钓鱼行为识别方法的流程示意图。

图3为基于行程的连通性算法步骤示意图。

具体实施方式

本发明基于自动图像识别的非法钓鱼行为识别方法所采用的技术方案是：如图1所示，在需要监控非法钓鱼者的区域设立摄像头、处理器模块、语音告警装置以及无线通信模块，摄像头拍摄到的图像经过处理器的实时处理之后判断出区域内是否存在非法钓鱼者，如果存在，就启动语音模块，播放预先录制好的警示钓鱼者的信息，并利用通信模块将存在非法钓鱼者的信息通过无线网络的方式提供给管理员。

结合图2，一种基于自动图像识别的非法钓鱼行为识别方法，包括以下步骤：

步骤1，从安装在禁止钓鱼区域内的摄像头上实时提取视频图像序列；

步骤2，建立钓鱼竿的边缘提取模型，利用边缘提取算子对输入的视频图像序列提取图像边缘像素点；

步骤3，利用基于行程的连通性算法对步骤2中提取到的边缘像素点进行分类，将上下左右相连的边缘像素点标记为一个连通区域；

步骤4，计算该连通区域跨越水域的长度、跨越岸边的长度、总长度以及平均宽度；

步骤5，对步骤4中获得的连通区域参数采用证据融合理论综合判定该连通区域是否为一根钓鱼竿；

步骤6，重复步骤2到步骤5直到有连通区域被判定为一根钓鱼竿；

步骤7，在步骤6检测到钓鱼竿的周围应用背景消除算法提取相对于记录在系统内的背景不同的前景目标；

步骤8，统计步骤7获得的前景目标的像素点颜色分布直方图，将颜色分布直方图输入到训练好的支持向量机分类器中去，判断前景目标是否为人体目标；

步骤9，如果步骤6判定视野中存在钓鱼竿并且步骤8判定钓鱼竿周围存在人体目标则进行语音预警并将拍摄到的监控画面发送给管理员，如果步骤6判定视野中存在钓鱼竿并且步骤8判定钓鱼竿周围不存在人体目标则仅将拍摄到的监控画面传送给管理员。

进一步的，步骤1中监控图像尺寸通过图像插值算法压缩到标准的640*320图像尺寸。

进一步的，步骤2具体为：

采用内核分别为G_x和G_y的边缘提取算子对步骤1获得的标准尺寸的图像做卷积，提取出图像中与周围像素点颜色值的差值大于设定阈值的像素点，将这些提取出的像素点视为边缘像素点；

进一步的，步骤3具体为：

步骤3-1，从图像的第一行开始将每一行中连续相邻的边缘像素点标记为一个连续点集合family，同时记录下它的起点Pixel_start和终点Pixel_end以及这个连续点集合的行号rowNum，连续点集合编号Fid；

步骤3-2，从第二行开始如果该行内的连续点集合和上一行中的连续点集合在垂直方向上有相邻的像素点就将前一行中连续点集合的编号赋给它，如果和前一行中的多个连续点集合垂直相邻，就将前一行中较小编号的连续点集合的编号赋给它，并将上一行中的多个连续点集合的编号写入等价序列equal(Fid₁，Fid₂，......)，表明这些连续点集合属于同一个连通区域；

步骤3-3，遍历所有的连续点集合，将所有等价序列中的连续点集合的编号用等价序列中最小的连续点集合编号替代；将连续点集合的编号填入图像中，图像中相同编号的一块区域即为一个连通区域。

进一步的，步骤4具体为：

摄像头的安装位置是固定的，水域和岸边在图像中相对位置的固定的，根据预设值判定步骤3中获得的连通区域中的像素点位于水域还是岸边；

连通区域跨越水域的长度为像素点在水域中占据的像素列列数，连通区域跨越岸边的长度为像素点在岸边占据的像素列列数，总长度为跨越水域和跨越岸边的长度之和，平均宽度为连通区域中像素点在垂直方向上的平均厚度。

进一步的，步骤5具体为：

步骤5-1，根据对大量鱼竿样本统计的实验结果为步骤4中获得的连通区域跨越水域的长度、跨越岸边的长度、总长度以及平均宽度分别赋予一个信任值，形成4个证据；

步骤5-2，对于4个信任值分别为m₁，m₂，m₃，m₄的证据，证据的融合规则用式(2)表示：

其中，A代表证据判定为真，A₁,...A_n分别代表编号为1～n的证据为真；

步骤5-3，将步骤5-2得到的总的信任值与设定阈值进行比较，判断该连通区域是否为一根钓鱼竿。

进一步的，步骤7具体为：

记录在系统内的背景包括固定角度下拍摄到的不同季节不同时间段的背景图像，根据当时的时间选择调用系统中记录的背景图片；

钓鱼竿周围区域是指连通区域在岸边的末端像素点附近100*80的图像区域。

将100*80图像区域中像素点的RGB颜色空间下的颜色值D_i，j(R，G，B)分别和对应背景图片中的像素点颜色值T_i，j(R，G，B)作差值，将差值大于设定阈值的像素点提取出来作为前景目标像素点Q_i，j(R，G，B)。

进一步的，步骤8具体为：

颜色分布直方图的格式为P{{r₁，r₂…r₁₆}，{g₁，g₂，…g₁₆}，{b₁，b₂，…b₁₆}}，将步骤7中提取到的前景目标像素点红绿蓝三个波段的颜色分量分别转换为16级颜色量阶，统计每一个量阶中对应的前景目标像素点个数，统计的结果构成颜色分布直方图；

采用支持向量机来分类获得的前景目标，训练支持向量机的过程采用真人示范完成，通过真人模拟钓鱼者的行为，安装在特定位置的摄像头拍摄模拟的行为，将得到的视频图像序列中钓鱼者的图像区域统计成颜色分布直方图的形式输入到支持向量机中，训练得到向量机分类模型。

为了便于使用本发明专利的工程人员具体使用本发明，下面结合附图和实施例对本发明的实施步骤进行详细说明。

实施例

一种基于自动图像识别的非法钓鱼行为识别方法，包括以下具体步骤：

步骤1，从安装在禁止钓鱼区域内的摄像头上实时提取视频图像序列。

1.1本发明采用的摄像头为普通的监控用摄像头或者智能手机用高清摄像头，从摄像头记录到的实时视频中获得RGB(Red,Green,Blue)颜色空间的监控图像；

1.2将1.1获得的监控图像尺寸通过图像插值算法压缩到标准的640*320图像尺寸。

步骤2，建立钓鱼竿的边缘提取模型，利用边缘提取算子对输入的视频图像序列提取图像边缘像素点，具体实施方法如下：

2.1本发明所指的钓鱼竿边缘提取模型是指钓鱼竿具有细长的特点并且在实施钓鱼行为是鱼竿倾斜于地面放置，另外鱼竿的颜色和水面以及岸边会有明显的颜色区分。

2.2用内核分别为G_x和G_y的边缘提取算子对步骤1获得的标准尺寸的图像做卷积，提取出图像中和周围像素点颜色值的差值大于设定阈值的像素点，将这些提取出的像素点视为边缘像素点。

步骤3，利用基于行程的连通性算法对步骤2中提取到的边缘像素点进行分类，将上下左右相连的边缘像素点标记为一个连通区域，如图3所示，基于行程的连通性算法的实施步骤为：

3.1从图像的第一行开始将每一行中连续相邻的边缘像素点标记为一个连续点集合family，同时记录下它的起点Pixel_start和终点Pixel_end以及这个连续点集合的行号rowNum，连续点集合编号Fid；

3.2从第二行开始如果该行内的连续点集合和上一行中的连续点集合在垂直方向上有相邻的像素点就将前一行中连续点集合的编号赋给它，如果和前一行中的多个连续点集合垂直相邻，就将前一行中较小编号的连续点集合的编号赋给它，并将上一行中的多个连续点集合的编号写入等价序列equal(Fid₁，Fid₂，......)，表明这些连续点集合属于同一个连通区域；

3.3遍历所有的连续点集合，将所有等价序列中的连续点集合的编号用等价序列中最小的连续点集合编号替代；将连续点集合的编号填入图像中，图像中相同编号的一块区域即为一个连通区域。

步骤4，统计步骤3中获得的连通区域的参数，计算该连通区域跨越水域的长度、跨越岸边的长度、总长度以及平均宽度。

4.1本发明中摄像头的安装位置是固定的，水域和岸边在图像中相对位置的固定的，根据预设值判定步骤3中获得的连通区域中的像素点位于水域还是岸边；

4.2连通区域跨越水域的长度为像素点在水域中占据的像素列列数，连通区域跨越岸边的长度为像素点在岸边占据的像素列列数，总长度为跨越水域和跨越岸边的长度之和，平均宽度为连通区域中像素点在垂直方向上的平均厚度。

步骤5，对步骤4中获得的连通区域参数采用证据融合理论综合判定该连通区域是否为一根钓鱼竿。

5.1根据对大量鱼竿样本统计的实验结果为步骤4中获得的连通区域跨越水域的长度、跨越岸边的长度、总长度以及平均宽度分别赋予一个信任值，形成4个证据。

5.2对于4个信任值分别为m₁，m₂，m₃，m₄的证据，证据的融合规则用式(4)表示：

其中，A代表证据判定为真，A₁,...A_n分别代表编号为1～n的证据为真；

5.3将步骤5.2得到的总的信任值与设定阈值进行比较，判断该连通区域是否为一根钓鱼竿。

步骤6，重复步骤2到步骤5直到有连通区域被判定为一根钓鱼竿。

步骤7，在步骤6检测到钓鱼竿的周围应用背景消除算法提取相对于记录在系统内的背景不同的前景目标。

7.1本发明记录在系统内的背景包括固定角度下拍摄到的不同季节不同时间段的背景图像，根据当时的时间选择调用系统中记录的背景图片；

7.2本发明所指的钓鱼竿周围区域是指连通区域在岸边的末端像素点附近100*80的图像区域；

7.3将100*80图像区域中像素点的RGB颜色空间下的颜色值D_i，j(R，G，B)分别和对应背景图片中的像素点颜色值T_i，j(R，G，B)作差值，将差值大于设定阈值的像素点提取出来作为前景目标像素点Q_i，j(R，G，B)。

步骤8，统计步骤7获得的前景目标的像素点颜色分布直方图，将颜色分布直方图输入到训练好的支持向量机分类器中去，判断前景目标是否为人体目标。

8.1颜色分布直方图的格式为P{{r₁，r₂…r₁₆}，{g₁，g₂，…g₁₆}，{b₁，b₂，…b₁₆}}，将步骤7中提取到的前景目标像素点红绿蓝三个波段的颜色分量分别转换为16级颜色量阶，统计每一个量阶中对应的前景目标像素点个数，统计的结果构成了本发明中的颜色分布直方图；

8.2本发明采用支持向量机来分类获得的前景目标，训练支持向量机的过程采用真人示范完成，通过真人模拟钓鱼者的行为，安装在特定位置的摄像头拍摄模拟的行为，将得到的视频图像序列中钓鱼者的图像区域统计成颜色分布直方图的形式输入到支持向量机中，训练得到向量机分类模型。

步骤9：如果步骤6判定视野中存在钓鱼竿并且步骤8判定钓鱼竿周围存在人体目标则语音模块发出驱离警告声并将拍摄到的监控画面通过无线通信模块发送给管理员，如果步骤6判定视野中存在钓鱼竿并且步骤8判定钓鱼竿周围不存在人体目标则只将拍摄到的监控画面通过无线通信模块传送给管理员并由管理员判定是否需要发出语音驱离声。

本发明基于自动图像识别的非法钓鱼行为识别方法，对摄像头拍摄到的画面进行识别，一旦发现非法钓鱼者即发出警报驱离声，发出的警报驱离声除了能够对非法钓鱼者进行警告外还可以强行破坏其钓鱼行为，同时系统会给管理者发送监控信息。