渔政巡逻方法及系统与流程

1.本发明属于渔政监控技术领域，涉及一种渔政巡逻方法及系统。


背景技术：

2.为抓大保护、不搞大开发为导向推动江河经济带发展，需要全面适应重点水域常年禁捕新形势新要求。重点水域所需的监控战线长，渔政巡逻管辖面积广，执法力量不足，装备及信息化欠缺，管控难。且目前采用传统的人工巡查、人工监控方法，人力成本非常高，人力成本的增加带来的管理成本增加，导致财政支出增长。传统监控需要投入大量人力进行实时监控或视频回看检测，投入高且效率低、负荷重，时效性低、监控范围小，已经不能满足全天时、全天候、大面积管理需求。
3.而违法捕捞操作简单，违法成本低，且不易被发现，人工通过视频识别的难度较大，且要从众多视频画面中取证，人工很难做到快速识别、及时发现。


技术实现要素：

4.本发明的目的在于提供一种渔政巡逻方法及系统，对航道进行实时监控，自动识别船舶入侵和非法捕捞。
5.为了达到上述目的，本发明的基础方案为：一种渔政巡逻方法，包括如下步骤：
6.输入监测航道的多个摄像头同一时间拍摄的航道图像信息；
7.从多个摄像头的拍摄区域中筛选航道关键区域；
8.根据图像信息，识别航道关键区域是否有船舶入侵，非法捕捞，非法垂钓，非法挖沙采石，非法施工，非法排污，水利防汛以上情况的至少一者；
9.若有船舶入侵，则判断是由江岸入侵还是由航道驶入；
10.若由航道驶入，则调取所述航道关键区域船舶来向的n个相邻摄像头拍摄的图像，并进行图像融合，找到航道入侵点；
11.若有船舶入侵，标记为一级预警，识别船舶是否有非法捕捞行为，或者岸边有非法垂钓行为，或者有非法挖沙采石，或者有非法施工，或者有非法排污，或者水位超过警戒线，如果有以上情况的至少一者，则进行二级报警。
12.本基础方案的工作原理和有益效果在于：获取航道图像信息，实现对航道的实时监控。并筛选航道关键区域，进行针对性地监控，利于识别。通过图像信息，识别航道关键区域是否有船舶入侵、非法捕捞，并进行相应报警，及时通知工作人员，以便快速处理，减少人力耗费，使用也更便捷。采用本技术方案，对航道进行实时监控，提高了渔政巡逻的效率，保证了航道的安全性。
13.进一步，监测航道的多个摄像头的设置方法，具体步骤如下：
14.根据历史数据，获取重点河段及捕鱼高发区；
15.获取存量铁塔位置，并筛选沿河距离范围内的存量铁塔位置；
16.确定存量铁塔的辐射范围；
17.重点河段及捕鱼高发区，将摄像头安装在相应铁塔的z1位置；其他区域，摄像头安装在相应铁塔的z2位置，z1位置高于z2位置；
18.若铁塔上的摄像头覆盖范围不全，则在电线杆，或者其他杆体上设置。
19.将摄像头安装在对应铁搭的适宜位置，有利于安装，便于采集图像信息。
20.进一步，筛选航道关键区域的方法如下：
21.采集航道深度图像；
22.对航道深度图像进行图像轮廓特征提取；
23.对图像轮廓特征进行图像分割，获取河面范围、河岸区域和河边道路区域，提取河岸的宽度和陡度；
24.当河岸的宽度大于阈值，且陡度小于阈值，则为航道关键区域，否则为航道非关键区域。
25.筛选航道关键区域，利于监控、识别信息。
26.进一步，识别航道关键区域是否有船舶入侵的方法如下：
27.获取无船舶时的图像信息；
28.将摄像头采集的图像信息与无船舶时的图像信息进行对比，标记采集的图像信息中的船舶；
29.在合法船舶的船体上设置rfid电子标签，摄像头上安装有识别rfid电子标签的识别装置；
30.若未识别到进入航道关键区域的rfid电子标签信息，则判断该船舶为入侵船舶。
31.识别船舶是否为入侵船只，以便工作人员排查，及时处理。
32.进一步，识别航道关键区域是否有非法捕捞，非法垂钓，非法挖沙采石，水利防汛，非法施工，非法排污的方法如下：
33.s1，识别图像中的船舶外形轮廓，及岸边设备、人员的图像，筛选外形符合渔船特征的船只；
34.s2，获取船只航速，若航速大于阈值则退出，若航速小于阈值，则执行步骤s3；
35.s3，判断船只上是否有人，若没有则退出，若有人则执行步骤s4；
36.s4，判断是否有渔网，船舶上人员的动作，岸边设备，及岸边人员的动作，识别是否为非法捕捞，或为非法垂钓，或为非法挖沙采石，或为水利防汛，或为非法施工，或为非法排污。
37.自身识别航道关键区域是否有非法捕捞，操作简单，解决人力排查而发现不及时的问题。
38.进一步，判断船舶上人员的动作，岸边设备，及岸边人员的方法如下：
39.通过摄像机采集人员图像，标注上肢位置和预设时间段内的运动采样，形成图像序列；
40.对图像帧序列中的运动参数和上肢位置信息进行识别，并对岸边设备、岸边人员、捕捞工具的至少一者进行目标与行为主动识别；
41.基于识别出的运动参数和位置信息数据，进行动作预测；
42.若实际检测到对应的非法动作，则确定有对应的非法行为正在实施。
43.根据动作进行识别，识别操作简单，利于使用。
44.进一步，主动识别的方法为：
45.基于雷达与摄像头联动，获取航道白天及夜间场景的图像信息；
46.采用ai识别算法对图像数据进行目标物的识别，进行高亮标注并渲染显示识别标识框；
47.对焦放大到目标物进行录像取证。
48.雷达与摄像头联动，获取更准确的图像信息，并利用ai识别算法，操作简单。
49.进一步，判断船舶是由江岸入侵还是由航道驶入的方法为：
50.获得航道关键区域航道的河面范围和河岸区域；
51.判断船舶与河岸区域的距离，以及行驶方向与河岸的夹角角度；
52.如果船舶与河岸区域小于距离阈值且行驶方向与河岸的夹角角度大于角度阈值，则判断船舶是由江岸入侵；否则是由航道驶入。
53.获取船舶的驶入位置，便于后续排查船舶。
54.本发明还提供一种渔政巡逻系统，包括信息采集模块和信息处理模块，所述信息采集模块用于采集航道图像信息，信息采集模块的输出端与信息处理模块的输入端连接，所述信息处理模块执行本发明所述方法，进行渔政巡逻。
55.本系统对航道进行实时监控，实现自动识别船舶入侵和非法捕捞，操作简单，利于使用。
56.进一步，所述信息处理模块包括云服务器和边缘计算节点；
57.所述边缘计算节点与信息采集模块连接，对视频流实时处理与识别分析；
58.云服务器对算法进行存储和更新，对边缘计算单元进行管理和配置，接收各个边缘计算节点的算法结果并统一进行存储和管理，定期调用算法结果上报管理系统。
59.结构简单，利于操作。
附图说明
60.图1是本发明渔政巡逻方法的结构示意图。
具体实施方式
61.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
62.在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
63.在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
64.本发明公开了一种渔政巡逻方法，如图1所示，包括如下步骤：
65.输入监测航道的多个摄像头(多个摄像头保持时钟同步)同一时间拍摄的航道图像信息；
66.从多个摄像头的拍摄区域中筛选航道关键区域(如航道岔口、平缓的江岸等)；
67.根据图像信息，识别航道关键区域是否有船舶入侵，非法捕捞，非法垂钓，非法挖沙采石，非法施工，非法排污，水利防汛以上情况的至少一者；
68.若有船舶入侵，则判断是由江岸入侵还是由航道驶入；
69.若由航道驶入，则调取所述航道关键区域船舶来向的n个相邻摄像头拍摄的图像，并进行图像融合(image fusion，指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像)，找到航道入侵点并实时更新标记为航道关键区域；
70.若有船舶入侵，标记为一级预警，识别船舶是否有非法捕捞行为，或者岸边有非法垂钓行为，或者有非法挖沙采石，或者有非法施工，或者有非法排污，或者水位超过警戒线，如果有以上情况的至少一者，则进行二级报警。一级预警与二级报警为不同级别的预警，例如一级预警的警戒程度低于二级预警。
71.本发明的一种优选方案中，监测航道的多个摄像头的设置方法，具体步骤如下：
72.根据历史数据，获取重点河段及捕鱼高发区。
73.获取存量铁塔位置，并筛选沿河距离范围内的存量铁塔位置。
74.重点河段及捕鱼高发区，将摄像头安装在相应铁塔的z1位置；其他区域，摄像头安装在相应铁塔的z2位置，z1位置高于z2位置。
75.确定存量铁塔的辐射范围，具体可根绝摄像头在铁塔上的安装高度与摄像头拍摄角度的范围获取，例如h*tan(θ)，其中，h为摄像头在铁塔上的安装高度，θ为摄像头拍摄角度的最大值。
76.若铁塔上的摄像头覆盖范围不全(一个铁塔上可以安装多个摄像头，各摄像头的覆盖范围不同)，则在电线杆，或者其他附件设置的杆体上设置。优选每一个区域都有两个摄像头摄像范围覆盖。
77.将摄像头安装在对应铁搭的适宜位置，有利于安装，便于采集图像信息。
78.本发明的一种优选方案中，筛选航道关键区域的方法如下：
79.采集航道深度图像，具体可采用深度摄像机进行采集，或者利用两个摄像机采集的图像进行融合获取深度图像。
80.对航道深度图像进行图像轮廓特征提取，具体可提取深度图各像素点的颜色值，设置不同的颜色阈值，根据颜色值对图像进行划分，获取属于同一颜色阈值的色块图像，将色块图像中连续连接的像素点连线所构成线段的端点为端点像素点，端点像素点的连线为图像轮廓特征。
81.依据色块信息，对图像轮廓特征进行图像分割，获取河面范围、河岸区域和河边道路区域，根据深度信息提取河岸的宽度和陡度；
82.当河岸的宽度大于阈值，且陡度小于阈值，则为航道关键区域，否则为航道非关键区域。
83.本发明的一种优选方案中，识别航道关键区域是否有船舶入侵的方法如下：
84.获取无船舶时的图像信息；
85.将摄像头采集的图像信息与无船舶时的图像信息进行对比，标记采集的图像信息中的船舶；
86.在合法船舶的船体上设置rfid电子标签，摄像头上安装有识别rfid电子标签的识别装置；
87.若未识别到进入航道关键区域的rfid电子标签信息，则判断该船舶为入侵船舶。
88.更优选地，判断船舶是由江岸入侵还是由航道驶入的方法为：
89.获得航道关键区域航道的河面范围和河岸区域；
90.判断船舶与河岸区域的距离，以及行驶方向与河岸的夹角角度；
91.如果船舶与河岸区域小于距阈值离且行驶方向与河岸的夹角角度大于角度阈值，则判断船舶是由江岸入侵；否则是由航道驶入。
92.本发明的一种优选方案中，识别航道关键区域是否有非法捕捞，非法垂钓，非法挖沙采石，水利防汛，非法施工，非法排污的方法如下：
93.s1，识别图像中的船舶外形轮廓，及岸边设备、人员的图像，筛选外形符合渔船特征的船只，具体船只外形轮廓可根据航道深度图像进行图像轮廓特征提取方法获取，渔船外形可事先采集并存储在图像识别系统；
94.s2，获取船只航速，若航速大于阈值则退出，若航速小于阈值，则执行步骤s3，具体航速可根据固定时间在图像上的移动距离判断；
95.s3，判断船只上是否有人，若没有则退出，若有人则执行步骤s4，具体判断方法可识别图像中是否有符合人体外形的区域。
96.s4，判断船舶上人员的动作，岸边设备，及岸边人员的动作，识别是否为非法捕捞，或为非法垂钓，或为非法挖沙采石，或为水利防汛，或为非法施工，或为非法排污。
97.另外在步骤s4种也可判断是否有渔网，具体判断方法可识别图像中是否有符合渔网特征的区域，渔网特征具体可以为但不限于可展开放大或成团放置的柔性物体。
98.自身识别航道关键区域是否有非法捕捞，操作简单，解决人力排查而发现不及时的问题。
99.优选地，判断船舶上人员的动作，岸边设备，及岸边人员的动作，识别是否为非法捕捞，或为非法垂钓，或为非法挖沙采石，或为水利防汛，或为非法施工，或为非法排污的动作的方法如下：
100.通过摄像机采集人员图像，标注上肢位置和预设时间段内的运动采样，形成图像序列；
101.对图像帧序列中的运动参数和上肢位置信息进行识别，并对岸边设备、岸边人员、捕捞工具的至少一者进行目标与行为主动识别；
102.基于识别出的运动参数和位置信息数据，进行动作预测；
103.若实际检测到对应的非法动作(例如抛网或者甩鱼竿等动作)，则确定有对应的非法行为正在实施。该判断方法也可用于识别多种非法行为，利于使用。
104.更优选地，主动识别的方法为：
105.基于雷达与摄像头联动，获取航道白天及夜间场景的图像信息；雷达进行全天候扫描，实现对闯入水域的非法船只、高速偷捕快艇等目标进行动态跟踪、方位解算、运动轨
迹生成，并引导视频监控设备，对目标进行跟踪、识别与取证；可联动光电雷达实现转台旋转、变焦、聚焦等操作功能，进一步提高长江水域禁捕鱼监控及联动指挥能力；
106.采用ai识别算法对图像数据进行目标物的识别，进行高亮标注并渲染显示识别标识框；
107.对焦放大到目标物进行录像取证。ai识别算法采用ai边缘分析盒(是一款基于nvidia jetson xavier nx处理器、面向是各种边缘计算应用场景的硬件设备)，ai边缘分析盒具有千兆网口、can总线、rs232、rs422、usb3.0、usb2.0、sd卡等丰富的外设接口，支持常见的激光雷达、千兆网口/usb3.0接口/gmsl2串化接口相机、毫米波雷达、超声波雷达等传感器接入；内置授时同步电路，可以对接入的各传感器进行授时同步。ai识别算法可通过可见光、激光补光、红外图像数据，提供多种通道类型的图像数据进行疑似目标物的识别以及高亮标注。
108.本发明还提供一种渔政巡逻系统，包括信息采集模块和信息处理模块，信息采集模块用于采集航道图像信息，信息采集模块的输出端与信息处理模块的输入端电性连接，信息处理模块执行本发明所述方法，进行渔政巡逻。本系统对航道进行实时监控，实现自动识别船舶入侵和非法捕捞，操作简单，利于使用。信息处理模块可采用ai智能图像识别设备，信息处理模块的预警信号输出端可连接远程平台，工作人员通过远程平台可对总体态势进行感知，并进行执法监察管理，同时完成现场处置执法，实现协同执法监察。
109.本发明的一种优选方案中，信息采集模块包括多个摄像头(如智能摄像机)，摄像头设置于存量铁塔上，进行全天候视频感知。信息采集模块还包括无人机，无人机用于空中侦查，进行多角度拍摄，并将采集的信息实时回传至指挥中心，无人机上安装有可发出声光报警信号的警报装置，警报装置的输入端与信息处理模块的输出端连接，在发现违法行为时，可通过空中喊话实时制止。
110.具体摄像头设置的位置进行如下选择：
111.根据历史数据，获取重点河段及捕鱼高发区；
112.获取存量铁塔位置，并筛选沿河距离范围内的存量铁塔位置；
113.确定存量铁塔的辐射范围；
114.重点河段及捕鱼高发区，将摄像头安装在相应铁塔的z1位置；其他区域，摄像头安装在相应铁塔的z2位置，z1位置高于z2位置；
115.若铁塔上的摄像头覆盖范围不全，则在电线杆，或者其他杆体上设置。将摄像头安装在适宜位置，合理布设视频监控点，实现全面覆盖，利于图像采集。监控点布设时充分利用铁塔已有的设施、供电、网络条件，不重复建设；支流入河口的监控点尽量布设于干支流交汇处等关键位置，渔船捕鱼、垂钓等违法行为易发区域监测点位置考虑监控区域最大化，重要设施监测点选址不应影响建设设施的美观，同时考虑监测区域的合理性。
116.信息处理模块包括云服务器和边缘计算节点，边缘计算节点与信息采集模块电性连接，对视频流实时处理与识别分析。云服务器对算法进行存储和更新，对边缘计算单元进行管理和配置(如启停控制、传输算法配置等)，接收各个边缘计算节点的算法结果并统一进行存储和管理，定期调用算法结果上报管理系统。在白天、黑夜、下雨、大雾等各种恶劣天气环境下均可在重点禁捕区对江河水面上的船只实现运动目标的有效探测和违法行为的发现预警。
117.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
118.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。