一种基于视觉的渔船进出港监管方法及系统与流程

本发明涉及图像识别的，尤其涉及一种基于视觉的渔船进出港监管方法及系统。

背景技术：

1、渔港大量小三板渔船未安装rfid（radio frequency identification，射频识别）以及ais（automatic identification system，渔船自动识别系统），或者有的渔船ais等设备断电关闭，无法使用ais定位系统对渔船进出港情况进行监管。通过人工在港口实地监督或查看监控摄像机的方式，人工成本较高，且时间段有遗漏，存在安全隐患。

2、渔港对渔船有以下监管要求：渔船需要完成年审后方可出港，限制未年审的渔船出港；渔船上的渔民出海均需要穿救生衣；渔船载客人数不可超过额定载客数量；恶劣天气及休渔期不允许出港。

3、针对以上问题，本发明提供一种基于视觉的渔船进出港监管方法及系统。

技术实现思路

1、为了克服现有技术中的问题，本发明提出了一种基于视觉的渔船进出港监管方法、系统、装置及计算机可读存储介质。

2、本发明解决上述技术问题的技术方案如下：

3、第一方面，本发明提供了一种基于视觉的渔船进出港监管方法，包括以下步骤：

4、构建渔船及人员目标检测算法模型、渔船及人员跟踪算法、船牌检测及识别算法模型、人员是否穿救生衣分类算法模型；

5、构建已年审渔船信息数据库，所述已年渔船信息库包含已年审渔船船牌信息、船主信息、额定渔船载客数量信息；构建违禁出海时间段数据库，所述违禁出海时间段数据库包含休渔期、不适宜出海天气，根据天气预报及休渔期变动调整情况，对违禁出海时间段进行配置；

6、设置摄像机在预置位抓拍视频，调用渔船及人员目标检测算法模型、渔船及人员跟踪算法、船牌检测及识别算法模型、人员是否穿救生衣分类算法模型，对进出港渔船及人员检测与跟踪、人员是否穿救生衣识别、渔船船号识别，并关联已年审渔船信息库、违禁出海时间段数据库，实现未年审出海、违章载客、未穿救生衣、违禁出海四种类型的违禁出海监管，并通过船牌告警查询预设已年审渔船信息数据库找到船主，进行相关违章处置。

7、进一步地，构建渔船及人员目标检测算法模型包括：通过抓拍收集渔船进出港图像构建渔船及人员数据集，使用yolov8深度学习目标检测算法，训练渔船及人员目标检测算法模型。

8、进一步地，所述渔船及人员跟踪算法采用deep sort多目标跟踪算法。

9、进一步地，构建船牌检测及识别算法模型包括：使用渔船及人员数据集，抠取渔船区域来制作船牌检测数据集；使用r2cnn深度学习检测算法，训练船牌检测模型；

10、抠取船牌检测数据集中的船牌，并使用文字矫正算法对船牌进行矫正后截图，制作真实船牌识别数据集；通过抠取船身作为背景、港口渔船资料库中的船牌作为语义，合成不同背景、不同字体的合成船牌识别数据集；将船牌识别数据集与合成船牌识别数据集以1:3的比例制作供训练的船牌识别数据集，使用crnn深度学习文字识别算法训练船牌识别模型。

11、进一步地，构建人员是否穿救生衣分类算法模型包括：使用渔船及人员数据集抠取人员区域，制作人员是否穿救生衣数据集，使用resnet101深度学习分类识别算法，训练人员是否穿救生衣分类算法模型。

12、进一步地，对进出港渔船及人员检测与跟踪、人员是否穿救生衣识别、渔船船号识别，并关联已年审渔船信息库、违禁出海时间段数据库，实现未年审出海、违章载客、未穿救生衣、违禁出海四种类型的违禁出海监管，具体包括：

13、调用训练好的渔船及人员目标检测算法模型，识别渔船及人员目标及区域；并调用渔船及人员跟踪算法，对渔船及人员进行跟踪，确定渔船进出港方向，并确定人员所在渔船；

14、调用训练好的船牌检测及识别算法模型，识别渔船船牌位置及渔船船牌；并将识别到的船牌与预构建的渔船信息数据库中船牌数据进行对比，若该渔船不在已年审渔船库中，则进行未年审出海告警；

15、根据渔船及人员目标检测算法模型识别结果统计人员数量，并根据识别到的渔船船牌，与渔船信息库中渔船额定载客数量进行对比，若超过额定载客数量，则进行违章载客告警；

16、根据识别到的人员目标区域，调用训练好的人员是否穿救生衣分类算法模型，得到人员穿救生衣的状态，对存在未穿救生衣人员的渔船，关联船牌进行未穿救生衣告警；

17、根据渔船进出港时间，与预设违禁出海时间段数据库做对比，对此时间段内出海的渔船关联船牌，进行违禁出海告警。

18、进一步地，所述渔船及人员目标检测算法模型、渔船及人员跟踪算法、船牌检测及识别算法模型、人员是否穿救生衣分类算法模型保存在预设数据库中。

19、第二方面，本发明还提供了一种基于视觉的渔船进出港监管系统，包括监控站点、数据处理模块和监管模块，其中：

20、监控站点中包括摄像机，摄像机用于跟踪拍摄渔船获取渔船图像数据；

21、数据处理模块，用于构建渔船及人员目标检测算法模型、渔船及人员跟踪算法、船牌检测及识别算法模型、人员是否穿救生衣分类算法模型；构建已年审渔船信息数据库，已年渔船信息库包含已年审渔船船牌信息、船主信息、额定渔船载客数量信息；构建违禁出海时间段数据库，违禁出海时间段数据库包含休渔期、不适宜出海的恶劣天气，根据天气预报及休渔期变动调整情况，对违禁出海时间段进行配置；

22、监管模块，用于对进出港渔船及人员检测与跟踪、人员是否穿救生衣识别、渔船船号识别，关联已年审渔船信息库、违禁出海时间段数据库，实现未年审出海、违章载客、未穿救生衣、违禁出海四种类型的违禁出海监管，并通过船牌告警查询预设渔船信息数据库找到船主，进行相关违章处置。

23、第三方面，本发明还提供了一种基于视觉的渔船进出港监管装置，其包括：处理器、存储器以及程序；所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行第一方面中任一实施例所述的一种基于视觉的渔船进出港监管方法。

24、第四方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行第一方面中任一实施例所述的所述一种基于视觉的渔船进出港监管方法。

25、与现有技术相比，本发明具有如下技术效果：

26、本发明构建渔船及人员目标检测算法模型、渔船及人员跟踪算法、船牌检测及识别算法模型、人员是否穿救生衣分类算法模型；构建已年审渔船信息数据库及违禁出海时间段数据库；对进出港渔船及人员检测与跟踪、人员是否穿救生衣识别、渔船船号识别，关联已年审渔船信息库、违禁出海时间段数据库，实现未年审出海、违章载客、未穿救生衣、违禁出海四种类型的违禁出海监管，并通过船牌告警查询预设渔船信息数据库找到船主，进行相关违章处置。

技术特征：

1.一种基于视觉的渔船进出港监管方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于视觉的渔船进出港监管方法，其特征在于，构建渔船及人员目标检测算法模型包括：通过抓拍收集渔船进出港图像构建渔船及人员数据集，使用yolov8深度学习目标检测算法，训练渔船及人员目标检测算法模型。

3.根据权利要求1所述的一种基于视觉的渔船进出港监管方法，其特征在于，所述渔船及人员跟踪算法采用deep sort多目标跟踪算法。

4.根据权利要求2所述的一种基于视觉的渔船进出港监管方法，其特征在于，构建船牌检测及识别算法模型包括：使用渔船及人员数据集，抠取渔船区域来制作船牌检测数据集；使用r2cnn深度学习检测算法，训练船牌检测模型；

5.根据权利要求2所述的一种基于视觉的渔船进出港监管方法，其特征在于，构建人员是否穿救生衣分类算法模型包括：使用渔船及人员数据集抠取人员区域，制作人员是否穿救生衣数据集，使用resnet101深度学习分类识别算法，训练人员是否穿救生衣分类算法模型。

6.根据权利要求1所述的一种基于视觉的渔船进出港监管方法，其特征在于，对进出港渔船及人员检测与跟踪、人员是否穿救生衣识别、渔船船牌识别，并关联已年审渔船信息库、违禁出海时间段数据库，实现未年审出海、违章载客、未穿救生衣、违禁出海四种类型的违禁出海监管，具体包括：

7.根据权利要求1所述的一种基于视觉的渔船进出港监管方法，其特征在于，所述渔船及人员目标检测算法模型、渔船及人员跟踪算法、船牌检测及识别算法模型、人员是否穿救生衣分类算法模型保存在预设数据库中。

8.一种基于视觉的渔船进出港监管系统，其特征在于，包括监控站点、数据处理模块和监管模块，其中：

9.一种基于视觉的渔船进出港监管装置，其特征在于，其包括：处理器、存储器以及程序；所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行权利要求1-7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序被处理器运行时控制所述存储介质所在设备执行权利要求1-7中任意一项所述的方法。

技术总结
本发明涉及图像识别的技术领域，尤其涉及一种基于视觉的渔船进出港监管方法及系统。所述方法包括：构建渔船及人员目标检测算法模型、渔船及人员跟踪算法、船牌检测及识别算法模型、人员是否穿救生衣分类算法模型；构建已年审渔船信息数据库及违禁出海时间段数据库；对进出港渔船及人员检测与跟踪、人员是否穿救生衣识别、渔船船号识别，关联已年审渔船信息库、违禁出海时间段数据库，实现未年审出海、违章载客、未穿救生衣、违禁出海四种类型的违禁出海监管，并通过船牌告警查询预设渔船信息数据库找到船主，进行相关违章处置。本发明可为监管人员提供便利，从而进一步保障渔船进出港安全。

技术研发人员：吴苓芝,李天赋,高博,刘呈祥,朱锋,连勇超
受保护的技术使用者：东方电子股份有限公司
技术研发日：
技术公布日：2024/1/16