一种船岸协同的内河巡查与综合执法方法、装置及系统与流程

本发明涉及内河巡查和执法技术领域，具体涉及一种船岸协同的内河巡查与综合执法方法、装置及系统。

背景技术：

随着经济的飞速发展，水路的里程不断增加，二纵五横十八线网的内河水运规划正在成型。

内河航道窄、风浪小，偏远地域多，监管难覆盖，人工巡查方式工作量大，经常需要巡查人员沿护岸、边坡或乘坐小艇等开展巡视、手工记录，内河航道的巡查业务人员数量少，偏远地区难以覆盖；对于易拥堵航道、航道管制区域以及重要水源地、水位变化较大航段、水位较浅航段、易垮坡段等航道关键点，往往需要专业人员7*24小时监管、巡查。

内河船舶的名牌号标示没有规范，对于船舶的监管，还是以人工方式为主，虽然ais在长江等流域比较普及，但在内河领域，还存在着基站覆盖不全面，难以覆盖等难题。内河船舶的行政执法信息化手段相对落后，管理相对困难，往往是人工驾驶执法艇完成现场执法工作。在执法过程当中，目前的水上执法艇至少需要2人，1人开船、1人观察。执法的取证也是难题，目前还是人工执法为主，还没有成熟的信息化手段。

目前水上执法取证比较困难，岸侧的摄像头数量少，费用高，且岸侧视角的内河船舶行驶过程中的图像难以获取。船舶越线停靠、非法停泊、非法装卸等需现场执法；内河水运的航道场景难以固定，水位变化大，且无法判定。

现有的内河航道智能化巡查案例非常少，偶有借助无人机完成巡查的方式，该种手段往往只是通过俯视的图片比对判断违建，虽然偶有应用，但受航道局域的环境影响较大、内河水位变化较大，气象环境影响也较大等原因，无人船的应用并不常见，特别是现有的无人船巡查仅提供行走装置，辅助人工操纵，无法实现水上巡查，水下断面情况也无法感知。现有的内河航道智能化执法手段还几乎没有。

技术实现要素：

本发明的目的在于提供一种船岸协同的内河巡查与综合执法方法、装置及系统，解决内河水运基础设施运行管理当中的人工记录工作量大且不准确、巡查手段落后、执法取证困难、内河盲区多、监管难覆盖等问题。

实现本发明目的的技术方案为：一种船岸协同的内河巡查与综合执法方法，该方法步骤包括：

步骤1、为内河巡查与综合执法装置规划巡查路径，执法路径，或巡查和执法路径；

步骤2、根据规划的巡查路径启动巡查；或根据规划的执法路径启动执法；或根据规划的巡查和执法路径启动巡查和执法；其中，

巡查步骤为：

(2-1-1)在巡查路径标记巡查点，包括护岸巡查点、助航设施巡查点和安全设施巡查点，完成路径记录的补充，对应设置岸侧传输节点和典型设施轮廓标线；

(2-1-2)对应启动点，确定内河巡查的初始高度；

(2-1-3)对应巡查点，实现助航设施和安全设施轮廓标线、拍摄高度的初始化；

(2-1-4)启动内河巡查与综合执法装置，按路径和巡查点位置自动行进，在全过程中采集途经路径的水下断面信息、gps信息；

(2-1-5)依次到达巡查点，依据行进中的gps位置，结合与初始高度的高度差，内河巡查与综合执法装置自动调节至拍摄高度；

(2-1-6)拍摄高度与gps位置统一后，拍摄图像；进行图像处理，完成与历史图像的自动比对；

根据位置的不同，图像自动处理包括以下场景：判断护岸或边坡的形状是否与历史图像一致；判断助航设施的形状是否与历史图像一致；判断岸旗、航标、警示标志、标牌是否损坏或丢失；

(2-1-7)无人船途经非标记点，摄像头实时记录视频流；存储至本地、并按位置传输至岸侧通信单元，同步传输至内河巡查与综合执法系统；

(2-1-8)若需要，人工调看整个过程的视频流，人工判断途经设施是否需要养护；

(2-1-9)生成巡查报告和养护建议；

执法步骤为：

(2-2-1)在规划路径上定义执法点，包括护岸执法点、禁行执法点、施工管制执法点、易非法装卸区执法点，设置岸侧传输节点和典型设施轮廓标线；

(2-2-2)对应启动点，确定初始高度；

(2-2-3)对应的执法点，进行典型设施轮廓标线、摄像高度的初始化；

(2-2-4)按规划路径，依次到达执法点，依据行进的gps位置，结合与初始高度的高度差，内河巡查与执法装置自动调节至拍摄高度；

(2-2-5)拍摄高度与gps位置一致时，拍摄图像，完成执法取证；

(2-2-6)根据执法图像，进行图像匹配分析：

主要包括以下场景：判断护岸执法点是否有违建；判断禁行执法点的图像中是否有船舶；判断水上施工的管制区域执法点的标志是否完备；判断非码头区执法点是否有非法装卸；执法点之间的路径行走过程中，即非指定执法点，记录视频流；

(2-2-7)无人船途经非标记点，摄像头实时记录视频流；存储至本地、并按位置传输至岸侧通信单元，同步传输至内河巡查与综合执法系统；

(2-2-8)若需要，按位置传输至岸侧通信单元，调看执法过程的视频流，人工判断是否需要现场执法；

(2-2-9)根据图像自动分析结果、拍摄时间，对应违建的位置，自动生成执法说明书；对应内河船舶的基础信息、gps位置信息，自动生成执法说明书；

巡查和执法步骤为：

(2-3-1)在规划的巡查和执法路径上标记巡查点和执法点，设置岸侧传输节点和典型设施轮廓标线；

(2-3-2)对应启动点，设置初始高度；

(2-3-3)对应巡查点和执法点，进行强化轮廓线的初始化；

(2-3-3)启动装置，与路径和巡查点位置相对应，并在全过程中将途经路径的水下断面信息进行采集，与自身的gps匹配；

(2-3-4)在巡查点和执法点，依据gps位置与初始高度的差别，自动调节至记忆的拍照高度，完成抓拍，摄像头记录拍摄图像；

在标记的执法点进行图像匹配分析，主要包括以下场景：判断护岸或边坡的形状是否与历史图像一致；判断助航设施的形状是否与历史图像一致；判断岸旗、航标、警示标志、标牌是否丢失；判断护岸执法点是否有违建；判断禁行执法点的图像中是否有船舶；判断水上施工的管制区域执法点的标志是否完备；判断非码头区执法点是否有非法装卸；

(2-3-5)若需要，调看整个过程的视频流，人工判断途经设施是否需要养护，人工判断是否需要现场执法；

(2-3-6)根据图像自动分析结果、拍摄时间，对应违建，生成违建执法说明书；对应内河船舶的gps基础信息、位置信息，生成执法说明书；

步骤3、内河巡查与综合执法装置按照规划的巡查路径、执法路径、巡查和执法路径自动行进，直到结束。

进一步的，船岸协同包括三部分：一是岸侧传输节点，与无人船装备采用wifi或rfid通信；二是补充设施轮廓标线；三是岸侧基准点，借助于岸侧补充标记与船舶视频的对应关系和图像范围；

岸侧传输节点，rfid读卡器心跳读到无人船携带的rifd标签信息时，通信模块启动，完成存储信息传输后，自动结束；

补充设施轮廓标志，在巡查过程中，用于获取护岸图像的摄像机与护岸和典型助航设施的亮化标线相协同；在执法过程中，自动获取危险品货物信息以及岸侧的危险品货物种类信息，实现码头危险货物种类的自动识别与协同；

岸侧基准点，即在出发前，智能行走的无人船与岸侧的水尺校准，定位初始高度；出发位置的校准，通过水尺与当前水下断面的水深对比，设定无人船移动横杆的高度，保持高度调节装置的初始值为0。

进一步的，内河巡查与综合执法装置由无人船做为水上巡查和执法的基础装备。

进一步的，无人船搭载用于水下断面信息采集的单波束雷达，水下断面数据存储格式可为txt，存储于本地，并可同步传输至船岸协同的内河巡查与综合执法系统

进一步的，无人船的视频采集装置包括2路摄像头，一路安装在无人船舶中间立柱上，用于获取视频流的摄像头；一路安装于移动横杆上，用于抓拍图像。

进一步的，无人船根据预设的位置、当前的水深两项数据，控制模块自动输出船舶高度，控制步进电机行程，自动调节移动横杆高度，保持在标记点位的摄像机位置与边坡、护岸同高。

进一步的，搭载用于拍摄图像的摄像机，在指定地点拍摄的图像数据存储于本地及传输至内河巡查与综合执法系统，自动判断出护岸的形状是否改变，一是：与历史图像的对比度一致，在局部护岸垮塌、滑坡变化后，图像存储的信息格式存在突变；二是：在易垮塌部位，增加反光标语、标志线，通过图像自动判断标志线的形变，得到护岸形状是否保持；判断是否与历史图像的一致性，判断航标、助航浮标、系船浮标的标志线的完整性。

进一步的，初始高度的确定方法是：确定基准线，与起始点的水位线、水深相匹配，保证初始高度与水位变化的匹配；后续的巡查点、执法点高度是与初始高度的相对高度。

进一步的，搭载用于拍摄图像的摄像机，在指定地点拍摄的图像数据可存储于本地及传输至内河巡查与综合执法系统，用于判断岸旗、航标、警示标志、标牌是否丢失，包括图像的前景、背景对比分析方法，利用两幅图像的滑动匹配方法，扫描整幅图像，获得最好的对比区域进行匹配对比处理。

进一步的，应用摄像机拍摄图像的数字图像处理方法处理轮廓，其步骤是：

(1)将原始图像转换为hsl图像；

(2)从hsl图像中分离出标志线的白色；

(3)将图像转换为灰度，应用高斯模糊来平滑边缘，应用canny完成边缘检测，提取标志线轮廓；

(4)对比当前图像与历史图像边缘的一致性。

进一步的，视频流的人工判断方法：使用船岸协同内河智能巡查与执法装备，该装备搭载的用于拍摄图像的摄像机，完成在指定地点拍摄的图像数据可存储于本地及传输至内河巡查与综合执法系统，人工辅助判断助航设施的形状是否完备，该方法补盲。

进一步的，内河巡查与综合执法系统录入无人船巡查路径，无人船可自动完成巡查；同时配备人工操控装置，可进行人工助航。

进一步的，可按内河航道和水域特征形成路径编队，每组路径配置一定数量的内河巡查与综合执法装置，通过“船岸协同的内河巡查与综合执法系统”可实现航道和水域的管理全覆盖。

进一步的，管理人员可实时察看视频流，并在完成巡航后，调取存储的视频流和图像，进行人工辅助的事后巡查与执法。

进一步的，可通过岸侧传输节点的设备实现数据的备份和传输。

进一步的，无人船悬挂有执法标识。

进一步的，无人船根据巡检路径航行或者人工操纵行驶。

进一步的，无人船采集的图像和视频传至内河巡查与综合执法系统，可分发至海事、港航、运管、国土、环保等相关的管理部门，并可实现综合执法。

进一步的，采集的图像和视频通过网络实时传输给现场执法艇。

一种船岸协同的内河巡查与综合执法装置，包括无人船、视频采集装置、水深量测模块、定位模块、主控模块、高度调节装置、供电模块、传输模块和存储模块；其中：

无人船按规划路径自动行走，并可人工操控；

视频采集装置用于采集图像和视频流；

水深量测模块用于感知水深，确定水下断面尺寸；

定位模块用于感知无人船的gps位置；

主控模块用于完成图像对比、高度调节装置的控制、输出抓拍指令、传输控制等；

高度调节装置与gps相匹配，根据主控模块的设定自动调节高度；

供电模块用于无人船和搭载设备的供电和储电；

传输模块用于无线短距的人工操控、与内河巡查与综合执法系统的3g/4g信息传输；

存储模块用于存储水深量测模块的水深数据、视频采集装置获取的图像、视频流。

进一步的，无人船包括通信天线、加密模块和遥控器；通信天线用于与传输模块配合，实现信息传输，加密模块用于将14位的船舶唯一标识码做为传输数据的文件头，遥控器用于人工操纵无人船。

进一步的，视频采集装置包括2路摄像头，1路用于抓拍图像、1路用于拍摄视频。

进一步的，所述高度调节装置设置在无人船正中间，由主控模块记录不同位置的高度，由定位模块到达指定位置时输出电机转动方向、转动时间，进行高度调节。

进一步的，水深量测模块采用单波束测深雷达。

进一步的，传输模块采用实时射频点对点通信方式，操纵台通过4g方式传输至内河巡查与综合执法系统；可扩展岸基基站，控制范围可增加至20公里。

进一步的，主控模块根据定位模块获取的实时位置，以及预先输入高度信息，完成高度调节装置的自动调节。

进一步的，高度调节装置根据定位信息，调节到位后自动发出抓拍指令。

进一步的，该装置预留有多个扩展接口：一是可以搭载全景摄像机，在指定位置采集内河的全景图像，全景摄像头高度为3m以上；二是可以搭载警示灯，在执法过程中对相关船舶和违章机构进行警示；三是可以搭载扩音装置，用于向违章船舶喊话。

一种船岸协同的内河巡查与综合执法系统，包括运行监测模块、路径规划模块、巡查处置模块、执法处置模块、信息共享模块和统计分析模块，其中：

运行监测模块，以gis地图为基础，展示行驶路径、局部放大图以及船舶的ais位置；

路径规划模块，用于录入巡查的路径、执法的路径以及巡查点、执法点；

巡查处置模块，用于提供巡查界面和记录；

执法处置模块，用于提供执法界面和记录，并输出执法记录单；

信息共享模块，用于提供数据查询界面、图像查询界面；

统计分析模块，用于数据统计和分析。

进一步的，巡查处置模块和执法处置模块通过app展示相应界面和记录。

进一步的，gis地图采用开源的地理信息系统做底图，根据船舶路径校准内河航道路径，自定义海事、港航相关的专题图层，与cad中的设施位置自行匹配，gis显示时，对应浏览器端动态业务数据的绘制技术，通过ajax技术动态叠加到地图上，通过xmlhttprequest异步请求，将巡查、执法业务路径数据与地图数据分开刷新。

进一步的，路径规划方法：与现有巡查流程的excel文件次序文档相结合，结合设施位置，开发了路径和计算方法，自动生成最优路径，同时方便业务人员在地图上点选机构、添加和修改设施以及确认设施的准确位置。

进一步的，数据共享与交换的方法：统一数据格式的前提下，建立公共数据交换界面，数据主要来源数据交换平台。包括：海事数据通过中间件交换实现共享；业务数据通过网闸前置机转mq的方式共享；其余数据通过数据交换平台共享。根据用户权限界定数据可共享的范围，三级用户：管理员、决策人员、业务人员，业务人员分巡查、执法两类。

进一步的，系统预留有多个扩展接口，包括：一是全景摄像机展示接口；二是警示灯控制接口；三是广播控制接口。

与现有技术相比，本发明的有益效果为：(1)本发明采用无人船巡查方式，可比对、定位、通过图片与背景的比对，记录违章过程，要素较全；(2)本发明的巡查和执法方法能够覆盖内河全域；(3)本发明的无人船采用高精度定位与路径相结合，能够自动行走；(4)采用船岸协同方法，侧重于岸侧轮廓的识别与补充；(5)本发明的巡查方法能够判断护岸的形状是否保持、助航设施是否完整；综合执法方法能够判断护岸是否有违建、禁行执法点是否有船舶、水上施工的管制区域标志是否完备、非码头区是否有非法装卸。

附图说明

图1为船岸协同的内河巡查方法流程图。

图2为船岸协同的内河执法方法流程图。

图3为船岸协同的内河巡查和执法流程图。

图4为船岸协同的内河巡查及执法装置构成示意图。

图5为船岸协同的内河巡查及执法系统原理框图。

具体实施方式

本发明提供一种船岸协同的内河巡查与综合执法方法、装置及系统，下面结合实施例以及附图分别对船岸协同的内河巡查方法、船岸协同的内河方法、船岸协同的内河巡查和综合执法方法、船岸协同的内河巡查与综合执法装置、内河巡查与综合执法系统作详细说明。

实施例1

一种船岸协同的内河巡查方法，如图1所示，包括：

s101、为内河巡查与综合执法装置规划巡查路径；

s102、在巡查路径标记巡查点，包括护岸巡查点、助航设施巡查点和警示标志、标牌等安全设施巡查点，完成路径记录的补充，对应设置岸侧传输节点和典型设施轮廓标线；

s103、对应启动点，确定内河巡查的初始高度；

s104、对应巡查点，实现助航设施和安全设施轮廓标线、拍摄高度的初始化；

s105、启动内河巡查与综合执法装置，按路径和巡查点位置自动行进，在全过程中采集途经路径的水下断面信息、gps信息；

s106、依次到达巡查点，依据行进中的gps位置，结合与初始高度的高度差，内河巡查与综合执法装置自动调节至拍摄高度；

s107、拍摄高度与gps位置统一后，拍摄图像；进行图像处理，完成与历史图像的自动比对；

根据位置的不同，图像自动处理包括以下场景：判断护岸或边坡的形状是否与历史图像一致；判断助航设施的形状是否与历史图像一致；判断岸旗、航标、警示标志、标牌是否损坏或丢失；

s108、无人船途经非标记点，摄像头实时记录视频流；存储至本地、并按位置传输至岸侧通信单元，同步传输至内河巡查与综合执法系统；

s109、若需要，调看整个过程的视频流，人工判断途经设施是否需要养护；

s110、生成巡查报告和养护建议；

所述的船岸协同包括三部分：一是岸侧传输节点，与无人船采用wifi或rfid通信；二是补充设施轮廓标线；三是岸侧基准点，借助于岸侧补充标记与船舶视频的对应关系和图像范围；

岸侧传输节点，rfid读卡器心跳读到无人船携带的rifd标签信息时，通信模块启动，完成存储信息传输后，自动结束；

补充设施轮廓标志，在巡查过程中，用于获取护岸图像的摄像机与护岸和典型助航设施的亮化标线相协同；

岸侧基准点，即在出发前，智能行走的无人船与岸侧的水尺校准，定位初始高度；出发位置的校准，通过水尺与当前水下断面的水深对比，设定无人船移动横杆的高度，保持高度调节装置的初始值为0。

内河巡查与综合执法装置由无人船做为水上巡查的基础装备。无人船搭载用于水下断面信息采集的单波束雷达，水下断面数据存储格式为txt，存储于本地，并同步传输至船岸协同的内河巡查与综合执法系统。

无人船的视频采集装置包括2路摄像头，一路安装在无人船舶中间立柱上，用于获取视频流的摄像头；一路安装于移动横杆上，用于抓拍图像。

无人船根据预设的位置、当前的水深两项数据，控制模块自动输出船舶高度，控制步进电机行程，自动调节移动横杆高度，保持在标记点位的摄像机位置与边坡、护岸同高。

搭载用于拍摄图像的摄像机，在指定地点拍摄的图像数据存储于本地及传输至船岸协同的内河巡查与综合执法系统，自动判断出护岸的形状是否改变，一是：与历史图像的对比度一致，在局部护岸垮塌、滑坡变化后，图像存储的信息格式存在突变；二是：在易垮塌部位，增加反光标语、标志线，通过图像自动判断标志线的形变，得到护岸形状是否保持；判断是否与历史图像的一致性，判断航标、助航浮标、系船浮标的标志线的完整性。

搭载用于拍摄图像的摄像机，在指定地点拍摄的图像数据可存储于本地及传输至船岸协同的内河巡查与综合执法系统，用于判断岸旗、航标、警示标志、标牌是否丢失，包括图像的前景、背景对比分析方法，利用两幅图像的滑动匹配方法，扫描整幅图像，获得最好的对比区域进行匹配对比处理。

应用摄像机拍摄图像的数字图像处理方法处理轮廓，其步骤是：

(1)将原始图像转换为hsl图像；

(2)从hsl图像中分离出标志线的白色；

(3)将图像转换为灰度，应用高斯模糊来平滑边缘，应用canny完成边缘检测，提取标志线轮廓；

(4)对比当前图像与历史图像边缘的一致性。

视频流的人工判断方法：使用船岸协同内河智能巡查与执法装备，该装备搭载的用于拍摄图像的摄像机，完成在指定地点拍摄的图像数据可存储于本地及传输至船岸协同的内河巡查与综合执法系统，人工辅助判断助航设施的形状是否完备，可由该方法补盲。

巡查的初始高度的确定方法为：确定基准线，与起始点的水位线、水深相匹配，保证初始高度与水位变化的匹配；后续的巡查点、执法点高度是与初始高度的相对高度。

管理人员可实时察看视频流，并在完成巡航后，调取存储的视频流和图像，进行人工辅助的事后巡查。可通过岸侧传输节点的设备实现数据的备份和传输。

实施例2

本实施例与实施例1的区别在于，无人船还配备人工操控装置，可进行人工助航，即无人船可选择自动巡查或人工操纵巡查方式。

实施例3

一种船岸协同的内河执法方法，如图2所示，包括：

s201、为内河巡查与综合执法装置规划执法路径；

s202、在规划路径上定义执法点，包括护岸执法点、禁行执法点、施工管制执法点、易非法装卸区执法点，设置岸侧传输节点和典型设施轮廓标线；

s203、对应启动点，确定初始高度；

s204、对应的执法点，进行典型设施轮廓标线、摄像高度的初始化；

s205、按规划路径，依次到达执法点，依据行进的gps位置，结合与初始高度的高度差，内河巡查与执法装置自动调节至拍摄高度；

s206、拍摄高度与gps位置一致时，拍摄图像，完成执法取证；

s207、根据执法图像，进行图像匹配分析：

主要包括以下场景：判断护岸执法点是否有违建；判断禁行执法点的图像中是否有船舶；判断水上施工的管制区域执法点的标志是否完备；判断非码头区执法点是否有非法装卸；执法点之间的路径行走过程中，即非指定执法点，记录视频流；

s208、无人船途经非标记点，摄像头实时记录视频流；存储至本地、并按位置传输至岸侧通信单元，同步传输至内河巡查与综合执法系统；

s209、若需要，按位置传输至岸侧通信单元，调看执法过程的视频流，人工判断是否需要现场执法；

s210、根据图像自动分析结果、拍摄时间，对应违建的位置，自动生成执法说明书；对应内河船舶的基础信息、gps位置信息，自动生成执法说明书。

所述的船岸协同包括三部分：一是岸侧传输节点，与无人船装备采用wifi或rfid通信；二是补充设施轮廓标线；三是岸侧基准点，借助于岸侧补充标记与船舶视频的对应关系和图像范围；

岸侧传输节点，rfid读卡器心跳读到无人船携带的rifd标签信息时，通信模块启动，完成存储信息传输后，自动结束；

补充设施轮廓标志，在执法过程中，自动获取危险品货物信息以及岸侧的危险品货物种类信息，实现码头危险货物种类的自动识别与协同；

岸侧基准点，即在出发前，智能行走的无人船与岸侧的水尺校准，定位初始高度；出发位置的校准，通过水尺与当前水下断面的水深对比，设定无人船移动横杆的高度，保持高度调节装置的初始值为0。

内河巡查与综合执法装置由无人船做为水上执法的基础装备。无人船搭载用于水下断面信息采集的单波束雷达，水下断面数据存储格式为txt，存储于本地，并同步传输至船岸协同的内河巡查与综合执法系统。无人船的视频采集装置包括2路摄像头，一路安装在无人船舶中间立柱上，用于获取视频流的摄像头；一路安装于移动横杆上，用于抓拍图像。

无人船根据预设的位置、当前的水深两项数据，控制模块自动输出船舶高度，控制步进电机行程，自动调节移动横杆高度，保持在标记点位的摄像机位置与边坡、护岸同高。

应用摄像机拍摄图像的数字图像处理方法处理轮廓，其步骤是：

(1)将原始图像转换为hsl图像；

(2)从hsl图像中分离出标志线的白色；

(3)将图像转换为灰度，应用高斯模糊来平滑边缘，应用canny完成边缘检测，提取标志线轮廓；

(4)对比当前图像与历史图像边缘的一致性。

视频流的人工判断方法：使用船岸协同内河智能巡查与执法装备，该装备搭载的用于拍摄图像的摄像机，完成在指定地点拍摄的图像数据可存储于本地及传输至船岸协同的内河巡查与综合执法系统，人工辅助判断助航设施的形状是否完备，该方法补盲。

内河巡查与综合执法系统录入无人船执法路径，同时配备人工操控装置，无人船根据执法路径航行或者人工操纵行驶。

管理人员可实时察看视频流，并在完成执法后，调取存储的视频流和图像，进行人工辅助的事后执法。

可通过岸侧传输节点的设备实现数据的备份和传输。

无人船采集的图像和视频传至船岸协同的内河巡查与综合执法系统，可分发至海事、港航、运管、国土、环保等相关的管理部门，并可实现综合执法。采集的图像和视频通过网络实时传输给现场执法艇。

实施例4

在实施例3所述内河巡查与综合执法装置的无人船上悬挂执法标识。

实施例5

一种船岸协同的内河巡查和综合执法方法，如图3所示，包括以下步骤：

s301、为内河巡查与综合执法装置规划路径；

s302、在规划的巡查和执法路径上标记巡查点和执法点，设置岸侧传输节点和典型设施轮廓标线；

s303、对应启动点，设置初始高度；

s304、对应巡查点和执法点，进行强化轮廓线的初始化；

s305、启动装置，与路径和巡查点位置相对应，并在全过程中将途经路径的水下断面信息进行采集，与自身的gps匹配；

s306、在巡查点和执法点，依据gps位置与初始高度的差别，自动调节至记忆的拍照高度，完成抓拍，摄像头记录拍摄图像；

在标记的执法点进行图像匹配分析，主要包括以下场景：判断护岸或边坡的形状是否与历史图像一致；判断助航设施的形状是否与历史图像一致；判断岸旗、航标、警示标志、标牌是否丢失；判断护岸执法点是否有违建；判断禁行执法点的图像中是否有船舶；判断水上施工的管制区域执法点的标志是否完备；判断非码头区执法点是否有非法装卸；

s307、若需要，调看整个过程的视频流，人工判断途经设施是否需要养护，人工判断是否需要现场执法；

s308、根据图像自动分析结果、拍摄时间，对应违建，生成违建执法说明书；对应内河船舶的gps基础信息、位置信息，生成执法说明书；

按照规划的巡查和执法路径进行的同时，传输数据至船岸协同的内河巡查与综合执法系统，直到结束。

所述船岸协同包括三部分：一是岸侧传输节点，与无人船装备采用wifi或rfid通信；二是补充设施轮廓标线；三是岸侧基准点，借助于岸侧补充标记与船舶视频的对应关系和图像范围；

岸侧传输节点，rfid读卡器心跳读到无人船携带的rifd标签信息时，通信模块启动，完成存储信息传输后，自动结束；

补充设施轮廓标志，在巡查过程中，用于获取护岸图像的摄像机与护岸和典型助航设施的亮化标线相协同；在执法过程中，自动获取危险品货物信息以及岸侧的危险品货物种类信息，实现码头危险货物种类的自动识别与协同；

岸侧基准点，即在出发前，智能行走的无人船与岸侧的水尺校准，定位初始高度；出发位置的校准，通过水尺与当前水下断面的水深对比，设定无人船移动横杆的高度，保持高度调节装置的初始值为0。

内河巡查与综合执法装置由无人船做为水上巡查和执法的基础装备。

无人船搭载用于水下断面信息采集的单波束雷达，水下断面数据存储格式为txt，存储于本地，并同步传输至船岸协同的内河巡查与综合执法系统。

无人船的视频采集装置包括2路摄像头，一路安装在无人船舶中间立柱上，用于获取视频流的摄像头；一路安装于移动横杆上，用于抓拍图像。

无人船根据预设的位置、当前的水深两项数据，控制模块自动输出船舶高度，控制步进电机行程，自动调节移动横杆高度，保持在标记点位的摄像机位置与边坡、护岸同高。

搭载用于拍摄图像的摄像机，在指定地点拍摄的图像数据存储于本地及传输至内河巡查与综合执法系统，自动判断出护岸的形状是否改变，一是：与历史图像的对比度一致，在局部护岸垮塌、滑坡变化后，图像存储的信息格式存在突变；二是：在易垮塌部位，增加反光标语、标志线，通过图像自动判断标志线的形变，得到护岸形状是否保持；判断是否与历史图像的一致性，判断航标、助航浮标、系船浮标的标志线的完整性。

搭载用于拍摄图像的摄像机，在指定地点拍摄的图像数据可存储于本地及传输至船岸协同的内河巡查与综合执法系统，用于判断岸旗、航标、警示标志、标牌是否丢失，包括图像的前景、背景对比分析方法，利用两幅图像的滑动匹配方法，扫描整幅图像，获得最好的对比区域进行匹配对比处理。

应用摄像机拍摄图像的数字图像处理方法处理轮廓，其步骤是：

(1)将原始图像转换为hsl图像；

(2)从hsl图像中分离出标志线的白色；

(3)将图像转换为灰度，应用高斯模糊来平滑边缘，应用canny完成边缘检测，提取标志线轮廓；

(4)对比当前图像与历史图像边缘的一致性。

视频流的人工判断方法：使用船岸协同内河智能巡查与执法装备，该装备搭载的用于拍摄图像的摄像机，完成在指定地点拍摄的图像数据可存储于本地及传输至内河巡查与综合执法系统，人工辅助判断助航设施的形状是否完备，该方法补盲。

内河巡查与综合执法系统录入无人船巡查路径，无人船可自动完成巡查；同时配备人工操控装置，可进行人工助航。

管理人员可实时察看视频流，并在完成巡航后，调取存储的视频流和图像，进行人工辅助的事后巡查与执法。

可通过岸侧传输节点的设备实现数据的备份和传输。

无人船采集的图像和视频传至内河巡查与综合执法系统，可分发至海事、港航、运管、国土、环保等相关的管理部门，并可实现综合执法。采集的图像和视频通过网络实时传输给现场执法艇。

实施例6

一种船岸协同的内河巡查与综合执法装置，如图4所示，包括无人船、视频采集装置、水深量测模块、定位模块、主控模块、高度调节装置、供电模块、传输模块和存储模块；其中：

无人船按规划路径自动行走，并可人工操控；

视频采集装置用于采集图像和视频流；

水深量测模块用于感知水深，确定水下断面尺寸；

定位模块用于感知无人船的gps位置；

主控模块用于完成图像对比、高度调节装置的控制、输出抓拍指令、传输控制等；

高度调节装置与gps相匹配，根据主控模块的设定自动调节高度；

供电模块用于无人船和搭载设备的供电和储电；

传输模块用于无线短距的人工操控、与内河巡查与综合执法系统的3g/4g信息传输；

存储模块用于存储水深量测模块的水深数据、视频采集装置获取的图像、视频流。

其中，无人船包括通信天线、加密模块和遥控器；通信天线用于与传输模块配合，实现信息传输，加密模块用于将14位的船舶唯一标识码做为传输数据的文件头，遥控器用于人工操纵无人船。

传统的无人船只有行走功能。本发明除了行走功能之外，还集成了视频采集功能、路径记忆功能、水下断面识别功能、定位功能、高度调节功能、水位校准功能等。

所述视频采集装置包括2路摄像头，1路用于抓拍图像、1路用于拍摄视频。

所述高度调节装置设置在无人船正中间，由主控模块记录不同位置的高度，由定位模块到达指定位置时输出电机转动方向、转动时间，进行高度调节。

水深量测模块采用单波束测深雷达。定位模块采用gnssoem板卡与北斗载波相位差分技术的定位模块。主控模块采用stm32的ucleo-ihm001bldc电动机控制开发套件。供电模块采用锂电电源，容量500ah以上，在工作之前完成充电。存储模块，数据可直接存储于无人船上的存储卡上，容量可达36gb，满足图像和视频流存储需求。通过扩展的岸基基站，可备份存储。

传输模块采用实时射频点对点通信方式，操纵台通过4g方式传输至内河巡查与综合执法系统；可扩展岸基基站，控制范围可增加至20公里。

主控模块根据定位模块获取的实时位置，以及预先输入高度信息，完成高度调节装置的自动调节。高度调节装置根据定位信息，调节到位后自动发出抓拍指令。

实施例7

本实施例在实施例6的装置基础上，预留有多个扩展接口，包括全景摄像机展示接口、警示灯控制接口和广播控制接口。全景摄像机展示接口可以搭载全景摄像机，在指定位置采集内河的全景图像，全景摄像头高度为3m以上；警示灯控制接口可以搭载警示灯，在执法过程中对相关船舶和违章机构进行警示；广播控制接口可以搭载扩音装置，用于向违章船舶喊话。

实施例8

一种船岸协同的内河巡查与综合执法系统，与实施例6中的内河巡查与综合执法装置对应，如图5所示，该系统包括运行监测模块、路径规划模块、巡查处置模块、执法处置模块、信息共享模块和统计分析模块，其中：

运行监测模块1004，以gis地图为基础，展示行驶路径、局部放大图以及船舶的ais位置；

路径规划模块1001，用于录入巡查的路径、执法的路径以及巡查点、执法点；

巡查处置模块1002，用于提供巡查界面和记录；

执法处置模块1003，用于提供执法界面和记录，并输出执法记录单；

信息共享模块1005，用于提供数据查询界面、图像查询界面；

统计分析模块1006，用于数据统计和分析。统计：按区域、时间统计的巡查结果、执法结果；按数量的分析和预测：统计分析，如：执法图像识别出违建在该路径中的数量统计，管制区域非法行船的数量统计等；预测，如：数量大的区域进行标记。

其中，所述巡查处置模块和执法处置模块通过app展示相应界面和记录。

gis地图采用开源的地理信息系统做底图，根据船舶路径校准内河航道路径，自定义海事、港航相关的专题图层，与cad中的设施位置自行匹配，gis显示时，对应浏览器端动态业务数据的绘制技术，通过ajax技术动态叠加到地图上，通过xmlhttprequest异步请求，将巡查、执法业务路径数据与地图数据分开刷新，可提高gis图的刷新速度。

路径规划方法：与现有巡查流程的excel文件次序文档相结合，结合设施位置，开发了路径和计算方法，自动生成最优路径，同时方便业务人员在地图上点选机构、添加和修改设施以及确认设施的准确位置。

数据共享与交换的方法：统一数据格式的前提下，建立公共数据交换界面，数据主要来源数据交换平台。海事与执法数据通过中间件交换实现共享；巡查与业务数据通过网闸前置机转mq的方式共享。

根据用户权限界定数据可共享的范围，三级用户：管理员、决策人员、业务人员，业务人员分巡查、执法两类。

系统预留有多个扩展接口，包括全景摄像机展示接口、警示灯控制接口和广播控制接口。

本发明可按内河航道和水域特征形成路径编队，每组路径配置一定数量的内河巡查与综合执法装置，通过船岸协同的内河巡查与综合执法系统可实现航道和水域的管理全覆盖。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。