一种基于监控航标灯的船只碰撞预警监测系统及方法与流程

本发明涉及无人值守监控和航标灯技术领域，具体来说涉及一种基于监控航标灯的船只碰撞预警监测系统及方法。

背景技术：

目前的航标灯主要安放于航标船顶并停泊于水面上作为水道的标记警示往来船只。由于在水面上供电困难，现有的航标灯一般配置有太阳能电池板，由太阳能电池对航标灯进行供电并通过控制板进行昼夜的开关切换。有些航标灯船只位于激流中还会配置有gps定位模块和无线通讯模块等，对航标船的位置进行远程监控。但总的说来，航标灯系统一直功能单一，虽然都处于水面交通要点，却无法像公路的监控系统一样，有效监控水面各种交通情况，也不具备任何处理功能。因此航标灯被撞毁后肇事船只逃逸，水面违法采砂捕鱼倾倒垃圾废料等各种事件，往往缺乏第一手的证据资料。

上述航标灯系统功能受限的主要原因是水面条件恶劣、供电困难和网络信号缺失。由于水面的雨雪雾霜、船只晃动、光照反射，一般的公路用监控设备难以直接用到此种环境下。另外太阳能电池板在冬天或长期的阴雨天供电能力也不足以支撑常规监控设备的能耗。而网络信号则完全视当地的网络基站距离和功率而定。

技术实现要素：

本发明的目的是克服现有技术存在的不足，提供一种基于监控航标灯的船只碰撞预警监测系统及方法，在受限的电力供应与网络条件下，在维持航标灯照明的本职工作以外，以前端实时处理的方式进行船只的识别、碰撞检测、事件侦测及网络交互，可有效提高水面监控管理能力，该系统也可广泛应用于各种无人值守条件下的监控场景。

一种基于监控航标灯的船只碰撞预警监测系统，其特征在于，包括：底座、折叠支撑杆、太阳能电池板、壳体、透明有机玻璃防护罩、航标灯、摄像头组件、主控制板、加速度传感器、蓄电池组、gps定位模块、光感应器、充电控制板、网络模块以及后台服务器。

所述底座用来安置在航标船只平台上，所述折叠支撑杆下部设置在所述底座上，所述折叠支撑杆端部与所述太阳能电池板相连，所述折叠支撑杆撑开后可张开所述太阳能电池板为所述蓄电池组供电；所述壳体，用于固定所述的折叠支撑杆、太阳能电池板和透明有机玻璃防护罩，并容纳所述蓄电池组；所述透明有机玻璃防护罩用于紧固所述航标灯，并在所述底座上安装固定四个各成90度的所述四个摄像头组件；

所述主控制板用于连接所述的摄像头组件、gps定位模块、光感应器、充电控制板、网络模块、加速度传感器、并对本发明系统加以控制；所述网络模块与所述后台服务器连接；

所述充电控制板分别与所述的太阳能电池板、蓄电池组连接；所述蓄电池组与所述航标灯连接。

作为优选，所述摄像头组件用于轮询对航道的多个不同方向拍摄图像，拍摄的目的在于发现船只，轮询工作的目的在于省电；

作为优选，所述主控制板用于连接各种传感器并运行监控程序；

作为优选，所述加速度传感器用于检测是否有异常事件产生；

作为优选，所述蓄电池组用于保存太阳能电池转换的电力，并对外供电；

作为优选，所述太阳能电池板用于向蓄电池组供电；

作为优选，所述gps定位模块用于接收卫星信号并提供当前位置的经纬度信息；

作为优选，所述光感应器用于检测外界环境的亮度；

作为优选，所述网络模块用于异常事件发生时向后台服务器发送警告与证据信息；

作为优选，所述后台服务器用于接收和保存各种报警信息与证据资料，并下发各种指令操控前端设备进行拍摄；

作为优选，所述充电控制板用于所述蓄电池组的充电和放电管理，在电池欠压、过压、温度各个方面进行保护，在正常时输出电流点亮所述航标灯，并维持所述主控制板的工作电压与电流；

作为优选，所述主控制板同时监控该工作电压，当下降到低于门限电压时，所述主控制板强行停止当前监控任务，进入休眠低功耗状态，以节省电力尽量维持航标灯的工作时间；

一种基于监控航标灯的船只碰撞预警监测方法，其特征在于，包括以下步骤：

步骤1：构建训练集搭建神经网络模型识别船只类别与船只在图像中位置；

步骤2：主控制板上控制四个摄像头组件即上游摄像头、下游摄像头、左航道摄像头、右航道摄像头，并轮询进行图像采集；

步骤3：船只识别并基于分类做出模糊距离判断；

步骤4：后台服务器根据所述加速度传感器进行船只撞击事件发生后的三级警报；

作为优选，步骤1中所述构建训练集搭建神经网络模型为：

选择mobilenet-ssd作为神经网络模型，通过预先准备的各种船只图片作为训练集训练该模型参数，各种船只图片输入网络前需经过图像增强处理并人工标定；

所述图像增强处理为：

将训练集中各种船只图片翻转，旋转，变形，添加高斯噪声并灰度化；

所述人工标定为：

图像增强处理后的训练集图片共s张，被标定为k类，每类图片的数量分别为:

s1，s2，s3…sk，框选出每张图片中的目标物体为：

所述mobiletnet-ssd网络模型为t1层的卷积层和t2层的全连接层，其中卷积层的输出作为全连接层的输入；

t1层的卷积层的输入节点大小均为300×300，由于训练集图片大小不一致，需对输入卷积层的图片进行双线性插值缩放大小成为300×300的图片；

t1层的卷积层均选择3×3的卷积核，抽取输入卷积层的图片在第(t1)层，第(t1-2)层，第(t1-4)层，第(t1-6)层上产生的卷积特征图作为分类的依据，这四层卷积特征图大小各不相同；

假设卷积特征图的大小为m×n，以每个像素点为中心分别产生大小为0.17m×0.3n6，0.36n×0.17m,0.09n×0.09n,0.18m×0.18m的四个默认框作为检测画面中物体所在位置的依据假设；

所述默认框的属性为：

[cx,cy,w,h]＝[i,j,m′,n′]

其中，[cx,cy,w,h]表示默认框的中心位置和宽高，[i,j,m′,n′]表示此默认框的中位置在卷积特征图中的座标为[i,j],默认框的大小为m′×n′；

总计产生pos个默认框，则

pos＝4*m*n

所述默认框可视作二维矩阵，该二维矩阵经flatten算法处理后成为所述t2层的全连接层的输入，训练所述神经网络模型时，全连接层的输出为r[k],k∈[1,k]，表示默认框内预测k类物体的概率，也可称作识别分数，选取最大概率的检测结果maxr[k]作为默认框内物体的最终预测分类结果；

所述神经网络模型的目标函数为：、

j(θtr)＝min(l(x,c,l,g))

其中，n为训练集中默认框与真实框匹配的个数，匹配意味着默认框与真实框的相交达到一半以上，θtr为网络中所有参数的集合即目标函数所求解，lclass(x,c)为置信损失，即分类损失，采用交叉熵损失函数，lloc(x,l,g)为位置损失，采用smoothl1位置回归函数；

其中，当其为1时表示第μ个默认框与第γ个真实框匹配，且为第p个类，c为该类别的置信度即概率值，l为所预测的目标物体在图片中所占的位置，g为真实框，v为从默认框中选出的待预测的框，表示是编码后的真实框位置参数，表示表示所选取默认框的预测值，表示正确且类别为背景预测框的概率值，表示为利用softmax函数计算的概率值；

利用随机梯度下降算法对损失函数j(θtr)进行优化，寻求最优解θtr，即神经网络模型参数,根据最优解参数，预测结果的输出为全连接层的输出为max(r[k])＞0.5,k∈[1,k]的默认框与其相对应的max(r[k])；

此时默认框之间存在着相互堆叠，面积重复的问题，采用非极大值抑制算法去除冗余的默认框,并将重复区域过大的默认框合并，具体实现为：

将有重复面积大于一半的g个堆叠默认框视作一个邻域，邻域内的识别分数可表示为[r1,r2…rg]，选择其中max[r1,r2…rg]所对应的默认框保留，并将其它默认框的识别分数降为0；最终去掉图片中所有识别分数为0的默认框；

经过所述非极大抑制法得到图片中的默认框即为识别船只在图像中位置，由默认框的属性[cx,cy,w,h]可以得到该默认框在图片中的位置；

作为优选，步骤2中所述轮询进行图像采集为：

所述光感应器探测为黑夜，主控制板控制航标灯；

主控制板上控制可以同时控制摄像头组件轮询工作，摄像头组件分别朝向多个不同的方向，按每隔一段时间启动一个摄像头进行拍摄的方式，轮流对水面航道多个方向的图像进行拍摄，当前工作的摄像头将拍到的图片传递给主控制板进行识别，而其他的摄像头在不工作时进入省电状态以节省电力；

作为优选，步骤3中所述船只识别并基于分类做出模糊距离判断为：

主控制板将实时拍摄的画面进行船只识别并分类，若未发现画面中出现船只，则返回重复步骤2；若发现船只存在，由于每一种船只由于大小尺寸不同，在相同分辨率大小的图片中，通过同一摄像头拍摄得到的大小可反映出到摄像头或航标灯设备的初步距离，通过由远及近将画面中的船只大小与实际距离设置对应关系，则可以大致测量得到船只与航标灯的距离：

船只经识别分类之后，该分类下船只的实际高度为hn，据默认框的属性[cx,cy,w,h]得到默认框的大小为w×h，摄像头拍摄的画面分辨率为a×b，其中a为画面宽，b为画面高：

针对k种类型的船只，设置k种不同的比例区间，假设第k类船只的比例区间分别为y1,y2…yχ,每个比例区间对应着一个距离，当y(ι-1)＜τ＜yι,ι∈[1,2…χ]，则认为当前船只距离航标灯的距离为lι，若lι小于门限距离，则认为船只距离过近，预测船只碰撞事件极有可能发生，并发出相应的警告信号给联合报警模块，同时开始采集图像，保留可能的证据；并执行步骤4在录制期间，每隔t秒提取一帧图片交给分类距离判别模块进行分析，t为一个根据应用环境可调整的参数；如果船只距离已经远离了门限距离，则停止录制；保留录制的视频作为船只撞击事件的证据。

否则返回并重复步骤2，等待摄像头轮询下一幅图片继续处理；

作为优选，步骤4中所述后台服务器根据所述加速度传感器进行船只撞击事件发生后的三级警报为：

所述加速度传感器用于判断实际船只撞击事件的发生，当加速度传感器感知到航标灯遭受到碰撞时，主控制板只有接收加速度传感器模块的报警后，才会构建报警消息，并立即调用网络模块，向后台服务器发出报警，通知管理人员采取措施；

报警过程由三级报警内容组成，三级报警内容按顺序执行。

第一级为立即报警，向后台服务器传递信息量极小的报警文本消息和航标灯设备编号。

第二级报警为图片报警，即启动摄像头组件轮流分别进行抓拍3张，并对图片进行下采样和平衡、强光抑制、去雾、锐化的图像增强处理，提取1/8分辨率或1/16分辨率图片后打包传输到向后台服务器；

第三级报警为回传视频，向后台服务器上传离撞击事件发生时时间上最近的视频。

与现有技术相比，本发明的有益效果在于：

在非常有限的电力供应条件下，能在原有的航标灯基础上，增加视频监控功能，可实时运行智能画面分析功能，检测航道上往来船只的分类，进行智能识别，当船只接近航标灯的警戒距离，自动开启视频录像，为可能的碰撞事件保留录像证据；实现监控航道、实时监视上下游航道、远程查看航标灯周围状态的功能；

模糊测量船只接近距离，利用摄像头进行拍摄后，基于内建的船只类型、画面比例与距离关系，判别识别船只接近距离，在工程上允许的范围内提供距离测量数据，避免了在水面上双目立体视觉中的各种难点问题。

集成加速度传感器，可智能分辨水面晃动与船只碰撞，对撞击航标灯的肇事船只实时启动抓拍，保留证据；

可通过服务器和网络模块下发指令，遥控指挥进行航道抓拍或者录制视频，远程取证或监控，远程设置、控制；

整套系统节省流量、节能省电。

附图说明

图1：为本发明装置的整体结构示意图；

图2：为本发明装置的电路系统框图；

图3：为本发明装置的方法流程示意图；

图4：为实施例一中船只类型一的画面示意图；

图5：为实施例一中船只类型二的画面示意图；

图6：为后台服务器下发指令界面示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种智能监控航标灯系统，包括一种基于监控航标灯的船只碰撞预警监测系统，其特征在于，包括：底座、折叠支撑杆、太阳能电池板、壳体、透明有机玻璃防护罩、航标灯、摄像头组件、主控制板、加速度传感器、蓄电池组、gps定位模块、光感应器、充电控制板、网络模块以及后台服务器。

所述底座用来安置在航标船只平台上，所述折叠支撑杆下部设置在所述底座上，所述折叠支撑杆端部与所述太阳能电池板相连，所述折叠支撑杆撑开后可张开所述太阳能电池板为所述蓄电池组供电；所述壳体，用于固定所述的折叠支撑杆、太阳能电池板和透明有机玻璃防护罩，并容纳所述蓄电池组；所述透明有机玻璃防护罩用于紧固所述航标灯，并在所述底座上安装固定四个各成90度的所述四个摄像头组件；

所述主控制板用于连接所述的摄像头组件、gps定位模块、光感应器、充电控制板、网络模块、加速度传感器、并对本发明系统加以控制；所述网络模块与所述后台服务器连接；

所述充电控制板分别与所述的太阳能电池板、蓄电池组连接；所述蓄电池组与所述航标灯连接。

图2为实施例1系统电路框图，可见所述太阳能电池板连接到所述充电控制板，向所述蓄电池组供电，并点亮所述航标灯，所述光感应器连接到所述充电控制板可直接控制所述航标灯根据外界亮度来开关。所述主控制板连接四个方向的摄像头，并连接所述加速度传感器，所述gps定位模块和所述网络模块。

所述摄像头组件包括上游摄像头、下游摄像头、左航道摄像头、右航道摄像头，用于轮询对航道的四个不同方向拍摄图像，拍摄的目的在于发现船只，轮询工作的目的在于省电；

所述主控制板用于连接各种传感器并运行监控程序；

所述加速度传感器用于检测是否有异常事件产生；

所述蓄电池组用于保存太阳能电池转换的电力，并对外供电；

所述太阳能电池板用于向蓄电池组供电；

所述gps定位模块用于接收卫星信号并提供当前位置的经纬度信息；

所述光感应器用于检测外界环境的亮度；

所述网络模块用于异常事件发生时向后台服务器发送警告与证据信息；

所述后台服务器用于接收和保存各种报警信息与证据资料，并下发各种指令操控前端设备进行拍摄；

所述充电控制板用于所述蓄电池组的充电和放电管理，在电池欠压、过压、温度各个方面进行保护，在正常时输出电流点亮所述航标灯，并维持所述主控制板的工作电压与电流；

所述主控制板同时监控该工作电压，当下降到低于门限电压时，所述主控制板强行停止当前监控任务，进入休眠低功耗状态，以节省电力尽量维持航标灯的工作时间。

所述底座选型为hf1.5-d1型钢质浮标；所述航标灯选型为mwzhb130c60型太阳能一体化航标灯；所述摄像头组件涉及的上游摄像头、下游摄像头、左航道摄像头、右航道摄像头选型均为t-sp2820w3151080p工业级宽动态摄像头；所述主控制板选型为eaidk610pro；所述加速度传感器选型为维特智能jy61串口六轴加速度计；所述蓄电池组选型为额定电压12v额定容量200ah的铅酸蓄电池6gfm200型；所述gps定位模块选型为正点原子gps+北斗双定位模块atk1218-bd；所述光感应器选型为lx1972环境光传感器；所述充电控制板选型为视远mppt光伏充电控制器sy-m150-13.8v；所述网络模块选型为tastextas-ln-55x4gdtu模块；所述后台服务器选型为dellc2100型虚拟化视频存储网站服务器。

图3为主控制板内运行的方法流程图。

图4和图5为实施例1中，识别船只类别与船只在图像中位置标定示意图。其中外框表示图片长宽边沿，紧贴船身周边的外框为船只识别与分类模块在识别到船只后给出的标定框。

图6为后台服务器操作界面，通过在输入框中输入通讯协议规定的命令，可下发指令到设备实现远程控制，上传视频与消息。

下面结合图1至图6，介绍本发明的具体实施方式为：

步骤1：构建训练集搭建神经网络模型识别船只类别与船只在图像中位置；

步骤1中所述构建训练集搭建神经网络模型为：

选择mobilenet-ssd作为神经网络模型，通过预先准备的各种船只图片作为训练集训练该模型参数，各种船只图片输入网络前需经过图像增强处理并人工标定；

所述图像增强处理为：

将训练集中各种船只图片翻转，旋转，变形，添加高斯噪声并灰度化；

所述人工标定为：

图像增强处理后的训练集图片共s＝26520张，被标定为k＝5类，每类图片的数量分别为:

s1，s2，s3…sk，框选出每张图片中的目标物体为：

所述mobiletnet-ssd网络模型为t1＝22层的卷积层和t2＝3层的全连接层，其中卷积层的输出作为全连接层的输入；

t1层的卷积层的输入节点大小均为300×300，由于训练集图片大小不一致，需对输入卷积层的图片进行双线性插值缩放大小成为300×300的图片；

t1层的卷积层均选择3×3的卷积核，抽取输入卷积层的图片在第(t1)层，第(t1-2)层，第(t1-4)层，第(t1-6)层上产生的卷积特征图作为分类的依据，这四层卷积特征图大小各不相同；

假设卷积特征图的大小为m×n，以每个像素点为中心分别产生大小为0.17m×0.3n6，0.36n×0.17m,0.09n×0.09n,0.18m×0.18m的四个默认框作为检测画面中物体所在位置的依据假设；

所述默认框的属性为：

[cx,cy,w,h]＝[i,j,m′,n′]

其中，[cx,cy,w,h]表示默认框的中心位置和宽高，[i,j,m′,n′]表示此默认框的中位置在卷积特征图中的座标为[i,j],默认框的大小为m′×n′；

总计产生pos个默认框，则

pos＝4*m*n

所述默认框可视作二维矩阵，该二维矩阵经flatten算法处理后成为所述t2层的全连接层的输入，训练所述神经网络模型时，全连接层的输出为r[k],k∈[1,k]，表示默认框内预测k类物体的概率，也可称作识别分数，选取最大概率的检测结果maxr[k]作为默认框内物体的最终预测分类结果；

所述神经网络模型的目标函数为：、

j(θtr)＝min(l(x,c,l,g))

其中，n为训练集中默认框与真实框匹配的个数，匹配意味着默认框与真实框的相交达到一半以上，θtr为网络中所有参数的集合即目标函数所求解，lclass(x,c)为置信损失，即分类损失，采用交叉熵损失函数，lloc(x,l,g)为位置损失，采用smoothl1位置回归函数；

其中，当其为1时表示第μ个默认框与第γ个真实框匹配，且为第p个类，c为该类别的置信度即概率值，l为所预测的目标物体在图片中所占的位置，g为真实框，v为从默认框中选出的待预测的框，表示是编码后的真实框位置参数，表示表示所选取默认框的预测值，表示正确且类别为背景预测框的概率值，表示为利用softmax函数计算的概率值；

利用随机梯度下降算法对损失函数j(θtr)进行优化，寻求最优解θtr，即神经网络模型参数,根据最优解参数，预测结果的输出为全连接层的输出为max(r[k])＞0.5,k∈[1,k]的默认框与其相对应的max(r[k])；

此时默认框之间存在着相互堆叠，面积重复的问题，采用非极大值抑制算法去除冗余的默认框,并将重复区域过大的默认框合并，具体实现为：

将有重复面积大于一半的g个堆叠默认框视作一个邻域，邻域内的识别分数可表示为[r1,r2…rg]，选择其中max[r1,r2…rg]所对应的默认框保留，并将其它默认框的识别分数降为0；最终去掉图片中所有识别分数为0的默认框；

经过所述非极大抑制法得到图片中的默认框即为识别船只在图像中位置，由默认框的属性[cx,cy,w,h]可以得到该默认框在图片中的位置；

步骤2：主控制板上控制摄像头组件即上游摄像头、下游摄像头、左航道摄像头、右航道摄像头轮询进行图像采集；

步骤2中所述轮询进行图像采集为：

所述光感应器探测为黑夜，主控制板控制航标灯；

主控制板上控制可以同时控制摄像头组件即上游摄像头、下游摄像头、左航道摄像头、右航道摄像头轮询工作，这四个摄像头分别朝向航道上游，航道下游，左航道，右航道四个不同的方向，按每隔一段时间启动一个摄像头进行拍摄的方式，轮流对航道上游，航道下游，左航道，右航道四个方向的图像进行拍摄，当前工作的摄像头将拍到的图片传递给主控制板进行识别，而其他的三个摄像头在不工作时进入省电状态以节省电力；

步骤3：船只识别并基于分类做出模糊距离判断；

步骤3中所述船只识别并基于分类做出模糊距离判断具体为：

主控制板将实时拍摄的画面进行船只识别并分类，若未发现画面中出现船只，则返回重复步骤2；若发现船只存在，由于每一种船只由于大小尺寸不同，在相同分辨率大小的图片中，通过同一摄像头拍摄得到的大小可反映出到摄像头或航标灯设备的初步距离，通过由远及近将画面中的船只大小与实际距离设置对应关系，则可以大致测量得到船只与航标灯的距离：

船只经识别分类之后，该分类下船只的实际高度为hn，据默认框的属性[cx,cy,w,h]得到默认框的大小为w×h，摄像头拍摄的画面分辨率为a×b，其中a＝1920为画面宽，b＝1680为画面高：

针对k种类型的船只，设置k种不同的比例区间，假设第k类船只的比例区间分别为y1,y2…yχ,每个比例区间对应着一个距离，当y(ι-1)＜τ＜yι,ι∈[1,2…χ]，则认为当前船只距离航标灯的距离为lι，若lι小于门限距离，则认为船只距离过近，预测船只碰撞事件极有可能发生，并发出相应的警告信号给联合报警模块，同时开始采集图像，保留可能的证据；并执行步骤4在录制期间，每隔t秒提取一帧图片交给分类距离判别模块进行分析，t为一个根据应用环境可调整的参数；如果船只距离已经远离了门限距离，则停止录制；保留录制的视频作为船只撞击事件的证据。

否则返回并重复步骤2，等待摄像头轮询下一幅图片继续处理；

步骤4：根据所述加速度传感器进行船只撞击事件发生后的三级警报；

步骤4中所述后台服务器根据所述加速度传感器进行船只撞击事件发生后的三级警报为：

所述加速度传感器用于判断实际船只撞击事件的发生，当加速度传感器感知到航标灯遭受到碰撞时，主控制板只有接收加速度传感器模块的报警后，才会构建报警消息，并立即调用网络模块，向后台服务器发出报警，通知管理人员采取措施；

报警过程由三级报警内容组成，三级报警内容按顺序执行。

第一级为立即报警，向后台服务器传递信息量极小的报警文本消息和航标灯设备编号。

第二级报警为图片报警，即启动四个摄像头轮流分别进行抓拍3张，共计12张图片，并对图片进行下采样和平衡、强光抑制、去雾、锐化的图像增强处理，提取1/8分辨率或1/16分辨率图片后打包传输到向后台服务器；

第三级报警为回传视频，向后台服务器上传离撞击事件发生时时间上最近的视频。

尽管本文较多地使用了底座、折叠支撑杆、太阳能电池板、壳体、透明有机玻璃防护罩、航标灯、摄像头组件、主控制板、加速度传感器、蓄电池组、gps定位模块、光感应器、充电控制板、网络模块以及后台服务器等术语，但并不排除使用其他术语的可能性。使用这些术语仅仅是为了更方便的描述本发明的本质，把它们解释成任何一种附加的限制都是与本发明精神相违背的。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。