一种航道船舶监控预警系统

1.本发明涉及航道实时监控分析技术领域，特别是涉及一种航道船舶监控预警系统。


背景技术：

2.近年来，我国航道建设取得了巨大成就，通航里程、通航能力不断提高。2018
3.年水路运输货物运输量和货物周转量分别占全社会运输量的13.64％和货物周转量的48.39％。研究表明，运输船舶吨级规模是决定内河货运成本的核心因素，当采用1000吨级及以上船舶承运时，与铁路、公路等其他运输方式相比，内河水运具有长期的综合物流成本竞争优势，能够充分发挥内河水运的运能大、成本低、能耗少等比较优势。水运发展有力支撑了我国经济社会发展。
4.随着我国航运工作量不断增大，管理压力也越来越大。同时由于我国的内河航道规划建设相对于发达国家起步较晚，就当前而言，部分设计不合理和开发建设不平衡，导致整个河道存在一定的安全隐患和内河航道发展不均衡等问题。而将数字航道技术应用于内河航道管理中，显然可以解决这一问题。
5.数字技术应用于航道管理中是当今发展的必然趋势，特别是我国内河航运不断发展的情况下，数字航道技术是有效保证管理工作顺利进行的重要基础，强化数字航道技术的应用是必然的选择。数字航道指的是在相关法律法规和行业技术标准内，通过运用现代网络通信技术手段对航道及其附属设备的资源进行整合，从而为航道管理提供数字化、智能化、人性化数据的技术。有效的数字航道技术可以通过对数据和整个运输的分析，从而确保信息分享的准确性，为相应的决策提供重要的数据依据。
6.数字航道技术的核心就是航道信息资源数字化，是利用现有的技术比如计算机视觉，监控系统和电子航道图等，对相应的数据进行采集统计分析，具体包括航道船舶数据、航道信号灯、水文数据、航道的历史形成情况和航道设备等方面。通过数据采集统计分析处理等流程，加快实现航道管理的数字化、决策管理的科学化，提升内河航道的管理水平。
7.数字航道技术通过利用先进的技术手段，实现从数据搜集、数据分析和数字应用的全面管理，让内河航道管理更加精确化操作，而这些数据无疑可以为工作人员提供重要的参考，让其可以更加准确地评估当前航道管理的客观情况，然后做出正确的决策，从而提升管理的效率。
8.在我国内河航道上，船舶的通行监测一直存在短板。由于我国幅员辽阔，航道多如牛毛，船舶管理数量多，难度大，且存在有些船只没有安装ais，无法进行监测，航道部门不能及时有效地统计航道上的船舶数据，对船只的动向也只能大致判断，河道上的监控摄像大部分时间处于闲置状态，这一系列的现象体现了目前航道部门所面临问题。
9.起初人们使用传统的运动检测算法如背景减除法、差分法、高斯模型法等，结合轮廓检测算法来发现运动的船舶，进而监测船舶的动态。但是传统的运动检测易受环境的干扰，比如光照，天气，昼夜，几乎无法稳定持续运行。随着人工智能的到来，深度学习卷积神
经网络开始在图像视频中大规模应用，其中以yolo系列为代表的神经网络以速度快，准确率高为优势，在工业领域中开始应用。与传统算法不同的是，卷积神经网络无需专门设计特征提取器，通过端到端的学习，能够很快提取图像的特征，学会识别图像中的物体。同时面对复杂，不断变化的背景具有很强的鲁棒性。


技术实现要素：

10.本发明公开了一种航道船舶监控预警系统，所述方法及系统由六个模块组成，分别是采集模块，中转模块，管理模块，处理模块，展示模块，存储模块，利用全新的图像实例分割算法，不仅能够快速有效地对复杂航道情况进行分割处理，而且保证了结果的准确性。本发明提供的方法及系统适用于各类型复杂航道监控。实现所需成本小，应用范围广，可解决目前世界航道监控领域的主流问题
11.为实现上述目的，本发明提供了如下方案：
12.本发明是一种航道船舶监控预警系统，所述系统包括：
13.采集模块，主要由各个摄像头组成，在监测和计量功能没有开启的情况下，采集模块并不会向中转模块发送数据，而只会将当前采集的视频帧的数据传递给存储模块进行存储；
14.中转模块，中转模块的主要功能是提供控制，获取远端摄像头和数据，同时给管理模块提供接口访问其摄像头和数据。承担中转模块的是流媒体服务器。
15.管理模块，管理模块主要用于管理各个摄像头或者说各个监测站点是否开启监测和计量服务，同时还负责对中转模块发送相应的请求，使对应的摄像头或监测站点与流媒体服务器建立数据连接，使其可以获取到数据并发送给处理模块；
16.处理模块，处理模块是整个系统的核心，系统的核心功能由处理模块实现。处理模块主要功能有视频数据解码，船舶的检测与识别，船舶的持续跟踪，船舶的计数，船舶的载重量计算。是本文基于时空特征的新型像素投票的全景图像分割的载体；
17.展示模块，展示模块主要用于展示系统中的动态数据，包括实时数据，统计数据等。查看方式分为网页登陆查看和电脑端软件查看。
18.存储模块，存储模块包括录像机，数据库等软硬件设备。主要用于存储数据，同时对外提供访问数据的功能。
19.可选的，所述一种航道船舶监控预警系统，采集模块模块实施方案具体包括：
20.摄像头传输的视频压缩格式为h264，分辨率为1080*1920。摄像头可以部署到河道桥上，以45度俯角进行检测，或者部署在岸边，以一定的俯角检测河道。需要避免视角中出现船舶的重合的情况。用于识别计数的摄像头经过调整后，在识别期间不能随意调整云台，否则将导致计数不准确，严重情况将导致不能正常工作。
21.流媒体服务采用开源的流媒体框架monibuca，该框架支持众多协议，其中包括国标gb28181，同时对外提供了访问流媒体数据的接口。该流媒体服务使用golang语言编写，具有跨平台，高性能，内存占用率低等特点。
22.识别跟踪计数系统主要使用c++编写，使用了计算机视觉库opencv和音视频边界码库ffmpeg。通过生成动态库供golang语言调用。识别部分采用yolov4 tiny网络，模型的训练通过加载预训练网络，使用实地采集的图像数据集进行迁移学习。跟踪采用iou匹配算
法进行多目标跟踪。计数采用线段相交原理。同时为了避免重复计数，跟踪器为每个目标建立了实时状态，保证目标只能被计数一次。
23.可选的，所述一种航道船舶监控预警系统，采集中转模块实施方案具体包括：
24.数据采集完毕之后就需要制作数据集，本网络模型推荐的数据集格式是pascal voc数据集格式。
25.可选的，所述一种航道船舶监控预警系统，管理模块实施方案具体包括：
26.功能控制管理系统对应管理模块。实际上是web服务，前端页面使用vue框架搭建，后端使用golang语言编写。数据库采用mysql数据库第八版本。
27.可选的，所述采用基于时空特征的新型像素投票的全景图像分割，具体包括：
28.给定一个输入图像，基于像素共识投票的卷积神经网络首先通过卷积神经网络提取一个共享的表示(特征张量)，然后将特征张量反馈给两个独立的子分支。语义分割分支预测每个像素的类别标签。实例投票分支对每个像素预测该像素是否为实例掩码的一部分，如果是，则预测实例掩码质心的相对位置。根据投票滤波器，这种预测被框定为在像素周围的一组网格单元上的分类。两个分支都用标准的交叉熵损失进行训练。
29.来自投票分支的预测被聚合成一个投票热图(霍夫变换术语中的累加器数组)。基于像素共识投票的卷积神经网络的一个关键技术创新是一种有效实现这一目标的膨胀卷积机制。热图的局部最大值是检测候选。在每个峰值区域，对一个查询过滤器进行卷积，以将有利于此特定峰值的像素向后投影到所有其他峰值之上。这些像素一起形成了一个类别无关的实例分割掩码。最后，使用一个简单的贪婪策略合并实例和语义分割掩码。产生一个完整的全景分割输出；
30.由像素与实例质心组成实例掩码，预测相对偏移量，使用区域离散化处理；
31.构造投票过滤，使距离实例质心越远，空间单元就越大，过滤器被构造一个正方形单元格的网格，其尺寸向外径向扩展，如图6所示。它涉及k＝233个单元格，在一个m＝243像素的区域上应用于1/4输入分辨率的图像，因此覆盖了高达972x 972的全分辨率。
32.转置卷积投票，使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位置；
33.投影过滤器处理，为每个峰值区域确定最有利于这个特定最大值的像素，首先获取每个像素处的argmax(最值函数)投票指数。这是一个大小为[h,w,1]的张量。然后，在一个峰值区域内，对查询过滤器进行卷积，并对argmax(最值函数)投票指数执行相等比较，以挑选出该峰值区域内最强投票的所有像素；
[0034]
输出卷积神经网络特征；
[0035]
可选的，在所述根据所述视觉特征，采用时空特征的像素投票的全景图像分割之前，还包括：
[0036]
对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。
[0037]
可选的，所述采用基于时空特征的新型像素投票的全景图像分割，基于像素共识投票的卷积神经网络语义分割分支预测每个像素的类别标签具体包括；
[0038]
开发一个元架构来建模和分割实例。基于像素共识投票的卷积神经网络将实例识别的训练减少到像素标签。遵循全景分割网络(upsnet)的设计，它将特征特征金字塔网络(fpn)与深度残差网络(resnet)骨干重新定义，用于语义分割。从特征金字塔网络(fpn)的
每个阶段特征，分别在输入分辨率的1/32、1/16.1/8和1/4，首先经过一个共享的可变形卷积模块，然后被上采样到输入尺度的1/4的均匀大小。在通道级联之前，特征图的通道尺寸通过1x 1的卷积从256减少到128。在此基础上，应用1x 1的卷积,归一化指数函数(softmax)和4x最近邻上采样来生成逐像素标签。在上采样之前，首先应用归一化指数函数(softmax)，因为在较低的分辨率下产生实例掩模更快。语义分割分支预测所有类别的标签。
[0039]
可选的，所述采用基于时空特征的新型像素投票的全景图像分割，区域离散化处理具体包括；
[0040]
一组像素和实例质心组成的实例掩码。预测相对偏移量δi＝c-pi，来自一个像素通常被视为偏移回归。为防止直接回归限制了系统表达不确定性的能力，并存在“回归到均值”的典型问题，采用一个不确定实例质心位置的像素可能会通过指向多个候选点之间来对冲，从而产生假峰和假阳性。此外，在反向投影时，将框架投票作为质心可能驻留的空间单元的分类。
[0041]
可选的，所述采用基于时空特征的新型像素投票的全景图像分割，构造投票过滤器具体包括；
[0042]
k＝233个单元格，在一个m＝243像素的区域上应用于1/4输入分辨率的图像，因此覆盖了972x 972的全分辨率
[0043]
可选的，所述采用基于时空特征的新型像素投票的全景图像分割，转置卷积投票具体包括；
[0044]
实例投票分支产生一个大小为h的张量[w,k,11]，其中k+1是不同的投票可能性的数量，包括通过素材像素弃权。使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位置。
[0045]
投票包括两个步骤:
[0046]
第一步采用扩散性反卷积(deconvolution)
[0047]
第二步采用平均池化(average pooling)
[0048]
转置卷积(transposed convolution)是将一个点信号扩散到多个空间位置，而conv核则是将空间信息聚集到一个点上。它最常用于卷积网络的反向传播，以及特征上采样。反卷积(deconv)核的参数是可以学习的。但是，为了实现投票聚合，在每个标记目标位置的通道中将内核参数修改为1-hot。在这种情况下，膨胀使一个像素能够将它的选票投到遥远的点。投票滤波器将9
×
9区域离散成边长为1的内部3
×
3的单元格。被3个边长为3的cell包围，因此k＝9+8＝17个投票类。在步骤1,丢弃后弃权投票，将[h,w,17]张量沿通道的两个组件大小[h,w,9]和[h,w,8],并应用两个反卷积(deconv)内核的大小扩张1和[c
in
＝8，c
out
＝1，h＝3，w＝3]张3生成两个热图h
dilate1
，h
dilate3
，,都大小[h,w,1]。在步骤1之后，所有的投票都被发送到每个空间单元格的中心。在步骤2中，在每个单元格中均匀地投票。在这种特殊情况下，平滑完全等同于平均池化。在hdilate3上应用3x-3平均池，在hdilatel上应用1x 1平均池(一个恒等操作)。然后将这两张热图相加，完成最终的投票热图。投票过滤器的其他实例的投票过程可以类似地完成。定义了一个峰值区域，它可以识别一个假设的实例，作为在对投票热图设置阈值后存活
下来的像素的连接组件。
[0049]
可选的，所述采用基于时空特征的新型像素投票的全景图像分割，投影过滤器处理具体包括；
[0050]
反向投影的目的是为每个峰值区域确定最有利于这个特定最大值的像素,使用查询过滤器。记录过滤器中心的实例质心周围的像素应该预测的类标签。在反向投影时，首先获取每个像素处的argmax(最值函数)投票指数。这是一个大小为[h,w,1]的张量。然后，在一个峰值区域内，对查询过滤器进行卷积，并对argmax(最值函数)投票指数执行相等比较，以挑选出该峰值区域内最强投票的所有像素。将相等比较扩展到前3名投票，而不仅仅是argmax(最值函数)投票，这样argmax(最值函数)决策错误的像素就没有被完全抛弃。如果单个像素被多个峰值争夺，则将该像素分配给总投票计数最高的峰值区域。在边缘情况下，多个峰值相对于像素在同一个空间单元内，像素到达空间上最近的峰值(这个距离是从峰值区域的包围盒的中心到像素的测量)
[0051]
可选的，所述一种航道船舶监控预警系统，展示模块实施方案具体包括：
[0052]
数据展示有两种方式，一种是提供网页服务，通过编写前端界面，向后台请求数据，在网页上实时显示信息，第二种是通过特定的软件进行查看。
[0053]
可选的，所述一种航道船舶监控预警系统，存储模块实施方案具体包括：
[0054]
存储模块包括录像机，数据库等软硬件设备。主要用于存储数据，同时对外提供访问数据的功能。
[0055]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0056]
本发明公开了一种航道船舶监控预警系统，所述方法及系统由六个模块组成，分别是采集模块，中转模块，管理模块，处理模块，展示模块，存储模块，利用新型基于时空特征的新型像素投票的全景图像分割技术，不仅能够快速有效地对复杂航道情况进行分割处理，而且保证了结果的准确性。本发明提供的方法及系统适用于各类型复杂航道监控。实现所需成本小，应用范围广，可解决目前世界航道监控领域的主流问题。
附图说明
[0057]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0058]
图1为本发明提供的系统方法流程图；
[0059]
图2为数据采集动态请求流程图；
[0060]
图3为本发明提供的系统模块配置图；
[0061]
图4为系统模块数据流向图
[0062]
图5为本发明处理模块提供基于时空特征的新型像素投票的全景图像分割的网络结构图；
[0063]
图6为本发明提供的基于时空特征的新型像素投票的全景图像分割的投票过滤器结构图；
具体实施方式
[0064]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]
本发明的目的是提供一种航道船舶监控预警系统，所述方法及系统由六个模块组成，分别是采集模块，中转模块，管理模块，处理模块，展示模块，存储模块，利用新型基于时空特征的新型像素投票的全景图像分割技术，不仅能够快速有效地对复杂航道情况进行分割处理，而且保证了结果的准确性。本发明提供的方法及系统适用于各类型复杂航道监控。实现所需成本小，应用范围广，可解决目前世界航道监控领域的主流问题。
[0066]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0067]
图1为本发明提供的一种航道船舶监控预警系统的方法流程图。参见图1，本发明提供的一种线上商品搜索方法，具体包括：
[0068]
步骤101：航道监视器数据采集。
[0069]
目前大部分对视频的目标识别都是连续识别，即有多少帧画面，就进行多少张图像的识别。在物体快速运动的时候，这种识别方式没有问题，但是如果物体的运动速度是缓慢的，假设视频的帧率是25，即一秒钟有25张图像，那么这25张图像中的物体偏移量是非常小的，可以视为几乎没有变化，针对这种情况，实际上只需取其中一帧便可以代表一秒钟内的物体位置，所以如果是像船舶这样运动比较缓慢的物体，如果将视频中所有的图像都进行识别，就会浪费大量的时间在同一张图像上识别，根据这个原理，可以对船舶的识别进行优化，提升整个网络的工作效率。
[0070]
首先将摄像头全部接入到流媒体服务器中，流媒体服务器必须要提供访问各个摄像头视频帧接口。目标识别检测所在的服务根据事先设定好的信息，发送相应的请求给流媒体服务器，流媒体服务器收到请求后根据请求信息发回给请求者，请求这接收后进行目标识别以及后续处理，流程如图2所示。
[0071]
从图中可以看到动态识别最重要的是请求方能够控制视频流的发送，通过轮训的方式依次请求所有摄像头进行处理。假设某台服务器一秒钟能够处理100张图像数据，如果按照以前的方式，那么这台服务器能够同时承载4台摄像头的识别工作，如果按照轮训的方式，假设每两秒请求一次，那么这台服务器理论上可以承载200台摄像头的识别工作，大大提升了网络模型的工作效率。所以对于船舶这类慢速物体的识别，可以使用动态识别的方式，使网络模型发挥最大的工作效率。
[0072]
在监测和计量功能没有开启的情况下，采集模块并不会向中转模块发送数据，而只会将当前采集的视频帧的数据传递给存储模块进行存储。
[0073]
步骤102：获取远端摄像头和数据，同时给管理模块提供接口访问其摄像头和数据
[0074]
本系统监测与计量的主要数据流向如图3，图4所示。
[0075]
系统所诉中转模块的主要功能是提供控制，获取远端摄像头和数据(步骤101)，同时给管理模块提供接口访问其摄像头和数据。承担中转模块的是流媒体服务器。将采集分类完数据送入处理模块(步骤103)。
[0076]
步骤103：数据进入处理模块。
[0077]
在数据流向过程中(步骤101，步骤012，步骤103)首先需要考虑到的是远程摄像头的连接和控制，同时流媒体服务器不应该主动连接摄像头，而是摄像头主动在流媒体服务器上面注册，然后流媒体可以连接已经注册的摄像头。这样处理的优点是处于内网的摄像头可以通过流媒体服务器在外面访问。实际情况也是如此，大部分的航道摄像头都是内网，由于地理位置，网络状况等原因，有些摄像头是动态公网ip，所以摄像头必须要主动在流媒体服务器上面注册自己的信息。建立连接后进一步就是控制和管理摄像头，并获取摄像头的流数据。考虑到目前市场上几乎所有的摄像头都支持国标gb28181协议，并且该协议是我国公安部颁发，并推荐使用，所以决定流媒体使用国标gb28181传输协议进行通信。
[0078]
除了需要控制摄像头和获取数据，同时还需要对外提供访问数据的接口。数据的访问需要建立在设备的数据连接上。流媒体默认情况下是不会建立数据传输的连接，而是保留设备注册的信息。只有当某个模块发送了连接请求，流媒体才会根据注册的信息建立数据连接，然后根据提供的接口提供相应的数据。
[0079]
数据传输的格式也是流媒体应该考虑的。为了节省网络带宽和考虑到处理模块对数据的要求，接口提供的数据格式是未解码的数据。数据的解码由处理模块实现。
[0080]
数据传输的格式也是流媒体应该考虑的。为了节省网络带宽和考虑到处理模块对数据的要求，接口提供的数据格式是未解码的数据。数据的解码由处理模块实现。
[0081]
如图5，为本发明处理模块提供基于时空特征的新型像素投票的全景图像分割的网络结构图，具体包括：
[0082]
给定一个输入图像，基于像素共识投票的卷积神经网络首先通过卷积神经网络提取一个共享的表示(特征张量)，然后将特征张量反馈给两个独立的子分支。语义分割分支预测每个像素的类别标签。实例投票分支对每个像素预测该像素是否为实例掩码的一部分，如果是，则预测实例掩码质心的相对位置。根据投票滤波器，这种预测被框定为在像素周围的一组网格单元上的分类。两个分支都用标准的交叉熵损失进行训练。
[0083]
来自投票分支的预测被聚合成一个投票热图(霍夫变换术语中的累加器数组)。基于像素共识投票的卷积神经网络的一个关键技术创新是一种有效实现这一目标的膨胀卷积机制。热图的局部最大值是检测候选。在每个峰值区域，对一个查询过滤器进行卷积，以将有利于此特定峰值的像素向后投影到所有其他峰值之上。这些像素一起形成了一个类别无关的实例分割掩码。最后，使用一个简单的贪婪策略合并实例和语义分割掩码，产生一个完整的全景分割输出。
[0084]
步骤104：基于像素共识投票的卷积神经网络进行主干和特征提取。
[0085]
构建一个元架构来建模和分割实例。为此，基于像素共识投票的卷积神经网络将实例识别的训练减少到像素标签，通过全卷积网络的各种搭建来解决。遵循全景分割网络(upsnet)的设计，它将特征金字塔网络(fpn)与深度残差网络(resnet)骨干重新定义，用于语义分割。从特征金字塔网络(fpn)的每个阶段特征，分别在输入分辨率的1/32、1/16.1/8和1/4，首先经过一个共享的可变形卷积模块，然后被上采样到输入尺度的1/4的均匀大小。在通道级联之前，特征图的通道尺寸通过1x 1的卷积从256减少到128。在此基础上，应用1x 1的卷积,归一化指数函数(softmax)和4x最近邻上采样来生成逐像素标签。在上采样之前，首先应用归一化指数函数(softmax)语义分割分支预测所有类别的标签。
[0086]
步骤105：由像素与实例质心组成实例掩码，预测相对偏移量，使用区域离散化处理
[0087]
获取步骤104的分支预测标签，一个由一组像素：和实例质心：组成的实例掩码。预测相对偏移量δi＝c-pi来自一个像素通常被视为偏移回归[32.42.57.44]。但直接回归限制了系统表达不确定性的能力，并存在“回归到均值”的典型问题。一个不确定其实例质心位置的像素可能会通过指向多个候选点之间来对冲，从而产生假峰和假阳性。此外，在反向投影时，不可能将这些像素归为对象假设。相反，将框架投票作为质心可能驻留的空间单元的分类。概率直方图为下游推理生成显式分布。
[0088]
步骤106：构造投票过滤器
[0089]
如图6是为本发明提供的基于时空特征的新型像素投票的全景图像分割的投票过滤器结构图。它涉及k＝233个单元格，在一个m＝243像素的区域上应用于1/4输入分辨率的图像，因此覆盖了高达972x 972的全分辨率。
[0090]
与yolo将整个图像分割成一个规则平铺的小块网格不同，本发明提供的基于时空特征的新型像素投票的全景图像分割的投票过滤器结构以每个像素为中心的区域离散化。对于一个特定的像素pi，映射每个m x m像素为中心。
[0091]
在pi到k个离散指标。这种映射可以通过一个大小为m x m的平移不变查询表自然地记录下来。通过将查询表覆盖在pi之上，分类的背景真值投票指数可以直接从实例质心所在的空间单元中读取出来。将此查询表称为投票过滤器。对于不属于任何实例的像素，创建一个“弃权”标签作为一个额外的类，因此总共有k+1个类用于实例投票分支。
[0092]
在复杂江面上，受船舶大小不同，以及水面漂浮物大小等苛刻特征条件预期，尺度与精度离散意味着空间精度的损失，重要的是像素之间的共识，从而实现反向投影。大的实例可以自然地容忍比小的对象更粗的预测。构造了投票过滤器，使距离实例质心越远，空间单元就越大。构建一个正方形单元格的网格，其尺寸向外径向扩展，它涉及k＝233个单元格，在一个m＝243像素的区域上应用于1/4输入分辨率的图像，因此覆盖了高达972x 972的全分辨率。
[0093]
步骤107：转置卷积投票，使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位置；
[0094]
步骤105实例投票分支产生一个大小为h的张量。[w,k,11]，其中k+1是不同的投票可能性的数量，包括通过素材像素弃权。使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位置。
[0095]
第一步采用扩散性反卷积(deconvolution)
[0096]
第二步采用平均池化(average pooling)
[0097]
转置卷积(transposed convolution)是将一个点信号扩散到多个空间位置，而conv核则是将空间信息聚集到一个点上。
[0098]
在每个标记目标位置的通道中将内核参数修改为1-hot。在这种情况下，膨胀使一个像素能够将它的选票投到遥远的点。对于每个反卷积(deconv)内核，都存在一个等价的conv内核，反之亦然。在第一步,丢弃后弃权投票,将[h,w,17]张量沿通道的两个组件大小[h,w,9]和[h,w,8],并应用两个反卷积(deconv)内核的大小
与膨胀特征1和与扩张3生成两个热图h
dilate1
，h
dilate3
，，都大小[h,w,1]。在第一步之后，所有的投票都被发送到每个空间单元格的中心。在第二步中，在每个单元格中均匀地投票。在这种特殊情况下，平滑完全等同于平均池化。在hdilate3上应用3x-3平均池，在hdilatel上应用1x 1平均池(一个恒等操作)。然后将这两张热图相加，完成最终的投票热图，进行最后的特征输出
[0099]
步骤108：投影过滤器处理，为每个峰值区域确定最有利于这个特定最大值的像素
[0100]
对特征投影每个峰值区域确定最有利于这个特定最大值的像素,对步骤106，步骤107特征结果进行处理，反向投影时，首先获取每个像素处的argmax(最值函数)投票指数。这是一个大小为[h,w,1]的张量。然后，在一个峰值区域内，对查询过滤器进行卷积，并对argmax(最值函数)投票指数执行相等比较，以挑选出该峰值区域内最强投票的所有像素。在航道检测实践中，将相等比较扩展到前3名投票，而不仅仅是argmax(最值函数)投票，这样argmax(最值函数)决策错误的像素就没有被完全抛弃。如果单个像素被多个峰值争夺，则将该像素分配给总投票计数最高的峰值区域。在边缘情况下，多个峰值相对于像素在同一个空间单元内，像素到达空间上最近的峰值(这个距离是从峰值区域的包围盒的中心到像素的测量)。
[0101]
设计一个目标函数来平衡实例间的损失。让一个ai表示像素所在的掩码段面积，语义分支和投票分支的训练损失均归一化为
[0102][0103]
其中yi是基础现实标签
·
语义/投票标签，λ控制标准化的强度。当λ＝0,wi＝1时，得到了默认的像素平均损失。当λ＝1。将每个分段的总损失除以分段面积，使所有分段对训练的贡献相等。λ＝0.5可以被解释为一种基于长度的归一化，它位于像素平均损耗和全段归一化损耗之间。请注意，内容段和内容段的处理是相同的。最终损失为语义分割损失和投票损失的总和l
total
＝l
sem
+l
vote.
。
[0104]
步骤109：展示系统中的动态数据
[0105]
将步骤104至步骤108处理模块所产生的特征值标记到可视化界面并传输进步骤110数据存储。在数据展示中涉及到web网页设计，主体界面功能包括摄像头转换，变向，自动预警，自动提醒，日志记载等。
[0106]
步骤110：存储数据，同时对外提供访问数据
[0107]
数据库采用mysql数据库第八版本，开放游客api接口，高级管理员api接口授予不同权限，记载重要航行数据，可采用分布式存储，对每个监控区段进行分布存储。存储模块还包括包括录像机，数据库等软硬件设备。主要用于存储数据，同时对外提供访问数据的功能。
[0108]
可见本发明提供的航道船舶监控预警系统，利用新型基于时空特征的新型像素投票的全景图像分割技术，不仅能够快速有效地对复杂航道情况进行分割处理，而且保证了结果的准确性。本发明提供的方法及系统适用于各类型复杂航道监控。实现所需成本小，应用范围广，可解决目前世界航道监控领域的主流问题。
[0109]
图1为本发明提供的系统方法流程图；图3为本发明提供的系统模块配置图(数据流向图)。参见图1，图3，本发明公开了一种航道船舶监控预警系统，所述方法及系统由六个模块组成，分别是采集模块，中转模块，管理模块，处理模块，展示模块，存储模块。
[0110]
采集模块301，主要由各个摄像头组成，在监测和计量功能没有开启的情况下，采集模块并不会向中转模块发送数据，而只会将当前采集的视频帧的数据传递给存储模块进行存储；
[0111]
中转模块302，中转模块的主要功能是提供控制，获取远端摄像头和数据，同时给管理模块提供接口访问其摄像头和数据。承担中转模块的是流媒体服务器。
[0112]
管理模块303，管理模块主要用于管理各个摄像头或者说各个监测站点是否开启监测和计量服务，同时还负责对中转模块发送相应的请求，使对应的摄像头或监测站点与流媒体服务器建立数据连接，使其可以获取到数据并发送给处理模块；
[0113]
处理模块304，处理模块是整个系统的核心，系统的核心功能由处理模块实现。处理模块主要功能有视频数据解码，船舶的检测与识别，船舶的持续跟踪，船舶的计数，船舶的载重量计算。是本文基于时空特征的新型像素投票的全景图像分割的载体；
[0114]
所述处理模块，参见图5为本发明处理模块提供基于时空特征的新型像素投票的全景图像分割的网络结构图；
[0115]
给定一个输入图像，基于像素共识投票的卷积神经网络首先通过卷积神经网络提取一个共享的表示(特征张量)，然后将特征张量反馈给两个独立的子分支。语义分割分支预测每个像素的类别标签。实例投票分支对每个像素预测该像素是否为实例掩码的一部分，如果是，则预测实例掩码质心的相对位置。根据投票滤波器，这种预测被框定为在像素周围的一组网格单元上的分类。两个分支都用标准的交叉熵损失进行训练。
[0116]
图像输入模块501，为给定一个输入图像，向神经网络提交管理模块303提交的图像数据
[0117]
主干和特征提取模块502，构建一个元架构来建模和分割实例。为此，基于像素共识投票的卷积神经网络将实例识别的训练减少到像素标签，通过全卷积网络的各种搭建来解决。遵循全景分割网络(upsnet)的设计，它将特征金字塔网络(fpn)与深度残差网络(resnet)骨干重新定义，用于语义分割。从特征金字塔网络(fpn)的每个阶段特征，分别在输入分辨率的1/32、1/16.1/8和1/4，首先经过一个共享的可变形卷积模块，然后被上采样到输入尺度的1/4的均匀大小。在通道级联之前，特征图的通道尺寸通过1x 1的卷积从256减少到128。在此基础上，应用1x 1的卷积,归一化指数函数(softmax)和4x最近邻上采样来生成逐像素标签。在上采样之前，首先应用归一化指数函数(softmax)语义分割分支预测所有类别的标签。然后将特征张量反馈给两个独立的子分支。
[0118]
区域离散化分支模块503，由像素与实例质心组成实例掩码，预测相对偏移量，使用区域离散化处理。
[0119]
获取502模块的分支预测标签，一个由一组像素：和实例质心：组成的实例掩码。预测相对偏移量δi＝c-pi来自一个像素通常被视为偏移回归[32.42.57.44]。但直接回归限制了系统表达不确定性的能力，并存在“回归到均值”的典型问题。一个不确定其实例质心位置的像素可能会通过指向多个候选点之间来对冲，
从而产生假峰和假阳性。此外，在反向投影时，不可能将这些像素归为对象假设。相反，将框架投票作为质心可能驻留的空间单元的分类。概率直方图为下游推理生成显式分布。
[0120]
转置卷积投票模块504，使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位置；
[0121]
主干和特征提取模块502，区域离散化分支模块503实例投票分支产生一个大小为h的张量。[w,k,11]，其中k+1是不同的投票可能性的数量，包括通过素材像素弃权。使用扩张性反卷积和平均池化来聚集概率投票到他们的预期空间位置。
[0122]
第一步采用扩散性反卷积(deconvolution)
[0123]
第二步采用平均池化(average pooling)
[0124]
转置卷积(transposed convolution)是将一个点信号扩散到多个空间位置，而conv核则是将空间信息聚集到一个点上。
[0125]
在每个标记目标位置的通道中将内核参数修改为1-hot。在这种情况下，膨胀使一个像素能够将它的选票投到遥远的点。对于每个反卷积(deconv)内核，都存在一个等价的conv内核，反之亦然。在第一步,丢弃后弃权投票,将[h,w,17]张量沿通道的两个组件大小[h,w,9]和[h,w,8],并应用两个反卷积(deconv)内核的大小与膨胀特征1和与扩张3生成两个热图h
dilate1
，h
dilate3
，，都大小[h,w,1]。在第一步之后，所有的投票都被发送到每个空间单元格的中心。在第二步中，在每个单元格中均匀地投票。在这种特殊情况下，平滑完全等同于平均池化。在hdilate3上应用3x-3平均池，在hdilatel上应用1x 1平均池(一个恒等操作)。然后将这两张热图相加，完成最终的投票热图，进行最后的特征输出
[0126]
反向投影模块505，投影过滤器处理，为每个峰值区域确定最有利于这个特定最大值的像素
[0127]
对特征投影每个峰值区域确定最有利于这个特定最大值的像素,对步骤106，步骤107特征结果进行处理，反向投影时，首先获取每个像素处的argmax(最值函数)投票指数。这是一个大小为[h,w,1]的张量。然后，在一个峰值区域内，对查询过滤器进行卷积，并对argmax(最值函数)投票指数执行相等比较，以挑选出该峰值区域内最强投票的所有像素。在航道检测实践中，将相等比较扩展到前3名投票，而不仅仅是argmax(最值函数)投票，这样argmax(最值函数)决策错误的像素就没有被完全抛弃。如果单个像素被多个峰值争夺，则将该像素分配给总投票计数最高的峰值区域。在边缘情况下，多个峰值相对于像素在同一个空间单元内，像素到达空间上最近的峰值(这个距离是从峰值区域的包围盒的中心到像素的测量)。
[0128]
设计一个目标函数来平衡实例间的损失。让一个ai表示像素所在的掩码段面积，语义分支和投票分支的训练损失均归一化为
[0129][0130]
其中yi是基础现实标签
·
语义/投票标签，λ控制标准化的强度。当λ＝0,wi＝1时，得到了默认的像素平均损失。当λ＝1。将每个分段的总损失除以分段面积，使所有
分段对训练的贡献相等。λ＝0.5可以被解释为一种基于长度的归一化，它位于像素平均损耗和全段归一化损耗之间。请注意，内容段和内容段的处理是相同的。最终损失为语义分割损失和投票损失的总和l
total
＝l
sem
+l
vote.
。
[0131]
展示模块305，展示模块主要用于展示系统中的动态数据，包括实时数据，统计数据等。查看方式分为网页登陆查看和电脑端软件查看。主体界面功能包括摄像头转换，变向，自动预警，自动提醒，日志记载等。
[0132]
存储模块306，数据库采用mysql数据库第八版本，开放游客api接口，高级管理员api接口授予不同权限，记载重要航行数据，可采用分布式存储，对每个监控区段进行分布存储。存储模块还包括包括录像机，数据库等软硬件设备。主要用于存储数据，同时对外提供访问数据的功能。
[0133]
可见，本发明提供的航道船舶监控预警系统，利用新型基于时空特征的新型像素投票的全景图像分割技术，不仅能够快速有效地对复杂航道情况进行分割处理，而且保证了结果的准确性。本发明提供的方法及系统适用于各类型复杂航道监控。实现所需成本小，应用范围广，可解决目前世界航道监控领域的主流问题。
[0134]
总体而言，通过本发明提供的航道船舶监控预警系统和技术与现有技术相比，本发明提供了一种新的基于时空特征的新型像素投票的全景图像分割技术，结合了实例分割技术和动态分析，使航道预警反馈速率大幅提高，并且技术分析精度的提高还可以节省硬件监控设备的成本，所采用的分布式数据存储模式，也是数据的安全性，可靠性大幅提高，使航道安全得到了更好的防护。进一步地，本发明中采用了自主研究的基于时空特征的新型像素投票的全景图像分割技术，可以使可航道监控更加精确。
[0135]
本文中系统搭建模式应用了具体个例(六模块)对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。