一种基于人工智能的船舶检测系统及方法与流程

本发明属于人工智能技术应用，具体涉及一种基于人工智能的船舶检测系统及方法。

背景技术：

物体识别被广泛应用于当下的智能监控设备中，比如较为成熟的人脸识别、车牌识别等。但是相对于固定车道的车辆识别，航道上的船舶识别就较为复杂。其难点主要在于船舶航道不固定、船只外形差异大，背景干扰多（如水面的反光、岸上的植被）、检测范围宽（江面检测范围宽达200米以上）、不同航道环境不同，这就导致传统的图像检测算法很难对此给出一个普适的方法。基于人工智能的图像检测算法很好的克服了这一问题。

近年来，人工智能在图形图像领域有突出成果，随着r-cnn（regionwithcnnfeatures）的提出，其开始广泛应用于现下机器视觉系统，包括物体识别、自动分割、无人驾驶等领域。通过预先分类后选择性搜索并使用cnns（大型卷积神经网络）提取特征，可以很好的检测不同尺度、不同长宽比的目标物体，解决了船只检测中船只外形差异大的难点。同时对于被遮挡的船只，或者雨雪天气导致的画面模糊也有极高的识别率。其中使用rpn神经网络（regionproposalnetwork）来提取候选检测框作为cnns的数据，可以大大提高处理速度。该方法称为fasterr-cnn。

另外，网络的深度很大程度上决定了模型的性能，更多的网络层数，为提取更复杂的特征模式创造了可能，从而使得模型更加优秀。但是，常见网络在加深后会出现网络退化问题，即随着深度增加网络准确度趋于饱和或退化。因而在模型中，使用resnet（深度残差网络）替代常见的vgg网络，其通过残差学习解决了深度网络的退化问题在网络加深的同时确保了模型的准确率。基于resnet68的fasterr-cnn，较常用的基于vgg16模型准确率更高，能更好地使用于不同外形大小的船只视频检测。

综上，对于不同航道的不同船只，使用专门训练后的fasterr-cnn模型对监控视频进行物体识别，相对于传统物体识别方法具有适用范围广、准确率高等优势，同时在极端情况（如雨、雪、远距离）下都有非常好的识别表现。即使对于一些特殊的监控点位，也只需要对模型特殊训练即可，而无需重新设计整体方案。在识别结果的基础上，使用追踪算法，得出每搜经过该监控点船只的速度和行驶方向等信息。通过对gpu算力的调度，使得多个模型可以同时进行计算，从而提高计算速度，以匹配船只平均运行速度，做到及时识别及时反馈。

技术实现要素：

本发明的目的是针对传统图形学方法难以对航道内船只检测的复杂情况提出普适高效算法的问题，提出一种基于人工智能的船舶检测方法。本发明充分利用cnns网络在特征提取上的优势，并辅以rpn神经网络提供候选区域以缩短计算时间，以resnet68替换传统vgg16网络增加网络深度提高网络准确率，最后对于检测到的目标采用追踪算法获取船只速度、航行的方向等信息。其具体技术方案如下：

一种基于人工智能的船舶检测系统，包括视频帧提取与转码模块、预训练的基于resnet68的fasterr-cnn模型、船只运动特征计算模块和模型运算调度模块，所述视频帧提取与转码模块获取视频中的图像并转码供模型运算调度模块进行后续操作；所述预训练的基于resnet68的fasterr-cnn模型对单帧图像进行目标检测和分类，输出候选框、分类结果、置信分数；所述的船只运动结果计算模块对fasterr-cnn模型的检测结果进行进一步筛选并计算船只速度、运动方向；所述的模型运算调度模块分配各进程同步使用fasterr-cnn模型模型进行计算。

进一步的，所述视频帧提取与转码模块通过网络接受前端相机传输回的视频帧画面，调用gpu运算，快速将单帧图片由yuv转换成bmp格式。

进一步的，所述的预训练的基于resnet68的fasterr-cnn模型，采用基于resnet68的fasterr-cnn模型，使用人工标记后缩放大小为1024x600分辨率的河道船舶图像进行训练。

进一步的，所述的船只运动特征计算模块，通过比对上一帧检测结果及当前帧检测结果的置信值进一步筛选，并通过船只在照片上的方位计算船只运动速度和方向。

进一步的，所述的模型运算调度模块，将fasterr-cnn模型分别运行于子进程当中，根据gpu当前空闲情况分配进程进行运算模型。

一种基于人工智能的船舶检测方法，包括如下步骤：

一、前端监控设备获取的图像通过网络传输；

二、将所述图像转码成单帧图像；

三、选择子进程中预训练的基于resnet68的fasterr-cnn模型进行检测识别；

四、将识别结果结合前一帧内容进一步筛选并给出船只运动特征数据。

本发明主要用于解决当前传统图形学算法对河道船舶视频中船只识别检测困难的问题，并具有移植简单、准确率高、适应极端天气情况、可检测航道宽度大的特点。由于本发明所述的技术中采用合理的gpu分配方法调度模型运算，大大提升了人工智能算法的速度，使得可以及时得出单帧视频的检测结果。基于上述原因，按照本发明所述系统，可以在基于fasterr-cnn模型的预测下，有效识别航道监控视频中的船只。

附图说明

图1为本发明的流程图；

图2为残差网络的构建块示意图；

图3为resnet68残差网络图。

具体实施方式

下面结合附图详细说明本发明的具体实施方式。

如图1所示，本发明的基于人工智能的船舶检测方法，采用的系统包括视频帧提取与转码模块、预训练的基于resnet68的fasterr-cnn模型、船只运动特征计算模块和模型运算调度模块。前端监控设备获取的图像通过网络传输到所述的视频帧提取与转码模块，该视频帧提取与转码模块转码单帧图像后由模型运算

调度模块选择子进程中预训练的基于resnet68的fasterr-cnn模型进行检测识别，并将结果反馈给船只运动特征计算模块结合前一帧内容进一步筛选并给出船只运动特征数据。

上述的视频帧提取与转码模块，包括从网络获取视频并抽出一帧，通过gpu将该帧由yuv转码为rgb，输入模型运算调度模块。

上述的模型运算调度模块接受到数据后查询当前子进程状况，若当前有空闲子进程则将该图片送模型进行检测，否则丢弃该帧。

上述的预训练的基于resnet68的fasterr-cnn模型，使用人工标记后缩放大小为1024x600分辨率的河道船舶图像进行训练。

如图2所示，通过引入resnet101深度残差学习框架解决了退化问题。形式上，明确地让这些层拟合残差映射，将期望的基础映射表示为h（x），将堆叠的非线性层拟合另一个映射f（x）:h(x)-x。原始映射重写为f(x)+x。公式f(x)+x通过带有快捷连接的前向神经网络来实现。快捷连接是跳过一层或更多层的连接，快捷连接简单地执行恒等映射，并将其输出添加到堆叠层的输出。

基于上述的resnet的残差网络，当输入和输出具有相同的维度时，可以直接使用恒等快捷连接，当维度增加时，考虑两个选项：（1）快捷连接仍然执行恒等映射，额外填充零输入以增加维度。（2）方程中的投影连接用于匹配维度（由1x1卷积完成）。图3是构建的resnet68残差网络图。

上述的船只运动特征计算模块通过对比当前帧与上一帧的检测情况进一步筛选检测结果和计算船只运动特征。对于船只应当在视野中1/4的位置第一次出现（驶入摄像区域）或者最后一次出现（驶离摄像区域），除此以外的船只记录为误判。通过判断先后两帧中船只的检测框的重叠情况及画面中船只的运动特征决定当前帧中的船只和上一帧的船只是否为同一船只。通过两帧中同一船只的相对距离，更新船只的行驶速度与方向。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。