一种可搭载于无人艇的辅助水面巡逻系统以及水面监测方法与流程

本发明涉及目标识别
技术领域：
，尤其涉及一种可搭载于无人艇的辅助水面巡逻系统以及水面监测方法。
背景技术：
：随着科学技术的发展，航运事业也得到了较快的发展，水运经济也成为了国民经济的重要组成部分。然而，随着水运经济的发展，水上安全事故也不断增加。本申请发明人在实施本发明的过程中，发现现有技术中至少存在如下技术问题：现有技术中，通常是巡逻艇操作人员驾驶船艇进行水上巡逻，即为人工水域巡逻，需要预先对巡逻人员进行巡逻艇操作训练，因而其综合成本较高，并且这种方式较易受到自然因素影响，还需要依赖于操作巡逻艇操作人员的经验，可能由于疲劳造成操作不当，导致人员及财产损失。因此，现有技术中存在效率低、效果不佳的技术问题。技术实现要素：本发明实施例提供了一种可搭载于无人艇的辅助水面巡逻系统以及目标检测方法，用以解决或者至少部分解决现有技术中存在的效率低、效果不佳的技术问题。为了解决上述问题，本发明第一方面提供了一种可搭载于无人艇的辅助水面巡逻系统，所述系统包括信息获取模块、第一信息发送模块、目标检测模块、第二信息发送模块、位置获取模块和信息可视化模块，其中，所述信息获取模块为搭载于无人艇上的高清摄像头，用于获取预设巡逻水域内的视频图像信息；第一信息发送模块，用于将预设巡逻水域内的视频图像信息发送至目标检测模块；目标检测模块，用于对接收的视频图像信息采用yolo算法进行检测与识别，获得巡逻水域内的目标，目标包括人员、船只和水面垃圾，yolo算法的识别过程包括：预先采集不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像并进行预处理，构成样本集，从样本集中选取出预设比例的样本作为训练集；利用训练集对预设卷积神经网络模型进行训练，其中，训练集用于预测输入图像的类别和预测框在图像中的位置；设置并优化训练参数，对模型进行优化，得到优化后的卷积神经网络模型，将接收的图像信息进行预处理后输入优化后的卷积神经网络模型，获得检测结果，其中，检测结果包括目标的类别；位置获取模块，用于获取检测的目标的位置信息；第二信息发送模块，用于将检测后的目标的类别和位置信息发送至信息可视化模块；信息可视化模块，用于对检测后目标的信息进行可视化显示。在一种实施方式中，不同环境包括光线亮度、天气情况和水域状况。在一种实施方式中，目标检测模块，还用于：对信息获取模块获取的不同环境和不同角度下的图像信息进行分帧处理，获得检测目标的图像序列集合；对图像序列集合中图像进行标注，并转化为yolo算法可识别的格式，形成样本集。在一种实施方式中，目标检测模块中，将接收的图像信息进行预处理后输入优化后的卷积神经网络模型，获得检测结果，具体包括：将接收的图像分割为s*s个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出c个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；将目标物体可能存在的区块进行非极大值抑制计算，得到的目标物体在图像中的位置以及目标物体的类别，并进行框选。在一种实施方式中，所述系统还包括语音播报模块，用于在目标检测模块识别到目标后进行播报。在一种实施方式中，信息可视化模块的展示方式包括2d、3d和ar模式。基于同样的发明构思，本发明第二方面提供了一种基于第一方面所述的可搭载于无人艇的辅助水面巡逻系统的水面监测方法，包括：步骤s1：通过搭载于无人艇上的高清摄像头获取预设巡逻水域内的视频图像信息；步骤s2：通过第一信息发送模块将预设巡逻水域内的视频图像信息发送至目标检测模块；步骤s3：通过目标检测模块对接收的视频图像信息采用yolo算法进行检测与识别，获得巡逻水域内的目标，目标包括人员、船只和水面垃圾，yolo算法的识别过程包括：预先采集不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像并进行预处理，构成样本集，从样本集中选取出预设比例的样本作为训练集；利用训练集对预设卷积神经网络模型进行训练，其中，训练集用于预测输入图像的类别和预测框在图像中的位置；设置并优化训练参数，对模型进行优化，得到优化后的卷积神经网络模型，将接收的图像信息进行预处理后输入优化后的卷积神经网络模型，获得检测结果，其中，检测结果包括目标的类别；步骤s4：通过位置获取模块获取检测的目标的位置信息；步骤s5：通过第二信息发送模块将检测后的目标的类别和位置信息发送至信息可视化模块；步骤s6：通过信息可视化模块对检测得到的目标信息进行可视化显示。在一种实施方式中，预先采集不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像并进行预处理，构成样本集，包括：对信息获取模块获取的不同环境和不同角度下的图像信息进行分帧处理，获得检测目标的图像序列集合；对图像序列集合中图像进行标注，并转化为yolo算法可识别的格式，形成样本集。在一种实施方式中，所述方法还包括：通过语音播报模块在目标检测模块识别到目标后进行播报。本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：本发明提供的一种可搭载于无人艇的辅助水面巡逻系统，信息获取模块获取预设巡逻水域内的视频图像信息后，通过第一信息发送模块将预设巡逻水域内的视频图像信息发送至目标检测模块；然后由目标检测模块对接收的视频图像信息采用yolo算法进行检测与识别，获得巡逻水域内的目标，目标包括人员、船只和水面垃圾，并通过位置获取模块获取检测的目标的位置信息；再由第二信息发送模块将检测后的目标的类别和位置信息发送至信息可视化模块；最后通过信息可视化模块对检测后目标的信息进行可视化显示。通过本发明提供可搭载于无人艇的辅助水面巡逻系统，一方面，可以对无人艇进行控制，从而实现自动巡逻，解决现有方法中人工成本高、效率低的问题，另一方面，通过采用yolo算法进行检测与识别，预先采集大量不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像并进行预处理，构成训练样本，对卷积神经网络模型进行训练，并对模型进行优化，从而使得本发明的检测与识别方法的准确性和精度更高，解决依赖人工检测或者现有检测识别方法中存在的识别不准确的问题。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种实施方式中一种可搭载于无人艇的辅助水面巡逻系统的结构框图；图2为图1所示巡逻系统中的信息可视化模块的展示形式示意图；图3为采用本发明提供的巡逻系统检测出水面垃圾的结果示意图；图4为采用本发明提供的巡逻系统检测出戏水人员的结果示意图；图5为采用本发明提供的巡逻系统检测出船只的结果示意图；图6为基于图1中的巡逻系统实现的水面监测方法的流程图。具体实施方式本发明实施例提供了一种可搭载于无人艇的辅助水面巡逻系统以及目标检测方法，用以解决或者至少部分解决现有技术中存在的效率低、效果不佳的技术问题，从而达到提高巡逻效率、提高检测准确性的技术效果。为了达到上述技术效果，本发明的主要构思如下：基于yolov3目标检测算法、卷积神经网络模型及无人艇技术，搭建了一个高识别精度且信息完善的巡逻系统，并对识别的目标信息进行可视化，提供实时界面和水面信息整体展示，形成数据整合、关联分析和数据可视化等服务能力，为岸端操作人员提供可靠信息展示。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例一本发明申请人通过大量的研究与实践发现，现有的巡逻系统或者方法，需要操作人员驾驶船艇到水面上进行监测，而实际应用过程中，由于气候复杂、水域环境多变,采用现有方法实施难度较大。另一方面，现有的识别方法对目标识别方面还有待完善。因而，本发明本在无人艇的基础上，采用yolov3算法和卷积神经网络，对水面进行巡逻和监测，可以准确对水面进行监测并提供相关信息供岸基端进行进一步操作。本实施例提供了一种可搭载于无人艇的辅助水面巡逻系统，所述系统包括信息获取模块101、第一信息发送模块102、目标检测模块103、位置获取模块104、第二信息发送模块105和信息可视化模块106，其中，所述信息获取模块为搭载于无人艇上的高清摄像头，用于获取预设巡逻水域内的视频图像信息；第一信息发送模块，用于将预设巡逻水域内的视频图像信息发送至目标检测模块；目标检测模块，用于对接收的视频图像信息采用yolo算法进行检测与识别，获得巡逻水域内的目标，目标包括人员、船只和水面垃圾，yolo算法的识别过程包括：预先采集不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像并进行预处理，构成样本集，从样本集中选取出预设比例的样本作为训练集；利用训练集对预设卷积神经网络模型进行训练，其中，训练集用于预测输入图像的类别和预测框在图像中的位置；设置并优化训练参数，对模型进行优化，得到优化后的卷积神经网络模型，将接收的图像信息进行预处理后输入优化后的卷积神经网络模型，获得检测结果，其中，检测结果包括目标的类别；位置获取模块，用于获取检测的目标的位置信息；第二信息发送模块，用于将检测后的目标的类别和位置信息发送至信息可视化模块；信息可视化模块，用于对检测后目标的信息进行可视化显示。具体来说，信息获取模块可以为搭载于无人艇上的高清摄像头。在具体实施过程中，由于水下环境复杂且对无人艇操作距离有一定要求，因此在无人艇选取时采用玻璃钢材料且可远程操作范围较广的无人艇作为本系统搭载设备，本系统对摄像头要求较高，因此在摄像头选取时采取较高摄像精度及较大视野的摄像头。第一信息发送模块可以通过有线传输模式或者无线传输模式进行传输。目标检测模块为本地处理中心(岸基操作端)的核心部分，首先本发明预先采集了大量不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像，并进行预处理，从而形成了样本集，并从样本集中选取出预设比例的样本作为训练集。利用训练集对预设卷积神经网络模型进行训练，并对训练后的模型进行优化，最后将传回的图像进行预处理后，利用优化后的模型进行检测，从而得到检测结果，检测结果包括目标的类别以及目标在图像中的位置，并可以进行框选。例如检测的目标可以是船只、人员或者水面垃圾。其中，本发明可以识别的船只包括民用船和军用船，并对船的结构特征进行分析和标注，包括对船首、船中、船尾、驾驶舱以及船上的物品等。位置获取模块可以为安装于无人艇上的gps模块，由岸基操作端控制其定时回传位置信息。第二信息发送模块可以为有线模块也可以为无线模块。信息可视化模块用以实现信息可视化效果，将检测后的目标信息进行统一显示，实现目标信息捕捉，提供对位置等信息的可视化。在具体实施方式中，所述信息可视化模块的展示形式包括2d、3d和ar三种模式。具体来说，信息可视化模块的其中一种展示形式如图2所示。ar模式可将水域内图像与虚拟信息集成，实现实时交互。在一种实施方式中，不同环境包括光线亮度、天气情况和水域状况。具体来说，例如晴天白天、晴天夜间、雨天白天、有风浪等情况，尽可能地使得前期采集和标注的数据更为全面。在一种实施方式中，目标检测模块还用于：对信息获取模块获取的不同环境和不同角度下的图像信息进行分帧处理，获得检测目标的图像序列集合；对图像序列集合中图像进行标注，并转化为yolo算法可识别的格式，形成样本集。在一种实施方式中，目标检测模块中，将接收的图像信息进行预处理后输入优化后的卷积神经网络模型，获得检测结果，具体包括：将接收的图像分割为s*s个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出c个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；将目标物体可能存在的区块进行非极大值抑制计算，得到的目标物体在图像中的位置以及目标物体的类别，并进行框选。具体来说，模型预测的原理过程如下：每个区块负责检测目标物体的中心是否落在该区块内，每个区块需要预测b个bounding-box，对于每个边界框bounding-box还要预测一个置信度，并回归自身位置将二者的置信度进行乘积则可得到该区块的置信度，置信度表示该bounding-box内含有目标物体的置信值，运算公式如(1)所示。其中，pr(object)表示所预测的box中含有object的置信度,表示这个box预测的准确性，二者的乘积即为该区块的置信度。在算法运行时，每个区块预测的class信息和每个bounding-box预测的置信度的乘积就可以得到每个bounding-box的中心置信度，中心置信度计算公式如(3)所示。在每个bounding-box中心置信度计算完成后，设置一个类别的阈值，依此来剔除置信度较低的区块，最后将目标物体可能存在的区块进行非极大值抑制(non-maximumsuppression,nms)计算，得到目标物体类别以及在图像中的位置信息。下面通过一个示例具体介绍本发明采用的目标识别算法，1.1建立yolov3算法数据库(训练集和测试集)考虑到湖泊、水库等水域巡逻地点水位变化不明显、天气变化不显著及巡逻时间大多在天气较晴朗的白天进行等特点，因此在选取训练集时，选取具有特征明显且清晰度较高的目标进行标记，训练样本如表1所示。表1总数量各类船图水面垃圾水中人员437892354821795631947本实施例将检测目标分为三类：船只、水面垃圾和水中人员。在具体的实施过程中，采用labelimg工具添加样本标签,建立基础数据库。训练样本选取具有良好特征的目标进行标记,测试数据则需对样本图片中的所有目标进行标记，将xml标签转化为可供yolo识别的txt文本，完成数据库的建立。1.2目标模型训练以darknet53为网络框架,yolov3为检测模型进行训练。1.3yolov3检测系统yolov3在本系统中主要起目标识别的作用，yolo算法将无人艇传回的视频中的关键帧进行截取并分析，对其进行一次cnn运算，将输入的关键帧图片进行卷积操作处理，即将图片划分为n*n个网格，每个格子的中心负责检测是否为符合特征的目标，并且每个单元格会预测b个边界框(boundingbox)以及边界框的置信度(cofidencebox)。在一种实施方式中，所述系统还包括语音播报模块，用于在目标检测模块识别到目标后进行播报。举例来说，当检测的目标为水面垃圾或者戏水人员时，则播报相关情况，还可以结合位置获取模块获取的位置信息进行进一步处理。在一种实施方式中，信息可视化模块的展示方式包括2d、3d和ar模式。下面通过几个具体示例对本发明提供的巡逻系统的应用予以说明：本系统在对大量图像目标训练后随机在图像目标数据库中抽样选取相关图像进行测试，测试结果效果图3～图5所示，其中图3检测出的目标为水面垃圾，图4检测的目标为戏水人员，图5检测的目标为船只。以上为选取的具有代表性的测试图样，可直观的显示出yolov3算法在本系统中对水域内戏水人员及水域水上垃圾、船舶等目标物体的识别效果。其检测结果包括识别出的目标类别及其所在摄像头的位置。总体上，根据以上各图的检测结果，本系统可对固定角度及高度下获取的图形信息进行较好的处理，目标检测结果较好。实施例二基于与实施例一同样的发明构思，本发明实施例二提供了一种基于实施例一所述的可搭载于无人艇的辅助水面巡逻系统的水面监测方法，请参见图6，该方法包括：步骤s1：通过搭载于无人艇上的高清摄像头获取预设巡逻水域内的视频图像信息；步骤s2：通过第一信息发送模块将预设巡逻水域内的视频图像信息发送至目标检测模块；步骤s3：通过目标检测模块对接收的视频图像信息采用yolo算法进行检测与识别，获得巡逻水域内的目标，目标包括人员、船只和水面垃圾，yolo算法的识别过程包括：预先采集不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像并进行预处理，构成样本集，从样本集中选取出预设比例的样本作为训练集；利用训练集对预设卷积神经网络模型进行训练，其中，训练集用于预测输入图像的类别和预测框在图像中的位置；设置并优化训练参数，对模型进行优化，得到优化后的卷积神经网络模型，将接收的图像信息进行预处理后输入优化后的卷积神经网络模型，获得检测结果，其中，检测结果包括目标的类别；步骤s4：通过位置获取模块获取检测的目标的位置信息；步骤s5：通过第二信息发送模块将检测后的目标的类别和位置信息发送至信息可视化模块；步骤s6：信息可视化模块，用于对检测后目标的信息进行可视化显示。在一种实施方式中，预先采集不同环境和不同拍摄角度下的人员、船只和水面垃圾的图像并进行预处理，构成样本集，包括：对信息获取模块获取的不同环境和不同角度下的图像信息进行分帧处理，获得检测目标的图像序列集合；对图像序列集合中图像进行标注，并转化为yolo算法可识别的格式，形成样本集。在一种实施方式中，所述方法还包括：通过语音播报模块在目标检测模块识别到目标后进行播报。由于本发明实施例二所介绍的方法，为利用实施一中的系统所采用方法，故而基于本发明实施例一所介绍的系统，本领域所属人员能够了解该目标识别方法的实施方式及变形，故而在此不再赘述。凡是利用本发明实施例一的系统实施的方法都属于本发明所欲保护的范围。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。当前第1页12