一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法与流程

本发明涉及目标识别
技术领域：
，尤其涉及一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法。
背景技术：
：随着科学技术的发展，航运事业也得到了较快的发展，海洋经济也成为了国民经济的重要组成部分。然而，随着海洋经济的发展，水上安全事故也不断增加。现有技术中，通常是通过船载gps设备进行初步定位、或者由遇险人员通过传统对讲机发出求救信号后，再派出飞机或者船只前往出事海域进行搜救，并通过工作人员的经验对可疑区域内进行观察，然后实施营救。本申请发明人在实施本发明的过程中，发现现有技术中至少存在如下技术问题：现有的方法需要依赖工作人员的经验来搜索遇险人员，可能导致误判，另一方面，在领海基线以外至200海里的远洋区域，由于海况恶劣、气候复杂、水域环境多变,采用现有方法实施难度较大。因此，现有技术中的方法存在识别不准确、搜救难度大的技术问题。技术实现要素：本发明实施例提供了一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法，用以解决或者至少部分解决现有技术中的方法存在的识别不准确、搜救难度大的技术问题。为了解决上述问题，本发明第一方面提供了一种可搭载于无人机的海事遇险人员搜索系统，所述系统包括图像获取模块、第一信息发送模块、目标识别模块、第二信息发送模块和信息可视化模块，其中，所述图像获取模块为搭载于无人机上的高清摄像头，用于获取遇险海域内的视频图像信息；第一信息发送模块，用于将遇险海域内的视频图像信息发送至目标识别模块；目标识别模块，用于对接收的视频图像信息采用yolo算法进行识别，得到待救援的目标的信息，yolo算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选；第二信息发送模块，将识别后的待救援的目标的信息发送至信息可视化模块；信息可视化模块，用于对识别后的待救援的目标的信息进行可视化显示，以供搜救。在一种实施方式中，目标识别模块，具体用于：将遇险海域内的视频图像分割为s*s个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出c个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。在一种实施方式中，目标识别模块包括优化单元，用于：采用损失函数将区块与边界框及每个边界框所得置信度的维度进行统一化处理。在一种实施方式中，待救援的目标的信息包括待救援设备的类型和待救援人员信息。在一种实施方式中，所述系统还包括报警模块，用于在目标识别模块识别到待救援目标后进行报警。基于同样的发明构思，本发明第二方面提供了一种基于第一方面所述系统的目标识别方法，包括：步骤s1：通过搭载于无人机上的高清摄像头获取遇险海域内的视频图像信息；步骤s2：通过第一信息发送模块将遇险海域内的视频图像信息发送至目标识别模块；步骤s3：通过目标识别模块，用于对接收的视频图像信息采用yolo算法进行识别，得到待救援的目标的信息，其中，yolo算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选。在一种实施方式中，所述方法还包括：通过第二信息发送模块将识别后的待救援的目标的信息发送至信息可视化模块；以及通过信息可视化模块对识别后的待救援的目标的信息进行可视化显示，以供搜救。在一种实施方式中，目标识别的过程具体包括：将遇险海域内的视频图像分割为s*s个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出c个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。在一种实施方式中，所述方法还包括：采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：本发明提供的搜救系统，通过图像获取模块获取遇险海域内的视频图像信息；由第一信息发送模块将遇险海域内的视频图像信息发送至目标识别模块；并通过目标识别模块，用于对回传的视频图像信息采用yolo识别算法进行识别，识别出待救援目标，然后通过第二信息发送模块，将识别后的待救援的目标的信息发送至信息可视化模块；最后通过信息可视化模块对识别后的待救援的目标的信息进行可视化显示，以供搜救。一方面，本发明的搜救系统可以通过搭载于无人机上的高清摄像头来获取遇险海域内的视频图像信息；然后将视频图像信息回传进行处理，可以解决传统方法中海上环境无法获取现场图像，导致搜救实施困难的问题，另一方面，本发明通过目标识别模块对接收的视频图像信息采用yolo算法进行识别，得到待救援的目标的信息，可实时并精准地对获取图像进行处理，提高了识别的准确性，进而可以大大提高待救援目标被发现的几率，解决了现有技术中的方法存在的存在识别不准确、搜救难度大的技术问题。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一种实施方式中一种可搭载于无人机的海事遇险人员搜索系统的结构框图；图2为图1所示搜救系统中的信息可视化模块的展示形式示意图；图3为采用本发明提供的搜救系统检测出遇险人员的结果示意图；图4为采用本发明提供的搜救系统检测出救生筏的结果示意图；图5为基于图1中的搜救系统实现的目标识别方法的流程图。具体实施方式本发明实施例提供了一种可搭载于无人机的海事遇险人员搜索系统以及目标识别方法，用以解决或者至少部分解决现有技术中的方法存在的存在识别不准确、搜救难度大的技术问题，从而达到提高识别准确性，提高搜救几率的技术效果。为了达到上述技术效果，本发明的主要构思如下：基于yolov3目标检测算法及无人机航拍技术，搭建了一个高识别精度且信息完善的搜救系统，并对识别的待救援目标信息进行可视化，提供实时界面和遇险海域信息整体展示，形成数据整合、关联分析和数据可视化等服务能力，为搜救人员尽早提供目标海域内是否存在遇险人员信息服务数据。为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例一本发明申请人通过大量的研究与实践发现，现有的海事搜救系统或者方法，需要依赖工作人员的经验到可疑区域来搜索遇险人员，可能导致误判，另一方面，在领海基线以外至200海里的远洋区域，由于海况恶劣、气候复杂、水域环境多变,采用现有方法实施难度较大。随着时代发展，无人机技术已经得到深入且快速的发展，且无人机在航拍领域已经不断完善。无人机不仅可以应用于民用领域，如爱好者航拍、交通路况预测及播报等方面，还可应用于军事上的领土边界巡逻、侦察等方面，具有极其广泛的应用前景。同时，目标识别算法已经在人脸面部识别得到广泛的应用，但是在无人机对海事遇险搜救方面仍有空缺，而传统的搜救方法无法做到快速且精确定位遇险人员并进做出及时的救援。最突出难点在领海基线以外至200海里的远洋区域,由于海况恶劣、气候复杂、水域环境多变,救助能力还需进一步提高。因而，本发明本在无人机航拍的基础上，采用yolov3算法，通过目标识别的方法得以快速感知到遇险人员位置并进行跟踪以进行救援。本实施例提供了一种可搭载于无人机的海事遇险人员搜索系统，如图1所示，所述系统包括图像获取模块101、第一信息发送模块102、目标识别模块103、第二信息发送模块104和信息可视化模块105，其中，所述图像获取模块为搭载于无人机上的高清摄像头，用于获取遇险海域内的视频图像信息；第一信息发送模块，用于将遇险海域内的视频图像信息发送至目标识别模块；目标识别模块，用于对接收的视频图像信息采用yolo算法进行识别，得到待救援的目标的信息，yolo算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选；第二信息发送模块，将识别后的待救援的目标的信息发送至信息可视化模块；信息可视化模块，用于对识别后的待救援的目标的信息进行可视化显示，以供搜救。具体来说，信息获取模块可以为搭载于无人机上的高清摄像头。在具体实施过程中，本发明针对海上情况多变复杂且可进行高精度识别等特点进行选取无人机，选取采用dji大疆inspire2四轴无人机其可搭载的zenmusex7相机像素高达24mp，能清晰地传回海上遇险现场图像信息供yolo算法进行后续处理。目标识别模块为本地处理中心的核心部分，目标识别模块采用yolov3算法对无人机传回的视频帧图像进行处理，首先，对于每个预测框，根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，例如大小都为[7,7,2]。并设置置信度阈值，将置信度小于该阈值的预测框过滤，得到置信度较高的预测框，再对这些预测框使用非极大值抑制算法(non-maximum-suppression，nms)，最后选出置信度最高的目标进行框选，从而完成目标识别。此外，还可以标注出遇险人员或设备的数量。信息可视化模块用以实现信息可视化效果，将锁定遇险人员及设备的数据回传至主机，与该遇险人员及设备实时视频信息统一显示，实现目标信息捕捉，提供对位置等信息的可视化。在具体实施方式中，所述信息可视化模块的展示形式包括2d、3d和ar三种模式。具体来说，信息可视化模块的其中一种展示形式如图2所示。ar模式可将真实海域内图像与虚拟信息集成，实现实时交互。本发明将ar模式融入系统中，扩大对海事遇险人员及设备信息的获取范围实现提前救援决策，有效地缩短了现在海事遇险人员获救时间，有利于提高海事遇险人员生存几率，为各类海事人员搜救的信息服务提供数据支撑。在一种实施方式中，目标识别模块，具体用于：将遇险海域内的视频图像分割为s*s个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出c个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。具体来说，每个区块负责检测目标物体的中心是否落在该区块内，每个区块需要预测b个bounding-box，对于每个边界框bounding-box还要预测一个置信度，并回归自身位置将二者的置信度进行乘积则可得到该区块的置信度，置信度表明该bounding-box内含有目标物体的置信值，运算公式如(1)所示。其中，pr(object)表示所预测的box中含有object的置信度,表示这个box预测的准确性，二者的乘积即为该区块的置信度。在算法运行时，每个区块预测的class信息和每个bounding-box预测的置信度的乘积就可以得到每个bounding-box的中心置信度，中心置信度计算公式如(3)所示。在每个bounding-box中心置信度计算完成后，设置一个类别的阈值，依此来剔除置信度较低的区块，最后将目标物体可能存在的区块进行非极大值抑制(non-maximumsuppression,nms)计算，得到最终待救援目标物体的位置和相关信息。下面通过一个示例具体介绍本发明采用的目标识别算法，yolo算法的训练1.1建立yolov3算法数据库由于无人机航拍的飞行高度无法单一确定且海上情况多变，大大增加了目标检测的难度，因此应在无人机飞行高度范围内获取大量穿着救生衣/救生圈的遇险人员、救生艇及救生筏的视频样本图片进行标注，并加以训练。其中，标注的数据如表1所示，训练样本如表2所示。表1总数量救生艇救生筏水中人员437892157472742131947本发明通过标注大量的数据，考虑到各种不同目标的特征，可以为后续的训练和预测提供基础，从而提供目标识别的准确性。表2训练名称救生艇救生筏落水遇险人员训练数量7254431127本实施例将检测目标分为三类：救生艇、救生筏、落水遇险人员。使用labelimg工具添加样本标签,建立基础数据库。详细参数如表1所示，训练样本选取具有良好特征的目标进行标记,测试数据则需对样本图片中的所有目标进行标记，将xml标签转化为可供yolo识别的txt文本，完成数据库的建立。1.2目标模型训练以darknet53为网络框架,yolov3为检测模型,训练待救援目标检测系统。1.3yolov3检测系统yolov3在本系统中主要起目标识别的作用，yolo算法将无人机传回的视频中的关键帧进行截取并分析，对其进行一次cnn运算，将输入的关键帧图片进行卷积操作处理，即将图片划分为n*n个网格，每个格子的中心负责检测是否为待救援目标，并且每个单元格会预测b个边界框(boundingbox)以及边界框的置信度(cofidencebox)。在一种实施方式中，目标识别模块包括优化单元，用于：采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。具体来说，在预测置信度时，每个区块除了要预测其自身位置(x，y，h)及置信度c外，还需预测一个类别信息。由于区块与bounding-box及每个bounding-box所得的置信度维度存在巨大差异，且每个区块预测多个bounding-box，为使得bounding-box对其是否存在目标物体尽心更精准的预测，为此本发明采用损失函数以将区块与bounding-box及每个bounding-box所得的置信度维度进行统一化且使得每个bounding-box所得到的置信度更加精准，损失函数如(2)所示。公式(2)中，λ为一任意给定的常数，i与j分别为区块单元及边界框预测值(i＝0、...、s2，j＝0、...、b)，(x,y)是预测边界框的位置，是从训练数据中得到的实际位置，表示每个网格预测的宽度和高度，ci表示每个网格预测置信度，pi(c)为每个网格预测类别信息。上加角标均表示训练数据中得到的实际值。在一种实施方式中，待救援的目标的信息包括待救援设备的类型和待救援人员信息。具体来说，待救援设备的类型可以为救生艇、救生筏等，待救援人员信息可以包括人员的数量等。在一种实施方式中，所述系统还包括报警模块，用于在目标识别模块识别到待救援目标后进行报警。具体来说，本发明实施例提供的系统在对无人机传回视频处理之后若发现待救援目标，则通过报警模块进行报警，例如对系统的使用者进行语音提示等。下面通过几个具体示例对本发明提供的搜救系统的应用予以说明：本系统在对目标物体进行大量训练后随机从网络上搜寻相关图行进行试验，表3为测试结果统计。如图3和4所示，为部分图形识别效果展示，其中图3为检测的目标为待救援人员，图4检测的目标为救生艇。表3图3和图4为选取的具有代表性的测试图样，可直观的显示出yolo算法在本系统中对待救援人员及可能存在待救援人员的海上求生设备的检测结果。其检测结果包括对系统使用者的提醒及发现待救援人员及可能存在待救援人员的海上求生设备的名称及数量。总体上，根据以上各图的检测结果，本系统可对不同角度及高度下获取的图形信息进行较好的处理。实施例二基于与实施例一同样的发明构思，本发明实施例二提供了一种基于实施例一所述的可搭载于无人机的海事遇险人员搜索系统的目标识别方法，如图5所示，该方法包括：步骤s1：通过搭载于无人机上的高清摄像头获取遇险海域内的视频图像信息；步骤s2：通过第一信息发送模块将遇险海域内的视频图像信息发送至目标识别模块；步骤s3：通过目标识别模块，用于对接收的视频图像信息采用yolo算法进行识别，得到待救援的目标的信息，其中，yolo算法的识别过程包括：对于每个预测框根据类别置信度选取最大的类别作为其预测标签，以得到各个预测框的预测类别及对应的置信度值，并设置置信度阈值，将置信度值小于置信度阈值的预测框进行过滤，得到置信度较高的预测框，再对这些预测框采用非极大值抑制算法进行筛选，筛选置信度最高的待救援目标进行框选。具体地，由于本实施例提供的方法是实施例一中搜救系统实现目标识别方法的方法，而通过搜救系统的各个模块进行目标识别的实施方式已经在实施一中详细介绍，故在此不再赘述。作为一种可选实施方式，所述方法还包括：通过第二信息发送模块将识别后的待救援的目标的信息发送至信息可视化模块；以及通过信息可视化模块对识别后的待救援的目标的信息进行可视化显示，以供搜救。在一种实施方式中，目标识别的过程具体包括：将遇险海域内的视频图像分割为s*s个区块，其中，每个区块负责检测目标物体的中心是否落在该区块内，对于每一个区块预测出c个类别概率值，类别概率值用以表征由该单元格负责预测的目标属于各个类别的概率，同时预测b个边界框，并预测每个边界框的边界框类别置信度，边界框类别置信度用以表征该边界框中目标属于各个类别的可能性大小以及边界框匹配目标的好坏；根据每个区块预测的类别信息和每个边界框预测的置信度，得到每个边界框的中心置信度；根据计算出的边界框的中心置信度，采用预先设置的置信度阈值，剔除置信度较低的区块；将目标物体可能存在的区块进行非极大值抑制计算，得到待救援的目标物体位置，并进行框选。在一种实施方式中，所述方法还包括：采用损失函数将区块与边界框及每个边界框所得的置信度的维度进行统一化处理。由于本发明实施例二所介绍的方法，为利用实施一中的系统所采用方法，故而基于本发明实施例一所介绍的系统，本领域所属人员能够了解该目标识别方法的实施方式及变形，故而在此不再赘述。凡是利用本发明实施例一的系统实施的方法都属于本发明所欲保护的范围。本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。当前第1页12