基于云平台的智能视觉船舶感知系统以及数据处理方法与流程

本发明涉及船舶通信技术领域，尤其涉及一种基于云平台的智能视觉船舶感知系统以及数据处理方法。

背景技术：

云平台是随着计算机发展和大数据时代推进而逐渐发展起来的领域，允许开发者将写好的程序放在“云”里运行，或是使用“云”里提供的服务，能实现多途径数据的储存和处理功能，并将这些储存和计算放在云端进行，不占用用户端内存，便于实现多源数据的融合处理。

现有技术中，公开了将ais信息与摄像头获取信息结合来显示目标船舶信息的技术方案，通过ais信息与电子海图结合，可在电子海图上显示出船名船长等静态数据、航速、船首向、航行状态等动态数据，可以全面地展示船舶所有数据，推动了智能船舶的发展。

本申请发明人在实施本发明的过程中，发现现有技术中至少存在如下技术问题：

现有的方法可以将ais信息在电子海图或借助摄像机在视频中显示，但没有一个直观准确的系统来供岸基工作人员和船员来使用，查询起来工作量仍然很大。虽然ais信息包括大部分船舶静态、动态及状态信息，但对于海事监管来说，气象、海况和港口船舶调度信息也十分重要，无法实现对船舶的准确调度。

技术实现要素：

本发明实施例提供了基于云平台的智能视觉船舶感知系统以及数据处理方法，用以解决或者至少部分解决现有技术中无法对船舶的实际状态进行感知并进行准确调度的技术问题。

为了解决上述问题，本发明第一方面提供了基于云平台的智能视觉船舶感知系统，所述系统包括信息获取模块、第一信息发送模块，本地云平台数据融合处理模块、第二信息发送模块和信息可视化模块，

其中，所述信息获取模块包括：

船舶视频信息获取单元，用于获取船舶运行的视频信息；

ais信息获取单元，用于获取船舶的ais信息，其中，ais信息包括船舶静态数据、船舶动态数据和船舶航行因素数据；

第一信息发送模块，用于将船舶运行的视频信息和船舶的ais信息发送至本地云平台数据融合处理模块；

本地云平台数据融合处理模块包括：

目标船舶识别单元，用于采用预设目标检测算法对船舶运行的视频信息进行处理，并对目标船舶进行识别并框选，将框选出的目标船舶信息发送至信息匹配跟踪单元；

信息匹配跟踪单元，根据框选出的目标船舶信息与船舶的ais信息进行匹配，匹配过程具体包括：将计算得到的目标船舶识别框的中心作为船舶的中心像素点，并通过映射函数将船舶的图像位置转换得到实际位置，计算实际位置中摄像头中心像素衍出的射线与船舶中心像素点之间的第一夹角，再计算电子海图中摄像头衍出的中心线与电子海图中船舶和摄像头连线之间的第二夹角，将第一夹角与第二夹角进行对比，将角度相同时的船舶作为匹配后的目标船舶；

第二信息发送模块，将匹配后的目标船舶的信息发送至信息可视化模块；

信息可视化模块，用于对匹配后的目标船舶的信息进行可视化显示。

在一种实施方式中，目标船舶识别单元，具体用于：

采用训练后的预设全卷积网络对获取船舶运行的视频信息进行处理，获得船舶的特征图谱；

将船舶特征图谱与数据库中的船舶特征进行比对，获得比对结果，其中，数据库中的船舶特征预先通过机器学习，对预设数量的船舶图片进行标注和特征学习获得，并导入数据库中；

将与比对结果相近的卷积特征进行损失函数运算，并采用非极大值抑制算法将通过特征损失函数运算后特征损失最小的卷积特征图进行框选。

在一种实施方式中，所述船舶静态数据包括以下信息中的一种或多种：

船名、呼号、船舶类型、船长、船宽。

在一种实施方式中，所述船舶动态数据包括以下信息中的一种或多种：

经度、纬度、船首向、航速。

在一种实施方式中，所述船舶航行因素数据包括以下信息中的一种或多种：

风力、水温、气象、水温、航标。

在一种实施方式中，所述信息可视化模块的展示形式包括2d、3d和ar三种模式。

在一种实施方式中，展示的信息包括船名、对岸船速、对岸船首向、目标船舶对岸距离。

基于同样的发明构思，本发明第二方面提供了一种第一方面所述的感知系统实现的数据处理方法，包括：

步骤s1：通过信息获取模块的船舶视频信息获取单元获取船舶运行的视频信息、ais信息获取单元获取船舶的ais信息，其中，ais信息包括船舶静态数据、船舶动态数据和船舶航行因素数据；

步骤s2：通过第一信息发送模块将船舶运行的视频信息和船舶的ais信息发送至本地云平台数据融合处理模块；

步骤s3：通过本地云平台数据融合处理模块的目标船舶识别单元采用预设目标检测算法对船舶运行的视频信息进行处理，并对目标船舶进行识别并框选，将框选出的目标船舶信息发送至信息匹配跟踪单元，信息匹配跟踪单元根据框选出的目标船舶信息与船舶的ais信息进行匹配，匹配过程具体包括：将计算得到的目标船舶识别框的中心作为船舶的中心像素点，并通过映射函数将船舶的图像位置转换得到实际位置，计算实际位置中摄像头中心像素衍出的射线与船舶中心像素点之间的第一夹角，再计算电子海图中摄像头衍出的中心线与电子海图中船舶和摄像头连线之间的第二夹角，将第一夹角与第二夹角进行对比，将角度相同时的船舶作为匹配后的目标船舶；

步骤s4：通过第二信息发送模块将匹配后的目标船舶的信息发送至信息可视化模块；

步骤s5：通过信息可视化模块对匹配后的目标船舶的信息进行可视化显示。

在一种实施方式中，步骤s3中目标船舶的识别具体包括：

采用训练后的预设全卷积网络对获取船舶运行的视频信息进行处理，获得船舶的特征图谱；

将船舶特征图谱与数据库中的船舶特征进行比对，获得比对结果，其中，数据库中的船舶特征预先通过机器学习，对预设数量的船舶图片进行标注和特征学习获得，并导入数据库中；

将与比对结果相近的卷积特征进行损失函数运算，并采用非极大值抑制算法将通过特征损失函数运算后特征损失最小的卷积特征图进行框选。

在一种实施方式中，所述船舶静态数据包括以下信息中的一种或多种：

船名、呼号、船舶类型、船长、船宽。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的感知系统，所述信息获取模块中的船舶视频信息获取单元获取船舶运行的视频信息，ais信息获取单元获取船舶的ais信息后，通过第一信息发送模块将视频信息和ais信息发送至本地云平台数据融合处理模块，再通过本地云平台数据融合处理模块的目标船舶识别单元根据视频信息对目标船舶进行精准识别并框选、信息匹配跟踪单元根据框选出的目标船舶信息与船舶的ais信息进行匹配。

一方面，感知系统中的本地云平台数据融合处理模块可以对船舶运行的视频信息进行目标船舶的识别以及目标船舶与船舶的ais信息的匹配跟踪，从而得到了匹配后的目标船舶的信息，可以对船舶的实际状态进行准确感知，提高识别和匹配的准确性，另一方面，采用“大数据”、“云计算”等先进信息技术构建大数据服务平台，融合ais信息中的船舶静态数据、动态数据以及影响船舶航行的因素等数据，形成了数据整合、关联分析等核心服务能力。提供了应用于岸基端和船端的一体化助航系统，可以提高系统的调度能力。解决了现有技术中无法对船舶的实际状态进行感知并进行准确调度的技术问题。

进一步地，本发明中信息可视化模块的展示形式包括2d、3d和ar三种模式，可以将2d、3d以及ar模式融入感知系统中，扩大船舶信息的获取范围实现全局航行决策，有效地消除了现存系统被动获取局部信息的局限性，有利于实时信息整体展示和提高船舶环境感知能力，为各类海洋主题、涉海行业的信息服务提供数据支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种实施方式中一种基于云平台的智能视觉船舶感知系统的结构框图；

图2为图1所示感知系统中的信息可视化模块的展示形式示意图；

图3为基于图1中的感知系统实现的数据处理方法的流程图。

具体实施方式

本发明实施例提供了一种基于云平台的智能视觉船舶感知系统以及数据处理方法，用以解决或者至少部分解决现有技术中无法对船舶的实际状态进行感知并进行准确调度的技术问题，从而达到准确获取船舶的实际状态、提高调度能力的技术效果。

为了达到上述技术效果，本发明的主要思路如下：

通过搭建了一个高识别精度且信息完善的云平台感知系统，感知系统中的本地云平台数据融合处理模块可以对船舶运行的视频信息进行目标船舶的识别以及目标船舶与船舶的ais信息的匹配跟踪，从而得到了匹配后的目标船舶的信息，可以对船舶的实际状态进行准确感知，提高识别和匹配的准确性。并且由2d、3d和ar模式来实现数据的可视化，提供实时界面和船舶信息整体展示，形成数据整合、关联分析和数据可视化等服务能力，为各类海洋主体、各种涉海行业的信息服务提供数据支撑。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供一种基于云平台的智能视觉船舶感知系统，如图1所示，所述系统包括信息获取模块、第一信息发送模块，本地云平台数据融合处理模块、第二信息发送模块和信息可视化模块，

其中，所述信息获取模块包括：

船舶视频信息获取单元，用于获取船舶运行的视频信息；

ais信息获取单元，用于获取船舶的ais信息，其中，ais信息包括船舶静态数据、船舶动态数据和船舶航行因素数据；

第一信息发送模块，用于将船舶运行的视频信息和船舶的ais信息发送至本地云平台数据融合处理模块；

本地云平台数据融合处理模块包括：

目标船舶识别单元，用于采用预设目标检测算法对船舶运行的视频信息进行处理，并对目标船舶进行识别并框选，将框选出的目标船舶信息发送至信息匹配跟踪单元；

信息匹配跟踪单元，根据框选出的目标船舶信息与船舶的ais信息进行匹配，匹配过程具体包括：将计算得到的目标船舶识别框的中心作为船舶的中心像素点，并通过映射函数将船舶的图像位置转换得到实际位置，计算实际位置中摄像头中心像素衍出的射线与船舶中心像素点之间的第一夹角，再计算电子海图中摄像头衍出的中心线与电子海图中船舶和摄像头连线之间的第二夹角，将第一夹角与第二夹角进行对比，将角度相同时的船舶作为匹配后的目标船舶；

第二信息发送模块，将匹配后的目标船舶的信息发送至信息可视化模块；

信息可视化模块，用于对匹配后的目标船舶的信息进行可视化显示。

具体来说，信息获取模块可以由岸基设备和船载设备组成，岸基设备包含岸基摄像头和服务器主机，船载设备包含双工器、内置卫星定位接收器、船舶运动传感器接口以及显示终端借口。ais信息包括船舶动态数据、船舶静态数据、船舶航程数据等。

本地云平台数据融合处理模块，即为本发明的云平台。主要包括目标船舶识别单元和信息匹配跟踪单元两部分。在具体的实施过程中，可以由信息获取模块(例如摄像头)捕获当前海域运行船舶的视频信息，通过有线网络或者无线网络的方式传输至该平台。在具体的识别过程中，可以运用目标检测算法yolov3来处理从岸基摄像头捕获并传到云平台的视频信息，实现目标船舶的精准识别并框选。

信息匹配跟踪模块，可以利用信息匹配算法对捕获船舶进行锁定，达到信息跟踪匹配的目的。具体地，首先计算被识别框选的船舶中心像素点，通过映射函数将船舶的图像位置转换得到现实位置，以及距离摄像头中心射线的角度，并将船舶的角度和距离信息与电子海图结合，在云平台端(即本地云平台数据融合处理模块)将ais信息匹配至目标船舶识上，从而实现船舶信息的匹配跟踪显示。其中，映射函数可以是cvreprojectlmageto3d()，可以根据一组差异图像构建3d空间，将图像位置转换至现实位置。

在具体的匹配跟踪过程中，现实位置中摄像头中心像素衍出的射线和目标船舶中心像素点之间的夹角即为实际偏转角度θ1，电子海图中摄像头衍出的中心线与电子海图中船舶和摄像头连线之间的夹角为理论偏转角度θ2，当θ1＝θ2的被匹配的船舶即为匹配后的目标船舶。匹配后的目标船舶的信息为ais信息与视频信息的结合，可以准确对船舶的实际状态进行感知，进而进行准确调度。

在一种实施方式中，目标船舶识别单元，具体用于：

采用训练后的预设全卷积网络对获取船舶运行的视频信息进行处理，获得船舶的特征图谱；

将船舶特征图谱与数据库中的船舶特征进行比对，获得比对结果，其中，数据库中的船舶特征预先通过机器学习，对预设数量的船舶图片进行标注和特征学习获得，并导入数据库中；

将与比对结果相近的卷积特征进行损失函数运算，并采用非极大值抑制算法将通过特征损失函数运算后特征损失最小的卷积特征图进行框选。

具体来说，预设全卷积网络可以为darket-53全卷积网络，将与结果相近的卷积特征进行损失函数运算，同时非极大值抑制算法(non-maximum-suppression，nms)将特征函数运算特征损失最小的卷积特征图进行框选。在准确框选目标船舶的基础上，运用信息匹配算法，将从海事部门获取并传输至云平台的电子海图信息匹配至框选的目标船舶上，从而实现将信息在不同船舶可视化模式下的跟踪显示。

在一种实施方式中，所述船舶静态数据包括以下信息中的一种或多种：

船名、呼号、船舶类型、船长、船宽。

在一种实施方式中，所述船舶动态数据包括以下信息中的一种或多种：

经度、纬度、船首向、航速。

在具体的实施过程中，船舶动态数据还可以包括航迹向等。

在一种实施方式中，所述船舶航行因素数据包括以下信息中的一种或多种：

风力、水温、气象、水温、航标。

在一种实施方式中，所述信息可视化模块的展示形式包括2d、3d和ar三种模式。

具体来说，信息可视化模块的展示形式如图2所示。通过以2d、3d和ar三种模式达到信息可视化效果，将锁定船舶的数据回传至主机，与该船舶实时视频信息统一显示，实现船舶航行信息捕捉，提供对位置、航速、航迹等信息的可视化。2d模式可全面直观地展示船舶与整体环境的相对位置关系，3d模式可以多方位地展示船舶与周围物体的空间位置关系，而ar模式可将真实船舶图像与虚拟信息集成，实现实时交互。其中2d、3d、ar模式可自主切换，实现了全局船舶感知。

在一种实施方式中，展示的信息包括船名、对岸船速、对岸船首向、目标船舶对岸距离。

总体来说，本发明的优点是：采用“大数据”、“云计算”等先进信息技术构建大数据服务平台，融合ais信息中的船舶静态数据、动态数据以及影响船舶航行的因素等数据，形成了数据整合、关联分析等核心服务能力，创新型地将增强现实应用于船舶驾驶辅助模块，与现有的二维电子海图相结合并增设了三维海图模式，使船员信息沉浸度提高，降低驾驶员培训成本。化被动感知为主动感知，显著增强船舶感知反馈链，增加危险预知率。与此同时，多途径输入数据至云端主机(云平台)进行云计算减少经验成本，深度应用“大数据”“自学习”“云计算”等多种新兴技术，将船端模块化计算中枢为传感器中枢，云端主机多途径数据输入智能计算使复杂的经验处理方法公式化，简单化。并将2d、3d以及ar模式融入系统中，扩大船舶信息的获取范围实现全局航行决策，，使虚拟数据跨入了现实并与操作人员实时精确交互，降低学习成本，有效地消除了现存系统被动获取局部信息的局限性，有利于实时信息整体展示和提高船舶环境感知能力，为各类海洋主题、涉海行业的信息服务提供数据支撑。

实施例二

基于与实施例一同样的发明构思，本发明实施例二提供了一种利用实施例一中的感知实现的数据处理方法，请参见图3，该方法包括：

步骤s1：通过信息获取模块的船舶视频信息获取单元获取船舶运行的视频信息、ais信息获取单元获取船舶的ais信息，其中，ais信息包括船舶静态数据、船舶动态数据和船舶航行因素数据；

步骤s2：通过第一信息发送模块将船舶运行的视频信息和船舶的ais信息发送至本地云平台数据融合处理模块；

步骤s3：通过本地云平台数据融合处理模块的目标船舶识别单元采用预设目标检测算法对船舶运行的视频信息进行处理，并对目标船舶进行识别并框选，将框选出的目标船舶信息发送至信息匹配跟踪单元，信息匹配跟踪单元根据框选出的目标船舶信息与船舶的ais信息进行匹配，匹配过程具体包括：将计算得到的目标船舶识别框的中心作为船舶的中心像素点，并通过映射函数将船舶的图像位置转换得到实际位置，计算实际位置中摄像头中心像素衍出的射线与船舶中心像素点之间的第一夹角，再计算电子海图中摄像头衍出的中心线与电子海图中船舶和摄像头连线之间的第二夹角，将第一夹角与第二夹角进行对比，将角度相同时的船舶作为匹配后的目标船舶；

步骤s4：通过第二信息发送模块将匹配后的目标船舶的信息发送至信息可视化模块；

步骤s5：通过信息可视化模块对匹配后的目标船舶的信息进行可视化显示。

本实施例提供的方法是实施例一中感知系统实现处理数据处理的方法，而通过感知系统的各个模块进行数据处理的实施方式已经在实施一中详细介绍，故在此不再赘述。

作为一种可选实施方式，步骤s3中目标船舶的识别具体包括：

采用训练后的预设全卷积网络对获取船舶运行的视频信息进行处理，获得船舶的特征图谱；

将船舶特征图谱与数据库中的船舶特征进行比对，获得比对结果，其中，数据库中的船舶特征预先通过机器学习，对预设数量的船舶图片进行标注和特征学习获得，并导入数据库中；

将与比对结果相近的卷积特征进行损失函数运算，并采用非极大值抑制算法将通过特征损失函数运算后特征损失最小的卷积特征图进行框选。

作为一种可选实施方式，所述船舶静态数据包括以下信息中的一种或多种：

船名、呼号、船舶类型、船长、船宽。

由于本发明实施例二所介绍的方法，为利用实施一中的系统所采用方法，故而基于本发明实施例一所介绍的系统，本领域所属人员能够了解该数据处理方法的实施方式及变形，故而在此不再赘述。凡是利用本发明实施例一的系统实施的方法都属于本发明所欲保护的范围。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。