一种水域监视多元联合感知系统的感知方法与流程

本发明属于水域监视技术领域，特别涉及一种水域监视多元联合感知系统的感知方法。

背景技术：

我国拥有18000多公里海岸线，300多万平方公里海域、众多内河干线水域和湖泊，这些沿海沿江港口水域、水上交通航道、海岸要塞水域、水下光缆水域、江河湖泊沿海渔场、海上油气田水域和南海、东海和黄海等敏感水域。为了维护水上交通次序、保障水上交通安全、实施水上交通管理、防止水域污染、保护水域资源、保卫国家领土主权和维护国家海洋权益，迫切需要全方位覆盖、全天候监控、快速反应的智能化水域监视联合感知系统。

雷达系统，船舶自动识别系统(ais)和摄像机等监视设备对监视水域船舶的交通，可以实时提供船舶交通组织、助航和信息服务，维护船舶交通秩序，保障港口航道，抛锚地等重要水域的航行安全，提高港口的航行效率，最终达到服务地方航运经济，保护水域环境等目的。对于管理水域范围内需要重点关注的船舶目标，如装载了危险品的船舶，客轮，货轮等要求重点监控的船舶，在船舶进入船舶航行管理的重点区域时，不仅要知道当前船舶的位置信息，还要求能够对船舶的航速航向等的异常情况向值班人员发出警报信息，为了保障某水域范围的船舶航行安全，实现对重点关注目标的光学引导，进而实现光学设备对重点关注目标船舶的自动跟踪是十分必要的。

传统的水域监视系统，雷达设备、ais设备和摄像机设备三者的数据是不关联的，无法利用现有的水域监视系统得到雷达设备、ais设备和摄像机设备三者关联后的数据，这样就给值班人员的工作造成很大的麻烦，要同时关注三个不同的数据，才能对管理的水域范围提供良好的交通组织和助航服务。而且现有的水域监视系统在感知的过程中在复杂水域环境下无法实现小目标的检测识别和跟踪、多元数据的融合记录和回放以及雷达引导光学设备自动跟踪报警的功能。

技术实现要素：

本发明为了克服上述现有技术的不足，提供了一种水域监视多元联合感知系统的感知方法，本发明能够完成雷达数据和ais数据的融合，实现了雷达设备、ais设备和摄像机设备三者的数据的关联。

为实现上述目的，本发明采用了以下技术措施：

一种水域监视多元联合感知系统的感知方法，本水域监视多元联合感知系统包括ais数据处理模块、雷达数据处理模块、光电引导模块、综合处理模块、多目标融合管理模块、目标综合显示模块以及供电模块，其中，

ais数据处理模块，用于接收来自ais设备的ais信号，并将所述ais信号发送至综合处理模块的输入端；

雷达数据处理模块，其与雷达终端之间双向通信连接，雷达数据处理模块用于接收雷达目标信号，所述雷达目标信号包括原始视频回波信号、触发脉冲信号、方位信号以及零点信号，并输出雷达目标信号至综合处理模块的输入端；雷达数据处理模块的输入端接收来自综合处理模块的控制信号；

光电引导模块，用于通过多目标融合管理模块接收来自目标综合显示模块的目标位置信息，并调度光电责任区域内的摄像头对目标进行自动跟踪，光电引导模块的输出端输出光学视频信号至多目标融合管理模块的输入端；

综合处理模块，用于接收分别来自ais数据处理模块、雷达数据处理模块的ais信号、雷达目标信号，并输出ais信号、雷达目标信号至多目标融合管理模块的输入端；综合处理模块分别与雷达数据处理模块、多目标融合管理模块之间双向通信连接；

多目标融合管理模块，用于对ais信号、雷达目标信号通过多源数据融合算法进行数据融合处理，得到融合处理后的目标信号，并将融合处理后的目标信号发送至目标综合显示模块；多目标融合管理模块与外部数据接口之间双向通信连接；

目标综合显示模块，用于同步显示雷达目标信号、ais信号以及融合处理后的目标信号；所述目标综合显示模块与多目标融合管理模块之间双向通信连接；

供电模块，用于为各个模块进行供电；

所述ais数据处理模块包括vhf天线和ais接收机，所述vhf天线的输入端用于接收来自ais设备的ais信号，vhf天线的输出端连接ais接收机的输入端，所述ais接收机的输出端连接综合处理模块的输入端；

所述雷达数据处理模块包括雷达天线及伺服单元以及雷达信号选择器单元，所述雷达天线及伺服单元的输入端用于接收雷达目标信号，雷达天线及伺服单元的输出端输出控制信号以及雷达目标信号至雷达信号选择器单元的输入端，所述雷达目标信号包括原始视频回波信号、触发脉冲信号、方位信号以及零点信号，所述雷达信号选择器单元输出雷达目标信号至综合处理模块的输入端，雷达信号选择器单元分别与雷达天线及伺服单元和雷达终端之间双向通信连接；

所述综合处理模块包括环控单元、串口服务器单元以及雷达信号采集单元，其中，

环控单元，与串口服务器单元之间双向通信连接；

串口服务器单元，用于接收来自ais接收机的ais信号，并输出控制信号至雷达信号选择器单元的输入端，串口服务器单元分别与环控单元、雷达信号选择器单元、多目标融合管理模块之间双向通信连接；

雷达信号采集单元，用于接收来自雷达信号选择器单元的雷达目标信号，雷达信号采集单元与多目标融合管理模块之间双向通信连接；

所述环控单元、串口服务器单元、雷达信号采集单元的电源输入端均连接12v直流电源；

所述多目标融合管理模块包括网络交换机和数据处理服务器，其中，

网络交换机，用于接收分别来自串口服务器单元、雷达信号采集单元的ais信号、雷达目标信号，并输出所述ais信号和雷达目标信号至数据处理服务器的输入端，网络交换机用于将来自目标综合显示模块的目标位置信息发送至光电引导模块，并接收来自光电引导模块的光学视频信号；所述网络交换机分别与串口服务器单元、雷达信号采集单元、光电设备一体机、数据处理服务器、目标综合显示模块、外部数据接口之间双向通信连接；

数据处理服务器，用于对ais信号、雷达目标信号通过多源数据融合算法进行数据融合处理，并将融合处理后的目标信号通过网络交换机发送至目标综合显示模块；

所述网络交换机、数据处理服务器的电源输入端均连接220v交流电源；

本水域监视多元联合感知系统的感知方法包括以下步骤：

所述vhf天线接收来自ais设备的ais信号，并将所述ais信号发送到ais接收机，ais接收机将所述ais信号依次通过串口服务器单元、网络交换机发送至数据处理服务器；同步的，雷达天线及伺服单元接收雷达目标信号，并输出控制信号以及雷达目标信号包括原始视频回波信号、触发脉冲信号、方位信号以及零点信号至雷达信号选择器单元的输入端，所述信号选择器单元在控制信号的作用下，输出雷达目标信号至雷达信号采集单元的输入端，所述雷达信号采集单元将雷达目标信号通过网络交换机发送至数据处理服务器；

所述数据处理服务器通过多源数据融合算法对ais信号、雷达目标信号进行数据融合处理，并将融合处理后的目标信号通过网络交换机发送至目标综合显示模块；

所述目标综合显示模块同步显示雷达目标信号、ais信号以及融合处理后的目标信号；

目标综合显示模块中预先设置有报警项目，当雷达目标信号、ais信号以及融合处理后的目标信号中有目标触发警报时，目标综合显示模块将目标位置信息通过网络交换机发送至光电引导模块，所述光电引导模块调度对应的光电责任区域内的摄像头对目标进行自动跟踪，当光电引导模块实现稳定跟踪后，抓拍目标照片，同时，目标综合显示模块将出现报警的目标信息通过短信发送至手机终端。

优选的，所述光电引导模块为光电设备一体机，光电设备一体机的电源输入端连接220v交流电源。

优选的，所述目标综合显示模块为显示终端。

优选的，所述vhf天线选用vhf电台天线；所述ais接收机的芯片型号为瑞典milltechmarine公司设计的sr162芯片。

进一步的，所述sr162芯片通过rs232接口与串口服务器单元的输入端相连。

本发明的有益效果在于：

1)、本发明中的水域监视多元联合感知系统包括ais数据处理模块、雷达数据处理模块、光电引导模块、综合处理模块、多目标融合管理模块、目标综合显示模块以及供电模块，本系统能够实现雷达数据和ais数据的融合，并将雷达设备、ais设备和摄像机设备三者数据关联。

2)、本水域监视多元联合感知系统通过雷达和光电一体化设计，系统能够对目标信息进行集中显示，使雷达和光电构成一个有机的整体，本系统中各个模块的特定的组成结构，大大提高了本系统的信号采集速度以及数据传输速度。

3)、本水域监视多元联合感知系统中的光电引导模块具有违章目标自动跟踪功能以及手工引导功能，实现了雷达和光电设备的联动功能，大大提高了目标在雷达天线扫描间隙的跟踪效率。

4)、本发明解决了在复杂海情下的目标探测和跟踪，提高了目标提取能力；采用了先进的多源数据融合算法提供高精度的目标参数，在雷达显示目标回波的同时，采集其他传感器数据进行综合分析与处理，实现雷达目标信息、ais目标信息在系统中的同时同步显示。

5)、本发明利用光学直观可视特性，配合雷达对目标进行识别；利用雷达数据率高、探测范围大的特点，引导光学设备对重点方向、重点目标进行跟踪识别，实现了小目标的检测识别和跟踪、多元数据的融合记录和回放以及雷达引导光学设备自动跟踪报警的功能。

附图说明

图1为本发明的水域监视多元联合感知系统的组成示意图；

图2为本发明的水域监视多元联合感知系统的控制原理图。

10—ais数据处理模块11—vhf天线

12—ais接收机20—雷达数据处理模块

21—雷达天线及伺服单元22—雷达信号选择器单元

30—光电引导模块40—综合处理模块

41—环控单元42—串口服务器单元

43—雷达信号采集单元50—多目标融合管理模块

51—网络交换机52—数据处理服务器

60—目标综合显示模块

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1、2所示，一种水域监视多元联合感知系统的感知方法，本水域监视多元联合感知系统包括ais数据处理模块10、雷达数据处理模块20、光电引导模块30、综合处理模块40、多目标融合管理模块50、目标综合显示模块60以及供电模块，其中，

ais数据处理模块10，用于接收来自ais设备的ais信号，并将所述ais信号发送至综合处理模块40的输入端；

雷达数据处理模块20，其与雷达终端之间双向通信连接，雷达数据处理模块20用于接收雷达目标信号，所述雷达目标信号包括原始视频回波信号、触发脉冲信号、方位信号以及零点信号，并输出雷达目标信号至综合处理模块40的输入端；雷达数据处理模块20的输入端接收来自综合处理模块40的控制信号；

光电引导模块30，用于接收来自目标综合显示模块60的目标位置信息，并调度光电责任区域内的摄像头对目标进行自动跟踪，光电引导模块30的输出端输出光学视频信号至多目标融合管理模块50的输入端；

综合处理模块40，用于接收分别来自ais数据处理模块10、雷达数据处理模块20的ais信号、雷达目标信号，并输出ais信号、雷达目标信号至多目标融合管理模块50的输入端；综合处理模块40分别与雷达数据处理模块20、多目标融合管理模块50之间双向通信连接；

多目标融合管理模块50，用于对ais信号、雷达目标信号通过多源数据融合算法进行数据融合处理，得到融合处理后的目标信号，并将融合处理后的目标信号发送至目标综合显示模块60；多目标融合管理模块50与外部数据接口之间双向通信连接；

所述多源数据融合算法是采用了现有技术当中的多源数据融合算法，信息处理设备具有多种途径的目标源输入，能够对多源目标进行综合的信息处理，采用多源数据融合算法提供了高精度的目标参数，在雷达显示目标回波的同时，采集其他传感器数据进行综合分析与处理。

目标综合显示模块60，用于同步显示雷达目标信号、ais信号以及融合处理后的目标信号；所述目标综合显示模块60与多目标融合管理模块50之间双向通信连接；

供电模块，用于为各个模块进行供电；

所述ais数据处理模块10包括vhf天线11和ais接收机12，所述vhf天线11的输入端用于接收来自ais设备的ais信号，vhf天线11的输出端连接ais接收机12的输入端，所述ais接收机12的输出端连接综合处理模块40的输入端；

所述雷达数据处理模块20包括雷达天线及伺服单元21以及雷达信号选择器单元22，所述雷达天线及伺服单元21的输入端用于接收雷达目标信号，雷达天线及伺服单元21的输出端输出控制信号以及雷达目标信号包括原始视频回波信号、触发脉冲信号、方位信号以及零点信号至雷达信号选择器单元22的输入端，所述雷达信号选择器单元22输出雷达目标信号至综合处理模块40的输入端，雷达信号选择器单元22分别与雷达天线及伺服单元21和雷达终端之间双向通信连接；

所述综合处理模块40包括环控单元41、串口服务器单元42以及雷达信号采集单元43，其中，

环控单元41，与串口服务器单元42之间双向通信连接；

串口服务器单元42，用于接收来自ais接收机12的ais信号，并输出控制信号至雷达信号选择器单元22的输入端，串口服务器单元42分别与环控单元41、雷达信号选择器单元22、多目标融合管理模块50之间双向通信连接；

雷达信号采集单元43，用于接收来自雷达信号选择器单元22的雷达目标信号，雷达信号采集单元43与多目标融合管理模块50之间双向通信连接；

所述环控单元41、串口服务器单元42、雷达信号采集单元43的电源输入端均连接12v直流电源；

所述多目标融合管理模块50包括网络交换机51和数据处理服务器52，其中，

网络交换机51，用于接收分别来自串口服务器单元42、雷达信号采集单元43的ais信号、雷达目标信号，并输出所述ais信号和雷达目标信号至数据处理服务器52的输入端，网络交换机51用于将来自目标综合显示模块60的目标位置信息发送至光电引导模块30，并接收来自光电引导模块30的光学视频信号；所述网络交换机51分别与串口服务器单元42、雷达信号采集单元43、光电设备一体机、数据处理服务器52、目标综合显示模块60、外部数据接口之间双向通信连接；

数据处理服务器52，用于对ais信号、雷达目标信号通过多源数据融合算法进行数据融合处理，并将融合处理后的目标信号通过网络交换机51发送至目标综合显示模块60；

所述网络交换机51、数据处理服务器52的电源输入端均连接220v交流电源；

本水域监视多元联合感知系统的感知方法包括以下步骤：

所述vhf天线11接收来自ais设备的ais信号，并将所述ais信号发送到ais接收机12，ais接收机12将所述ais信号依次通过串口服务器单元42、网络交换机51发送至数据处理服务器52；同步的，雷达天线及伺服单元21接收雷达目标信号，并输出控制信号以及雷达目标信号包括原始视频回波信号、触发脉冲信号、方位信号以及零点信号至雷达信号选择器单元22的输入端，所述信号选择器单元22在控制信号的作用下，输出雷达目标信号至雷达信号采集单元43的输入端，所述雷达信号采集单元43将雷达目标信号通过网络交换机51发送至数据处理服务器52；

所述数据处理服务器52通过多源数据融合算法对ais信号、雷达目标信号进行数据融合处理，并将融合处理后的目标信号通过网络交换机51发送至目标综合显示模块60；

所述目标综合显示模块60同步显示雷达目标信号、ais信号以及融合处理后的目标信号；

目标综合显示模块60中预先设置有报警项目，当雷达目标信号、ais信号以及融合处理后的目标信号中有目标触发警报时，目标综合显示模块60将目标位置信息通过网络交换机51发送至光电引导模块30，所述光电引导模块30调度对应的光电责任区域内的摄像头对目标进行自动跟踪，当光电引导模块30实现稳定跟踪后，抓拍目标照片，同时，目标综合显示模块60将出现报警的目标信息通过短信发送至手机终端。

目标综合显示模块60还包括报警服务模块，所述报警服务模块用于判断雷达目标信号、ais信号以及融合处理后的目标信号中是否存在目标触发警报，当有目标触发该报警规则时，目标综合显示模块60引导光电设备对目标跟踪抓拍。

光电引导模块30控制摄像头的具体动作，一个光电引导模块30可以控制多个摄像头；摄像头传送的是实时的视频流数据，抓拍操作是由底层的流媒体服务器的截图功能在视频流中截图实现的。

例如，目标综合显示模块60中雷达原始视频的绘制采用cuda和opengl混合编程技术，使原始视频的绘制更加高效，显示效果更加平滑。

采用cuda+opengl混合编程的方法绘制雷达原始视频，分别设置cuda和opengl的共享数据区，初始化opengl，使用openglapi创建数据缓冲区并把缓冲区分享给cuda，cuda映射共享资源并获取相对于显卡而言的设备指针然后执行cuda核函数，随后解除cuda对共享缓冲区的映射，最后采用openglapi的纹理实现图像的渲染显示。

在雷达视频经过数字化采样后，形成一组极坐标数据包，将该数据包合并成一组二维数组上传到cuda形成纹理，将纹理中的数据和二维数组的数据一一对应。当更新视频数据时，只需要更新纹理中的相应部分即可，利用opengl对回波纹理实时更新并利用着色器程序进行坐标扫描变换。采用这种方式，系统的开销只是在实时更新数据并上传cuda时产生的，绘图时的开销相比传统的采用硬件插卡的方式显示雷达原始视频小很多，显示效果也更加平滑。

所述雷达数据处理模块20能在强杂波条件下检测到小目标，雷达数据处理模块20采用小目标检测跟踪技术，采用精细化相关识别技术，目标回波精细特性分析的点迹凝聚算法、机动目标自适应跟踪算法等最新先进算法，大大提高了小目标在海杂波中的检测和跟踪能力，在信噪比较低的情况下进行小目标检测和跟踪。

所述光电引导模块30为光电设备一体机，其具有违章目标自动跟踪功能以及手工引导功能，实现了雷达和光电设备的联动功能，特点是雷达首先探测到目标的具体位置，然后将目标位置发送给光电设备一体机，由用户对光电设备一体机设置的模式确定光电设备对目标的跟踪。当光电设备一体机处于自动跟踪模式且其责任区内出现违章报警信息时，光电设备一体机接收目标综合显示模块60发送的目标经纬度信息，光电引导模块30经过经纬度向方位距离的转换将换算后的距离方位信息发送给光电设备一体机；在目标综合显示模块60发送跟踪目标经纬度的间隙，光电引导模块30采用图像处理技术自动跟踪目标移动，提高了目标在雷达天线扫描间隙的跟踪效率。

具体的，光电引导模块30是具有光电引导功能的一个软件模块，光电设备一体机是摄像头加转动云台，光电引导模块30能使摄像头随着云台的转动而指向用户需要的地方。

综合处理模块40主要完成220v交流电源转12v直流电源、机柜温湿度监控、数据串口转网口传输以及雷达信号采集功能。

多目标融合管理模块50采用先进的多源数据融合算法提供高精度的目标参数，在雷达显示目标回波的同时，采集其他传感器数据进行综合分析与处理，实现雷达目标信息、ais目标信息在系统中的同时同步显示。同时关联不同传感器测得的同一目标，当目标数量少且相互位置较远时，关联容易实现，而当目标数量多且相互位置较近时，目标的观测数据相似度更近，关联就容易产生错误，通过聚类分析方法等对目标测量数据进行聚类，以区分源不同相同目标的数据，实现对目标的准确融合和显示。

具体的，本水域监视多元联合感知系统由室外设备、综合机柜和室内设备三部分组成。室外设备即雷达前端，由vhf天线11和雷达天线及伺服单元21组成，所述雷达天线及伺服单元21包括雷达天线、收发机和伺服单元。vhf天线11选用vhf电台天线；雷达天线选用x波段波导裂缝式天线，极化方式采用水平极化，转速为24转/min；收发机的工作频率为x波段9410mhz±30mhz，发射功率≥25kw，脉冲宽度/重复频率可选，接收机中心频率为60mhz，中放带宽短脉冲时≥20mhz中长脉冲时≥4mhz，噪声系数≤6db，驻波比≤1.25。综合机柜包括ais接收机12、综合处理模块40、多目标融合管理模块50以及供电模块，室内设备包括目标综合显示模块60。

光电设备一体机的电源输入端连接220v交流电源。所述目标综合显示模块60为显示终端。

所述vhf天线11选用vhf电台天线，vhf电台天线的型号为cb-156b，vhf电台天线的长度选用1.5m；所述ais接收机12的芯片型号为瑞典milltechmarine公司设计的sr162芯片，sr162芯片具有完备高性能双通道硬件电路，可以接收到ais系统发出的所有ais信号，只需将sr162芯片接上vhf电台天线，将sr162芯片的rs232接口和电脑相接，配上相应的电脑显示软件，就可以显示vhf通信范围内所有装备的ais电台的船只信息，包括船名、呼叫号、航行速度、航向、位置、目的地、船只的大小和吨位。

综上所述，本发明不仅能够实现雷达数据和ais数据的融合，并将雷达设备、ais设备和摄像机设备三者数据关联。而且实现了小目标的检测识别和跟踪、多元数据的融合记录和回放以及雷达引导光学设备自动跟踪报警的功能。