一种无人船的目标识别追踪系统的制作方法

文档序号:15524069发布日期:2018-09-25 20:17阅读:132来源:国知局

本实用新型属于无人船领域,尤其涉及一种无人船的目标识别追踪系统。



背景技术:

无人船作为一种低风险的自主作业产品,在军事生产等各个方面都有着广泛的应用,可以实现自主避障、路径规划等功能,实现水面信息的采集检测等作业任务,为工作生产提供了极大的便利并且避免了高风险任务所带来的风险。但是应对复杂水下环境时,水面激光避障不能做到对水下障碍物的避障,对无人船作业而言,不仅限制了无人船的工作环境而且增加作业中的风险,同时对于不同的海面作业任务,无人船功能较为单一,缺乏一定的自主判断能力,例如,在无人船距离岸基较远时,人眼不可见,无人船不能够对海面特定的目标识别判断,增加了工作难度。



技术实现要素:

为解决现有技术存在的上述问题,本实用新型要设计一种能在水下情况复杂水域自主避障以及在自主避障基础上进行海面特定目标识别追踪的无人船的目标识别追踪系统,以丰富无人船的海面作业内容,减小作业的风险。

为了实现上述目的,本实用新型的技术方案如下:一种无人船的目标识别追踪系统,包括数据采集单元、感知单元、数据处理单元和主控制单元;

所述数据采集单元包括3D激光雷达、发射换能器、一对水听器和组合导航系统,所述组合导航系统包括GPS导航系统和IMU惯性测量单元;所述发射换能器和一对水听器均与水听器处理器连接;

所述3D激光雷达安装在无人船顶部平台中部;发射换能器安装在无人船下部中央位置,低于浮筒的吃水深度;一对矢量声波水听器安装在无人船下部浮筒内侧;GPS导航系统和IMU惯性测量单元安装在无人船的防水箱中;

所述感知单元包括3D激光雷达和两台广角相机;所述3D激光雷达与数据采集单元中的3D激光雷达共用;两台广角相机分别安装在无人船前部平台左右两侧;

所述数据处理单元为四核的工控机,安装在无人船的防水箱中,并配备大容量的内部存储器;

所述主控制单元使用STM32F4处理器,与岸基上位机之间通过无线数传图传模块进行通信。

进一步地,所述水听器为矢量声波水听器。

进一步地,所述组合导航系统为基于MEMS技术的组合导航系统。

与现有技术相比,本实用新型具有以下有益效果:

1、本实用新型采用3D激光雷达、矢量水听器对水面水下障碍物进行扫描,工控机解析出水面障碍物位置,水听器处理器确定水下障碍物位置,根据获取的障碍物位置,工控机采取避障算法对障碍物进行避障,即实现无人船对水面水下的障碍物避障,达到了能够在水下情况复杂的水域进行作业的目的。

2、本实用新型在无人船自主避障的基础上的设计了无人船的目标识别追踪系统,实现对水面特定目标的识别和追踪任务,使无人船具备自主判断能力;在传统的视觉方法的基础上采用3D激光雷达与广角相机的图像融合技术,减少误报的图像区域,提高了计算机视觉的效率。

附图说明

图1是目标识别追踪系统的整体流程图。

图2是水听器的数据处理过程的逻辑结构图。

图3是视觉处理过程的流程图。

图4是无人船结构示意图。

图5是图4的侧视图。

图6是无人船器件连接方式示意图。

图中:1、水听器,2、发射换能器,3、广角相机,4、无线数传图传模块,5、3D激光雷达,6、遥控天线,7、防水箱,8、工控机,9、水听器处理器,10、主控制单元,11、GPS导航系统,12、IMU惯性测量单元。

具体实施方式

下面结合附图对本实用新型进行进一步地描述。如图1-6所示,一种无人船的目标识别追踪系统,包括数据采集单元、感知单元、数据处理单元和主控制单元10;

所述数据采集单元包括3D激光雷达5、发射换能器2、一对水听器1和组合导航系统,所述组合导航系统包括GPS导航系统11和IMU惯性测量单元12;所述发射换能器2和一对水听器1均与水听器处理器9连接;

所述3D激光雷达5安装在无人船顶部平台中部;发射换能器2安装在无人船下部中央位置,低于浮筒的吃水深度;一对矢量声波水听器1安装在无人船下部浮筒内侧;GPS导航系统11和IMU惯性测量单元12安装在无人船的防水箱7中;

所述感知单元包括3D激光雷达5和两台广角相机3;所述3D激光雷达5与数据采集单元中的3D激光雷达5共用;两台广角相机3分别安装在无人船前部平台左右两侧;

所述数据处理单元为四核的工控机8,安装在无人船的防水箱7中,并配备大容量的内部存储器;

所述主控制单元10使用STM32F4处理器,与岸基上位机之间通过无线数传图传模块4进行通信。

各器件的功能如下:

所述数据采集单元基于组合导航系统对无人船的地理位置以及无人船姿态信息进行采集,GPS导航系统11获取无人船的实时位置信息,IMU惯性测量单元12获取无人船的实时加速度、速度和航向角,发射换能器2向水下发射声波信号,水听器1对水下障碍物反射回的声波信号进行接收以确定障碍物的方位;

所述广角相机3对无人船前方图像信息进行采集;

所述3D激光雷达5感知单元与数据采集单元共用。3D激光雷达5为数据采集单元采集周围障碍物信息,并用于避障;3D激光雷达5为感知单元对前方水面进行检测,获取检测识别目标,以实现与广角相机3融合;

所述岸基上位机接收无人船在水面发送回的数字信号、图像信号以及水面采集的信息,在无人船自主判断出现问题的时候,无人船的遥控天线6接收岸基上位机发送指令,控制无人船的工作或返航。

所述工控机8对3D激光雷达5的数据进行解析获取障碍物的位置信息,并与水听器1定位到的水下障碍物的位置信息进行融合,根据采集的环境信息以及无人船的实时姿态进行实时的环境建模,选取可行区域;采用工控机8对视觉信息进行处理,将3D激光雷达5图像和广角相机3图像进行融合,对融合图像做图像处理,提取感兴趣区域,获取跟踪识别目标;工控机8进行视觉处理以及3D激光雷达5数据解析后需要占用的较大内存空间,故需要大容量的内部存储器。

所述水听器处理器9采用STM32F4系列处理器,控制发射换能器2的信号发射,加入定位算法对水听器1接收到的信号做算法处理,实现对水下障碍物测距定位。

所述主控制单元10采用STM32F4系列处理器作为底层控制,对无人船电机进行控制,根据数据处理单元获取的可行区域及识别追踪目标,实现无人船在自主避障基础上的目标识别追踪。

进一步地,所述水听器1为矢量声波水听器。

进一步地,所述组合导航系统为基于MEMS技术的组合导航系统。

本实用新型的工作方法,包括以下步骤:

A、数据初始化

初始化岸基上位机操作系统及无人船设备驱动程序。

B、数据信息采集

IMU惯性测量单元12获取无人船的实时姿态,所述实时姿态包括加速度、速度和航向角;GPS导航系统11获取无人船实时位置;3D激光雷达5对前方三维空间进行扫描,获取前方水面上的障碍物信息;一对矢量水听器1通过声波信号基于时间差定位方法对水下障碍物进行定位测距;通过I/0口、RS232串口通信协议实现数据传输,将数据信息传输至数据处理单元;

C、视觉信息采集

感知单元基于camera通信协议实现对图像信息的采集,并将采集图像信息通过USB2.0标准连接传输至工控机8;广角相机3具有更大的视角,获取更大范围的水面图像,3D激光雷达5在实现避障的同时扫描前方水域,获取检测目标,3D激光雷达5的扫描数据通过串口通信传至数据处理单元;

D、数据处理

工控机8对扫描到的雷达数据进行解析,获取海面上的障碍物的深度信息,确定海面上障碍物的坐标,水听器1接收到障碍物反射回的声波信号,通过信号处理电路将水听器1接收到的声波信号转化为数字信号发送给水听器处理器9,水听器处理器9基于时间差定位算法确定水下水下障碍物的方位与距离;

工控机8根据数据采集单元采集到的无人船实时姿态和位置信息以及3D激光雷达5和水听器1采集到的水面障碍物信息对前方水面进行环境建模,在避障过程中基于GPS导航系统11实现全局路径规划,根据数据采集单元采集到的障碍物信息,基于向量场直方图避障算法进行局部避障即VFH*,实现无人船的局部避障及前方预测,基于强化学习的方法优化无人船的避障行为;

视觉信息的处理在工控机8内完成,广角相机3建立理想的针孔模型,工控机8将3D激光雷达5与广角相机3图像融合,从二值图像中提取图像轮廓,针对3D雷达图像上的扫描到的区域进行视觉处理,针对感兴趣的区域进行特征提取,确定识别跟踪的目标,并用可视化的绿框框起来;

E、底层控制

数据处理单元将工控机8处理的水面障碍物信息和水听器处理器9处理的水下障碍物的信息传给主控制单元10,主控制单元10基于卡尔曼滤波将视觉的目标识别追踪信息和环境建模信息进行融合,控制无人船的实时姿态,程序设计时,对障碍物的规避比视觉的目标识别追踪具有更高的优先级。

如图2所示为水听器1的数据处理的逻辑结构框图,采用水听器处理器9来执行数字信号采集和数字信号处理,发射换能器2与水听器处理器9之间采取TTL串行连接,水听器处理器9控制发射脉冲信号的频率、重复周期、一次发射脉冲个数、宽度。水听器处理器9控制功率放大器发射放大信号,功率放大器与发射换能器2连接,发射换能器2向水下发射声波信号,障碍物反射回的声波信号被水听器1接收到,位于无人船两侧的一对矢量水听器1先后接收到两个声波信号,发射换能器2发射的声波信号在被水听器1接收回来的过程中会被削弱,而且接收回来的声波信号中会包括水下的其他噪音,即换能器发射的声波信号受到损坏,所以使用了一个预放大器,处理水听器1接收到的被损坏的声波信号,对被损坏的声波信号进行放大,对不必要的频率进行滤波。水听器处理器9通过采取时间差定位方法来确定障碍物的方位和距离。通过TTL串行连接将障碍物的方位映射到主控制单元10。

所述预放大器包括用于读取来自水听器1信号的仪表放大器和用于过滤掉不想要的频率信号的带通滤波器,例如螺旋桨、电机等固定频率的信号。

所述时间差定位方法即DTOA是通过测量两个水听器1接收到信号的时间差估计出距离差,进而对障碍物进行定位。

设障碍物点的坐标为(x,y,0),两个接收水听器1的坐标分别为(x1,y1,z1)、(x2,y2,z2),测得的第二个信号和第一个信号的时间差为t,则第二个水听器1和第一个水听器1的传输距离差RS1=RS-R1,根据传输距离差可以列方程求得障碍物的位置坐标(x,y,0)。

Rs:第i个点与障碍物之间的距离;

(xiyi,zi):第i个水听器1的坐标;

将代入上式,令xsi=xs-xi化简得

利用上式求解出x、y坐标,获得障碍物的坐标。

如图3所示为视觉处理过程的流程图,所述视觉处理的过程包括雷达图像与相机图像的融合、获取目标模板、金字塔算法采样检测、运动目标的匹配、运动目标识别跟踪。

所述视觉处理的过程采用了多种基本的图像处理的方法,包括降噪、中值滤波、图像增强、边缘检测、特征提取等;

所述3D激光雷达5与广角相机3的图像融合技术是将3D激光雷达5中感兴趣的点的位置转换为广角相机3像素的坐标,通过将3D激光雷达5的点转换为笛卡尔XYZ坐标,将3D激光雷达5的原点转换为广角相机3的原点,并通过广角相机3的固有模型计算像素值来完成的,相机有较高的分辨率,实现深度点到像素帧的映射。对期望区域的深度信息进行阈值处理,并且使用形态学操作将其余点连接以形成连续区域。3D激光雷达5与广角相机3图像融合技术实现将物体的坐标系位置转化到广角相机3的像素帧,从而通过激光雷达检测物体,提取感兴趣的区域,减少了可能误报的图像区域,提高视觉系统的效率。

本实用新型不局限于本实施例,任何在本实用新型披露的技术范围内的等同构思或者改变,均列为本实用新型的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1