一种基于多传感器融合的水面目标训练集自动采集方法与流程

本发明属于智能无人智慧船舶领域，具体涉及一种基于多传感器融合的水面目标训练集自动采集方法。

背景技术：

在智能无人智慧船舶领域中，确保无人艇准确地感知周围环境是一项十分重要的任务。由于深度学习方法在无人艇环境感知问题中的大量应用，如何提升水面目标训练集的数量和质量也成为了亟待解决的问题之一。

目前主流的水面目标训练集获取方式还是以专业科研人员人工标注为主，这就占据了科研人员大量宝贵的时间和精力，同时，由于人工操作不可避免地存在错误和疏漏，人工标注的方法还会耽误科研项目的进程。

技术实现要素：

本发明的目的在于提供了一种基于多传感器融合的水面目标训练集自动采集方法，用于实时可靠的自动采集已知环境中的水面目标。

本发明的目的是这样实现的：

一种基于多传感器融合的水面目标训练集自动采集方法，具体的实现步骤为：

步骤1.使用张正友标定法对单目相机进行标定，根据单目相机和激光雷达固定装配位置的相对关系解算出坐标系转移矩阵，得到的坐标转移公式为s0m＝k[r,t]m，其中s0为尺度因子，k为摄像机内参,r为旋转矩阵，t为平移向量，m为物体在图像上的位置坐标向量，m为物体实际位置的坐标向量；

步骤2.调用光学单目相机采集到的图像，并以每秒一帧的频率进行图像存储，记录该帧图像的系统时间戳信息；

步骤3.使用条件滤波器对激光雷达采集到的3-d点云信息进行滤波，移除单目相机视场之外的数据点；

步骤4.使用k-means聚类移除噪点并且将滤波后的数据点聚类成为点云簇；

步骤5.建立水面信息采集平台的运动学模型，以模型的预测值为先验估计，以激光雷达采集到的点云簇型心坐标位置值为后验估计，进行卡尔曼滤波；

步骤6.对获取的视频帧和平滑后的点云簇数据通过深度信息插值进行像素级融合，得到深度图像；

步骤7.对深度信息插值以后的结果进行置信度判断，当判断成功时，使用randomizedprim算法布置多个待选标注框，当判断置信度超过警戒值，则不再存储该帧信息，当连续3帧图像置信度超过警戒值，则发出警报，提醒岸基监控人员进行检查；

步骤8.判断待选标注框内部边缘信息是否完整，选取待选标注框内部边缘特征最好的一个标注框作为最终标注框图；

步骤9.在图像帧中标注水面目标的种类、像素位置、像素高度、像素宽度信息；

步骤10.将最终的标注结果存储，并且通过通讯设备发送至岸基监控显示设备中，实现对标注结果的实时监控。

所述步骤1的坐标转移公式中摄像机内参k为

其中fx,fy为焦距，cx,cy为光心位置，γ为畸变参数。

所述步骤5的卡尔曼滤波使用的模型为包水面目标型心位置(x,y,z)、水面目标长度宽度高度(a,b,c)、水面目标速度(vx,vy,vz)、水面目标加速度(ax,ay,az)的12维模型x＝(x,y,z,a,b,c,vx,vy,vz,ax,ay,az)^t，该卡尔曼滤波模型的系统矩阵a为

其中t为采样时间间隔。

所述步骤8的最终标注框图的判断方法为计算待选标注框内部灰度直方图，选择直方图分布最集中的待选标注框。

本发明的有益效果在于：本发明提供的一种基于多传感器融合的水面目标训练集自动采集方法具有实时性好和可靠性高的特点；采用条件滤波与卡尔曼滤波，使得该方法对于风浪、水面数据采集平台颠簸、水面杂波等不利情形具有较高的鲁棒性，采用时间戳匹配的方法可以有效避免传感器频率不同带来的系统误差。

附图说明

图1为本发明的原理示意图。

图2为本发明的硬件系统组成结构。

具体实施方式

下面结合附图对本发明做进一步的描述：

实施例1

本发明提供的是一种基于单目相机和激光雷达信息融合的水面目标训练集自动采集方法，用于在信息采集阶段对在水面目标种类信息已知的环境下采集到的图像信息进行自动标注，减轻科研人员的工作负担。采集的信息包括水面目标物的种类及其在图像中的像素坐标、像素高度和像素宽度信息。水面目标物深度学习识别方法需要大量训练集，在训练集采集过程中，通过专业科研人员标注来获取训练集的方式效率较低且耗时费力。因此，本发明提出了利用单目相机和激光雷达自动标注已知种类的水面目标的方法。首先，对水面激光雷达点云进行滤波和k-means聚类处理，得到稳定的水面目标点云簇；然后，通过激光雷达点云帧与单目相机视频帧的时间戳匹配，利用张正友标定法建立的2d-3d投影关系，实现点云与图像的像素级匹配；最后，使用得到的水面深度图像信息，进行水面训练集的标注。这种方法是首次提出的利用多传感器信息融合的针对水面目标训练集自动采集任务的方法，它能够有效地实现自动标注任务，大大减轻科研人员的工作负担，提升标注的准确性。

一种基于单目相机和激光雷达信息融合的近场水面目标训练集采集方法，其特征在于，根据已知水面环境下水面目标的单目相机视频和激光雷达3-d点云数据完成水面目标的自动标注，提高水面目标训练集采集效率。

根据两种传感器的时间戳信息以及精确标定的单目相机参数，对两种传感器的信息进行融合。

所述的水面目标训练集采集方法，包括以下步骤：

第一步，首先使用张正友标定法对单目相机进行标定，然后根据单目相机和激光雷达固定装配位置的相对关系解算出坐标系转移矩阵。最终得到的坐标转移公式为:s0m＝k[r,t]m；

第二步，调用光学单目相机采集到的图像，并以每秒一帧的频率进行图像存储，记录下该帧图像的系统时间戳信息，准备进行信息融合操作；

第三步，使用条件滤波器对激光雷达采集到的3-d点云信息进行滤波，移除单目相机视场之外的数据点，以提升点云运算的速度和准确性；

第四步，使用k-means聚类移除噪点并且将滤波后的数据点聚类成为点云簇，准备进行信息融合操作；

第五步，建立水面信息采集平台的运动学模型，以模型的预测值为先验估计，以激光雷达采集到的点云簇型心坐标位置值为后验估计，进行卡尔曼滤波；平滑由于环境扰动带来的高斯噪声以及系统本身存在的误差，使得信息融合的结果鲁棒性更强，同时剔除野值。

第六步，对获取的视频帧和平滑后的点云簇数据通过深度信息插值进行像素级融合，最终得到效果良好的深度图像；

第七步，对深度信息插值以后的结果进行置信度判断，如果判断成功，则使用randomizedprim算法布置多个待选标注框，如果判断置信度超过警戒值，则不再存储该帧信息，如果连续3帧图像置信度超过警戒值，则发出警报，提醒岸基监控人员进行检查。

第八步，判断待选标注框内部边缘信息是否完整，选取待选标注框内部边缘特征最好的一个标注框作为最终结果。

第九步，在图像帧中标注水面目标的种类，像素位置，像素高度以及像素宽度信息。

第十步，将最终的标注结果存储，并且通过通讯设备发送至岸基监控显示设备中，实现对标注结果的实时监控。

实施例2

本发明提供的是一种基于多传感器融合的水面目标训练集自动采集方法，用于自动采集已知环境中的水面目标。这种方法具有实时性好和可靠性高的特点；采用条件滤波与卡尔曼滤波，使得该方法对于风浪、水面数据采集平台颠簸、水面杂波等不利情形具有较高的鲁棒性，采用时间戳匹配的方法可以有效避免传感器频率不同带来的系统误差。

结合附图2，基于单目相机与激光雷达融合的水面目标训练集自动采集方法的硬件设备应包括：

1.光学单目相机，用于水面图像的实时采集。

2.多线激光雷达，用于3-d点云数据的实时采集。

3.微处理器，用于分割视频帧，处理多线激光雷达信息，以及完成水面目标的自动标注工作。

4.存储设备，用于存储已经标注好的水面目标训练集。

5.通讯设备，用于实时将水面目标训练集自动标注的结果发送给岸基监控设备。

6.岸基监控设备，用于实时监测水面平台的运行状态和水面目标训练集自动标注的结果。

下面结合附图1举例对本发明进行进一步的详细阐述。

本发明的目的是提供一种基于单目相机和激光雷达数据融合的水面目标训练集自动采集系统。以经过张正友标定法标定过后的单目相机具有从3-d到2-d的唯一确定的投影关系为基础；对3-d激光雷达采集到的高精度位置信息和连续的视频帧进行像素级融合，最终实现自动采集水面环境下目标物训练集的目标。能够有效减轻科研人员的工作负担，提升水面目标训练集采集效率和准确性。其具体的实施方法如下。

1.首先使用张正友标定法对单目相机进行标定，然后根据单目相机和激光雷达固定装配位置的相对关系解算出坐标系转移矩阵。最终得到的坐标转移公式为:s0m＝k[r,t]m,其中s0为尺度因子，k为摄像机内参,r为旋转矩阵，t为平移向量，fx,fy为焦距，cx,cy为光心位置，γ为畸变参数。通过该公式即可获知3-d点云数据与2-d图像数据的对应关系；

2.调用光学单目相机采集到的图像，并以每秒一帧的频率进行图像存储，记录下该帧图像的系统时间戳信息，准备进行信息融合操作；

3.使用条件滤波器对激光雷达采集到的3-d点云信息进行滤波，移除单目相机视场之外的数据点，以提升点云运算的速度和准确性；

4.由于水面环境的复杂性以及近岸环境下受到岸基的干扰，点云中会出现散乱的噪点，使用k-means聚类移除噪点并且将滤波后的数据点聚类成为点云簇，准备进行信息融合操作；

5.建立水面信息采集平台的运动学模型，以模型的预测值为先验估计，以激光雷达采集到的点云簇型心坐标位置值为后验估计，进行卡尔曼滤波；卡尔曼滤波所使用的模型为包含水面目标型心位置(x,y,z)，水面目标长度宽度高度(a,b,c)，水面目标速度(vx,vy,vz)，水面目标加速度(ax,ay,az)的12维模型x＝(x,y,z,a,b,c,vx,vy,vz,ax,ay,az)^t，该卡尔曼滤波模型的系统矩阵a为

通过卡尔曼滤波平滑由于环境扰动带来的高斯噪声以及系统本身存在的误差，使得信息融合的结果鲁棒性更强。

6.对获取的视频帧和平滑后的点云簇数据通过深度信息插值进行像素级融合，最终得到效果良好的深度图像，获取初始标注框像素位置；

7.对深度信息插值以后的结果进行置信度判断，如果判断成功，则使用randomizedprim算法布置多个长度宽度为初始标注框长度1.1倍的待选标注框，如果判断置信度超过警戒值，则不再存储该帧信息，如果连续3帧图像置信度超过警戒值，则发出警报，提醒岸基监控人员进行检查。

8.计算待选标注框内部灰度直方图，选择直方图分布最集中的待选标注框作为最终的标注框图。

9.在图像帧中标注水面目标的种类，像素位置，像素高度以及像素宽度信息。

10.将最终标注的结果存储，并且通过通讯设备发送至岸基监控显示设备中，实现对标注结果的实时监控。