基于渐变时间抽帧验证的雷视融合识别港口船舶方法与流程

本发明涉及目标检测，具体涉及一种基于渐变时间抽帧验证的雷视融合识别港口船舶方法。

背景技术：

1、在对港口船只进行监管的过程中，需要进行自动化船舶识别。当前，多采用雷达数据和视觉传感器数据融合的方式来进行船舶识别，这类方式主要分为两种，一种是基于感兴趣区域(region of interest，roi)融合检测方法(如图1所示)，另一种是基于端到端策略融合检测方法(如图2所示)。

2、对于基于视觉感兴趣区域的融合检测方法，其利用视觉检测生成的边框(bounding box，bbox)来匹配锚框内部的雷达点云。由于是roi区域属于局部检索，因此经常存在漏报、误报的现象。

3、对于基于端到端策略融合检测方法，由于其特征融合过程需要进行大量计算，因此检测效率低，且当出现部分传感器故障时，会导致基于端到端融合检测策略不可用。

4、有鉴于此，行业内亟需一种能够进行高效率、高准确度船舶识别的方案。

技术实现思路

1、发明目的：本发明旨在至少部分地克服以上技术问题，提出一种基于渐变时间抽帧验证的雷视融合识别港口船舶方法，该方法能够高效率、高准确度地识别出船舶。

2、
技术实现要素：
为实现上述目的，本发明提出以下技术方案：

3、一种基于渐变时间抽帧验证的雷视融合识别港口船舶方法，该方法包括对目标船舶进行至少一轮检测；其中，每一轮所述检测包括：

4、获取目标雷达对目标区域的雷达检测数据；

5、获取视觉图像采集设备对所述目标区域的图像采集数据；

6、基于所述雷达检测数据进行船舶检测，并确定初次检测到目标船舶的时间点为融合时间点；

7、基于所述融合时间点，从所述图像采集数据中采集目标图像；

8、将所述融合时间点的雷达检测数据映射到所述目标图像中，并与所述目标图像中的检测目标进行匹配；

9、若匹配成功，则识别所述目标船舶；

10、若匹配不成功，则对所述融合时间点之前的图像采集数据，基于预设的渐变抽帧策略进行抽帧，并将所述融合时间点的雷达检测数据映射到抽帧得到的图像中，以与所述抽帧得到的图像中的检测目标进行匹配，直至匹配成功。

11、作为所述方法的一种可选实施方式，基于所述雷达检测数据进行船舶检测，并确定初次检测到目标船舶的时间点为融合时间点，具体包括：

12、根据初始的采集时间步长采集所述雷达检测数据，并基于采集到的雷达检测数据进行船舶检测；

13、若未检测到目标船舶，则按照预设的时间步长递增策略更新所述采集时间步长，并基于更新后的采集时间步长采集所述雷达检测数据，以用于船舶检测，直至检测到所述目标船舶；

14、若检测到所述目标船舶，则确定对应的雷达检测数据采样点为所述融合时间点。

15、具体来说，按照预设的时间步长递增策略更新所述采集时间步长，可以采用以下方式：

16、在对所述采集时间步长进行更新的过程中，以逐渐递增的步长增量来更新下一次的采集时间步长，且所述步长增量小于等于预设的时间步更新阈值。

17、更具体的，以逐渐递增的步长增量来更新前一次的采集时间步长，具体包括：

18、基于所述初始的采集时间步长t0，确定更新后的所述采集时间步长ti，ti＝αit0，且当ti+1-ti＞δt时，更新ti+1＝ti+δt；其中，ti表示第i次更新后的采集时间步，αi为第i次更新时的参数，αi＞0，ti+1表示第i+1次更新后的采集时间步，δt为预设的时间步更新阈值，i为正整数。

19、具体来说，在对所述融合时间点之前的图像采集数据基于预设的渐变抽帧策略进行抽帧的过程中，可以用逐渐缩小的步长递减量来更新下一次的抽帧时间点，直至更新后的抽帧时间点落入所述融合时间点和所述融合时间点的前一个雷达检测数据采样点之间。

20、更具体的，以逐渐缩小的步长递减量来更新前一次的抽帧时间点，具体包括：

21、基于所述融合时间点tj，确定更新后的抽帧时间点tj+1，tj+1＝tj-βjδt0，其中，βj第j次更新抽帧时间点时的参数，0＜βj＜1，δ为常量参数，δ＞1，t0表示所述初始的采集时间步长。

22、作为所述方法的一种可选实施方式，将所述融合时间点的雷达检测数据映射到所述目标图像中，并与所述目标图像中的检测目标进行匹配，具体包括：

23、获取所述目标图像的背景图像；

24、将所述目标图像与所述背景图像进行差分，得到检测目标图像；

25、将所述融合时间点的雷达检测数据映射到所述检测目标图像中，与所述检测目标图像中的所述检测目标进行匹配。

26、有益效果：与现有技术相比，本发明至少具有以下优势：

27、本发明利用雷达检测能力较强的特点，基于雷达目标成功检测来确定数据融合的时间点，即当雷达检测到目标时，将雷达的检测数据与同时刻的视觉图像进行融合，并基于融合数据来匹配检测目标。在匹配过程中，采用渐变时间抽帧率的技术手段来降低计算量，从而解决端到端融合检测方法过程中耗时较长的问题。

技术特征：

1.基于渐变时间抽帧验证的雷视融合识别港口船舶方法，其特征在于，包括对目标船舶进行至少一轮检测；每一轮所述检测包括：

2.如权利要求1所述的方法，其特征在于，基于所述雷达检测数据进行船舶检测，并确定初次检测到目标船舶的时间点为融合时间点，具体包括：

3.如权利要求2所述的方法，其特征在于，按照预设的时间步长递增策略更新所述采集时间步长，具体包括：

4.如权利要求3所述的方法，其特征在于，以逐渐递增的步长增量来更新前一次的采集时间步长，具体包括：

5.如权利要求2所述的方法，其特征在于，在对所述融合时间点之前的图像采集数据基于预设的渐变抽帧策略进行抽帧的过程中，以逐渐缩小的步长递减量来更新下一次的抽帧时间点，直至更新后的抽帧时间点落入所述融合时间点和所述融合时间点的前一个雷达检测数据采样点之间。

6.如权利要求5所述的方法，其特征在于，以逐渐缩小的步长递减量来更新前一次的抽帧时间点，具体包括：

7.如权利要求1所述的方法，其特征在于，将所述融合时间点的雷达检测数据映射到所述目标图像中，并与所述目标图像中的检测目标进行匹配，具体包括：

技术总结
本发明提出一种基于渐变时间抽帧验证的雷视融合识别港口船舶方法。该方法首基于雷达检测数据进行船舶检测，并确定初次检测到目标船舶的时间点为融合时间点；基于融合时间点，从图像采集数据中采集目标图像；将融合时间点的雷达检测数据映射到目标图像中，并与目标图像中的检测目标进行匹配；若匹配成功，则识别目标船舶；否则，对融合时间点之前的图像采集数据，基于预设的渐变抽帧策略进行抽帧，并将融合时间点的雷达检测数据映射到抽帧得到的图像中，以与抽帧得到的图像中的检测目标进行匹配，直至匹配成功。本方法能够高效率、高准确度地识别出船舶。

技术研发人员：徐伟敏,马荣叶,徐腾飞,林海鹏
受保护的技术使用者：南京睿捷智慧交通科技研究院有限公司
技术研发日：
技术公布日：2024/4/24