一种雷达成像与视频图像相融合的设备及方法

本发明涉及多传感数据融合领域，特别是涉及一种雷达成像与视频图像相融合的设备及方法。

背景技术：

1、目前，对于户外监控，特别是边境、海防等领域，必须同时采用光学摄像机和微波雷达这两种技术手段。光学摄像机和毫米波雷达在监控方面各有优缺点。光学成像直观易识别，但受制于户外环境的影响大，成像质量不稳定。户外环境多变，如：光照、温度、湿度、雨水、雾等。微波雷达成像弥补了光学成像的不足，可以在任何时间任何气候下工作，不受户外环境变化的影响，成像质量稳定。但雷达成像是电磁波的图像表示，不够直观，不易于目标识别。

2、在同时采用光学摄像机和微波雷达时，光学摄像机的监控画面和微波雷达的成像画面不完全重合，存在一定的偏差，造成监控系统判断准确性下降，甚至后续监控算法错误。因此，必须采用合适的装置和方法把视频图像和毫米波雷达成像有效的准确的融合在一起。

3、目前，视频图像和毫米波雷达成像融合方法主要包括如下几种：

4、(1)采用纯图像配准算法。这种方法的原理是：首先，把摄像头和毫米波雷达安装好，两者的方向基本一致。其次，对准某一个地方拍摄图像和进行毫米波雷达成像。然后，分别提取图像和雷达成像中的特征点。最后，采用图像配准算法进行调校。该方法摄像头提取n个特征点，毫米波雷达成像提取m个特征点，通常n和m不相等，图像配准存在特征点的选择问题，在很多的情况下，还是人工选择特征点，配准算法较为复杂。

5、(2)采用配准算法，同时借助校正装置。例如，专利cn113239948b借助白色的木棍实现。该专利的校正装置，包括：白色木棍和黑色屏幕。该校正装置的特点是：木棍是静态的，木棍反映的特征是一条线。因此，对于摄像头，拍摄的视频是静态的；对于毫米波雷达，反射的雷达回波信号也是静态的，毫米波雷达还是静态的。对于摄像头拍摄的图像，提取的特征是直线，其采用的算法是提取直线的算法；对于毫米波雷达成像，提取的特征是直线，其采用的算法是提取直线的算法。同时，对于雷达回波信号的预处理算法是静态回波信号的滤波和增强。该专利在校正装置方面，除了白色木棍之外，还需要黑色的幕布，装置较为复杂。在毫米波雷达成像及特征线提取方面，对于静态回波信号的滤波，算法更复杂，准确性更差。

技术实现思路

1、基于此，本发明实施例提供一种雷达成像与视频图像相融合的设备及方法，以降低计算的复杂度，提高计算的准确性，从而高效准确的实现配准。

2、为实现上述目的，本发明实施例提供了如下方案：

3、一种雷达成像与视频图像相融合的设备，包括：校正装置、检测装置和处理器；所述校正装置布设在目标监控区域内；所述检测装置与所述处理器连接；

4、所述校正装置，包括：至少三个旋转结构；所有的旋转结构能够围成一个封闭区域；所述旋转结构，包括：两个叶片；所述叶片为球面结构；

5、所述检测装置，包括：视频拍摄装置和检测雷达；

6、所述视频拍摄装置，用于：

7、对所述目标监控区域内转动的旋转结构进行拍摄，得到视频图像；

8、所述检测雷达，用于：

9、向所述目标监控区域内转动的旋转结构发射雷达信号，并接收所述旋转结构反射的雷达回波信号；

10、所述处理器，用于：

11、采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点；

12、采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点；

13、对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。

14、可选地，所述叶片的颜色为白色。

15、可选地，所述旋转结构，还包括：旋转电机；

16、所述旋转电机用于带动两个所述叶片旋转。

17、可选地，所述校正装置，包括：四个旋转结构；四个旋转结构能够围成一个封闭的方形区域。

18、可选地，所述处理器，在根据所述目标信号生成雷达回波图像方面，具体用于：

19、根据所述目标信号，采用时频分析方法生成雷达回波图像。

20、可选地，所述处理器，在对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准的方面，具体用于：

21、获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置和所述检测雷达的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度；

22、采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系；

23、所述映射关系用于再次调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。

24、可选地，所述雷达成像与视频图像相融合的设备，还包括：显示器；所述显示器用于显示所述视频特征点围成的封闭区域和所述雷达特征点围成的封闭区域。

25、本发明还提供了一种雷达成像与视频图像相融合的方法，包括：

26、获取视频图像和雷达回波信号；其中，所述视频图像是对目标监控区域内转动的旋转结构进行拍摄得到的；所述雷达回波信号是向目标监控区域内转动的旋转结构发射雷达信号，所述旋转结构反射的雷达回波信号；所述旋转结构至少为三个；所有的旋转结构能够围成一个封闭区域；所述旋转结构，包括：两个叶片；所述叶片为球面结构；

27、采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点；

28、采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点；

29、对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。

30、可选地，对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准，具体包括：

31、获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置和所述检测雷达的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度；

32、采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系；

33、根据所述映射关系用于再次调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。

34、可选地，根据所述目标信号生成雷达回波图像，具体包括：

35、根据所述目标信号，采用时频分析方法生成雷达回波图像。

36、根据本发明提供的具体实施例，本发明公开了以下技术效果：

37、本发明实施例提出了一种雷达成像与视频图像相融合的设备及方法，该设备中的校正装置的叶片是可旋转的，既可提供动态的视频图像，也可提供动态的雷达回波信号，因此可以采用的自适应背景相减算法进行滤波，算法效率高，准确性好；校正装置的叶片是球面的，可反射不同角度的毫米波雷达信号，简化了安装要求；采用霍夫变换算法提取特征点，准确性高。因此，本发明实施例能降低在雷达成像与视频图像相融合过中计算的复杂度，提高计算的准确性，从而高效准确的实现配准。