一种基于FPGA的剪切波域异源图像配准方法及系统与流程

本发明涉及图像处理，特别是涉及一种基于fpga的剪切波域异源图像配准方法及系统。

背景技术：

1、现代智能武器装备如无人侦察机、巡航导弹以及卫星探测装置依靠单一探测数据源已经不足以提供完整的数据，使用多个传感器对同一个场景或同一个目标进行采集，结合特性综合成一幅新的图像，利用不同传感器的互补信息而得到对目标多方面的特征描述，从而便于观察或进行后续的处理。然而异源图像之间通常存在空间位置变换、成像原理不同、图像分辨率不同等属性。异源图像配准的目的是在异源图像差异性的基础上，提取异源图像之间的相关性，找到图像间的最优变换矩阵。

2、现有的传统图像配准技术由于配准图像的多样性和各种类型的退化，难于设计出适合视觉感知任务的通用方法，不仅要考虑图像之间假定的几何变形类型，还要考虑辐射变形和噪声损坏，所需配准的准确率和应用数据特征。目前较新的基于深度学习的图像配准方法，通过学习多尺度高维语义特征的方式来回归预测图像变换关系。相比传统方法，这些方法取得了更加显著的效果，这是由于深度神经网络能从大量标注数据中学习到更为有效的特征。但深度学习依赖于图像中数据标注和训练，需要耗费大量人力成本，是阻挡基于深度神经网络配准方法广泛应用的一大障碍，且处理流程复杂，实际部署困难。且目前常用的基于传统特征配准或深度学习配准等方法多以pc后处理为主，难以在无人侦察机、巡航导弹以及卫星探测装置等边缘端以高精度、强鲁棒性实现实时异源视频流配准。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于fpga的剪切波域异源图像配准方法及系统，以在高配准速度的情况下实现边缘端舰船等目标高精度、强鲁棒性异源图像配准。

2、为实现上述目的及其他相关目的，本发明提供一种基于fpga的剪切波域异源图像配准方法，包括：

3、s1、实时采集视频流图像，跨时钟域同步所述视频流图像的帧频和尺寸，得到跨时钟域同步后的图像；

4、s2、将所述跨时钟域同步后的图像通过剪切波域分解，得到低频带图像和高频带图像，并对所述低频带图像和高频带图像进行初步筛选，得到筛选后的图像；

5、s3、采用快速傅里叶梅林变换对所述筛选后的图像进行配准，得到配准后的图像，通过匹配叠加配准后的图像，实时输出视频流。

6、在本发明的一实施例中，所述视频流图像为可见光和红外双路视频流图像。

7、在本发明的一实施例中，通过使用异步先进先出队列fifo与总线时钟同步所述视频流图像的帧频和尺寸。

8、在本发明的一实施例中，所述将所述跨时钟域同步后的图像通过剪切波域分解，得到低频带图像和高频带图像，并对所述低频带图像和高频带图像进行初步筛选，得到筛选后的图像包括：

9、s21、将所述可见光和红外双路视频流图像通过非下采样剪切波变换分解为多尺度图像，得到所述低频带图像和高频带图像；

10、s22、在所述低频带图像和高频带图像的每个分解层级采用非下采样金字塔组nspf，得到低频分量和高频分量，再次对所述低频分量和高频分量进行分解，得到图像奇异点的低频分量用于迭代分解，得到与原图像即为视频流图像大小相同的j+1个子图像和j个高频图像，j为分解层数，然后进行l级多方向分解；

11、s23、通过剪切滤波器组将每个所述高频分量分解为2l，且大小相同的子带图像；

12、s24、将所述原图像、分解后的低频带图像和高频带图像分别进行surf特征点计算，得到计算后的特征点，以对图像进行初步筛选。

13、在本发明的一实施例中，所述将所述原图像、分解后的低频带图像和高频带图像分别进行surf特征点计算，得到计算后的特征点，以对图像进行初步筛选包括：

14、通过surf算法构建hessian矩阵，以得到图像的特征点；

15、使用盒式滤波对图像进行模糊处理，并通过加权系数平衡所述特征点的误差；

16、通过ransac特征匹配算法，使用平衡后的特征点描述所述子带图像之间的欧式距离，以对图像进行初步筛选。

17、在本发明的一实施例中，所述采用快速傅里叶梅林变换对所述筛选后的图像进行配准，得到配准后的图像，通过匹配叠加配准后的图像，实时输出视频流包括：

18、通过自适应重采样方法将所述筛选后的图像的傅里叶频谱进行极坐标变换，通过极径长度来控制采样点数；

19、将可见光双路视频流图像从笛卡尔坐标转换为自适应极坐标，从圆心以半径为rmax-1的圆面作为坐标转换的有效区域，将所述可见光双路视频流图像的除所述有效区域的剩余部分做舍弃处理，其中，rmax为所述可见光双路视频流图像最短一边的1/4；

20、从圆心以极径r轴的负半轴上的点为起始点，随着半径的增加对所述半径对应的圆周顺时针进行均匀采样，直至整个半径为ri的圆周采样完成；

21、采用快速傅里叶梅林变换计算可见光双路视频流图像的相对红外参考图的旋转因子θ、尺度因子a和平移量(x0，y0)；

22、按照f2(x，y)＝f1(a(xcosθ+ysinθ)+x0(a(-xsinθ+ycosθ))+y0)，实现图像f1(x，y)和图像f2(x，y)之间的配准，得到配准后的可见光图像；

23、将所述配准后的可见光图像与红外双路视频流图像叠加，实时输出视频流。

24、在本发明的一实施例中，所述可见光和红外双路视频流图像以vga时序格式传输，帧频数为50fps。

25、本发明还提供一种基于fpga的剪切波域异源图像配准系统，包括：

26、摄像机，用于实时采集视频流图像；

27、fpga，用于跨时钟域同步所述视频流图像的帧频和尺寸，得到跨时钟域同步后的图像；

28、fpga，还用于将所述跨时钟域同步后的图像通过剪切波域分解，得到低频带图像和高频带图像，并对所述低频带图像和高频带图像进行初步筛选，得到筛选后的图像；

29、fpga，还用于采用快速傅里叶梅林变换对所述筛选后的图像进行配准，得到配准后的图像，通过匹配叠加配准后的图像，实时输出视频流。

30、本发明还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令，所述处理器运行程序指令实现上述的基于fpga的剪切波域异源图像配准方法

31、如上所述，本发明的一种基于fpga的剪切波域异源图像配准方法及系统，具有以下有益效果：

32、(1)本发明的基于fpga的剪切波域异源图像配准方法实时采集视频流图像，跨时钟域同步所述视频流图像的帧频和尺寸，得到跨时钟域同步后的图像；将所述跨时钟域同步后的图像通过剪切波域分解，得到低频带图像和高频带图像，并对所述低频带图像和高频带图像进行初步筛选，得到筛选后的图像；采用快速傅里叶梅林变换对所述筛选后的图像进行配准，得到配准后的图像，通过匹配叠加配准后的图像，实时输出视频流。

33、(2)本发明通过剪切波域特征筛选的尺度不变性及多尺度特性提高算法的鲁棒性；以快速傅里叶梅林变换有效克服低频区域的过采样问题，提高配准的精度与效率；在fpga上加速算法全流程，可以在高配准速度的情况下实现边缘端高精度、强鲁棒性异源图像配准，实时异源图像配准输出。

34、(3)本发明的基于fpga的剪切波域异源图像配准方法不仅适用于舰船图像配准，还适用于其他领域的图像配准，如医学影像配准、遥感图像配准等，具有广泛的应用价值和可扩展性。