一种多源数据信息融合处理方法及系统与流程

本发明涉及图像处理，具体涉及一种多源数据信息融合处理方法及系统。

背景技术：

1、在当前信息时代，涌现了大量的数据来源，包括传感器、社交媒体、网络日志等。这些数据源提供了丰富的信息，但也带来了数据碎片化和信息冗余的问题，给数据分析和利用带来了挑战；而在利用多源数据进行sfm三维重建过程中，常利用携带多相机的无人机进行多源图像采集，获取高中低三种高度的图像，进而利用倾斜摄影技术进行点云数据获取，进而完成sfm三维重建。其中在采集的图像中，由于不同图像在采集时焦点不一样，同一物体不同图像之间的清晰度不一致，进而为了得到准确清晰的图像，建立更加清晰准确的sfm三维模型，进而本发明选择对坐标位置相邻的图像信息进行融合。

2、其中，现有多尺度融合的方法是通过奇异值分解进行，但是在利用奇异值分解对多尺度的图像进行融合时，往往是对不同区域之间的奇异值特征进行平均加权融合，这样会导致可能存在融合效果不好的情况。

技术实现思路

1、为了解决上述问题，本发明提供一种多源数据信息融合处理方法及系统。

2、本发明一个实施例提供了一种多源数据信息融合处理方法，该方法包括以下步骤：

3、获取待融合图像a和待融合图像b；

4、在待融合图像a和待融合图像b中各获取多个图像块；根据待融合图像a和待融合图像b的图像块，获取待融合图像a和待融合图像b的矩阵；对待融合图像a和待融合图像b的矩阵进行空间变换，得到待融合图像a和待融合图像b的空间变换后的矩阵；

5、确定待融合图像a和待融合图像b的差值图像ea和差值图像eb；确定待融合图像a和待融合图像b每个同一位置下像素点的清晰度有效性；根据待融合图像a和待融合图像b每个同一位置下像素点的清晰度有效性以及差值图像ea和差值图像eb，获取待融合图像a和待融合图像b中每个像素点修正后的二维高斯函数值；根据待融合图像a和待融合图像b中每个像素点修正后的二维高斯函数值，获取待融合图像a和待融合图像b融合时每列的有效性；

6、根据待融合图像a和待融合图像b融合时每列的有效性，确定待融合图像a和待融合图像b融合时每列的融合权重；根据待融合图像a和待融合图像b的空间变换后的矩阵，确定待融合图像a和待融合图像b融合时每列中每个像素点的第一元素值；根据待融合图像a和待融合图像b的修正后的二维高斯函数，确定待融合图像a和待融合图像b融合时每列中每个像素点的第一函数值；根据待融合图像a和待融合图像b融合时的每列的融合权重、每列中每个像素点的第一元素值和每列中每个像素点的第一函数值，确定待融合图像a和待融合图像b融合后的矩阵；根据待融合图像a和待融合图像b融合后的矩阵得到融合后的数据。

7、优选的，所述对待融合图像a和待融合图像b的矩阵进行空间变换，得到待融合图像a和待融合图像b的空间变换后的矩阵，包括的具体方法为：

8、对待融合图像a的矩阵和待融合图像b的矩阵分别进行奇异值分解，得到待融合图像a的左奇异矩阵和待融合图像b的左奇异矩阵；将待融合图像a的左奇异矩阵和矩阵的乘积作为待融合图像a的空间变换后的矩阵，将待融合图像b的左奇异矩阵和矩阵的乘积作为待融合图像b的空间变换后的矩阵。

9、优选的，所述确定待融合图像a和待融合图像b每个同一位置下像素点的清晰度有效性，包括的具体方法为：

10、对于待融合图像a和待融合图像b任意一个同一位置下像素点，将所述像素点在待融合图像a的像素值与所述像素点的八邻域内所有像素点的均值的差值绝对值记为第一差值，将所述像素点在待融合图像b的像素值与所述像素点的八邻域内所有像素点的均值的差值绝对值记为第二差值，将第一差值和第二差值的均值作为所述像素点的清晰度有效性；进而获取待融合图像a和待融合图像b每个同一位置下像素点的清晰度有效性。

11、优选的，所述根据待融合图像a和待融合图像b每个同一位置下像素点的清晰度有效性以及差值图像ea和差值图像eb，获取待融合图像a和待融合图像b中每个像素点修正后的二维高斯函数值，包括的具体方法为：

12、获取差值图像ea中各个像素点的坐标值和像素值组成待融合图像a的三维数据；获取差值图像eb中各个像素点的坐标值和像素值所组成待融合图像b的三维数据；分别利用gmm高斯函数模型对待融合图像a的三维数据和待融合图像b的三维数据进行二维高斯函数拟合，得到待融合图像a的二维高斯函数和待融合图像b的二维高斯函数；

13、对于待融合图像a中任意一个像素点，根据待融合图像a的二维高斯函数获取像素点的二维高斯函数值，将像素点的二维高斯函数值与像素点的清晰度有效性的乘积作为待融合图像a中像素点修正后的二维高斯函数值；

14、对于待融合图像b中任意一个像素点，根据待融合图像b的二维高斯函数获取像素点的二维高斯函数值，将像素点的二维高斯函数值与像素点的清晰度有效性的乘积作为待融合图像b中像素点修正后的二维高斯函数值。

15、优选的，所述根据待融合图像a和待融合图像b中每个像素点修正后的二维高斯函数值，获取待融合图像a和待融合图像b融合时每列的有效性，包括的具体方法为：

16、对于待融合图像a和待融合图像b同一位置下任意一列，将所述列中所有像素点的修正后的二维高斯函数值中的最大值作为待融合图像a和待融合图像b融合时所述列的有效性。

17、优选的，所述根据待融合图像a和待融合图像b融合时每列的有效性，确定待融合图像a和待融合图像b融合时每列的融合权重，包括的具体方法为：

18、对于待融合图像a和待融合图像b融合时的第列，将待融合图像a和待融合图像b融合时第列的有效性与待融合图像a和待融合图像b融合时所有列的有效性的最大值的比值，作为待融合图像a和待融合图像b融合时的第列的融合权重。

19、优选的，所述根据待融合图像a和待融合图像b的空间变换后的矩阵，确定待融合图像a和待融合图像b融合时每列中每个像素点的第一元素值，包括的具体方法为：

20、对于待融合图像a和待融合图像b融合时的第列中第个像素点，将待融合图像a第列中第个像素点修正后的二维高斯函数值记为第二函数值；将待融合图像b第列中第个像素点修正后的二维高斯函数值记为第三函数值；将第二函数值和第三函数值之间的最大值记为第一极值，将第一极值所对应的待融合的图像记为第一图像，将所述像素点对应在第一图像的空间变换后的矩阵的元素，作为所述像素点的第一元素值。

21、优选的，所述根据待融合图像a和待融合图像b的修正后的二维高斯函数，确定待融合图像a和待融合图像b融合时每列中每个像素点的第一函数值，包括的具体方法为：

22、对于待融合图像a和待融合图像b融合时的第列中第个像素点，获取所述像素点在待融合图像a的空间变换后的矩阵中对应的元素，并记为第一元素；获取所述像素点在待融合图像b的空间变换后的矩阵中对应的元素，并记为第二元素；将第一元素和第二元素之间的最大值记为第二极值，将第二极值所对应的待融合的图像记为第二图像，将第二图像中所述像素点修正后的二维高斯函数值作为所述像素点的第一函数值。

23、优选的，所述根据待融合图像a和待融合图像b融合时的每列的融合权重、每列中每个像素点的第一元素值和每列中每个像素点的第一函数值，确定待融合图像a和待融合图像b融合后的矩阵，包括的具体方法为：

24、待融合图像a和待融合图像b融合后的矩阵中的第列第行的元素值的计算方法为：

25、

26、式中，表示待融合图像a和待融合图像b融合后的矩阵中的第列第行的元素值；表示待融合图像a和待融合图像b融合时的第列的融合权重；表示待融合图像a和待融合图像b融合时的第列中第个像素点的第一元素值；表示待融合图像a和待融合图像b融合时的第列中第个像素点的第一函数值。

27、本发明的实施例提供了一种多源数据信息融合处理系统，该系统包括数据采集模块、数据特征分析模块、数据特征获取模块以及数据融合模块，其中：

28、数据采集模块，用于获取待融合图像a和待融合图像b；

29、数据特征分析模块，用于在待融合图像a和待融合图像b中各获取多个图像块；根据待融合图像a和待融合图像b的图像块，获取待融合图像a和待融合图像b的矩阵；对待融合图像a和待融合图像b的矩阵进行空间变换，得到待融合图像a和待融合图像b的空间变换后的矩阵；

30、数据特征获取模块，用于确定待融合图像a和待融合图像b的差值图像ea和差值图像eb；确定待融合图像a和待融合图像b每个同一位置下像素点的清晰度有效性；根据待融合图像a和待融合图像b每个同一位置下像素点的清晰度有效性以及差值图像ea和差值图像eb，获取待融合图像a和待融合图像b中每个像素点修正后的二维高斯函数值；根据待融合图像a和待融合图像b中每个像素点修正后的二维高斯函数值，获取待融合图像a和待融合图像b融合时每列的有效性；

31、数据融合模块，用于根据待融合图像a和待融合图像b融合时每列的有效性，确定待融合图像a和待融合图像b融合时每列的融合权重；根据待融合图像a和待融合图像b的空间变换后的矩阵，确定待融合图像a和待融合图像b融合时每列中每个像素点的第一元素值；根据待融合图像a和待融合图像b的修正后的二维高斯函数，确定待融合图像a和待融合图像b融合时每列中每个像素点的第一函数值；根据待融合图像a和待融合图像b融合时的每列的融合权重、每列中每个像素点的第一元素值和每列中每个像素点的第一函数值，确定待融合图像a和待融合图像b融合后的矩阵；根据待融合图像a和待融合图像b融合后的矩阵得到融合后的数据。

32、本发明的技术方案的有益效果是：针对在利用奇异值分解对多尺度的图像进行融合时，往往是对不同区域之间的奇异值特征进行平均加权融合，这样会导致可能存在融合效果不好的情况；本发明通过构建有效性特征，得到奇异值分解融合时的列权重，解决多源采集图像中焦点不一致问题，并进一步根据列权重和局部高频信息进行重要性矩阵的数据融合，解决高频信息丢失的问题，进而得到清晰度更好的融合后的数据。