一种多源数据融合方法及系统与流程

一种多源数据融合方法及系统
【技术领域】
1.本发明涉及计算机应用技术，特别涉及多源数据融合方法及系统。


背景技术：

2.全球综合观测成果存在数据来源多样、类型繁多、尺度不一、语义不明以及数据量巨大等特点，多源数据融合技术不论在军事领域还是在民用领域都受到了广泛的关注。随着数据融合技术与理论的完备以及军事和其他领域成功地应用，对这一领域的研究也就日益重视起来。
3.随着人工智能技术的发展和计算机硬件性能的提高，开始将神经网络和模糊理论应用到数据融合技术当中，有效地通过自适应调整跟踪参数，防止目标丢失；结合样条逼近理论和神经网络原理的融合算法，通过权值修正迭代尽快确定权值，达到更快的运算速度和计算精度。随着人工智能技术的发展和计算机硬件性能的提高，深度学习等技术在多源数据融合等研究中取得了突破性的进展。但是，多数深度学习模型的构建只是针对具有二维空间语义层面的学习，对于多维向量特征的适用性较差。而且，基于深度学习平台的多源异构数据模型构建更是空白。
4.现阶段，对于多源数据的分析已采用了一定的人工智能技术，初步实现了关键要素身份智能判读、位置信息提取等任务，存在的问题是信息挖掘的可信度不高、执行效率难以满足需求。尤其是数据综合解译能力仍停留在目标融合层级，由“数据”向“信息”的转变效率不高，由机器取代人开展“决策”远未实现。多源异构数据融合仍然面临着多要素识别、数据融合和智能化综合决策问题。
5.在运用深度学习对海量多源异构数据进行处理分析时，将会涉及到对影像、图片、视频、文本等多种形式的数据，应用目的也各有不同，如从遥感影像中提取地物信息，从报文信息中获取目标位置信息，从自然语言文本中抽取指定类型的实体、关系、事件等事实信息
……
针对这些不同的数据形式和应用目的，就需要众多的样本数据，势必碰到样本资源匮乏的问题，并且针对不同的任务制作训练样本也是一个费时费力的过程。


技术实现要素：

6.本技术的多个方面提供了多源数据融合方法、系统、设备及存储介质，能够。
7.本技术的一方面，提供一种多源数据融合方法，包括采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取；
8.别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
9.将所述对应的分类结果进行融合，作为最终分类识别结果。
10.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述多种信源包括光学遥感、sar遥感、红外遥感信源中至少两种。
11.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述预处理
为图像配准处理及归一化处理。
12.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，一种信源对应一个预先训练的神经网络模型；所述预先训练的神经网络模型为深度卷积神经网络模型。
13.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据各数据源的分类精度确定其权重，将所述对应的分类结果进行加权融合。
14.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对应的预先训练的神经网络模型是通过以下方法训练得到的：分别采集多种信源对同一场景或同一目标的图像数据集，分别对所述多种信源的图像数据集进行人工标注；对所述多种信源的图像数据集进行预处理和图像光谱特征提取，将所述特征提取结果和对应的人工标注作为训练数据集；分别使用所述训练数据集对预设的神经网络模型进行训练，得到对应的训练后的神经网络模型。
15.如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：采用基于特征函数的多任务学习方法获得所述各种信源对应的预设的神经网络模型的目标函数。
16.在本公开的第二方面，提供了一种多源数据融合系统，包括：预处理模块，用于采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取；分类模块，用于别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；融合模块，用于将所述对应的分类结果进行融合，作为最终分类识别结果。
17.在本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
18.在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面的方法。
19.应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
【附图说明】
20.图1示出了根据本公开的实施例的多源数据融合方法的流程图；
21.图2示出根据本公开的实施例的多源数据融合系统的方框图；
22.图3示出了能够实施本公开的实施例的示例性电子设备的方框图。
【具体实施方式】
23.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本技术保护的范围。
24.图1为本发明所述多源数据融合方法实施例的流程图，如图1所示，包括以下步骤：
25.步骤s11、采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取。
26.步骤s12、分别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
27.步骤s13、将所述对应的分类结果进行融合，作为最终分类识别结果。
28.在步骤s11的一种优选实现方式中，
29.优选地，所述多种信源包括光学遥感、sar遥感、红外遥感等。
30.利用预设的预处理和图像光谱特征提取模型，对各种信源图像分别进行预处理和图像光谱特征提取，得到各种信源图像中位置坐标(i,j)的像素的光谱特征向量。
31.在一些实施例中，所述预处理为包括图像配准处理及归一化处理。所述图像配准是指将不同时间、不同视角、不同设备获得的两幅或更多图像重叠复合的过程，它是指在几何上对齐两幅或多幅图像。图像配准精度的高低直接影响到融合效果的好坏。可以将多源图像两两配准；也可以同时配准多幅图像，优选地，采用混合student’s模型(student’s t mixture model,smm)对多幅多源图像的联合灰度散点图中的点建立模型并使用期望极大化(expectation maximization,em)算法迭代求解模型参数，进而求解得到几何变换参数以集成配准多幅多源图像，规避传统两两配准算法中存在的选择依赖和内部不一致的问题，并且同时配准多幅图像将提高效率，减少时间开销。
32.在一些实施例中，对预处理后的各种信源图像进行图像光谱特征提取，以待融合图像中每个像素的坐标(i，j)为中心，提取(2*w+1)*(2*w+1)大小区域中所有像素构成一个向量作为坐标(i，j)上对应像素的光谱特征向量；其中，w表示特征窗口大小，其大小可以根据应用目的进行经验选取，w优选值为5～9，最优选值为5。
33.在步骤s12的一种优选实现方式中，
34.将对预处理后的各种信源图像进行图像光谱特征提取得到的光谱特征向量输入对应的预先训练的神经网络模型中，分别得到对应的分类结果。
35.在一些实施例中，所述预先训练的神经网络模型为深度卷积神经网络模型。
36.所述深度卷积神经网络模型包括：输入层、卷积层、池化层、全连接层、softmax层、输出层；优选地，包括：1个输入层、5个卷积层、3个池化层、2个全连接层、1个softmax层和1个输出层。具体结构为输入层-＞卷积层-＞池化层-＞卷积层-＞池化层-＞卷积层-＞卷积层-＞卷积层-＞池化层-＞全连接层-＞全连接层-＞softmax层-＞输出层。
37.在步骤s13的一种优选实现方式中，
38.所述融合为决策级融合，即将单源遥感影像分别进行分类，然后将分类结果按照一定的融合规则综合，得到最终的分类结果。
39.在一些实施例中，按照预先训练的神经网络模型对各数据源的分类结果，统计各数据源的每一像素属于各类别的隶属度，然后将所有数据源当前像素属于同一类别的隶属度进行融合。其中，各数据源的权重根据其分类精度确定，例如，对于sar遥感和红外遥感而言，其分类精度分别可达60％和80％。比较当前像素各类别融合隶属度大小，根据最大隶属度原则，确定当前像素最终类别。
40.其中，所述对应的预先训练的神经网络模型是通过以下方法训练得到的：
41.步骤21、分别采集多种信源对同一场景或同一目标的图像数据集，分别对所述多
种信源的图像数据集进行人工标注；
42.步骤22、对所述多种信源的图像数据集进行预处理和图像光谱特征提取，将所述特征提取结果和对应的人工标注作为训练数据集。
43.优选地，利用预处理和图像光谱特征提取模型，对所述多种信源的图像数据集分别进行预处理和图像光谱特征提取，得到光学遥感图像训练数据集、sar遥感图像训练数据集、红外遥感图像训练数据集等。
44.优选地，得到训练数据集[x
ij
，y
ij
]其表示图像中位置坐标(i，j)的像素的光谱特征向量；y
ij
∈{1，2，...，k}表示位置坐标(i，j)的像素的类别，k为常数，表示总的像素类别数。
[0045]
步骤23、分别使用所述训练数据集对预设的神经网络模型进行训练，得到对应的训练后的神经网络模型。
[0046]
优选地，所述预设的神经网络模型为深度卷积神经网络模型，经过上述步骤得到训练后的神经网络模型与所述多种信源一一对应，即，包括：光学遥感对应的预设的神经网络模型、sar遥感对应的预设的神经网络模型、红外遥感对应的预设的神经网络模型。
[0047]
在一些实施例中，利用步骤22获取的训练数据集，采用随机梯度下降方法对预设的神经网络模型进行训练，即对目标函数进行优化；当整个神经网络模型的损失函数趋于局部最优解附近时，完成训练；其中，局部最优解事先由人工设定。优选地，利用步骤22获取的光学遥感图像训练数据集、sar遥感图像训练数据集和红外图像遥感训练数据集分别训练一个深度卷积神经网络。
[0048]
在一些实施例中，采用基于特征函数的多任务学习方法获得所述各种信源对应的预设的神经网络模型的目标函数。优选地，采用参数的软共享机制：每个任务都有自己的模型，自己的参数。
[0049]
在一些实施例中，所述预设的神经网络模型的目标函数是通过以下方式获得的：
[0050]
假设有t个不同的学习任务(t种信源，每种信源对应一个学习任务，即一个预设的神经网络模型)，对于每个学习任务都有一个相关联的数据：
[0051]
其中n
t
是第t个任务样本数据的个数。
[0052]
首先计算第t个学习任务的特征值与特征函数对{λ
ti
,φ
ti
}，其中λ
ti
为特征值，φ
ti
为相应的特征函数。另是由数据集还有核函数(激活函数)k(.,.)形成的gramian矩阵。所述核函数优选sigmoid函数或双曲线正切函数，最优选sigmoid函数。sigmoid将输出压缩到[0，1]，所以最后的输出平均值一般趋于0。
[0053]
所述特征值和特征函数如下所示：
[0054]
有和
[0055][0056]
与现有技术中的单任务学习不同，本实施例中，多任务学习通过各个任务之间的
相互关系同时学习多个任务。假设部分特征函数被多个任务共享，不同任务的特征函数能够相互影响。共享的特征函数能够提供更多关于数据分布的信息。
[0057]
为了防止共享特征的权重过大导致所有任务的学习结果相同，本实施例中，单独为每一个任务建立独有的特征函数，如下：
[0058][0059]
其中c＝[c1,c2,...,c
t
],d＝d1+d2+...+d
t
表示所有任务的总和特征函数的个数。假设和c0是上述目标函数的解，那么第t个回归目标函数可以写成如下形式：
[0060][0061]
其中，x
ti
表示第t个任务的输入，f
t
(x
ti
)表示输入x
ti
的预测结果。
[0062]
所述第t个目标函数的学习方法如下：
[0063]
对于第t个任务的n个样本数据，初始化参数c
t
，确定收敛值c0；循环上述运行公示2，直至c
t
<c0,得到n个样本数据对应的n个特征函数，进而得到所述第t个目标函数。
[0064]
应用本发明所述方案，利用深度学习方法自动实现多源遥感图像特征的自动选择，无需手工特征选择，便于多源遥感图像融合的工程应用，在多源遥感图像融合领域取得优异结果。
[0065]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0066]
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
[0067]
图2为本发明所述多源数据融合系统实施例的方框图，如图2所示，包括：
[0068]
预处理模块21，用于采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取。
[0069]
分类模块22，用于别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
[0070]
融合模块23，用于将所述对应的分类结果进行融合，作为最终分类识别结果。
[0071]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的终端和服务器的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0072]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的
相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0073]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0074]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0075]
图3示出了可以用来实施本公开的实施例的电子设备300的示意性框图。设备300可以用于实现图2的多源数据融合系统。如图所示，设备300包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的计算机程序指令或者从存储单元308加载到随机访问存储器(ram)303中的计算机程序指令，来执行各种适当的动作和处理。在ram 303中，还可以存储设备300操作所需的各种程序和数据。cpu 301、rom 302以及ram 303通过总线304彼此相连。输入/输出(i/o)接口305也连接至总线304。
[0076]
设备300中的多个部件连接至i/o接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0077]
处理单元301执行上文所描述的各个方法和处理。例如，在一些实施例中，各个方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由rom 302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到ram 303并由cpu 301执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，cpu 301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。
[0078]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
[0079]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0080]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0081]
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
[0082]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。