基于多模态数据的地面目标精准识别星上模糊推理方法与流程

1.本发明涉及遥感卫星在轨图像处理领域，特别是基于卫星平台的在轨处理能力，一种基于多模态数据的地面目标精准识别星上模糊推理方法，以林火预测为例。


背景技术：

2.随着卫星遥感技术的不断发展，依赖地面的传统处理模式难以满足高时效数据服务的需求，以在轨智能处理系统为基础的智能化遥感卫星逐渐发展起来；随着边缘计算和人工智能软硬件技术的发展和应用，在轨处理实现了高算力处理和智能化分析能力，搭载高算力gpu计算核心的星上系统已经得到在轨应用；但现阶段在轨处理多是面向单一场景的瞬时识别，仍依赖地面进行信息加工完成知识的挖掘，降低了信息的流转速度。在高算力的支持下，当前在轨处理系统已经具备了星上全流程数据处理的能力，实现了从海量数据获取、处理到信息提取的过程。然而系统的建设在多模应用方面仍存在一定缺失，主要体现为：当前在轨智能处理应用多是针对特定目标进行检测和识别，仅获取目标的基本信息（如位置、尺寸、类别等）并下传，基本信息是目标的特征表达，缺乏关联分析和推理。


技术实现要素：

3.本发明要解决的技术问题是针对以上不足，提供基于多模态数据的地面目标精准识别星上模糊推理方法，针对高光谱卫星在轨智能处理在林火预测中的应用，依托在轨智能处理获取的可燃物载量信息和地面上注的温度、湿度、降水量等多模态数据，利用多模态数据和模糊推理方法进行在轨知识推理的研究，提出了融合多模态数据的在轨森林火情预测模糊推理方法，完成星上在轨森林火情预测。
4.为解决以上技术问题，本发明采用以下技术方案：基于多模态数据的地面目标精准识别星上模糊推理方法，包括以下步骤：步骤1，数据获取；卫星接收并解析任务指令，根据指令要求执行拍摄任务，获取任务目标区原始数据；步骤2，任务区域裁剪，完成b28、b14、b2三个波段有效目标区裁剪；步骤3，基于语义分割对 b14波段进行云判，剔除无效数据，减少数据量；步骤4，相对辐射矫正；步骤5，进行图像配准后重采样；针对渐变式滤光片设计的高光谱载荷，通过surf匹配提取波段间特征点，计算波段间仿射变换模型，完成同名像素的空间对准，并基于同名成像区进行数据裁剪。
5.步骤6：图像合成，基于裁剪后的数据进行三波段通道数据合并；步骤7：植被ai识别裁剪，基于深度学习网络模型提取植被有效数据，并记录图像像素坐标；步骤8：对植被数据进行绝对辐射校正；
步骤9，完成绝对辐射校正后，进行系统几何矫正；步骤10，完成绝对辐射校正和几何矫正后，进行图像数据快速大气矫正。
6.进一步的，还包括以下步骤：步骤11，利用步骤10中获取的表观反射率数据，计算增强植被指数evi和归一化植被指数ndvi；步骤12：利用步骤11获得的evi和ndvi数据，基于简单线性关系模型生成可燃物载量f数据，并构建可燃物载量查找表；步骤13：对任务目标点温度、湿度和降水量关联要素进行模糊化处理；步骤14：基于以上计算获得的多模态数据模糊尺度归一化结果，利用简单线性加约束，完成林火风险等级预测数据产品在轨自主输出，实现星上在轨智能预测模糊推理设计。
7.进一步的，所述步骤2具体过程如下：根据辅助数据编码格式，解析时间、轨道、姿态等有效数据，结合几何定标参数和严密成像几何模型进行成像中心点地理坐标快速解算；同时以成像任务上注中心目标点经纬度为中心，沿轨方向前后1.5倍幅宽完成b28（中心波长880）-b14（中心波长670）-b2（中心波长466）三个波段有效目标区裁剪。
8.进一步的，所述步骤4具体过程如下：根据辐射定标参数查找表，逐波段、逐探元进行相对辐射校正，任意波段第m行n列数据校正公式如下：（1）；其中，表示辐射校正后的数据，表示原始图像，表示第n列探元的增益系数，表示第n列探员的偏移系数。
9.进一步的，所述步骤8具体过程如下：利用绝对辐射定标参数完成植被有效数据的绝对辐射校正，得到辐亮度数据，任意波段经绝对辐射校正公式如下：（2）；其中，表示绝对辐射定标后的辐亮度数据，表示绝对辐射定标前的dn值数据，表示第i波段绝对辐射定标增益系数，表示第i波段绝对辐射定标偏移系数。
10.进一步的，所述步骤9具体过程如下：依据步骤7中图像像素坐标定位植被图像成像行计数和成像utc时间，获取有效辅助数据对应的轨道和姿态数据，利用上注的几何定标参数和严密成像几何模型进行地理坐标快速解算，公式如下所示：
（3）；上式中，为像点对应地物点在wgs84坐标下的空间直角坐标；为成像时刻卫星在wgs84坐标系下的位置矢量；为j2000坐标系与wgs84坐标系的转换矩阵；为卫星本体坐标系的矩阵，由星上姿态测量获取；分别为cam相机坐标系的矩阵，由地面测量获取；（x，y）为影像坐标，（x0，y0）为主点坐标，f为主距，（
△
x，
△
y）为由相机内方位元素误差引起的像点偏移。
11.进一步的，所述步骤10具体过程如下：基于步骤6输出的图像数据，采用自适应平场域法实现在轨快速大气校正，以获取表观反射率数据，计算模型如下所示：（4）；其中，表示波段的表观发射率数据，表示波段的像元辐射值，表示波段对应均匀场的像元辐射均值。
12.进一步的，所述步骤11具体过程如下：evi和ndvi的计算公式如下所示：（5）；（6）；其中b28、b2和b14为步骤2中有效目标区裁剪的三个波段。
13.进一步的，所述步骤13具体过程如下：a)序列温度观测模糊定义（7）；式中表示时间轴温度模糊化值，表示单次观测温度值，n表示观测次数；温度瞬时变化对地表环境状态影响较小，采用平均值法进行模糊化设计b)序列湿度观测模糊定义
（8）；湿度数据影响具有临近效应，采用时间序列逆序排序策略，分时段均值加权归一化处理，增强影响因子的合理性。式中表示时间轴湿度模糊化值，表示单次观测湿度值，n表示观测次数；c)序列降水量观测模糊定义（9）；降水量模糊化处理参照湿度观测值，式中表示序列观测降水量模糊化值，表示单次观测湿度值，n表示观测次数。
14.进一步的，所述步骤14具体过程如下：线性加约束计算公式如下：（10）；其中y表示风险等级，fm
k,l
表示第k行l列像素对应的可燃物载量模糊尺度，tm表示温度模糊尺度，hm表示湿度模糊尺度，pm表示降水量模糊尺度。
15.本发明采用以上技术方案，与现有技术相比，具有如下技术效果：针对高光谱卫星在轨智能处理在林火预测中的应用，依托在轨智能处理获取的可燃物载量信息和地面上注的温度、湿度、降水量等多模态数据，利用多模态数据和模糊推理方法进行在轨知识推理的研究，提出了融合多模态数据的在轨森林火情预测模糊推理方法，完成星上在轨森林火情预测。
附图说明
16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
17.图1 本发明中模糊推理方法流程图图2本发明中温度-湿度图图3本发明中降水量-湿度图图4本发明中可燃物载量等级图图5本发明中结果预测图。
具体实施方式
18.实施例1，如图1所示，基于多模态数据的地面目标精准识别星上模糊推理方法，包
括以下步骤：步骤1，数据获取；卫星接收并解析任务指令，根据指令要求执行拍摄任务，获取任务目标区原始数据。
19.步骤2，任务区域裁剪；根据辅助数据编码格式，解析时间、轨道、姿态等有效数据，结合几何定标参数和严密成像几何模型进行成像中心点地理坐标快速解算；同时以成像任务上注中心目标点经纬度为中心，沿轨方向前后1.5倍幅宽完成b28（中心波长880）-b14（中心波长670）-b2（中心波长466）三个波段有效目标区裁剪。
20.步骤3，基于语义分割对 b14波段进行云判，剔除无效数据，减少数据量。
21.步骤4，相对辐射矫正；根据辐射定标参数查找表，逐波段、逐探元进行相对辐射校正，任意波段第m行n列数据校正公式如下：（1）；其中，表示辐射校正后的数据，表示原始图像，表示第n列探元的增益系数，表示第n列探员的偏移系数。
22.步骤5，进行图像配准后重采样；针对渐变式滤光片设计的高光谱载荷，通过surf匹配提取波段间特征点，计算波段间仿射变换模型，完成同名像素的空间对准，并基于同名成像区进行数据裁剪。
23.步骤6：图像合成，基于裁剪后的数据进行三波段通道数据合并；步骤7：植被ai识别裁剪，基于深度学习网络模型提取植被有效数据，并记录图像像素坐标；步骤8：对植被数据进行绝对辐射校正；利用绝对辐射定标参数完成植被有效数据的绝对辐射校正，得到辐亮度数据，任意波段经绝对辐射校正公式如下：（2）；其中，表示绝对辐射定标后的辐亮度数据，表示绝对辐射定标前的dn值数据，表示第i波段绝对辐射定标增益系数，表示第i波段绝对辐射定标偏移系数。
24.步骤9，完成绝对辐射校正后，进行系统几何矫正；依据步骤7中图像像素坐标定位植被图像成像行计数和成像utc时间，获取有效辅助数据对应的轨道和姿态数据，利用上注的几何定标参数和严密成像几何模型进行地理坐标快速解算，公式如下所示：
（3）；上式中，为像点对应地物点在wgs84坐标下的空间直角坐标；为成像时刻卫星在wgs84坐标系下的位置矢量；为j2000坐标系与wgs84坐标系的转换矩阵；为卫星本体坐标系的矩阵，由星上姿态测量获取；分别为cam相机坐标系的矩阵，由地面测量获取；（x，y）为影像坐标，（x0，y0）为主点坐标，f为主距，（
△
x，
△
y）为由相机内方位元素误差引起的像点偏移。
25.步骤10，完成绝对辐射校正和几何矫正后，进行图像数据快速大气矫正；基于步骤6输出的图像数据，采用自适应平场域法实现在轨快速大气校正，以获取表观反射率数据，计算模型如下所示：（4）；其中，表示波段的表观发射率数据，表示波段的像元辐射值，表示波段对应均匀场的像元辐射均值。
26.步骤11，利用步骤10中获取的表观反射率数据，计算增强植被指数(evi)和归一化植被指数(ndvi)，计算公式如下所示：（5）；（6）；其中b28、b2和b14为步骤2中有效目标区裁剪的三个波段。
27.步骤12：利用步骤11获得的evi和ndvi数据，基于简单线性关系模型生成可燃物载量（f）数据，如图5所示，并构建可燃物载量查找表，详细如下表1所示：表1可燃物载量（fm）查找表。
28.步骤13：对任务目标点温度、湿度和降水量关联要素进行模糊化处理，以目标点大理市凤仪镇为例，夏季最高气温仅28度左右，全年平均气温17度，每年2-4月为林火高发时段；大理市近30天气温稳定，未出现突然升温或降温情况，且3月8号以来，气温连续大于25℃，湿度低降水量少，详细数据如图2和图3所示。
29.a)序列温度观测模糊定义（7）；式中表示时间轴温度模糊化值，表示单次观测温度值，n表示观测次数；温度瞬时变化对地表环境状态影响较小，采用平均值法进行模糊化设计，温度模糊尺度结果如下表2所示：表2 温度（tm）查找表。
30.b)序列湿度观测模糊定义（8）；湿度数据影响具有临近效应，采用时间序列逆序排序策略，分时段均值加权归一化处理，增强影响因子的合理性。式中表示时间轴湿度模糊化值，表示单次观测湿度值，n表示观测次数，湿度模糊尺度结果如下表3所示：表3 湿度（hm）查找表。
31.c)序列降水量观测模糊定义（9）；降水量模糊化处理参照湿度观测值，式中表示序列观测降水量模糊化值，表示单次观测湿度值，n表示观测次数，模糊尺度结果如下表4所示：表4 降水量（pm）查找表。
32.步骤14：基于以上计算获得的多模态数据模糊尺度归一化结果，利用简单线性加约束，公式如下所示，完成林火风险等级预测数据产品在轨自主输出，风险等级设定如下表5所示，实现星上在轨智能预测模糊推理设计。
33.（10）；其中y表示风险等级，fm
k,l
表示第k行l列像素对应的可燃物载量模糊尺度，tm表示温度模糊尺度，hm表示湿度模糊尺度，pm表示降水量模糊尺度。
34.其中第k行l列像素对应的可燃物载量模糊尺度查找是：可燃物载量图是一个与遥感图像尺寸相同的量化归一化图，如图4所示，每个像素值取值范围是1~4，分别表示可燃物载量等级，k行l列表示像素位置（k,l）处的量化值，取值1~4。
35.表5 林火风险等级查找表。
36.本发明针对现有在轨智能处理所提取信息的孤立性问题，以林火预测为切入点，综合考虑任务目标区长时间序列记录的温度、湿度、降水量等关联要素和实时提取的可燃物载量等多模态数据，构建基于模糊推理数学模型的知识生成专家系统；本发明在传统在轨智能处理的基础上，融入了绝对辐射校正模块、快速大气校正模块和定量反演模块，实现
可燃物载量的在轨实时处理，同时结合地面上注的关联要素完成数据库积累；基于多模态数据输入及关联要素在时间维度的模糊化规则设计完成模糊推理规则库构建；再按照规则库和所给的事实执行推理过程，实现基于多模态数据的在轨火情预测模糊推理设计。
37.本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好的说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。