一种基于实时多模态数据的救灾指挥系统及方法与流程

本发明涉及边缘计算，特别是一种基于实时多模态数据的救灾指挥系统及方法。

背景技术：

1、在现代救灾指挥系统中，快速、准确地处理多模态数据并进行有效决策至关重要。传统的救灾指挥系统通常采用单一通信方式和固定算法，无法满足复杂多变救援环境下的实时性和准确性需求。近年来，随着无线通信、物联网、边缘计算和人工智能等技术的发展，为实现救灾指挥系统的智能化和实时化提供了新的技术支持。然而，在实际应用中，如何高效处理实时多模态数据并进行有效决策仍然面临诸多挑战，包括多模态数据处理以及融合方式、信道选择策略、实时性能优化等问题。因此，研究和设计一种基于实时多模态数据的救灾指挥系统及方法具有重要的现实意义和应用价值。

技术实现思路

1、发明目的：本发明的目的是提供一种基于实时多模态数据的救灾指挥系统及方法，从而解决现有技术存在的实时性不足、数据处理速度慢等问题。

2、技术方案：本发明所述的一种基于实时多模态数据的救灾指挥系统，包括指挥中心和模块化便携式边缘设备；所述指挥中心用于救灾现场的实时指挥和数据处理，包括数据处理模块和指挥中心数据传输模块；模块化便携式边缘设备包括数据采集模块、数据预处理模块、边缘设备数据传输模块和显示模块；每个模块的功能如下：

3、数据采集模块：包括点云数据采集模块和视频数据采集模块，云数据采集模块可采用雷达，视频数据采集模块可采用双目摄像头，其中雷达可为4d毫米波雷达或激光雷达；4d毫米波雷达或激光雷达可采集3d点云数据，双目摄像头可采集含有深度信息的2d图像数据。

4、数据预处理模块：包含任务处理器，用于将点云数据采集模块和视频数据采集模块的采集数据经过轻量化数据清洗和挖掘后发送给边缘数据传输模块；可采用低功耗的边缘端ai芯片。

5、边缘设备数据传输模块：包含边缘多模态通信模块，可采用低功耗的边缘多模态通信模块，支持蓝牙、wifi、4g/5g等多模态数据通信，适用于各种复杂场景，用于发送数据预处理模块处理得到的数据给指挥中心，并从指挥中心接收处理好的图像数据发送给显示模块。

6、显示模块：包含便携式显示器，可采用mr头显，用于进行指挥中心的图像数据的显示；可将接收到的图像数据呈现给救灾单兵，以辅助其在视野不好、环境复杂、情况不明的条件下完成救援行动。

7、数据处理模块：包含高性能处理器单元，其把边缘设备的数据预处理模块清洗和挖掘后的数据导入被量化剪裁的轻量级模型进行处理，对融合后的多模态数据进行高效快速的识别和重建，生成对救灾单兵有意义的图像数据并将生成的图像数据发送给指挥中心数据传输模块。

8、指挥中心数据传输模块：包含多模态通信模块，用于将从数据处理模块接收到的图像数据发送给边缘设备的边缘设备数据传输模块。

9、一种基于实时多模态数据的救灾指挥方法，采用上述的一种基于实时多模态数据的救灾指挥系统，包括以下步骤：

10、步骤1、单兵携带模块化便携式边缘设备进入灾区，通过点云数据采集模块和视频数据采集模块分别采集点云数据和视频数据；

11、步骤2、数据预处理模块对采集到的点云数据和视频数据进行轻量化数据清洗和降维，生成预处理后的数据。

12、所述步骤2具体为：

13、步骤2.1、采用一种点云数据清洗方法；具体步骤如下：

14、a.深度学习去噪：采用一个深度自编码器模型，该模型由编码器和解码器组成；编码器将输入的点云数据映射到一个低维空间，而解码器则尝试从这个低维表示中重构原始点云数据；通过最小化重构误差，自编码器能够学习到去噪的表示；通过以下优化问题实现：

15、min{e,d}；

16、loss:||x-d(e(x))||2；

17、其中，x是输入的点云数据，e是编码器，d是解码器。

18、e(x)：是一个编码器函数e，它将输入数据x转换成一个较低维度的表示或编码。

19、d(e(x))：是一个解码器函数d，它将编码器的输出e(x)转回原始的数据空间。

20、x-d(e(x))：是原始数据x与其重构版本d(e(x))之间的差异，被称为重构误差，通过编码然后解码的过程重新构建原始数据x。

21、loss:||x-d(e(x))||2：是重构误差的范数的平方，用来作为损失函数。

22、min{e,d}：是一对能够最小化损失函数的编码器e和解码器d。

23、b.基于模型的下采样：首先利用一个预训练的深度学习模型来估计数据的几何模型，然后根据这个模型来选择性地保留关键点；具体来说，定义一个选择函数s，使得保留的点最接近模型预测的几何形状：

24、s(x)=argmin{x'}；

25、loss:||m(x)-x'||2；

26、其中，s(x)为选择函数，x是输入的点云数据，x'是下采样后的点云数据，{x'}是下采样后的点云数据的集合，argmin为当该函数取最小值时，所需的自变量的值，m是几何模型预测函数，loss:||m(x)-x'||2是损失函数。

27、步骤2.2、使用一种高效的视频数据清洗方法；具体步骤如下：

28、a.基于深度学习的背景减除：使用了一个深度卷积神经网络模型，该模型接收一段视频帧作为输入，然后预测下一帧的背景；预测的背景通过以下优化问题获得：

29、min{b}；

30、loss:||i{t+1}-b(i{1:t})||2；

31、其中，i{1:t}是前t帧的视频帧，i{t+1}是第t+1帧的视频帧，b是背景预测函数，{b}是背景预测结果的集合，min为函数取到的最小值，loss:||i{t+1}-b(i{1:t})||2是损失函数。

32、b.自适应噪声消除：首先使用一个深度学习模型来估计噪声的级别，然后根据估计的噪声级别动态调整滤波器的参数；具体来说，定义一个滤波函数 f使得滤波后的帧最接近无噪声帧：

33、f(i)=argmin{i'}；

34、loss:||n(i)-i'||2；

35、其中，f(i)为滤波函数，i是输入的带噪声的视频帧，i'是滤波后的视频帧，{i'}是滤波后的视频帧的集合，n是噪声估计函数，argmin为当该函数取最小值时，所需的自变量的值，loss:||n(i)-i'||2是损失函数。

36、通过对数据进行多维度的分析，识别并剔除其中的异常值、噪声和重复数据；与传统的基于规则的方法相比，本发明的算法更具智能性，能够适应不同类型和领域的数据集，提高清洗效果。

37、步骤2.3、为了消除数据中的量纲和数值差异对模型训练的影响，对数据进行归一化，进而消除数据中的量纲和数值差异对模型训练的影响；具体步骤如下：

38、a.对数据集进行分布分析，包括计算均值、方差、偏度、峰度等统计量。

39、b.根据分布特点，自动选择最适合的归一化方法，如最小-最大归一化、z-score归一化等。

40、c.将选定的归一化方法应用于数据集，消除量纲和数值差异。

41、与传统的归一化方法相比，本发明的方法能够根据数据的分布特点，自动选择最适合的归一化方式，使得数据在不同尺度下具有更好的可比性。

42、步骤2.4、在特征选择与降维阶段，基于互信息的特征选择。

43、a.计算数据集中各特征之间以及特征与目标变量之间的互信息。

44、b.根据互信息值，评估特征之间的相关性以及特征与目标变量之间的关联程度。

45、c.保留关键信息，剔除冗余和无关特征，降低数据维度。

46、通过计算特征之间的互信息，本发明评估特征之间的相关性以及特征与目标变量之间的关联程度。这使得本发明能够在保留关键信息的同时，剔除冗余和无关特征，降低数据维度，提高模型训练效率。

47、步骤3、通过边缘设备数据传输模块与指挥中心数据传输模块的数据交互，指挥中心数据传输模块再将预处理后的数据发送至指挥中心的数据处理模块。为具有更高的通信可靠性和适应性，实现多种通信方式的兼容与切换，本发明设计了一种多模通信接口。该接口支持多种通信协议（如wi-fi、蓝牙、lora、lte等）和物理层接口（如以太网、串口等）。通过将不同通信模块封装为统一的接口格式，能够方便地在不同通信方式之间进行切换，提高通信的可靠性和适应性。

48、所述步骤3具体为：

49、步骤3.1、对信道状态进行实时监测；首先，对通信质量指标进行实时采集，评估当前信道状态，所述通信质量指标包括接收信号强度和信噪比；其次，对性能指标进行监测，为信道选择提供依据，所述性能指标包括网络延迟和数据吞吐量。

50、步骤3.2、采用信道选择算法；该算法通过建立信道选择的马尔可夫决策过程模型，自动学习在不同信道状态下的最优选择策略；具体实现过程如下：

51、a. 状态定义：将通信质量指标和性能指标组合成一个多维向量，作为强化学习算法的状态表示。

52、b. 动作定义：将切换到不同通信模式或保持当前模式作为强化学习算法的动作。例如，动作集合可表示为 {保持当前模式，切换到wi-fi，切换到lora，...}。

53、c. 奖励函数设计：根据当前状态和动作，设计一个奖励函数，用以评估信道选择的好坏。奖励函数应综合考虑通信质量、延迟、数据吞吐量等因素，以实现最优信道选择。

54、d. 强化学习算法：采用一种适用于连续状态空间和离散动作空间的强化学习算法来学习最优信道选择策略。

55、步骤3.3、进行动态信道切换；根据学到的信道选择策略，实现动态信道切换；当信道状态发生变化时，通过多模通信接口将数据传输切换到最优信道，以保证通信质量和性能。通过以上创新性的多模通信接口设计和信道最优选择方法，本发明实现了在救灾通信系统中对不同信道的动态选择和切换。相较于现有技术，本发明的方法具有更高的通信可靠性和适应性，有利于提高救援行动的效果。

56、步骤4、指挥中心数据处理模块接收到预处理后的数据后，进行多模态融合，将点云数据和视频数据进行融合。

57、所述步骤4具体为：

58、步骤4.1、基于图模型进行数据融合；具体步骤如下：

59、a.特征提取：首先，对点云数据和图像数据分别进行特征提取，得到：

60、xp=relu(mlp(p,wp)+bp)；

61、其中，mlp表示多层感知器，p是第p组点云的数据内容，wp和bp是第p组点云的mlp的参数，relu是线性整流函数，xp是得到的第p组点云的点云特征。

62、b.特征对齐函数

63、对于特征对齐，通过一个线性变换来实现；设a为变换矩阵，得到：

64、x'p=a×xp；

65、特征对齐函数中的a是一个转换矩阵，它的目标是将点云特征xp映射到和第i张图像特征xi相同的特征空间，得到映射后的点云特征x'p。

66、当有一组点云特征和图像特征的配对，通过找到一个线性变换，使得变换后的点云特征和图像特征在方差上最大程度地一致；设c为点云特征和图像特征的协方差矩阵，通过求解以下优化问题来获取a：

67、a=argmax(tr(a'×c×a))；

68、其中，tr表示矩阵的迹，argmax为当该函数取最大值时，所需的自变量的值。

69、c.特征融合函数

70、对于特征融合，直接将特征向量拼接起来，然后通过一个全连接层来获得最终的特征表示；设wc和bc为全连接层的参数，得到：

71、x=relu(wc×concat(x'p,xi)+bc)；

72、其中，concat表示拼接操作，relu是线性整流函数，x'p是映射后的点云特征，xi是x'p对应的第i张图像的图像特征。

73、步骤4.2、全局优化；在提取空间特征后，采用一种迭代最近点改进算法进行全局优化；该算法利用提取的空间特征信息计算点云数据与视频数据之间的最佳变换矩阵，将点云数据与深度图进行精确对齐。通过引入特征匹配的权重系数，提高了算法的收敛速度和融合精度。

74、步骤4.3、数据可视化：将融合后的多模态数据进行体素化处理，生成具有稠密信息的三维地图；救援队员能够通过mr头显实时查看这些地图，以便在复杂环境下进行救援。

75、通过以上创新性的多模态融合方法，本发明实现了在救灾场景中对视频和点云数据的有效整合。相较于现有技术，本发明的融合方法具有更高的精度和更丰富的信息内容，有利于提高救援行动的效果。

76、步骤5、利用经过量化剪裁的轻量级模型对融合后的多模态数据进行高效快速的识别和重建，生成对救灾单兵有意义的图像数据。

77、所述步骤5具体为：

78、步骤5.1、轻量级网络结构设计；该结构采用分组卷积和深度可分离卷积等轻量化技术，降低模型的计算量和参数数量；同时，引入注意力机制在关键部位增强特征表达能力，提高模型性能。

79、步骤5.2、动态模型微调：首先，在大量合成多模态数据上进行预训练，形成基础模型；然后，在实际救援过程中，根据收集到的实时数据对模型进行在线迁移学习，使模型能够快速适应当前场景，提高识别准确性。

80、步骤5.3、模型量化剪裁，该方法包括以下步骤：

81、a. 网络剪枝：采用一种基于权值敏感度的网络剪枝方法，剪除模型中冗余的神经元和连接。通过设置权值敏感度阈值，可以灵活地控制剪枝程度，平衡模型的性能与计算复杂度。

82、b. 权值量化：引入一种自适应量化算法，对模型权值进行压缩；根据权值分布自动确定量化级别，使得量化后的模型能够在保持高精度的同时，显著降低模型的存储和计算需求。

83、c. 结构重组：在剪枝和量化过程中，对模型进行动态调整，除了保持在网络广度和深度上进行动态自适应外，还建立具有多条前向通道的超网络，并采用根据不同的输入样本进行动态路由，根据设定的参数自适应地激活不同尺度的卷积通道，使得在保持模型容量的同时，能够实现计算效率的提升。结构重组能够减少计算资源浪费，进一步提高计算效率。

84、步骤5.4、快速推理框架；该框架采用各种硬件加速技术实现对模型计算的并行化和优化，如神经网络处理器（npu）、图形处理器（gpu）等，从而大幅降低推理延迟。

85、通过以上创新性的轻量级模型设计和量化剪裁方法，本发明实现了在救灾指挥系统中对多模态数据的实时处理。相较于现有技术，本发明的方法具有更高的计算效率和更低的延迟，有利于提高救援行动的实时性和效果。

86、步骤6、数据处理模块将生成的图像数据发送回指挥中心数据传输模块；边缘设备数据传输模块接收到指挥中心数据传输模块发送的图像数据后，将其传递给显示模块；显示模块将接收到的图像数据呈现给救灾单兵，以辅助其在视野受限、环境复杂、情况不明的条件下完成救援行动。

87、一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的一种基于实时多模态数据的救灾指挥系统。

88、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的一种基于实时多模态数据的救灾指挥系统。

89、有益效果：与现有技术相比，本发明具有如下优点：通过模块化便携式边缘设备与指挥中心的协同工作，救灾指挥系统能够实时获取灾区的多模态数据，指挥中心能够对这些数据进行快速、准确地处理，从而提高救援行动的效果。