一种电磁信号通用分布式智能处理分析平台及方法与流程

本发明属于电磁信号处理技术领域，特别是一种电磁信号通用分布式智能处理分析平台及方法。

背景技术：

hadoop起源于apachenutch项目，是apachelucene的子项目之一。hadoop实现了一个分布式文件系统，其中一个组件是hdfs。hdfs有高容错性的特点，通过设计部署在低廉的硬件上，提供高吞吐量以访问应用程序的数据，适用于有超大数据集的应用程序，同时放宽了posix的要求，可以以流的形式访问文件系统的数据。

hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠高效可伸缩的方式进行数据处理，其中可靠性：它假设计算元素和存储会失败，因此维护多个工作数据的副本确保失败节点的重新分布处理；高效性：并行的方式工作，通过并行处理加快处理速度；可伸缩性：能够处理pb级数据。

然而在电磁信号处理领域，目前还没有公开的电磁信号通用分布式智能处理分析平台，比较类似的智能处理分析平台往往借助国外大数据相关开源框架，难以自主控制，兼容性差且效率低。

技术实现要素：

本发明的目的在于提供一种自主可控的电磁信号通用分布式智能处理分析平台及方法，采用轻量级设计思想，自主设计框架，可灵活部署在windows平台和linux平台。

实现本发明目的的技术解决方案为：一种电磁信号通用分布式智能处理分析平台，包括采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器，其中：

采集服务器：用于采集实时外部数据，部署有数据接入模块；通过数据接入模块实现对实时网络数据的采集、转发和存储；

数据服务器：用于数据存储和数据传递，部署有数据管理模块；通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递；

常规计算服务器：作为预处理计算执行服务器，部署有预处理计算模块；预处理计算模块用于进行数据的预处理和智能标注，并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，能够进行水平拓展，实现并行处理计算；

高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块；深度学习计算模块用于进行针对电磁数据的网络训练和推理识别，作为高级计算节点能够进行水平拓展，实现高级计算资源可勾选；

调度服务器：用于对各个节点的资源管控和合理分配进行任务分发，部署有后端服务模块；后端服务模块与ui前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；其中ui前端模块部署在调度服务器上，实现提供web前端服务的功能；节点管理模块部署在采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器上，用来监测各硬件节点的健康状态、文件同步、远程进程启动关闭这些功能。

进一步地，数据采集分为两种模式：标准采集模式和预处理采集模式；

其中标准采集模式是将采集到的信号数据直接进行本地化存储，预处理采集模式则是根据条件规则先进行筛选，对符合条件的数据进行存储。

进一步地，所述ui前端模块、后端服务模块、数据接入模块、预处理计算模块以及数据管理模块配合实现电磁信号样本数据标注；

所述数据标注分为离线标注和在线标注两种模式，在线标注是从数据接入模块通过采集设备采集实时信号数据进行标注，离线标注是从离线数据文件或数据库中获取数据进行标注。

一种电磁信号通用分布式智能处理分析方法，设置一个后端服务模块，以及与该后端服务模块连接的一个ui前端模块、一个数据管理模块、多个节点管理模块、多个数据接入模块、多个预处理计算模块、多个深度学习计算模块；ui前端模块通过以太网和后端服务模块连接，负责通过网络与后端服务模块进行交互，完成用户访问到的输入和计算结构的显示；节点管理模块负责采集和监控服务器设备的状态和参数；数据接入模块一方面与采集设备连接，负责通过网络实时采集样本数据，另一方面与后端服务模块连接，完成数据采集控制和数据接入；后端服务模块是核心控制器，负责与其他模块进行网络连接和通信；数据管理模块负责与预处理计算模块、深度学习计算模块和后端服务模块进行连接，完成样本数据、标注数据、预处理数据及推理结果的传递；预处理计算模块负责通过以太网与后端服务模块进行交互，实现数据预处理和智能标注；深度学习计算模块是执行深度学习计算的引擎，负责与后端服务模块和预处理计算模块通信完成计算任务和结果反馈；

ui前端模块接收任务信息，后端服务模块向节点管理模块申请任务所需资源，节点管理模块进行资源监测及资源分配，资源监测分配成功后后端服务模块通过协议报文向数据接入模块、预处理计算模块、深度学习计算模块发送任务信息，启动电磁信号数据采集存储、电磁信号样本数据标注、电磁信号数据网络训练、电磁信号数据推理识别的相关任务；各模块根据任务要求进行计算并与数据管理模块交互进行中间过程数据管理及结果数据管理，任务结束后向后端服务模块反馈任务结果；后端服务模块与资源管理模块、数据管理模块、ui前端模块交互完成资源回收、数据管理和结果展示。

进一步地，所述电磁信号数据采集存储，具体如下：

(1.1)用户通过ui前端模块选择采集存储，配置数据采集设备和采集模式；

(1.2)后端服务模块启动相关模块，接收数据采集信号，启动数据采集任务；

(1.3)数据接入模块采集并存储数据；

(1.4)根据采集模式，后端服务模块判断是否通过节点管理模块将数据传递给预处理计算模块；

(1.5)后端服务模块将原始数据写入数据库和文件；

(1.6)ui前端模块接收数据采集状态并对采集结果进行可视化展示和结果上报。

进一步地，所述电磁信号样本数据标注，具体如下：

(2.1)用户通过ui前端模块选择在线数据标注或离线数据标注，配置数据采集设备和数据处理流程，并启动数据标注任务；

(2.2)后端服务模块启动相关模块，接收数据标注信号，启动数据采集任务；

(2.3)数据接入模块采集并存储数据；

(2.4)后端服务模块通过节点管理模块将数据传递给预处理计算模块；

(2.5)预处理计算模块对数据进行数据清洗和评估等预处理操作后，再将数据传输给后端服务模块；

(2.6)后端服务模块将源数据和接收到的预处理后数据生成标注文件并写入数据库；

(2.7)ui前端模块接收标注数据并对标注结果进行可视化展示和结果上报。

进一步地，所述电磁信号数据网络训练，具体如下：

(3.1)用户通过ui前端模块选择预置训练模型、计算资源、训练数据集、高级计算资源，配置训练参数；

(3.2)后端服务模块启动相关模块，传递参数和数据；

(3.3)训练推理模块进行模型训练工作；

(3.4)ui前端模块进行模型训练和训练结果的可视化展示；

(3.5)数据管理模块对训练形成的网络进行入库操作，以供用户进行后续应用。

进一步地，所述电磁信号数据推理识别，具体如下：

(4.1)用户通过ui前端模块选择在线推理或离线推理，选择推理识别的数据、推理识别的模型及参数，选择高级计算资源；

(4.2)后端服务模块接收请求参数，启动相关模块，并将数据和参数进行转发；

(4.3)预处理计算模块对需推理的数据进行预处理；

(4.4)训练推理模块根据预处理结果进行推理识别工作；

(4.5)ui前端模块对识别结果进行可视化展示和结果上报。

本发明与现有技术相比，其显著优点为：(1)预处理算法支持二次开发，支持用户开发、上传自定义的预处理算法；基于分布式计算处理框架，通过并行加速进行预处理，提高了系统的实时性；(2)模型结构可二次开发，软件平台支持加载用户自定义的网络模型结构脚本，提供用户自主搭建模型，使用模型进行训练的功能；(3)多任务多用户并发执行，采用自主开发的资源管理与多任务调度内核，可实现多用户多任务并发执行；(4)节点水平拓展能力，设计了高效计算处理架构，大大提高了电磁信号的处理效率；其分布式计算架构具有良好的伸缩性，节点可动态配置，既可部署在一台高性能笔记本，也可拓展成计算集群，满足多种计算使用场景；(5)快速验证算法形成产品的能力，通过对电磁信号处理流程的抽象和建模，可作为通用电磁信号智能处理平台，基于该平台可快速验证新型算法，形成产品。

附图说明

图1是本发明电磁信号通用分布式智能处理分析平台的硬件架构图。

图2是分布式智能处理分析平台的软件框架图。

图3是电磁信号的采集流程图。

图4是电磁信号样本数据在线标注流程图。

图5是网络训练的流程图。

图6是推理识别的数据流程图。

具体实施方式

本发明一种轻量级电磁信号通用分布式智能处理分析平台，既可以作为伪分布式平台也可以作为分布式平台使用，即可以将软件部分部署在同一台服务器上，虚拟出多个角色承担不同模块，也可以将软件部署在承担不同角色的多台服务器上，同时节点管理模块、数据接入模块、预处理计算模块、深度学习计算模块支持可拓展，可以存在多台部署上述模块的服务器供分配。

具体而言，本发明一种电磁信号通用分布式智能处理分析平台，包括采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器，其中：

采集服务器：用于采集实时外部数据，部署有数据接入模块；通过数据接入模块实现对实时网络数据的采集、转发和存储；

数据服务器：用于数据存储和数据传递，部署有数据管理模块；通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递；

常规计算服务器：作为预处理计算执行服务器，部署有预处理计算模块；预处理计算模块用于进行数据的预处理和智能标注，并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，能够进行水平拓展，实现并行处理计算；

高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块；深度学习计算模块用于进行针对电磁数据的网络训练和推理识别，作为高级计算节点能够进行水平拓展，实现高级计算资源可勾选；

调度服务器：用于对各个节点的资源管控和合理分配进行任务分发，部署有后端服务模块；后端服务模块与ui前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；其中ui前端模块部署在调度服务器上，实现提供web前端服务的功能；节点管理模块部署在采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器上，用来监测各硬件节点的健康状态、文件同步、远程进程启动关闭这些功能。

作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析平台，数据采集分为两种模式：标准采集模式和预处理采集模式；

其中标准采集模式是将采集到的信号数据直接进行本地化存储，预处理采集模式则是根据条件规则先进行筛选，对符合条件的数据进行存储。

作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析平台，ui前端模块、后端服务模块、数据接入模块、预处理计算模块以及数据管理模块配合实现电磁信号样本数据标注；

所述数据标注分为离线标注和在线标注两种模式，在线标注是从数据接入模块通过采集设备采集实时信号数据进行标注，离线标注是从离线数据文件或数据库中获取数据进行标注。

本发明一种电磁信号通用分布式智能处理分析方法，设置一个后端服务模块，以及与该后端服务模块连接的一个ui前端模块、一个数据管理模块、多个节点管理模块、多个数据接入模块、多个预处理计算模块、多个深度学习计算模块；ui前端模块通过以太网和后端服务模块连接，负责通过网络与后端服务模块进行交互，完成用户访问到的输入和计算结构的显示；节点管理模块负责采集和监控服务器设备的状态和参数；数据接入模块一方面与采集设备连接，负责通过网络实时采集样本数据，另一方面与后端服务模块连接，完成数据采集控制和数据接入；后端服务模块是核心控制器，负责与其他模块进行网络连接和通信；数据管理模块负责与预处理计算模块、深度学习计算模块和后端服务模块进行连接，完成样本数据、标注数据、预处理数据及推理结果的传递；预处理计算模块负责通过以太网与后端服务模块进行交互，实现数据预处理和智能标注；深度学习计算模块是执行深度学习计算的引擎，负责与后端服务模块和预处理计算模块通信完成计算任务和结果反馈；

ui前端模块接收任务信息，后端服务模块向节点管理模块申请任务所需资源，节点管理模块进行资源监测及资源分配，资源监测分配成功后后端服务模块通过协议报文向数据接入模块、预处理计算模块、深度学习计算模块发送任务信息，启动电磁信号数据采集存储、电磁信号样本数据标注、电磁信号数据网络训练、电磁信号数据推理识别的相关任务；各模块根据任务要求进行计算并与数据管理模块交互进行中间过程数据管理及结果数据管理，任务结束后向后端服务模块反馈任务结果；后端服务模块与资源管理模块、数据管理模块、ui前端模块交互完成资源回收、数据管理和结果展示。

作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号数据采集存储具体如下：

(1.1)用户通过ui前端模块选择采集存储，配置数据采集设备和采集模式；

(1.2)后端服务模块启动相关模块，接收数据采集信号，启动数据采集任务；

(1.3)数据接入模块采集并存储数据；

(1.4)根据采集模式，后端服务模块判断是否通过节点管理模块将数据传递给预处理计算模块；

(1.5)后端服务模块将原始数据写入数据库和文件；

(1.6)ui前端模块接收数据采集状态并对采集结果进行可视化展示和结果上报。

作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号样本数据标注具体如下：

(2.1)用户通过ui前端模块选择在线数据标注或离线数据标注，配置数据采集设备和数据处理流程，并启动数据标注任务；

(2.2)后端服务模块启动相关模块，接收数据标注信号，启动数据采集任务；

(2.3)数据接入模块采集并存储数据；

(2.4)后端服务模块通过节点管理模块将数据传递给预处理计算模块；

(2.5)预处理计算模块对数据进行数据清洗和评估等预处理操作后，再将数据传输给后端服务模块；

(2.6)后端服务模块将源数据和接收到的预处理后数据生成标注文件并写入数据库；

(2.7)ui前端模块接收标注数据并对标注结果进行可视化展示和结果上报。

作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号数据网络训练具体如下：

(3.1)用户通过ui前端模块选择预置训练模型、计算资源、训练数据集、高级计算资源，配置训练参数；

(3.2)后端服务模块启动相关模块，传递参数和数据；

(3.3)训练推理模块进行模型训练工作；

(3.4)ui前端模块进行模型训练和训练结果的可视化展示；

(3.5)数据管理模块对训练形成的网络进行入库操作，以供用户进行后续应用。

作为一种具体实施方式，所述的电磁信号通用分布式智能处理分析方法中，电磁信号数据推理识别，具体如下：

(4.1)用户通过ui前端模块选择在线推理或离线推理，选择推理识别的数据、推理识别的模型及参数，选择高级计算资源；

(4.2)后端服务模块接收请求参数，启动相关模块，并将数据和参数进行转发；

(4.3)预处理计算模块对需推理的数据进行预处理；

(4.4)训练推理模块根据预处理结果进行推理识别工作；

(4.5)ui前端模块对识别结果进行可视化展示和结果上报。

下面结合附图及具体实施例对本发明做进一步详细说明。

实施例

本发明所述的一种电磁信号通用分布式智能处理分析平台的硬件架构图如下图1所示：

采集服务器：用于采集实时外部数据的服务器，部署了数据接入模块。通过数据接入模块实现对实时网络数据的采集、转发和存储。

数据服务器：用于数据存储和数据传递的服务器，部署了数据管理模块。通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递。

调度服务器：高性能计算服务器，部署了后端服务模块。后端模块通过与ui前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；

常规计算服务器：作为预处理计算执行服务器，部署了预处理计算模块。预处理计算模块主要进行数据的预处理和智能标注。并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，可进行水平拓展，实现并行处理计算。

高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块。深度学习计算模块主要进行针对电磁数据的网络训练和推理识别，作为高级计算节点可进行水平拓展，实现高级计算资源可勾选。

本发明所述的一种电磁信号通用分布式智能处理分析平台的软件架构图如下图2所示：

软件框架中包含一个ui前端模块、一个后台服务模块、一个数据管理模块、若干个节点管理模块、若干个数据接入模块、若干个预处理计算模块、若干个深度学习计算模块；在分布式的场景下，可能存在多用户同时使用分析平台，势必存在任务的并发，同时单个任务也可能存在并行的计算。节点管理模块和后端服务模块的功能就是通过对各个节点的资源管控和合理分配进行任务分发，以保证高效、稳定的执行计算任务。同时支持用户自定义预处理算法，提供个性化的处理方式。

平台优势：

信号可动态增加：支持动态增加电磁信号，使用者只需简单配置，便可以增加基于通用模板的电磁信号，并针对此新增加的电磁信号进行计算和分析。

预处理可并行计算：支持使用者设置预处理并行计算，可根据任务实际情况选择并行计算数量，增加计算效率，缩减计算时间。

深度学习计算资源可选择：提供多种深度学习算法，使用者可以根据实际需求，选择单个或多个深度学习算法，进行深度学习计算和分析。

预处理算法可二次开发：支持使用者导入自定义预处理算法，支持使用者选择自定义算法流程。

深度学习训练模型结构可二次开发：支持使用者在系统外修改模型结构脚本，导入系统进行训练，生成用户所需模型结构训练的模型文件。

按功能划分，可分为四大功能：

step1电磁信号的数据采集存储

数据采集分为两种模式：标准采集模式和预处理采集模式；其中标准采集模式是将采集到的信号数据直接进行本地化存储，而预处理采集模式则可以根据条件规则先进行筛选，对符合条件的数据再进行存储。

电磁信号的采集流程图如下图3所示：

(1.1)用户通过ui前端模块选择采集存储，配置数据采集设备和采集模式；

(1.2)后端服务模块启动相关模块，接收数据采集信号，启动数据采集任务；

(1.3)数据接入模块采集并存储数据；

(1.4)根据采集模式，后端服务模块判断是否通过节点管理模块将数据传递给预处理计算模块；

(1.5)后端服务模块将原始数据写入数据库和文件；

(1.6)ui前端模块接收数据采集状态并对采集结果进行可视化展示和结果上报。

step2电磁信号样本数据标注

电磁信号样本数据标注需要用到ui前端模块、后端服务模块、数据接入模块、预处理计算模块以及数据管理模块。其中数据标注可分为离线标注和在线标注两种模式，在线标注是从数据接入模块通过采集设备采集实时信号数据进行标注，离线标注是从离线数据文件或数据库中获取数据进行标注。

电磁信号样本数据在线标注流程图如下图4所示：

(2.1)用户通过ui前端模块选择在线数据标注或离线数据标注，配置数据采集设备和数据处理流程，并启动数据标注任务；

(2.2)后端服务模块启动相关模块，接收数据标注信号，启动数据采集任务；

(2.3)数据接入模块采集并存储数据；

(2.4)后端服务模块通过节点管理模块将数据传递给预处理计算模块；

(2.5)预处理计算模块对数据进行数据清洗和评估等预处理操作后，再将数据传输给后端服务模块；

(2.6)后端服务模块将源数据和接收到的预处理后数据生成标注文件并写入数据库；

(2.7)ui前端模块接收标注数据并对标注结果进行可视化展示和结果上报。

step3电磁信号数据网络训练

网络训练的流程如下图5所示：

(3.1)用户通过ui前端模块选择预置训练模型、计算资源、训练数据集、高级计算资源，配置训练参数；

(3.2)后端服务模块启动相关模块，传递参数和数据；

(3.3)训练推理模块进行模型训练工作；

(3.4)ui前端模块进行模型训练和训练结果的可视化展示；

(3.5)数据管理模块对训练形成的网络进行入库操作，以供用户进行后续应用。

step4电磁信号数据推理识别

推理识别的数据流程图如图6所示：

(4.1)用户通过ui前端模块选择在线推理或离线推理，选择推理识别的数据、推理识别的模型及参数，选择高级计算资源；

(4.2)后端服务模块接收请求参数，启动相关模块，并将数据和参数进行转发；

(4.3)预处理计算模块对需推理的数据进行预处理；

(4.4)训练推理模块根据预处理结果进行推理识别工作；

(4.5)ui前端模块对识别结果进行可视化展示和结果上报。

综上所述，本发明电磁信号通用分布式智能处理分析平台及方法具有以下特点：预处理算法支持二次开发，支持用户开发、上传自定义的预处理算法；基于分布式计算处理框架，通过并行加速进行预处理，提高了系统的实时性；模型结构可二次开发，软件平台支持加载用户自定义的网络模型结构脚本，提供用户自主搭建模型，使用模型进行训练的功能；多任务多用户并发执行，采用自主开发的资源管理与多任务调度内核，可实现多用户多任务并发执行；节点水平拓展能力，设计了高效计算处理架构，大大提高了电磁信号的处理效率；其分布式计算架构具有良好的伸缩性，节点可动态配置，既可部署在一台高性能笔记本，也可拓展成计算集群，满足多种计算使用场景；快速验证算法形成产品的能力，通过对电磁信号处理流程的抽象和建模，可作为通用电磁信号智能处理平台，基于该平台可快速验证新型算法，形成产品。