气象水文数据接收终端状态监控和远程管理系统的制作方法

本发明涉及终端监控技术领域，具体地说，涉及气象水文数据接收终端状态监控和远程管理系统。

背景技术：

随着气象水文信息化的建设，气象水文信息系统不断完善，同时系统设备类型也不断增加，多种系统设备虽然带来使用上的便捷，但多种设备的状态实时监测的工作量大，反应时间久，当系统设备出现故障后，无法及时获取设备状态信息，同时，对设备状态信息无法进行储存管理，无法根据设备状态信息进行分析处理。

技术实现要素：

本发明的目的在于提供气象水文数据接收终端状态监控和远程管理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供气象水文数据接收终端状态监控和远程管理系统，包括状态监控单元和远程管理单元，所述状态监控单元包括状态采集模块、状态监控模块、状态发送模块，所述远程管理单元包括数据接收模块和数据存储模块。

作为优选，所述状态监控单元的检测方法包括如下步骤：

s1.1、定时取得设备硬件传感器传来的状态数据；

s1.2、对获取的数据中的重复数据进行融合处理；

s1.3、对融合处理后的数据进行有效性判别，并将有效数据存入物联网数据库内。

作为优选，所述重复数据进行融合处理采用cnnmda数据融合算法，cnnmda数据融合算法基于深度学习模型，所使用的cnn网络结构共含有三个卷积层、一个池化层和两个全连接层，在利用特征提取模型cnnm对节点数据进行融合之前，需要完成该模型的训练，传统训练方法主要为反向传播算法，而cnnm模型由于卷积层和池化层的存在，需要对反向传播算法进行相应修改，cnnm训练的损失函数为：

训练目标函数为：

不断迭代更新参数以最小化损失函数j(θ)，其中θ为可训练的参数，α为学习率。

其中，cnnm模型的训练采用cnnmda算法实现，其算法步骤如下：

1)、sink节点根据需要处理的数据类型，从相应数据库中提取含有标签信息的数据；

2)、将训练数据输入至构建的cnnm模型，开始训练cnnm，然后sink节点将训练好的参数通过簇头发送至各终端节点；

3)、各终端节点使用预训练的cnnm模型，对采集的传感器数据进行多层卷积特征提取与池化，然后将融合得到的特征数据发送至相应的簇头节点，其中卷积与池化的过程就是数据融合的过程；

4)、簇头节点利用logistic回归分类器对步骤3)产生的融合数据进行分类，得到分类结果，并向sink节点发送融合数据；

5)、网络完成一轮数据采集融合与传输过程，sink节点重新分簇和选取簇头节点，然后跳转到步骤3)。

物联网数据库采用javaee开发的基于b/s架构的web应用程序,采用struts2+spring+hibernate来实现系统的整体架构，其中jsp为表现层，所有jsp页面禁止使用java脚本，结合struts2的表现层标签与jstl标签，完成了全部的表现层功能，数据收集，数据表示和客户端数据校验，struts2作为本系统的mvc框架它的action拦截用户所有的请求，包括系统的超链接和表单提交等，都由struts2控制请求的处理和转发。

spring框架是该系统的核心部分，spring提供的ioc容器是业务逻辑组件service和dao组件的工厂，它负责生成并管理这些实例，借助spring的依赖注入，各组件以松耦合的方式组合在一起，组件与组件之间的依赖正是通过spring的依赖注入管理，其service组件和dao组件对象都采用面向接口编程的方式，从而降低该系统异构的代价，hibernate为数据持久层，主要对数据进行持久化操作。

作为优选，所述状态监控模块的监控方法如下：

s2.1、设置系统状态指标阈值；

s2.2、对系统状态进行分析；

s2.3、记录系统状态运行数据。

作为优选，所述对系统状态进行分析采用离散时间系统状态方程，其方程公式如下：

其中，

其中，

其中，

其中，

作为优选，所述状态发送模块的发送方法如下：

s3.1、将采集到系统状态信息通过消息队列中间件发送到消息管道中；

s3.2、对消息管道中的信息进行过滤；

s3.3、通过消息队列的机制将消息发送至远程管理单元。

作为优选，所述信息进行过滤包括纠正错误模块、修正逻辑模块、数据压缩模块、数据补缺模块和数据丢弃模块。

其中，纠正错误模块用于纠正数据错误形式，纠正错误模块用于数据值错误的纠正、数据类型错误的纠正、数据编码错误的纠正、数据格式错误的纠正、数据异常错误的纠正、依赖冲突的纠正和多值错误的纠正。

其中，修正逻辑模块用于明确各个源系统的逻辑、条件、口径，并对异常源系统的采集逻辑进行修正。

其中，数据压缩模块用于保持原有数据集的完整性和准确性，不丢失有用信息的前提下，按照一定的算法和方式对数据进行重新组织，大规模的数据进行复杂的数据分析与数据计算通常需要耗费大量时间，所以在这之前需要进行数据的约减和压缩，减小数据规模，而且还可能面临交互式的数据挖掘，根据数据挖掘前后对比对数据进行信息反馈。这样在精简数据集上进行数据挖掘显然效率更高，并且挖掘出来的结果与使用原有数据集所获得结果基本相同。

其中，数据补缺模块用于对残缺数据的数据进行补充，数据补充包括补充缺失值和补充空值，缺失值指的是的数据原本是必须存在的，但实际上没有数据，空值指的是实际存在可能为空的情况。

其中，数据丢弃模块用于对于数据中的异常数据进行删除，丢弃数据的类型包含整条删除和变量删除，整条删除指的是删除含有缺失值的样本，变量删除，如果某一变量的无效值和缺失值很多，而且该变量对于所研究的问题不是特别重要，则可以考虑将该变量删除，这种做法减少了供分析用的变量数目，但没有改变样本量。

作为优选，所述数据接收模块采用数据缓冲接收方法，其方法包括以下步骤：

s4.1、前台接收数据，并不进行处理，将数据放入消息队列中；

s4.2、后台负责从消息队列中取出消息，并处理。

整个接收系统核心为队列，可以当做缓冲区；遵循先进先出原则fifo采用队列方式接收数据比较简单，并且实现了缓冲，不会出现数据的丢失。

作为优选，所述数据存储模块的存储方法包括以下步骤：

s5.1、对接收的数据进行相似度匹配；

s5.2、根据相似度匹配得出的相似度数据对数据进行分类存储。

作为优选，所述相似度匹配采用基于sf方法实现，sf方法是一种典型的利用模式结构信息进行模式匹配的方法，步骤如下：

1)、相似度计算：首先将源模式s和目标模式t根据其模式结构分别转换为对应的模式图g1和g2，然后使用一个称为stringmatch的匹配器对g1中的每个节点计算该节点与g2中每个节点之间的相似度值，然后根据相似度值的大小选取元素间的初始匹配关系；

2)、相似度传递调整：前面得到了模式元素间的初始匹配关系，在相似度传递步骤中我们根据元素之间的关联关系调整初始匹配关系中每个匹配的相似度得到最终的相似度。

与现有技术相比，本发明的有益效果：

1、该气象水文数据接收终端状态监控和远程管理系统中，设置状态监控单元，能够实时监控系统状态信息，并及时对状态进行反馈，反应时间快。

2、该气象水文数据接收终端状态监控和远程管理系统中，采用远程管理单元对数据进程存储，同时，对数据存储时，采用分类算法，一方面，提高数据存储效率，另一方面，便于根据存储的数据对系统状态进行分析。

附图说明

图1为本发明的状态监控单元模块框图；

图2为本发明的远程管理单元模块框图；

图3为本发明的状态监控单元的检测方法框图；

图4为本发明的状态监控模块的监控方法框图；

图5为本发明的状态发送模块的发送方法框图；

图6为本发明的数据缓冲接收方法框图；

图7为本发明的数据存储模块的存储方法框图。

图中各个标号意义为：

1、状态监控单元；11、状态采集模块；12、状态监控模块；13、状态发送模块；

2、远程管理单元；21、数据接收模块；22、数据存储模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-图7所示，本发明提供一种技术方案：

本发明提供气象水文数据接收终端状态监控和远程管理系统，包括状态监控单元1和远程管理单元2，状态监控单元1包括状态采集模块11、状态监控模块12、状态发送模块13，远程管理单元2包括数据接收模块21和数据存储模块22。

本实施例中，状态监控单元1的检测方法包括如下步骤：

s1.1、定时取得设备硬件传感器传来的状态数据；

s1.2、对获取的数据中的重复数据进行融合处理；

s1.3、对融合处理后的数据进行有效性判别，并将有效数据存入物联网数据库内。

进一步的，重复数据进行融合处理采用cnnmda数据融合算法，cnnmda数据融合算法基于深度学习模型，所使用的cnn网络结构共含有三个卷积层、一个池化层和两个全连接层，在利用特征提取模型cnnm对节点数据进行融合之前，需要完成该模型的训练，传统训练方法主要为反向传播算法，而cnnm模型由于卷积层和池化层的存在，需要对反向传播算法进行相应修改，cnnm训练的损失函数为：

具体的，训练目标函数为：

不断迭代更新参数以最小化损失函数j(θ)，其中θ为可训练的参数包括卷积核的权重和偏置，α为学习率。

其中，cnnm模型的训练采用cnnmda算法实现，其算法步骤如下：

1)、sink节点根据需要处理的数据类型，从相应数据库中提取含有标签信息的数据；

2)、将训练数据输入至构建的cnnm模型，开始训练cnnm，然后sink节点将训练好的参数通过簇头发送至各终端节点；

3)、各终端节点使用预训练的cnnm模型，对采集的传感器数据进行多层卷积特征提取与池化，然后将融合得到的特征数据发送至相应的簇头节点，其中卷积与池化的过程就是数据融合的过程；

4)、簇头节点利用logistic回归分类器对步骤3)产生的融合数据进行分类，得到分类结果，并向sink节点发送融合数据；

5)、网络完成一轮数据采集融合与传输过程，sink节点重新分簇和选取簇头节点，然后跳转到步骤3。

值得说明的是，物联网数据库采用javaee开发的基于b/s架构的web应用程序,采用struts2+spring+hibernate来实现系统的整体架构，其中jsp为表现层，所有jsp页面禁止使用java脚本，结合struts2的表现层标签与jstl标签，完成了全部的表现层功能，数据收集，数据表示和客户端数据校验，struts2作为本系统的mvc框架它的action拦截用户所有的请求，包括系统的超链接和表单提交等，都由struts2控制请求的处理和转发。

其中，spring框架是该系统的核心部分，spring提供的ioc容器是业务逻辑组件service和dao组件的工厂，它负责生成并管理这些实例，借助spring的依赖注入，各组件以松耦合的方式组合在一起，组件与组件之间的依赖正是通过spring的依赖注入管理，其service组件和dao组件对象都采用面向接口编程的方式，从而降低该系统异构的代价，hibernate为数据持久层，主要对数据进行持久化操作。

再进一步的，状态监控模块12的监控方法如下：

s2.1、设置系统状态指标阈值；

s2.2、对系统状态进行分析；

s2.3、记录系统状态运行数据。

其中，对系统状态进行分析采用离散时间系统状态方程，其方程公式如下：

其中，

其中，

其中，

其中，

具体的，状态发送模块的发送方法如下：

s3.1、将采集到系统状态信息通过消息队列中间件发送到消息管道中；

s3.2、对消息管道中的信息进行过滤；

s3.3、通过消息队列的机制将消息发送至远程管理单元2。

值得说明的是，信息进行过滤包括纠正错误模块、修正逻辑模块、数据压缩模块、数据补缺模块和数据丢弃模块。

其中，纠正错误模块用于纠正数据错误形式，纠正错误模块用于数据值错误的纠正、数据类型错误的纠正、数据编码错误的纠正、数据格式错误的纠正、数据异常错误的纠正、依赖冲突的纠正和多值错误的纠正。

其中，修正逻辑模块用于明确各个源系统的逻辑、条件、口径，并对异常源系统的采集逻辑进行修正。

其中，数据压缩模块用于保持原有数据集的完整性和准确性，不丢失有用信息的前提下，按照一定的算法和方式对数据进行重新组织，大规模的数据进行复杂的数据分析与数据计算通常需要耗费大量时间，所以在这之前需要进行数据的约减和压缩，减小数据规模，而且还可能面临交互式的数据挖掘，根据数据挖掘前后对比对数据进行信息反馈。这样在精简数据集上进行数据挖掘显然效率更高，并且挖掘出来的结果与使用原有数据集所获得结果基本相同。

其中，数据补缺模块用于对残缺数据的数据进行补充，数据补充包括补充缺失值和补充空值，缺失值指的是的数据原本是必须存在的，但实际上没有数据，空值指的是实际存在可能为空的情况。

其中，数据丢弃模块用于对于数据中的异常数据进行删除，丢弃数据的类型包含整条删除和变量删除，整条删除指的是删除含有缺失值的样本，变量删除，如果某一变量的无效值和缺失值很多，而且该变量对于所研究的问题不是特别重要，则可以考虑将该变量删除，这种做法减少了供分析用的变量数目，但没有改变样本量。

此外，数据接收模块21采用数据缓冲接收方法，其方法包括以下步骤：

s4.1、前台接收数据，并不进行处理，将数据放入消息队列中；

s4.2、后台main函数负责从消息队列中取出消息，并处理。

其中，整个接收系统核心为队列，可以当做缓冲区；遵循先进先出原则fifo采用队列方式接收数据比较简单，并且实现了缓冲，不会出现数据的丢失。

储存之外，数据存储模块22的存储方法包括以下步骤：

s5.1、对接收的数据进行相似度匹配；

s5.2、根据相似度匹配得出的相似度数据对数据进行分类存储。

进一步的，相似度匹配采用基于sf方法实现，sf方法是一种典型的利用模式结构信息进行模式匹配的方法，步骤如下：

1)、相似度计算：首先将源模式s和目标模式t根据其模式结构分别转换为对应的模式图g1和g2，然后使用一个称为stringmatch的匹配器对g1中的每个节点计算该节点与g2中每个节点之间的相似度值，然后根据相似度值的大小选取元素间的初始匹配关系；

2)、相似度传递调整：前面得到了模式元素间的初始匹配关系，在相似度传递步骤中我们根据元素之间的关联关系调整初始匹配关系中每个匹配的相似度得到最终的相似度。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。