应用于数据网关的离线数据过滤存储的方法及系统与流程

本公开涉及数据处理技术领域,尤其涉及一种应用于数据网关的离线数据过滤存储的方法及系统。

背景技术：

数据网关作为云生态的重要组成部分，主要任务之一是对接入设备进行数据采集和缓存。通常数据网关实时上送采集到的接入设备的数据，当通讯网络通路从故障断开恢复时，数据网关把缓存的且没有上送的数据，断点续传到边缘计算平台。由于存储能力是一定的，当数据网关的接入设备比较多或者采集的通道比较多的时候，数据网关所能缓存的时间可能会少于网络故障的时间长度，造成数据丢失，进一步影响后端的数据应用。目前流行的做法是“水平拓展”，通过增加数据网关的存储硬件的能力来解决，或者通过数据压缩的方法来解决该类问题。

通过扩展硬件能力的方法来增加缓存能力的做法一方面会增加成本，另一方面也会因为数据量的增加而影响数据的检索速度，虽然通过数据压缩的方法可以延长缓存时间，但是压缩和解压缩算法需要一定的硬件计算能力的消耗，更加严重的是数据网关的在线数据检索功能受到了很大影响。

技术实现要素：

本公开提供了一种应用于数据网关的离线数据过滤存储的方法及系统，达到提高数据网关数据缓存能力的技术目的。

本公开的上述技术目的是通过以下技术方案得以实现的：

一种应用于数据网关的离线数据过滤存储的方法，包括：

云平台向数据网关下发配置指令；

所述数据网关根据所述配置指令完成配置，所述配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；

检测到通讯中断条件后，记录通讯中断时间点；

通讯中断后触发所述数据过滤服务，对中断数据集d进行过滤得到d'，将所述d'存储至数据缓存区；

检测到通讯恢复条件时，记录通讯连接时间点，所述数据网关重新建立与所述云平台的连接；

所述数据网关与所述云平台连接后，将所述d'上送给所述云平台；

所述d'全部上送完后，停止所述数据过滤服务；

其中，所述中断数据集d由中断数据点di组成，i为正整数；所述数据过滤服务使用过滤算法进行过滤。

进一步地，所述过滤算法为基于动态阈值的过滤算法，所述基于动态阈值的过滤算法的参数包括参考值y、上边界阈值y1、下边界阈值y2和迟滞值z，且其算法引擎的状态包括正常状态、上越界状态和下越界状态。

进一步地，所述中断数据点di对应有数据值a，所述算法引擎的状态为所述正常状态时，包括：

a>y1时，所述算法引擎更新为所述上越界状态，过滤掉所述中断数据点di，所述中断数据集d变为所述d'；

a<y2时，所述算法引擎更新为所述下越界状态，过滤掉所述中断数据点di，所述中断数据集d变为所述d'。

进一步地，所述算法引擎为所述上越界状态时，若a>y1-z，所述算法引擎维持所述上越界状态，过滤掉所述中断数据点di，所述中断数据集d变为所述d'。

进一步地，所述算法引擎为所述下越界状态时，若a<y2-z，所述算法引擎维持所述下越界状态，过滤掉所述中断数据点di，所述中断数据集d变为所述d'。

进一步地，所述通讯中断条件包括：所述数据网关在持续时间内没有收到所述云平台的同步心跳报文。

进一步地，所述持续时间至少为3s。

进一步地，所述通讯恢复条件包括：所述数据网关至少连续两次接收到所述云平台的重新连接请求报文。

一种应用于数据网关的离线数据过滤存储的系统，包括：

云平台，向数据网关下发配置指令；

所述数据网关包括：

数据交互单元，根据所述配置指令完成配置，所述配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；

第一检测单元，检测到通讯中断条件后，记录通讯中断时间点；

数据过滤单元，通讯中断后触发所述数据过滤服务，对中断数据集d进行过滤得到d'，将所述d'存储至数据缓存区；

第二检测单元，检测到通讯恢复条件时，记录通讯连接时间点，所述数据网关重新建立与所述云平台的连接；

数据缓存区，存储所述d'，所述数据网关与所述云平台恢复连接后，将所述d'传输给所述数据交互单元，所述数据交互单元再将d'上送给所述云平台；

所述d'全部上送完后，所述数据过滤单元停止所述数据过滤服务；

其中，所述中断数据集d由中断数据点di组成，i为正整数；所述数据过滤服务使用过滤算法进行过滤。

综上所述，本公开的有益效果在于：在云平台的计算中心上，数据网关上送的数据首先会通过一些数据过滤规则过滤掉一些数据，再把过滤后的数据上送给云平台以应用到后期高级应用中。把一些简单的、对性能消耗影响小的数据过滤规则下放给数据网关，使得数据网关在通讯故障时可进行数据过滤，一方面分担了云平台计算中心的计算压力，另一方面会延长数据网关的缓存能力。

附图说明

图1为本公开方法流程图；

图2为本公开系统示意图；

图3为基于动态阈值过滤算法的实施例流程图；

图4为基于动态阈值过滤的示意图。

具体实施方式

以下结合附图对本公开作进一步详细说明。

需要理解地是，在本公开的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

图1为本公开方法流程图，图2为系统示意图，如图所示，云平台向数据网关下发配置指令，数据网关包括数据交互单元、第一检测单元、数据过滤单元、第二检测单元和数据缓存区，数据交互单元根据配置指令完成配置。第一检测单元检测到通讯中断条件后，记录通讯中断时间点，同时触发数据过滤单元的数据过滤服务，对中断数据集d进行过滤得到d'，将所述d'存储至数据缓存区。

第二检测单元检测到通讯恢复条件时，记录通讯连接时间点，重新建立与云平台的连接；数据网关与云平台重新连接后，数据缓存区将d'传输给数据交互单元，数据交互单元再将d'上送给云平台，d'全部上送完后，数据过滤单元则停止数据过滤服务。

这里，配置指令包括通讯中断检测配置、通讯恢复检测配置、数据过滤规则配置、触发数据过滤配置和注册数据过滤服务；中断数据集d由中断数据点di组成，i为正整数；数据过滤服务使用过滤算法进行过滤。另外，通讯中断条件包括：数据网关在持续时间内没有收到云平台的同步心跳报文，该持续时间至少为3s；通讯恢复条件包括：数据网关至少连续两次接收到云平台的重新连接请求报文。

图3为本公开采用基于动态阈值的过滤算法的实施例流程图，获取算法参数后，初始化算法引擎，算法引擎的状态包括正常状态、上越界状态和下越界状态，将算法引擎设置为正常状态。算法参数包括参考值y、上边界阈值y1、下边界阈值y2和迟滞值z，算法参数的值都是根据实际数据采集过程的相关因素预设的，比如若参考值y为100，可将上边界阈值y1设为参考值的1.1倍，对应地将下边界阈值y2设为参考值的0.9倍，如图4。准备工作做完后，通讯中断时，获取中断数据点di，di对应有数据值a。当前状态为正常状态时，若di大于上边界阈值y1，那么di是满足过滤规则的中断数据点，过滤di并且更新状态为上越界状态；若di小于下边界阈值y2，那么di是满足过滤规则的中断数据点，过滤di并且更新状态为下越界状态。图4中，深色的中断数据点即为满足过滤规则的数据点，需要对其进行过滤；浅色的中断数据点则不需要过滤。

当前状态为上越界状态时，若di大于上边界阈值y1减去迟滞值z，那么di是满足过滤规则的中断数据点，过滤di并保持当前的上越界状态。

当前状态为下越界状态时，若di小于下边界阈值y2减去迟滞值z，那么di是满足过滤规则的点，过滤di并且保持当前的下越界状态；其余的情况仅更新状态为正常状态。过滤掉di后中断数据集d就变为d'，并存储在数据缓存区，通讯恢复时，数据缓存区再将d'上送给云平台，d'全部上送完成时则停止数据过滤服务。

以上为本公开示范性实施例，本公开的保护范围由权利要求书及其等效物限定。