一种智能边缘融合终端设备数据预处理和压缩方法及系统与流程

本发明涉及数据预处理和压缩，尤其涉及一种智能边缘融合终端设备数据预处理和压缩方法及系统。

背景技术：

1、随着物联网发展不断加大加快，越来越多的智能边缘设备接入物联网，加入万物共联。在配电物联领域，大量智能融合终端及下属各类子设备通过4g/5gvpn专网等方式，分别采用基于json的mqtt和iec104等协议接入配电物联管理云平台和配电自动化主站，海量实时数据上传、云管边端协同联动等应用场景在不断增加整套系统的运行使用成本，同时在深度计算、ai识别等技术广泛运用的今天，云-边-端数据交互的形式和内容的多样化更加显著，图片、视频、信号图谱等复杂数据的组合交互越发常见。终端内部，基于json的mqtt协议的信息交互也会更加的频繁和复杂。

2、因此，在现有的mqtt、iec104通信协议上增加对交互数据的预处理和压缩技术，以降低数据传输的资源消耗，从而降低系统使用成本，提升用户的使用意愿和满意度是十分有必要的。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题，提出了本发明。

3、因此，本发明提供了一种智能边缘融合终端设备数据预处理和压缩方法及系统，能够解决背景技术中提到的问题。

4、为解决上述技术问题，本发明提供如下技术方案，一种智能边缘融合终端设备数据预处理和压缩方法，包括：

5、获取智能边缘融合终端设备报文数据，并根据交互协议对不同协议文本原始报文数据进行处理，判断协议类型以及根据所述协议类型是否应当生成键值字典；

6、若生成，则数字发送端根据所述键值字典，将原始报文数据协议内的原始键值替换成缩写键，并将替换后的报文协议数据进行压缩，生成二进制压缩数据哈希指纹，完成预处理操作。

7、作为本发明所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：还包括，

8、若判断协议类型以及根据所述协议类型不生成键值字典，则将原始报文数据进行压缩，生成二进制压缩数据哈希指纹，完成预处理操作。

9、作为本发明所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：所述交互协议对不同协议文本原始报文数据进行处理包括基于json的mqtt协议和iec104协议，

10、当协议文本为iec104格式时，不生成键值字典，数字发送端不进行数据预处理流程，直接对原始报文协议数据进行数据压缩，生成二进制压缩数据哈希指纹；

11、若数字接收端接收到数字发送端传输至的数据时，判断数据是否为压缩数据，若判断出不是压缩数据，则向数字发送端返回一级错误提示，数字发送端在接收到所述一级错误提示时，对原始报文协议数据进行重新压缩，并向数字接收端重新发送压缩数据；

12、若数字发送端接收到连续三次一级错误提示，则更换压缩方法对原始报文协议数据进行重新压缩。

13、若判断出是压缩数据，则对哈希指纹进行校验；

14、若哈希指纹不匹配，则数字接收端向数字发送端发送二级错误提示，数字发送端在接收到所述二级错误提示时，使用同种压缩方法重新对原始报文协议数据进行压缩并重新生成二进制压缩数据哈希指纹，数字接收端重新对新生成的哈希指纹进行匹配；

15、若仍不匹配，则数字接收端向数字发送端发送三级错误指示；

16、当数字发送端接收到所述三级错误指示时，数字发送端删除已生成的全部数据，更换压缩方法重新进行数据压缩操作。

17、作为本发明所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：所述基于json的mqtt协议包括，

18、若协议文本为json格式时，生成键值字典，服务器对不同协议文本原始报文数据进行处理，所述处理包括对原始报文数据进行采样分析，按照测试标准完成协议规范内包含的所有交互流程并记录交互报文；

19、以报文主题为分类，收集各主题下涵盖的所有报文类型，剔除其中重复词条后生成模板文件，通过解析模板制作各主题下原始键值与缩写键值映射表，完成原始键值词典制作，并分发给云边网络内各节点；

20、当生成键值字典后，数字发送端进入预处理流程，数字发送端根据所述键值字典，将原始报文数据协议内的原始键值替换成缩写键；

21、若因协议变动产生的新增键值内容，则更新新增键值至各个节点。

22、对替换后的报文协议数据进行数据压缩，生成二进制压缩数据哈希指纹；

23、若数字接收端接收到数字发送端传输至的数据时，判断数据是否为压缩数据，若判断出不是压缩数据，则向数字发送端返回一级错误提示，数字发送端在接收到所述一级错误提示时，对替换后的报文协议数据进行重新压缩，并向数字接收端重新发送压缩数据，若数字发送端接收到连续三次一级错误提示，则更换压缩方法对替换后的报文协议数据进行重新压缩；

24、若判断出是压缩数据，则对哈希指纹进行校验；

25、若哈希指纹不匹配，则数字接收端向数字发送端发送二级错误提示，数字发送端在接收到所述二级错误提示时，使用同种压缩方法重新对替换后的报文协议数据进行压缩并重新生成二进制压缩数据哈希指纹，数字接收端重新对新生成的哈希指纹进行匹配，若仍不匹配，则数字接收端向数字发送端发送三级错误指示；

26、当数字发送端接收到所述三级错误指示时，数字发送端删除已生成的全部数据，更换压缩方法重新进行数据压缩操作。

27、作为本发明所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：所述预处理操作包括，

28、所述预处理包括对数据进行压缩，生成二进制压缩数据哈希指纹；

29、当对协议文本为json格式的报文协议数据进行键值检索过程中，若在键值字典中检索到该键值条目，则将原始报文数据协议内的原始键值替换成该缩写键；

30、若在键值字典中检索不到该键值条目，则发送该键值至服务器，服务器中包含动态键值字典更新接口，服务器更新键值字典，并通过所述更新接口按固定周期向各个节点推送，并进行循环操作，直至完成数据报文内所有键值替换工作。

31、一种智能边缘融合终端设备数据解压缩方法，其特征在于：包括，

32、数字接收端接收预处理后的压缩数据，对接收到的数据进行哈希指纹校验；

33、判断所述压缩数据的交互协议，并确定协议类型是否应当通过键值字典进行解压缩；

34、根据判断结果分类进行恢复原始报文协议数据操作。

35、一种智能边缘融合终端设备数据解压缩系统，其特征在于：包括数据校验模块、判断模块以及恢复模块，

36、数据校验模块，所述数据校验模块用于数字接收端接收预处理后的压缩数据，对接收到的数据进行哈希指纹校验；

37、判断模块，所述判断模块用于判断所述压缩数据的交互协议，并确定协议类型是否应当通过键值字典进行解压缩；

38、恢复模块，所述恢复模块用于根据判断结果分类进行恢复原始报文协议数据操作。

39、一种智能边缘融合终端设备数据预处理和压缩系统，其特征在于：包括数据处理与判断模块以及预处理与压缩模块，

40、数据处理与判断模块，所述数据处理与判断模块用于获取智能边缘融合终端设备报文数据，并根据交互协议对不同协议文本原始报文数据进行处理，判断协议类型以及根据所述协议类型是否应当生成键值字典；

41、预处理与压缩模块，所述预处理与压缩模块用于处理如下不同状态，若生成，则数字发送端根据所述键值字典，将原始报文数据协议内的原始键值替换成缩写键，并将替换后的报文协议数据进行压缩，生成二进制压缩数据哈希指纹，完成预处理操作。

42、作为本发明所述的智能边缘融合终端设备数据预处理和压缩方法的一种优选方案，其中：所述预处理与压缩模块包括，

43、所述预处理与压缩模块包括对数据进行压缩，生成二进制压缩数据哈希指纹；

44、当对协议文本为json格式的报文协议数据进行键值检索过程中，若在键值字典中检索到该键值条目，则将原始报文数据协议内的原始键值替换成该缩写键；

45、若在键值字典中检索不到该键值条目，则发送该键值至服务器，服务器中包含动态键值字典更新接口，服务器更新键值字典，并通过所述更新接口按固定周期向各个节点推送，并进行循环操作，直至完成数据报文内所有键值替换工作。

46、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。

47、一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

48、本发明的有益效果：本发明提出一种智能边缘融合终端设备数据预处理和压缩方法及系统，本专利能够实现云边、终端内部交互报文的合理缩短，降低4g/5g vpn专网等方式网络下海量数据传输对高速通信资源的严重依赖，降低终端内部的资源消耗和信息交互效率，缓解通信成本的急剧上升，大幅提升数据交互的效费比，同时也降低高并发数据带来的数据丢失等可靠性问题。

49、解决物联网智能边缘融合终端设备因海量数据交互和协同联动机制而引起的无线网络通信成本过高、终端内部通信资源耗费过大问题，从而提升整体系统的实用性和效费比。