一种边缘计算加速预处理系统及预处理方法与流程

本发明属于数据处理，具体的说，涉及一种边缘计算加速预处理系统及预处理方法。

背景技术：

1、边缘计算，是一种分布式计算的架构，将应用程序、数据与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理，边缘运算将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部份，分散到边缘节点去处理。边缘节点更接近于用户终端装置，可以加快数据的处理与传送速度，减少延迟，换句话说，边缘计算是将采集端的数据进行初步的处理，并不完全将数据放置到云端进行运算处理，因此还能够降低云端的运算负荷。

2、公开号为cn 111427822 a提供的一种边缘计算系统，其通过让部分节点变成pcie加速装置。通过安置pcie switch在边缘服务器内部进行pcie的沟通，能够强化各节点高速信号交换传输资源共享，实现提升运算能力的目的，在实际的使用过程中，采集端会实时发送大量的数据，而且加上底层的采集端的通讯协议不同，边缘端不仅要进行数据的判断发送和处理，还需要对数据进行预处理，这就造成边缘端的计算负荷也相对较重。

3、基于上述问题，本领域中急需一种设置在边缘端和采集端之间的数据预处理系统，能够降低边缘端的负荷。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、为解决现有技术中边缘端运算负荷较大的问题，本发明采用如下的技术方案。

3、一种边缘计算加速预处理系统，包括数据接口端、协议转换端、数据逐级传递的数据处理端和数据发送模块；

4、所述数据接口端包括至少两种支持不同通讯协议、以无线或有线方式接收数据的通讯接口，通讯接口将接收的数据发送至协议转换端；

5、所述协议转换端包括核心控制模块，核心控制模块内部包括配置好的通讯协议，用于接收数据接口端所发送的数据，并对数据的通讯协议进行分析，并转化为指定通讯协议的数据包传递给数据处理端；

6、所述数据处理端包括具有多个cpu的中央处理单元和多个gpu的图像处理单元，cpu和gpu通过数据总线进行互联以及数据的传输，数据总线还连接有存储单元；

7、数据处理端还包括有：

8、清洗模块，所述清洗模块对协议转换端传递的数据包内的异常数据和干扰进行整合清洗，整合清洗后发送至分类模块；

9、分类模块，所述分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据；

10、聚合模块，所述聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块；

11、所述数据发送模块具有连接至云端的端口和连接至边缘服务器的端口，所述数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端。

12、上述的边缘计算加速预处理系统，其中，所述协议转换端包括协议分析模块、数据处理端和转换模块，所述通协议分析模块接收通讯接口所发送的数据报文，并按照预设的协议进行报文分析，判断是否需要进行报文拆包，并将判断结果发送至数据处理端，数据整理模块根据分析结果进行具体的报文拆包和组包，并将重新组装的报文发送至转换模块，所述转换模块将要传输的数据放在重新组好的报文中发送出去。

13、上述的边缘计算加速预处理系统，其中，所述数据处理端中的存储单元中设有阵列结构的磁盘存储装置。

14、上述的边缘计算加速预处理系统，其中，所述cpu和gpu通过pcie总线进行互联以及数据的传输。

15、上述的边缘计算加速预处理系统，其中，所述由中央处理单元和图像处理单元处理数据时首先对数据计算任务进行负载规模预判断，并按照任务计算量的降序构建列表，gpu和cpu分别从列表的头、尾进入，按顺序逐次预分配对应的任务，形成两组调度队列。

16、上述的边缘计算加速预处理系统，其中，所述清洗模块对数据进行清洗的具体步骤包括：

17、获取协议转换端传递的数据包内的数据的样本均值；

18、

19、其中，xi为数据包内的第i个数据值；

20、计算数据包内的数据值的残差ei和标准差σ为：

21、

22、

23、遍历数据包内的所有数据值判断是否为异常值点，判断方法为：

24、|ei|>3σ

25、若满足，则判断该点为异常点，将该点数值替换为

26、使用中值滤波器对数据包内的所有数据值进行滤除。

27、上述的边缘计算加速预处理系统，其中，所述第一优先级数据为报警信息数据，第二优先级数据为采集端的过程信息数据。

28、上述的边缘计算加速预处理系统，其中，所述聚合模块对数据进行聚合的具体方法为把数据划分为若干个区间，每个区间中包含相同比例的数据，计算每个区间内数据的中值，将区间的数据聚合为该区间的数据的中值。

29、本发明另外提供一种边缘计算加速预处理方法，所述预处理方法适用于上述的一种边缘计算加速预处理系统，具体步骤包括：

30、s1:通讯接口接收采集端的数据发送至协议转换端；

31、s2:协议转换端对数据的通讯协议进行分析，并转化为指定通讯协议的数据包传递给数据处理端；

32、s3:清洗模块对协议转换端传递的数据包内的异常数据和干扰进行整合清洗，整合清洗后发送至分类模块；

33、s4:分类模块将清洗后的数据按照数据的优先级进行分类，将数据分为第一优先级数据和第二优先级数据；

34、s5:聚合模块将同一优先级中的同一类型数据进行聚合和压缩后发送至数据发送模块；

35、s6:数据发送模块将聚合压缩后的第一优先级数据发送至边缘服务器，将聚合压缩后的第二优先级数据发送至云端。

36、相比于现有技术，本发明的有益效果为：

37、本发明首先使用协议转换端实现不同通信规约的采集端和边缘计算端之间的数据通信，完成异构网络之间的信息交互，方便边缘计算端对于数据的处理，另外使用数据处理端对于数据进行预处理，去除了异常数据和同类型数据的重复度，以减少边缘计算的数据传输和处理量，减少数据冗余和存储开销；

38、另外对于数据了分类，优先级高的数据直接放置到云端进行处理，降低边缘计算的负荷，另外数据处理端采用cpu加gpu的异构信号处理平台，提升了数据的处理速度。

技术特征：

1.一种边缘计算加速预处理系统，其特征在于：包括数据接口端、协议转换端、数据逐级传递的数据处理端和数据发送模块；

2.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述协议转换端包括协议分析模块、数据处理端和转换模块，所述通协议分析模块接收通讯接口所发送的数据报文，并按照预设的协议进行报文分析，判断是否需要进行报文拆包，并将判断结果发送至数据处理端，数据整理模块根据分析结果进行具体的报文拆包和组包，并将重新组装的报文发送至转换模块，所述转换模块将要传输的数据放在重新组好的报文中发送出去。

3.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述数据处理端中的存储单元中设有阵列结构的磁盘存储装置。

4.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述cpu和gpu通过pcie总线进行互联以及数据的传输。

5.根据权利要求4所述的一种边缘计算加速预处理系统，其特征在于，所述中央处理单元和图像处理单元处理数据时首先对数据计算任务进行负载规模预判断，并按照任务计算量的降序构建列表，gpu和cpu分别从列表的头、尾进入，按顺序逐次预分配对应的任务，形成两组调度队列。

6.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述清洗模块对数据进行清洗的具体步骤包括：

7.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述第一优先级数据为报警信息数据，第二优先级数据为采集端的过程信息数据。

8.根据权利要求1所述的一种边缘计算加速预处理系统，其特征在于，所述聚合模块对数据进行聚合的具体方法为把数据划分为若干个区间，每个区间中包含相同比例的数据，计算每个区间内数据的中值，将区间的数据聚合为该区间的数据的中值。

9.一种边缘计算加速预处理方法，其特征在于，所述预处理方法适用于权利要求1-8任一项所述的一种边缘计算加速预处理系统，具体步骤包括：

技术总结
本发明公开了一种边缘计算加速预处理系统及预处理方法，包括数据接口端、协议转换端、数据逐级传递的数据处理端和数据发送模块，本发明首先使用协议转换端实现不同通信规约的采集端和边缘计算端之间的数据通信，完成异构网络之间的信息交互，方便边缘计算端对于数据的处理，另外使用数据处理端对于数据进行预处理，去除了异常数据和同类型数据的重复度，以减少边缘计算的数据传输和处理量，减少数据冗余和存储开销，另外对于数据了分类，优先级高的数据直接放置到云端进行处理，降低边缘计算的负荷，另外数据处理端采用CPU加GPU的异构信号处理平台，提升了数据的处理速度。

技术研发人员：高亦斌,陈诚,樊田扬,方孝斌,赵轩,张斌,王若宇,文宏伟,刘高航,孙洁,张艺卓
受保护的技术使用者：安徽祥源科技股份有限公司
技术研发日：
技术公布日：2024/1/15